JP5218910B2

JP5218910B2 - Night vision system

Info

Publication number: JP5218910B2
Application number: JP2009003884A
Authority: JP
Inventors: 安雄萩里; 歳康勝野; 邦彦豊福; 誠良平塚
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2009-01-09
Filing date: 2009-01-09
Publication date: 2013-06-26
Anticipated expiration: 2029-01-09
Also published as: JP2010161736A

Description

本発明はナイトビジョンシステムに関し、より詳しくは、夜間にドライバが歩行者等を発見し易いように撮像画像を表示しつつ、ドライバが撮像画像の表示を煩わしく感じないようにすることができるナイトビジョンシステムに関する。 The present invention relates to a night vision system, and more specifically, night vision that allows a driver to display a captured image so that the driver can easily find a pedestrian or the like at night while preventing the driver from feeling annoying the display of the captured image. About the system.

近年、夜間の見づらい車外の状況を車両に搭載した赤外線カメラで撮像し、撮像した画像を表示部に表示することで、ドライバに車外の状況を見易い明るさで提示するようにしたナイトビジョンシステムが提案されている（例えば、特許文献１参照）。ナイトビジョンシステムの表示部は、例えば、ヘッドアップディスプレイ、センターコンソールに設けられたディスプレイである。ヘッドアップディスプレイにおいては、画像がウィンドシールド（フロントガラス）に投影される。センターコンソールに設けられたディスプレイは、通常、ナビゲーションシステムのディスプレイとしても機能する。 In recent years, a night vision system has been developed in which a situation outside the vehicle that is difficult to see at night is captured by an infrared camera mounted on the vehicle, and the captured image is displayed on the display unit, so that the driver can be presented with a brightness that makes it easy to see the situation outside the vehicle. It has been proposed (see, for example, Patent Document 1). The display unit of the night vision system is, for example, a head-up display or a display provided in the center console. In the head-up display, an image is projected on a windshield (front glass). The display provided in the center console usually functions as a display for the navigation system.

ナイトビジョンシステムの表示部を見ることで、ドライバは直接の目視では見づらい車外の状況を認識することができる。ナイトビジョンシステムの表示部は、例えば、車両のヘッドライトの光が十分に照射されない領域に居る歩行者を明るく表示する。これにより、ドライバはヘッドライトの光を照射するだけでは発見が難しい歩行者を容易に発見し、接触事故を未然に防止することができる。 By looking at the display part of the night vision system, the driver can recognize the situation outside the vehicle that is difficult to see directly. For example, the display unit of the night vision system brightly displays a pedestrian in an area where the light of the vehicle headlight is not sufficiently irradiated. As a result, the driver can easily find a pedestrian that is difficult to find just by irradiating the light of the headlight, and can prevent a contact accident.

車外の状況の見易さは、表示部の画面が大きい程、また、画像の輝度が高い程、良好となる。その一方で、画面が大きくなる程、また、画像の輝度が高くなる程、ドライバは画像に気を取られて運転に対する集中力が低下することがあり、画像の表示を煩わしく感じることがある。 The visibility of the situation outside the vehicle becomes better as the screen of the display unit is larger and the brightness of the image is higher. On the other hand, the larger the screen and the higher the brightness of the image, the more the driver is distracted by the image, and the concentration on driving may decrease, and the display of the image may be annoying.

特開平１１−２４３５３８号公報JP 11-243538 A

本発明は、このような実情に鑑みてなされたもので、夜間にドライバが歩行者等を発見し易いように撮像画像を表示しつつ、ドライバが撮像画像の表示を煩わしく感じないようにすることができるナイトビジョンシステムの提供を目的とする。 The present invention has been made in view of such circumstances, and prevents the driver from feeling annoying the display of the captured image while displaying the captured image so that the driver can easily find a pedestrian or the like at night. The purpose is to provide a night vision system.

第１の発明は、
赤外線カメラで撮像した車両外部の画像を表示するナイトビジョンシステムであって、
車外を撮像する赤外線カメラと、
上記赤外線カメラの撮像画像に基づき、車外の対象障害物を検知する検知部と、
上記撮像画像の輝度を調節する輝度調節部と、
上記輝度調節部で調節された輝度で上記撮像画像を表示する表示部とを備え、
上記輝度調節部は、第１の調節パターンで輝度を調節可能であり、当該第１の調節パターンでは、上記対象障害物の検知前は上記表示部の画面の輝度を第１の状態に調節し、上記対象障害物が検知されると上記対象障害物の周辺部の輝度を上記第１の状態よりも平均輝度が高い第２の状態に変更し、この変更により上記周辺部の平均輝度を当該周辺部以外の部分の平均輝度よりも高くすることを特徴とするナイトビジョンシステムである。 The first invention is
A night vision system for displaying an image outside a vehicle captured by an infrared camera,
An infrared camera that images outside the vehicle;
Based on the captured image of the infrared camera, a detection unit that detects a target obstacle outside the vehicle;
A brightness adjusting unit for adjusting the brightness of the captured image;
A display unit that displays the captured image with the luminance adjusted by the luminance adjustment unit,
The luminance adjustment unit can adjust the luminance with a first adjustment pattern. In the first adjustment pattern, the luminance of the screen of the display unit is adjusted to a first state before the target obstacle is detected. When the target obstacle is detected, the luminance of the peripheral portion of the target obstacle is changed to a second state where the average luminance is higher than that of the first state, and the average luminance of the peripheral portion is changed by this change. It is a night vision system characterized in that it is higher than the average brightness of the part other than the peripheral part.

第１の発明における「対象障害物」は特に限定されるものではないが、例えば歩行者、自転車に乗っている人である。
第１の発明によれば、対象障害物が検知される前は画像全体の輝度が低く抑えられ、対象障害物が検知されると対象障害物の周辺部においてのみ画像の輝度が高くなる。ドライバは、輝度が高くなった領域内に対象障害物が存在すると認識することができる。よって、対象障害物の存在が検知されると即座にドライバは対象障害物の存在を認識することができる。また、対象障害物が検知される前後を通じて、ドライバは画像に気を取られにくくなり、運転に対する集中力が低下せず、画像の表示を煩わしく感じなくなる。従って、第１の発明によれば、夜間にドライバが歩行者等を発見し易いように撮像画像を表示しつつ、ドライバが撮像画像の表示を煩わしく感じないようにすることができる。 The “target obstacle” in the first invention is not particularly limited, but is, for example, a pedestrian or a person riding a bicycle.
According to the first aspect, before the target obstacle is detected, the luminance of the entire image is suppressed low, and when the target obstacle is detected, the luminance of the image is increased only in the peripheral portion of the target obstacle. The driver can recognize that the target obstacle exists in the area where the luminance is high. Therefore, as soon as the presence of the target obstacle is detected, the driver can recognize the presence of the target obstacle. Further, before and after the target obstacle is detected, the driver is less likely to be distracted by the image, the concentration on driving is not reduced, and the display of the image does not feel troublesome. Therefore, according to the first invention, it is possible to prevent the driver from feeling annoying the display of the captured image while displaying the captured image so that the driver can easily find a pedestrian or the like at night.

第２の発明は、第１の発明において、
上記対象障害物の周りを目立つ態様で囲む枠画像を生成する枠画像生成部と、
上記枠画像を上記撮像画像に重畳させる画像重畳部とを更に備え、
上記表示部は、上記画像重畳部で生成された画像を表示することを特徴とする。 According to a second invention, in the first invention,
A frame image generation unit that generates a frame image surrounding the target obstacle in a conspicuous manner;
An image superimposing unit that superimposes the frame image on the captured image;
The display unit displays the image generated by the image superimposing unit.

第２の発明によれば、対象障害物を囲むように、目立つ態様の枠画像が画面に表示される。従って、第２の発明によれば、ドライバは対象障害物をより一層発見し易くなる。 According to the second aspect, a conspicuous frame image is displayed on the screen so as to surround the target obstacle. Therefore, according to the second aspect, the driver can more easily find the target obstacle.

第３の発明は、第２の発明において、上記枠画像は、目立つ態様で表示されることを特徴とする。 According to a third aspect, in the second aspect, the frame image is displayed in a conspicuous manner.

第３の発明によれば、枠画像が目立つ態様で表示されるので、ドライバは対象障害物をより一層認識し易くなる。 According to the third aspect, since the frame image is displayed in a conspicuous manner, the driver can more easily recognize the target obstacle.

第４の発明は、第１乃至第３の発明のいずれかにおいて、
上記周辺部の表示横幅は、上記表示部の画面横幅の１／３以下であることを特徴とする。 According to a fourth invention, in any one of the first to third inventions,
The display width of the peripheral portion is 1/3 or less of the screen width of the display portion.

第４の発明によれば、対象障害物の周辺部の表示横幅は、表示部の画面横幅の１／３以下であるので、ドライバは、対象障害物が自車の走行車線に対して横方向のどの辺りに存在するのかを容易に判断することができる。例えば、ドライバは、対象障害物が自車の走行車線上、自車の走行車線より左側、或いは自車の走行車線より右側のいずれに存在するのかを容易に判断することができる。 According to the fourth invention, since the display width of the peripheral portion of the target obstacle is equal to or less than 1/3 of the screen width of the display portion, the driver can check that the target obstacle is lateral to the traveling lane of the own vehicle. It is possible to easily determine which part of the area exists. For example, the driver can easily determine whether the target obstacle exists on the traveling lane of the own vehicle, on the left side of the traveling lane of the own vehicle or on the right side of the traveling lane of the own vehicle.

第５の発明は、第１乃至第４の発明のいずれかにおいて、
上記輝度調節部は、第２の調節パターンで輝度を調節可能であり、当該第２の調節パターンでは上記対象障害物の検知前および検知後の双方において上記表示部の画面の輝度を上記第１の状態よりも平均輝度が高い第３の状態に調節し、
上記ナイトビジョンシステムは、
上記第１の調節パターンと上記第２の調節パターンを相互に切り替える選択スイッチを更に備えたことを特徴とする。 According to a fifth invention, in any one of the first to fourth inventions,
The luminance adjustment unit can adjust the luminance with a second adjustment pattern, and the second adjustment pattern controls the luminance of the screen of the display unit both before and after detection of the target obstacle. Adjust to the third state where the average brightness is higher than the state of
The night vision system above
A selection switch for switching the first adjustment pattern and the second adjustment pattern to each other is further provided.

第５の発明によれば、ドライバが選択スイッチを操作することにより、ドライバの好みに応じて第１の調節パターンと第２の調節パターンを相互に切り替えることができる。上記したように、第１の調節パターンは、対象障害物が検知される前は画像全体の輝度が低く抑えられ、対象障害物が検知されると対象障害物の周辺部においてのみ画像の輝度が高くなる調節パターンである。第２の調節パターンは、対象障害物の検知前および検知後の双方において画像全体の輝度が高くなる調節パターンである。 According to the fifth aspect, when the driver operates the selection switch, the first adjustment pattern and the second adjustment pattern can be switched to each other according to the preference of the driver. As described above, in the first adjustment pattern, the brightness of the entire image is suppressed to a low level before the target obstacle is detected, and when the target obstacle is detected, the brightness of the image is increased only at the periphery of the target obstacle. This is an increasing adjustment pattern. The second adjustment pattern is an adjustment pattern in which the brightness of the entire image is increased both before and after detection of the target obstacle.

第６の発明は、第１乃至第５の発明のいずれかにおいて、
上記赤外線カメラは、近赤外線カメラであることを特徴とする。 A sixth invention is any one of the first to fifth inventions,
The infrared camera is a near infrared camera.

第６の発明によれば、近赤外線カメラを用いるので、遠赤外線カメラを用いて熱源を検知するものと比べて、製造コストを抑えることができる。 According to the sixth invention, since the near-infrared camera is used, the manufacturing cost can be reduced as compared with the case where the far-infrared camera is used to detect the heat source.

第７の発明は、第６の発明において、
近赤外光を投光する投光器を更に備えたことを特徴とする。 A seventh invention is the sixth invention, wherein
The projector further includes a projector that projects near-infrared light.

第７の発明によれば、近赤外光を投光する投光器を備えるので、車外の物体に対して近赤外光を照射することができる。これにより、近赤外線カメラは近赤外光を照射しない場合に比べて近赤外光を多く受光することができ、対象障害物の検知精度を高めることができる。 According to the seventh aspect of the invention, since the projector that projects near-infrared light is provided, it is possible to irradiate an object outside the vehicle with near-infrared light. Thereby, the near-infrared camera can receive more near-infrared light than when not irradiating near-infrared light, and the detection accuracy of the target obstacle can be improved.

第８の発明は、第１乃至第７の発明のいずれかにおいて、
上記表示部は、運転席前方のコンビネーションメータの配置領域内に設けられていることを特徴とする。 According to an eighth invention, in any one of the first to seventh inventions,
The display section is provided in a region where the combination meter is disposed in front of the driver's seat.

第８の発明によれば、表示部がコンビネーションメータの配置領域内に設けられているので、ドライバは、表示部の画面を視認し易い。 According to the eighth aspect, since the display unit is provided in the arrangement area of the combination meter, the driver can easily view the screen of the display unit.

第９の発明は、第１乃至第８の発明のいずれかにおいて、
上記対象障害物が検知されると、上記表示部の輪郭部が点滅することを特徴とする。 According to a ninth invention, in any one of the first to eighth inventions,
When the target obstacle is detected, the contour portion of the display section blinks.

第９の発明によれば、対象障害物が検知されると、表示部における撮像画像の輪郭部が点滅するので、ドライバは、対象障害物の存在に気付き易くなる。 According to the ninth aspect, when the target obstacle is detected, the contour portion of the captured image on the display unit blinks, so that the driver can easily notice the presence of the target obstacle.

本発明によれば、夜間にドライバが歩行者等を発見し易いように撮像画像を表示しつつ、ドライバが撮像画像の表示を煩わしく感じないようにすることができるナイトビジョンシステムを提供することができる。 According to the present invention, it is possible to provide a night vision system that can display a captured image so that the driver can easily find a pedestrian or the like at night, while preventing the driver from feeling annoying the display of the captured image. it can.

本発明の第１実施形態に係るナイトビジョンシステムの構成を示すブロック図The block diagram which shows the structure of the night vision system which concerns on 1st Embodiment of this invention. 本発明の第１実施形態における表示部が設けられたコンビネーションメータを示す図The figure which shows the combination meter provided with the display part in 1st Embodiment of this invention. 画像輝度の第１の調節パターンにおいて、対象障害物が検知される前の状態を示す図The figure which shows the state before a target obstacle is detected in the 1st adjustment pattern of image brightness | luminance. 画像輝度の第１の調節パターンにおいて、対象障害物が検知された時の状態を示す図The figure which shows a state when a target obstacle is detected in the 1st adjustment pattern of image brightness | luminance. 第１実施形態に係るナイトビジョンシステムの動作を示すフローチャートThe flowchart which shows operation | movement of the night vision system which concerns on 1st Embodiment. 画像輝度の第１の調節パターンにおいて、交差点案内情報が見易いことを示す図The figure which shows that the intersection guidance information is easy to see in the first adjustment pattern of image luminance 本発明の第２実施形態に係るナイトビジョンシステムの構成を示すブロック図The block diagram which shows the structure of the night vision system which concerns on 2nd Embodiment of this invention. 画像輝度の第２の調節パターンにおいて、対象障害物が検知される前の状態を示す図The figure which shows the state before a target obstacle is detected in the 2nd adjustment pattern of image luminance. 画像輝度の第２の調節パターンにおいて、対象障害物が検知された時の状態を示す図The figure which shows a state when a target obstacle is detected in the 2nd adjustment pattern of image brightness. 第２実施形態に係るナイトビジョンシステムの動作を示すフローチャートThe flowchart which shows operation | movement of the night vision system which concerns on 2nd Embodiment.

（第１実施形態）
本発明の第１実施形態について、図面を参照しつつ説明する。図１は、第１実施形態に係るナイトビジョンシステムの構成を示すブロック図である。図２は、第１実施形態における表示部が設けられたコンビネーションメータを示す図である。図３は、画像輝度の第１の調節パターンにおいて、対象障害物が検知される前の状態を示す図である。図４は、画像輝度の第１の調節パターンにおいて、対象障害物が検知された時の状態を示す図である。図５は、ナイトビジョンシステムの動作を示すフローチャートである。 (First embodiment)
A first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the configuration of the night vision system according to the first embodiment. FIG. 2 is a diagram illustrating a combination meter provided with a display unit according to the first embodiment. FIG. 3 is a diagram illustrating a state before a target obstacle is detected in the first adjustment pattern of image luminance. FIG. 4 is a diagram illustrating a state when a target obstacle is detected in the first adjustment pattern of image luminance. FIG. 5 is a flowchart showing the operation of the night vision system.

第１実施形態に係るナイトビジョンシステム１は、赤外線カメラ２で撮像した車両外部の画像を表示するナイトビジョンシステムである。 The night vision system 1 according to the first embodiment is a night vision system that displays an image outside the vehicle captured by the infrared camera 2.

ナイトビジョンシステム１は、図１に示されるように、赤外線カメラ２と、投光器３と、検知部４と、輝度調節部５と、枠画像生成部６と、画像重畳部７と、表示制御部１３と、表示部８とを備える。検知部４、輝度調節部５、枠画像生成部６、画像重畳部７、および表示制御部１３は、ＥＣＵ（Electronic Control Unit）１０内に設けられている。 As shown in FIG. 1, the night vision system 1 includes an infrared camera 2, a projector 3, a detection unit 4, a brightness adjustment unit 5, a frame image generation unit 6, an image superimposition unit 7, and a display control unit. 13 and a display unit 8. The detection unit 4, the luminance adjustment unit 5, the frame image generation unit 6, the image superimposition unit 7, and the display control unit 13 are provided in an ECU (Electronic Control Unit) 10.

赤外線カメラ２は、車外を撮像する。赤外線カメラ２は、例えば、車両の前方を撮像するカメラである。車両の前方を撮像するカメラである場合、赤外線カメラ２は、例えば、車両のフロントバンパー、またはフロントグリルに設けられる。赤外線カメラ２の種類は特に限定されないが、図１に示される例では、近赤外線カメラである。近赤外線カメラは、物体が放つ近赤外光または物体で反射された近赤外光を受光し、車外の状況を撮像することができる。近赤外線カメラは、近赤外領域で撮像するので、車外が暗くても車外の状況を撮像することができる。 The infrared camera 2 images outside the vehicle. The infrared camera 2 is a camera that captures an image of the front of the vehicle, for example. In the case of a camera that images the front of the vehicle, the infrared camera 2 is provided, for example, on the front bumper or front grill of the vehicle. Although the kind of infrared camera 2 is not specifically limited, In the example shown by FIG. 1, it is a near-infrared camera. The near-infrared camera can receive near-infrared light emitted from an object or near-infrared light reflected by the object, and image a situation outside the vehicle. Since the near-infrared camera captures an image in the near-infrared region, the situation outside the vehicle can be imaged even when the outside of the vehicle is dark.

投光器３は、赤外線カメラ２の撮像領域内に近赤外光を投光する。例えば、投光器３は、主としてヘッドライト（図示せず）の照射領域の外側を照射する。すなわち、投光器３は、ヘッドライトの光が十分に照射されない領域に近赤外光を照射する。例えば、投光器３は、ヘッドライトの照射領域の前方および側方を主として照射する。なお、投光器３は、ヘッドライトの照射領域内を照射してもよいし、ヘッドライトの照射領域内および照射領域外の双方を照射してもよい。 The projector 3 projects near-infrared light into the imaging area of the infrared camera 2. For example, the projector 3 mainly irradiates the outside of the irradiation area of a headlight (not shown). That is, the projector 3 irradiates near infrared light to a region where the headlight light is not sufficiently irradiated. For example, the projector 3 mainly irradiates the front and side of the irradiation area of the headlight. The light projector 3 may irradiate the inside of the irradiation area of the headlight, or may irradiate both inside and outside the irradiation area of the headlight.

検知部４は、赤外線カメラ２の撮像画像に基づき、車外の対象障害物９（図２参照）を検知する。対象障害物９の種類は特に限定されないが、例えば歩行者、自転車に乗っている人である。 The detection unit 4 detects the target obstacle 9 (see FIG. 2) outside the vehicle based on the captured image of the infrared camera 2. Although the kind of target obstacle 9 is not specifically limited, For example, it is a pedestrian and the person who rides the bicycle.

輝度調節部５は、撮像画像の輝度を調節する。輝度調節部５は、第１の調節パターンで輝度を調節することができる。第１の調節パターンでは、輝度調節部５は、対象障害物９の検知前は表示部８の画像の輝度を第１の状態に調節する（図３参照）。また、第１の調節パターンでは、輝度調節部５は、対象障害物９が検知されると対象障害物９の周辺部１１の輝度を第１の状態よりも平均輝度が高い第２の状態に変更し、この変更により周辺部１１の平均輝度を当該周辺部１１以外の部分の平均輝度よりも高くする（図４参照）。 The brightness adjusting unit 5 adjusts the brightness of the captured image. The luminance adjusting unit 5 can adjust the luminance with the first adjustment pattern. In the first adjustment pattern, the luminance adjustment unit 5 adjusts the luminance of the image on the display unit 8 to the first state before the target obstacle 9 is detected (see FIG. 3). In the first adjustment pattern, when the target obstacle 9 is detected, the luminance adjustment unit 5 changes the luminance of the peripheral portion 11 of the target obstacle 9 to the second state where the average luminance is higher than that in the first state. With this change, the average luminance of the peripheral portion 11 is made higher than the average luminance of portions other than the peripheral portion 11 (see FIG. 4).

枠画像生成部６は、対象障害物９の周りを囲む枠画像１２（図４参照）を生成する。枠画像生成部６は、ＥＣＵ１０内に設けられている。枠画像１２は、表示部８において目立つ態様で生成される。「目立つ態様」は特に限定されるものではないが、例えば、周囲より高い輝度、目立つ色彩、点滅である。目立つ色彩は、例えば、警告を意味する赤色や黄色である。「目立つ態様」は、高い輝度、目立つ色彩、点滅を任意に組み合わせてもよい。 The frame image generation unit 6 generates a frame image 12 (see FIG. 4) surrounding the target obstacle 9. The frame image generation unit 6 is provided in the ECU 10. The frame image 12 is generated in a conspicuous manner on the display unit 8. The “conspicuous mode” is not particularly limited, and is, for example, higher brightness than the surroundings, conspicuous color, or blinking. The conspicuous colors are, for example, red or yellow meaning warning. The “conspicuous mode” may be any combination of high luminance, conspicuous color, and blinking.

画像重畳部７は、枠画像１２を撮像画像に重畳させる。なお、対象障害物９が検知されないときは、枠画像生成部６において枠画像１２が生成されないので、画像重畳部７は、枠画像１２を撮像画像に重畳しない。 The image superimposing unit 7 superimposes the frame image 12 on the captured image. Note that when the target obstacle 9 is not detected, the frame image generation unit 6 does not generate the frame image 12, so the image superimposing unit 7 does not superimpose the frame image 12 on the captured image.

表示制御部１３は、画像重畳部７で生成された画像を表示部８に表示させる（図４参照）。なお、対象障害物９が検知されないときは、枠画像生成部６において枠画像１２が生成されないので、表示制御部１３は、枠画像１２を表示部８に表示させず、撮像画像を表示部８に表示させる。また、対象障害物９が検知されると、表示制御部１３は、表示部８における撮像画面の輪郭部を点滅させる（点滅は図示せず）。 The display control unit 13 causes the display unit 8 to display the image generated by the image superimposing unit 7 (see FIG. 4). When the target obstacle 9 is not detected, the frame image generation unit 6 does not generate the frame image 12, so the display control unit 13 does not display the frame image 12 on the display unit 8 and displays the captured image on the display unit 8. To display. Further, when the target obstacle 9 is detected, the display control unit 13 blinks the contour portion of the imaging screen in the display unit 8 (blinking is not illustrated).

表示部８は、画像重畳部７で生成された画像を表示する（図４参照）。なお、対象障害物９が検知されないときは、枠画像生成部６において枠画像１２が生成されないので、表示部８は、撮像画像を表示部８に表示する際、枠画像１２を表示部８に表示しない。表示部８は、撮像画像を、輝度調節部５で調節された輝度で表示する。 The display unit 8 displays the image generated by the image superimposing unit 7 (see FIG. 4). When the target obstacle 9 is not detected, the frame image generation unit 6 does not generate the frame image 12, so the display unit 8 displays the frame image 12 on the display unit 8 when displaying the captured image on the display unit 8. Do not show. The display unit 8 displays the captured image with the luminance adjusted by the luminance adjusting unit 5.

輝度調節部５による輝度調節パターンの一つに、上記の如く、第１の調節パターンがある。第１の調節パターンで輝度が調節された場合、対象障害物９の検知前においては、表示部８は、画面の輝度が第１の状態に調節された状態で撮像画像を表示する（図３参照）。第１の状態は、例えば、路面における白線等の走行区画線１４をドライバが認識できる程度の輝度状態であって、ドライバが撮像画像を煩わしく感じない程度の輝度状態である。 One of the luminance adjustment patterns by the luminance adjustment unit 5 is the first adjustment pattern as described above. When the brightness is adjusted with the first adjustment pattern, the display unit 8 displays the captured image with the screen brightness adjusted to the first state before the target obstacle 9 is detected (FIG. 3). reference). The first state is, for example, a luminance state in which the driver can recognize the travel division line 14 such as a white line on the road surface, and a luminance state in which the driver does not feel annoying the captured image.

一方、対象障害物９が検知されると、表示部８は、対象障害物９の周辺部１１の輝度を第１の状態よりも平均輝度が高い第２の状態に変更する（図２、４参照）。この変更により、周辺部１１の平均輝度が当該周辺部１１以外の部分の平均輝度よりも高くなる。第２の状態は、例えば、走行区画線１４のみならず、歩行者等の対象障害物９をドライバが容易に認識できる程度の輝度状態である。第２の状態の平均輝度は、例えば、第１の状態の平均輝度の２〜４倍である。 On the other hand, when the target obstacle 9 is detected, the display unit 8 changes the luminance of the peripheral portion 11 of the target obstacle 9 to the second state in which the average luminance is higher than that in the first state (FIGS. 2 and 4). reference). By this change, the average brightness of the peripheral portion 11 becomes higher than the average brightness of the portion other than the peripheral portion 11. The second state is, for example, a luminance state in which the driver can easily recognize not only the travel lane line 14 but also the target obstacle 9 such as a pedestrian. The average brightness in the second state is, for example, 2 to 4 times the average brightness in the first state.

また、表示部８は、枠画像１２については、目立つ態様で表示する（図２、４参照）。「目立つ態様」は上記の如く、例えば、周囲より高い輝度、目立つ色彩、点滅である。目立つ色彩は、例えば、警告を意味する赤色や黄色である。「目立つ態様」は、高い輝度、目立つ色彩、点滅を任意に組み合わせてもよい。 The display unit 8 displays the frame image 12 in a conspicuous manner (see FIGS. 2 and 4). The “conspicuous mode” is, for example, higher brightness than the surroundings, conspicuous color, and blinking as described above. The conspicuous colors are, for example, red or yellow meaning warning. The “conspicuous mode” may be any combination of high luminance, conspicuous color, and blinking.

また、対象障害物９が検知されると、表示部８は撮像画像の輪郭部を点滅表示する。 When the target obstacle 9 is detected, the display unit 8 blinks and displays the contour portion of the captured image.

対象障害物９の周辺部１１の表示横幅は、特に限定されるものではないが、例えば、表示部８の画面横幅の１／３以下である。 The display width of the peripheral portion 11 of the target obstacle 9 is not particularly limited, but is, for example, 1/3 or less of the screen width of the display portion 8.

表示部８の種類は特に限定されないが、例えば、運転席前方のコンビネーションメータ２５の配置領域内に設けられたディスプレイ（図２参照）、ヘッドアップディスプレイ、センターコンソールに設けられたディスプレイである。図２に示される例では、コンビネーションメータ２５は、ディスプレイ（表示部８）の他にタコメータ２３およびスピードメータ２４等を備えている。ヘッドアップディスプレイにおいては、画像がウィンドシールド（フロントガラス）に投影される。センターコンソールに設けられたディスプレイは、通常、ナビゲーションシステムのディスプレイとしても機能する。 Although the kind of the display part 8 is not specifically limited, For example, they are the display (refer FIG. 2) provided in the arrangement | positioning area | region of the combination meter 25 ahead of a driver's seat, a head-up display, and the display provided in the center console. In the example shown in FIG. 2, the combination meter 25 includes a tachometer 23, a speedometer 24, and the like in addition to the display (display unit 8). In the head-up display, an image is projected on a windshield (front glass). The display provided in the center console usually functions as a display for the navigation system.

次に、ナイトビジョンシステム１の動作について、図５のフローチャートを参照しつつ説明する。 Next, the operation of the night vision system 1 will be described with reference to the flowchart of FIG.

まず、投光器３の投光および赤外線カメラ２の撮像により、車両前方の車外状況が撮像される（ステップＳ１）。次いで、輝度調節部５は、画面の輝度を第１の状態に調節する
（ステップＳ２）。第１の状態は、例えば、路面における白線等の走行区画線１４をドライバが認識できる程度の輝度状態であって、ドライバが撮像画像を煩わしく感じない程度の輝度状態である（図３参照）。次いで、表示部８は、第１の状態で撮像画像を表示する（ステップＳ３）。従って、ドライバは撮像画像を煩わしく感じない。 First, the situation outside the vehicle in front of the vehicle is imaged by light projection by the projector 3 and imaging by the infrared camera 2 (step S1). Next, the luminance adjusting unit 5 adjusts the luminance of the screen to the first state (step S2). The first state is, for example, a luminance state in which the driver can recognize the travel line 14 such as a white line on the road surface, and a luminance state in which the driver does not feel the captured image bothersome (see FIG. 3). Next, the display unit 8 displays the captured image in the first state (step S3). Therefore, the driver does not feel the captured image bothersome.

次いで、検知部４は、赤外線カメラ２の撮像画像に基づき、車両前方に歩行者等の対象障害物９が存在するかどうかを判断する（ステップＳ４）。歩行者等の対象障害物９が存在すると判断されると、輝度調節部５は、対象障害物９の周辺部１１の輝度を第１の状態よりも平均輝度が高い第２の状態に変更する（ステップＳ５）。この変更により、周辺部１１の平均輝度が当該周辺部１１以外の部分の平均輝度よりも高くなる（図４参照）。第２の状態は、例えば、走行区画線１４のみならず、歩行者等の対象障害物９をドライバが認識できる程度の輝度状態である。周辺部１１の平均輝度が当該周辺部１１以外の部分の平均輝度よりも高くなることで、ドライバは、歩行者等の対象障害物９が存在していることと、対象障害物９が存在するおよその位置を瞬時に認識することができる。一方、ステップＳ４において対象障害物９が存在しないと判断されると、ステップＳ１に戻る。 Next, the detection unit 4 determines whether or not the target obstacle 9 such as a pedestrian exists in front of the vehicle based on the captured image of the infrared camera 2 (step S4). When it is determined that the target obstacle 9 such as a pedestrian is present, the luminance adjusting unit 5 changes the luminance of the peripheral part 11 of the target obstacle 9 to the second state where the average luminance is higher than the first state. (Step S5). By this change, the average luminance of the peripheral portion 11 becomes higher than the average luminance of portions other than the peripheral portion 11 (see FIG. 4). The second state is, for example, a luminance state in which the driver can recognize not only the travel lane marking 14 but also the target obstacle 9 such as a pedestrian. Since the average luminance of the peripheral part 11 is higher than the average luminance of the part other than the peripheral part 11, the driver has the target obstacle 9 such as a pedestrian and the target obstacle 9 present. The approximate position can be recognized instantly. On the other hand, if it is determined in step S4 that the target obstacle 9 does not exist, the process returns to step S1.

次いで、枠画像生成部６は、対象障害物９の周りを囲む枠画像１２を生成する（ステップＳ６）。枠画像１２は、表示部８において目立つ態様で生成される。枠画像１２が生成されると、画像重畳部７は、枠画像１２を撮像画像に重畳する（ステップＳ７）。次いで、表示部８は、対象障害物９の周辺部１１の平均輝度が当該周辺部１１以外の部分の平均輝度よりも高い撮像画像に、枠画像１２が重畳された画像を表示する（ステップＳ８）。対象障害物９の周辺部１１の平均輝度が高くなっているので、ドライバは対象障害物９の存在と対象障害物９のおよその位置を瞬時に認識することができる。また、対象障害物９の周辺部１１の平均輝度が高くなっているものの、周辺部１１以外の部分の輝度は低く抑えられているので、ドライバは撮像画像を煩わしく感じない。また、対象障害物９を囲むように枠画像１２が表示されるので、ドライバは対象障害物９の位置を瞬時に認識することができる。ステップＳ８の処理が終了するとステップＳ１に戻る。以上がナイトビジョンシステム１の動作である。 Next, the frame image generation unit 6 generates a frame image 12 surrounding the target obstacle 9 (step S6). The frame image 12 is generated in a conspicuous manner on the display unit 8. When the frame image 12 is generated, the image superimposing unit 7 superimposes the frame image 12 on the captured image (step S7). Next, the display unit 8 displays an image in which the frame image 12 is superimposed on a captured image in which the average luminance of the peripheral part 11 of the target obstacle 9 is higher than the average luminance of parts other than the peripheral part 11 (step S8). ). Since the average luminance of the peripheral part 11 of the target obstacle 9 is high, the driver can instantly recognize the presence of the target obstacle 9 and the approximate position of the target obstacle 9. In addition, although the average luminance of the peripheral portion 11 of the target obstacle 9 is high, the luminance of portions other than the peripheral portion 11 is kept low, so the driver does not feel the captured image bothersome. Further, since the frame image 12 is displayed so as to surround the target obstacle 9, the driver can instantly recognize the position of the target obstacle 9. When the process of step S8 ends, the process returns to step S1. The above is the operation of the night vision system 1.

ナイトビジョンシステム１によれば、夜間にドライバが歩行者等を発見し易いように撮像画像を表示しつつ、ドライバが撮像画像の表示を煩わしく感じないようにすることができる。また、周辺部１１以外の部分の輝度は低く抑えられているので、運転を補助する情報を撮像画像に重畳させた場合に、当該情報を視認し易く表示することができる。運転を補助する情報とは、例えば、ナビゲーションシステムにおける交差点案内情報（図６に例示される直進、右折、左折等を示す矢印１６等）である。 According to the night vision system 1, it is possible to prevent the driver from feeling annoying the display of the captured image while displaying the captured image so that the driver can easily find a pedestrian or the like at night. Moreover, since the brightness | luminance of parts other than the peripheral part 11 is restrained low, when the information which assists a driving | operation is superimposed on a captured image, the said information can be displayed easily. The information for assisting driving is, for example, intersection guidance information in the navigation system (such as an arrow 16 indicating straight travel, right turn, left turn, etc. illustrated in FIG. 6).

（第２実施形態）
次に、本発明の第２実施形態について、図面を参照しつつ説明する。図７は、第２実施形態に係るナイトビジョンシステムの構成を示すブロック図である。図８は、画像輝度の第２の調節パターンにおいて、対象障害物が検知される前の状態を示す図である。図９は、画像輝度の第２の調節パターンにおいて、対象障害物が検知された時の状態を示す図である。図１０は、ナイトビジョンシステムの動作を示すフローチャートである。 (Second Embodiment)
Next, a second embodiment of the present invention will be described with reference to the drawings. FIG. 7 is a block diagram showing the configuration of the night vision system according to the second embodiment. FIG. 8 is a diagram illustrating a state before the target obstacle is detected in the second image luminance adjustment pattern. FIG. 9 is a diagram illustrating a state when a target obstacle is detected in the second image luminance adjustment pattern. FIG. 10 is a flowchart showing the operation of the night vision system.

第２実施形態が第１実施形態と異なる点は、輝度調節部１５（図７参照）が第１の実施形態で説明した第１の調節パターンに加えて第２の調節パターンを有している点と、ナイトビジョンシステム２０が第１の調節パターンと第２の調節パターンを相互に切り替える選択スイッチ２２を備えている点であり、その他の構成は第１実施形態と同様である。第２実施形態において、第１実施形態と同じ構成については同一の参照符号を付してその説明を省略する。検知部４、輝度調節部１５、枠画像生成部６、画像重畳部７、および表示制御部１３は、ＥＣＵ（Electronic Control Unit）１７内に設けられている。 The second embodiment is different from the first embodiment in that the luminance adjustment unit 15 (see FIG. 7) has a second adjustment pattern in addition to the first adjustment pattern described in the first embodiment. The point is that the night vision system 20 includes a selection switch 22 that switches between the first adjustment pattern and the second adjustment pattern, and other configurations are the same as those of the first embodiment. In the second embodiment, the same components as those in the first embodiment are denoted by the same reference numerals, and the description thereof is omitted. The detection unit 4, the brightness adjustment unit 15, the frame image generation unit 6, the image superimposition unit 7, and the display control unit 13 are provided in an ECU (Electronic Control Unit) 17.

輝度調節部１５は、第１の調節パターンおよび第２の調節パターンで輝度を調節することができる。第２の調節パターンでは、輝度調節部１５は、対象障害物９の検知前および検知後の双方において、表示部８の画面の輝度を第１実施形態における第１の状態よりも平均輝度が高い第３の状態に調節する（図８、９参照）。第２の調節パターンで輝度が調節された場合、対象障害物９の検知前および検知後において、表示部８は、画面の輝度が第３の状態に調節された状態で撮像画像を表示する（図８、９参照）。第３の状態は、例えば、走行区画線１４のみならず、歩行者等の対象障害物９をドライバが認識できる程度の輝度状態である。第３の状態は、第１実施形態における第２の状態と同じ輝度状態とすることができる。第２の調節パターンでは、歩行者等の対象障害物９をドライバが容易に認識できる程度の輝度状態が、対象障害物９の検知前および検知後を通じて維持されることとなる。 The brightness adjustment unit 15 can adjust the brightness with the first adjustment pattern and the second adjustment pattern. In the second adjustment pattern, the luminance adjustment unit 15 has a higher average luminance than the first state in the first embodiment in the luminance of the screen of the display unit 8 before and after the detection of the target obstacle 9. The third state is adjusted (see FIGS. 8 and 9). When the brightness is adjusted by the second adjustment pattern, the display unit 8 displays the captured image with the screen brightness adjusted to the third state before and after the target obstacle 9 is detected ( (See FIGS. 8 and 9). The third state is, for example, a luminance state in which the driver can recognize not only the travel lane marking 14 but also the target obstacle 9 such as a pedestrian. The third state can be the same luminance state as the second state in the first embodiment. In the second adjustment pattern, a luminance state that allows the driver to easily recognize the target obstacle 9 such as a pedestrian is maintained before and after the detection of the target obstacle 9.

選択スイッチ２２は、第１の調節パターンと第２の調節パターンを相互に切り替える。選択スイッチ２２は、ドライバが操作することができる。ドライバは、第１の調節パターンおよび第２の調節パターンの中から、好みの調節パターンを選択することができる。選択スイッチ２２は、例えばセンターコンソールに設けられている。 The selection switch 22 switches between the first adjustment pattern and the second adjustment pattern. The selection switch 22 can be operated by a driver. The driver can select a favorite adjustment pattern from the first adjustment pattern and the second adjustment pattern. The selection switch 22 is provided, for example, in the center console.

次に、ナイトビジョンシステム２０の動作について、図１０のフローチャートを参照しつつ説明する。 Next, the operation of the night vision system 20 will be described with reference to the flowchart of FIG.

まず、投光器３の投光および赤外線カメラ２の撮像により、車両前方の車外状況が撮像される（ステップＳ１）。次いで、選択スイッチ２２から入力される信号に基づき、第１の調節パターンと第２の調節パターンのいずれが選択されているかが判断される（ステップＳ１Ａ）。ステップＳ１Ａで第１の調節パターンが選択されていると判断された場合、第１の実施形態で説明したようにステップＳ２〜Ｓ８の処理が行われる。 First, the situation outside the vehicle in front of the vehicle is imaged by the projection of the projector 3 and the imaging of the infrared camera 2 (step S1). Next, based on the signal input from the selection switch 22, it is determined which of the first adjustment pattern and the second adjustment pattern is selected (step S1A). When it is determined in step S1A that the first adjustment pattern has been selected, the processes in steps S2 to S8 are performed as described in the first embodiment.

一方、ステップＳ１Ａで第２の調節パターンが選択されていると判断された場合、輝度調節部１５は、画面の輝度を第３の状態に調節する（ステップＳ９）。第３の状態は、例えば、路面における白線等の走行区画線１４のみならず、歩行者等の対象障害物９をドライバが容易に認識できる程度の輝度状態である。次いで、表示部８は、図８に示される如く第３の状態で撮像画像を表示する（ステップＳ１０）。 On the other hand, when it is determined in step S1A that the second adjustment pattern has been selected, the luminance adjusting unit 15 adjusts the luminance of the screen to the third state (step S9). The third state is, for example, a luminance state in which the driver can easily recognize the target obstacle 9 such as a pedestrian as well as the running line 14 such as a white line on the road surface. Next, the display unit 8 displays the captured image in the third state as shown in FIG. 8 (step S10).

次いで、検知部４は、赤外線カメラ２の撮像画像に基づき、車両前方に歩行者等の対象障害物９が存在するかどうかを判断する（ステップＳ１１）。歩行者等の対象障害物９が存在すると判断されると、枠画像生成部６は、対象障害物９の周りを囲む枠画像１２を生成する（ステップＳ１２）。枠画像１２は、表示部８において目立つ態様で生成される。枠画像１２が生成されると、画像重畳部７は、枠画像１２を撮像画像に重畳する（ステップＳ１６）。次いで、表示部８は、図９に示される如く、撮像画像に枠画像１２が重畳された画像を表示する（ステップＳ１７）。画面の輝度が高くなっているので、ドライバは対象障害物９の存在を容易に認識することができる。また、対象障害物９を囲むように枠画像１２が表示されるので、ドライバは対象障害物９の位置を瞬時に認識することができる。ステップＳ１７の処理が終了するとステップＳ１に戻る。以上がナイトビジョンシステム２０の動作である。 Next, the detection unit 4 determines whether or not the target obstacle 9 such as a pedestrian exists in front of the vehicle based on the captured image of the infrared camera 2 (step S11). When it is determined that the target obstacle 9 such as a pedestrian exists, the frame image generation unit 6 generates a frame image 12 surrounding the target obstacle 9 (step S12). The frame image 12 is generated in a conspicuous manner on the display unit 8. When the frame image 12 is generated, the image superimposing unit 7 superimposes the frame image 12 on the captured image (step S16). Next, as shown in FIG. 9, the display unit 8 displays an image in which the frame image 12 is superimposed on the captured image (step S17). Since the brightness of the screen is high, the driver can easily recognize the presence of the target obstacle 9. Further, since the frame image 12 is displayed so as to surround the target obstacle 9, the driver can instantly recognize the position of the target obstacle 9. When the process of step S17 ends, the process returns to step S1. The above is the operation of the night vision system 20.

ナイトビジョンシステム２０によれば、夜間にドライバが歩行者等を発見し易いように撮像画像を表示しつつ、ドライバが撮像画像の表示を煩わしく感じないようにすることができる。また、ドライバが選択スイッチ２２を操作することにより、ドライバの好みに応じて第１の調節パターンと第２の調節パターンを相互に切り替えることができる。 According to the night vision system 20, it is possible to prevent the driver from feeling annoying the display of the captured image while displaying the captured image so that the driver can easily find a pedestrian or the like at night. Further, when the driver operates the selection switch 22, the first adjustment pattern and the second adjustment pattern can be switched to each other according to the preference of the driver.

本発明は、夜間にドライバが歩行者等を発見し易いように撮像画像を表示するナイトビジョンシステム等に利用可能である。 The present invention can be used for a night vision system or the like that displays a captured image so that a driver can easily find a pedestrian or the like at night.

１、２０ナイトビジョンシステム
２赤外線カメラ
３投光器
４検知部
５、１５輝度調節部
６枠画像生成部
７画像重畳部
８表示部
９対象障害物（歩行者等）
１０ＥＣＵ
１１対象障害物の周辺部
１２枠画像
１３表示制御部
１４走行区画線
２２選択スイッチ DESCRIPTION OF SYMBOLS 1,20 Night vision system 2 Infrared camera 3 Projector 4 Detection part 5, 15 Brightness adjustment part 6 Frame image generation part 7 Image superimposition part 8 Display part 9 Target obstacle (pedestrian etc.)
10 ECU
DESCRIPTION OF SYMBOLS 11 Peripheral part of object obstacle 12 Frame image 13 Display control part 14 Travel division line 22 Selection switch

Claims

A night vision system for displaying an image outside a vehicle captured by an infrared camera,
An infrared camera that images outside the vehicle;
Based on the captured image of the infrared camera, a detection unit for detecting a target obstacle outside the vehicle;
A brightness adjusting unit for adjusting the brightness of the captured image;
A display unit that displays the captured image with the luminance adjusted by the luminance adjustment unit,
The luminance adjustment unit can adjust the luminance with a first adjustment pattern. In the first adjustment pattern, the luminance of the screen of the display unit is adjusted to a first state before the target obstacle is detected. When the target obstacle is detected, the luminance of the peripheral portion of the target obstacle is changed to a second state where the average luminance is higher than the first state, and the average luminance of the peripheral portion is changed by this change. While the brightness is higher than the average brightness of the portion other than the peripheral portion, the brightness can be adjusted also by the second adjustment pattern. In the second adjustment pattern, the display unit both before and after the detection of the target obstacle. Adjusting the screen brightness to a third state in which the average brightness is higher than the first state,
The night vision system
A night vision system , further comprising a selection switch for switching between the first adjustment pattern and the second adjustment pattern .

A frame image generation unit that generates a frame image surrounding the target obstacle;
An image superimposing unit that superimposes the frame image on the captured image;
The night vision system according to claim 1, wherein the display unit displays an image generated by the image superimposing unit.

The night vision system according to claim 2, wherein the frame image is displayed in a conspicuous manner.

The night vision system according to any one of claims 1 to 3, wherein a display width of the peripheral portion is 1/3 or less of a screen width of the display portion.

The night vision system according to any one of claims 1 to 4 , wherein the infrared camera is a near-infrared camera.

The night vision system according to claim 5 , further comprising a projector that projects near-infrared light.

The night vision system according to any one of claims 1 to 6 , wherein the display unit is provided in an arrangement area of a combination meter in front of the driver's seat.

The night vision system according to any one of claims 1 to 7, wherein when the target obstacle is detected, a contour portion of a captured image on the display section blinks.