JP2008007079A - Device and method for road surface projection - Google Patents

Device and method for road surface projection Download PDF

Info

Publication number
JP2008007079A
JP2008007079A JP2006182599A JP2006182599A JP2008007079A JP 2008007079 A JP2008007079 A JP 2008007079A JP 2006182599 A JP2006182599 A JP 2006182599A JP 2006182599 A JP2006182599 A JP 2006182599A JP 2008007079 A JP2008007079 A JP 2008007079A
Authority
JP
Japan
Prior art keywords
image
image data
vehicle
unit
road surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006182599A
Other languages
Japanese (ja)
Other versions
JP4720650B2 (en
Inventor
Kazuji Konno
和司 紺野
Takayuki Miyajima
孝幸 宮島
Yumi Shibata
由美 柴田
Mitsuhiro Naito
光浩 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin AW Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to JP2006182599A priority Critical patent/JP4720650B2/en
Publication of JP2008007079A publication Critical patent/JP2008007079A/en
Application granted granted Critical
Publication of JP4720650B2 publication Critical patent/JP4720650B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/525—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00—Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50—Projected symbol or information, e.g. onto the road or car body

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Traffic Control Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a device and a method for road surface projection capable of calling attention of a pedestrian in an easily understandable manner. <P>SOLUTION: Visible light cameras 11-1 to 11-4, and infrared ray cameras 12-1 to 12-4 pick up images of road surfaces on the front side, the rear side and the right side of a vehicle. A CPU 35 discriminates a pedestrian based on infrared ray images of the infrared ray cameras 12-1 and 12-2, and determines whether or not any pedestrian is present in an area of discrimination. If any pedestrian is present in this area of discrimination, the CPU 35 turns on a switch 18, and a projector 13-1 picks up an image of a pedestrian crossing picture on a road surface. Further, when the vehicle approaches, the CPU 35 turns on a switch 19, and a projector 13-2 picks up an image of a stop-line on the road surface. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、路面投影装置及び路面投影方法に関するものである。   The present invention relates to a road surface projection apparatus and a road surface projection method.

歩行者の安全を確保することは、重要な問題である。このような歩行者の安全を確保するため、歩行者に報知する従来のシステムとして、走行音等が極端に小さい電気自動車に搭載された警報装置がある（例えば、特許文献１参照）。この警報装置は、光量検出器と発音器とを備え、電気自動車が歩行者に接近したときに、光量検出器が周囲の光量を検出し、その光量検出器の出力に基づいて発音器を駆動させている。   Ensuring the safety of pedestrians is an important issue. In order to ensure the safety of such pedestrians, as a conventional system for informing pedestrians, there is an alarm device mounted on an electric vehicle with extremely low running noise (for example, see Patent Document 1). This alarm device has a light intensity detector and a sound generator. When the electric vehicle approaches a pedestrian, the light intensity detector detects the ambient light intensity and drives the sound generator based on the output of the light intensity detector. I am letting.

この警報装置は、このように発音器を駆動させることにより、昼間か夜間か、周囲が繁華街か閑静な地区か、その周囲環境に応じて、適確な音量の接近音を電気自動車の接近を歩行者に報知するようにしている。   By driving the sound generator in this way, this alarm device makes an approaching sound of an appropriate volume depending on whether it is daytime or nighttime, whether it is a busy or quiet area, or the surrounding environment. To the pedestrian.

また、赤外線カメラと警告灯とを備えた車両用照明システムもある（例えば、特許文献２参照）。この車両用照明システムでは、前照灯で照明されない領域に歩行者が存在している場合に、赤外線カメラで歩行者の熱を検知して、可視光による警告灯をこの領域に向けて点灯させて、可視光で歩行者を照明するようにしている。   There is also a vehicular lighting system including an infrared camera and a warning light (see, for example, Patent Document 2). In this vehicle lighting system, when there is a pedestrian in an area that is not illuminated by the headlamp, the infrared camera detects the heat of the pedestrian and turns on the warning light with visible light toward this area. The pedestrians are illuminated with visible light.

また、この車両照明システムでは、フロントガラスに、警告灯の光を遮光するフィルタが配置されており、運転者に気づかれないように警告灯の光を点灯させるようにしている。これにより、路面の熱によって歩行者を誤検出して警告灯を点灯しても、運転者の注意をそらさないようにしている。このようにしてこの車両用照明システムは、車両の接近を歩行者に適確に報知するようにしている。   Further, in this vehicle lighting system, a filter that blocks the light of the warning light is arranged on the windshield so that the light of the warning light is turned on so as not to be noticed by the driver. Thereby, even if a pedestrian is erroneously detected by the heat of the road surface and the warning light is turned on, the driver's attention is not distracted. In this manner, this vehicle illumination system accurately notifies the pedestrian of the approach of the vehicle.

また、赤外線ステレオカメラと可視光ステレオカメラとを備えた車両用障害物検出装置もある（特許文献３参照）。この車両用障害物検出装置では、赤外線ステレオカメラで障害物として歩行者を検出し、可視光ステレオカメラで道路に表示された白線を検出する。   There is also a vehicle obstacle detection device including an infrared stereo camera and a visible light stereo camera (see Patent Document 3). In this vehicle obstacle detection device, a pedestrian is detected as an obstacle with an infrared stereo camera, and a white line displayed on a road is detected with a visible light stereo camera.

そして、この車両用障害物検出装置は、歩行者が白線から所定領域内に存在しているときに、前照灯の照射方向を切り換えて歩行者に対して可視照明を行うようにしている。この車両用障害物検出装置は、このようにして、夜間運転時の歩行者の安全を確保するようにしている。
特開平７−２０５７５３号公報（第２頁、図１） 特開２００５−４７３９０号公報（第３頁、図１） 特開２０００−３１８５１３号公報（第３頁、図１） And this obstacle detection apparatus for vehicles performs visible illumination with respect to a pedestrian by switching the irradiation direction of a headlamp, when a pedestrian exists in a predetermined area | region from a white line. This vehicle obstacle detection device thus ensures the safety of pedestrians during night driving.
Japanese Patent Laid-Open No. 7-205753 (2nd page, FIG. 1) Japanese Patent Laying-Open No. 2005-47390 (page 3, FIG. 1) JP 2000-318513 A (page 3, FIG. 1)

しかし、特許文献１のもののように、単に接近音を報知するだけでは、車両の接近を報知すべき歩行者が特定されないため、歩行者に、自身に対する報知なのか否かを判別させることができず、歩行者に対して分かり易く注意を喚起させることができない。   However, since the pedestrian who should notify the approach of the vehicle is not specified only by notifying the approaching sound as in the case of Patent Document 1, the pedestrian can determine whether the notification is for himself / herself. Therefore, it is impossible to draw attention to pedestrians in an easy-to-understand manner.

また、特許文献２、３のもののように、単に警告灯で歩行者を照明するだけでは、歩行者は、なぜ、照明を受けているのか判断できず、違和感もあり、誰のための照明なのか、その状況を判断できず、歩行者に対して分かり易く注意を喚起させることができない。   In addition, as in Patent Documents 2 and 3, simply illuminating a pedestrian with a warning light cannot determine why the pedestrian is receiving illumination, and there is a sense of incongruity. However, the situation cannot be judged, and the pedestrian cannot be alerted easily.

また、歩行者に対して分かり易く注意を喚起させることができなければ、歩行者の安全を十分に確保したとはいえない。   Moreover, it cannot be said that the safety of the pedestrian is sufficiently ensured if the pedestrian cannot be alerted easily.

本発明は、このような従来の問題点に鑑みてなされたもので、歩行者のような移動体に対して、分かり易く注意を喚起させることが可能な路面投影装置及び路面投影方法を提供することを目的とする。
また、本発明は、歩行者のような移動体の安全を確保することが可能な路面投影装置及び路面投影方法を提供することを目的とする。 The present invention has been made in view of such a conventional problem, and provides a road surface projection device and a road surface projection method that can easily draw attention to a moving body such as a pedestrian. For the purpose.
It is another object of the present invention to provide a road surface projection device and a road surface projection method that can ensure the safety of a moving body such as a pedestrian.

この目的を達成するため、本発明の第１の観点に係る路面投影装置は、
自車両の周囲領域を監視する監視部と、
前記監視部の監視結果に基づいて、移動体を判別する移動体判別部と、
路面に投影するイメージのイメージデータを予め記憶するイメージデータ記憶部と、
イメージを投影するように作動制御されたときに、前記イメージデータ記憶部から前記イメージデータを読み出し、前記移動体近傍の路面位置に前記イメージを投影する投影部と、
前記監視部が監視した周囲領域に判別領域を設定し、前記移動体判別部が判別した前記移動体が、前記判別領域に存在しているときに、前記イメージを投影するように前記投影部を作動制御する作動制御部と、を備えたことを特徴とする。 In order to achieve this object, a road surface projection device according to the first aspect of the present invention provides:
A monitoring unit that monitors the surrounding area of the vehicle;
Based on the monitoring result of the monitoring unit, a moving body determination unit for determining a moving body;
An image data storage unit for storing in advance image data of an image to be projected on the road surface;
A projection unit that reads out the image data from the image data storage unit and projects the image on a road surface in the vicinity of the moving body when the operation is controlled to project an image;
A determination area is set in the surrounding area monitored by the monitoring section, and the projection section is configured to project the image when the moving body determined by the moving body determination section exists in the determination area. And an operation control unit that controls the operation.

道路が延びる方向を道路方向として、停車している前記自車両の前記道路方向に対する傾き角度を検出する車両傾き検出部と、
前記車両傾き検出部が検出した傾き角度に基づいて、前記イメージデータ記憶部が予め記憶するイメージデータに基づくイメージの傾きを補正し、補正したイメージデータを前記イメージデータ記憶部に格納するイメージデータ補正部と、を備え、
前記投影部は、イメージを投影するように前記作動制御部に作動制御されて、前記イメージデータ記憶部から、前記イメージデータ補正部が補正したイメージデータを読み出し、前記移動体近傍の路面位置に、補正された前記イメージを投影するようにしてもよい。 A vehicle inclination detection unit that detects an inclination angle of the vehicle that is stopped with respect to the road direction, with a direction in which the road extends as a road direction;
Image data correction for correcting an image inclination based on image data stored in advance by the image data storage unit based on the inclination angle detected by the vehicle inclination detection unit, and storing the corrected image data in the image data storage unit And comprising
The projection unit is controlled by the operation control unit so as to project an image, and reads out the image data corrected by the image data correction unit from the image data storage unit, to the road surface position near the moving body, The corrected image may be projected.

前記車両傾き検出部は、
前記自車両が走行しているときに、前記自車両の走行方向が変化する毎に前記自車両のヨーレートを計測するヨーレート計測部と、
前記ヨーレート計測部が計測した前記自車両のヨーレートを逐次記憶するヨーレート記憶部と、
前記自車両が停車したとき、前記自車両が直進走行しているときの前記自車両の傾き角度を０°として、前記ヨーレート記憶部が逐次記憶したヨーレートを積算することにより、停車している前記自車両の前記道路方向に対する傾き角度を取得する傾き角度取得部と、を備えたものであってもよい。 The vehicle inclination detector is
A yaw rate measuring unit that measures the yaw rate of the host vehicle each time the traveling direction of the host vehicle changes when the host vehicle is traveling;
A yaw rate storage unit that sequentially stores the yaw rate of the host vehicle measured by the yaw rate measurement unit;
When the host vehicle stops, the tilt angle of the host vehicle when the host vehicle is traveling straight ahead is set to 0 °, and the yaw rate stored in the yaw rate storage unit is added up sequentially to stop the host vehicle. An inclination angle acquisition unit that acquires an inclination angle of the host vehicle with respect to the road direction.

前記イメージデータ記憶部は、前記イメージデータとして、前記移動体への注意喚起を促すための移動体用安全確認イメージのイメージデータを予め記憶し、
前記投影部は、イメージを投影するように前記作動制御部に作動制御されて、前記イメージデータ記憶部から、前記移動体用安全確認イメージのイメージデータを読み出し、前記移動体近傍の路面位置に、前記移動体用安全確認イメージを投影するようにしてもよい。 The image data storage unit stores, as the image data, image data of a safety confirmation image for a moving body for urging attention to the moving body in advance,
The projection unit is controlled by the operation control unit so as to project an image, and reads out image data of the safety confirmation image for the moving body from the image data storage unit. The mobile body safety confirmation image may be projected.

前記移動体判別部は、前記移動体として歩行者を判別し、
前記イメージデータ記憶部は、前記イメージデータとして横断歩道のイメージデータを予め記憶し、
前記投影部は、イメージを投影するように前記作動制御部に作動制御されて、前記イメージデータ記憶部から、前記横断歩道のイメージデータを読み出し、前記移動体近傍の路面位置に、前記横断歩道のイメージを前記移動体用安全確認イメージとともに投影するようにしてもよい。 The mobile body determination unit determines a pedestrian as the mobile body,
The image data storage unit stores in advance image data of a pedestrian crossing as the image data,
The projection unit is controlled by the operation control unit to project an image, reads the image data of the pedestrian crossing from the image data storage unit, and the road surface position near the moving body You may make it project an image with the said safety confirmation image for moving bodies.

前記イメージデータ記憶部は、前記イメージデータの部分イメージデータを予め複数記憶し、
前記イメージデータ記憶部が記憶する複数の部分イメージデータから、前記路面に投影するイメージデータの生成に必要な部分イメージデータを選択し、選択した部分イメージデータを配置することにより、前記イメージデータを生成し、生成した前記イメージデータを前記イメージデータ記憶部に記憶する投影イメージ生成部を備えてもよい。 The image data storage unit stores in advance a plurality of partial image data of the image data,
The image data is generated by selecting partial image data necessary for generating image data to be projected onto the road surface from a plurality of partial image data stored in the image data storage unit, and arranging the selected partial image data. In addition, a projection image generation unit that stores the generated image data in the image data storage unit may be provided.

前記イメージデータ記憶部は、自車両に接近して側方を通過する接近車両への注意喚起を促すための接近車両用安全確認イメージのイメージデータを予め記憶し、
前記投影部は、前記自車両の周囲領域に前記移動体が存在すると前記移動体判別部が判別し、前記接近車両が接近したときに、イメージを投影するように前記作動制御部に作動制御されて、前記イメージデータ記憶部から、前記接近車両用安全確認イメージのイメージデータを読み出し、前記接近車両の進行方向前方に前記接近車両用安全確認イメージを投影するようにしてもよい。 The image data storage unit stores in advance image data of an approaching vehicle safety confirmation image for encouraging an approaching vehicle approaching the host vehicle and passing sideways,
The projecting unit is controlled by the operation control unit to project an image when the moving body determining unit determines that the moving body is present in a surrounding area of the host vehicle and the approaching vehicle approaches. Then, the image data of the approaching vehicle safety confirmation image may be read from the image data storage unit, and the approaching vehicle safety confirmation image may be projected in front of the approaching vehicle in the traveling direction.

前記監視部は、
自車両の周囲領域を可視光で撮影して可視光画像を取得する可視光撮影部と、
前記歩行者から発せられる赤外線を検知する赤外線検知部と、を備え、
前記移動体判別部は、前記赤外線検知部が検知した赤外線に基づいて前記移動体として歩行者を判別し、
前記作動制御部は、前記可視光撮影部が取得した可視光画像に基づいて、前記監視部が監視した周囲領域に判別領域を設定し、前記移動体判別部が判別した前記歩行者が、前記判別領域に存在しているときに、前記イメージを投影するように前記投影部を作動制御するようにしてもよい。 The monitoring unit
A visible light photographing unit that obtains a visible light image by photographing the surrounding area of the vehicle with visible light;
An infrared detector that detects infrared rays emitted from the pedestrian,
The mobile body determination unit determines a pedestrian as the mobile body based on infrared rays detected by the infrared detection unit,
The operation control unit sets a determination region in a surrounding region monitored by the monitoring unit based on a visible light image acquired by the visible light photographing unit, and the pedestrian determined by the moving body determination unit is The projection unit may be operated and controlled to project the image when the image is present in the determination area.

前記イメージデータ補正部は、前記路面に投影されるイメージと前記イメージデータ記憶部に予め記憶された補正前イメージとが対応するように、前記投影部が前記路面に前記イメージを投影する投影角度に基づいて前記補正前イメージの逆歪補正を行うようにしてもよい。   The image data correction unit adjusts the projection angle at which the projection unit projects the image onto the road surface so that the image projected onto the road surface corresponds to the pre-correction image stored in advance in the image data storage unit. Based on this, reverse distortion correction of the pre-correction image may be performed.

前記イメージデータ記憶部は、前記路面投影用のイメージデータを記憶するための投影イメージ記憶領域が設定されたものであり、
前記投影部は、イメージを投影するように前記作動制御部に作動制御されて、前記イメージデータ記憶部の前記投影イメージ記憶領域から、前記イメージデータを読み出し、前記移動体近傍の路面位置に前記イメージを投影するようにしてもよい。 The image data storage unit is set with a projection image storage area for storing the image data for road surface projection,
The projection unit is controlled by the operation control unit to project an image, reads out the image data from the projection image storage area of the image data storage unit, and the image is located at a road surface position near the moving body. May be projected.

前記作動制御部は、前記移動体の進行方向を判別し、
前記投影部は、イメージを投影するように前記作動制御部に作動制御されて、前記作動制御部が判別した前記移動体の進行方向前方の路面位置に前記イメージを投影するようにしてもよい。 The operation control unit determines a traveling direction of the moving body,
The projection unit may be controlled by the operation control unit so as to project an image, and project the image on a road surface position in front of the moving body determined by the operation control unit.

本発明の第２の観点に係る路面投影方法は、
路面に投影するイメージのイメージデータを予め記憶するステップと、
自車両の周囲領域を監視するステップと、
監視結果に基づいて、移動体を判別するステップと、
監視した周囲領域に判別領域を設定し、判別した前記移動体が、前記判別領域に存在しているときに、予め記憶する前記イメージデータを読み出して、前記移動体近傍の路面位置に前記イメージを投影するステップと、を備えたことを特徴とする。 A road surface projection method according to a second aspect of the present invention includes:
Storing in advance image data of an image to be projected onto the road surface;
Monitoring the surrounding area of the vehicle;
Determining a moving object based on the monitoring result;
When a discriminating area is set in the monitored surrounding area, and the discriminating moving body exists in the discriminating area, the image data stored in advance is read out, and the image is placed at a road surface position near the moving body. And a step of projecting.

本発明によれば、移動体に対して、分かり易く注意を喚起させることができる。また、移動体の安全を確保することができる。   According to the present invention, it is possible to call attention to a mobile object in an easy-to-understand manner. Moreover, the safety of the moving body can be ensured.

以下、本発明の実施形態に係る路面投影装置を図面を参照して説明する。
本実施形態に係る路面投影装置の構成を図１に示す。
本実施形態に係る路面投影装置１は、図２に示す車両４１に備えられたものであり、可視光カメラ１１−１〜１１−４と、赤外線カメラ１２−１〜１２−４と、プロジェクタ１３−１，１３−２と、車両傾き検出部１４と、バッテリ１５と、メインスイッチ１６と、スイッチ１７〜１９と、ＥＣＵ（Electronic Control Unit）２０と、を備える。 Hereinafter, a road projection device according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 shows the configuration of the road surface projection apparatus according to this embodiment.
A road surface projection device 1 according to this embodiment is provided in a vehicle 41 shown in FIG. 2, and includes visible light cameras 11-1 to 11-4, infrared cameras 12-1 to 12-4, and a projector 13. -1, 13-2, a vehicle tilt detection unit 14, a battery 15, a main switch 16, switches 17 to 19, and an ECU (Electronic Control Unit) 20.

可視光カメラ１１−１〜１１−４、赤外線カメラ１２−１〜１２−４は、図２に示す路肩５５の側方に停車している車両４１の周囲領域を監視するためのカメラである。   The visible light cameras 11-1 to 11-4 and the infrared cameras 12-1 to 12-4 are cameras for monitoring the surrounding area of the vehicle 41 that stops on the side of the road shoulder 55 shown in FIG.

可視光カメラ１１−１〜１１−４は、図２に示すように、車両４１の屋根に取り付けられ、それぞれ、周囲領域として、車両４１の前方、後方、右側、左側の路面を可視光で撮影する。   As shown in FIG. 2, the visible light cameras 11-1 to 11-4 are attached to the roof of the vehicle 41, and the front, rear, right side, and left side road surfaces of the vehicle 41 are photographed with visible light as surrounding areas. To do.

可視光カメラ１１−１〜１１−４は、それぞれ、光学レンズと、撮像部と、を備える（いずれも図示せず）。撮像部は、例えば、ＣＣＤ（Charge Coupled Device;電荷結合素子）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等からなる。可視光カメラ１１−１〜１１−４は、スイッチ１７がオンすると、それぞれ、バッテリ１５から電流が供給されて作動し、可視光で撮影を行う。   Each of the visible light cameras 11-1 to 11-4 includes an optical lens and an imaging unit (all not shown). The imaging unit includes, for example, a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor) sensor, and the like. When the switch 17 is turned on, the visible light cameras 11-1 to 11-4 operate by being supplied with a current from the battery 15 and perform imaging with visible light.

尚、図２に示す領域５１〜５４は、移動体としての歩行者２の存在を判別するための判別領域である。特に、判別領域５１は、車両４１の側方を後方から接近する車両の死角となる死角領域である。可視光カメラ１１−１〜１１−４は、それぞれ、この判別領域５１〜５４を含めて撮影を行うため、いずれも、広角カメラが用いられる。   2 are determination areas for determining the presence of the pedestrian 2 as a moving body. In particular, the discrimination area 51 is a blind spot area that is a blind spot of a vehicle that approaches the side of the vehicle 41 from behind. Since each of the visible light cameras 11-1 to 11-4 performs imaging including the discrimination areas 51 to 54, wide-angle cameras are used.

尚、車両４１の後方に取り付けられた可視光カメラ１１−２は、車両４１後方の路面を撮影するとともに、車両４１の後方から接近する車両も撮影可能なものとする。   Note that the visible light camera 11-2 attached to the rear of the vehicle 41 can photograph a road surface behind the vehicle 41 and also photograph a vehicle approaching from the rear of the vehicle 41.

また、車両４１の右側に取り付けられた可視光カメラ１１−３は、歩行者が車線を道路を渡り切ったか否かを判定するため、道路の中央線まで撮影可能なものとする。   Further, the visible light camera 11-3 attached to the right side of the vehicle 41 can shoot up to the center line of the road in order to determine whether or not the pedestrian has crossed the lane.

赤外線カメラ１２−１〜１２−４は、歩行者等を判別するためのカメラである。赤外線カメラ１２−１〜１２−４は、それぞれ、図２に示すように、車両４１の前方、後方、右側、左側の屋根に、可視光カメラ１１−１〜１１−４と並べて取り付けられる。   The infrared cameras 12-1 to 12-4 are cameras for discriminating pedestrians and the like. As shown in FIG. 2, the infrared cameras 12-1 to 12-4 are attached to the front, rear, right, and left roofs of the vehicle 41 side by side with the visible light cameras 11-1 to 11-4.

赤外線カメラ１２−１〜１２−４は、それぞれ、光学レンズと、赤外線センサと、を備え（いずれも図示せず）、スイッチ１７がオンすると、バッテリ１５から電流が供給されて作動し、歩行者等から発せられる赤外線を検知する。赤外線カメラ１２−１〜１２−４が備える赤外線センサには、例えば、サーモパイルセンサ、焦電型パイロセンサ等が用いられる。   Each of the infrared cameras 12-1 to 12-4 includes an optical lens and an infrared sensor (both not shown). When the switch 17 is turned on, a current is supplied from the battery 15, and the pedestrian is operated. Detects infrared rays emitted from etc. As the infrared sensor provided in the infrared cameras 12-1 to 12-4, for example, a thermopile sensor, a pyroelectric pyro sensor, or the like is used.

サーモパイルセンサは、歩行者の熱による赤外線を赤外線吸収体で熱エネルギーに変換し、ゼーベック効果を利用して熱検知信号を出力するセンサである。焦電型センサは、熱によって表面電荷が発生する現象を利用して熱検知信号を出力するセンサである。   The thermopile sensor is a sensor that converts infrared rays due to the heat of a pedestrian into heat energy using an infrared absorber and outputs a heat detection signal using the Seebeck effect. The pyroelectric sensor is a sensor that outputs a heat detection signal using a phenomenon in which surface charges are generated by heat.

赤外線カメラ１２−１〜１２−４は、それぞれ、このような赤外線センサを備え、赤外線による赤外線画像を生成する。この赤外線カメラ１２−１〜１２−４には、それぞれ、可視光カメラ１１−１〜１１−４と対応する画角を有するカメラが用いられる。   Each of the infrared cameras 12-1 to 12-4 includes such an infrared sensor and generates an infrared image using infrared rays. As the infrared cameras 12-1 to 12-4, cameras having an angle of view corresponding to the visible light cameras 11-1 to 11-4 are used.

プロジェクタ１３−１，１３−２は、路面にイメージを投影するためのものである。プロジェクタ１３−１，１３−２は、図２、図３に示すように、それぞれ、車両４１の前部、後部に取り付けられる。   The projectors 13-1 and 13-2 are for projecting an image on the road surface. As shown in FIGS. 2 and 3, the projectors 13-1 and 13-2 are attached to the front part and the rear part of the vehicle 41, respectively.

プロジェクタ１３−１，１３−２は、それぞれ、スイッチ１８，１９がオンすると、バッテリ１５から電流が供給されて作動する。   The projectors 13-1 and 13-2 operate when supplied with current from the battery 15 when the switches 18 and 19 are turned on.

車両傾き検出部１４は、図４に示すように、道路が延びる方向を道路方向Ｘとして、車両４１の道路方向Ｘに対する傾き角度θを検出するためのものである。   As shown in FIG. 4, the vehicle inclination detection unit 14 is for detecting an inclination angle θ of the vehicle 41 with respect to the road direction X, where the road extending direction is the road direction X.

道路に投影されるイメージは、方向Ｘに対して車両４１が傾いていると、補正されなければ、傾いてしまう。傾き角度θは、この路面イメージの傾きを補正する角度補正値として用いられる。   If the vehicle 41 is tilted with respect to the direction X, the image projected on the road will tilt unless corrected. The inclination angle θ is used as an angle correction value for correcting the inclination of the road surface image.

車両傾き検出部１４は、ヨーレート（Yaw Rate）を計測することにより、この傾き角度θを検出する。ヨーレートは、カーブ等で車両４１が回転する速度を示すパラメータであり、傾き角度θは、次の式（１）に従って算出される。
θ＝ΣΨiｄｔ ・・・・・・・（１）
但し、Ψi：ｉ番目に計測された車両４１のヨーレート The vehicle inclination detector 14 detects the inclination angle θ by measuring the yaw rate. The yaw rate is a parameter indicating the speed at which the vehicle 41 rotates on a curve or the like, and the inclination angle θ is calculated according to the following equation (1).
θ = ΣΨidt (1)
Where ψi: the yaw rate of the vehicle 41 measured i-th

車両傾き検出部１４は、式（１）に従って車両４１の傾き角度θを求めるため、ヨーレートセンサ１４ａと、メモリ１４ｂと、演算部１４ｃと、を備える。   The vehicle inclination detection unit 14 includes a yaw rate sensor 14a, a memory 14b, and a calculation unit 14c in order to obtain the inclination angle θ of the vehicle 41 according to the equation (1).

ヨーレートセンサ１４ａは、車両４１のヨーレートを計測するセンサであり、車両４１が走行しているときに、車両４１の走行方向が変化する毎に、車両４１のヨーレートを計測する。   The yaw rate sensor 14a is a sensor that measures the yaw rate of the vehicle 41, and measures the yaw rate of the vehicle 41 every time the traveling direction of the vehicle 41 changes when the vehicle 41 is traveling.

メモリ１４ｂは、ヨーレートセンサ１４ａが計測した車両４１のヨーレートを逐次記憶するものであり、ヨーレートセンサ１４ａは、計測する毎に、車両４１のヨーレートを、このメモリ１４ｂに格納する。   The memory 14b sequentially stores the yaw rate of the vehicle 41 measured by the yaw rate sensor 14a. The yaw rate sensor 14a stores the yaw rate of the vehicle 41 in the memory 14b every time it is measured.

演算部１４ｃは、車両４１が停車したときに、車両４１の道路方向Ｘに対する傾き角度θを取得するものである。演算部１４ｃは、車両４１が直進走行しているときの車両の傾き角度θを０°として、メモリ１４ｂが逐次記憶したヨーレートを、式（１）に従って演算することにより、傾き角度θを取得する。演算部１４ｃは、演算した傾き角度θをメモリ１４ｂに格納する。   The calculation unit 14c acquires the inclination angle θ of the vehicle 41 with respect to the road direction X when the vehicle 41 stops. The calculation unit 14c obtains the inclination angle θ by calculating the yaw rate sequentially stored in the memory 14b according to the equation (1), with the vehicle inclination angle θ when the vehicle 41 is traveling straight ahead being 0 °. . The calculation unit 14c stores the calculated tilt angle θ in the memory 14b.

バッテリ１５は、各部に電流を供給するための直流電源である。メインスイッチ１６は、バッテリ１５からの電流をオン、オフするためのものであり、例えば、ハンドル（図示せず）の下に設置されて車両４１の運転者によって操作される。   The battery 15 is a DC power source for supplying current to each unit. The main switch 16 is for turning on and off the current from the battery 15, and is installed, for example, under a handle (not shown) and operated by the driver of the vehicle 41.

スイッチ１７は、可視光カメラ１１−１〜１１−４、赤外線カメラ１２−１〜１２−４をオン、オフするためのスイッチであり、バッテリ１５と、可視光カメラ１１−１〜１１−４、赤外線カメラ１２−１〜１２−４と、の間に接続される。   The switch 17 is a switch for turning on and off the visible light cameras 11-1 to 11-4 and the infrared cameras 12-1 to 12-4. The battery 15 and the visible light cameras 11-1 to 11-4, It is connected between the infrared cameras 12-1 to 12-4.

スイッチ１８は、イメージを投影するようにプロジェクタ１３−１を作動制御するためのスイッチであり、バッテリ１５とプロジェクタ１３−１と、の間に接続される。   The switch 18 is a switch for controlling the operation of the projector 13-1 so as to project an image, and is connected between the battery 15 and the projector 13-1.

スイッチ１９は、イメージを投影するようにプロジェクタ１３−２を作動制御するためのスイッチであり、バッテリ１５とプロジェクタ１３−２と、の間に接続される。   The switch 19 is a switch for controlling the operation of the projector 13-2 so as to project an image, and is connected between the battery 15 and the projector 13-2.

ＥＣＵ２０は、路面投影装置１全体を制御するための電子制御装置であり、画像メモリ３１と、画像処理部３２と、ＲＯＭ（Read Only Memory）３３と、ＲＡＭ（Random Access Memory）３４と、ＣＰＵ（Central Processing Unit）３５と、からなる。   The ECU 20 is an electronic control unit for controlling the entire road surface projection device 1, and includes an image memory 31, an image processing unit 32, a ROM (Read Only Memory) 33, a RAM (Random Access Memory) 34, and a CPU ( Central Processing Unit) 35.

画像メモリ３１は、路面に投影する安全確認用のイメージデータを予め記憶するとともに、撮影画像等を記憶するものである。画像メモリ３１には、図５に示すように、撮影画像記憶領域３１ａと、イメージパターン記憶領域３１ｂと、処理イメージ記憶領域３１ｃと、投影イメージ記憶領域３１ｄ，３１ｅと、が設定されている。   The image memory 31 stores in advance image data for safety confirmation to be projected on the road surface, and also stores captured images and the like. As shown in FIG. 5, the image memory 31 is set with a captured image storage area 31a, an image pattern storage area 31b, a processed image storage area 31c, and projection image storage areas 31d and 31e.

撮影画像記憶領域３１ａは、可視光カメラ１１−１〜１１−４の撮影によって得られた可視光画像、赤外線カメラ１２−１〜１２−４の撮影によって得られた赤外線画像を記憶する領域である。可視光カメラ１１−１〜１１−４、赤外線カメラ１２−１〜１２−４は、撮影する毎に、それぞれ、可視光画像、赤外線画像を撮影画像記憶領域３１ａに格納する。   The captured image storage area 31a is an area for storing a visible light image obtained by photographing with the visible light cameras 11-1 to 11-4 and an infrared image obtained by photographing with the infrared cameras 12-1 to 12-4. . The visible light cameras 11-1 to 11-4 and the infrared cameras 12-1 to 12-4 each store a visible light image and an infrared image in the captured image storage area 31a each time they are photographed.

イメージパターン記憶領域３１ｂは、安全確認用のイメージデータの部分イメージデータとして、図６（ａ）に示すような停止線６１のイメージパターン、図６（ｂ）〜（ｄ）に示すような文字「止まれ」６２、文字「ＳＴＯＰ」６３、文字「左右確認」６４のイメージパターンの各データを記憶する。さらに、イメージパターン記憶領域３１ｂは、図６（ｅ），（ｆ）にそれぞれ示すような横断歩道６５，６６のイメージパターンの各データを記憶するための領域である。図６に示すイメージパターンは、移動体用安全確認イメージ及び／又は接近車両用安全確認イメージとして使用される。   The image pattern storage area 31b is an image pattern of the stop line 61 as shown in FIG. 6 (a), a character “as shown in FIGS. 6 (b) to 6 (d) as partial image data of the image data for safety confirmation. Each data of the image pattern of “stop” 62, character “STOP” 63, character “right / left confirmation” 64 is stored. Furthermore, the image pattern storage area 31b is an area for storing data of image patterns of pedestrian crossings 65 and 66 as shown in FIGS. 6 (e) and 6 (f), respectively. The image pattern shown in FIG. 6 is used as a safety confirmation image for a moving body and / or a safety confirmation image for an approaching vehicle.

処理イメージ記憶領域３１ｃは、処理中のイメージデータを記憶するための領域である。   The processing image storage area 31c is an area for storing image data being processed.

投影イメージ記憶領域３１ｄ，３１ｅは、それぞれ、プロジェクタ１３−１，１３−２が投影する処理済みのイメージデータを記憶するための領域である。プロジェクタ１３−１，１３−２は、作動すると、それぞれ、投影イメージ記憶領域３１ｄ，３１ｅに記憶されているイメージのデータを読み出して、このイメージを路面に投影する。   The projection image storage areas 31d and 31e are areas for storing processed image data projected by the projectors 13-1 and 13-2, respectively. When the projectors 13-1 and 13-2 are operated, the image data stored in the projection image storage areas 31d and 31e are read out, and the images are projected onto the road surface.

画像処理部３２は、画像メモリ３１が記憶したイメージデータに対して画像処理等を行うものである。   The image processing unit 32 performs image processing or the like on the image data stored in the image memory 31.

画像処理部３２は、ＣＰＵ３５から指示されて、路面に投影するイメージを生成する。まず、画像処理部３２は、、画像メモリ３１のイメージパターン記憶領域３１ｂに記憶されている図６（ａ）〜（ｆ）に示すようなイメージパターンから、生成するイメージに必要なイメージパターンを選択する。   The image processing unit 32 is instructed by the CPU 35 and generates an image to be projected on the road surface. First, the image processing unit 32 selects an image pattern necessary for an image to be generated from the image patterns shown in FIGS. 6A to 6F stored in the image pattern storage area 31b of the image memory 31. To do.

例えば、ＣＰＵ３５から、図７に示すようなイメージ６７を生成するように指示された場合、画像処理部３２は、図６（ａ）に示す停止線６１のイメージパターンと、図６（ｃ）に示すような文字「ＳＴＯＰ」６３のイメージパターンと、図６（ｅ）に示す横断歩道６５のイメージパターンと、を選択する。   For example, when the CPU 35 instructs to generate an image 67 as shown in FIG. 7, the image processing unit 32 displays the image pattern of the stop line 61 shown in FIG. 6A and the image pattern shown in FIG. The image pattern of the character “STOP” 63 as shown and the image pattern of the pedestrian crossing 65 shown in FIG. 6E are selected.

そして、画像処理部３２は、画像メモリ３１のイメージパターン記憶領域３１ｂから、これらのイメージパターンのデータを取得し、各イメージパターンを、その角度、投影する場所に対応する位置を指定して配置し、このイメージ６７を生成する。   Then, the image processing unit 32 acquires the data of these image patterns from the image pattern storage area 31b of the image memory 31, and arranges each image pattern by designating the angle and the position corresponding to the projection location. This image 67 is generated.

画像処理部３２は、このイメージ６７を生成すると、生成したイメージデータを画像メモリ３１の処理イメージ記憶領域３１ｃに格納する。   When the image processing unit 32 generates the image 67, the image processing unit 32 stores the generated image data in the processing image storage area 31 c of the image memory 31.

次に、画像処理部３２は、生成したイメージに対し、車両傾き検出部１４が検出した傾き角度θに基づいて、イメージの傾きを補正する。   Next, the image processing unit 32 corrects the tilt of the generated image based on the tilt angle θ detected by the vehicle tilt detection unit 14.

例えば、図４に示すように、車両４１が道路方向Ｘに対して傾き角度θだけ傾いて駐車・停車した場合、図８に示すように、画像処理部３２が生成したイメージ６７も傾いてしまう。画像処理部３２は、この傾きを補正して、図９に示すようなイメージ６７−１を生成する。   For example, as shown in FIG. 4, when the vehicle 41 is parked / stopped at an inclination angle θ with respect to the road direction X, the image 67 generated by the image processing unit 32 is also inclined as shown in FIG. . The image processing unit 32 corrects this inclination and generates an image 67-1 as shown in FIG.

このため、画像処理部３２は、画像メモリ３１の処理イメージ記憶領域３１ｃから、イメージデータを読み出す。画像処理部３２は、車両傾き検出部１４が検出した傾き角度θに基づいて、読み出したイメージデータを補正し、図９に示すようなイメージ６７−１を生成する。   Therefore, the image processing unit 32 reads image data from the processing image storage area 31 c of the image memory 31. The image processing unit 32 corrects the read image data based on the tilt angle θ detected by the vehicle tilt detection unit 14, and generates an image 67-1 as shown in FIG.

画像処理部３２は、イメージ６７−１を生成すると、生成したイメージ６７−１のイメージデータを、画像メモリ３１の処理イメージ記憶領域３１ｃに格納する。   When the image processing unit 32 generates the image 67-1, the image processing unit 32 stores the image data of the generated image 67-1 in the processing image storage area 31 c of the image memory 31.

また、画像処理部３２は、逆歪補正を行う。プロジェクタ１３−１，１３−２が、それぞれ、車両４１の前後に取り付けられているため、イメージ６７をそのまま投影すると、イメージ６７が歪んでしまう。   The image processing unit 32 performs reverse distortion correction. Since the projectors 13-1 and 13-2 are respectively attached to the front and rear of the vehicle 41, when the image 67 is projected as it is, the image 67 is distorted.

このため、画像処理部３２は、この画像の歪みを補正するため、路面に投影されるイメージと処理イメージ記憶領域３１ｃに記憶されている補正前イメージとが対応するように、補正前イメージの逆歪補正を行う。   Therefore, in order to correct the distortion of the image, the image processing unit 32 reverses the image before correction so that the image projected on the road surface corresponds to the image before correction stored in the processed image storage area 31c. Perform distortion correction.

例えば、図１０（ａ）に示すように、頂点ｐ１１〜ｐ１４からなる矩形ｐ１のイメージを路面に投影した場合、路面には、頂点ｑ１１〜ｑ１４からなる歪んだ矩形ｑ１が投影される。   For example, as shown in FIG. 10A, when an image of a rectangle p1 composed of vertices p11 to p14 is projected onto a road surface, a distorted rectangle q1 composed of vertices q11 to q14 is projected onto the road surface.

この場合、画像処理部３２は、矩形ｐ１の頂点ｐ１１と矩形ｑ１の頂点ｑ１１、頂点ｐ１２と頂点ｑ１２、頂点ｐ１３と頂点ｑ１３、頂点ｐ１４と頂点ｑ１４、を対応付けつつ、図１０（ａ）に示す矩形ｑ１を図１０（ｂ）に示すような頂点ｑ２１〜ｑ２４からなる矩形ｑ２に変形する補正を行う。この変形により、図１０（ａ）に示す矩形ｐ１は、図１０（ｂ）に示す矩形ｐ２に変形する。   In this case, the image processing unit 32 associates the vertex p11 of the rectangle p1 with the vertex q11 of the rectangle q1, the vertex p12 and the vertex q12, the vertex p13 and the vertex q13, and the vertex p14 and the vertex q14 in FIG. A correction for deforming the indicated rectangle q1 into a rectangle q2 composed of vertices q21 to q24 as shown in FIG. Due to this deformation, the rectangle p1 shown in FIG. 10A is transformed into the rectangle p2 shown in FIG.

この矩形ｐ２を路面に投影することにより、路面には、図１０（ａ）の矩形ｐ１に対応する図１０（ｃ）に示す矩形ｐ３が投影される。   By projecting the rectangle p2 onto the road surface, a rectangle p3 shown in FIG. 10C corresponding to the rectangle p1 in FIG. 10A is projected onto the road surface.

例えば、補正前のイメージが図１１（ａ）に示すような停止線のイメージ６８である場合、画像処理部３２は、このような補正を行うことにより、図１１（ｂ）に示すようなイメージ６８−１を生成する。プロジェクタ１３−１がこのイメージ６８−１を路面に投影することにより、路面に投影されるイメージは、図１１（ａ）に示すイメージ６８となる。   For example, when the pre-correction image is a stop line image 68 as shown in FIG. 11A, the image processing unit 32 performs such correction so that the image as shown in FIG. 68-1 is generated. When the projector 13-1 projects this image 68-1 onto the road surface, the image projected onto the road surface becomes an image 68 shown in FIG.

画像処理部３２は、このような逆歪補正を行うと、補正したイメージを、画像メモリ３１の投影イメージ記憶領域３１ｄ、３１ｅのうち、ＣＰＵ３５によって指定された記憶領域に格納する。   When such reverse distortion correction is performed, the image processing unit 32 stores the corrected image in a storage area designated by the CPU 35 among the projected image storage areas 31 d and 31 e of the image memory 31.

尚、画像処理部３２がこのような逆歪補正を行うためには、プロジェクタ１３−１、１３−２が路面にイメージを投影する投影角度が必要であり、画像メモリ３１は、この投影角度を予め記憶する。   In order for the image processing unit 32 to perform such reverse distortion correction, a projection angle at which the projectors 13-1 and 13-2 project an image on the road surface is necessary, and the image memory 31 determines the projection angle. Store in advance.

また、この投影角度は、プロジェクタ１３−１、１３−２が一旦、車両４１に取り付けられば、一定となるため、画像メモリ３１がこの投影角度を記憶することにより、投影角度を検出するセンサ等は不要である。尚、プロジェクタ１３−１，１３−２の投影角度を可変にすることもできる。   The projection angle is constant once the projectors 13-1 and 13-2 are once attached to the vehicle 41. Therefore, the image memory 31 stores the projection angle, thereby detecting the projection angle. Is unnecessary. The projection angles of the projectors 13-1 and 13-2 can be made variable.

ＲＯＭ３３は、ＣＰＵ３５が処理を実行するためのプログラム、メッセージデータ等を記憶するためのものである。ＲＯＭ３３は、プログラムとして、後述する移動体判別処理としての歩行者判別処理、投影制御処理のプログラムを記憶する。ＲＡＭ３４は、ＣＰＵ３５が処理に必要なデータを記憶するための作業用メモリである。   The ROM 33 is for storing a program for the CPU 35 to execute processing, message data, and the like. The ROM 33 stores programs for a pedestrian discrimination process and a projection control process as a moving body discrimination process, which will be described later. The RAM 34 is a working memory for storing data necessary for processing by the CPU 35.

ＣＰＵ３５は、路面投影装置１を制御するためのものであり、本実施形態においては、メインスイッチ１６がオフすると、車両４１が停車したと判定し、ＲＯＭ３３から、歩行者判別処理のプログラムを読み出して、この処理を実行する。   The CPU 35 is for controlling the road surface projection device 1. In this embodiment, when the main switch 16 is turned off, the CPU 35 determines that the vehicle 41 has stopped and reads a pedestrian determination processing program from the ROM 33. This process is executed.

まず、ＣＰＵ３５は、スイッチ１７をオンし、可視光カメラ１１−１〜１１−４、赤外線カメラ１２−１〜１２−４を作動させる。   First, the CPU 35 turns on the switch 17 to operate the visible light cameras 11-1 to 11-4 and the infrared cameras 12-1 to 12-4.

ＣＰＵ３５は、画像メモリ３１の撮影画像記憶領域３１ａから、可視光カメラ１１−１〜１１−４のそれぞれの可視光画像、赤外線カメラ１２−１〜１２−４のそれぞれの赤外線画像を取得する。   The CPU 35 acquires the visible light images of the visible light cameras 11-1 to 11-4 and the infrared images of the infrared cameras 12-1 to 12-4 from the captured image storage area 31a of the image memory 31.

そして、ＣＰＵ３５は、赤外線画像に基づいて、歩行者２を判別する。この判別を行うため、画像メモリ３１は、イメージパターン記憶領域３１ｂに、歩行者２の画像をパターン化して予め記憶する。   And CPU35 discriminate | determines the pedestrian 2 based on an infrared image. In order to make this determination, the image memory 31 patterns and stores the image of the pedestrian 2 in the image pattern storage area 31b.

ＣＰＵ３５は、赤外線カメラ１２−１〜１２−４から取得した赤外線画像と、画像メモリ３１に予め記憶されているパターン化された歩行者２の画像と、を比較して、ほぼ一致したときに、この赤外線画像が歩行者２の赤外線画像であることを判別する。   The CPU 35 compares the infrared image acquired from the infrared cameras 12-1 to 12-4 with the image of the patterned pedestrian 2 stored in advance in the image memory 31. It is determined that this infrared image is an infrared image of the pedestrian 2.

次に、ＣＰＵ３５は、ＲＯＭ３３から、投影制御処理のプログラムを読み出して、この処理を実行する。   Next, the CPU 35 reads a projection control processing program from the ROM 33 and executes this processing.

ＣＰＵ３５は、車両傾き検出部１４のメモリ１４ｂから、車両４１の傾き角度θを取得し、取得した傾き角度θを画像処理部３２に供給する。   The CPU 35 acquires the inclination angle θ of the vehicle 41 from the memory 14 b of the vehicle inclination detection unit 14 and supplies the acquired inclination angle θ to the image processing unit 32.

次に、ＣＰＵ３５は、図２に示すように、可視光カメラ１１−１〜１１−４のそれぞれの画角と、赤外線カメラ１２−１〜１２−４のそれぞれの画角と、が対応する領域内に、判別領域５１〜５４を設定する。このうち、特に領域５１は、車両４１の側方を後方から該車両４１に接近する車両に対する死角領域である。   Next, as shown in FIG. 2, the CPU 35 is a region in which the field angles of the visible light cameras 11-1 to 11-4 and the field angles of the infrared cameras 12-1 to 12-4 correspond to each other. The discrimination areas 51 to 54 are set in the inside. Among these, especially the area | region 51 is a blind spot area | region with respect to the vehicle which approaches the vehicle 41 from the back side of the vehicle 41 from back.

次に、ＣＰＵ３５は、設定した判別領域５１〜５４のいずれかの領域に歩行者２が存在するか否かを判定する。判別された歩行者２の赤外線画像が一部でも判別領域５１〜５４のいずれかの領域に存在している場合、ＣＰＵ３５は、設定した判別領域５１〜５４のいずれかの領域に歩行者２が存在すると判定する。   Next, the CPU 35 determines whether or not the pedestrian 2 exists in any one of the set determination areas 51 to 54. If at least part of the determined infrared image of the pedestrian 2 is present in any one of the determination areas 51 to 54, the CPU 35 determines that the pedestrian 2 is in any one of the set determination areas 51 to 54. It is determined that it exists.

ＣＰＵ３５は、設定した判別領域５１〜５４のいずれかの領域に歩行者２が存在すると判定した場合、画像処理部３２に、生成すべきイメージと、生成したイメージデータの格納先を指定して、イメージの生成を指示する。   When the CPU 35 determines that the pedestrian 2 exists in any one of the set determination areas 51 to 54, the CPU 35 designates the image to be generated and the storage location of the generated image data in the image processing unit 32, Directs image generation.

例えば、歩行者２が判別領域５１に存在していると判定した場合、ＣＰＵ３５は、画像処理部３２に、図７に示すイメージ６７を生成し、生成したイメージ６７のデータを画像メモリ３１の投影イメージ記憶領域３１ｄに格納するように指示する。   For example, when it is determined that the pedestrian 2 is present in the determination area 51, the CPU 35 generates an image 67 shown in FIG. 7 in the image processing unit 32, and projects the generated image 67 data in the image memory 31. An instruction to store in the image storage area 31d is given.

また、歩行者２が判別領域５２に存在していると判定した場合、ＣＰＵ３５は、画像処理部３２に、図７に示すイメージ６７を生成し、生成したイメージ６７のデータを画像メモリ３１の投影イメージ記憶領域３１ｅに格納するように指示する。   If the CPU 35 determines that the pedestrian 2 is present in the determination area 52, the CPU 35 generates an image 67 shown in FIG. 7 in the image processing unit 32, and projects the generated image 67 data in the image memory 31. An instruction to store in the image storage area 31e is given.

そして、画像処理部３２が、生成したイメージデータを画像メモリ３１の投影イメージ記憶領域３１ｄ，３１ｅのいずれかに格納すると、ＣＰＵ３５は、スイッチ１８，１９のいずれかをオンして、イメージを投影するようにプロジェクタ１３−１又はプロジェクタ１３−２を作動制御する。   When the image processing unit 32 stores the generated image data in one of the projected image storage areas 31d and 31e of the image memory 31, the CPU 35 turns on one of the switches 18 and 19 to project an image. Thus, the projector 13-1 or the projector 13-2 is controlled to operate.

また、ＣＰＵ３５は、可視光カメラ１１−２の可視光画像に基づいて、車両４１に接近して側方を通過する車両を判別する。ＣＰＵ３５は、接近する車両を判別するため、例えば、可視光カメラ１１−２の可視光画像内に、判別領域５２を除く車両４１の後方に判定領域を設定し、この判定領域で、接近する車両の画像を検出した場合、この車両が、車両４１に接近する車両であると判別する。   Moreover, CPU35 discriminate | determines the vehicle which approaches the vehicle 41 and passes the side based on the visible light image of the visible light camera 11-2. In order to discriminate the approaching vehicle, for example, the CPU 35 sets a judgment area behind the vehicle 41 excluding the discrimination area 52 in the visible light image of the visible light camera 11-2, and the approaching vehicle in this judgment area. When this image is detected, it is determined that this vehicle is a vehicle approaching the vehicle 41.

接近する車両があると判定した場合、ＣＰＵ３５は、画像処理部３２に、図６（ａ）に示す停止線６５のイメージパターンを画像メモリ３１の投影イメージ記憶領域３１ｅに格納するように指示する。   When determining that there is an approaching vehicle, the CPU 35 instructs the image processing unit 32 to store the image pattern of the stop line 65 shown in FIG. 6A in the projection image storage area 31 e of the image memory 31.

そして、画像処理部３２が、図６（ａ）に示す停止線６１のイメージパターンを画像メモリ３１の投影イメージ記憶領域３１ｅに格納すると、ＣＰＵ３５は、プロジェクタ１３−２作動用のスイッチ１９をオンして、このイメージを投影するようにプロジェクタ１３−２を作動制御する。   When the image processing unit 32 stores the image pattern of the stop line 61 shown in FIG. 6A in the projection image storage area 31e of the image memory 31, the CPU 35 turns on the switch 19 for operating the projector 13-2. Then, the projector 13-2 is operated and controlled to project this image.

尚、歩行者２が判別領域５１に存在している場合、この判別領域５１は、接近する車両にとっては、車両４１による死角領域となるため、ＣＰＵ３５は、画像処理部３２に対し、投影するイメージを強調表示させるように指示する。   When the pedestrian 2 is present in the discrimination area 51, the discrimination area 51 is a blind spot area by the vehicle 41 for the approaching vehicle, and therefore the CPU 35 projects an image on the image processing unit 32. To highlight.

次に、ＣＰＵ３５は、歩行者２が判別領域５１〜５４外に移動したか否かを判定する。歩行者２が判別領域５１〜５４外に移動していないと判定した場合、ＣＰＵ３５は、歩行者２が移動したと判定するまで、待機する。   Next, the CPU 35 determines whether or not the pedestrian 2 has moved out of the determination areas 51 to 54. When it is determined that the pedestrian 2 has not moved out of the discrimination areas 51 to 54, the CPU 35 waits until it is determined that the pedestrian 2 has moved.

尚、歩行者２が判別領域５１〜５４のいずかの領域にいつまでも留まっていることもあるため、ＣＰＵ３５は、待機時間をカウントし、予め設定された時間が経過したときには、判別領域５１〜５４のいずれかの領域から移動するように、音声によって歩行者２を案内してもよい。   Since the pedestrian 2 may remain in any one of the determination areas 51 to 54, the CPU 35 counts the waiting time, and when the preset time has elapsed, the determination areas 51 to The pedestrian 2 may be guided by voice so as to move from any one of the areas 54.

この場合、ＲＯＭ３３は、待機時間のカウント値に対して予め設定された閾値と音声データとを記憶し、車両４１は、音声を出力するためのスピーカ（図示せず）を備える。そして、ＣＰＵ３５は、待機時間のカウント値が閾値を越えたとき、ＲＯＭ３３から音声データを読み出して、スピーカに供給する。   In this case, the ROM 33 stores a threshold value and voice data set in advance for the count value of the standby time, and the vehicle 41 includes a speaker (not shown) for outputting voice. Then, when the count value of the standby time exceeds the threshold value, the CPU 35 reads the audio data from the ROM 33 and supplies it to the speaker.

歩行者２が判別領域５１〜５４外に移動したと判定した場合、ＣＰＵ３５は、歩行者２の赤外線画像の移動方向を判別して、歩行者２が道路を横断する方向に移動したか否かを判定する。   When it is determined that the pedestrian 2 has moved out of the determination areas 51 to 54, the CPU 35 determines the moving direction of the infrared image of the pedestrian 2 and whether or not the pedestrian 2 has moved in a direction crossing the road. Determine.

歩行者２が路肩５５側に移動した場合、ＣＰＵ３５は、歩行者２が道路の横断しないと判定して、スイッチ１８，１９をオフする。   When the pedestrian 2 moves to the road shoulder 55 side, the CPU 35 determines that the pedestrian 2 does not cross the road and turns off the switches 18 and 19.

歩行者２が道路を横断する方向に移動したと判定した場合、ＣＰＵ３５は、歩行者２が道路を渡り切ったか否かを判定する。   When it is determined that the pedestrian 2 has moved in a direction crossing the road, the CPU 35 determines whether the pedestrian 2 has crossed the road.

ＣＰＵ３５は、この判定を、可視光カメラ１１−３によって撮影された道路の中央線と赤外線カメラ１２−３によって撮影された歩行者２との位置関係に基づいて行う。   The CPU 35 makes this determination based on the positional relationship between the center line of the road photographed by the visible light camera 11-3 and the pedestrian 2 photographed by the infrared camera 12-3.

歩行者２の位置が道路の中央線の位置より手前の場合、ＣＰＵ３５は、歩行者２が道路を横断中と判定する。ＣＰＵ３５は、このように判定すると、歩行者２が道路を渡り切ったと判定するまで待機する。   When the position of the pedestrian 2 is in front of the position of the center line of the road, the CPU 35 determines that the pedestrian 2 is crossing the road. If it determines in this way, CPU35 will wait until it determines with the pedestrian 2 having crossed the road.

歩行者２の位置が道路の中央線を越えた場合、ＣＰＵ３５は、歩行者２が道路を渡り切ったと判定する。ＣＰＵ３５は、このように判定すると、スイッチ１８、１９をオフし、プロジェクタ１３−１，１３−２の作動を停止させる。   When the position of the pedestrian 2 exceeds the center line of the road, the CPU 35 determines that the pedestrian 2 has crossed the road. When determining in this way, the CPU 35 turns off the switches 18 and 19 and stops the operations of the projectors 13-1 and 13-2.

ＣＰＵ３５は、プロジェクタ１３−１，１３−２の作動を停止させると、メインスイッチ１６がオンになったか否かを判定する。メインスイッチ１６がオフしたままであると判定した場合、ＣＰＵ３５は、再度、判別領域５１〜５４のいずれかの領域に歩行者２が存在しているか否かの判定を行う。   When the operation of the projectors 13-1 and 13-2 is stopped, the CPU 35 determines whether or not the main switch 16 is turned on. When determining that the main switch 16 remains off, the CPU 35 determines again whether or not the pedestrian 2 is present in any one of the determination areas 51 to 54.

メインスイッチ１６がオンしたと判定した場合、ＣＰＵ３５は、車両４１が発進すると判定し、スイッチ１７をオフして、可視光カメラ１１−１〜１１−４、赤外線カメラ１２−１〜１２−４の作動を停止させる。   If it is determined that the main switch 16 is turned on, the CPU 35 determines that the vehicle 41 starts, turns off the switch 17, and turns on the visible light cameras 11-1 to 11-4 and the infrared cameras 12-1 to 12-4. Stop operation.

次に本実施形態に係る路面投影装置１の動作を説明する。
メインスイッチ１６がオフすると、ＣＰＵ３５は、ＲＯＭ３３から、歩行者判別処理のプログラムを読み出して、この歩行者判別処理を繰り返し、実行する。 Next, the operation of the road surface projection device 1 according to this embodiment will be described.
When the main switch 16 is turned off, the CPU 35 reads a pedestrian discrimination process program from the ROM 33, and repeats and executes the pedestrian discrimination process.

ＣＰＵ３５は、図１２に示すフローチャートに従って、この歩行者判別処理を実行する。
ＣＰＵ３５は、可視光カメラ１１−１〜１１−４、赤外線カメラ１２−１〜１２−４作動用のスイッチ１７をオンする（ステップＳ１１）。 CPU35 performs this pedestrian discrimination | determination process according to the flowchart shown in FIG.
The CPU 35 turns on the switch 17 for operating the visible light cameras 11-1 to 11-4 and the infrared cameras 12-1 to 12-4 (step S11).

ＣＰＵ３５は、画像メモリ３１の撮影画像記憶領域３１ａから、可視光カメラ１１−１〜１１−４のそれぞれの可視光画像を取得する（ステップＳ１２）。   The CPU 35 acquires the visible light images of the visible light cameras 11-1 to 11-4 from the captured image storage area 31a of the image memory 31 (step S12).

ＣＰＵ３５は、画像メモリ３１の撮影画像記憶領域３１ａから、赤外線カメラ１２−１〜１２−４のそれぞれの赤外線画像を取得する（ステップＳ１３）。   CPU35 acquires each infrared image of infrared camera 12-1 to 12-4 from the picked-up image storage area 31a of the image memory 31 (step S13).

ＣＰＵ３５は、赤外線画像に基づいて、歩行者２を判別する（ステップＳ１５）。そして、ＣＰＵ３５は、この歩行者判別処理を終了させる。   CPU35 discriminate | determines the pedestrian 2 based on an infrared image (step S15). Then, the CPU 35 ends this pedestrian discrimination process.

次に、ＣＰＵ３５は、ＲＯＭ３３から、投影制御処理のプログラムを読み出して、この投影制御処理を実行する。   Next, the CPU 35 reads out a projection control process program from the ROM 33 and executes the projection control process.

ＣＰＵ３５は、図１３及び図１４に示すフローチャートに従って、この投影制御処理を実行する。
ＣＰＵ３５は、車両傾き検出部１４の演算部１４ｃから、車両傾き角度θを取得し、取得した車両傾き角度θを画像処理部３２に供給する（ステップＳ２１）。 The CPU 35 executes this projection control process according to the flowcharts shown in FIGS.
CPU35 acquires vehicle inclination angle (theta) from the calculating part 14c of the vehicle inclination detection part 14, and supplies the acquired vehicle inclination angle (theta) to the image process part 32 (step S21).

ＣＰＵ３５は、可視光カメラ１１−１〜１１−４のそれぞれの画角と、赤外線カメラ１２−１〜１２−４のそれぞれの画角と、が対応する領域に判別領域５１〜５４を設定する（ステップＳ２２）。   The CPU 35 sets the discrimination areas 51 to 54 in areas corresponding to the respective field angles of the visible light cameras 11-1 to 11-4 and the respective field angles of the infrared cameras 12-1 to 12-4 ( Step S22).

ＣＰＵ３５は、歩行者２が、設定した判別領域５１〜５４のいずれかの領域に存在するか否かを判定する（ステップＳ２３）。   CPU35 determines whether the pedestrian 2 exists in any area | region of the set discrimination | determination area | regions 51-54 (step S23).

歩行者２が、設定した判別領域５１〜５４のいずれの領域にも存在しないと判定した場合（ステップＳ２３においてＮｏ）、ＣＰＵ３５は、メインスイッチ１６がオンしたか否かを判定する（ステップＳ３３）。   When it is determined that the pedestrian 2 does not exist in any of the set determination areas 51 to 54 (No in step S23), the CPU 35 determines whether or not the main switch 16 is turned on (step S33). .

メインスイッチ１６がオンしていないと判定した場合（ステップＳ３３においてＮｏ）、ＣＰＵ３５は、再度、歩行者２が、設定した判別領域５１〜５４のいずれかの領域に存在するか否かを判定する（ステップＳ２３）。   When it is determined that the main switch 16 is not turned on (No in step S33), the CPU 35 determines again whether or not the pedestrian 2 exists in any one of the set determination areas 51 to 54. (Step S23).

歩行者２が、設定した判別領域５１〜５４のいずれかの領域に存在すると判定した場合（ステップＳ２３においてＹｅｓ）、ＣＰＵ３５は、画像処理部３２に、生成するイメージと生成したイメージの格納先とを指定して、指定したイメージを生成するように指示する（ステップＳ２４）。   When it is determined that the pedestrian 2 is present in any one of the set determination areas 51 to 54 (Yes in step S23), the CPU 35 instructs the image processing unit 32 to generate an image to be generated and a storage destination of the generated image. And instruct to generate the specified image (step S24).

ＣＰＵ３５は、生成するイメージとして、図７に示すイメージ６７を指定し、生成したイメージの格納先として、画像メモリ３１の投影イメージ記憶領域３１ｄを指定する。   The CPU 35 designates the image 67 shown in FIG. 7 as the image to be generated, and designates the projection image storage area 31d of the image memory 31 as the storage destination of the generated image.

画像処理部３２は、ＣＰＵ３５にイメージの生成を指示されると、図１５に示すフローチャートに従って、投影イメージ生成処理を実行する。   When the CPU 35 is instructed to generate an image, the image processing unit 32 executes a projection image generation process according to the flowchart shown in FIG.

即ち、画像処理部３２は、画像メモリ３１のイメージパターン記憶領域３１ｂを検索して、必要なイメージパターンを選択し、選択したイメージパターンを取得する（ステップＳ４１）。   That is, the image processing unit 32 searches the image pattern storage area 31b of the image memory 31, selects a necessary image pattern, and acquires the selected image pattern (step S41).

画像処理部３２は、選択したイメージパターンを配置して、ＣＰＵ３５から供給された車両傾き角度θに基づいて、配置したイメージパターンの傾き補正を行う（ステップＳ４２）。   The image processing unit 32 arranges the selected image pattern and corrects the inclination of the arranged image pattern based on the vehicle inclination angle θ supplied from the CPU 35 (step S42).

画像処理部３２は、逆歪補正を行う（ステップＳ４３）。
画像処理部３２は、補正したイメージのデータを画像メモリ３１の投影イメージ記憶領域３１ｄに格納する（ステップＳ４４）。 The image processing unit 32 performs reverse distortion correction (step S43).
The image processing unit 32 stores the corrected image data in the projected image storage area 31d of the image memory 31 (step S44).

画像処理部３２がこのような投影イメージ生成処理を実行すると、ＣＰＵ３５は、プロジェクタ１３−１作動用のスイッチ１８をオンする（ステップＳ２５）。   When the image processing unit 32 executes such a projection image generation process, the CPU 35 turns on the switch 18 for operating the projector 13-1 (step S25).

ＣＰＵ３５は、可視光カメラ１１−２から取得した可視光画像に基づいて、接近する車両４２を判別し、接近する車両４２があるか否かを判定する（ステップＳ２６）。   CPU35 discriminate | determines the approaching vehicle 42 based on the visible light image acquired from the visible light camera 11-2, and determines whether there exists the approaching vehicle 42 (step S26).

接近する車両４２があると判定した場合（ステップＳ２６においてＹｅｓ）、ＣＰＵ３５は、画像処理部３２に、生成するイメージと生成したイメージの格納先とを指定して、指定したイメージを生成するように指示する（ステップＳ２７）。   When it is determined that there is an approaching vehicle 42 (Yes in step S26), the CPU 35 specifies the image to be generated and the storage destination of the generated image in the image processing unit 32 so as to generate the specified image. An instruction is given (step S27).

ＣＰＵ３５は、生成するイメージとして停止線６８のイメージを指定し、生成したイメージの格納先として、画像メモリ３１の投影イメージ記憶領域３１ｅを指定する。   The CPU 35 designates the image of the stop line 68 as an image to be generated, and designates the projection image storage area 31e of the image memory 31 as the storage destination of the generated image.

画像処理部３２は、この指示に従って、停止線６８のイメージを生成し、このイメージを投影イメージ記憶領域３１ｅに格納する（ステップＳ４１〜Ｓ４４）。   In accordance with this instruction, the image processing unit 32 generates an image of the stop line 68 and stores this image in the projection image storage area 31e (steps S41 to S44).

画像処理部３２がこのような投影イメージ生成処理を実行すると、ＣＰＵ３５は、プロジェクタ１３−２作動用のスイッチ１９をオンする（ステップＳ２８）。   When the image processing unit 32 executes such a projection image generation process, the CPU 35 turns on the switch 19 for operating the projector 13-2 (step S28).

一方、接近する車両４２がないと判定した場合（ステップＳ２６においてＮｏ）、ＣＰＵ３５は、プロジェクタ１３−２作動用のスイッチ１９をオフのままとする。   On the other hand, when determining that there is no approaching vehicle 42 (No in step S26), the CPU 35 keeps the switch 19 for operating the projector 13-2 off.

ＣＰＵ３５は、歩行者２が判別領域５１〜５４のいずれかの領域から外に移動したか否かを判定する（ステップＳ２９）。   The CPU 35 determines whether or not the pedestrian 2 has moved out of any one of the determination areas 51 to 54 (step S29).

歩行者２が判別領域５１〜５４のいずれかの領域から外に移動していないと判定した場合（ステップＳ２９においてＮｏ）、ＣＰＵ３５は、再び、ステップＳ２６〜Ｓ２８を実行する。   When it is determined that the pedestrian 2 has not moved out of any one of the determination areas 51 to 54 (No in step S29), the CPU 35 executes steps S26 to S28 again.

歩行者２が判別領域５１〜５４のいずれかの領域から外に移動したと判定した場合（ステップＳ２９においてＹｅｓ）、ＣＰＵ３５は、赤外線画像の移動方向に基づいて、歩行者２が道路を横断する方向に移動したか否かを判定する（ステップＳ３０）。   When it is determined that the pedestrian 2 has moved out of any one of the determination areas 51 to 54 (Yes in step S29), the CPU 35 crosses the road based on the moving direction of the infrared image. It is determined whether or not it has moved in the direction (step S30).

歩行者２が道路を横断する方向に移動してはいないと判定した場合（ステップＳ３０においてＮｏ）、ＣＰＵ３５は、歩行者２が路肩側に戻ったと判定し、スイッチ１８，１９をオフする（ステップＳ３２）。   If it is determined that the pedestrian 2 is not moving in the direction crossing the road (No in step S30), the CPU 35 determines that the pedestrian 2 has returned to the shoulder side, and turns off the switches 18, 19 (step S32).

歩行者２が道路を横断する方向に移動したと判定した場合（ステップＳ３０においてＹｅｓ）、ＣＰＵ３５は、歩行者２が道路を渡り切ったか否かを判定する（ステップＳ３１）。   When it is determined that the pedestrian 2 has moved in the direction crossing the road (Yes in step S30), the CPU 35 determines whether or not the pedestrian 2 has crossed the road (step S31).

歩行者２が道路を渡り切ってはいないと判定した場合（ステップＳ３１においてＮｏ）、ＣＰＵ３５は、歩行者２が道路を渡り切るまで待機する。   When it is determined that the pedestrian 2 has not crossed the road (No in step S31), the CPU 35 waits until the pedestrian 2 has crossed the road.

歩行者２が道路を渡り切ったと判定した場合（ステップＳ３１においてＹｅｓ）、ＣＰＵ３５は、スイッチ１８，１９をオフする（ステップＳ３２）。   When it is determined that the pedestrian 2 has crossed the road (Yes in step S31), the CPU 35 turns off the switches 18 and 19 (step S32).

ＣＰＵ３５は、メインスイッチ１６がオンになったか否かを判定し、メインスイッチ１６がオンになったと判定した場合（ステップＳ３３においてＹｅｓ）、ＣＰＵ３５は、可視光カメラ１１−１〜１１−４、赤外線カメラ１２−１〜１２−４作動用のスイッチ１７をオフする（ステップＳ３４）。そして、ＣＰＵ３５は、この投影制御処理を終了させる。   The CPU 35 determines whether or not the main switch 16 is turned on, and if it is determined that the main switch 16 is turned on (Yes in step S33), the CPU 35 detects the visible light cameras 11-1 to 11-4, infrared rays The switch 17 for operating the cameras 12-1 to 12-4 is turned off (step S34). Then, the CPU 35 ends this projection control process.

次に、路面投影装置１の動作を具体的に説明する。
車両４１の走行中、車両傾き検出部１４のヨーレートセンサ１４ａは、車両４１がカーブ等を曲がると、車両４１のヨーレートを検出してメモリ１４ｂに格納する。ヨーレートセンサ１４ａは、このような処理を、車両４１が曲がる毎に行う。 Next, the operation of the road surface projection device 1 will be specifically described.
While the vehicle 41 is traveling, the yaw rate sensor 14a of the vehicle inclination detector 14 detects the yaw rate of the vehicle 41 and stores it in the memory 14b when the vehicle 41 bends a curve or the like. The yaw rate sensor 14a performs such processing every time the vehicle 41 bends.

車両４１が停車すると、車両傾き検出部１４の演算部１４ｃは、メモリ１４ｂから、ヨーレートを読み出し、読み出したヨーレートに基づき、式（１）に従って傾き角度θを演算する。演算部１４ｃは、演算した結果の傾き角度θをメモリ１４ｂに格納する。   When the vehicle 41 stops, the calculation unit 14c of the vehicle tilt detection unit 14 reads the yaw rate from the memory 14b, and calculates the tilt angle θ according to the equation (1) based on the read yaw rate. The calculation unit 14c stores the calculated inclination angle θ in the memory 14b.

メインスイッチ１６がオフすると、ＣＰＵ３５がスイッチ１７をオンして（ステップＳ１１の処理）、可視光カメラ１１−１〜１１−４、赤外線カメラ１２−１〜１２−４が作動する。   When the main switch 16 is turned off, the CPU 35 turns on the switch 17 (step S11), and the visible light cameras 11-1 to 11-4 and the infrared cameras 12-1 to 12-4 are operated.

可視光カメラ１１−１〜１１−４、赤外線カメラ１２−１〜１２−４は、撮影する毎に、それぞれ、可視光画像、赤外線画像を撮影画像記憶領域３１ａに格納する。   The visible light cameras 11-1 to 11-4 and the infrared cameras 12-1 to 12-4 each store a visible light image and an infrared image in the captured image storage area 31a each time they are photographed.

図１６に示すように、歩行者２が路肩５５側から判別領域５１に入った場合（ステップＳ２３においてＹｅｓ）、ＣＰＵ３５は、画像処理部３２に、図７に示すイメージ６７を生成して画像メモリ３１の投影イメージ記憶領域３１ｄに格納するように指示する（ステップＳ２４の処理）。   As shown in FIG. 16, when the pedestrian 2 enters the discrimination area 51 from the side of the shoulder 55 (Yes in step S23), the CPU 35 generates an image 67 shown in FIG. 31 is instructed to be stored in the projected image storage area 31d (processing in step S24).

画像処理部３２は、イメージ６７を生成する。尚、イメージ６７が車両４１が傾いて停車・駐車して、イメージ６７が図８に示すように傾いてしまう場合、画像処理部３２は、車両４１の傾き角度θに基づいて、イメージ６７を補正して、図９に示すようなイメージ６７−１を生成する（ステップＳ４１，Ｓ４２の処理）。   The image processing unit 32 generates an image 67. If the image 67 stops and parks when the vehicle 41 tilts and the image 67 tilts as shown in FIG. 8, the image processing unit 32 corrects the image 67 based on the tilt angle θ of the vehicle 41. Then, an image 67-1 as shown in FIG. 9 is generated (processing in steps S41 and S42).

画像処理部３２は、逆歪補正を行って、イメージ６７のイメージデータを投影イメージ記憶領域３１ｄに格納する（ステップＳ４３，４４の処理）。ＣＰＵ３５は、画像処理部３２がイメージデータを投影イメージ記憶領域３１ｄに格納すると、スイッチ１８をオンし（ステップＳ２５の処理）、プロジェクタ１３−１は、作動する。   The image processing unit 32 performs reverse distortion correction and stores the image data of the image 67 in the projection image storage area 31d (processing in steps S43 and S44). When the image processing unit 32 stores the image data in the projection image storage area 31d, the CPU 35 turns on the switch 18 (processing in step S25), and the projector 13-1 operates.

プロジェクタ１３−１は、このようにＣＰＵ３５に作動制御されて、画像メモリ３１の投影イメージ記憶領域３１ｄから、イメージ６７のイメージデータを読み出し、図１７に示すように、歩行者２の前の路面上に、このイメージ６７を投影する。このとき、ＣＰＵ３５は、歩行者２の進行方向を判別し、プロジェクタ１３−１は、歩行者２の進行方向前方にイメージ６７を投影する。   The projector 13-1 is controlled by the CPU 35 in this way, reads the image data of the image 67 from the projection image storage area 31 d of the image memory 31, and on the road surface in front of the pedestrian 2 as shown in FIG. Then, this image 67 is projected. At this time, CPU35 discriminate | determines the advancing direction of the pedestrian 2, and the projector 13-1 projects the image 67 ahead of the advancing direction of the pedestrian 2. FIG.

図１８に示すように、車両４２が接近した場合（ステップＳ２６においてＹｅｓ）、ＣＰＵ３５は、画像処理部３２に、イメージ６８を画像メモリ３１の投影イメージ記憶領域３１ｅに格納するように指示する（ステップＳ２７の処理）。   As shown in FIG. 18, when the vehicle 42 approaches (Yes in Step S26), the CPU 35 instructs the image processing unit 32 to store the image 68 in the projected image storage area 31e of the image memory 31 (Step S26). Process of S27).

この場合、歩行者２が判別領域５１に存在しているので、ＣＰＵ３５は、画像処理部３２に対し、投影するイメージを強調表示させるように指示する。   In this case, since the pedestrian 2 exists in the discrimination area 51, the CPU 35 instructs the image processing unit 32 to highlight the image to be projected.

画像処理部３２が強調表示したイメージ６８を生成して、このイメージデータを投影イメージ記憶領域３１ｅに格納すると、ＣＰＵ３５はスイッチ１９をオンし（ステップＳ２８の処理）、プロジェクタ１３−２は、作動する。   When the image 68 highlighted by the image processor 32 is stored in the projection image storage area 31e, the CPU 35 turns on the switch 19 (step S28), and the projector 13-2 operates. .

プロジェクタ１３−２は、このようにＣＰＵ３５に作動制御されて、画像メモリ３１の投影イメージ記憶領域３１ｅから、イメージ６８のイメージデータを読み出し、図１９に示すように、接近する車両４２の前方の路面上に、このイメージ６８を投影する。   The projector 13-2 is thus controlled by the CPU 35 to read out the image data of the image 68 from the projection image storage area 31e of the image memory 31, and as shown in FIG. 19, the road surface in front of the approaching vehicle 42 is read. This image 68 is projected on top.

図２０に示すように、歩行者２が道路を渡り切ると、ＣＰＵ３５は、スイッチ１８，１９をオフし（ステップＳ３２の処理）、プロジェクタ１３−１，１３−２は作動を停止する。そして、イメージ６７、イメージ６８が消えて、車両４２は発進する。   As shown in FIG. 20, when the pedestrian 2 has crossed the road, the CPU 35 turns off the switches 18 and 19 (step S32), and the projectors 13-1 and 13-2 stop operating. Then, the image 67 and the image 68 disappear and the vehicle 42 starts.

ＣＰＵ３５は、メインスイッチ１６がオンすると（ステップＳ３３においてＹｅｓ）、スイッチ１７をオフする（ステップＳ３４の処理）。スイッチ１７がオフすると、可視光カメラ１１−１〜１１−４、赤外線カメラ１２−１〜１２−４は、作動を停止する。   When the main switch 16 is turned on (Yes in step S33), the CPU 35 turns off the switch 17 (step S34). When the switch 17 is turned off, the visible light cameras 11-1 to 11-4 and the infrared cameras 12-1 to 12-4 stop operating.

以上説明したように、本実施形態によれば、歩行者２が判別領域５１〜５４のいずれかの領域に存在する場合、ＣＰＵ３５は、画像処理部３２に、安全確認用の停止線のイメージを生成するように指示して、プロジェクタ１３−１を作動させるようにした。   As described above, according to the present embodiment, when the pedestrian 2 is present in any one of the determination areas 51 to 54, the CPU 35 displays an image of a stop line for safety confirmation on the image processing unit 32. The projector 13-1 is operated by instructing generation.

従って、プロジェクタ１３−１は、イメージを投影するようにＣＰＵ３５に作動制御されて、路面に、停止線６１、文字「ＳＴＯＰ」６２、横断歩道６５からなるイメージ６７を投影するので、歩行者２に対して、分かり易く注意を喚起させることができる。即ち、歩行者２に対して、一旦停止を促すことができ、左右確認などの注意を喚起させることができる。また、歩行者２を安全に誘導することができ、歩行者２の安全を確保することができる。   Accordingly, the projector 13-1 is controlled by the CPU 35 to project an image, and projects an image 67 including a stop line 61, characters “STOP” 62, and a pedestrian crossing 65 onto the road surface. On the other hand, attention can be drawn in an easy-to-understand manner. That is, the pedestrian 2 can be urged to stop once, and alerts such as right and left confirmation can be alerted. Moreover, the pedestrian 2 can be guide | induced safely and the safety | security of the pedestrian 2 can be ensured.

また、車両傾き検出部１４は、停車した車両４１の傾き角度θを検出し、画像処理部３２は、この傾き角度θに基づいて、イメージ６７、６８の各イメージパターンの配置、傾きを補正するようにした。   In addition, the vehicle inclination detection unit 14 detects the inclination angle θ of the stopped vehicle 41, and the image processing unit 32 corrects the arrangement and inclination of the image patterns of the images 67 and 68 based on the inclination angle θ. I did it.

従って、車両４１が道路方向Ｘに対して傾けて駐車・停車した場合でも、路面に投影されるイメージは、歩行者２、接近する車両４２に対して傾かないため、歩行者２、接近する車両４２を、分かり易く案内表示することができる。   Accordingly, even when the vehicle 41 is parked / stopped while being tilted with respect to the road direction X, the image projected on the road surface is not tilted with respect to the pedestrian 2 and the approaching vehicle 42. 42 can be displayed in an easy-to-understand manner.

また、車両４２が接近した場合、ＣＰＵ３５は、画像処理部３２に停止線のイメージ６８を生成するように指示して、このイメージ６８を投影するようにプロジェクタ１３−２を作動制御するようにした。   When the vehicle 42 approaches, the CPU 35 instructs the image processing unit 32 to generate a stop line image 68 and controls the projector 13-2 to project the image 68. .

従って、プロジェクタ１３−２が、接近する車両４２の前方の路面上に、停止線のイメージ６８を投影するので、接近する車両４２に対して，歩行者２が判別領域５１〜５４のいずれかの領域に存在していることを、報知することができ、歩行者２の安全を確保することができる。   Accordingly, since the projector 13-2 projects the stop line image 68 on the road surface in front of the approaching vehicle 42, the pedestrian 2 is in any one of the discrimination areas 51 to 54 with respect to the approaching vehicle 42. It can notify that it exists in an area | region, and the safety | security of the pedestrian 2 can be ensured.

また、歩行者２が死角領域に存在している場合、ＣＰＵ３５は、画像処理部３２に対し、投影するイメージを強調表示させるように指示し、プロジェクタ１３−２は、強調表示したイメージ６８を接近する車両４２の前方に投影するようにした。   When the pedestrian 2 is present in the blind spot area, the CPU 35 instructs the image processing unit 32 to highlight the image to be projected, and the projector 13-2 approaches the highlighted image 68. Projecting to the front of the vehicle 42.

従って、停車している車両４１のために、車両４２の運転者が歩行者２を判別できないような場合でも、この運転者に対して、歩行者２の存在をより確実に判別させることができる。   Therefore, even when the driver of the vehicle 42 cannot determine the pedestrian 2 because the vehicle 41 is stopped, the driver can be more surely determined the presence of the pedestrian 2. .

また、画像メモリ３１のイメージパターン記憶領域３１ｂには、生成する安全確認用のイメージデータの部分イメージデータとしてのイメージパターンが予め記憶され、画像処理部３２が、このイメージパターンを選択して配置することにより、路面に投影するイメージを生成するようにした。   The image pattern storage area 31b of the image memory 31 stores in advance an image pattern as partial image data of the image data for safety confirmation to be generated, and the image processing unit 32 selects and arranges this image pattern. As a result, an image to be projected onto the road surface is generated.

従って、路面に投影するイメージのデータを低減することができ、状況に応じたイメージを路面に投影することができる。   Accordingly, it is possible to reduce the image data to be projected onto the road surface, and to project an image according to the situation onto the road surface.

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、上記実施形態では、例として、画像処理部３２が、図７に示すイメージ６７、図１１（ａ）、（ｂ）に示すイメージ６８を生成するようにした。 In carrying out the present invention, various forms are conceivable and the present invention is not limited to the above embodiment.
For example, in the above embodiment, as an example, the image processing unit 32 generates the image 67 shown in FIG. 7 and the image 68 shown in FIGS. 11A and 11B.

しかし、路面に投影するイメージはこのものに限られるものではなく、状況に応じて、図６（ａ）〜（ｆ）のイメージパターンから、他のいくつかのイメージパターンを選択してイメージを生成することもできる。また、イメージパターンも図６（ａ）〜（ｆ）に示すものに限られるものではない。   However, the image to be projected onto the road surface is not limited to this, and an image is generated by selecting several other image patterns from the image patterns in FIGS. 6A to 6F according to the situation. You can also Further, the image pattern is not limited to that shown in FIGS.

路面投影装置１は、状況に応じて、路面に投影するイメージの色を変えたり、イメージのサイズを変えたり、明るさを変えたりすることもできる。   The road surface projection device 1 can change the color of the image projected on the road surface, change the size of the image, or change the brightness according to the situation.

また、路面にイメージを投影する際、ハザードランプを点滅させたり、音声で案内するようにしてもよい。   Further, when an image is projected on the road surface, a hazard lamp may be blinked or guided by voice.

歩行者２を検知するセンサは、赤外線カメラ１２−１〜１２−４に限られるものではなく、赤外線カメラ１２−１〜１２−４にそれぞれ備えられた赤外線センサだけであってもよい。また、歩行者２を検知するセンサは、赤外線センサだけでなく、超音波センサであってもよい。   The sensors for detecting the pedestrian 2 are not limited to the infrared cameras 12-1 to 12-4, but may be only the infrared sensors provided in the infrared cameras 12-1 to 12-4, respectively. Moreover, the sensor which detects the pedestrian 2 may be not only an infrared sensor but also an ultrasonic sensor.

可視光カメラ１１−１〜１１−４、赤外線カメラ１２−１〜１２−４の取付位置は、車両４１の屋根の上でなくてもよく、車両４１の屋内であってもよい。また、車両４２の接近を判別する場合、サイドミラー等を利用し、車内に設置された可視光カメラがサイドミラー等で反射した画像を撮影し、ＣＰＵ３５は、この画像に基づいて、接近する車両４２を判別するようにしてもよい。   The attachment positions of the visible light cameras 11-1 to 11-4 and the infrared cameras 12-1 to 12-4 do not have to be on the roof of the vehicle 41 and may be indoors of the vehicle 41. Further, when the approach of the vehicle 42 is determined, a side mirror or the like is used to capture an image reflected by the side light camera or the like, and the CPU 35 approaches the approaching vehicle based on the image. 42 may be determined.

また、プロジェクタ１３−１，１３−２の取付位置も、車両４１の屋根、車内であってもよい。プロジェクタ１３−１，１３−２が車両４１の屋根、車内に取り付けられることにより、万が一、他の車両と接触するようなことがあっても、プロジェクタ１３−１，１３−２の破損を防止することができる。   The mounting positions of the projectors 13-1 and 13-2 may also be on the roof of the vehicle 41 or in the vehicle. By attaching the projectors 13-1 and 13-2 to the roof of the vehicle 41 and the inside of the vehicle, the projectors 13-1 and 13-2 are prevented from being damaged even if they come into contact with other vehicles. be able to.

可視光カメラ１１−１〜１１−４、赤外線カメラ１２−１〜１２−４は、オードフォーカス、ズーム機能を備えたものであってもよい。このような機能を備えることにより、車両接近報知装置１は、正確に、判別領域５１〜５４のいずれかの領域に存在する歩行者２、接近する車両４２を判別することができる。   The visible light cameras 11-1 to 11-4 and the infrared cameras 12-1 to 12-4 may be provided with an autofocus and zoom function. By providing such a function, the vehicle approach notification device 1 can accurately determine the pedestrian 2 and the approaching vehicle 42 existing in any one of the determination areas 51 to 54.

また、上記実施形態では、移動体として歩行者２の場合を主に説明した。しかし、移動体は、歩行者２に限られるものではなく、車両、２輪車、シニアカー等であってもよい。   Moreover, in the said embodiment, the case of the pedestrian 2 was mainly demonstrated as a moving body. However, the moving body is not limited to the pedestrian 2, and may be a vehicle, a two-wheeled vehicle, a senior car, or the like.

十字路や道路側方の駐車場等から自車両４１の前方あるいは後方を、他車両が横断する可能性もありうる。移動体を車両とした場合、路面投影装置１が、投影制御処理等を実行することにより、自車両４１の前方や後方を横断する他車両や、自車両４１の側方を通過する車両４２の運転者に対して、注意を喚起させることが可能となる。   There may be a possibility that another vehicle crosses the front or rear of the own vehicle 41 from a crossing or a parking lot on the side of the road. When the moving body is a vehicle, the road surface projection device 1 executes a projection control process or the like, so that the other vehicle crossing the front or rear of the own vehicle 41 or the vehicle 42 passing the side of the own vehicle 41 It is possible to alert the driver.

また、本実施形態においては、車両４１が停車した場合に、移動体判別処理、投影制御処理等が実行されるようになっている。しかし、本実施形態は、これに限られるものではなく、自車両４１が走行中であっても、移動体判別処理、投影制御処理等を実行することができる。   Moreover, in this embodiment, when the vehicle 41 stops, a moving body discrimination | determination process, a projection control process, etc. are performed. However, the present embodiment is not limited to this, and the moving body determination process, the projection control process, and the like can be executed even when the host vehicle 41 is traveling.

例えば、車両４１の走行中に、他車両が道路側方の駐車場等から道路に進入しようとし、走行している車両４１が減速して、他車両を道路に進入させることがある。一方、車両４１の左側を走行する２輪車がある場合、他車両と２輪車との接触を誘発するおそれがある（いわゆるサンキュー事故）。   For example, while the vehicle 41 is traveling, another vehicle may attempt to enter the road from a parking lot on the side of the road, and the traveling vehicle 41 may decelerate and cause the other vehicle to enter the road. On the other hand, when there is a two-wheeled vehicle traveling on the left side of the vehicle 41, there is a risk of inducing contact between the other vehicle and the two-wheeled vehicle (so-called thank you accident).

このような場合、例えば、プロジェクタ１３−１が他車両及び２輪車のすくなくとも一方の前方の路面に、一時停止する旨の文字画像を投影することにより、２輪車と車両４２との接触を防止することができる。   In such a case, for example, the projector 13-1 projects a character image indicating that the other vehicle and the two-wheeled vehicle are temporarily stopped on at least one road surface in front of the other vehicle and the two-wheeled vehicle, thereby bringing the two-wheeled vehicle and the vehicle 42 into contact with each other. Can be prevented.

この場合、走行中でも報知処理を行うためには、プロジェクタ１３−１，１３−２の投影角度を可変にして、車両４１が走行していても、プロジェクタ１３−１，１３−２が移動体としての他車両に対してイメージを投影するようにする。   In this case, in order to perform the notification process even while traveling, the projection angles of the projectors 13-1 and 13-2 are made variable so that even if the vehicle 41 is traveling, the projectors 13-1 and 13-2 are used as moving bodies. Project an image to another vehicle.

尚、路面投影装置１は、車両４１の車速に応じて移動体判別処理、投影制御処理等を実行するようにしてもよい。また、車室内に処理を実行するためのスイッチを設けてもよい。ＣＰＵ３５は、このスイッチのオン、オフ情報を取得し、このスイッチがオンしたときに、、移動体判別処理、投影制御処理等を実行するようにしてもよい。   Note that the road surface projection device 1 may execute a moving body determination process, a projection control process, and the like according to the vehicle speed of the vehicle 41. Moreover, you may provide the switch for performing a process in a vehicle interior. The CPU 35 may acquire on / off information of the switch, and when the switch is turned on, the moving body discrimination process, the projection control process, and the like may be executed.

また、本実施形態では、車両４２が車両４１の後方から接近するものとして説明した。しかし、車両４２は、車両４１の前方から接近する場合であっても、上記実施形態を適用することができる。   In the present embodiment, the vehicle 42 has been described as approaching from behind the vehicle 41. However, even when the vehicle 42 approaches from the front of the vehicle 41, the above embodiment can be applied.

例えば、他車両が、車両４１の前方から接近して、車両４１の左側に位置する施設に進入するために右折しようとして、車両４１が停止又は減速する場合がある。   For example, another vehicle may approach from the front of the vehicle 41 and stop or decelerate as the vehicle 41 tries to make a right turn to enter a facility located on the left side of the vehicle 41.

さらに、車両４１の左側を２輪車等の車両が走行している場合、車両用報知装置１は、車両４１の前方から接近する他車両を移動体、２輪車を接近する車両４２として、あるいは、プロジェクタ１３−１、１３−２が、２輪車の接近、進入する他車両があることを示す画像を投影するように構成されることもできる。   Furthermore, when a vehicle such as a two-wheeled vehicle is traveling on the left side of the vehicle 41, the vehicle alarm device 1 uses another vehicle approaching from the front of the vehicle 41 as a moving body and a vehicle 42 approaching the two-wheeled vehicle. Alternatively, the projectors 13-1 and 13-2 may be configured to project an image indicating that there is another vehicle approaching or entering the two-wheeled vehicle.

このように構成されることにより、他車両の運転者と２輪車の運転者とは、お互いを認識することができ、車両同士の接触を未然に防止することが可能となる。   By being configured in this manner, the driver of the other vehicle and the driver of the two-wheeled vehicle can recognize each other and can prevent the vehicles from contacting each other.

この場合、前方に配置されている可視光カメラ１１−１は、自車両４１の前方から接近する車両４２を監視し、ＣＰＵ３５は、可視光カメラ１１−１の可視光画像に基づいて、この車両４２を判別する。   In this case, the visible light camera 11-1 disposed in front of the vehicle monitors the vehicle 42 approaching from the front of the host vehicle 41, and the CPU 35 determines the vehicle based on the visible light image of the visible light camera 11-1. 42 is discriminated.

また、本実施形態においては、自車両４１の前方、後方、右側、左側にそれぞれ１つの判別領域を設定するものとした。しかし、判別領域の設定は、これに限られるものではない。   In the present embodiment, one determination area is set for each of the front, rear, right side, and left side of the host vehicle 41. However, the setting of the discrimination area is not limited to this.

例えば、自車両４１や周囲の状況等に応じて、判別領域を適宜変更することも可能である。特に、判別領域５１〜５４のうち、他車両の死角領域５１のみを判別領域として設定することもできる。また、判別領域をさらに細分化することも可能である。また、自車両４１から所定距離内の領域を判別領域として設定することもできる。   For example, it is possible to appropriately change the discrimination area according to the own vehicle 41 or the surrounding situation. In particular, it is possible to set only the blind spot area 51 of another vehicle among the discrimination areas 51 to 54 as the discrimination area. It is also possible to further subdivide the discrimination area. In addition, an area within a predetermined distance from the host vehicle 41 can be set as a discrimination area.

本実施形態では、停止線と「ＳＴＯＰ」との文字画像のみからなる注意喚起イメージと横断歩道のイメージとが、歩行車２の前方の路面に同時に投影されるものとして説明した。しかし、注意喚起イメージと横断歩道のイメージとを別々に投影することもできる。   In the present embodiment, the description has been given on the assumption that a warning image and an image of a pedestrian crossing composed of only a stop line and a character image of “STOP” are simultaneously projected onto the road surface in front of the walking vehicle 2. However, it is also possible to project a warning image and a crosswalk image separately.

例えば、ＣＰＵ３５は、判別領域５１〜５４のいずれかの領域に歩行者２が存在すると判定した場合には、図６（ａ）に示す停止線６１のイメージパターンと、図６（ｃ）に示すような文字「ＳＴＯＰ」６３のイメージパターンとからなる注意喚起イメージのみを歩行者２の前方に投影させる。   For example, when the CPU 35 determines that the pedestrian 2 is present in any one of the determination areas 51 to 54, the CPU 35 displays the image pattern of the stop line 61 shown in FIG. Only a warning image composed of the image pattern of the character “STOP” 63 is projected in front of the pedestrian 2.

ＣＰＵ３５は、車両４２の減速や停止を判別し、車両４２が減速又は停止してときに、図７に示す横断歩道のイメージパターン６５を、プロジェクタ１３−１に投影させる。   The CPU 35 determines whether the vehicle 42 is decelerated or stopped, and causes the projector 13-1 to project the pedestrian crossing image pattern 65 shown in FIG. 7 when the vehicle 42 decelerates or stops.

本発明の実施形態に係る路面投影装置の構成を示すブロック図である。It is a block diagram which shows the structure of the road surface projection apparatus which concerns on embodiment of this invention. 図１に示す可視光カメラ、赤外線カメラ、プロジェクタ等の取付位置を示す図である。It is a figure which shows the attachment position of the visible light camera, infrared camera, projector, etc. which are shown in FIG. 停車した車両の側面図であり、図１に示す可視光カメラ、赤外線カメラ、プロジェクタの取付位置を示す。It is a side view of the vehicle which stopped and shows the attachment position of the visible light camera, infrared camera, and projector which are shown in FIG. 道路方向に対して傾けて駐車・停車した車両を示す図である。It is a figure which shows the vehicle parked and parked inclining with respect to the road direction. 図１に示す画像メモリに設定された各記憶領域を示す図である。It is a figure which shows each storage area set to the image memory shown in FIG. 図５に示す画像メモリのイメージパターン記憶領域に記憶されているイメージパターンを示す図であり、（ａ）は、停止線、（ｂ）〜（ｄ）は文字、（ｅ）、（ｆ）は、横断歩道の各イメージパターンを示す図である。It is a figure which shows the image pattern memorize | stored in the image pattern storage area of the image memory shown in FIG. 5, (a) is a stop line, (b)-(d) is a character, (e), (f) is It is a figure which shows each image pattern of a pedestrian crossing. 図６に示す各イメージパターンを組み合わせたイメージを示す図である。It is a figure which shows the image which combined each image pattern shown in FIG. 車両を道路方向に対して傾けて駐車・停車した場合に、路面に投影される傾き補正前のイメージを示す図である。It is a figure which shows the image before inclination correction projected on a road surface, when a vehicle inclines with respect to the road direction and parks and stops. 車両を道路方向に対して傾けて駐車・停車した場合に、路面に投影される傾き補正後のイメージを示す図である。It is a figure which shows the image after the inclination correction projected on a road surface, when a vehicle inclines with respect to the road direction and parks and stops. 図１に示す画像処理部が実行する逆歪補正を示す図であり、（ａ）は、矩形のイメージを路面に投影した場合に、路面に投影されるイメージを示し、（ｂ）は、（ａ）に示す矩形に対して行われた変形する補正を示し、（ｃ）は、実際に投影されるイメージを示す。FIG. 2 is a diagram illustrating reverse distortion correction performed by the image processing unit illustrated in FIG. 1, where (a) illustrates an image projected on a road surface when a rectangular image is projected onto the road surface, and (b) illustrates ( The deformation | transformation correction | amendment performed with respect to the rectangle shown to a) is shown, (c) shows the image actually projected. 停止線のイメージに対して行われた逆歪補正を示す図であり、（ａ）は、補正前のイメージを示し、（ｂ）は、補正後のイメージを示す。It is a figure which shows the reverse distortion correction | amendment performed with respect to the image of a stop line, (a) shows the image before correction | amendment, (b) shows the image after correction | amendment. 図１に示すＣＰＵが実行する歩行者判別処理を示すフローチャートである。It is a flowchart which shows the pedestrian discrimination | determination process which CPU shown in FIG. 1 performs. 図１に示すＣＰＵが実行する投影制御処理（その１）を示すフローチャートである。3 is a flowchart showing a projection control process (part 1) executed by a CPU shown in FIG. 図１に示すＣＰＵが実行する投影制御処理（その２）を示すフローチャートである。6 is a flowchart showing a projection control process (part 2) executed by the CPU shown in FIG. 図１に示す画像処理部が実行する投影イメージ生成処理を示すフローチャートである。It is a flowchart which shows the projection image generation process which the image process part shown in FIG. 1 performs. 具体例として、歩行者が判別領域に入った状態を示す図である。It is a figure which shows the state which the pedestrian entered into the discrimination | determination area as a specific example. 図１に示すプロジェクタが歩行者の前の路面にイメージを投影した状態を示す図である。It is a figure which shows the state which the projector shown in FIG. 1 projected the image on the road surface in front of a pedestrian. 車両が接近した状態を示す図である。It is a figure which shows the state which the vehicle approached. 図１に示すプロジェクタが接近する車両の前の路面にイメージを投影した状態を示す図である。It is a figure which shows the state which projected the image on the road surface in front of the vehicle which the projector shown in FIG. 1 approaches. 歩行者が道路を渡り切った状態を示す図である。It is a figure which shows the state where the pedestrian crossed the road.

符号の説明Explanation of symbols

１ 路面投影装置
２ 歩行者（移動体）
１１−１〜１１−４ 可視光カメラ（監視部）
１２−１〜１２−４ 赤外線カメラ（監視部）
１３−１，１３−２ プロジェクタ（投影部）
３１ 画像メモリ（イメージデータ記憶部）
３５ ＣＰＵ（移動体判別部、作動制御部）
４１〜４３ 車両
５１〜５４ 判別領域 1 Road surface projection device 2 Pedestrian (moving body)
11-1 to 11-4 Visible light camera (monitoring unit)
12-1 to 12-4 Infrared camera (monitoring unit)
13-1, 13-2 Projector (projection unit)
31 Image memory (image data storage unit)
35 CPU (moving body discrimination unit, operation control unit)
41-43 Vehicle 51-54 Discrimination area

Claims (10)

自車両の周囲領域を監視する監視部と、
前記監視部の監視結果に基づいて、移動体を判別する移動体判別部と、
路面に投影するイメージのイメージデータを予め記憶するイメージデータ記憶部と、
イメージを投影するように作動制御されたときに、前記イメージデータ記憶部から前記イメージデータを読み出し、前記移動体近傍の路面位置に前記イメージを投影する投影部と、
前記監視部が監視した周囲領域に判別領域を設定し、前記移動体判別部が判別した前記移動体が、前記判別領域に存在しているときに、前記イメージを投影するように前記投影部を作動制御する作動制御部と、を備えた、
ことを特徴とする路面投影装置。 A monitoring unit that monitors the surrounding area of the vehicle;
Based on the monitoring result of the monitoring unit, a moving body determination unit for determining a moving body;
An image data storage unit for storing in advance image data of an image to be projected on the road surface;
A projection unit that reads out the image data from the image data storage unit and projects the image on a road surface in the vicinity of the moving body when the operation is controlled to project an image;
A determination area is set in the surrounding area monitored by the monitoring section, and the projection section is configured to project the image when the moving body determined by the moving body determination section exists in the determination area. An operation control unit for controlling operation,
A road surface projection device characterized by that. 道路が延びる方向を道路方向として、停車している前記自車両の前記道路方向に対する傾き角度を検出する車両傾き検出部と、
前記車両傾き検出部が検出した傾き角度に基づいて、前記イメージデータ記憶部が予め記憶するイメージデータに基づくイメージの傾きを補正し、補正したイメージデータを前記イメージデータ記憶部に格納するイメージデータ補正部と、を備え、
前記投影部は、イメージを投影するように前記作動制御部に作動制御されて、前記イメージデータ記憶部から、前記イメージデータ補正部が補正したイメージデータを読み出し、前記移動体近傍の路面位置に、補正された前記イメージを投影する、
ことを特徴とする請求項１に記載の路面投影装置。 A vehicle inclination detection unit that detects an inclination angle of the vehicle that is stopped with respect to the road direction, with a direction in which the road extends as a road direction;
Image data correction for correcting an image inclination based on image data stored in advance by the image data storage unit based on the inclination angle detected by the vehicle inclination detection unit, and storing the corrected image data in the image data storage unit And comprising
The projection unit is controlled by the operation control unit so as to project an image, and reads out the image data corrected by the image data correction unit from the image data storage unit, to the road surface position near the moving body, Project the corrected image,
The road surface projection device according to claim 1. 前記車両傾き検出部は、
前記自車両が走行しているときに、前記自車両の走行方向が変化する毎に前記自車両のヨーレートを計測するヨーレート計測部と、
前記ヨーレート計測部が計測した前記自車両のヨーレートを逐次記憶するヨーレート記憶部と、
前記自車両が停車したとき、前記自車両が直進走行しているときの前記自車両の傾き角度を０°として、前記ヨーレート記憶部が逐次記憶したヨーレートを積算することにより、停車している前記自車両の前記道路方向に対する傾き角度を取得する傾き角度取得部と、を備えたものである、
ことを特徴とする請求項２に記載の路面投影装置。 The vehicle inclination detector is
A yaw rate measuring unit that measures the yaw rate of the host vehicle each time the traveling direction of the host vehicle changes when the host vehicle is traveling;
A yaw rate storage unit that sequentially stores the yaw rate of the host vehicle measured by the yaw rate measurement unit;
When the host vehicle stops, the tilt angle of the host vehicle when the host vehicle is traveling straight ahead is set to 0 °, and the yaw rate stored in the yaw rate storage unit is added up sequentially to stop the host vehicle. An inclination angle acquisition unit that acquires an inclination angle of the host vehicle with respect to the road direction.
The road surface projection apparatus according to claim 2. 前記イメージデータ記憶部は、前記イメージデータとして、前記移動体への注意喚起を促すための移動体用安全確認イメージのイメージデータを予め記憶し、
前記投影部は、イメージを投影するように前記作動制御部に作動制御されて、前記イメージデータ記憶部から、前記移動体用安全確認イメージのイメージデータを読み出し、前記移動体近傍の路面位置に、前記移動体用安全確認イメージを投影する、
ことを特徴とする請求項１乃至３のいずれか１項に記載の路面投影装置。 The image data storage unit stores, as the image data, image data of a safety confirmation image for a moving body for urging attention to the moving body in advance,
The projection unit is controlled by the operation control unit so as to project an image, and reads out image data of the safety confirmation image for the moving body from the image data storage unit. Projecting the safety confirmation image for the moving object,
The road surface projection apparatus according to any one of claims 1 to 3, wherein 前記移動体判別部は、前記移動体として歩行者を判別し、
前記イメージデータ記憶部は、前記イメージデータとして横断歩道のイメージデータを予め記憶し、
前記投影部は、イメージを投影するように前記作動制御部に作動制御されて、前記イメージデータ記憶部から、前記横断歩道のイメージデータを読み出し、前記移動体近傍の路面位置に、前記横断歩道のイメージを前記移動体用安全確認イメージとともに投影する、
ことを特徴とする請求項４に記載の路面投影装置。 The mobile body determination unit determines a pedestrian as the mobile body,
The image data storage unit stores in advance image data of a pedestrian crossing as the image data,
The projection unit is controlled by the operation control unit to project an image, reads the image data of the pedestrian crossing from the image data storage unit, and the road surface position near the moving body Project the image together with the safety confirmation image for the moving object,
The road surface projection device according to claim 4, wherein: 前記イメージデータ記憶部は、前記イメージデータの部分イメージデータを予め複数記憶し、
前記イメージデータ記憶部が記憶する複数の部分イメージデータから、前記路面に投影するイメージデータの生成に必要な部分イメージデータを選択し、選択した部分イメージデータを配置することにより、前記イメージデータを生成し、生成した前記イメージデータを前記イメージデータ記憶部に記憶する投影イメージ生成部を備えた、
ことを特徴とする請求項１乃至５のいずれか１項に記載の路面投影装置。 The image data storage unit stores in advance a plurality of partial image data of the image data,
The image data is generated by selecting partial image data necessary for generating image data to be projected onto the road surface from a plurality of partial image data stored in the image data storage unit, and arranging the selected partial image data. A projection image generation unit that stores the generated image data in the image data storage unit,
The road surface projection device according to any one of claims 1 to 5, wherein 前記イメージデータ記憶部は、自車両に接近して側方を通過する接近車両への注意喚起を促すための接近車両用安全確認イメージのイメージデータを予め記憶し、
前記投影部は、前記自車両の周囲領域に前記移動体が存在すると前記移動体判別部が判別し、前記接近車両が接近したときに、イメージを投影するように前記作動制御部に作動制御されて、前記イメージデータ記憶部から、前記接近車両用安全確認イメージのイメージデータを読み出し、前記接近車両の進行方向前方に前記接近車両用安全確認イメージを投影する、
ことを特徴とする請求項４乃至６のいずれか１項に記載の路面投影装置。 The image data storage unit stores in advance image data of an approaching vehicle safety confirmation image for encouraging an approaching vehicle approaching the host vehicle and passing sideways,
The projecting unit is controlled by the operation control unit to project an image when the moving body determining unit determines that the moving body is present in a surrounding area of the host vehicle and the approaching vehicle approaches. From the image data storage unit, the image data of the approaching vehicle safety confirmation image is read, and the approaching vehicle safety confirmation image is projected forward in the traveling direction of the approaching vehicle.
The road surface projection device according to any one of claims 4 to 6, wherein 前記監視部は、
自車両の周囲領域を可視光で撮影して可視光画像を取得する可視光撮影部と、
前記歩行者から発せられる赤外線を検知する赤外線検知部と、を備え、
前記移動体判別部は、前記赤外線検知部が検知した赤外線に基づいて前記移動体として歩行者を判別し、
前記作動制御部は、前記可視光撮影部が取得した可視光画像に基づいて、前記監視部が監視した周囲領域に判別領域を設定し、前記移動体判別部が判別した前記歩行者が、前記判別領域に存在しているときに、前記イメージを投影するように前記投影部を作動制御する、
ことを特徴とする請求項５に記載の路面投影装置。 The monitoring unit
A visible light photographing unit that obtains a visible light image by photographing the surrounding area of the vehicle with visible light;
An infrared detector that detects infrared rays emitted from the pedestrian,
The mobile body determination unit determines a pedestrian as the mobile body based on infrared rays detected by the infrared detection unit,
The operation control unit sets a determination region in a surrounding region monitored by the monitoring unit based on a visible light image acquired by the visible light photographing unit, and the pedestrian determined by the moving body determination unit is Controlling the operation of the projection unit to project the image when present in the discrimination region;
The road surface projection device according to claim 5. 前記イメージデータ補正部は、前記路面に投影されるイメージと前記イメージデータ記憶部に予め記憶された補正前イメージとが対応するように、前記投影部が前記路面に前記イメージを投影する投影角度に基づいて前記補正前イメージの逆歪補正を行う、
ことを特徴とする請求項２に記載の路面投影装置。 The image data correction unit adjusts the projection angle at which the projection unit projects the image onto the road surface so that the image projected onto the road surface corresponds to the pre-correction image stored in advance in the image data storage unit. Performing reverse distortion correction of the pre-correction image based on
The road surface projection apparatus according to claim 2. 路面に投影するイメージのイメージデータを予め記憶するステップと、
自車両の周囲領域を監視するステップと、
監視結果に基づいて、移動体を判別するステップと、
監視した周囲領域に判別領域を設定し、判別した前記移動体が、前記判別領域に存在しているときに、予め記憶する前記イメージデータを読み出して、前記移動体近傍の路面位置に前記イメージを投影するステップと、を備えた、
ことを特徴とする路面投影方法。 Storing in advance image data of an image to be projected onto the road surface;
Monitoring the surrounding area of the vehicle;
Determining a moving object based on the monitoring result;
When a discriminating area is set in the monitored surrounding area, and the discriminating moving body exists in the discriminating area, the image data stored in advance is read out, and the image is placed at a road surface position near the moving body Projecting, comprising:
A road surface projection method characterized by that.
JP2006182599A 2006-06-30 2006-06-30 Road surface projection apparatus and road surface projection method Expired - Fee Related JP4720650B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006182599A JP4720650B2 (en) 2006-06-30 2006-06-30 Road surface projection apparatus and road surface projection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006182599A JP4720650B2 (en) 2006-06-30 2006-06-30 Road surface projection apparatus and road surface projection method

Publications (2)

Publication Number Publication Date
JP2008007079A true JP2008007079A (en) 2008-01-17
JP4720650B2 JP4720650B2 (en) 2011-07-13

Family

ID=39065649

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006182599A Expired - Fee Related JP4720650B2 (en) 2006-06-30 2006-06-30 Road surface projection apparatus and road surface projection method

Country Status (1)

Country Link
JP (1) JP4720650B2 (en)

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009184428A (en) * 2008-02-04 2009-08-20 Toyota Central R&D Labs Inc Vehicular lighting system
JP2009202866A (en) * 2008-01-31 2009-09-10 Yaskawa Electric Corp Moving body
JP2012216132A (en) * 2011-04-01 2012-11-08 Isuzu Motors Ltd Vehicle warning device
JP2014531358A (en) * 2011-09-08 2014-11-27 コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト Method and apparatus for in-vehicle assistant system for implementing autonomous or partially autonomous driving maneuvers
WO2014192369A1 (en) * 2013-05-31 2014-12-04 日立オートモティブシステムズ株式会社 Vehicular risk alert control device
JP2015143093A (en) * 2015-02-12 2015-08-06 株式会社デンソー Pedestrian notification device
US9224052B2 (en) 2012-12-19 2015-12-29 Industrial Technology Research Institute Method for in-image periodic noise pixel inpainting
WO2016072483A1 (en) * 2014-11-07 2016-05-12 大日本印刷株式会社 Optical apparatus
JP2016107761A (en) * 2014-12-04 2016-06-20 株式会社小糸製作所 Road drawing lamp unit
JP2016135629A (en) * 2015-01-23 2016-07-28 株式会社小糸製作所 Lighting unit for road face drawing
JP2016164348A (en) * 2015-03-06 2016-09-08 Ｉｈｉ運搬機械株式会社 Parking apparatus
JP2017007502A (en) * 2015-06-22 2017-01-12 株式会社デンソー Alarm device
WO2017038126A1 (en) * 2015-09-03 2017-03-09 オムロン株式会社 Offense stopping device and offense stopping system provided therewith
WO2017102695A1 (en) * 2015-12-16 2017-06-22 Bayerische Motoren Werke Aktiengesellschaft Control unit and method for defining movement regions
WO2017102259A1 (en) * 2015-12-16 2017-06-22 Bayerische Motoren Werke Aktiengesellschaft Communication between road users
JP2017159866A (en) * 2016-03-11 2017-09-14 トヨタ自動車株式会社 Vehicular lighting system
JP2017159698A (en) * 2016-03-07 2017-09-14 トヨタ自動車株式会社 Lighting device for vehicle
JP2017165178A (en) * 2016-03-15 2017-09-21 トヨタ自動車株式会社 Illuminating device for vehicle
KR101816068B1 (en) * 2016-04-19 2018-01-08 한국과학기술연구원 Detection System for Vehicle Surroundings and Detection Method for Vehicle Surroundings Using thereof
JP2018098066A (en) * 2016-12-14 2018-06-21 トヨタ自動車株式会社 Lighting device for vehicle
WO2018128946A1 (en) * 2017-01-06 2018-07-12 Pcms Holdings, Inc. Method for providing vulnerable road user warnings in a blind spot of a parked vehicle
CN108569204A (en) * 2017-03-10 2018-09-25 株式会社斯巴鲁 Image display device
JP2018530467A (en) * 2015-09-14 2018-10-18 ヴァレオ ビジョンＶａｌｅｏ Ｖｉｓｉｏｎ Projection method for an automobile for projecting an image onto a projection plane
CN108995581A (en) * 2017-06-06 2018-12-14 大众汽车（中国）投资有限公司 Alarming method for power and alarming device for vehicle
US10272830B2 (en) 2017-03-10 2019-04-30 Subaru Corporation Image display device
CN109795482A (en) * 2017-11-15 2019-05-24 罗伯特·博世有限公司 For vehicle of leading the way, the second vehicle, the method for third vehicle and equipment and computer program
US10300846B2 (en) 2017-03-10 2019-05-28 Subaru Corporation Image display apparatus
US10311718B2 (en) 2017-03-10 2019-06-04 Subaru Corporation Image display device for displaying images on a road surface
US10308172B2 (en) 2017-03-10 2019-06-04 Subaru Corporation Image display device
JP6523561B1 (en) * 2017-09-15 2019-06-05 三菱電機株式会社 Irradiation apparatus and irradiation method
US10325488B2 (en) 2017-03-10 2019-06-18 Subaru Corporation Image display device
CN110182204A (en) * 2018-02-21 2019-08-30 现代自动车株式会社 Vehicle and its control method
JP6591096B1 (en) * 2018-07-04 2019-10-16 三菱電機株式会社 Information display device and information display method
CN110520915A (en) * 2017-04-24 2019-11-29 三菱电机株式会社 Notify control device and notification control method
US10558416B2 (en) 2017-03-10 2020-02-11 Subaru Corporation Image display device
EP3653440A1 (en) * 2018-11-16 2020-05-20 Hyundai Mobis Co., Ltd. Control system of an autonomous vehicle and control method thereof
WO2020115517A1 (en) * 2018-12-03 2020-06-11 日産自動車株式会社 Vehicle travel control device and vehicle travel control method for parking
DE112017007284B4 (en) * 2017-04-24 2020-08-13 Mitsubishi Electric Corporation Message controller and method for controlling message
JP2020149598A (en) * 2019-03-15 2020-09-17 豊田合成株式会社 On-vehicle warning device
JP2020183184A (en) * 2019-05-08 2020-11-12 トヨタ自動車株式会社 Vehicle, operation management device, operation management method, and program
CN112019825A (en) * 2020-08-13 2020-12-01 广景视睿科技（深圳）有限公司 Projection method and projection equipment
CN112026641A (en) * 2015-04-10 2020-12-04 麦克赛尔株式会社 Vehicle with a steering wheel
WO2021045250A1 (en) * 2019-09-04 2021-03-11 엘지전자 주식회사 Method for providing safety service in wireless communication system and vehicle for same
US11338803B2 (en) * 2018-12-17 2022-05-24 Honda Motor Co., Ltd. Traveling track determination processing and automated drive device
CN114572108A (en) * 2020-11-30 2022-06-03 丰田自动车株式会社 Attention reminding system
JP2022126739A (en) * 2017-09-01 2022-08-30 株式会社小糸製作所 Vehicular lighting system, vehicle system, lamp fitting unit, and vehicular lamp fitting
EP3974254A4 (en) * 2019-07-15 2022-09-07 Great Wall Motor Company Limited Method for using vehicle light to project pattern, vehicle light system, and vehicle
WO2023013442A1 (en) * 2021-08-02 2023-02-09 株式会社小糸製作所 Display device for vehicle
JP7468401B2 (en) 2021-02-22 2024-04-16 トヨタ自動車株式会社 Information processing device, information processing system, information processing method, and display device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6351888B2 (en) * 2016-02-12 2018-07-04 三菱電機株式会社 Information display device and information display method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004306894A (en) * 2003-04-10 2004-11-04 Suzuki Motor Corp Lighting system for vehicle
JP2004331021A (en) * 2003-05-12 2004-11-25 Nissan Motor Co Ltd Night obstacle informing device at night
JP2005161977A (en) * 2003-12-02 2005-06-23 Honda Motor Co Ltd Vehicular travel supporting device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004306894A (en) * 2003-04-10 2004-11-04 Suzuki Motor Corp Lighting system for vehicle
JP2004331021A (en) * 2003-05-12 2004-11-25 Nissan Motor Co Ltd Night obstacle informing device at night
JP2005161977A (en) * 2003-12-02 2005-06-23 Honda Motor Co Ltd Vehicular travel supporting device

Cited By (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009202866A (en) * 2008-01-31 2009-09-10 Yaskawa Electric Corp Moving body
JP2009184428A (en) * 2008-02-04 2009-08-20 Toyota Central R&D Labs Inc Vehicular lighting system
JP2012216132A (en) * 2011-04-01 2012-11-08 Isuzu Motors Ltd Vehicle warning device
JP2014531358A (en) * 2011-09-08 2014-11-27 コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト Method and apparatus for in-vehicle assistant system for implementing autonomous or partially autonomous driving maneuvers
US9224052B2 (en) 2012-12-19 2015-12-29 Industrial Technology Research Institute Method for in-image periodic noise pixel inpainting
WO2014192369A1 (en) * 2013-05-31 2014-12-04 日立オートモティブシステムズ株式会社 Vehicular risk alert control device
JP2017174449A (en) * 2013-05-31 2017-09-28 日立オートモティブシステムズ株式会社 Danger notification controller for vehicle
CN105324804A (en) * 2013-05-31 2016-02-10 日立汽车系统株式会社 Vehicular risk alert control device
JPWO2014192369A1 (en) * 2013-05-31 2017-02-23 日立オートモティブシステムズ株式会社 Danger notification control device for vehicle
US9583003B2 (en) 2013-05-31 2017-02-28 Hitachi Automotive Systems, Ltd. Vehicle danger notification control apparatus
EP3007151A4 (en) * 2013-05-31 2017-02-22 Hitachi Automotive Systems, Ltd. Vehicular risk alert control device
WO2016072483A1 (en) * 2014-11-07 2016-05-12 大日本印刷株式会社 Optical apparatus
JP2017107242A (en) * 2014-11-07 2017-06-15 大日本印刷株式会社 Optical device
JPWO2016072483A1 (en) * 2014-11-07 2017-04-27 大日本印刷株式会社 Optical device
JP2016107761A (en) * 2014-12-04 2016-06-20 株式会社小糸製作所 Road drawing lamp unit
US10160376B2 (en) 2014-12-04 2018-12-25 Koito Manufacturing Co., Ltd. Road surface drawing lamp unit
JP2016135629A (en) * 2015-01-23 2016-07-28 株式会社小糸製作所 Lighting unit for road face drawing
JP2015143093A (en) * 2015-02-12 2015-08-06 株式会社デンソー Pedestrian notification device
JP2016164348A (en) * 2015-03-06 2016-09-08 Ｉｈｉ運搬機械株式会社 Parking apparatus
CN112026641A (en) * 2015-04-10 2020-12-04 麦克赛尔株式会社 Vehicle with a steering wheel
CN112026640A (en) * 2015-04-10 2020-12-04 麦克赛尔株式会社 Vehicle with a steering wheel
CN112026638A (en) * 2015-04-10 2020-12-04 麦克赛尔株式会社 Vehicle with a steering wheel
CN112046391A (en) * 2015-04-10 2020-12-08 麦克赛尔株式会社 Image projection apparatus and method
CN112061021A (en) * 2015-04-10 2020-12-11 麦克赛尔株式会社 Vehicle with a steering wheel
US11752870B2 (en) 2015-04-10 2023-09-12 Maxell, Ltd. Vehicle
JP2017007502A (en) * 2015-06-22 2017-01-12 株式会社デンソー Alarm device
CN107710300A (en) * 2015-09-03 2018-02-16 欧姆龙株式会社 It is violating the regulations to prevent device and possess its deterrent system violating the regulations
JP2017049885A (en) * 2015-09-03 2017-03-09 オムロン株式会社 Violation suppression device and violation suppression system including the same
WO2017038126A1 (en) * 2015-09-03 2017-03-09 オムロン株式会社 Offense stopping device and offense stopping system provided therewith
JP2018530467A (en) * 2015-09-14 2018-10-18 ヴァレオ ビジョンＶａｌｅｏ Ｖｉｓｉｏｎ Projection method for an automobile for projecting an image onto a projection plane
US11267398B2 (en) 2015-12-16 2022-03-08 Bayerische Motoren Werke Aktiengesellschaft Control unit and method for defining movement regions
WO2017102259A1 (en) * 2015-12-16 2017-06-22 Bayerische Motoren Werke Aktiengesellschaft Communication between road users
WO2017102695A1 (en) * 2015-12-16 2017-06-22 Bayerische Motoren Werke Aktiengesellschaft Control unit and method for defining movement regions
JP2017159698A (en) * 2016-03-07 2017-09-14 トヨタ自動車株式会社 Lighting device for vehicle
JP2017159866A (en) * 2016-03-11 2017-09-14 トヨタ自動車株式会社 Vehicular lighting system
JP2017165178A (en) * 2016-03-15 2017-09-21 トヨタ自動車株式会社 Illuminating device for vehicle
KR101816068B1 (en) * 2016-04-19 2018-01-08 한국과학기술연구원 Detection System for Vehicle Surroundings and Detection Method for Vehicle Surroundings Using thereof
JP2018098066A (en) * 2016-12-14 2018-06-21 トヨタ自動車株式会社 Lighting device for vehicle
WO2018128946A1 (en) * 2017-01-06 2018-07-12 Pcms Holdings, Inc. Method for providing vulnerable road user warnings in a blind spot of a parked vehicle
US10358083B2 (en) 2017-03-10 2019-07-23 Subaru Corporation Image display device
US10272830B2 (en) 2017-03-10 2019-04-30 Subaru Corporation Image display device
US10325488B2 (en) 2017-03-10 2019-06-18 Subaru Corporation Image display device
CN108569204B (en) * 2017-03-10 2022-11-01 株式会社斯巴鲁 Image display device
CN108569204A (en) * 2017-03-10 2018-09-25 株式会社斯巴鲁 Image display device
US10300846B2 (en) 2017-03-10 2019-05-28 Subaru Corporation Image display apparatus
US10311718B2 (en) 2017-03-10 2019-06-04 Subaru Corporation Image display device for displaying images on a road surface
US10308172B2 (en) 2017-03-10 2019-06-04 Subaru Corporation Image display device
US10558416B2 (en) 2017-03-10 2020-02-11 Subaru Corporation Image display device
US10885788B2 (en) 2017-04-24 2021-01-05 Mitsubishi Electric Corporation Notification control apparatus and method for controlling notification
CN110520915B (en) * 2017-04-24 2022-03-01 三菱电机株式会社 Notification control device and notification control method
CN110520915A (en) * 2017-04-24 2019-11-29 三菱电机株式会社 Notify control device and notification control method
DE112017007284B4 (en) * 2017-04-24 2020-08-13 Mitsubishi Electric Corporation Message controller and method for controlling message
DE112017007471T5 (en) 2017-04-24 2020-01-02 Mitsubishi Electric Corporation Message control device and message control method
CN108995581A (en) * 2017-06-06 2018-12-14 大众汽车（中国）投资有限公司 Alarming method for power and alarming device for vehicle
US11805587B2 (en) 2017-09-01 2023-10-31 Koito Manufacturing Co., Ltd. Vehicle illumination system, vehicle system, lamp unit and vehicle lamp
JP2022126739A (en) * 2017-09-01 2022-08-30 株式会社小糸製作所 Vehicular lighting system, vehicle system, lamp fitting unit, and vehicular lamp fitting
JP7357116B2 (en) 2017-09-01 2023-10-05 株式会社小糸製作所 Vehicle lighting systems, vehicle systems, light units and vehicle lights
CN111065547A (en) * 2017-09-15 2020-04-24 三菱电机株式会社 Irradiation apparatus and irradiation method
US11318879B2 (en) 2017-09-15 2022-05-03 Mitsubishi Electric Corporation Irradiation apparatus and irradiation method
CN111065547B (en) * 2017-09-15 2022-12-06 三菱电机株式会社 Irradiation apparatus and irradiation method
JP6523561B1 (en) * 2017-09-15 2019-06-05 三菱電機株式会社 Irradiation apparatus and irradiation method
CN109795482B (en) * 2017-11-15 2024-03-15 罗伯特·博世有限公司 Method, device and computer program for guiding a vehicle, second vehicle, third vehicle
CN109795482A (en) * 2017-11-15 2019-05-24 罗伯特·博世有限公司 For vehicle of leading the way, the second vehicle, the method for third vehicle and equipment and computer program
JP2019091451A (en) * 2017-11-15 2019-06-13 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ Method for preceding vehicle
CN110182204A (en) * 2018-02-21 2019-08-30 现代自动车株式会社 Vehicle and its control method
JP6591096B1 (en) * 2018-07-04 2019-10-16 三菱電機株式会社 Information display device and information display method
US10981497B2 (en) 2018-11-16 2021-04-20 Hyundai Mobis Co., Ltd. Control system of autonomous vehicle and control method thereof
US10843622B2 (en) 2018-11-16 2020-11-24 Hyundai Mobis Co., Ltd. Control system of autonomous vehicle and control method thereof
US20200156535A1 (en) * 2018-11-16 2020-05-21 Hyundai Mobis Co., Ltd. Control system of autonomous vehicle and control method thereof
EP3653440A1 (en) * 2018-11-16 2020-05-20 Hyundai Mobis Co., Ltd. Control system of an autonomous vehicle and control method thereof
WO2020115517A1 (en) * 2018-12-03 2020-06-11 日産自動車株式会社 Vehicle travel control device and vehicle travel control method for parking
US11383700B2 (en) 2018-12-03 2022-07-12 Nissan Motor Co., Ltd. Vehicle travel control device and vehicle travel control method for parking
US11338803B2 (en) * 2018-12-17 2022-05-24 Honda Motor Co., Ltd. Traveling track determination processing and automated drive device
JP2020149598A (en) * 2019-03-15 2020-09-17 豊田合成株式会社 On-vehicle warning device
US11454986B2 (en) 2019-05-08 2022-09-27 Toyota Jidosha Kabushiki Kaisha Vehicle, operation management device, operation management method, and computer-readable recording medium
JP7207142B2 (en) 2019-05-08 2023-01-18 トヨタ自動車株式会社 Vehicle, operation control device, operation control method, and program
JP2020183184A (en) * 2019-05-08 2020-11-12 トヨタ自動車株式会社 Vehicle, operation management device, operation management method, and program
EP3974254A4 (en) * 2019-07-15 2022-09-07 Great Wall Motor Company Limited Method for using vehicle light to project pattern, vehicle light system, and vehicle
US11900813B2 (en) 2019-09-04 2024-02-13 Lg Electronics, Inc. Method for providing safety service in wireless communication system and vehicle for same
WO2021045250A1 (en) * 2019-09-04 2021-03-11 엘지전자 주식회사 Method for providing safety service in wireless communication system and vehicle for same
CN112019825A (en) * 2020-08-13 2020-12-01 广景视睿科技（深圳）有限公司 Projection method and projection equipment
CN114572108A (en) * 2020-11-30 2022-06-03 丰田自动车株式会社 Attention reminding system
CN114572108B (en) * 2020-11-30 2023-12-29 丰田自动车株式会社 Attention reminding system
JP7468401B2 (en) 2021-02-22 2024-04-16 トヨタ自動車株式会社 Information processing device, information processing system, information processing method, and display device
WO2023013442A1 (en) * 2021-08-02 2023-02-09 株式会社小糸製作所 Display device for vehicle

Also Published As

Publication number Publication date
JP4720650B2 (en) 2011-07-13

Similar Documents

Publication Publication Date Title
JP4720650B2 (en) Road surface projection apparatus and road surface projection method
JP6089957B2 (en) Lighting control device
JP2008009941A (en) Alarm device for vehicle and alarm method for vehicle
CN111699680B (en) Automobile data recorder, display control method, and storage medium
JP5217950B2 (en) Driving assistance device
JP2000318513A (en) Obstacle detection device for vehicle
JP2008193339A (en) Rear monitoring system
JP2009113621A (en) Occupant picture photographing device, and driving assisting device
EP1912157A1 (en) Digital image processing system for automatically representing surrounding scenes to the driver of a vehicle for driving assistance, and corresponding operating method
JP2009078597A (en) Rear side confirmation system
JP5082923B2 (en) Vehicle obstacle detection device
JP2011114467A (en) Vehicle display device and display method
JP2004312638A (en) Obstacle detection apparatus
CN111527533A (en) Image processing device, imaging device, moving object, and image processing method
JP2010095202A (en) Room mirror position rear-view camera image display
JP2009284386A (en) Parking support device for vehicle
JP4735090B2 (en) Infrared imaging device
JP4731177B2 (en) Infrared imaging display device and infrared imaging display method for vehicle
JP2016038226A (en) Vehicle distance measurement device
KR101601500B1 (en) System and Method for assisting vehicle driving for using smartphone
JP2006311216A (en) Monitoring system for periphery of vehicle
KR101169337B1 (en) Vehicles controlling apparatus and controlling method thereof
JP2004328240A (en) Peripheral image display equipment
KR101533285B1 (en) Car safety system to get and display infrared images for sensing dangers in dark environments and photographing method for infrared images
JP3850021B2 (en) Imaging device with infrared illumination

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100903

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100903

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110321

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150415

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees