JP2009116723A - Lane change support system - Google Patents

Lane change support system Download PDF

Info

Publication number
JP2009116723A
JP2009116723A JP2007290638A JP2007290638A JP2009116723A JP 2009116723 A JP2009116723 A JP 2009116723A JP 2007290638 A JP2007290638 A JP 2007290638A JP 2007290638 A JP2007290638 A JP 2007290638A JP 2009116723 A JP2009116723 A JP 2009116723A
Authority
JP
Japan
Prior art keywords
vehicle
lane
image
lane change
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007290638A
Other languages
Japanese (ja)
Inventor
Ryusuke Hotta
隆介 堀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2007290638A priority Critical patent/JP2009116723A/en
Publication of JP2009116723A publication Critical patent/JP2009116723A/en
Pending legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a lane change support system capable of making a driver execute quick and accurate determination at changing a lane. <P>SOLUTION: In lane change support control processing performed by a control section of the system, an adjacent lane (target lane) is detected on the basis of a photographed image photographed by a subject camera (S120) if speed of its own vehicle exceeds threshold speed (S115:YES); when the target lane exists (S125:YES), a zone (margin lane) capable of making the own vehicle safely change a lane is set if the other vehicle does not exist on the target lane (S130); and an image (zone image) emphasizing the margin zone is displayed on a target display section (S150) by superposing the zone image on the photographed image (S140). Consequently, a driver can intuitively recognize a vehicle distance necessary to change a lane at a rear side since display by integrating an image as an index at changing a lane and the photographed image photographing an actual situation on the adjacent lane. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、ドライバが安全に車線変更を行うことができるように支援する車線変更支援装置に関する。   The present invention relates to a lane change support device that supports a driver so that a lane change can be performed safely.

従来、車両の後側方に存在する他車両(以下、対象車両という)を検出する車載センサを備え、この車載センサが検出した情報(以下、検出情報という)に基づいて、他車両の存在などをドライバに報知することにより、ドライバが安全に車線変更を行うことができるように支援する車線変更支援装置が知られている。   Conventionally, an in-vehicle sensor that detects another vehicle (hereinafter referred to as a target vehicle) existing on the rear side of the vehicle is provided, and based on information detected by the in-vehicle sensor (hereinafter referred to as detection information), the presence of the other vehicle, etc. There is known a lane change assisting device that assists the driver so that the driver can safely change the lane by informing the driver.

この車線変更支援装置の一例として、車載センサの検出情報に基づいて算出される対象車両との距離および相対速度に応じて、対象車両が走行している車線側に車線変更を行う際に要する注意のレベル(以下、注意度という)を、イメージ画像としてディスプレイに表示させることにより、車線変更時の判断材料をドライバに提供するものが提案されている(例えば、特許文献1参照)。   As an example of this lane change support device, attention is required when changing the lane to the lane on which the target vehicle is traveling according to the distance and relative speed with the target vehicle calculated based on the detection information of the in-vehicle sensor. Has been proposed that provides the driver with a judgment material when changing the lane by displaying the level of the vehicle (hereinafter referred to as “attention level”) on the display as an image (see, for example, Patent Document 1).

具体的にディスプレイには、図9に示すように、自車両の後部を表すマーク101と、このマーク101の側方位置から下方外側へ延びるように複数のセグメント102が配列されたセグメント列103とからなるイメージ画像100が表示される。なお且つ、セグメント列103は、対象車両との距離に応じた数だけ下方からセグメント102が塗りつぶされる共に、塗りつぶされたセグメント102が対象車両との相対速度に応じた色や輝度に変化する。即ち、イメージ画像100は、後側方における対象車両に対する注意度を、セグメント列103の下方から塗りつぶされる長さ,色,輝度により表現している。
特開2002−74596号公報
Specifically, as shown in FIG. 9, the display includes a mark 101 representing the rear portion of the host vehicle, and a segment row 103 in which a plurality of segments 102 are arranged so as to extend downward from the side position of the mark 101. An image 100 consisting of is displayed. Further, in the segment row 103, the segments 102 are filled from the lower side by the number corresponding to the distance from the target vehicle, and the filled segments 102 change to a color and luminance corresponding to the relative speed with the target vehicle. That is, the image 100 represents the degree of caution with respect to the target vehicle on the rear side by the length, color, and luminance that are painted from below the segment row 103.
JP 2002-74596 A

しかし、従来の車線変更支援装置では、ディスプレイの表示画像がマーク101とセグメント列103とからなるイメージ画像100であるため、表示画像と後側方における実際の様子との変換作業をドライバの頭の中で行わせてしまうことがあり、後側方における注意度をドライバに必ずしも直観的に認識させることができないという問題があった。このため、車線変更時の判断をドライバに的確に行わせることができないという可能性があった。   However, in the conventional lane change support device, since the display image on the display is the image image 100 composed of the mark 101 and the segment row 103, the conversion operation between the display image and the actual state on the rear side is performed at the driver's head. There is a problem that the driver cannot always intuitively recognize the attention degree on the rear side. For this reason, there is a possibility that the driver cannot make an accurate determination when changing lanes.

本発明は、上記問題点を解決するために、車線変更時の判断をドライバに迅速かつ的確に行わせることが可能な車線変更支援装置を提供することを目的とする。   In order to solve the above-described problems, an object of the present invention is to provide a lane change support device that allows a driver to make a quick and accurate determination when changing lanes.

上記目的を達成するためになされた請求項1に記載の車線変更支援装置では、画像取得手段が、自車両の後側方における道路上の現在状況を自車両の一部と共に撮像した撮像画像を取得し、隣接車線特定手段が、この撮像画像に基づいて自車両が走行する車線の隣接車線を特定する。なお、画像取得手段が取得した撮像画像は、画像表示手段により表示される。   In the lane change assisting device according to claim 1, which is made to achieve the above object, the image acquisition unit captures a captured image obtained by capturing the current situation on the road at the rear side of the own vehicle together with a part of the own vehicle. The adjacent lane specifying unit acquires the adjacent lane of the lane in which the host vehicle travels based on the captured image. Note that the captured image acquired by the image acquisition unit is displayed by the image display unit.

そして、隣接車線特定手段が隣接車線を特定した場合に、領域設定手段が、隣接車線上の領域であってその領域内に他車両が存在しなければ自車両が安全に車線変更を行うことができる余裕領域を設定し、表示制御手段が、この余裕領域を強調した領域画像を、撮像画像に重畳させて画像表示手段に表示させる重畳表示処理を実行する。   When the adjacent lane specifying means specifies the adjacent lane, the area setting means can safely change the lane if the area setting means is an area on the adjacent lane and there is no other vehicle in the area. A margin area that can be set is set, and the display control unit executes a superimposition display process in which the area image in which the margin area is emphasized is superimposed on the captured image and displayed on the image display unit.

つまり、本発明の車線変更支援装置は、隣接車線上の余裕領域を強調した領域画像(即ち、車線変更時の指標となるイメージ画像)と、自車両の後側方における隣接車線上の実際の様子を撮像した撮像画像とを一体化させて表示するように構成されている。   In other words, the lane change support device of the present invention has an area image (ie, an image image that serves as an index when changing lanes) that emphasizes a margin area on an adjacent lane and an actual image on the adjacent lane behind the host vehicle. The captured image obtained by capturing the state is integrated and displayed.

したがって、本発明の車線変更支援装置によれば、表示される画像と後側方における実際の様子との変換作業をドライバの頭の中で行わせることなく、後側方に対して車線変更のために必要な車間隔をドライバに直観的に認識させることができ、ひいては、車線変更時の判断をドライバに迅速かつ的確に行わせることができる。   Therefore, according to the lane change support device of the present invention, the lane change can be performed on the rear side without causing the driver to convert the displayed image and the actual state on the rear side in the driver's head. Therefore, the driver can intuitively recognize the necessary vehicle interval, and thus, the driver can quickly and accurately make a determination when changing lanes.

また、請求項2に記載のように、画像表示手段は、自車両のドアミラーに設けられることが望ましい。
このように構成された車線変更支援装置によれば、ドライバに対して、ドアミラーを用いて車両の後側方の確認を行うという通常の行為を行わせるだけで、車線変更時の判断材料を提供することができ、ひいては、車線変更時におけるドライバの動作負担を軽減させることができる。
Further, as described in claim 2, it is desirable that the image display means is provided on a door mirror of the host vehicle.
According to the lane change support device configured as described above, the driver is provided with the judgment material at the time of the lane change only by causing the driver to perform the normal action of confirming the rear side of the vehicle using the door mirror. As a result, the operation load on the driver when changing lanes can be reduced.

さらに、請求項3に記載のように、画像取得手段が、自車両のドアミラーに設けられることがより望ましい。
このように構成された車線変更支援装置によれば、自車両の後側方における状況を当該車両の一部と共にドアミラーから確実に撮像することができる。また、画像取得手段は、画像表示手段と共に電子ドアミラーを構成することが可能となる。この場合、当該車線変更支援装置を車両に設置する際に、通常のドアミラーの代わりに電子ドアミラーを取り付ければよいため、ひいては消費者の要否に応じて柔軟に対応することができる。
Furthermore, as described in claim 3, it is more desirable that the image acquisition means is provided in the door mirror of the host vehicle.
According to the lane change assist device configured in this way, the situation on the rear side of the host vehicle can be reliably imaged from the door mirror together with a part of the vehicle. Further, the image acquisition means can constitute an electronic door mirror together with the image display means. In this case, when the lane change assist device is installed in the vehicle, an electronic door mirror may be attached instead of a normal door mirror, and thus it can be flexibly dealt with according to the necessity of the consumer.

ところで、請求項4に記載のように、領域設定手段は、隣接車線上を走行する走行車両(以下、対象車両という)と自車両との相対速度、又は自車両の速度(即ち、自車速)を取得し、取得した相対速度または自車速の少なくとも一方の速度を用いて、この速度が大きいほど、余裕領域が自車両の進行方向とは逆方向に広がるようにこの余裕領域の大きさを設定することが望ましい。なお、対象車両と自車両との相対速度は、例えば、画像取得手段が取得した撮像画像に基づいて算出すればよい。   By the way, as described in claim 4, the area setting means includes a relative speed between a traveling vehicle (hereinafter referred to as a target vehicle) traveling on an adjacent lane and the own vehicle, or a speed of the own vehicle (that is, an own vehicle speed). Using the acquired relative speed or at least one of the vehicle speeds, set the size of the margin area so that the larger the speed, the wider the margin area in the direction opposite to the traveling direction of the host vehicle. It is desirable to do. The relative speed between the target vehicle and the host vehicle may be calculated based on the captured image acquired by the image acquisition unit, for example.

このように構成された車線変更支援装置によれば、自車両の速度や対象車両との相対速度に応じて必要な余裕領域が自動的に表示されるため、車線変更時におけるより的確な判断材料をドライバに提供し続けることができる。   According to the lane change assist device configured in this way, the necessary margin area is automatically displayed according to the speed of the host vehicle and the relative speed with the target vehicle, so that a more accurate determination material at the time of lane change Can continue to be provided to the driver.

また、請求項5に記載のように、表示制御手段による重畳表示処理は、隣車線特定手段が特定した隣接車線と、自車両が走行する車線との境界線を強調した境界画像を、領域画像と共に撮像画像に重畳させることが望ましい。   In addition, as described in claim 5, the superimposed display processing by the display control unit is a region image obtained by emphasizing a boundary image between the adjacent lane specified by the adjacent lane specifying unit and the lane in which the host vehicle travels. At the same time, it is desirable to superimpose on the captured image.

このように構成された車線変更支援装置によれば、隣接車線の境界線が強調されて自車両の一部と共に表示されるため、ドライバに対して、隣接車線に対する注意を喚起すると共に、隣接車線の領域をより明確に認識させることができる。   According to the lane change assist device configured as described above, the boundary line of the adjacent lane is emphasized and displayed together with a part of the host vehicle, so that the driver is alerted to the adjacent lane and the adjacent lane is displayed. This area can be recognized more clearly.

なお、請求項6に記載のように、表示制御手段は、自車速が予め設定された閾値以下の場合に、重畳表示処理の実行を禁止することが望ましい。
このように構成された車線変更支援装置によれば、自車両が停止または低速走行している場合には、自動的に自車両の後側方における実際の様子だけが表示されるため、例えば信号による停止(及びそのための減速)時など車線変更時の支援が不要な状況で、領域画像を無駄に表示することなく、当該装置の制御負担を抑制することができる。
As described in claim 6, it is desirable that the display control means prohibits the execution of the superimposed display process when the host vehicle speed is equal to or lower than a preset threshold value.
According to the lane change assist device configured in this way, when the host vehicle is stopped or traveling at a low speed, only the actual state on the rear side of the host vehicle is automatically displayed. In a situation where assistance at the time of lane change is unnecessary, such as when stopping by (and deceleration for that), it is possible to suppress the control burden of the device without wastefully displaying the region image.

また、請求項7に記載のように、表示制御手段は、対象車両と自車両との相対的な関係を表す相対情報を取得し、この相対情報に基づいて、余裕領域の色彩または輝度を変更する表示変更処理を行うことが望ましい。   In addition, as described in claim 7, the display control means acquires relative information representing a relative relationship between the target vehicle and the host vehicle, and changes the color or luminance of the margin area based on the relative information. It is desirable to perform display change processing.

この場合、表示される余裕領域の色彩または輝度を変更することによって、車線変更時に対象車両に対して注意を要する度合い(即ち、注意レベル)をドライバに報知することができる。   In this case, by changing the color or brightness of the displayed margin area, it is possible to notify the driver of the degree to which attention is required for the target vehicle (ie, the attention level) when changing the lane.

そして、請求項8に記載のように、表示制御手段は、対象車両が余裕領域外に存在している場合に、表示変更処理の実行を禁止することが望ましい。
この場合、表示画像における余裕領域の色彩または輝度が変更した場合に、余裕領域内に車両が存在していること、即ち、車線変更時に注意を要することをドライバに容易に認識させることができる。
As described in claim 8, it is desirable that the display control means prohibits execution of the display change process when the target vehicle exists outside the margin area.
In this case, when the color or brightness of the margin area in the display image is changed, the driver can easily recognize that the vehicle exists in the margin area, that is, that attention is required when changing the lane.

なお、請求項9に記載のように、相対情報は、対象車両と自車両との相対速度または距離の少なくとも一方であればよい。
この場合、例えば、対象車両との相対速度や距離に応じて余裕領域の色彩または輝度を段階的に変更することによって、より的確な注意レベルをドライバに報知することができる。
In addition, as described in claim 9, the relative information may be at least one of the relative speed or the distance between the target vehicle and the host vehicle.
In this case, for example, the driver can be notified of a more accurate level of caution by changing the color or brightness of the marginal area stepwise in accordance with the relative speed and distance from the target vehicle.

ところで、請求項10に記載のように、画像取得手段が自車両の両側後方のそれぞれについて撮像画像を取得し、画像表示手段は、画像取得手段により取得された撮像画像をそれぞれ表示するために自車両の二箇所に設けられていることが望ましい。   By the way, as described in claim 10, the image acquisition means acquires captured images for each of the rear sides of the host vehicle, and the image display means automatically displays the captured images acquired by the image acquisition means. It is desirable to be provided at two locations on the vehicle.

そして、表示制御手段は、表示変更処理を実行した場合に、その表示変更処理の対象となった対象車両が表示される側の画像表示手段に対して重畳表示処理を行うと共に、他方側の画像表示手段に対して注意メッセージを表示させるとよい。   Then, when the display change process is executed, the display control means performs the superimposed display process on the image display means on the side on which the target vehicle that is the target of the display change process is displayed, and the image on the other side. A warning message may be displayed on the display means.

このように構成された車線変更支援装置によれば、隣接車線のうち一方側を走行する対象車両に対する注意を、自車両の二箇所に設けられた画像表示手段の両方を介して、ドライバに報知するため、ドライバに注意を認識させる確実性を向上させることができる。   According to the lane change assist device configured as described above, the driver is informed of the attention to the target vehicle traveling on one side of the adjacent lane through both of the image display means provided at two locations of the own vehicle. Therefore, it is possible to improve the certainty that the driver recognizes the attention.

さらに、請求項11に記載のように、兆候検出手段が、自車両の隣接車線方向へ移動する兆候(以下、移動兆候という)を検出し、対象車両が余裕領域内を走行している(即ち、余裕領域内に存在している)間に、兆候検出手段が移動兆候を検出した場合に、警告報知手段が警告を報知することが望ましい。   Furthermore, as described in claim 11, the sign detection means detects a sign (hereinafter referred to as a movement sign) that moves in the adjacent lane direction of the host vehicle, and the target vehicle is traveling in the margin area (that is, When the sign detection means detects a movement sign (while it exists in the margin area), it is desirable that the warning notification means notifies the warning.

このように構成された車線変更支援装置によれば、対象車両との距離が迫っている場合に、ドライバが車線変更を行おうとする意志を表す動作が行われると、その動作に対する警告がドライバに報知され、ひいては危険な状況下での車線変更を未然に防ぐことができる。   According to the lane change assist device configured as described above, when the driver expresses an intention to change lanes when the distance to the target vehicle is approaching, a warning for the operation is given to the driver. It is notified, and as a result, it is possible to prevent a lane change in a dangerous situation.

なお、兆候検出手段は、請求項12に記載のように、自車両のウインカー操作が行われたことを移動兆候として検出してもよいし、請求項13に記載のように、自車両の操舵角が予め設定された閾値以上であることを移動兆候として検出してもよい。   The sign detecting means may detect that the turn signal operation of the host vehicle has been performed as described in claim 12, and may detect steering of the host vehicle as described in claim 13. It may be detected as a movement sign that the corner is equal to or greater than a preset threshold.

これらの場合、両者ともに、ドライバが車線変更を行おうとする意志を表す動作を、確実に検出することができる。   In both of these cases, it is possible to reliably detect an operation representing the intention of the driver to change the lane.

以下に、本発明の実施形態を図面と共に説明する。
<全体構成>
図1(a)は、本発明が適用された車線変更支援装置の構成を示すブロック図、図1(b)は、車両に当該装置が設置される際の各構成要素の配置を示す配置図である。
Embodiments of the present invention will be described below with reference to the drawings.
<Overall configuration>
FIG. 1A is a block diagram showing a configuration of a lane change assist device to which the present invention is applied, and FIG. 1B is a layout diagram showing an arrangement of each component when the device is installed in a vehicle. It is.

図1(a),(b)に示すように、車線変更支援装置1は、自車両の後側方を撮像すると共にその撮像画像を表示する機能を有する電子ドアミラー2と、自車両の速度に応じた検出信号を出力する車速センサ3と、方向指示器の動作状態(即ち、ウインカー操作)を検出する方向指示器センサ4と、ステアリングの左右アングル(即ち、操舵角)を検出する操舵角センサ5と、各種のガイド音声などを出力するための音声出力部6と、電子ドアミラー2及びセンサ3〜5からの入力に応じて各種処理を実行し、電子ドアミラー2及び音声出力部6を制御する制御部10とを備えている。   As shown in FIGS. 1 (a) and 1 (b), the lane change assist device 1 captures the rear side of the host vehicle and displays the captured image, and the speed of the host vehicle. A vehicle speed sensor 3 that outputs a corresponding detection signal, a direction indicator sensor 4 that detects an operating state of the direction indicator (that is, a winker operation), and a steering angle sensor that detects the left and right angles of the steering (that is, the steering angle). 5, a voice output unit 6 for outputting various guide voices, and the like, and executes various processes in accordance with inputs from the electronic door mirror 2 and the sensors 3 to 5 to control the electronic door mirror 2 and the voice output unit 6. And a control unit 10.

このうち、電子ドアミラー2は、一般的なドアミラーの代わりとして自車両におけるドアミラーが通常設置される箇所に設けられ、自車両の後側方における道路上の現在状況を当該車両の一部と共に撮像するカメラ(例えば、CCDカメラ)7と、カメラ7が撮像した撮像画像などの各種情報の画像表示を行うための表示部(例えば、液晶ディスプレイ)8とを備えている。   Among these, the electronic door mirror 2 is provided at a place where the door mirror in the own vehicle is normally installed instead of a general door mirror, and images the current situation on the road at the rear side of the own vehicle together with a part of the vehicle. A camera (for example, a CCD camera) 7 and a display unit (for example, a liquid crystal display) 8 for displaying images of various information such as captured images captured by the camera 7 are provided.

なお以下では、説明の便宜上、電子ドアミラー2のうち、自車両の右側に設置されるものを右ドアミラー11、自車両の左側に設置されるものを左ドアミラー12とすると共に、カメラ7及び表示部8のうち、右ドアミラー11が備えるものを第一カメラ71及び第一表示部81、左ドアミラー12が備えるものを第二カメラ72及び第二表示部82とする。   In the following, for convenience of explanation, among the electronic door mirrors 2, the one installed on the right side of the host vehicle is referred to as the right door mirror 11, and the one installed on the left side of the host vehicle is referred to as the left door mirror 12. 8, the first camera 71 and the first display unit 81 are provided in the right door mirror 11, and the second camera 72 and the second display unit 82 are provided in the left door mirror 12.

また、制御部10は、CPU,ROM,RAM,I/O及びこれらの構成要素を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されており、このうち、ROMには、カメラ7の内部特性(即ち、レンズの焦点距離,画角,画素数など)を表す内部パラメータCP1と、カメラ7の外部特性(即ち、カメラ7の取付位置および向き等)を表す外部パラメータCP2とが格納されている領域がある。また、制御部10は、ROMに記憶されたプログラムに基づいて、以下の車線変更支援制御処理を実行する。   The control unit 10 is mainly composed of a well-known microcomputer comprising a CPU, ROM, RAM, I / O and a bus line for connecting these components. Among these, the ROM includes a camera 7. The internal parameters CP1 representing the internal characteristics (ie, the focal length of the lens, the angle of view, the number of pixels, etc.) and the external parameters CP2 representing the external characteristics of the camera 7 (ie, the mounting position and orientation of the camera 7) are stored. There is an area that has been. Moreover, the control part 10 performs the following lane change assistance control processing based on the program memorize | stored in ROM.

<車線変更支援制御処理>
ここで、制御部10が実行する車線変更支援制御処理を、図2に示すフローチャートに沿って詳しく説明する。
<Lane change support control processing>
Here, the lane change support control process executed by the control unit 10 will be described in detail with reference to the flowchart shown in FIG.

なお、本実施形態の車線変更支援制御処理は、左右両側の電子ドアミラー2のそれぞれについて並列的に実行され、自車両のエンジンが作動(即ち、イグニッションスイッチがオン)している間、繰り返し実行される。   Note that the lane change assist control process of the present embodiment is executed in parallel for each of the left and right electronic door mirrors 2 and is repeatedly executed while the engine of the host vehicle is operating (that is, the ignition switch is on). The

まず、本処理が開始されると、S110では、車速センサ3から入力される検出信号に基づいて、自車両の速度(即ち、自車速)を取得する。
続くS115では、S110で取得した自車速が予め設定された閾値(例えば、10km/h;以下、閾速度という)を上回っているか否かを判断し、肯定判断した場合にはS120に進み、否定判断した場合にはS170に進む。
First, when this process is started, in S110, the speed of the host vehicle (that is, the host vehicle speed) is acquired based on the detection signal input from the vehicle speed sensor 3.
In subsequent S115, it is determined whether or not the vehicle speed acquired in S110 exceeds a preset threshold value (for example, 10 km / h; hereinafter referred to as a threshold speed). If it is determined, the process proceeds to S170.

S120では、電子ドアミラー2が備えるカメラ7のうち、本処理の対象となる側のカメラ(以下、対象カメラという)7Nが撮像した撮像画像に基づいて、自車両が走行する車線の隣接車線のうち、対象カメラ7Nが設置されている側の隣接車線(以下、対象車線という)を検出するための隣車線検出処理(後述する)を行う。   In S120, among the lanes adjacent to the lane in which the host vehicle travels based on the captured image captured by the camera 7N that is the target of this processing (hereinafter referred to as the target camera) among the cameras 7 included in the electronic door mirror 2. Then, an adjacent lane detection process (described later) for detecting an adjacent lane (hereinafter referred to as an “target lane”) on the side where the target camera 7N is installed is performed.

なお、対象カメラ7Nは、本処理が右ドアミラー11についてのものであれば第一カメラ71を、本処理が左ドアミラー12についてのものであれば第二カメラ72を指すものとする。また、この隣車線検出処理では、対象車線を検出した場合に後述する隣接フラグを1に書き換える。   The target camera 7N indicates the first camera 71 if the process is for the right door mirror 11 and the second camera 72 if the process is for the left door mirror 12. In this adjacent lane detection process, an adjacent flag described later is rewritten to 1 when the target lane is detected.

続くS125では、S120にて隣接フラグが1に書き換えられたか否かを判断し、肯定判断した場合には、対象車線が存在するものとみなしてS130に進み、否定判断した場合には、対象車線が存在しないものとみなしてS160に進む。   In the following S125, it is determined whether or not the adjacent flag has been rewritten to 1 in S120. If an affirmative determination is made, it is assumed that the target lane exists and the process proceeds to S130, and if a negative determination is made, the target lane is determined. The process proceeds to S160.

S130では、対象カメラ7Nが撮像した撮像画像と、S120で検出された対象車線とに基づいて、その対象車線上で他車両が存在しなければ自車両が安全に車線変更を行うことができる領域(以下、余裕領域という)を設定するための余裕領域設定処理(後述する)を行う。   In S130, based on the captured image captured by the target camera 7N and the target lane detected in S120, if the other vehicle does not exist on the target lane, the vehicle can safely change the lane A margin area setting process (to be described later) for setting (hereinafter referred to as a margin area) is performed.

続くS140では、自車両が走行する周りの状況に応じて生成された付加画像と、対象カメラ7Nが撮像した撮像画像とを合成する画像制御処理(後述する)を実行する。
なお、画像制御処理では、対象車線を走行する車両(以下、対象車両という)が余裕領域内に存在する場合には、車線変更時に対象車両に対して注意を要する度合いを表す注意レベルを、自車両と対象車両との相対的な関係(相対速度,距離)に応じて設定する。
In subsequent S140, an image control process (described later) for combining the additional image generated in accordance with the situation around the host vehicle and the captured image captured by the target camera 7N is executed.
In the image control process, when a vehicle traveling in the target lane (hereinafter referred to as the target vehicle) is present in the margin area, a caution level that indicates the degree to which the target vehicle needs attention when changing the lane is automatically set. It is set according to the relative relationship (relative speed, distance) between the vehicle and the target vehicle.

続くS150では、S140にて合成された画像(即ち、合成画像)を、本処理の対象となる側の表示部(以下、対象表示部という)8Nに表示させて、本処理を終了する。
なお、対象表示部8Nは、本処理が右ドアミラー11についてのものであれば第一表示部81を、本処理が左ドアミラー12についてのものであれば第二表示部82を指すものとする。また、電子ドアミラー2のうち、対象カメラ7Nと対象表示部8Nとを備えるものを対象ドアミラー1Nとする。
In subsequent S150, the image synthesized in S140 (that is, the synthesized image) is displayed on the display unit (hereinafter referred to as a target display unit) 8N that is the target of the present process, and the present process ends.
The target display unit 8N indicates the first display unit 81 if the process is for the right door mirror 11 and the second display unit 82 if the process is for the left door mirror 12. Moreover, what comprises the target camera 7N and the target display part 8N among the electronic door mirrors 2 is set as the target door mirror 1N.

一方、先のS125で否定判断した場合、即ち、対象車線が存在しない場合に進むS160では、対象ドアミラー1Nに対して反対側の電子ドアミラー2(以下、反対側ドアミラーという)1Cについて実行されている同処理(即ち、車線変更支援制御処理)に基づいて、反対側ドアミラー1Cにおける注意レベル(以下、反対側レベルという)を取得する。   On the other hand, when a negative determination is made in the previous S125, that is, in S160 that proceeds when the target lane does not exist, the electronic door mirror 2 (hereinafter referred to as the opposite side door mirror) 1C opposite to the target door mirror 1N is executed. Based on the process (that is, the lane change support control process), the attention level (hereinafter referred to as the opposite side level) in the opposite side door mirror 1C is acquired.

続くS165では、S160で取得した反対側レベルが設定済みであるか否かを判断し、肯定判断した場合にはS140に移行し、否定判断した場合にはS170に進む。
先のS115又はS165で否定判断した場合に進むS170では、対象カメラ7Nが撮像した撮像画像を対象表示部8Nに表示させて、本処理を終了する。
In subsequent S165, it is determined whether or not the opposite level acquired in S160 has been set. If an affirmative determination is made, the process proceeds to S140, and if a negative determination is made, the process proceeds to S170.
In S170 that proceeds when a negative determination is made in S115 or S165, the captured image captured by the target camera 7N is displayed on the target display unit 8N, and the present process is terminated.

このようにして、車線変更支援制御処理では、自車速が閾速度を超えている時であって、対象車線が存在している場合または反対側レベルが設定されている場合には合成画像を表示させ、これら以外の場合には撮像画像をそのまま表示させるようにしている。   In this way, in the lane change assist control process, the composite image is displayed when the host vehicle speed exceeds the threshold speed and the target lane exists or the opposite side level is set. In other cases, the captured image is displayed as it is.

<隣車線検出処理>
次に、先の車線変更支援制御処理中のS120にて行う隣車線検出処理を、図3に示すフローチャートに沿って詳しく説明する。
<Neighboring lane detection processing>
Next, the adjacent lane detection process performed in S120 during the previous lane change support control process will be described in detail with reference to the flowchart shown in FIG.

まず、S210では、図4に示すように、対象カメラ7Nが撮像した撮像画像に基づいて、道路上の白線の位置を検出する。なお、白線は、例えば、撮像画像に対して周知のエッジング処理(エッジ強調)を施して画像を二値化することにより、路面よりも明るい色(即ち、白色)として検出される。   First, in S210, as shown in FIG. 4, the position of the white line on the road is detected based on the captured image captured by the target camera 7N. The white line is detected as a color brighter than the road surface (that is, white) by, for example, performing a known edging process (edge enhancement) on the captured image and binarizing the image.

続くS220では、S210で検出された白線の位置に基づいて、対象車線を構成する白線のペア(以下、白線ペアという)22を抽出する。なお、このとき、撮像画像に映し出された自車両の一部に最も近い白線ペアを、対象車線を構成するものと推定している。   In subsequent S220, based on the position of the white line detected in S210, a pair of white lines (hereinafter referred to as a white line pair) 22 constituting the target lane is extracted. At this time, the white line pair closest to a part of the host vehicle displayed in the captured image is estimated to constitute the target lane.

続くS230では、S220の抽出結果に基づいて、対象カメラ7Nが撮像した撮像画像上に白線ペアが存在しているか否かを判断し、肯定判断した場合にはS240に進み、否定判断した場合にはS260に進む。   In subsequent S230, based on the extraction result in S220, it is determined whether or not a white line pair exists on the captured image captured by the target camera 7N. If an affirmative determination is made, the process proceeds to S240, and a negative determination is made. Advances to S260.

S240では、自車両が走行する周りの状況のうち、対象ドアミラー1Nが設置されている側の状態を表す隣接フラグを、対象車線が存在していることを表す1に設定する。
続くS250では、先のS220で抽出した白線ペア(即ち、対象車線を構成する白線ペア)に基づいて、対象車線における他車線との境界線の位置を特定して、本処理を終了する。なお、境界線は、複数の白線ペアに基づき、それぞれの白線ペアを構成する白線をその長手方向に沿って、他の白線ペアを構成する白線に連結させることにより特定される。
In S240, an adjacent flag indicating the state on the side where the target door mirror 1N is installed is set to 1 indicating that the target lane exists among the circumstances around the host vehicle traveling.
In subsequent S250, the position of the boundary line with the other lane in the target lane is specified based on the white line pair extracted in the previous S220 (that is, the white line pair constituting the target lane), and this process is terminated. The boundary line is specified based on a plurality of white line pairs by connecting the white lines constituting each white line pair to the white lines constituting the other white line pairs along the longitudinal direction thereof.

一方、先のS230で否定判断した場合に進むS260では、隣接フラグを、対象車線が存在していないことを表す0に設定して、本処理を終了する。
<余裕領域設定処理>
次に、先の車線変更支援制御処理中のS130にて行う余裕領域設定処理を、図5に示すフローチャートに沿って詳しく説明する。
On the other hand, in S260 that proceeds when a negative determination is made in the previous S230, the adjacent flag is set to 0 indicating that the target lane does not exist, and the present process ends.
<Allow area setting process>
Next, the margin area setting process performed in S130 during the previous lane change assist control process will be described in detail with reference to the flowchart shown in FIG.

まず、S310では、対象カメラ7Nが撮像した撮像画像に基づいて、対象車線上に車両が存在しているか否か、即ち、対象車両が存在するか否かを判断し、肯定判断した場合にはS320に進み、否定判断した場合にはS340に進む。   First, in S310, based on the captured image captured by the target camera 7N, it is determined whether or not a vehicle is present on the target lane, that is, whether or not the target vehicle is present. The process proceeds to S320, and if a negative determination is made, the process proceeds to S340.

S320では、対象カメラ7Nが撮像した撮像画像に基づいて、自車両に対する対象車両の速度(即ち、相対速度)を算出し、S330に進む。
なお、相対速度は、カメラパラメータを用いた周知の座標変換法による対象車両と自車両との距離の時間変化で表される。また、本実施形態では、カメラパラメータとして、制御部10のROMに記憶されている対象カメラ7Nの内部パラメータCP1及び外部パラメータCP2を用いている。
In S320, the speed of the target vehicle with respect to the host vehicle (that is, the relative speed) is calculated based on the captured image captured by the target camera 7N, and the process proceeds to S330.
The relative speed is represented by a change over time in the distance between the target vehicle and the host vehicle by a known coordinate transformation method using camera parameters. In the present embodiment, the internal parameters CP1 and external parameters CP2 of the target camera 7N stored in the ROM of the control unit 10 are used as camera parameters.

S330では、S320で算出した相対速度に基づいて、この相対速度が大きいほど、余裕領域が自車両の進行方向とは逆方向に広がるように余裕領域の長さ(以下、余裕領域長さという)を設定して、本処理を終了する。   In S330, based on the relative speed calculated in S320, the length of the margin area (hereinafter referred to as margin area length) is set such that the larger the relative speed, the wider the margin area extends in the direction opposite to the traveling direction of the host vehicle. Is set, and this processing ends.

なお、余裕領域長さは、例えば、予め設定された余裕領域長さに、相対速度に比例係数を乗じたものを加算することによって設定される。
一方、先のS310で否定判断した場合に進むS340では、先の車線変更支援制御処理中のS110で取得した自車速に基づいて、この自車速が大きいほど、余裕領域が自車両の進行方向とは逆方向に広がるように余裕領域長さを設定し、本処理を終了する。
The margin area length is set by adding, for example, a preset margin area length to the relative speed multiplied by a proportional coefficient.
On the other hand, in S340 that proceeds when a negative determination is made in the previous S310, based on the own vehicle speed acquired in S110 during the previous lane change assist control process, the larger the own vehicle speed, the more the margin region becomes the traveling direction of the own vehicle. Sets the margin area length so as to spread in the opposite direction, and ends this processing.

なお、余裕領域長さは、例えばS330と同様にして、予め設定された余裕領域長さに、自車速に比例係数を乗じたものを加算することによって設定される。
このようにして、余裕領域設定処理では、余裕領域長さを、対象車線に車両が存在する場合には相対速度に応じて設定し、対象車線に車両が存在しない場合には自車速に応じて設定するようにしている。
The margin area length is set, for example, by adding a value obtained by multiplying the vehicle speed by a proportional coefficient to the preset margin area length in the same manner as in S330.
In this way, in the margin area setting process, the margin area length is set according to the relative speed when a vehicle exists in the target lane, and according to the own vehicle speed when there is no vehicle in the target lane. I am trying to set it.

<画像制御処理>
次に、先の車線変更支援制御処理中のS140にて行う画像制御処理を、図6に示すフローチャートに沿って詳しく説明する。
<Image control processing>
Next, the image control process performed in S140 during the previous lane change assist control process will be described in detail with reference to the flowchart shown in FIG.

まず、S405では、先の隣車線検出処理中のS250で設定した境界線の位置と、対象カメラ7Nが撮像した撮像画像とに基づいて、対象車線における他車線との境界線を強調した境界画像を生成する。なお、この境界画像は、制御部10のRAMに一時的に記憶される。   First, in S405, a boundary image in which the boundary line with the other lane in the target lane is emphasized based on the position of the boundary line set in S250 during the previous adjacent lane detection process and the captured image captured by the target camera 7N. Is generated. This boundary image is temporarily stored in the RAM of the control unit 10.

続くS410では、先の余裕領域設定処理中のS330又はS340で設定された余裕領域長さと、対象カメラ7Nが撮像した撮像画像とに基づいて、対象車線上に余裕領域を強調した領域画像を生成する。なお、領域画像の色彩には、青色がデフォルトに設定されている。また、この領域画像は、境界画像と共に制御部10のRAMに一時的に記憶される。   In subsequent S410, an area image in which the margin area is emphasized on the target lane is generated based on the margin area length set in S330 or S340 during the previous margin area setting process and the captured image captured by the target camera 7N. To do. Note that blue is set as the default color of the region image. The region image is temporarily stored in the RAM of the control unit 10 together with the boundary image.

続くS415では、制御部10のRAMに記憶された領域画像と、対象カメラ7Nが撮像した撮像画像とに基づいて、余裕領域内に車両(即ち、対象車両)が存在しているか否かを判断し、肯定判断した場合にはS420に進み、否定判断した場合にはS460に進む。   In subsequent S415, based on the area image stored in the RAM of the control unit 10 and the captured image captured by the target camera 7N, it is determined whether or not there is a vehicle (that is, the target vehicle) in the margin area. If the determination is affirmative, the process proceeds to S420. If the determination is negative, the process proceeds to S460.

S420では、警告メッセージ(例えば、「車線変更不可」)や記号(例えば、感嘆符)などによって自車両が安全に車線変更を行うことができない旨を表す警告画像を生成する。なお、この警告画像は、境界画像および領域画像と共に制御部10のRAMに一時的に記憶される。   In S420, a warning image indicating that the host vehicle cannot safely change the lane is generated by a warning message (for example, “lane change not possible”) or a symbol (for example, exclamation point). This warning image is temporarily stored in the RAM of the control unit 10 together with the boundary image and the region image.

続くS425では、制御部10のRAMに記憶された領域画像と、対象カメラ7Nが撮像した撮像画像とに基づき、自車両と対象車両との相対的な関係(相対速度,距離)に応じた注意レベルを設定する。   In subsequent S425, based on the region image stored in the RAM of the control unit 10 and the captured image captured by the target camera 7N, the attention corresponding to the relative relationship (relative speed, distance) between the host vehicle and the target vehicle. Set the level.

例えば、対象車両の位置が余裕領域における所定の割合(例えば、余裕領域の半分)を越えていないこと(以下、条件Aという)と、相対速度が所定の閾値(例えば、10km/h)以下であること(以下、条件Bという)を共に満たす場合には、注意レベルを危険度が比較的低いローレベル(以下、Lレベルという)に設定する。或いは、条件Aまたは条件Bの少なくとも一方を満たさない場合には、注意レベルを危険度が高いハイレベル(以下、Hレベルという)に引き上げる。   For example, the position of the target vehicle does not exceed a predetermined ratio in the margin area (for example, half of the margin area) (hereinafter referred to as condition A), and the relative speed is equal to or less than a predetermined threshold (for example, 10 km / h). When both of them (hereinafter referred to as condition B) are satisfied, the attention level is set to a low level (hereinafter referred to as L level) with a relatively low risk level. Alternatively, when at least one of the condition A or the condition B is not satisfied, the attention level is raised to a high level (hereinafter referred to as H level) with a high degree of risk.

続くS430では、S425で設定した注意レベルがHレベルであるか否かを判断し、肯定判断した場合にはS435に進み、否定判断した場合には、S440に進む。
S435では、制御部10のRAMに記憶された領域画像の色彩を、危険度が比較的低いが車線変更時に注意(例えば、自車両を加速すること等)を要することを表すために、青色から黄色に変更して、S445に進む。
In subsequent S430, it is determined whether or not the attention level set in S425 is the H level. If the determination is affirmative, the process proceeds to S435, and if the determination is negative, the process proceeds to S440.
In S435, the color of the area image stored in the RAM of the control unit 10 is changed from blue to indicate that the degree of danger is relatively low but attention (for example, acceleration of the host vehicle) is required when changing lanes. Change to yellow and go to S445.

一方、S440では、制御部10のRAMに記憶された領域画像の色彩を、危険度が高くて車線変更を禁止すること(例えば、対象車両が追い越すのを待つこと等)を表すために、青色から赤色に変更して、S445に進む。   On the other hand, in S440, the color of the region image stored in the RAM of the control unit 10 is blue to indicate that the degree of danger is high and prohibition of lane change (for example, waiting for the target vehicle to pass). Change from red to red and proceed to S445.

S445では、方向指示器センサ4により検出された方向指示器の動作状態に基づいて、対象車両のある方向(即ち、対象車線側)にウインカー操作がなされたか否かを判断し、肯定判断した場合にはS455に進み、否定判断した場合にはS450に進む。   In S445, based on the operation state of the direction indicator detected by the direction indicator sensor 4, it is determined whether or not a winker operation has been performed in a certain direction of the target vehicle (that is, the target lane side). If NO in step S455, the process advances to step S450.

また、S450では、操舵角センサ5により検出された操舵角に基づいて、ステアリングの対象車線側アングルが所定の閾値(例えば、15°)以上であるか否か、即ち、対象車線側に一定以上のハンドル操作がなされたか否かを判断し、肯定判断した場合にはS455に進み、否定判断した場合にはS470に進む。   In S450, based on the steering angle detected by the steering angle sensor 5, it is determined whether or not the target lane side angle of the steering is equal to or greater than a predetermined threshold (for example, 15 °), that is, a certain level or more on the target lane side. It is determined whether or not the steering wheel operation has been performed. If an affirmative determination is made, the process proceeds to S455, and if a negative determination is made, the process proceeds to S470.

S455では、制御部10のRAMに記憶された領域画像において、輝度を上げると共に、点滅表示するための設定を行い、S470に進む。
一方、S415で否定判断した場合に進むS460では、反対側ドアミラー1Cについて実行されている同処理(即ち、車線変更支援制御処理)から反対側レベルを取得し、この反対側レベルが設定済みであるか否かを判断し、肯定判断した場合にはS465に進み、否定判断した場合にはS470に進む。
In S455, in the area image stored in the RAM of the control unit 10, the setting for increasing the brightness and blinking is performed, and the process proceeds to S470.
On the other hand, in S460 which proceeds when a negative determination is made in S415, the opposite side level is acquired from the same process (that is, the lane change support control process) executed for the opposite side door mirror 1C, and the opposite side level has been set. If the determination is affirmative, the process proceeds to S465. If the determination is negative, the process proceeds to S470.

S465では、注意メッセージ(例えば、「反対側の車線変更不可」)や記号(例えば、感嘆符)などによって、反対側(隣接車線のうち対象車線ではない方向)に自車両が安全に車線変更を行うことができない旨を表す注意画像を生成して、S470に進む。なお、この注意画像は、境界画像および領域画像と共に制御部10のRAMに一時的に記憶される。   In S465, the host vehicle safely changes the lane to the opposite side (the direction of the adjacent lane that is not the target lane) by a caution message (eg, “No lane change on opposite side”) or a symbol (eg, exclamation point). A caution image indicating that it cannot be performed is generated, and the process proceeds to S470. The attention image is temporarily stored in the RAM of the control unit 10 together with the boundary image and the region image.

最後に、S470では、制御部10のRAMに記憶された付加画像(境界画像,領域画像,警告画像,注意画像)を、対象カメラ7Nが撮像した撮像画像に重畳させることにより合成画像を生成し、本処理を終了する。   Finally, in S470, a composite image is generated by superimposing an additional image (boundary image, region image, warning image, attention image) stored in the RAM of the control unit 10 on a captured image captured by the target camera 7N. This process is terminated.

なお、付加画像のうち、領域画像(又は境界画像)を撮像画像に重畳させる際には、例えば、領域画像(又は境界画像)の画素値αに対する重み(透過係数Tα;但し、0<Tα<1)を予め設定しておき、画素値αに透過係数Tαを乗じたものと、撮像画像の画素値βに透過係数Tβ(=1−Tα)を乗じたものとを加算したものを、合成画像の画素値γとして各画像を合成する。   When the region image (or boundary image) of the additional images is superimposed on the captured image, for example, a weight (transmission coefficient Tα; where 0 <Tα <) is applied to the pixel value α of the region image (or boundary image). 1) is set in advance, and a combination of a value obtained by multiplying the pixel value α by the transmission coefficient Tα and a value obtained by multiplying the pixel value β of the captured image by the transmission coefficient Tβ (= 1−Tα) is combined. Each image is synthesized as the pixel value γ of the image.

このようにして、画像制御処理は、例えば、図7(a)に示すように、対象車両が存在する場合に、対象車線における他車線との境界線と余裕領域とを強調した合成画像を生成し、図7(b)に示すように、対象車両が余裕領域内に存在する場合には、余裕領域の色彩や輝度などを変更すると共に警告メッセージを付加した合成画像を生成するようにしている。   In this way, the image control process generates, for example, as shown in FIG. 7A, a composite image in which the boundary line between the other lane and the margin area in the target lane is emphasized when the target vehicle exists. However, as shown in FIG. 7B, when the target vehicle exists in the margin area, the synthesized image is generated by changing the color or brightness of the margin area and adding a warning message. .

なお、上記実施形態において、カメラ7(第一カメラ71及び第二カメラ72)が画像取得手段、S120が隣車線特定手段、S125,S130が領域設定手段、表示部8(第一表示部81及び第二表示部82)が画像表示手段、S110,S115,S140〜S170が表示制御手段、S445,S450が兆候検出手段、S455,S470が警告報知手段に相当する。   In the above embodiment, the camera 7 (first camera 71 and second camera 72) is an image acquisition unit, S120 is an adjacent lane identification unit, S125 and S130 are region setting units, and the display unit 8 (first display unit 81 and The second display unit 82) corresponds to image display means, S110, S115, and S140 to S170 correspond to display control means, S445 and S450 correspond to sign detection means, and S455 and S470 correspond to warning notification means.

<本実施形態の効果>
以上説明したように、本実施形態の車線変更支援装置1では、対象カメラ7Nが撮像した撮像画像に基づいて隣接車線を検出した場合に、その隣接車線上で他車両が存在しなければ自車両が安全に車線変更を行うことができる領域(即ち、余裕領域)を設定し、この余裕領域を強調した画像(即ち、領域画像)を、撮像画像に重畳させて対象表示部8Nに表示する。
<Effect of this embodiment>
As described above, in the lane change assist device 1 according to the present embodiment, when an adjacent lane is detected based on the captured image captured by the target camera 7N, if there is no other vehicle on the adjacent lane, the host vehicle Sets an area where the lane can be changed safely (that is, a margin area), and an image in which the margin area is emphasized (that is, an area image) is superimposed on the captured image and displayed on the target display unit 8N.

したがって、本実施形態の車線変更支援装置1によれば、車線変更時の指標となるイメージ画像と、自車両の後側方における隣接車線上の実際の様子を撮像した撮像画像とを一体化させて表示するため、後側方に対して車線変更のために必要な車間隔をドライバに直観的に認識させることができ、ひいては、車線変更時の判断をドライバに迅速かつ的確に行わせることができる。   Therefore, according to the lane change support device 1 of the present embodiment, the image image that is an index at the time of lane change and the captured image obtained by capturing the actual state on the adjacent lane in the rear side of the host vehicle are integrated. This makes it possible for the driver to intuitively recognize the required lane distance for changing lanes to the rear side, and thus allowing the driver to make a quick and accurate judgment when changing lanes. it can.

また、車線変更支援装置1では、余裕領域内における対象車両の位置と、自車両に対する対象車両の相対速度とに基づいて注意レベルを設定し、この注意レベルに応じて段階的に余裕領域の色彩を変更させて表示する。   Further, the lane change support device 1 sets a caution level based on the position of the target vehicle in the margin area and the relative speed of the target vehicle with respect to the host vehicle, and gradually changes the color of the margin area according to the caution level. Change to display.

したがって、車線変更支援装置1によれば、表示画像における余裕領域の色彩によって、車線変更時に対象車両に対して注意を要する度合い(即ち、注意度)を、ドライバに直観的に認識させることができ、ひいては、車線変更時におけるより迅速かつ的確な判断材料をドライバに提供することができる。   Therefore, according to the lane change support device 1, the driver can intuitively recognize the degree of attention to the target vehicle when changing the lane (that is, the degree of caution) by the color of the margin area in the display image. As a result, it is possible to provide the driver with quicker and more accurate judgment material when changing lanes.

なお、車線変更支援装置1によれば、自車両と対象車両との相対速度を、対象カメラ7Nの内部パラメータCP1及び外部パラメータCP2を用いた座標変換法により算出するため、各電子ドアミラー2に設置するカメラ7の個数が一つで済み、ひいては製造コストを抑制することができる。   Note that, according to the lane change assist device 1, the relative speed between the host vehicle and the target vehicle is calculated by the coordinate transformation method using the internal parameter CP1 and the external parameter CP2 of the target camera 7N, and thus installed in each electronic door mirror 2. The number of cameras 7 to be used is only one, and the manufacturing cost can be reduced.

さらに言えば、車線変更支援装置1によれば、電子ドアミラー2に設置されたカメラ7が撮像する撮像画像に基づいて、隣接車線および対象車両の検出、及び、自車両と対象車両との相対的な関係(相対速度,距離)の算出の両方を行うため、カメラ7以外の車両検出装置(例えば、レーダ装置)を設ける必要がなく、装置構成を簡単にすることができる。   Furthermore, according to the lane change support device 1, based on the captured image captured by the camera 7 installed on the electronic door mirror 2, the detection of the adjacent lane and the target vehicle, and the relative relationship between the host vehicle and the target vehicle. Therefore, it is not necessary to provide a vehicle detection device other than the camera 7 (for example, a radar device), and the device configuration can be simplified.

[他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
[Other Embodiments]
As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment, In the range which does not deviate from the summary of this invention, it is possible to implement in various aspects.

例えば、上記実施形態では、カメラ7及び表示部8を備える電子ドアミラー2によって、自車両の後側方を撮像すると共にその撮像画像を表示しているが、これに限定されるものではない。   For example, in the above embodiment, the electronic door mirror 2 including the camera 7 and the display unit 8 captures the rear side of the host vehicle and displays the captured image, but is not limited thereto.

具体的には、電子ドアミラー2の鏡面にハーフミラーを採用し、カメラ7及び表示部8をハーフミラーの内側となる位置に設置してもよい。この場合、車線変更支援制御処理を行なわない場合には撮像画像を表示部8に表示させずに済み、電子ドアミラー2を通常のドアミラーとしてドライバに使用させることができる。   Specifically, a half mirror may be adopted as the mirror surface of the electronic door mirror 2, and the camera 7 and the display unit 8 may be installed at a position inside the half mirror. In this case, when the lane change support control process is not performed, the captured image need not be displayed on the display unit 8, and the electronic door mirror 2 can be used as a normal door mirror by the driver.

或いは、表示部8は、例えば車室内のダッシュボード上における両脇側に設置されていてもよい。この場合、表示部8の画面サイズをより大きく設定することができ、ドライバに表示画像をよりわかりやすく認識させることができる。   Or the display part 8 may be installed in the both sides on the dashboard in a vehicle interior, for example. In this case, the screen size of the display unit 8 can be set larger, and the display image can be recognized more easily by the driver.

さらに、カメラ7は、電子ドアミラー2に複数設置されていてもよい。この場合、ステレオ視によって、撮像画像に映し出される対象物の位置を容易に特定することができ、ひいては車線変更支援装置1の制御負担を軽減させることができる。   Furthermore, a plurality of cameras 7 may be installed on the electronic door mirror 2. In this case, the position of the target object displayed in the captured image can be easily specified by stereo vision, and thus the control burden on the lane change assist device 1 can be reduced.

ところで、制御部10が行う隣車線検出処理では、白線以外のレーンマークを検出した場合にも、そのレーンマークの配置に基づいて隣接車線の境界線を特定してもよい。
また、図8に示すように、自車両の前方にセンサ17(例えば、車載カメラ)を更に設置し、このセンサ17から得られたレーンマークの位置に基づいて、対象車線を検出するようにしてもよい。
By the way, in the adjacent lane detection process performed by the control unit 10, even when a lane mark other than the white line is detected, the boundary line of the adjacent lane may be specified based on the arrangement of the lane mark.
Further, as shown in FIG. 8, a sensor 17 (for example, an in-vehicle camera) is further installed in front of the host vehicle, and the target lane is detected based on the position of the lane mark obtained from the sensor 17. Also good.

一方、制御部10が行う余裕領域設定処理では、対象車両が存在する場合に、相対速度と共に自車速を用いて、これらの両方の速度に応じた余裕領域長さを設定してもよい。或いは、対象車両が存在するかしないかに拘らず、予め設定された余裕領域長さを有する余裕領域を設定してもよい。なお、余裕領域上に、自車両に対する距離を表す目盛を付して表示するようにしてもよい。   On the other hand, in the margin area setting process performed by the control unit 10, when the target vehicle exists, the margin area length corresponding to both of these speeds may be set using the host vehicle speed together with the relative speed. Alternatively, a margin area having a preset margin area length may be set regardless of whether or not the target vehicle exists. In addition, you may make it attach and display the scale showing the distance with respect to the own vehicle on a margin area | region.

そして、制御部10が行う画像制御処理では、対象車線における他車線との境界線を強調した境界画像を生成しているが、この境界画像は、例えば自車両が走行する車線との境界線のみを強調したものでもよい。   In the image control process performed by the control unit 10, a boundary image in which the boundary line with the other lane in the target lane is emphasized is generated. For example, this boundary image is only the boundary line with the lane in which the host vehicle travels. It may be emphasized.

また、制御部10が行う画像制御処理において、設定した注意レベルに応じて余裕領域の色彩の代わりに(又は色彩と共に)輝度を変更してもよいし、警告メッセージや注意メッセージの表示と共に、音声出力部6を介して警告音(又は音声メッセージ)を出力するようにしてもよい。   Further, in the image control processing performed by the control unit 10, the luminance may be changed instead of (or together with) the color of the marginal area according to the set attention level, and a warning message or a warning message is displayed together with the sound. A warning sound (or voice message) may be output via the output unit 6.

本発明が適用された車線変更支援装置の構成を示すブロック図および配置図。The block diagram and arrangement | positioning figure which show the structure of the lane change assistance apparatus to which this invention was applied. 車線変更支援装置1の制御部10が実行する車線変更支援制御処理の詳細を示すフローチャート。The flowchart which shows the detail of the lane change assistance control process which the control part 10 of the lane change assistance apparatus 1 performs. 車線変更支援制御処理中のS120で行う隣車線検出処理の詳細を示すフローチャート。The flowchart which shows the detail of the adjacent lane detection process performed by S120 during a lane change assistance control process. 対象カメラ7Nが撮像する領域を示す概略図。Schematic which shows the area | region which the target camera 7N images. 車線変更支援制御処理中のS130で行う余裕領域設定処理の詳細を示すフローチャート。The flowchart which shows the detail of the margin area setting process performed by S130 during a lane change assistance control process. 車線変更支援制御処理中のS140で行う画像制御処理の詳細を示すフローチャート。The flowchart which shows the detail of the image control process performed by S140 during a lane change assistance control process. 対象表示部8Nが表示する合成画像の一例を示す概略図。Schematic which shows an example of the synthesized image which the target display part 8N displays. 対象車線を検出する他の方法を説明するための概略図。Schematic for demonstrating the other method of detecting a target lane. 従来の車線変更支援装置の表示画面を示す概略図。Schematic which shows the display screen of the conventional lane change assistance apparatus.

符号の説明Explanation of symbols

1…車線変更支援装置、2…電子ドアミラー、3…車速センサ、4…方向指示器センサ、5…操舵角センサ、6…音声出力部、7…カメラ、8…表示部、10…制御部。   DESCRIPTION OF SYMBOLS 1 ... Lane change assistance apparatus, 2 ... Electronic door mirror, 3 ... Vehicle speed sensor, 4 ... Direction indicator sensor, 5 ... Steering angle sensor, 6 ... Audio | voice output part, 7 ... Camera, 8 ... Display part, 10 ... Control part.

Claims (13)

車両の後側方における道路上の現在状況を該車両の一部と共に撮像した撮像画像を取得する画像取得手段と、
前記画像取得手段が取得した前記撮像画像に基づいて、前記道路上のうち前記車両が走行する車線の隣接車線を特定する隣車線特定手段と、
前記隣車線検出手段が前記隣接車線を特定した場合に、該隣接車線上の領域であって該領域内に他車両が存在しなければ前記車両が安全に車線変更を行うことができる余裕領域を設定する領域設定手段と、
前記画像取得手段が取得した前記撮像画像を表示する画像表示手段と、
前記領域設定手段が設定した前記余裕領域を強調した領域画像を、前記撮像画像に重畳させて前記画像表示手段に表示させる重畳表示処理を行う表示制御手段と、
を備えることを特徴とする車線変更支援装置。
Image acquisition means for acquiring a captured image obtained by capturing the current situation on the road at the rear side of the vehicle together with a part of the vehicle;
Based on the captured image acquired by the image acquisition unit, an adjacent lane specifying unit that specifies an adjacent lane of a lane on which the vehicle travels on the road;
When the adjacent lane detection unit identifies the adjacent lane, if there is no other vehicle in the area on the adjacent lane, there is a margin area in which the vehicle can safely change the lane. Area setting means to be set;
Image display means for displaying the captured image acquired by the image acquisition means;
Display control means for performing superimposition display processing for superimposing an area image in which the margin area set by the area setting means is emphasized on the captured image and displaying the image on the image display means;
A lane change assisting device comprising:
前記画像表示手段は、前記車両のドアミラーに設けられることを特徴とする請求項1に記載の車線変更支援装置。   The lane change support device according to claim 1, wherein the image display means is provided on a door mirror of the vehicle. 前記画像取得手段は、前記車両のドアミラーに設けられることを特徴とする請求項1または請求項2に記載の車線変更支援装置。   The lane change support device according to claim 1, wherein the image acquisition unit is provided in a door mirror of the vehicle. 前記領域設定手段は、前記隣接車線上を走行する走行車両と前記車両との相対速度、又は自車速を取得し、前記相対速度または前記自車速の少なくとも一方の速度を用いて、該速度が大きいほど、前記余裕領域が前記車両の進行方向とは逆方向に広がるように該余裕領域の大きさを設定することを特徴とする請求項1ないし請求項3のいずれかに記載の車線変更支援装置。   The region setting means acquires a relative speed between the traveling vehicle traveling on the adjacent lane and the vehicle, or the own vehicle speed, and uses the relative speed or the own vehicle speed to increase the speed. The lane change assist device according to any one of claims 1 to 3, wherein a size of the margin area is set so that the margin area extends in a direction opposite to a traveling direction of the vehicle. . 前記表示制御手段による前記重畳表示処理は、前記隣車線特定手段が特定した前記隣接車線と、前記車両が走行する車線との境界線を強調した境界画像を、前記領域画像と共に前記撮像画像に重畳させることを特徴とする請求項1ないし請求項4のいずれかに記載の車線変更支援装置。   The superimposed display processing by the display control means superimposes a boundary image in which a boundary line between the adjacent lane specified by the adjacent lane specifying means and a lane in which the vehicle is traveling is superimposed on the captured image together with the area image. The lane change assisting device according to any one of claims 1 to 4, wherein the lane change assisting device is provided. 前記表示制御手段は、自車速を取得し、該自車速が予め設定された閾値以下の場合に、前記重畳表示処理の実行を禁止することを特徴とする請求項1ないし請求項5のいずれかに記載の車線変更支援装置。   6. The display control unit according to claim 1, wherein the display control unit acquires the host vehicle speed, and prohibits execution of the superimposed display process when the host vehicle speed is equal to or lower than a preset threshold value. The lane change support device described in 1. 前記表示制御手段は、前記隣接車線上を走行する走行車両と前記車両との相対的な関係を表す相対情報を取得し、該相対情報に基づいて、前記余裕領域の色彩または輝度を変更する表示変更処理を行うことを特徴とする請求項1ないし請求項6のいずれかに記載の車線変更支援装置。   The display control means acquires relative information representing a relative relationship between a traveling vehicle traveling on the adjacent lane and the vehicle, and changes the color or brightness of the margin area based on the relative information. The lane change support device according to any one of claims 1 to 6, wherein a change process is performed. 前記表示制御手段は、前記走行車両が前記余裕領域外に存在している場合に、前記表示変更処理の実行を禁止することを特徴とする請求項7に記載の車線変更支援装置。   The lane change support device according to claim 7, wherein the display control unit prohibits execution of the display change process when the traveling vehicle exists outside the margin area. 前記相対情報は、前記走行車両と前記車両との相対速度または距離の少なくとも一方であることを特徴とする請求項7または請求項8に記載の車線変更支援装置。   The lane change assisting device according to claim 7 or 8, wherein the relative information is at least one of a relative speed or a distance between the traveling vehicle and the vehicle. 前記画像取得手段は、前記車両の両側後方のそれぞれについて前記撮像画像を取得し、
前記画像表示手段は、前記画像取得手段により取得された前記撮像画像をそれぞれ表示するために前記車両の二箇所に設けられ、
前記表示制御手段は、前記表示変更処理を実行した場合に、該表示変更処理の対象となった前記走行車両が表示される側の画像表示手段に対して前記重畳表示処理を行うと共に、他方側の画像表示手段に対して注意メッセージを表示させることを特徴とする請求項7ないし請求項9のいずれかに記載の車線変更支援装置。
The image acquisition means acquires the captured image for each of the two rear sides of the vehicle,
The image display means is provided at two locations of the vehicle for displaying the captured images acquired by the image acquisition means,
When the display change process is executed, the display control means performs the superimposed display process on the image display means on the side on which the traveling vehicle that is the target of the display change process is displayed, and the other side The lane change assisting device according to any one of claims 7 to 9, wherein a warning message is displayed on the image display means.
前記車両が前記隣接車線方向へ移動する兆候を表す移動兆候を検出する兆候検出手段と、
前記余裕領域内を他車両が走行している間に、前記兆候検出手段が前記移動兆候を検出した場合に警告を報知する警告報知手段と、
を備えることを特徴とする請求項1ないし請求項10のいずれかに記載の車線変更支援装置。
Sign detection means for detecting a movement sign representing a sign that the vehicle moves in the adjacent lane direction;
Warning notification means for notifying a warning when the sign detection means detects the movement sign while another vehicle is traveling in the margin area;
The lane change assisting device according to any one of claims 1 to 10, further comprising:
前記兆候検出手段は、前記車両のウインカー操作が行われたことを前記移動兆候として検出することを特徴とする請求項11に記載の車線変更支援装置。   The lane change assisting device according to claim 11, wherein the sign detection means detects that the turn signal operation of the vehicle has been performed as the movement sign. 前記兆候検出手段は、前記車両の操舵角が予め設定された閾値以上であることを前記移動兆候として検出することを特徴とする請求項11または請求項12に記載の車線変更支援装置。   The lane change assisting device according to claim 11 or 12, wherein the sign detection means detects that the steering angle of the vehicle is equal to or greater than a preset threshold as the movement sign.
JP2007290638A 2007-11-08 2007-11-08 Lane change support system Pending JP2009116723A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007290638A JP2009116723A (en) 2007-11-08 2007-11-08 Lane change support system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007290638A JP2009116723A (en) 2007-11-08 2007-11-08 Lane change support system

Publications (1)

Publication Number Publication Date
JP2009116723A true JP2009116723A (en) 2009-05-28

Family

ID=40783785

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007290638A Pending JP2009116723A (en) 2007-11-08 2007-11-08 Lane change support system

Country Status (1)

Country Link
JP (1) JP2009116723A (en)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436763A (en) * 2010-09-29 2012-05-02 富士重工业株式会社 Driving support apparatus for vehicle
WO2013018673A1 (en) * 2011-08-02 2013-02-07 日産自動車株式会社 Object detector and object detection method
CN104064053A (en) * 2013-03-21 2014-09-24 阿尔派株式会社 Driving Support Device And Control Method Of Driving Support Processing
WO2015079623A1 (en) * 2013-11-27 2015-06-04 株式会社デンソー Driving support device
WO2016098614A1 (en) * 2014-12-17 2016-06-23 日本精機株式会社 Vehicle information projecting system and vehicle information projecting method
JP2016199204A (en) * 2015-04-14 2016-12-01 トヨタ自動車株式会社 Vehicle control device
KR20160143595A (en) * 2016-08-31 2016-12-14 (주)캠시스 Apparatus and method for warning a dangerous element of surrounding of vehicle
JP2017069749A (en) * 2015-09-30 2017-04-06 アイシン精機株式会社 Image processing apparatus for vehicle
KR101729030B1 (en) * 2015-06-05 2017-05-02 (주)캠시스 Apparatus and method for warning a dangerous element of surrounding of vehicle
JP2017182429A (en) * 2016-03-30 2017-10-05 日産自動車株式会社 Vehicular display method and vehicular display apparatus
JP2018034715A (en) * 2016-09-01 2018-03-08 株式会社ミツバ Vehicle system
KR20180038315A (en) * 2016-10-06 2018-04-16 현대자동차주식회사 Apparatus for displaying lane using outside mirror and method thereof
JP2018092291A (en) * 2016-12-01 2018-06-14 株式会社Subaru Vehicle display device
JP2018129832A (en) * 2018-03-15 2018-08-16 株式会社デンソー Image processing device
JP2019032893A (en) * 2018-11-06 2019-02-28 日本精機株式会社 Vehicle information projection system and vehicle information projection method
CN109445428A (en) * 2018-10-08 2019-03-08 北京海纳川汽车部件股份有限公司 The lane change method, apparatus of automatic driving vehicle and automatic driving vehicle with it
WO2020068800A1 (en) * 2018-09-25 2020-04-02 Inteva Products, Llc Deployable side shark fin with integrated side view camera and sensing device
WO2020213022A1 (en) * 2019-04-15 2020-10-22 三菱電機株式会社 Line-of-sight monitoring device and line-of-sight monitoring method
CN111815947A (en) * 2020-05-27 2020-10-23 中汽数据有限公司 Method for establishing lane change time model for natural driving vehicles on expressway
CN114435387A (en) * 2020-10-20 2022-05-06 丰田自动车株式会社 Automatic driving system
CN115063984A (en) * 2022-08-05 2022-09-16 武汉理工大学 Road vehicle identification and positioning method based on fiber bragg grating array sensing network

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172994A (en) * 1998-12-03 2000-06-23 Mazda Motor Corp Obstacle alarming device for vehicle
JP2000238594A (en) * 1998-12-25 2000-09-05 Aisin Aw Co Ltd Driving support system
JP2002104113A (en) * 2000-09-28 2002-04-10 Nissan Motor Co Ltd Rear monitoring device
JP2003205783A (en) * 2002-01-15 2003-07-22 Toyota Central Res & Dev Lab Inc Display for periphery of vehicle
JP2006051850A (en) * 2004-08-10 2006-02-23 Matsushita Electric Ind Co Ltd Drive assisting device and drive assisting method
JP2007028445A (en) * 2005-07-20 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk Image display system
JP2007249814A (en) * 2006-03-17 2007-09-27 Denso Corp Image-processing device and image-processing program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172994A (en) * 1998-12-03 2000-06-23 Mazda Motor Corp Obstacle alarming device for vehicle
JP2000238594A (en) * 1998-12-25 2000-09-05 Aisin Aw Co Ltd Driving support system
JP2002104113A (en) * 2000-09-28 2002-04-10 Nissan Motor Co Ltd Rear monitoring device
JP2003205783A (en) * 2002-01-15 2003-07-22 Toyota Central Res & Dev Lab Inc Display for periphery of vehicle
JP2006051850A (en) * 2004-08-10 2006-02-23 Matsushita Electric Ind Co Ltd Drive assisting device and drive assisting method
JP2007028445A (en) * 2005-07-20 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk Image display system
JP2007249814A (en) * 2006-03-17 2007-09-27 Denso Corp Image-processing device and image-processing program

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436763A (en) * 2010-09-29 2012-05-02 富士重工业株式会社 Driving support apparatus for vehicle
CN102436763B (en) * 2010-09-29 2015-04-01 富士重工业株式会社 Driving support apparatus for vehicle
WO2013018673A1 (en) * 2011-08-02 2013-02-07 日産自動車株式会社 Object detector and object detection method
CN103718224A (en) * 2011-08-02 2014-04-09 日产自动车株式会社 3d object detector and 3d object detection method
JPWO2013018673A1 (en) * 2011-08-02 2015-03-05 日産自動車株式会社 Three-dimensional object detection apparatus and three-dimensional object detection method
CN104064053A (en) * 2013-03-21 2014-09-24 阿尔派株式会社 Driving Support Device And Control Method Of Driving Support Processing
WO2015079623A1 (en) * 2013-11-27 2015-06-04 株式会社デンソー Driving support device
JP2015101282A (en) * 2013-11-27 2015-06-04 株式会社デンソー Driving assistance device
WO2016098614A1 (en) * 2014-12-17 2016-06-23 日本精機株式会社 Vehicle information projecting system and vehicle information projecting method
JP2016115280A (en) * 2014-12-17 2016-06-23 日本精機株式会社 Vehicle information projection system and vehicle information projection method
US10293690B2 (en) 2014-12-17 2019-05-21 Nippon Seiki Co., Ltd. Vehicle information projecting system and vehicle information projecting method
EP3236447A4 (en) * 2014-12-17 2018-05-23 Nippon Seiki Co., Ltd. Vehicle information projecting system and vehicle information projecting method
JP2016199204A (en) * 2015-04-14 2016-12-01 トヨタ自動車株式会社 Vehicle control device
KR101729030B1 (en) * 2015-06-05 2017-05-02 (주)캠시스 Apparatus and method for warning a dangerous element of surrounding of vehicle
JP2017069749A (en) * 2015-09-30 2017-04-06 アイシン精機株式会社 Image processing apparatus for vehicle
WO2017057007A1 (en) * 2015-09-30 2017-04-06 アイシン精機株式会社 Image processing device for vehicles
JP2017182429A (en) * 2016-03-30 2017-10-05 日産自動車株式会社 Vehicular display method and vehicular display apparatus
KR20160143595A (en) * 2016-08-31 2016-12-14 (주)캠시스 Apparatus and method for warning a dangerous element of surrounding of vehicle
KR101697484B1 (en) 2016-08-31 2017-01-18 (주)캠시스 Apparatus and method for warning a dangerous element of surrounding of vehicle
WO2018043083A1 (en) * 2016-09-01 2018-03-08 株式会社ミツバ Vehicle system
JP2018034715A (en) * 2016-09-01 2018-03-08 株式会社ミツバ Vehicle system
KR101896778B1 (en) * 2016-10-06 2018-09-07 현대자동차주식회사 Apparatus for displaying lane using outside mirror and method thereof
CN107914639A (en) * 2016-10-06 2018-04-17 现代自动车株式会社 Use the traffic lane display apparatus and track display methods of external mirror
CN107914639B (en) * 2016-10-06 2021-08-24 现代自动车株式会社 Lane display device using external reflector and lane display method
US10173593B2 (en) 2016-10-06 2019-01-08 Hyundai Motor Company Lane display device using outside mirror and method thereof
KR20180038315A (en) * 2016-10-06 2018-04-16 현대자동차주식회사 Apparatus for displaying lane using outside mirror and method thereof
JP2018092291A (en) * 2016-12-01 2018-06-14 株式会社Subaru Vehicle display device
JP2018129832A (en) * 2018-03-15 2018-08-16 株式会社デンソー Image processing device
WO2020068800A1 (en) * 2018-09-25 2020-04-02 Inteva Products, Llc Deployable side shark fin with integrated side view camera and sensing device
US11057568B2 (en) 2018-09-25 2021-07-06 Inteva Products, Llc Deployable side shark fin with integrated side view camera and sensing device
CN109445428A (en) * 2018-10-08 2019-03-08 北京海纳川汽车部件股份有限公司 The lane change method, apparatus of automatic driving vehicle and automatic driving vehicle with it
JP2019032893A (en) * 2018-11-06 2019-02-28 日本精機株式会社 Vehicle information projection system and vehicle information projection method
JPWO2020213022A1 (en) * 2019-04-15 2021-10-14 三菱電機株式会社 Line-of-sight monitoring device and line-of-sight monitoring method
WO2020213022A1 (en) * 2019-04-15 2020-10-22 三菱電機株式会社 Line-of-sight monitoring device and line-of-sight monitoring method
CN111815947A (en) * 2020-05-27 2020-10-23 中汽数据有限公司 Method for establishing lane change time model for natural driving vehicles on expressway
CN114435387B (en) * 2020-10-20 2024-01-12 丰田自动车株式会社 Automatic driving system
CN114435387A (en) * 2020-10-20 2022-05-06 丰田自动车株式会社 Automatic driving system
CN115063984A (en) * 2022-08-05 2022-09-16 武汉理工大学 Road vehicle identification and positioning method based on fiber bragg grating array sensing network
CN115063984B (en) * 2022-08-05 2022-11-15 武汉理工大学 Road vehicle identification and positioning method based on fiber bragg grating array sensing network

Similar Documents

Publication Publication Date Title
JP2009116723A (en) Lane change support system
WO2016002163A1 (en) Image display device and image display method
JP5421072B2 (en) Approaching object detection system
US8896687B2 (en) Lane departure prevention support apparatus, method of displaying a lane boundary line and program
JP5113881B2 (en) Vehicle periphery monitoring device
JP4687411B2 (en) Vehicle peripheral image processing apparatus and program
JP7077616B2 (en) Display control device and display control method
JP2010130646A (en) Vehicle periphery checking system
WO2015118806A1 (en) Image analysis apparatus and image analysis method
JP5626147B2 (en) Vehicle approaching object detection device
JP2006051850A (en) Drive assisting device and drive assisting method
JP2008222153A (en) Merging support device
JP2008213744A (en) Vehicle periphery monitoring device
JP2009199532A (en) Intersection operation support system, on-vehicle equipment, and roadside device
JP4259368B2 (en) Nose view monitor device
JP6805716B2 (en) Display device, display method, program
JP4193740B2 (en) Nose view monitor device
JP4992800B2 (en) Parking assistance device
US11820300B2 (en) Image generation device, camera, display system, and vehicle
JP2008068675A (en) Apparatus for visually confirming vehicle periphery
JP7341730B2 (en) Image processing device and image processing method
JP2011211432A (en) In-vehicle imaging apparatus
JP2011191859A (en) Apparatus for monitoring surroundings of vehicle
JP5040851B2 (en) Wakimi driving judgment device
JP2010064646A (en) Device and method for monitoring vehicle periphery

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111116

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120313