JP2019180074A - Driving support system, image processing device, and image processing method - Google Patents

Driving support system, image processing device, and image processing method Download PDF

Info

Publication number
JP2019180074A
JP2019180074A JP2018070020A JP2018070020A JP2019180074A JP 2019180074 A JP2019180074 A JP 2019180074A JP 2018070020 A JP2018070020 A JP 2018070020A JP 2018070020 A JP2018070020 A JP 2018070020A JP 2019180074 A JP2019180074 A JP 2019180074A
Authority
JP
Japan
Prior art keywords
vehicle
camera
image
succeeding
succeeding vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018070020A
Other languages
Japanese (ja)
Inventor
徹 亀山
Toru Kameyama
徹 亀山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2018070020A priority Critical patent/JP2019180074A/en
Publication of JP2019180074A publication Critical patent/JP2019180074A/en
Pending legal-status Critical Current

Links

Images

Abstract

To provide a driving support system that allows a driver to easily confirm other succeeding vehicles existing in a blind spot generated in a rear camera due to the approach of a first succeeding vehicle from an image of the rear camera.SOLUTION: A driving support system measures distance between a host vehicle and a first succeeding vehicle within a photographing range of a rear camera, turns on an alert display mode when detecting a second succeeding vehicle within a photographing range of a side camera and existing behind the first succeeding vehicle relative to the rear camera in the state in which the distance between the host vehicle and the first succeeding vehicle is equal to or less than a first threshold value, and causes a display unit to display an image of the second succeeding vehicle photographed by the side camera by superposing it at a corresponding position of an image taken with the rear camera in the state of the alert display mode being on.SELECTED DRAWING: Figure 4

Description

本開示は、後続車両の接近によりリアカメラに生じた死角に存在する他の後続車両の画像をリアカメラの画像に重畳して表示させる運転支援システム、画像処理装置及び画像処理方法に関する。   The present disclosure relates to a driving support system, an image processing apparatus, and an image processing method that display an image of another succeeding vehicle existing at a blind spot generated in a rear camera due to the approach of the following vehicle superimposed on the image of the rear camera.

運転手に車体の後方を主とする周囲の状況を視認させるためのバックミラーやサイドミラーが知られている。光学式のバックミラーの場合、乗用車の後部座席が障壁となって後方の見える範囲が限定され、とりわけトラック、バスなどの場合は、車内にある光学式のバックミラーからでは後方が視認できない問題があった。   There are known rearview mirrors and side mirrors that allow a driver to visually recognize the surrounding situation mainly behind the vehicle body. In the case of an optical rearview mirror, the rear seat of the passenger car becomes a barrier and the rearward view range is limited.In particular, in the case of trucks, buses, etc., there is a problem that the rear view cannot be seen from the optical rearview mirror in the car. there were.

そこで、特許文献1に示すような、あらかじめ車体の左右側面や後方に設置されているカメラの映像を車内にある表示装置にそれぞれ表示させる電子ミラーシステムが提案されている。電子ミラーシステムでは、適切な位置に設置されているカメラの画像を映し出すため、従来の光学ミラーに比べて障壁のないクリアな視界を運転手に提供することができる。また、カメラに広角レンズを取り付けることにより、より広い範囲を運転手に視認させることができる。   Therefore, as shown in Patent Document 1, an electronic mirror system has been proposed in which images of cameras installed in advance on the left and right side surfaces and the rear side of a vehicle body are respectively displayed on a display device in the vehicle. In the electronic mirror system, since an image of a camera installed at an appropriate position is projected, a clear field of view without a barrier compared to a conventional optical mirror can be provided to the driver. Further, by attaching a wide-angle lens to the camera, the driver can visually recognize a wider range.

ところで、電子ミラーシステムにおいても、後続車両が接近すると、それがリアカメラの撮影範囲を遮断してしまい、後続車両の背後の状況を視認できなくなる問題があった。運転支援システムが適用される状況の一例を示す模式図である。図1において、自車には、車体後方を撮影するリアカメラ110と、車体右側後方を撮影する右サイドカメラ120と、車体左側後方を撮影する左サイドカメラ130が設置されている。ここで、右サイドカメラ120および左サイドカメラ130は、それぞれ、車両の右サイドミラーおよび左サイドミラーの位置に設置されていてもよい。リアカメラ110が撮影した画像は車内に設けられている表示装置140に表示される。ところが、後続車両V1が自車に接近したとき、自車の右側のレーンの後方から加速してくる後続車両V2は後続車両V1の背後に隠れてしまうため、図2のような画面が表示装置140に表示される。このとき、運転手が後続車両V2の存在に気付かずに、突然右側のレーンに車線変更をすると、衝突の危険が生じる。なお、右サイドカメラ120および左サイドカメラ130が撮影した画像は、それぞれ、図示しない2つの表示装置において表示されるとしてよい。このとき、右サイドカメラ120が撮影した画像を表示する表示装置は、車内の前方右側に設置されているとしてよい。また、左サイドカメラ130が撮影した画像を表示する表示装置は、車内の前方左側に設置されているとしてよい。   By the way, even in the electronic mirror system, when the following vehicle approaches, there is a problem that the imaging range of the rear camera is cut off and the situation behind the following vehicle cannot be visually recognized. It is a schematic diagram which shows an example of the condition where a driving assistance system is applied. In FIG. 1, a rear camera 110 that captures the rear of the vehicle body, a right side camera 120 that captures the rear right side of the vehicle body, and a left side camera 130 that captures the rear left side of the vehicle body are installed in the vehicle. Here, the right side camera 120 and the left side camera 130 may be installed at positions of a right side mirror and a left side mirror of the vehicle, respectively. An image captured by the rear camera 110 is displayed on a display device 140 provided in the vehicle. However, when the following vehicle V1 approaches the own vehicle, the following vehicle V2 accelerating from the rear of the right lane of the own vehicle is hidden behind the following vehicle V1, so that the screen as shown in FIG. 140. At this time, if the driver suddenly changes the lane to the right lane without noticing the presence of the following vehicle V2, there is a danger of a collision. Note that the images taken by the right side camera 120 and the left side camera 130 may be displayed on two display devices (not shown). At this time, the display device that displays the image captured by the right side camera 120 may be installed on the front right side in the vehicle. In addition, the display device that displays the image captured by the left side camera 130 may be installed on the front left side in the vehicle.

この状況において、自車の右サイドミラーの位置に設置されている右サイドカメラ120では後続車両V2を撮影できているため、運転手が右サイドカメラ120の画像を確認すれば、事故を回避することができる。ところが、運転手は通常、先に車両後方正面の広い範囲を撮影するリアカメラ110の画像を確認する。本来は、その後に右サイドカメラ120の画像も確認すべきであるが、そのためには視線移動をしなければならないため、怠ってしまうことが多い。特に運転初心者にとっては、車線変更する直前の短い時間内に二つの表示装置を順次確認する余裕がない場合が少なからず存在する。この問題は、自車にサイドカメラ120および左サイドカメラ130が設置されておらず、従来通りに運転手が右サイドミラーおよび左サイドミラーを用いて自車の車体右側後方および車体左側後方を確認する場合にも同様に生じる問題である。   In this situation, the right side camera 120 installed at the position of the right side mirror of the own vehicle can capture the following vehicle V2, and therefore, if the driver checks the image of the right side camera 120, an accident is avoided. be able to. However, the driver usually confirms the image of the rear camera 110 that first captures a wide range in front of the vehicle rear. Originally, the image of the right side camera 120 should also be confirmed after that, but for that purpose, the line of sight must be moved, and this is often neglected. Especially for beginners of driving, there are many cases where there is no room for sequentially checking the two display devices within a short time immediately before the lane change. The problem is that the side camera 120 and the left side camera 130 are not installed in the vehicle, and the driver checks the right side rear and left side rear of the vehicle using the right side mirror and the left side mirror as usual. This is also a problem that occurs in the same way.

この問題を克服するために、表示装置を三つに分割してリアカメラ110、右サイドカメラ120、左サイドカメラ130が取得する画像をそれぞれ表示させることもできるが、限られた大きさの表示装置を分割する個々の画像は小さくなってしまい視認性が悪くなってしまうばかりか、同一の対象物が二つのカメラに同時に映る場合があるため効率的ではない。さらに、特許文献2に示すように一つの表示装置にこれらの画像を合成して表示させる技術が提案されているが、画面全体が不自然に見えてしまうことが多い。   In order to overcome this problem, the display device can be divided into three to display images acquired by the rear camera 110, the right side camera 120, and the left side camera 130, respectively. The individual images that divide the device become smaller and less visible, and are not efficient because the same object may appear in two cameras at the same time. Furthermore, as shown in Patent Document 2, a technique for combining and displaying these images on one display device has been proposed, but the entire screen often looks unnatural.

特開2009−083618号公報JP 2009-083618 A 特開2016−213759号公報Japanese Patent Laid-Open No. 2006-213759

本開示は、上述した従来の事情に鑑みて案出され、後続車両の接近によりリアカメラに生じた死角に存在する他の後続車両を、運転手がリアカメラの画像から容易に確認できる運転支援システム、画像処理装置及び画像処理方法を提供することを目的とする。   The present disclosure has been devised in view of the above-described conventional circumstances, and allows the driver to easily check other succeeding vehicles existing in the blind spot generated in the rear camera due to the approach of the following vehicle from the image of the rear camera. It is an object to provide a system, an image processing apparatus, and an image processing method.

本開示は、自車の後方を撮影するリアカメラと、自車の側面後方を撮影する少なくとも一つのサイドカメラと、処理部と、表示部と、を備える運転支援システムにおいて、処理部は、自車とリアカメラの撮影範囲内にある第1後続車両との距離を測定し、自車と第1後続車両との距離が第1閾値以下の状態において、サイドカメラの撮影範囲内にあり且つリアカメラに対して第1後続車両の背後に存在する第2後続車両を検知したときにアラート表示モードをオンにし、アラート表示モードがオンの状態において、リアカメラにより取得した画像の対応する位置に、サイドカメラにより撮影された第2後続車両の画像を重畳して表示部に表示させる、運転支援システムを提供する。   The present disclosure provides a driving support system including a rear camera that captures the rear side of the host vehicle, at least one side camera that captures a rear side of the host vehicle, a processing unit, and a display unit. The distance between the vehicle and the first succeeding vehicle within the photographing range of the rear camera is measured, and the distance between the own vehicle and the first succeeding vehicle is equal to or less than the first threshold and is within the photographing range of the side camera and the rear The alert display mode is turned on when the second succeeding vehicle existing behind the first succeeding vehicle is detected with respect to the camera, and in a state where the alert display mode is on, the corresponding position of the image acquired by the rear camera is Provided is a driving support system in which an image of a second succeeding vehicle photographed by a side camera is superimposed and displayed on a display unit.

また、本開示は、自車の後方を撮影するリアカメラと、自車の側面後方を撮影する少なくとも一つのサイドカメラと、表示部と、を備える運転支援システムを制御するための画像処理装置であって、自車とリアカメラの撮影範囲内にある第1後続車両との距離を測定し、自車と第1後続車両との距離が第1閾値以下の状態において、サイドカメラの撮影範囲内にあり且つリアカメラに対して第1後続車両の背後に存在する第2後続車両を検知したときにアラート表示モードをオンにし、アラート表示モードがオンの状態において、リアカメラにより取得した画像の対応する位置に、サイドカメラにより撮影された第2後続車両の画像を重畳して表示部に表示させる、画像処理装置を提供する。   Further, the present disclosure is an image processing apparatus for controlling a driving support system including a rear camera that captures the rear side of the host vehicle, at least one side camera that captures a rear side of the host vehicle, and a display unit. The distance between the own vehicle and the first succeeding vehicle within the photographing range of the rear camera is measured, and the distance between the own vehicle and the first succeeding vehicle is within the photographing range of the side camera when the distance between the own vehicle and the first succeeding vehicle is equal to or less than the first threshold. And the alert display mode is turned on when the second succeeding vehicle existing behind the first succeeding vehicle is detected with respect to the rear camera, and the correspondence of the image acquired by the rear camera when the alert display mode is on Provided is an image processing device that superimposes an image of a second succeeding vehicle photographed by a side camera and displays it on a display unit.

また、本開示は、自車の後方を撮影するリアカメラと、自車の側面後方を撮影する少なくとも一つのサイドカメラと、表示部と、を備える運転支援システムを制御するため画像処理方法であって、自車とリアカメラの撮影範囲内にある第1後続車両との距離を測定するステップと、自車と第1後続車両との距離が第1閾値以下の状態において、サイドカメラの撮影範囲内にあり且つリアカメラに対して第1後続車両の背後に存在する第2後続車両を検知したときにアラート表示モードをオンにするステップと、アラート表示モードがオンの状態において、リアカメラにより取得した画像の対応する位置に、サイドカメラにより撮影された第2後続車両の画像を重畳して表示部に表示させるステップと、を有する画像処理方法を提供する。   In addition, the present disclosure is an image processing method for controlling a driving support system including a rear camera that captures the rear side of the host vehicle, at least one side camera that captures the rear side of the host vehicle, and a display unit. The step of measuring the distance between the host vehicle and the first succeeding vehicle within the shooting range of the rear camera and the shooting range of the side camera in a state where the distance between the host vehicle and the first succeeding vehicle is equal to or less than the first threshold value. Acquired by the rear camera in a state where the alert display mode is on and the alert display mode is on when the second succeeding vehicle existing behind the first succeeding vehicle is detected with respect to the rear camera. And a step of superimposing an image of a second succeeding vehicle photographed by a side camera on a corresponding position of the image displayed on a display unit.

なお、以上の構成要素の任意の組合せ、本開示の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。   It should be noted that any combination of the above-described components and a representation of the present disclosure converted between a method, an apparatus, a system, a recording medium, a computer program, and the like are also effective as an aspect of the present disclosure.

本開示によれば、第1後続車両の接近によりリアカメラに生じた死角に存在する他の後続車両を、運転手がリアカメラの画像から容易に確認できる運転支援システム、画像処理装置及び画像処理方法を提供する。   According to the present disclosure, a driving support system, an image processing device, and image processing that enable a driver to easily check other subsequent vehicles existing in a blind spot generated in the rear camera due to the approach of the first subsequent vehicle from an image of the rear camera. Provide a method.

運転支援システムが適用される状況の一例を示す模式図Schematic diagram showing an example of a situation where the driving support system is applied 図1に示す状況において従来の運転支援システムの表示装置に表示される画像の一例を示す模式図The schematic diagram which shows an example of the image displayed on the display apparatus of the conventional driving assistance system in the condition shown in FIG. 本開示における運転支援システムのブロック図Block diagram of a driving support system according to the present disclosure 本開示における画像処理方法を示すフローチャートFlowchart showing an image processing method in the present disclosure 本開示における画像処理方法の表示装置に表示される画像の一例を示す模式図Schematic diagram showing an example of an image displayed on the display device of the image processing method according to the present disclosure 本開示における画像処理方法の表示装置に表示される画像の一例を示す模式図Schematic diagram showing an example of an image displayed on the display device of the image processing method according to the present disclosure 本開示における画像処理方法の表示装置に表示される画像の一例を示す模式図Schematic diagram showing an example of an image displayed on the display device of the image processing method according to the present disclosure 本開示における画像処理方法の表示装置に表示される画像の一例を示す模式図Schematic diagram showing an example of an image displayed on the display device of the image processing method according to the present disclosure 本開示における画像処理方法の表示装置に表示される画像の一例を示す模式図Schematic diagram showing an example of an image displayed on the display device of the image processing method according to the present disclosure

以下、添付図面を適宜参照しながら、本開示に係る運転支援システム、画像処理装置及び画像処理方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。   Hereinafter, an embodiment that specifically discloses a driving support system, an image processing device, and an image processing method according to the present disclosure will be described in detail with reference to the accompanying drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of already well-known matters and repeated descriptions for substantially the same configuration may be omitted. This is to avoid the following description from becoming unnecessarily redundant and to facilitate understanding by those skilled in the art. The accompanying drawings and the following description are provided to enable those skilled in the art to fully understand the present disclosure, and are not intended to limit the subject matter described in the claims.

本開示における運転支援システムは、以下においては電子ミラーシステムを例にとって説明するが、他のフロントガラスに画像を重畳するディスプレイなどの如何なる運転手に車体周辺の所定領域の状況を視認させるためのシステムでもよい。また、以下においては、自車を一般乗用車として説明するが、本開示はこれに限らず、例えばバス、トラック、バイク、電車、船舶、航空機などその他の乗り物にも適用可能である。本開示における画像処理装置は、上記運転支援システムにおける処理部であってよい。本開示における画像処理方法は、上記運転支援システムにおいて、上記画像処理装置が実行する各種ステップであってよい。以下において、説明の便宜のため、各図面において同一の手段には同一の符号を付して説明する。   The driving support system according to the present disclosure will be described below using an electronic mirror system as an example, but a system for allowing any driver, such as a display that superimposes an image on another windshield, to visually recognize the state of a predetermined area around the vehicle body. But you can. In the following description, the host vehicle is described as a general passenger car. However, the present disclosure is not limited to this, and can be applied to other vehicles such as a bus, a truck, a motorcycle, a train, a ship, and an aircraft. The image processing apparatus according to the present disclosure may be a processing unit in the driving support system. The image processing method in the present disclosure may be various steps executed by the image processing device in the driving support system. In the following, for convenience of explanation, the same means are denoted by the same reference numerals in each drawing.

本開示における運転支援システムのハードウェア構成について説明する。図3は本開示における運転支援システムのブロック図である。本開示における運転支援システム100は、例えば、リアカメラ110と、右サイドカメラ120と、左サイドカメラ130と、表示装置140(表示部)と、画像処理装置150(処理部)と、後方距離センサ160と、右後方距離センサ170と、左後方距離センサ180と、速度センサ190を含む構成でよい。   A hardware configuration of the driving support system in the present disclosure will be described. FIG. 3 is a block diagram of a driving support system according to the present disclosure. The driving support system 100 according to the present disclosure includes, for example, a rear camera 110, a right side camera 120, a left side camera 130, a display device 140 (display unit), an image processing device 150 (processing unit), and a rear distance sensor. 160, right rear distance sensor 170, left rear distance sensor 180, and speed sensor 190 may be included.

リアカメラ110、右サイドカメラ120、左サイドカメラ130は、いずれも車体に設置されている小型カメラであってよく、好ましくは広角レンズが装着されている。図1に示すように、リアカメラ110は車体後方を撮影し、右サイドカメラ120は車体右側後方を撮影し、左サイドカメラ130は車体左側後方を撮影する。本実施例においては、サイドカメラは車体の左右側面に一つずつ設けられている場合を例にとって説明するが、本開示はこれに限らず、左右にサイドカメラが複数個ずつ設けられている場合や、一つのサイドカメラが左右後方のいずれか一方を撮影する場合であってもよく、すなわちサイドカメラが少なくとも一つ設けられていれば適用可能である。なお、カメラそのものは従来のものであってよいため、ここでは詳しい説明を割愛する。   The rear camera 110, the right side camera 120, and the left side camera 130 may all be small cameras installed on a vehicle body, and preferably have a wide-angle lens attached thereto. As shown in FIG. 1, the rear camera 110 captures the rear side of the vehicle body, the right side camera 120 captures the rear side of the right side of the vehicle body, and the left side camera 130 captures the rear side of the left side of the vehicle body. In the present embodiment, a case where one side camera is provided on each of the left and right side surfaces of the vehicle body will be described as an example. However, the present disclosure is not limited to this, and a plurality of side cameras are provided on the left and right sides. Alternatively, it may be a case where one side camera captures one of the left and right rear sides, that is, if at least one side camera is provided. Since the camera itself may be a conventional one, a detailed description is omitted here.

表示装置140は、好ましくは運転手が前方を見ながら運転している状態から視点移動が少ない位置に設けられ、独立したディスプレイであってもよいし、フロントガラスに画像を投影するようなヘッドアップディスプレイ(HUD)であってもよい。独立したディスプレイの場合は、従来の光学式バックミラーと類似する形状を有するディスプレイであってよく、スイッチの切り替えにより、通常の光学ミラーとしても使用できるタイプが好ましい。   The display device 140 is preferably provided at a position where the viewpoint is less moved from the state where the driver is driving while looking forward, and may be an independent display or a head-up that projects an image on the windshield. It may be a display (HUD). In the case of an independent display, it may be a display having a shape similar to that of a conventional optical rearview mirror, and a type that can be used as a normal optical mirror by switching a switch is preferable.

画像処理装置150は、例えばマイクロプロセッサなどであり、各種演算を行うことにより運転支援システム100を制御する。画像処理装置150が実行する処理(ステップ)は、本開示における画像処理方法を構成し、詳細については後述する。本開示において、説明の便宜上、画像処理装置を一つの手段として説明するが、本開示は物理的に一つのプロセッサにより実現されるとは限らず、各装置がそれぞれの処理装置を有し、これらの処理装置が共同で画像処理装置150を構成してよい。また、中央処理装置(CPU)と各装置の処理装置が協調して処理を行う構成であってよい。   The image processing device 150 is a microprocessor, for example, and controls the driving support system 100 by performing various calculations. Processing (steps) executed by the image processing apparatus 150 constitutes an image processing method according to the present disclosure, and details thereof will be described later. In the present disclosure, for convenience of explanation, the image processing apparatus will be described as one means. However, the present disclosure is not necessarily physically realized by one processor, and each apparatus has a respective processing apparatus. These image processing apparatuses may constitute the image processing apparatus 150 jointly. In addition, the central processing unit (CPU) and the processing device of each device may perform the processing in cooperation.

後方距離センサ160、右後方距離センサ170、左後方距離センサ180はそれぞれリアカメラ110、右サイドカメラ120、左サイドカメラ130の撮影範囲にある対象物と自車との距離を測定することができる。これらの距離センサは、自車との距離を測定することができるいかなる種類のセンサであってもよく、典型的には光学式センサ、超音波センサ、ミリ波レーダーが含まれる。また、これらのセンサは、リアカメラ110、右サイドカメラ120、左サイドカメラ130の中に組み込まれてもよいし、独立して車体に設けられてもよい。なお、本実施例では、後方距離センサ160、右後方距離センサ170、左後方距離センサ180という三つの独立したセンサにより、対象物との距離を測定することを例に説明するが、本開示における運転支援システムでは、上述した各種カメラそのものが距離センサの役割を果たすものでもよい。複数のカメラの画像情報から距離を算出してもよいし、カメラ映像の地上消失点を基準に画像中後続車の下端から距離を算出してもよい。   The rear distance sensor 160, the right rear distance sensor 170, and the left rear distance sensor 180 can measure the distances between the subject and the vehicle in the imaging range of the rear camera 110, the right side camera 120, and the left side camera 130, respectively. . These distance sensors may be any type of sensor capable of measuring the distance to the host vehicle, and typically include an optical sensor, an ultrasonic sensor, and a millimeter wave radar. Moreover, these sensors may be incorporated in the rear camera 110, the right side camera 120, and the left side camera 130, or may be provided independently on the vehicle body. In the present embodiment, an example will be described in which the distance to the object is measured by three independent sensors, the rear distance sensor 160, the right rear distance sensor 170, and the left rear distance sensor 180. In the driving support system, the various cameras described above may serve as a distance sensor. The distance may be calculated from image information of a plurality of cameras, or the distance may be calculated from the lower end of the succeeding vehicle in the image based on the ground vanishing point of the camera video.

速度センサ190は、自車の走行速度を測定するセンサであり、典型的には車輪の周長と回転速度に基づいて測定する。また、速度センサ190は、車載ネットワークにおいて通信されている情報に含まれる車輪の回転情報が入力される単なる入力部として機能するものであってもよい。このとき、車載ネットワークは、例えば、CAN(Controller Area Network)であってもよい。速度センサ190の具体的な構成は従来のものであってよいため、ここでは詳しい説明を割愛する。   The speed sensor 190 is a sensor that measures the traveling speed of the host vehicle, and typically measures the speed based on the circumference of the wheel and the rotational speed. Moreover, the speed sensor 190 may function as a simple input unit to which wheel rotation information included in information communicated in the in-vehicle network is input. At this time, the in-vehicle network may be, for example, a CAN (Controller Area Network). Since the specific configuration of the speed sensor 190 may be conventional, a detailed description is omitted here.

次に、図1に示す状況を例に、運転支援システム100における各種処理(ステップ)を詳しく説明する。なお、以下に説明する各ステップは、本開示における画像処理方法を構成してよく、これらのステップは本開示における画像処理装置150(処理部)により実行されてよい。   Next, various processes (steps) in the driving support system 100 will be described in detail by taking the situation shown in FIG. 1 as an example. Note that each step described below may constitute an image processing method according to the present disclosure, and these steps may be executed by the image processing device 150 (processing unit) according to the present disclosure.

図4は、本開示における画像処理方法を示すフローチャートである。図4に示すように、本開示における画像処理方法は、以下のステップを含む。   FIG. 4 is a flowchart illustrating an image processing method according to the present disclosure. As shown in FIG. 4, the image processing method according to the present disclosure includes the following steps.

まず、画像処理装置150は、自車とリアカメラ110の撮影範囲内にある第1後続車両との距離を測定する(ステップS410)。具体的には、後方距離センサ160により自車とリアカメラ110の撮影範囲内にある後続車両V1との間の距離を測定する。一つの例示的な方法として、画像処理装置150は、まずリアカメラ110により後続車両の有無を検出し、後続車両V1が存在することが確認されてから後方距離センサ160により自社と後続車両V1との距離を測定してもよい。もう一つの例示的な方法として、直接後方距離センサ160により後方対象物との距離を測定し、対象物が検出されない場合は距離を無限遠(∞)と設定してよい。   First, the image processing apparatus 150 measures the distance between the host vehicle and the first succeeding vehicle that is within the imaging range of the rear camera 110 (step S410). Specifically, the rear distance sensor 160 measures the distance between the host vehicle and the following vehicle V <b> 1 within the imaging range of the rear camera 110. As an exemplary method, the image processing apparatus 150 first detects the presence or absence of a following vehicle by the rear camera 110, and confirms that the following vehicle V1 exists, and then detects the presence of the vehicle and the following vehicle V1 by the rear distance sensor 160. The distance may be measured. As another exemplary method, the distance to the rear object is directly measured by the rear distance sensor 160, and when the object is not detected, the distance may be set to infinity (∞).

続いて、画像処理装置150は、自車と第1後続車両V1との距離が第1閾値以下であるか否かを判断する(ステップS420)。第1の閾値は、第1後続車両V1がそれ以上接近すればリアカメラ110によって撮影される画像のうち大きな面積が第1後続車両V1に遮断されてしまい安全に支障が出ると認められる程度の距離(例えば20m)を設定してよい。また、自車の速度に基づいて、第1閾値を変化させるようにしてもよい。好ましくは、自車の走行速度が速いほど、運転手に高度な注意を喚起しなければならないため、第1閾値を大きく設定してよい。   Subsequently, the image processing apparatus 150 determines whether or not the distance between the host vehicle and the first subsequent vehicle V1 is equal to or less than the first threshold (step S420). The first threshold is such that if the first succeeding vehicle V1 approaches further, a large area of the image photographed by the rear camera 110 is blocked by the first succeeding vehicle V1, and it is recognized that there is a problem in safety. A distance (for example, 20 m) may be set. Moreover, you may make it change a 1st threshold value based on the speed of the own vehicle. Preferably, the higher the traveling speed of the host vehicle, the higher the driver's attention must be. Therefore, the first threshold value may be set larger.

画像処理装置150は、自車と第1後続車両V1との距離が第1閾値より大きい場合(ステップS420の「NO」)は、後続車両が存在せず或いは後続車両V1は存在するが自車との距離が遠いことを意味し、リアカメラ110によって撮影される画像は少なくとも後続車両V1により安全に支障が出るほど遮断されていないと認められるため、アラート表示を行う必要がないと判断して処理を終了する。   When the distance between the vehicle and the first succeeding vehicle V1 is greater than the first threshold (“NO” in step S420), the image processing apparatus 150 does not have the following vehicle or has the following vehicle V1 but does not exist. It is recognized that the image taken by the rear camera 110 is not cut off at least so that it can be safely hindered by the following vehicle V1, and therefore it is determined that there is no need to display an alert. The process ends.

一方で、画像処理装置150は、図1に示すように、自車と第1後続車両V1との距離が第1閾値以下である場合(ステップS420の「YES」)は、サイドカメラの撮影範囲内にあり且つリアカメラ110に対して第1後続車両V1の背後に存在する第2後続車両V2があるか否かを判断する(ステップS430)。例えば、リアカメラ110、右サイドカメラ120、左サイドカメラ130のそれぞれについて、撮影された画像に含まれているすべての後続車両を検出し、右サイドカメラ120または左サイドカメラ130の画像から検出された後続車両と同一の特徴を有する後続車両がリアカメラ110の画像から検出された後続車両に含まれているか否かを判断してよい。   On the other hand, as shown in FIG. 1, when the distance between the vehicle and the first succeeding vehicle V1 is equal to or less than the first threshold (“YES” in step S420), the image processing device 150 captures the shooting range of the side camera. It is determined whether there is a second succeeding vehicle V2 that is within and behind the first succeeding vehicle V1 with respect to the rear camera 110 (step S430). For example, for each of the rear camera 110, the right side camera 120, and the left side camera 130, all subsequent vehicles included in the captured image are detected and detected from the images of the right side camera 120 or the left side camera 130. It may be determined whether or not a subsequent vehicle having the same characteristics as the subsequent vehicle is included in the subsequent vehicle detected from the image of the rear camera 110.

サイドカメラの撮影範囲内にあり且つリアカメラ110に対して第1後続車両V1の背後に存在する第2後続車両V2がない場合(ステップS430の「NO」)は、運転手に注意を喚起させるためのアラート表示を行う必要がないと判断して処理を終了する。   If there is no second succeeding vehicle V2 that is within the shooting range of the side camera and is behind the first succeeding vehicle V1 with respect to the rear camera 110 (“NO” in step S430), the driver is alerted. Therefore, it is determined that it is not necessary to perform alert display for the purpose, and the process is terminated.

一方、図1に示すように、サイドカメラの撮影範囲内にあり且つリアカメラ110に対して第1後続車両V1の背後に存在する第2後続車両V2がある場合(ステップS430の「YES」)は、運転手に第2後続車両V2の存在を知らせる必要があると判断し、アラート表示モードをオンにする。   On the other hand, as shown in FIG. 1, when there is a second subsequent vehicle V2 that is within the shooting range of the side camera and is behind the first subsequent vehicle V1 with respect to the rear camera 110 (“YES” in step S430). Determines that it is necessary to inform the driver of the presence of the second succeeding vehicle V2, and turns on the alert display mode.

画像処理装置150は、一つの好ましい実施例として、自車と第2後続車両V2との距離が第2閾値以下である場合に限り、アラート表示モードをオンにしてよい。このとき、自車と第2後続車両V2との距離は、例えば右後方距離センサ170または左後方距離センサ180により測定してよい。第2閾値は、運転手が車線変更をしても第2後続車両V2と衝突する危険のない安全距離(例えば40m)を設定することが好ましい。また、自車の速度に基づいて、第2閾値を変化させるようにしてもよい。具体的には、自車の走行速度が速いほど安全距離を大きくとらなければならないため、第2閾値を通常より高く設定することが好ましい。自車と第2後続車両V2との距離が第2閾値以上であれば、仮に運転手が第2後続車両V2の存在に気付かずに右レーンに車線変更をしても衝突の危険がないため、自車と第2後続車両V2との距離が第2閾値以下である場合に限りアラート表示モードをオンにすることにより、不必要なアラート表示を避けて運転手に自然な視界を提供することができる。   As one preferred embodiment, the image processing apparatus 150 may turn on the alert display mode only when the distance between the host vehicle and the second succeeding vehicle V2 is equal to or smaller than the second threshold value. At this time, the distance between the vehicle and the second succeeding vehicle V2 may be measured by the right rear distance sensor 170 or the left rear distance sensor 180, for example. The second threshold is preferably set to a safe distance (for example, 40 m) at which there is no risk of collision with the second succeeding vehicle V2 even if the driver changes lanes. Moreover, you may make it change a 2nd threshold value based on the speed of the own vehicle. Specifically, since the safe distance must be increased as the traveling speed of the host vehicle increases, it is preferable to set the second threshold higher than normal. If the distance between the vehicle and the second succeeding vehicle V2 is equal to or greater than the second threshold value, there is no risk of a collision even if the driver changes the lane to the right lane without noticing the presence of the second succeeding vehicle V2. To provide the driver with a natural view by avoiding unnecessary alert display by turning on the alert display mode only when the distance between the vehicle and the second succeeding vehicle V2 is equal to or less than the second threshold value. Can do.

また、画像処理装置150は、もう一つの好ましい実施例として、第2後続車両V2の速度が自車の速度よりも速いときに限り、アラート表示モードをオンにしてよい。第2後続車両V2の速度が自車の速度よりも速いことは、自車に近づいてくることを意味する。したがって、画像処理装置150は、距離センサにより自車と第2後続車両V2との距離の変化を測定することにより、第2後続車両V2の速度が自車の速度よりも速いと判断してよい。また、第2後続車両V2が自車に近づいてくると、サイドカメラの画像には第2後続車両V2が次第に大きく映るようになる。したがって、画像処理装置150は、サイドカメラに映る第2後続車両V2の大きさの変化により、第2後続車両V2の速度が自車の速度よりも速いと判断してよい。第2後続車両V2の速度が自車の速度より遅い場合は、仮に運転手が第2後続車両V2の存在に気付かずに右レーンに車線変更をしても衝突の危険がないため、第2後続車両V2の速度が自車の速度よりも速いときに限りアラート表示モードをオンにすることにより、不必要なアラート表示を避けて運転手に自然な視界を提供することができる。   Further, as another preferred embodiment, the image processing apparatus 150 may turn on the alert display mode only when the speed of the second succeeding vehicle V2 is faster than the speed of the host vehicle. That the speed of the 2nd succeeding vehicle V2 is faster than the speed of the own vehicle means that it approaches the own vehicle. Therefore, the image processing apparatus 150 may determine that the speed of the second succeeding vehicle V2 is faster than the speed of the own vehicle by measuring a change in the distance between the own vehicle and the second succeeding vehicle V2 using a distance sensor. . Further, when the second succeeding vehicle V2 approaches the host vehicle, the second succeeding vehicle V2 gradually appears larger in the image of the side camera. Therefore, the image processing apparatus 150 may determine that the speed of the second subsequent vehicle V2 is faster than the speed of the host vehicle due to a change in the size of the second subsequent vehicle V2 reflected in the side camera. If the speed of the second succeeding vehicle V2 is slower than the speed of the host vehicle, there is no danger of a collision even if the driver changes the lane to the right lane without noticing the presence of the second succeeding vehicle V2. By turning on the alert display mode only when the speed of the succeeding vehicle V2 is higher than the speed of the own vehicle, it is possible to avoid unnecessary alert display and provide the driver with a natural view.

最後に、画像処理装置150は、アラート表示モードがオンの状態において、リアカメラにより取得した画像の対応する位置に、サイドカメラにより撮影された第2後続車両V2の画像を重畳して表示装置140に表示させる(ステップS440)。図5〜図9は、図1の状況において本開示における画像処理方法の表示装置140に表示される画像の一例を示す模式図である。このとき、画像処理装置150は、図5に示すようにリアカメラ110の画像に右サイドカメラ120により撮影された第2後続車両V2の画像を合成させて表示装置140に表示させてもよいし、図6に示すように右サイドカメラ120により撮影された第2後続車両V2の画像をそのままリアカメラ110の画像に被せて(すなわち「PinP」)もよい。   Finally, the image processing device 150 superimposes the image of the second succeeding vehicle V2 captured by the side camera on the corresponding position of the image acquired by the rear camera in the state where the alert display mode is on, and the display device 140 (Step S440). 5 to 9 are schematic diagrams illustrating examples of images displayed on the display device 140 of the image processing method according to the present disclosure in the situation of FIG. At this time, the image processing device 150 may combine the image of the rear camera 110 with the image of the second succeeding vehicle V2 captured by the right side camera 120 and display the image on the display device 140 as shown in FIG. As shown in FIG. 6, the image of the second succeeding vehicle V2 taken by the right side camera 120 may be directly put on the image of the rear camera 110 (ie, “PinP”).

また、画像処理装置150は、アラート表示モードがオンの状態において、運転手に第2後続車両V2の存在をより鮮明に表示させるために、リアカメラ110により取得した画像の対応する位置に、サイドカメラにより撮影された第2後続車両V2に強調処理をした画像を重畳して表示装置140に表示させてよい。強調処理の具体的な手法は様々であるが、例えば、図7に示すように、第2後続車両V2の輪郭を太く表示してよい。また、輪郭のみを抜き出して表示するなど、エッジ処理により第2後続車両V2を鮮明化してよい。さらには、画像処理装置150は、図8に示すように第2後続車両V2の周りに「□」や「〇」などのアイコンを表示させてよい。さらに好ましくは、画像処理装置150は、図9に示すように第2後続車両V2と自車との間の距離情報を表示装置140に表示させてよい。第2後続車両V2と自車との間の距離が一定範囲内になると、画像処理装置150は、表示装置140に表示される第2後続車両V2やその周りに表示するアイコンを点滅させたり、第2後続車両V2やその周りに表示するアイコンを赤色などに色付けしたり、アラーム音を再生したりするなどの方法によりさらに運転手の注意を喚起させてよい。ただし、距離情報の表示は、図9に示す位置に限られないことは明らかである。   In addition, the image processing device 150 displays the side image at the corresponding position of the image acquired by the rear camera 110 in order to display the presence of the second succeeding vehicle V2 more clearly to the driver when the alert display mode is on. The enhanced image may be superimposed on the second succeeding vehicle V2 photographed by the camera and displayed on the display device 140. There are various specific methods for the emphasis process. For example, as shown in FIG. 7, the outline of the second succeeding vehicle V2 may be displayed thickly. Further, the second succeeding vehicle V2 may be clarified by edge processing such as extracting and displaying only the outline. Furthermore, the image processing apparatus 150 may display icons such as “□” and “◯” around the second succeeding vehicle V2, as shown in FIG. More preferably, the image processing device 150 may display distance information between the second succeeding vehicle V2 and the host vehicle on the display device 140 as shown in FIG. When the distance between the second succeeding vehicle V2 and the host vehicle is within a certain range, the image processing device 150 blinks the second succeeding vehicle V2 displayed on the display device 140 and icons displayed around it, The driver's attention may be further raised by a method such as coloring the second succeeding vehicle V2 or an icon displayed around the second succeeding vehicle V2 in red or reproducing an alarm sound. However, it is clear that the display of distance information is not limited to the position shown in FIG.

ところで、同一の対象物であっても、画角が異なるカメラで撮影すると、取得された画像における当該対象物の大きさは異なる。具体的には、画角の大きい広角レンズで撮影された画像よりも、画角の小さい望遠レンズで撮影された画像の方が、対象物が大きく見える。そこで、画像処理装置150は、リアカメラ110により取得した画像の対応する位置に、サイドカメラの画角とリアカメラ110の画角の関係に基づいてサイドカメラにより撮影された第2後続車両V2を拡大または縮小した画像を重畳して表示装置140に表示させることが好ましい。例えば、リアカメラ110の画角が右サイドカメラ120の画角より小さい場合は、サイドカメラ110により撮影された第2後続車両V2を縮小してリアカメラ110により取得した画像の対応する位置に重畳させる。画角が補正されることにより、あたかも第2後続車両V2がリアカメラ110によって撮影されたような、自然な画像を運転手に提供することができる。   By the way, even if it is the same target object, if it image | photographs with a camera with a different angle of view, the magnitude | size of the said target object in the acquired image will differ. Specifically, the object looks larger in an image taken with a telephoto lens with a smaller angle of view than an image taken with a wide-angle lens with a larger angle of view. Therefore, the image processing apparatus 150 places the second succeeding vehicle V2 photographed by the side camera based on the relationship between the angle of view of the side camera and the angle of view of the rear camera 110 at a corresponding position of the image acquired by the rear camera 110. It is preferable to display the enlarged or reduced image on the display device 140 in a superimposed manner. For example, when the angle of view of the rear camera 110 is smaller than the angle of view of the right side camera 120, the second succeeding vehicle V2 photographed by the side camera 110 is reduced and superimposed on the corresponding position of the image acquired by the rear camera 110. Let By correcting the angle of view, it is possible to provide the driver with a natural image as if the second succeeding vehicle V2 was captured by the rear camera 110.

また、同一の対象物であっても、距離が異なるカメラで撮影された場合は、取得された画像における当該対象物の大きさは異なる。具体的には、対象物との距離が近いカメラで撮影された画像よりも、距離が遠いカメラで撮影された画像の方が、画像における対象物は小さく映る。そこで、画像処理装置150は、リアカメラ110により取得した画像の対応する位置に、サイドカメラと第2後続車両V2との距離及びリアカメラ110と第2後続車両V2との距離の関係に基づいてサイドカメラ110により撮影された第2後続車両V2を拡大または縮小した画像を重畳して表示装置140に表示させることが好ましい。これにより、運転手にあたかも第2後続車両V2がリアカメラ110によって撮影されたような自然な画像を提供することができるだけでなく、運転手に表示装置140に映っている第2後続車両V2の大きさにより自車との距離を把握させることができ、安全性の向上が一層期待できる。   Further, even if the same object is captured by cameras with different distances, the size of the object in the acquired image is different. Specifically, the object in the image appears smaller in the image taken with the camera far away from the image taken with the camera closer to the object. Therefore, the image processing device 150 is based on the relationship between the distance between the side camera and the second succeeding vehicle V2 and the distance between the rear camera 110 and the second succeeding vehicle V2 at the corresponding position of the image acquired by the rear camera 110. It is preferable that an image obtained by enlarging or reducing the second succeeding vehicle V <b> 2 captured by the side camera 110 is superimposed and displayed on the display device 140. This not only provides the driver with a natural image as if the second succeeding vehicle V2 was captured by the rear camera 110, but also provides the driver with the second succeeding vehicle V2 reflected on the display device 140. The distance from the vehicle can be grasped according to the size, and further improvement in safety can be expected.

さらに、画像処理装置150は、サイドカメラの画角とリアカメラ110の画角の関係及びサイドカメラと第2後続車両V2との距離及びリアカメラ110と第2後続車両V2との距離の関係の双方に基づいて、サイドカメラ110により撮影された第2後続車両V2を拡大または縮小した画像をリアカメラ110により取得した画像の対応する位置に重畳して表示装置140に表示させてもよい。   Further, the image processing device 150 has a relationship between a field angle of the side camera and the rear camera 110, a distance between the side camera and the second succeeding vehicle V2, and a relationship between the distance between the rear camera 110 and the second succeeding vehicle V2. Based on both, an image obtained by enlarging or reducing the second succeeding vehicle V <b> 2 captured by the side camera 110 may be superimposed on the corresponding position of the image acquired by the rear camera 110 and displayed on the display device 140.

以上、本開示について実施形態を用いて説明したが、本開示に係る発明の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。   As mentioned above, although this indication was explained using an embodiment, the technical scope of the invention concerning this indication is not limited to the range given in the embodiment mentioned above. It will be apparent to those skilled in the art that various modifications and improvements can be made to the embodiment described above. It is also apparent from the scope of the claims that the embodiment added with such changes or improvements can be included in the technical scope of the present invention.

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。   The execution order of each process such as operation, procedure, step, and stage in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. ”And the like, and can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it does not mean that it is essential to carry out in this order. Absent.

本開示は、後続車両の接近によりリアカメラに生じた死角に存在する他の後続車両を、運転手がリアカメラの画像から容易に確認できる運転支援システムとして有用である。   The present disclosure is useful as a driving support system that allows a driver to easily check other succeeding vehicles existing in a blind spot generated in a rear camera due to the approach of the following vehicle from an image of the rear camera.

100 運転支援システム
110 リアカメラ
120 右サイドカメラ
130 左サイドカメラ
140 表示装置
150 画像処理装置
160 後方距離センサ
170 右後方距離センサ
180 左後方距離センサ
190 速度センサ
100 Driving support system 110 Rear camera 120 Right side camera 130 Left side camera 140 Display device 150 Image processing device 160 Rear distance sensor 170 Right rear distance sensor 180 Left rear distance sensor 190 Speed sensor

Claims (10)

自車の後方を撮影するリアカメラと、自車の側面後方を撮影する少なくとも一つのサイドカメラと、処理部と、表示部と、を備える運転支援システムにおいて、
前記処理部は、
自車と前記リアカメラの撮影範囲内にある第1後続車両との距離を測定し、
自車と前記第1後続車両との距離が第1閾値以下の状態において、前記サイドカメラの撮影範囲内にあり且つ前記リアカメラに対して前記第1後続車両の背後に存在する第2後続車両を検知したときにアラート表示モードをオンにし、
前記アラート表示モードがオンの状態において、前記リアカメラにより取得した画像の対応する位置に、前記サイドカメラにより撮影された前記第2後続車両の画像を重畳して前記表示部に表示させる、運転支援システム。
In a driving support system comprising a rear camera that captures the rear of the vehicle, at least one side camera that captures the rear side of the vehicle, a processing unit, and a display unit,
The processor is
Measure the distance between the vehicle and the first following vehicle within the shooting range of the rear camera,
In a state where the distance between the host vehicle and the first succeeding vehicle is equal to or smaller than a first threshold, the second succeeding vehicle is within the photographing range of the side camera and is behind the first succeeding vehicle with respect to the rear camera. When alert is detected, alert display mode is turned on,
Driving support in which the image of the second succeeding vehicle photographed by the side camera is superimposed on the corresponding position of the image obtained by the rear camera and displayed on the display unit when the alert display mode is on. system.
前記処理部は、
自車と前記第2後続車両との距離が第2閾値以下である場合に限り、前記アラート表示モードをオンにする、請求項1に記載の運転支援システム。
The processor is
The driving support system according to claim 1, wherein the alert display mode is turned on only when a distance between the host vehicle and the second succeeding vehicle is equal to or less than a second threshold value.
前記処理部は、
前記第2後続車両の速度が自車の速度よりも速いときに限り、前記アラート表示モードをオンにする、
請求項2に記載の運転支援システム。
The processor is
The alert display mode is turned on only when the speed of the second succeeding vehicle is higher than the speed of the own vehicle.
The driving support system according to claim 2.
前記処理部は、
自車の速度に基づいて第1閾値及び第2閾値の少なくとも一方を変化させる、
請求項1〜3の何れか一つに記載の運転支援システム。
The processor is
Changing at least one of the first threshold and the second threshold based on the speed of the host vehicle;
The driving support system according to any one of claims 1 to 3.
前記処理部は、
前記アラート表示モードがオンの状態において、前記リアカメラにより取得した画像の対応する位置に、前記サイドカメラの画角と前記リアカメラの画角の関係に基づいて前記サイドカメラにより撮影された前記第2後続車両を拡大または縮小した画像を重畳して前記表示部に表示させる、
請求項1〜4の何れか一つに記載の運転支援システム。
The processor is
In the state where the alert display mode is on, the first image captured by the side camera based on the relationship between the angle of view of the side camera and the angle of view of the rear camera at a corresponding position of the image acquired by the rear camera. (2) An image obtained by enlarging or reducing the succeeding vehicle is superimposed and displayed on the display unit.
The driving support system according to any one of claims 1 to 4.
前記処理部は、
前記アラート表示モードがオンの状態において、前記リアカメラにより取得した画像の対応する位置に、前記サイドカメラと前記第2後続車両との距離及び前記リアカメラと前記第2後続車両との距離の関係に基づいて前記サイドカメラにより撮影された前記第2後続車両を拡大または縮小した画像を重畳して前記表示部に表示させる、
請求項1〜5の何れか一つに記載の運転支援システム。
The processor is
In the state where the alert display mode is on, the relationship between the distance between the side camera and the second succeeding vehicle and the distance between the rear camera and the second succeeding vehicle at the corresponding position of the image acquired by the rear camera. An image obtained by enlarging or reducing the second succeeding vehicle photographed by the side camera based on the image is superimposed and displayed on the display unit.
The driving support system according to any one of claims 1 to 5.
前記処理部は、
前記アラート表示モードがオンの状態において、前記リアカメラにより取得した画像の対応する位置に、前記サイドカメラにより撮影された前記第2後続車両に強調処理をした画像を重畳して前記表示部に表示させる、請求項1〜6の何れか一つに記載の運転支援システム。
The processor is
In the state where the alert display mode is on, an image obtained by emphasizing the second succeeding vehicle photographed by the side camera is superimposed and displayed on the display unit at a corresponding position of the image obtained by the rear camera. The driving support system according to any one of claims 1 to 6.
前記処理部は、
前記アラート表示モードがオンの状態において、前記第2後続車両と自車との間の距離情報を前記表示部に表示させる、請求項1〜7の何れか一つに記載の運転支援システム。
The processor is
The driving support system according to any one of claims 1 to 7, wherein distance information between the second succeeding vehicle and the host vehicle is displayed on the display unit in a state where the alert display mode is on.
自車の後方を撮影するリアカメラと、自車の側面後方を撮影する少なくとも一つのサイドカメラと、表示部と、を備える運転支援システムを制御するための画像処理装置であって、
自車と前記リアカメラの撮影範囲内にある第1後続車両との距離を測定し、
自車と前記第1後続車両との距離が第1閾値以下の状態において、前記サイドカメラの撮影範囲内にあり且つ前記リアカメラに対して前記第1後続車両の背後に存在する第2後続車両を検知したときにアラート表示モードをオンにし、
前記アラート表示モードがオンの状態において、前記リアカメラにより取得した画像の対応する位置に、前記サイドカメラにより撮影された前記第2後続車両の画像を重畳して前記表示部に表示させる、画像処理装置。
An image processing apparatus for controlling a driving support system comprising a rear camera that captures the rear of the host vehicle, at least one side camera that captures a rear side of the host vehicle, and a display unit,
Measure the distance between the vehicle and the first following vehicle within the shooting range of the rear camera,
In a state where the distance between the host vehicle and the first succeeding vehicle is equal to or smaller than a first threshold, the second succeeding vehicle is within the photographing range of the side camera and is behind the first succeeding vehicle with respect to the rear camera. When alert is detected, alert display mode is turned on,
Image processing in which the image of the second succeeding vehicle photographed by the side camera is superimposed on the corresponding position of the image acquired by the rear camera and displayed on the display unit in a state where the alert display mode is on apparatus.
自車の後方を撮影するリアカメラと、自車の側面後方を撮影する少なくとも一つのサイドカメラと、表示部と、を備える運転支援システムを制御するため画像処理方法であって、
自車と前記リアカメラの撮影範囲内にある第1後続車両との距離を測定するステップと、
自車と前記第1後続車両との距離が第1閾値以下の状態において、前記サイドカメラの撮影範囲内にあり且つ前記リアカメラに対して前記第1後続車両の背後に存在する第2後続車両を検知したときにアラート表示モードをオンにするステップと、
前記アラート表示モードがオンの状態において、前記リアカメラにより取得した画像の対応する位置に、前記サイドカメラにより撮影された前記第2後続車両の画像を重畳して前記表示部に表示させるステップと、を有する画像処理方法。
An image processing method for controlling a driving support system comprising a rear camera that captures the rear of the host vehicle, at least one side camera that captures a rear side of the host vehicle, and a display unit,
Measuring the distance between the vehicle and a first succeeding vehicle that is within the imaging range of the rear camera;
In a state where the distance between the host vehicle and the first succeeding vehicle is equal to or smaller than a first threshold, the second succeeding vehicle is within the photographing range of the side camera and is behind the first succeeding vehicle with respect to the rear camera. The step of turning on the alert display mode when detecting
A step of superimposing an image of the second succeeding vehicle captured by the side camera on the corresponding position of the image acquired by the rear camera and displaying the image on the display unit in a state where the alert display mode is on; An image processing method.
JP2018070020A 2018-03-30 2018-03-30 Driving support system, image processing device, and image processing method Pending JP2019180074A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018070020A JP2019180074A (en) 2018-03-30 2018-03-30 Driving support system, image processing device, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018070020A JP2019180074A (en) 2018-03-30 2018-03-30 Driving support system, image processing device, and image processing method

Publications (1)

Publication Number Publication Date
JP2019180074A true JP2019180074A (en) 2019-10-17

Family

ID=68279073

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018070020A Pending JP2019180074A (en) 2018-03-30 2018-03-30 Driving support system, image processing device, and image processing method

Country Status (1)

Country Link
JP (1) JP2019180074A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021190776A (en) * 2020-05-27 2021-12-13 トヨタ自動車株式会社 Vehicle surroundings monitoring device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021190776A (en) * 2020-05-27 2021-12-13 トヨタ自動車株式会社 Vehicle surroundings monitoring device
JP7347330B2 (en) 2020-05-27 2023-09-20 トヨタ自動車株式会社 Vehicle surrounding monitoring device

Similar Documents

Publication Publication Date Title
JP5099451B2 (en) Vehicle periphery confirmation device
EP3466763B1 (en) Vehicle monitor system
US20100201508A1 (en) Cross traffic alert system for a vehicle, and related alert display method
JP4985250B2 (en) Parking assistance device
JP6205640B2 (en) Warning device for vehicle
US20200226817A1 (en) Method for representing the surroundings of a vehicle
JP2007221200A (en) Vehicle periphery monitoring system
WO2018159017A1 (en) Vehicle display control device, vehicle display system, vehicle display control method and program
US10450003B2 (en) Parking assist device and parking assist system
JP7443705B2 (en) Peripheral monitoring device
EP3967554B1 (en) Vehicular display system
WO2017145549A1 (en) Looking aside and oversight warning system and computer program
JP2016055801A (en) On-vehicle display device
EP3089075A2 (en) Vehicular viewing device
CN111461096A (en) Display device for vehicle
KR20190046579A (en) Multiple camera control system and method for controlling output of multiple camera image
US20220144169A1 (en) Rear-view camera system for a trailer hitch system
JP7006460B2 (en) Vehicle display control device, vehicle display system, vehicle display control method, and program
JP5271511B2 (en) Driving support device and image display device
JP2009073250A (en) Vehicle backsight display device
JPH1148828A (en) Vehicle circumference monitoring device
JP2007290433A (en) Parking support system
JP2019180074A (en) Driving support system, image processing device, and image processing method
JP2008162550A (en) External environment display device
JP2011182254A (en) Driving support device for vehicle