JP2018148413A

JP2018148413A - Delay time measuring apparatus and image display control apparatus

Info

Publication number: JP2018148413A
Application number: JP2017041862A
Authority: JP
Inventors: 恒山口; Tsune Yamaguchi
Original assignee: Calsonic Kansei Corp
Current assignee: Marelli Corp
Priority date: 2017-03-06
Filing date: 2017-03-06
Publication date: 2018-09-20

Abstract

PROBLEM TO BE SOLVED: To measure a delay time of an image captured by a camera.SOLUTION: An image display control apparatus 1 measures a delay time ΔTcd of an image around an own vehicle CA photographed by a left camera 3 and a right camera 4 installed in the own vehicle CA. The image display control apparatus 1 includes a light emitting unit 30 which is installed in the own vehicle CA and emits light within an imaging ranges of the left camera 3 and the right camera 4, a detection unit that detects light emission of the light emitting unit 30 from the images photographed by the left camera 3 and the right camera 4, a light emission control unit 10 that measures a detection time Tdt required from light emission of the light emitting unit 30 to detection of light emission by the detection unit, and a delay time determination unit that determines the delay time ΔTcd based on the detection time Tdt.SELECTED DRAWING: Figure 1

Description

本発明は、遅延時間測定装置および画像表示制御装置に関する。 The present invention relates to a delay time measuring device and an image display control device.

運転者が車両を運転する際に、後方および側方を確認するのを支援するために、車両はドアミラーを備えている。ドアミラーに代えて、またはドアミラーと併用して、車両の後方および側方をカメラで撮影し、撮影した画像をダッシュボードに設置したモニタで表示させることが提案されている（例えば、特許文献１参照）。 The vehicle is provided with a door mirror to assist the driver in checking the back and sides when driving the vehicle. In place of the door mirror or in combination with the door mirror, it has been proposed to photograph the rear and side of the vehicle with a camera and display the photographed image on a monitor installed on a dashboard (see, for example, Patent Document 1). ).

特開２００８−６８８２７号公報JP 2008-68827 A

カメラで撮影した画像をモニタが表示するまでにかかる遅延時間によって、モニタが表示する画像は、リアルタイムの画像に対して遅延している。運転者は、レーン変更等の操作の際にモニタの画像を確認し、変更先のレーンで他の車両の接近状態を確認する。モニタが表示する画像が遅延していると、他の車両の接近状態を把握しにくい。遅延時間を考慮してモニタに画像を表示させ、運転の際の安全性を向上させることが求められている。 The image displayed on the monitor is delayed with respect to the real-time image due to the delay time required for the monitor to display the image captured by the camera. The driver confirms the image on the monitor when performing an operation such as lane change, and confirms the approach state of another vehicle in the lane to be changed. If the image displayed on the monitor is delayed, it is difficult to grasp the approaching state of other vehicles. There is a demand for improving safety during driving by displaying an image on a monitor in consideration of the delay time.

本発明は、車両に設置したカメラが撮影する当該車両の周囲の画像の遅延時間を測定する遅延時間測定装置であって、
前記車両に設置され前記カメラの撮像範囲内で発光する発光部と、
前記カメラで撮影した画像から前記発光部の発光を検出する発光検出部と、
前記発光部の発光から前記発光検出部による発光の検出までにかかる検出時間を測定する検出時間測定部と、
前記検出時間に基づいて、前記遅延時間を決定する遅延時間決定部と、
を備える。 The present invention is a delay time measuring device for measuring a delay time of an image around the vehicle taken by a camera installed in the vehicle,
A light emitting unit installed in the vehicle and emitting light within an imaging range of the camera;
A light emission detection unit for detecting light emission of the light emission unit from an image taken by the camera;
A detection time measuring unit for measuring a detection time taken from light emission of the light emitting unit to detection of light emission by the light emission detecting unit;
A delay time determination unit for determining the delay time based on the detection time;
Is provided.

また、本発明は、車両に設置したカメラが撮影する当該車両の周囲の画像をモニタに表示させる画像表示制御装置であって、
前記車両に設置され前記カメラの撮像範囲内で発光する発光部と、
前記カメラで撮影した画像から前記発光部の発光を検出する発光検出部と、
前記発光部の発光から前記発光検出部による発光の検出までにかかる検出時間を測定する検出時間測定部と、
前記検出時間に基づいて、前記画像の遅延時間を決定する遅延時間決定部と、
前記カメラで撮影した画像から他の車両を検出する車両検出部と、
前記車両検出部が前記他の車両を検出した場合、前記遅延時間に基づいて、当該画像を拡大する拡大部と、
前記拡大部が拡大した画像を、前記モニタの表示領域に合わせてトリミングするトリミング部と、
前記トリミング部がトリミングした画像を、前記モニタに出力する出力部と、を備える。 Further, the present invention is an image display control device for displaying on a monitor an image around the vehicle taken by a camera installed in the vehicle,
A light emitting unit installed in the vehicle and emitting light within an imaging range of the camera;
A light emission detection unit for detecting light emission of the light emission unit from an image taken by the camera;
A detection time measuring unit for measuring a detection time taken from light emission of the light emitting unit to detection of light emission by the light emission detecting unit;
A delay time determining unit that determines a delay time of the image based on the detection time;
A vehicle detection unit for detecting another vehicle from an image captured by the camera;
When the vehicle detection unit detects the other vehicle, an enlargement unit that enlarges the image based on the delay time;
A trimming unit for trimming an image enlarged by the enlargement unit in accordance with a display area of the monitor;
And an output unit that outputs an image trimmed by the trimming unit to the monitor.

本発明の遅延時間測定装置によれば、カメラで撮影した画像をモニタが表示するまでにかかる遅延時間を測定することができる。また、本発明の画像表示制御装置によれば、モニタが表示する遅延した画像における他の車両を、リアルタイムの画像における大きさに近づけることができる。これによって、車両の運転の際の安全性を向上させることができる。 According to the delay time measuring apparatus of the present invention, it is possible to measure the delay time taken until the monitor displays an image photographed by the camera. Further, according to the image display control device of the present invention, other vehicles in the delayed image displayed by the monitor can be brought close to the size in the real-time image. As a result, safety during driving of the vehicle can be improved.

実施の形態に係る画像表示制御装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image display control apparatus which concerns on embodiment. 画像表示制御装置の車両への設置状態を示す模式図である。It is a schematic diagram which shows the installation state to the vehicle of an image display control apparatus. 遅延時間の内容を説明する図である。It is a figure explaining the content of delay time. モニタのＬＥＤバックライト基板の構成を示す図である。It is a figure which shows the structure of the LED backlight board | substrate of a monitor. （ａ）は、他車両の相対速度が１００ｋｍ／ｈの場合の、遅延した画像を示し、（ｂ）はリアルタイムの画像を示す図である。(A) shows a delayed image when the relative speed of the other vehicle is 100 km / h, and (b) shows a real-time image. 画像表示制御装置がエンジンを始動させたタイミングで実行する処理を示すフローチャートである。It is a flowchart which shows the process performed at the timing which the image display control apparatus started the engine. 画像表示制御装置が車両の走行中に実行する処理を示すフローチャートである。It is a flowchart which shows the process which an image display control apparatus performs during driving | running | working of a vehicle. 画像から他車両を検出する処理の一例を示す図である。It is a figure which shows an example of the process which detects another vehicle from an image. （ａ）は、撮像範囲、実際の車幅および車間距離の関係を説明する模式図であり、（ｂ）は画像における車幅とＸ方向幅の関係を説明する模式図である。(A) is a schematic diagram explaining the relationship between an imaging range, an actual vehicle width, and the distance between vehicles, (b) is a schematic diagram explaining the relationship between the vehicle width and X direction width in an image. 車幅と車間距離の関係の一例を示すグラフである。It is a graph which shows an example of the relationship between a vehicle width and an inter-vehicle distance. 遅延時間において他車両が移動する距離を、相対速度ごとに示したグラフである。It is the graph which showed the distance which other vehicles move in delay time for every relative speed. 遅延時間決定処理の詳細を示すフローチャートである。It is a flowchart which shows the detail of a delay time determination process. 液晶の輝度の変化を示すグラフである。It is a graph which shows the change of the brightness | luminance of a liquid crystal. 液晶温度と反応時間の関係を示すグラフである。It is a graph which shows the relationship between liquid crystal temperature and reaction time. 反応時間テーブルの一例を示す図である。It is a figure which shows an example of the reaction time table. 画像における他の車両との車間距離と、実際の他の車両との車間距離の関係を説明する図である。It is a figure explaining the relationship between the inter-vehicle distance with the other vehicle in an image, and the actual inter-vehicle distance with the other vehicle. 画像の拡大処理を示す図である。It is a figure which shows the expansion process of an image. 画像のトリミング処理を示す図である。It is a figure which shows the trimming process of an image.

以下、本発明の実施の形態に係る画像表示制御装置を、図面を参照して説明する。
図１は、画像表示制御装置の構成を示すブロック図である。
図２は、画像表示制御装置の車両への設置状態を示す模式図である。
図３は、遅延時間の内容を説明する図である。 Hereinafter, an image display control device according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating a configuration of the image display control apparatus.
FIG. 2 is a schematic diagram showing an installation state of the image display control device in the vehicle.
FIG. 3 is a diagram for explaining the contents of the delay time.

図１および図２に示すように、画像表示制御装置１は車両の内部に設置し、左方カメラ３、右方カメラ４およびモニタ５に接続する。画像表示制御装置１は、左方カメラ３および右方カメラ４が撮影した車両の周囲の画像をモニタ５に表示させる。詳しくは後述するが、画像表示制御装置１は、モニタ５が表示する遅延した画像をリアルタイムの画像に近づけるために、画像を拡大する処理を行う。 As shown in FIGS. 1 and 2, the image display control device 1 is installed inside a vehicle and connected to a left camera 3, a right camera 4, and a monitor 5. The image display control device 1 causes the monitor 5 to display images around the vehicle taken by the left camera 3 and the right camera 4. As will be described in detail later, the image display control device 1 performs a process of enlarging the image in order to bring the delayed image displayed on the monitor 5 closer to a real-time image.

図３に示すように、画像をモニタ５に表示するまでに、以下の時間が生じる。
・画像表示制御装置１が、左方カメラ３および右方カメラ４が撮影した画像に、モニタ５に表示するための各種処理を行い、モニタ５に出力するまでにかかる時間（伝送時間Ｔｔｒ）
・モニタ５が、入力された画像を表示するための目標輝度に達するまでの時間（反応時間Ｔｒｓ） As shown in FIG. 3, the following time occurs until an image is displayed on the monitor 5.
The time required for the image display control device 1 to perform various processes for displaying on the monitor 5 on the images taken by the left camera 3 and the right camera 4 and to output to the monitor 5 (transmission time Ttr)
The time until the monitor 5 reaches the target brightness for displaying the input image (reaction time Trs)

前記の伝送時間Ｔｔｒと反応時間Ｔｒｓを合わせた時間、すなわち左方カメラ３および右方カメラ４が画像を撮影してからモニタ５がその画像を表示するまでにかかる時間が、画像がどれだけ遅延しているかを示す遅延時間ΔＴｃｄである。画像表示制御装置１は、遅延時間ΔＴｃｄを決定し、遅延時間ΔＴｃｄに基づいて、画像を拡大する処理を行う。なお、伝送時間Ｔｔｒは検出時間Ｔｄｔと出力時間Ｔｏｐから構成されるものであるが、その詳細については後述する。 How long the image is delayed is the time that the transmission time Ttr and the reaction time Trs are combined, that is, the time it takes for the monitor 5 to display the image after the left camera 3 and the right camera 4 capture the image. This is a delay time ΔTcd indicating whether or not. The image display control device 1 determines the delay time ΔTcd and performs a process of enlarging the image based on the delay time ΔTcd. The transmission time Ttr is composed of a detection time Tdt and an output time Top, and details thereof will be described later.

以降、画像表示制御装置１の具体的な構成と動作について説明する。以降の説明では、実施の形態に係る画像表示制御装置１を設置し、左方カメラ３および右方カメラ４で撮影を行っている車両を「自車両ＣＡ」という。また、左方カメラ３および右方カメラ４で撮影した画像が表示する自車両ＣＡ以外の車両を「他車両」という。 Hereinafter, a specific configuration and operation of the image display control apparatus 1 will be described. In the following description, the vehicle in which the image display control device 1 according to the embodiment is installed and the left camera 3 and the right camera 4 are shooting is referred to as “own vehicle CA”. A vehicle other than the host vehicle CA displayed by images taken by the left camera 3 and the right camera 4 is referred to as “another vehicle”.

［構成］
図２において、左方カメラ３および右方カメラ４それぞれの撮像範囲は、破線で示している。左方カメラ３は、自車両ＣＡの左側のフロントドアに設置する。左方カメラ３は、自車両ＣＡの左側の側方および後方を撮影する。右方カメラ４は、自車両ＣＡの右側のフロントドアに設置する。右方カメラ４は、自車両ＣＡの右側の側方および後方を撮影する。左方カメラ３および右方カメラ４は、車両の走行中は常時撮影を行う。 [Constitution]
In FIG. 2, the imaging ranges of the left camera 3 and the right camera 4 are indicated by broken lines. The left camera 3 is installed on the left front door of the host vehicle CA. The left camera 3 captures the left side and the rear of the host vehicle CA. The right camera 4 is installed on the right front door of the host vehicle CA. The right camera 4 captures the right side and rear of the host vehicle CA. The left camera 3 and the right camera 4 always shoot while the vehicle is running.

モニタ５は、車両の内部の運転席のダッシュボードに設置する。モニタ５は左方カメラ３および右方カメラ４の画像を表示させる液晶ディスプレイ５０を備える。図２に示すように、モニタ５は一つの液晶ディスプレイ５０を備え、一つの液晶ディスプレイ５０に左方カメラ３および右方カメラ４の二つの画像を並べて表示させても良い。あるいは、モニタ５は二つの液晶ディスプレイ５０を備え、それぞれに左方カメラ３および右方カメラ４の画像を表示させても良い。モニタ５は、左方カメラ３および右方カメラ４のそれぞれの画像について、一定の大きさの表示領域ＤＡを有している。 The monitor 5 is installed on the dashboard of the driver's seat inside the vehicle. The monitor 5 includes a liquid crystal display 50 that displays images of the left camera 3 and the right camera 4. As shown in FIG. 2, the monitor 5 may include one liquid crystal display 50, and two images of the left camera 3 and the right camera 4 may be displayed side by side on the single liquid crystal display 50. Alternatively, the monitor 5 may include two liquid crystal displays 50 and display the images of the left camera 3 and the right camera 4 respectively. The monitor 5 has a display area DA of a certain size for each image of the left camera 3 and the right camera 4.

図１に示すように、モニタ５は、液晶ディスプレイ５０の温度を測定する温度測定部として、サーミスタ５３を備えている。
図４は、サーミスタ５３を備えたモニタ５のＬＥＤバックライト基板５１の構成を示す図である。ＬＥＤバックライト基板５１は、液晶ディスプレイ５０を照射するＬＥＤ５２を、間隔を空けて配置したものである。サーミスタ５３はＬＥＤバックライト基板５１の中央部に配置する。 As shown in FIG. 1, the monitor 5 includes a thermistor 53 as a temperature measuring unit that measures the temperature of the liquid crystal display 50.
FIG. 4 is a diagram illustrating a configuration of the LED backlight substrate 51 of the monitor 5 including the thermistor 53. The LED backlight substrate 51 is configured by arranging LEDs 52 that irradiate the liquid crystal display 50 at intervals. The thermistor 53 is disposed at the center of the LED backlight substrate 51.

図１に示すように、画像表示制御装置１は、ＣＰＵ１００（Central Processing Unit）、記憶部２１および発光部３０を備えている。ＣＰＵ１００と記憶部２１は車両の内部に設置し、発光部３０は車体に設置し、互いに有線で接続する。ＣＰＵ１００は、タイマを備えたものである。ＣＰＵ１００は、機能構成として、発光制御部１０、画像取得部１１、検出部１２、距離測定部１３、相対速度算出部１４、温度取得部１５、遅延時間決定部１６、拡大率決定部１７、拡大部１８、トリミング部１９および出力部２０を備えている。記憶部２１は、例えば、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等のメモリで構成する。記憶部２１は、画像表示制御装置１の制御プログラムを記憶する。ＣＰＵ１００が記憶部２１に記憶された制御プログラムを読み出して実行することで、前記した機能構成を実現する。 As shown in FIG. 1, the image display control device 1 includes a CPU 100 (Central Processing Unit), a storage unit 21, and a light emitting unit 30. The CPU 100 and the storage unit 21 are installed inside the vehicle, and the light emitting unit 30 is installed in the vehicle body and connected to each other by a wire. The CPU 100 includes a timer. The CPU 100 includes, as a functional configuration, a light emission control unit 10, an image acquisition unit 11, a detection unit 12, a distance measurement unit 13, a relative speed calculation unit 14, a temperature acquisition unit 15, a delay time determination unit 16, an enlargement rate determination unit 17, and an enlargement. A unit 18, a trimming unit 19, and an output unit 20 are provided. The storage unit 21 is configured by a memory such as a RAM (Random Access Memory) and a ROM (Read Only Memory), for example. The storage unit 21 stores a control program for the image display control device 1. The CPU 100 reads out and executes the control program stored in the storage unit 21, thereby realizing the functional configuration described above.

記憶部２１は、画像表示制御装置１の処理に必要な各種情報を記憶する。記憶部２１は、例えば、反応時間テーブル２１１、出力時間Ｔｏｐ、検出時間Ｔｄｔ、液晶ディスプレイ５０の温度を記憶する。また、特に記載しないが、ＣＰＵ１００の各部は、処理結果を一時的に記憶部２１に記憶させ、必要なデータや処理対象を記憶部２１から読み出し、処理終了後に一時的に記憶させたデータをリセットする。 The storage unit 21 stores various information necessary for processing of the image display control device 1. The storage unit 21 stores, for example, the reaction time table 211, the output time Top, the detection time Tdt, and the temperature of the liquid crystal display 50. Although not particularly described, each unit of the CPU 100 temporarily stores the processing result in the storage unit 21, reads necessary data and a processing target from the storage unit 21, and resets the temporarily stored data after the processing is completed. To do.

発光部３０は、図２に示すように、車両の、左方カメラ３および右方カメラ４の撮像範囲内に設置する。発光部３０の設置箇所は限定されないが、例えば、車体の左右の後方にそれぞれ設置することができる。 As shown in FIG. 2, the light emitting unit 30 is installed within the imaging range of the left camera 3 and the right camera 4 of the vehicle. Although the installation location of the light emission part 30 is not limited, For example, it can each install in the left and right back of a vehicle body.

発光部３０は、画像処理によって検出可能な光を発するものであれば良く、特定のものに限定されない。発光部３０は、例えば、ＬＥＤとすることができる。発光部３０が発する光の種類も特定のものに限定されない。発光部３０の発光は、前記した遅延時間ΔＴｃｄを決定するために用いるものであり、運転には直接関係しないためドライバーが視認する必要は無い。よって、発光部３０は可視光を発するものでも赤外光を発するものでも良い。 The light emitting unit 30 only needs to emit light that can be detected by image processing, and is not limited to a specific one. The light emitting unit 30 can be, for example, an LED. The kind of light emitted from the light emitting unit 30 is not limited to a specific one. The light emitted from the light emitting unit 30 is used to determine the delay time ΔTcd described above, and is not directly related to driving, and therefore does not need to be visually recognized by the driver. Therefore, the light emitting unit 30 may emit visible light or infrared light.

ＣＰＵ１００の発光制御部１０は、発光部３０の発光および消光を制御する。発光制御部１０は、車両のエンジンを始動させるタイミングで、発光部３０を発光させる。発光部３０の発光は、左方カメラ３および右方カメラ４の撮影する画像に映り込む。後述する検出部１２は、画像に映りこんだ発光を検出する。発光制御部１０は、検出部１２が発光を検出すると発光部３０を消光させる。発光部３０は、発光部３０を制御すると共に、タイマを用いて発光部３０の発光開始から消光までの時間を測定する。発光部３０の発光開始から消光までの時間とは、左方カメラ３および右方カメラ４が画像を撮影してから、検出部１２がその画像から検出対象（発光部３０の発光）を検出するまでにかかる時間（検出時間Ｔｄｔ）を意味する。 The light emission control unit 10 of the CPU 100 controls light emission and quenching of the light emitting unit 30. The light emission control part 10 makes the light emission part 30 light-emit at the timing which starts the engine of a vehicle. The light emitted from the light emitting unit 30 is reflected in images taken by the left camera 3 and the right camera 4. A detection unit 12 described later detects light emission reflected in the image. The light emission control unit 10 extinguishes the light emitting unit 30 when the detection unit 12 detects light emission. The light emitting unit 30 controls the light emitting unit 30 and measures the time from the start of light emission of the light emitting unit 30 to the extinction using a timer. The time from the start of light emission to the extinction of the light emitting unit 30 means that after the left camera 3 and the right camera 4 take an image, the detection unit 12 detects a detection target (light emission of the light emitting unit 30) from the image. Time (detection time Tdt).

前記したように、伝送時間Ｔｔｒは検出時間Ｔｄｔと出力時間Ｔｏｐを合わせたものである（図３参照）。出力時間Ｔｏｐは、検出部１２が検出対象を検出した後に、画像に後述する拡大処理等を行ってモニタ５に出力するまでの時間である。出力時間Ｔｏｐとして、予め拡大処理等にかかる時間を測定して決定した固定値を、記憶部２１に記憶させておく。一方、検出時間Ｔｄｔは、運転時の外光の影響等で変動する可能性がある。よって、発光制御部１０は、車両の走行前のエンジンを始動させるタイミングで、発光部３０の発光を利用して検出時間Ｔｄｔを測定する。発光制御部１０は、測定した検出時間Ｔｄｔを記憶部２１に記憶させる。 As described above, the transmission time Ttr is a combination of the detection time Tdt and the output time Top (see FIG. 3). The output time Top is the time from when the detection unit 12 detects the detection target to when the image is subjected to enlargement processing, which will be described later, and output to the monitor 5. As the output time Top, a fixed value determined in advance by measuring the time required for the enlargement process or the like is stored in the storage unit 21. On the other hand, the detection time Tdt may vary due to the influence of external light during driving. Therefore, the light emission control unit 10 measures the detection time Tdt using the light emission of the light emitting unit 30 at the timing of starting the engine before the vehicle travels. The light emission control unit 10 stores the measured detection time Tdt in the storage unit 21.

画像取得部１１は、左方カメラ３と右方カメラ４が撮影した画像を取得する。前記したように、左方カメラ３および右方カメラ４は、エンジンを始動させると同時に撮影を開始し、車両の走行中は常時撮影を行っている。画像取得部１１は、左方カメラ３および右方カメラ４が撮影を行っている間、撮影した各フレームの画像を順次取得する。 The image acquisition unit 11 acquires images taken by the left camera 3 and the right camera 4. As described above, the left camera 3 and the right camera 4 start shooting at the same time as starting the engine, and always perform shooting while the vehicle is running. The image acquisition unit 11 sequentially acquires captured images of each frame while the left camera 3 and the right camera 4 are capturing images.

検出部１２は、画像取得部１１が取得した画像に対して画像処理を行い、検出対象を検出する。実施の形態において、検出部１２は発光部３０の発光と他車両を検出する。もちろん、検出部１２の検出対象は特定のものに限定されず、他の対象を検出しても良い。また、ここでは、画像の拡大処理のために他車両の検出を行う例を説明しているが、他車両の検出の目的はこれに限られない。例えば、他車両の検出は、自動運転の制御のために用いることもできる。 The detection unit 12 performs image processing on the image acquired by the image acquisition unit 11 and detects a detection target. In the embodiment, the detection unit 12 detects the light emission of the light emitting unit 30 and other vehicles. Of course, the detection object of the detection unit 12 is not limited to a specific object, and other objects may be detected. Moreover, although the example which performs the detection of other vehicles for the expansion process of an image is demonstrated here, the objective of the detection of other vehicles is not restricted to this. For example, detection of other vehicles can also be used for controlling automatic driving.

距離測定部１３は、検出部１２が検出した他車両と自車両ＣＡとの車間距離Ｄを測定する。相対速度算出部１４は、距離測定部１３が測定した車間距離Ｄに基づいて、他車両の自車両ＣＡに対する相対速度Ｖｒを算出する。 The distance measuring unit 13 measures an inter-vehicle distance D between the other vehicle detected by the detecting unit 12 and the host vehicle CA. The relative speed calculation unit 14 calculates the relative speed Vr of the other vehicle with respect to the host vehicle CA based on the inter-vehicle distance D measured by the distance measurement unit 13.

左方カメラ３と右方カメラ４の撮影する画像はそれぞれ異なる。検出部１２は左方カメラ３の画像と右方カメラ４の画像それぞれに対して他車両の検出を行う。検出部１２が双方の画像で他車両を検出した場合は、距離測定部１３および相対速度算出部１４はそれぞれの他車両について車間距離Ｄの測定と相対速度Ｖｒの算出を行う。 Images taken by the left camera 3 and the right camera 4 are different from each other. The detection unit 12 detects another vehicle for each of the image of the left camera 3 and the image of the right camera 4. When the detection unit 12 detects another vehicle in both images, the distance measurement unit 13 and the relative speed calculation unit 14 measure the inter-vehicle distance D and calculate the relative speed Vr for each of the other vehicles.

温度取得部１５は、モニタ５のサーミスタ５３が測定する液晶ディスプレイ５０の温度を取得して、記憶部２１に記憶させる。車両の走行中に液晶ディスプレイ５０の温度は変化することがあるため、温度取得部１５は所定間隔で液晶ディスプレイ５０の温度を取得して、記憶部２１を上書きする。温度測定の間隔は、液晶ディスプレイ５０の温度変化の傾向やデータ送信の負荷等を考慮して適当な間隔を決定することができる。 The temperature acquisition unit 15 acquires the temperature of the liquid crystal display 50 measured by the thermistor 53 of the monitor 5 and stores it in the storage unit 21. Since the temperature of the liquid crystal display 50 may change while the vehicle is traveling, the temperature acquisition unit 15 acquires the temperature of the liquid crystal display 50 at predetermined intervals and overwrites the storage unit 21. The temperature measurement interval can be determined appropriately in consideration of the temperature change tendency of the liquid crystal display 50, the data transmission load, and the like.

遅延時間決定部１６は、発光制御部１０が測定した検出時間Ｔｄｔと、温度取得部１５が取得した液晶ディスプレイ５０の温度に基づいて、遅延時間ΔＴｃｄを決定する。遅延時間決定部１６は、遅延時間ΔＴｃｄを決定する際に、記憶部２１に記憶させた反応時間テーブル２１１を参照する。 The delay time determination unit 16 determines the delay time ΔTcd based on the detection time Tdt measured by the light emission control unit 10 and the temperature of the liquid crystal display 50 acquired by the temperature acquisition unit 15. The delay time determination unit 16 refers to the reaction time table 211 stored in the storage unit 21 when determining the delay time ΔTcd.

拡大率決定部１７は、車間距離Ｄ、相対速度Ｖｒおよび遅延時間ΔＴｃｄに基づいて、画像を拡大させる拡大率Ｚを決定する。検出部１２が左方カメラ３および右方カメラ４の双方の画像から他車両を検出した場合は、拡大率決定部１７はそれぞれの他車両の車間距離Ｄと相対速度Ｖｒに基づいて、拡大率を算出する。拡大率決定部１７は、算出した拡大率のうち大きい方を最終的な拡大率Ｚとして決定する。 The enlargement ratio determining unit 17 determines an enlargement ratio Z for enlarging the image based on the inter-vehicle distance D, the relative speed Vr, and the delay time ΔTcd. When the detection unit 12 detects another vehicle from the images of both the left camera 3 and the right camera 4, the enlargement rate determination unit 17 determines the enlargement rate based on the inter-vehicle distance D and the relative speed Vr of each other vehicle. Is calculated. The enlargement ratio determining unit 17 determines the larger one of the calculated enlargement ratios as the final enlargement ratio Z.

拡大部１８は、画像取得部１１が取得した画像を、拡大率決定部１７が決定した拡大率Ｚに拡大する。トリミング部１９は、拡大部１８が拡大した画像を、モニタ５の表示領域ＤＡに合わせてトリミングする。出力部２０は、トリミング部１９がトリミングした画像を、モニタ５に出力する。 The enlargement unit 18 enlarges the image acquired by the image acquisition unit 11 to the enlargement rate Z determined by the enlargement rate determination unit 17. The trimming unit 19 trims the image enlarged by the enlargement unit 18 according to the display area DA of the monitor 5. The output unit 20 outputs the image trimmed by the trimming unit 19 to the monitor 5.

［動作］
前記したように、画像表示制御装置１は、左方カメラ３および右方カメラ４が撮影した自車両ＣＡの周囲の画像をモニタ５に出力して表示させる。前記した遅延時間ΔＴｃｄによって、モニタ５が表示する画像はリアルタイムの画像に対して遅延している。 [Operation]
As described above, the image display control device 1 outputs and displays the image around the host vehicle CA taken by the left camera 3 and the right camera 4 on the monitor 5. Due to the delay time ΔTcd, the image displayed on the monitor 5 is delayed with respect to the real-time image.

図５に具体例を示す。図５は、左方カメラ３が撮影した画像に、自車両ＣＡの隣のレーンで自車両ＣＡの後方から相対速度１００ｋｍ／ｈで走行している他車両が映っている例を示している。図５では、遅延時間ΔＴｃｄが２００ｍｓｅｃの例を示している。図５の（ａ）は、モニタ５が表示する画像、すなわち遅延した画像である。図５の（ｂ）は、リアルタイムで左方カメラ３が撮影している画像である。他車両が自車両ＣＡに接近している状態であるため、他車両は、遅延した画像よりもリアルタイムの画像において大きく映っている。 A specific example is shown in FIG. FIG. 5 shows an example in which an image taken by the left camera 3 shows another vehicle traveling at a relative speed of 100 km / h from the rear of the host vehicle CA in the lane adjacent to the host vehicle CA. FIG. 5 shows an example in which the delay time ΔTcd is 200 msec. FIG. 5A shows an image displayed on the monitor 5, that is, a delayed image. FIG. 5B is an image taken by the left camera 3 in real time. Since the other vehicle is approaching the host vehicle CA, the other vehicle appears larger in the real-time image than the delayed image.

運転者は、画像における他車両の大きさから、他車両がどれだけ接近しているかを感覚的に把握する。遅延した画像であっても、表示する他車両の大きさをリアルタイムの画像の大きさに近づけることで、運転者は他車両の接近状態を把握しやすくなる。画像表示制御装置１は、遅延した画像に映る他車両をリアルタイムの画像に近づけるために、画像を拡大する処理を行う。 The driver sensuously grasps how close the other vehicle is based on the size of the other vehicle in the image. Even if the image is delayed, the driver can easily grasp the approaching state of the other vehicle by bringing the size of the other vehicle to be displayed closer to the size of the real-time image. The image display control device 1 performs a process of enlarging the image in order to bring another vehicle reflected in the delayed image closer to a real-time image.

以下、画像表示制御装置１が実行する処理を説明する。
画像表示制御装置１の処理は、エンジンを始動したタイミングで行う処理と、車両の走行中に行う処理を含む。画像表示制御装置１は、エンジンを始動したタイミングで、発光部３０を発光させて検出時間Ｔｄｔの測定を行う。画像表示制御装置は、車両の走行中に画像から他車両を検出した場合、遅延時間ΔＴｃｄを決定し、遅延時間ΔＴｃｄに基づいて画像を拡大する。 Hereinafter, processing executed by the image display control apparatus 1 will be described.
The processing of the image display control device 1 includes processing performed at the timing when the engine is started and processing performed while the vehicle is running. The image display control device 1 measures the detection time Tdt by causing the light emitting unit 30 to emit light at the timing when the engine is started. When the image display control device detects another vehicle from the image while the vehicle is running, the image display control device determines the delay time ΔTcd and enlarges the image based on the delay time ΔTcd.

図６は、画像表示制御装置１がエンジンを始動したタイミングで実行する処理を示すフローチャートである。
図７は、画像表示制御装置１が車両の走行中に実行する処理を示すフローチャートである。 FIG. 6 is a flowchart showing a process executed by the image display control device 1 at the timing when the engine is started.
FIG. 7 is a flowchart showing processing executed by the image display control device 1 while the vehicle is traveling.

図６に示すように、発光制御部１０は、車両のエンジンが始動すると（ステップＳ１００：Ｙｅｓ）、発光部３０を発光させ（ステップＳ１０１）、タイマを用いて検出時間Ｔｄｔの測定を開始する（ステップＳ１０２）。車両の左方カメラ３と右方カメラ４もエンジンの始動と共に起動し、撮影を開始する。左方カメラ３と右方カメラ４が撮影する画像には、発光部３０の発光が映りこむ。画像取得部１１は、左方カメラ３と右方カメラ４が撮影した画像を取得する（ステップＳ１０３）。検出部１２は、画像取得部１１が取得した画像に対して画像処理を行い、発光部３０の発光を検出する（ステップＳ１０４）。検出部１２は、例えば、画像にフィルタ処理を行ってエッジを検出し、検出したエッジに対してテンプレートマッチングを行うことにより、発光部３０の発光を検出する。 As shown in FIG. 6, when the vehicle engine is started (step S100: Yes), the light emission control unit 10 causes the light emitting unit 30 to emit light (step S101) and starts measuring the detection time Tdt using a timer ( Step S102). The left camera 3 and the right camera 4 of the vehicle are also activated when the engine is started, and shooting is started. The light emitted from the light emitting unit 30 is reflected in the images taken by the left camera 3 and the right camera 4. The image acquisition unit 11 acquires images taken by the left camera 3 and the right camera 4 (step S103). The detection unit 12 performs image processing on the image acquired by the image acquisition unit 11, and detects the light emission of the light emitting unit 30 (step S104). For example, the detection unit 12 detects the light emission of the light emitting unit 30 by performing filter processing on the image to detect an edge, and performing template matching on the detected edge.

検出部１２が発光部３０の発光を検出すると、発光制御部１０は発光部３０を消光させ（ステップＳ１０５）、検出時間Ｔｄｔの測定を終了する（ステップＳ１０６）。発光制御部１０は測定した検出時間Ｔｄｔを記憶部２１に記憶させる（ステップＳ１０７）。 When the detection unit 12 detects the light emission of the light emitting unit 30, the light emission control unit 10 extinguishes the light emitting unit 30 (step S105), and ends the measurement of the detection time Tdt (step S106). The light emission control unit 10 stores the measured detection time Tdt in the storage unit 21 (step S107).

次に、画像表示制御装置１が車両の走行中に行う処理を説明する。図７に示すように、画像取得部１１は、左方カメラ３と右方カメラ４が撮影した画像を取得する（ステップＳ０１）。検出部１２は、画像取得部１１が取得した画像から他車両を検出する（ステップＳ０２）。検出部１２は、発光部３０の発光の検出と同様に、例えば、テンプレートマッチングを行うことにより、他車両を検出する。 Next, processing performed by the image display control device 1 while the vehicle is traveling will be described. As shown in FIG. 7, the image acquisition unit 11 acquires images captured by the left camera 3 and the right camera 4 (step S01). The detection unit 12 detects another vehicle from the image acquired by the image acquisition unit 11 (step S02). The detection unit 12 detects other vehicles by performing template matching, for example, in the same manner as the detection of the light emission of the light emitting unit 30.

検出部１２が画像から他車両を検出した場合（ステップＳ０２：Ｙｅｓ）、検出部１２は、画像上における他車両の車幅Ｗと位置を測定し、検出結果として距離測定部１３に入力する。検出部１２が画像から他車両を検出しなかった場合（ステップＳ０２：Ｎｏ）、出力部２０は画像の拡大処理は行わずに、画像をそのままモニタ５に出力して表示させる（ステップＳ０９）。 When the detection unit 12 detects another vehicle from the image (step S02: Yes), the detection unit 12 measures the vehicle width W and the position of the other vehicle on the image, and inputs them to the distance measurement unit 13 as a detection result. When the detection unit 12 does not detect another vehicle from the image (step S02: No), the output unit 20 outputs the image as it is to be displayed on the monitor 5 without performing the image enlargement process (step S09).

図８は、画像から他車両を検出する処理の一例を示す図である。
図８は、一例として、左方カメラ３が撮影した画像を示している。画像上における車幅Ｗとは、車両のＸ方向における画素数［ｐｘ］を意味する。画像上における他車両の位置とは、他車両の中心の画像の水平方向（Ｘ方向）における座標（Ｘ_i）および垂直方向（Ｙ方向）における座標（Ｙ_i）である。 FIG. 8 is a diagram illustrating an example of processing for detecting another vehicle from an image.
FIG. 8 shows an image taken by the left camera 3 as an example. The vehicle width W on the image means the number of pixels [px] in the X direction of the vehicle. The position of the other vehicle on the image is the coordinate (X _i ) in the horizontal direction (X direction) and the coordinate (Y _i ) in the vertical direction (Y direction) of the center image of the other vehicle.

ここで、検出部１２が、一つの画像上で、複数の他車両を検出する場合がある。図８では、複数の他車両ＣＢ、ＣＤを検出した場合を示している。他車両ＣＢが自車両ＣＡのすぐ隣のレーンを走行し、他車両ＣＤは二つ隣のレーンを走行している。これらの他車両ＣＢ、ＣＤと自車両ＣＡとの距離を考えると、進行方向の距離は他車両ＣＤの方が近い。しかしながら、運転者がレーン変更等の操作を行う際には、自車両ＣＡに最も近いレーンを走行する他車両、すなわち進行方向に直交する方向の距離が近い他車両ＣＢに注目する。よって、検出部１２は、複数の他車両ＣＢ、ＣＤを検出した場合は、自車両ＣＡの進行方向に直交する方向において自車両ＣＡに最も近い他車両ＣＢを選択する。 Here, the detection unit 12 may detect a plurality of other vehicles on one image. FIG. 8 shows a case where a plurality of other vehicles CB and CD are detected. The other vehicle CB travels in a lane immediately adjacent to the host vehicle CA, and the other vehicle CD travels in two adjacent lanes. Considering the distance between the other vehicles CB and CD and the host vehicle CA, the distance in the traveling direction is closer to the other vehicle CD. However, when the driver performs an operation such as changing the lane, attention is paid to the other vehicle that travels in the lane closest to the host vehicle CA, that is, the other vehicle CB that is close in the direction orthogonal to the traveling direction. Therefore, when detecting the plurality of other vehicles CB and CD, the detecting unit 12 selects the other vehicle CB that is closest to the own vehicle CA in a direction orthogonal to the traveling direction of the own vehicle CA.

具体的な処理としては、検出部１２は、まず、画像上における他車両ＣＢの位置（Ｘ₁；Ｙ₂）と他車両ＣＤの位置（Ｘ₂；Ｙ₁）を測定する。画像のＸ方向は、自車両ＣＡの進行方向に直交する方向に近い。よって、検出部１２はＸ方向の座標が自車両ＣＡの座標（Ｘ₀；Ｙ₀）と最も近い他車両ＣＢを選択する。なお、自車両ＣＡに最も近い他車両ＣＢを選択する処理はこれに限られない。例えば、検出部１２は画像からレーンを区切る車線Ｌを検出し、自車両ＣＡに最も近いレーンを走行する車両を選択するようにしても良い。検出部１２は、選択した他車両ＣＢの車幅Ｗを測定して、既に測定した他車両ＣＢの位置（Ｘ₁；Ｙ₂）と共に距離測定部１３に入力する。 As a specific process, the detection unit 12 first measures the position (X ₁ ; Y ₂ ) of the other vehicle CB and the position (X ₂ ; Y ₁ ) of the other vehicle CD on the image. The X direction of the image is close to the direction orthogonal to the traveling direction of the host vehicle CA. Therefore, the detection unit 12 selects the other vehicle CB whose coordinates in the X direction are closest to the coordinates (X ₀ ; Y ₀ ) of the host vehicle CA. In addition, the process which selects the other vehicle CB nearest to the own vehicle CA is not restricted to this. For example, the detection unit 12 may detect a lane L that divides the lane from the image, and may select a vehicle that travels in the lane closest to the host vehicle CA. The detection unit 12 measures the vehicle width W of the selected other vehicle CB and inputs it to the distance measurement unit 13 together with the already measured position (X ₁ ; Y ₂ ) of the other vehicle CB.

ここでは、左方カメラ３が撮影した画像に対する検出処理を説明したが、右方カメラ４が撮影した画像についても同様の処理を行う。以下、基本的に左方カメラ３で撮影した画像の処理について説明するが、特に言及が無い場合は右方カメラ４で撮影した画像についても同様の処理を行う。また、検出部１２が測定した他車両の位置（Ｘ_i；Ｙ_i）は、後述するトリミング部１９まで使用されない。そのため、特には言及しないが、相対速度算出部１４、拡大率決定部１７および拡大部１８は、検出部１２が測定した他車両の位置（Ｘ_i；Ｙ_i）を各部の処理結果と共に出力する。 Although the detection process for the image captured by the left camera 3 has been described here, the same process is performed for the image captured by the right camera 4. Hereinafter, the processing of the image captured by the left camera 3 will be basically described. However, the same processing is performed on the image captured by the right camera 4 unless otherwise specified. Further, the position (X _i ; Y _i ) of the other vehicle measured by the detection unit 12 is not used until the trimming unit 19 described later. Therefore, although not specifically mentioned, the relative speed calculation unit 14, the enlargement rate determination unit 17, and the enlargement unit 18 output the position (X _i ; Y _i ) of the other vehicle measured by the detection unit 12 together with the processing results of each unit. .

距離測定部１３は、検出部１２が入力した他車両ＣＢの画像における車幅Ｗを用いて、自車両ＣＡと他車両ＣＢの車間距離Ｄを測定する（ステップＳ０３）。
図９の（ａ）は、左方カメラ３の撮像範囲Ｓ、実際の車幅Ｗｃａｒおよび車間距離Ｄの関係を説明する模式図である。図９の（ｂ）は画像における車幅Ｗと画像のＸ方向幅Ｗｃの関係を説明する模式図である。 The distance measurement unit 13 measures the inter-vehicle distance D between the host vehicle CA and the other vehicle CB using the vehicle width W in the image of the other vehicle CB input by the detection unit 12 (step S03).
FIG. 9A is a schematic diagram for explaining the relationship among the imaging range S of the left camera 3, the actual vehicle width Wcar, and the inter-vehicle distance D. FIG. FIG. 9B is a schematic diagram illustrating the relationship between the vehicle width W in the image and the X-direction width Wc of the image.

図９の（ａ）に示すように、他車両ＣＢが左方カメラ３の撮像範囲Ｓに入ると、図９の（ｂ）に示すように、画像が他車両ＣＢを表示する。左方カメラ３の撮像範囲Ｓ［ｍ］と他車両ＣＢの実際の車幅Ｗｃａｒ［ｍ］の関係は、画像のＸ方向幅［ｐｘ］と画像における車幅Ｗ［ｐｘ］の関係に対応するため、次式（１）が成り立つ。

As shown in FIG. 9A, when the other vehicle CB enters the imaging range S of the left camera 3, the image displays the other vehicle CB as shown in FIG. 9B. The relationship between the imaging range S [m] of the left camera 3 and the actual vehicle width Wcar [m] of the other vehicle CB corresponds to the relationship between the X-direction width [px] of the image and the vehicle width W [px] in the image. Therefore, the following equation (1) is established.

一方、左方カメラ３の水平画角をθ［°］としたとき、他車両ＣＢと左方カメラ３との距離、すなわち他車両ＣＢと自車両ＣＡとの車間距離Ｄ［ｍ］と、撮像範囲Ｓ［ｍ］の関係については、次式（２）が成り立つ。

On the other hand, when the horizontal angle of view of the left camera 3 is θ [°], the distance between the other vehicle CB and the left camera 3, that is, the inter-vehicle distance D [m] between the other vehicle CB and the host vehicle CA is captured. As for the relationship of the range S [m], the following equation (2) is established.

式（１）および式（２）より、以下の関係式（３）が導き出される。

The following relational expression (3) is derived from the expressions (1) and (2).

実際の車幅Ｗｃａｒ、カメラの撮像範囲Ｓ、画像のＸ方向幅Ｗｃ、カメラの水平画角θは予め決定して記憶部２１に記憶させる。実際の車幅Ｗｃａｒは、例えば、車両の幅の平均値等としても良い。あるいは、普通乗用車、大型車、二輪車等の車種に応じて異なる実際の車幅Ｗｃａｒを設定しても良い。その場合は、検出部１２において車両を検出する際に、普通乗用車、大型車、二輪車等の車種も特定する。距離測定部１３は、検出部１２が特定した車種に合わせた実際の車幅Ｗｃａｒを用いるようにしても良い。距離測定部１３は、検出部１２が入力した画像における車幅Ｗを式（３）に代入して演算することにより、車間距離Ｄを算出する。距離測定部１３は、算出した車間距離Ｄを相対速度算出部１４に入力する。 The actual vehicle width Wcar, the imaging range S of the camera, the X-direction width Wc of the image, and the horizontal angle of view θ of the camera are determined in advance and stored in the storage unit 21. The actual vehicle width Wcar may be, for example, an average value of the vehicle width. Or you may set different actual vehicle width Wcar according to vehicle types, such as a normal passenger car, a large vehicle, and a two-wheeled vehicle. In that case, when the detection unit 12 detects the vehicle, the vehicle type such as a normal passenger car, a large vehicle, or a two-wheeled vehicle is also specified. The distance measurement unit 13 may use an actual vehicle width Wcar that matches the vehicle type specified by the detection unit 12. The distance measurement unit 13 calculates the inter-vehicle distance D by substituting the vehicle width W in the image input by the detection unit 12 into Equation (3) and calculating. The distance measuring unit 13 inputs the calculated inter-vehicle distance D to the relative speed calculating unit 14.

図１０は、画像における車幅Ｗと車間距離Ｄの関係の一例を示すグラフである。図１０では、実際の車幅Ｗｃａｒを２ｍ、画像のＸ方向幅を１２８０ｐｘ、カメラの水平画角を５０°とする。記憶部２１に、図１０のグラフに示すような、画像における車幅Ｗと車間距離Ｄの対応をリストにしたテーブルを記憶させても良い。距離測定部１３は、前記した式（３）の演算を行う代わりに、テーブルを参照して車間距離Ｄを決定しても良い。 FIG. 10 is a graph showing an example of the relationship between the vehicle width W and the inter-vehicle distance D in the image. In FIG. 10, the actual vehicle width Wcar is 2 m, the X-direction width of the image is 1280 px, and the horizontal angle of view of the camera is 50 °. The storage unit 21 may store a table that lists the correspondence between the vehicle width W and the inter-vehicle distance D in the image, as shown in the graph of FIG. The distance measuring unit 13 may determine the inter-vehicle distance D with reference to a table instead of performing the calculation of the above-described equation (3).

相対速度算出部１４は、距離測定部１３が入力した車間距離Ｄに基づいて、他車両ＣＢの自車両ＣＡに対する相対速度Ｖｒを算出する（ステップＳ０４）。
図１１は、遅延時間ΔＴｃｄにおいて他車両ＣＢが移動する距離を、相対速度ごとに示したグラフである。図１１では、遅延時間ΔＴｃｄが２００ｍｓｅｃの場合を実線で示し、遅延時間ΔＴｃｄが１００ｍｓｅｃの場合は破線で示している。他車両ＣＢの相対速度Ｖｒが異なると、同じ遅延時間ΔＴｃｄであっても他車両ＣＢが進む距離が異なるためである。他車両ＣＢが進む距離が変わると、リアルタイムの画像における他車両ＣＢの画像の大きさも変わる。前記した図５の（ａ）および図５の（ｂ）では、相対速度Ｖｒが１００ｋｍ／ｈの場合の画像を図示している。例えば、もし相対速度Ｖｒが２００ｋｍ／ｈになると、リアルタイムの画像における他車両ＣＢは、図５の（ｂ）に示したものよりも大きくなる。すなわち、遅延した画像に映る他車両ＣＢをリアルタイムの画像に近づけるために画像をどれだけ拡大させるかは、相対速度Ｖｒに応じて変わる。そこで、相対速度算出部１４は相対速度Ｖｒの算出を行う。 The relative speed calculation unit 14 calculates the relative speed Vr of the other vehicle CB with respect to the host vehicle CA based on the inter-vehicle distance D input by the distance measurement unit 13 (step S04).
FIG. 11 is a graph showing the distance traveled by the other vehicle CB for each relative speed during the delay time ΔTcd. In FIG. 11, the case where the delay time ΔTcd is 200 msec is indicated by a solid line, and the case where the delay time ΔTcd is 100 msec is indicated by a broken line. This is because if the relative speed Vr of the other vehicle CB is different, the distance traveled by the other vehicle CB is different even with the same delay time ΔTcd. When the distance traveled by the other vehicle CB changes, the size of the image of the other vehicle CB in the real-time image also changes. In FIG. 5A and FIG. 5B, images in the case where the relative speed Vr is 100 km / h are illustrated. For example, if the relative speed Vr is 200 km / h, the other vehicle CB in the real-time image becomes larger than that shown in FIG. That is, how much the image is enlarged in order to bring the other vehicle CB reflected in the delayed image closer to the real-time image changes according to the relative speed Vr. Therefore, the relative speed calculation unit 14 calculates the relative speed Vr.

相対速度算出部１４は、距離測定部１３が時間的に連続して入力した二つの車間距離Ｄの差と、画像の各フレームの撮影時間差ΔＴｆを用いて相対速度Ｖｒを算出する。前記したように、左方カメラ３および右方カメラ４は車両の走行中に常時撮影を行っている。他車両ＣＢが接近している状態で、検出部１２があるフレームの画像について車両を検出すると、後のフレームの画像でも順次車両を検出し、それぞれの車幅Ｗを測定して距離測定部１３に入力する。距離測定部１３も順次車間距離Ｄの測定を行い、相対速度算出部１４に入力する。 The relative speed calculation unit 14 calculates the relative speed Vr by using the difference between the two inter-vehicle distances D input by the distance measurement unit 13 continuously in time and the imaging time difference ΔTf of each frame of the image. As described above, the left camera 3 and the right camera 4 always shoot while the vehicle is running. When another vehicle CB is approaching and the vehicle is detected for an image of a frame with the detection unit 12, the vehicle is sequentially detected in the image of the subsequent frame, and each vehicle width W is measured to measure the distance measurement unit 13. To enter. The distance measurement unit 13 also sequentially measures the inter-vehicle distance D and inputs it to the relative speed calculation unit 14.

時間的に連続したフレームの画像において、自車両ＣＡと他車両ＣＢの車間距離Ｄは変化する。例えば、他車両ＣＢが自車両ＣＡに接近している状態であれば、あるフレームの画像について測定した車間距離Ｄｃは、その一つ前の画像について測定した車間距離Ｄｐよりも短くなる。二つの車間距離Ｄｐ、Ｄｃの差と、各フレームの画像の撮影時間差ΔＴｆから、以下の式（４）により他車両ＣＢの相対速度Ｖｒが求められる。

The inter-vehicle distance D between the host vehicle CA and the other vehicle CB changes in temporally continuous frames of images. For example, if the other vehicle CB is approaching the host vehicle CA, the inter-vehicle distance Dc measured for an image of a certain frame is shorter than the inter-vehicle distance Dp measured for the previous image. From the difference between the two inter-vehicle distances Dp and Dc and the image capturing time difference ΔTf of each frame, the relative speed Vr of the other vehicle CB is obtained by the following equation (4).

撮影時間差ΔＴｆは、予め決定して記憶部２１に記憶させる。相対速度算出部１４は、距離測定部１３が時間的に連続して入力した二つの車間距離Ｄｐ、Ｄｃを用いて式（４）の演算を行うことにより、相対速度Ｖｒを算出する。なお、ある車間距離が入力された場合、それより前に入力された車間距離が無い場合は、次の車間距離の入力を待ってから、処理を開始する。 The photographing time difference ΔTf is determined in advance and stored in the storage unit 21. The relative speed calculation unit 14 calculates the relative speed Vr by performing the calculation of Expression (4) using the two inter-vehicle distances Dp and Dc that are sequentially input by the distance measurement unit 13 in time. When a certain inter-vehicle distance is input, and there is no inter-vehicle distance input before that, the process is started after waiting for the input of the next inter-vehicle distance.

画像表示制御装置１は、遅延時間ΔＴｃｄを決定する処理を行う（ステップＳ０５）。図７のフローチャートでは、ステップＳ０１〜Ｓ０４の処理の後に遅延時間決定処理を記載しているが、順序はこれに限られない。ステップＳ０２で検出部１２が画像から他車両ＣＢを検出した場合に、ステップＳ０３〜Ｓ０４の処理と並行して遅延時間決定処理を進めても良い。または、車両の走行中は、常時遅延時間決定処理を行って遅延時間ΔＴｃｄを更新するようにしても良い。 The image display control device 1 performs processing for determining the delay time ΔTcd (step S05). In the flowchart of FIG. 7, the delay time determination process is described after the processes of steps S01 to S04, but the order is not limited to this. When the detection unit 12 detects another vehicle CB from the image in step S02, the delay time determination process may be performed in parallel with the processes in steps S03 to S04. Alternatively, the delay time ΔTcd may be updated by always performing a delay time determination process while the vehicle is traveling.

図１２は、図５のステップＳ０５の遅延時間決定処理の詳細を示すフローチャートである。
図１３は、液晶の輝度の変化を示すグラフである。
図１４は、液晶温度と反応時間の関係を示すグラフである。
図１５は、反応時間テーブル２１１の一例を示す図である。 FIG. 12 is a flowchart showing details of the delay time determination process in step S05 of FIG.
FIG. 13 is a graph showing changes in the luminance of the liquid crystal.
FIG. 14 is a graph showing the relationship between the liquid crystal temperature and the reaction time.
FIG. 15 is a diagram illustrating an example of the reaction time table 211.

図３に示したように、遅延時間ΔＴｃｄは、伝送時間Ｔｔｒと反応時間Ｔｒｓを加算したものである。伝送時間Ｔｔｒは、検出時間Ｔｄｔと出力時間Ｔｏｐを合わせたものである。遅延時間決定部１６は、記憶部２１を参照して、エンジン始動時に発光制御部１０が測定した検出時間Ｔｄｔと、固定値の出力時間Ｔｏｐを取得する。遅延時間決定部１６は、図１２に示すように、検出時間Ｔｄｔと出力時間Ｔｏｐを加算して、伝送時間Ｔｔｒを算出する（ステップＳ５１）。 As shown in FIG. 3, the delay time ΔTcd is obtained by adding the transmission time Ttr and the reaction time Trs. The transmission time Ttr is a combination of the detection time Tdt and the output time Top. The delay time determination unit 16 refers to the storage unit 21 and acquires the detection time Tdt measured by the light emission control unit 10 when the engine is started and the output time Top having a fixed value. As shown in FIG. 12, the delay time determination unit 16 adds the detection time Tdt and the output time Top to calculate the transmission time Ttr (step S51).

続いて、遅延時間決定部１６は、記憶部２１から液晶ディスプレイ５０の温度を取得する（ステップＳ５２）。前記したように、液晶ディスプレイ５０の温度は、モニタ５のサーミスタ５３が測定したものを温度取得部１５が所定間隔で取得して、記憶部２１に記憶させたものである。 Subsequently, the delay time determination unit 16 acquires the temperature of the liquid crystal display 50 from the storage unit 21 (step S52). As described above, the temperature of the liquid crystal display 50 is the temperature measured by the thermistor 53 of the monitor 5 acquired by the temperature acquisition unit 15 at a predetermined interval and stored in the storage unit 21.

前記したように、反応時間Ｔｒｓは、モニタ５の液晶ディスプレイ５０が目標輝度に達するまでの時間である。目標輝度とは、画像が表示する色を運転者が判断できる輝度である。この反応時間Ｔｒｓは、液晶ディスプレイ５０の温度によって変動する。図１４に示すように、反応時間Ｔｒｓは、液晶ディスプレイ５０の温度が低くなるほど長くなり、高くなるほど短くなる傾向がある。図１４に示すような液晶ディスプレイ５０の温度と反応時間Ｔｒｓの対応をまとめたものを、記憶部２１は反応時間テーブル２１１として記憶している。図１５に反応時間テーブル２１１の一例を示している。図１５の反応時間テーブル２１１は、１０℃ごとの液晶ディスプレイ５０の温度と、対応する反応時間Ｔｒｓを表示している。なお、図１５はあくまで一例であるので、表示する温度の間隔は１０℃より小さくしても良く、または大きくしても良い。 As described above, the reaction time Trs is the time until the liquid crystal display 50 of the monitor 5 reaches the target luminance. The target luminance is luminance that allows the driver to determine the color displayed by the image. This reaction time Trs varies depending on the temperature of the liquid crystal display 50. As shown in FIG. 14, the reaction time Trs tends to increase as the temperature of the liquid crystal display 50 decreases and decrease as the temperature increases. The storage unit 21 stores the correspondence between the temperature of the liquid crystal display 50 and the reaction time Trs as shown in FIG. FIG. 15 shows an example of the reaction time table 211. The reaction time table 211 in FIG. 15 displays the temperature of the liquid crystal display 50 every 10 ° C. and the corresponding reaction time Trs. Note that FIG. 15 is merely an example, and the displayed temperature interval may be smaller or larger than 10 ° C.

遅延時間決定部１６は、反応時間テーブル２１１を参照し、温度取得部１５が取得した液晶ディスプレイ５０の温度に対応する反応時間Ｔｒｓを決定する（ステップＳ５３）。なお、液晶ディスプレイ５０の温度が、反応時間テーブル２１１の表示温度の間の場合は、取得した温度を繰り上げまたは繰り下げて対応する反応時間Ｔｒｓを決定しても良い。遅延時間決定部１６は、決定した反応時間Ｔｒｓを、ステップＳ５１で算出した伝送時間Ｔｔｒに加算して、遅延時間ΔＴｃｄを算出する（ステップＳ５４）。 The delay time determination unit 16 refers to the reaction time table 211 and determines the reaction time Trs corresponding to the temperature of the liquid crystal display 50 acquired by the temperature acquisition unit 15 (step S53). When the temperature of the liquid crystal display 50 is between the display temperatures of the reaction time table 211, the corresponding reaction time Trs may be determined by raising or lowering the acquired temperature. The delay time determination unit 16 calculates the delay time ΔTcd by adding the determined reaction time Trs to the transmission time Ttr calculated in step S51 (step S54).

図７に戻り、拡大率決定部１７は、他車両ＣＢの車間距離Ｄ、相対速度Ｖｒ、遅延時間ΔＴｃｄに基づいて、画像を拡大させる拡大率Ｚを決定する（ステップＳ０６）。
図１６は、モニタ５が表示する遅延した画像における他車両ＣＢとの車間距離Ｄと、リアルタイムの画像における他車両ＣＢとの車間距離Ｄｔｒｕｅの関係を説明する図である。 Returning to FIG. 7, the enlargement ratio determining unit 17 determines the enlargement ratio Z for enlarging the image, based on the inter-vehicle distance D, the relative speed Vr, and the delay time ΔTcd of the other vehicle CB (step S06).
FIG. 16 is a diagram for explaining the relationship between the inter-vehicle distance D with the other vehicle CB in the delayed image displayed on the monitor 5 and the inter-vehicle distance Dtrue with the other vehicle CB in the real-time image.

図１６に示すように、他車両ＣＢが自車両ＣＡに接近している場合、遅延した画像における他車両ＣＢと自車両ＣＡの車間距離Ｄよりも、リアルタイムの画像における車間距離Ｄｔｒｕｅのほうが短くなる。車間距離Ｄと車間距離Ｄｔｒｕｅの差をΔＤとする。 As shown in FIG. 16, when the other vehicle CB is approaching the own vehicle CA, the inter-vehicle distance Dtrue in the real-time image is shorter than the inter-vehicle distance D between the other vehicle CB and the own vehicle CA in the delayed image. . Let ΔD be the difference between the inter-vehicle distance D and the inter-vehicle distance Dtrue.

拡大率決定部１７は、遅延時間決定部１６が決定した遅延時間ΔＴｃｄと、相対速度算出部１４が算出した相対速度Ｖｆから、次式（５）を用いて、差ΔＤを求める。

The enlargement ratio determining unit 17 obtains the difference ΔD from the delay time ΔTcd determined by the delay time determining unit 16 and the relative speed Vf calculated by the relative speed calculating unit 14 using the following equation (5).

拡大率決定部１７は、式（５）から求めた差ΔＤと、距離測定部１３が測定した車間距離Ｄとから、次式（６）を用いて、リアルタイムの画像における車間距離Ｄｔｒｕｅを求める。

The enlargement ratio determining unit 17 obtains the inter-vehicle distance Dtrue in the real-time image from the difference ΔD obtained from the equation (5) and the inter-vehicle distance D measured by the distance measuring unit 13 using the following equation (6).

ここで、リアルタイムの画像における車間距離Ｄｔｒｕｅと車幅Ｗｔｒｕｅについては、前記した式（３）を用いて以下の関係式（７）を導き出すことができる。

式（７）から、リアルタイムの画像における車幅Ｗｔｒｕｅは、次式（８）により求めることができる。

Here, regarding the inter-vehicle distance Dtrue and the vehicle width Wtrue in the real-time image, the following relational expression (7) can be derived using the above-described expression (3).

From equation (7), the vehicle width Wtrue in the real-time image can be obtained by the following equation (8).

拡大率決定部１７は、式（６）から求めた車間距離Ｄｔｒｕｅを用いて式（８）の演算を行い、リアルタイムの画像における車幅Ｗｔｒｕｅを求める。 The enlargement ratio determination unit 17 calculates the equation (8) using the inter-vehicle distance Dtrue obtained from the equation (6), and obtains the vehicle width Wtrue in the real-time image.

拡大率決定部１７は、次式（９）の通り、遅延した画像の車幅Ｗに対するリアルタイムの画像における車幅Ｗｔｒｕｅの割合を求め、求めた割合を画像の拡大率Ｚとして決定する。

The enlargement ratio determining unit 17 obtains the ratio of the vehicle width Wtrue in the real-time image to the vehicle width W of the delayed image, and determines the obtained ratio as the image enlargement ratio Z, as in the following equation (9).

拡大率決定部１７は、算出した拡大率Ｚを拡大部１８に入力する。もし、同じタイミングで撮影した左方カメラ３と右方カメラ４の双方の画像で、検出部１２が異なる他車両を検出した場合、それぞれの画像に対して拡大率決定部１７は拡大率を算出する。ただし、双方の画像を異なる拡大率で拡大すると、運転者に違和感を与える可能性がある。そこで、拡大率決定部１７は、算出した拡大率のうち、大きい方を最終的な拡大率Ｚとして決定し、拡大部１８に入力する。 The enlargement rate determination unit 17 inputs the calculated enlargement rate Z to the enlargement unit 18. If the detection unit 12 detects different vehicles in both the left camera 3 and the right camera 4 taken at the same timing, the enlargement rate determination unit 17 calculates the enlargement rate for each image. To do. However, if both images are enlarged at different magnifications, the driver may feel uncomfortable. Therefore, the enlargement factor determination unit 17 determines the larger one of the calculated enlargement factors as the final enlargement factor Z and inputs it to the enlargement unit 18.

図７に戻り、拡大部１８は、画像取得部１１が取得した画像を、拡大率決定部１７が決定した拡大率Ｚに拡大する（ステップＳ０７）。
図１７は、画像の拡大処理を示す図である。拡大後の画像において点線で示しているのが、拡大前の画像の大きさである。画像を拡大することによって、画像に映る他車両ＣＢも拡大し、図９（ｂ）に示したリアルタイムの画像における他車両ＣＢの大きさに近くなる。 Returning to FIG. 7, the enlargement unit 18 enlarges the image acquired by the image acquisition unit 11 to the enlargement rate Z determined by the enlargement rate determination unit 17 (step S07).
FIG. 17 is a diagram illustrating an image enlargement process. What is indicated by a dotted line in the image after enlargement is the size of the image before enlargement. By enlarging the image, the other vehicle CB reflected in the image is also enlarged, and becomes close to the size of the other vehicle CB in the real-time image shown in FIG. 9B.

トリミング部１９は、拡大部１８が拡大した画像を、モニタ５の表示領域ＤＡに合わせてトリミングする（ステップＳ０８）。
図１８は、画像のトリミング処理を示す図である。
トリミング部１９は、拡大部１８で拡大した画像を、モニタ５の表示領域ＤＡの大きさに合わせてトリミングする。図１８に示すように、トリミング部１９は、トリミング後の画像における他車両ＣＢの位置を、拡大前の画像における他車両ＣＢの位置と同じになるようにする。具体的には、トリミング部１９は、検出部１２が検出した他車両ＣＢの位置（Ｘ₁；Ｙ₂）を参照して、トリミング後の画像において他車両ＣＢが同じ位置（Ｘ₁；Ｙ₂）になるように、トリミングの範囲を決定する。 The trimming unit 19 trims the image enlarged by the enlargement unit 18 according to the display area DA of the monitor 5 (step S08).
FIG. 18 is a diagram illustrating image trimming processing.
The trimming unit 19 trims the image enlarged by the enlargement unit 18 according to the size of the display area DA of the monitor 5. As illustrated in FIG. 18, the trimming unit 19 causes the position of the other vehicle CB in the image after trimming to be the same as the position of the other vehicle CB in the image before enlargement. Specifically, the trimming unit 19, the position of the other vehicle CB detection unit 12 has detected; with reference to (X ₁ Y _2), other vehicle CB is the same position in the image after trimming (X _1; Y ₂ ) To determine the trimming range.

出力部２０は、トリミング部１９がトリミングした画像を、モニタ５に出力して表示させる（ステップＳ０９）。画像表示制御装置１は、車両の走行中は前記したステップＳ０１〜Ｓ０９の処理を継続して行うことで、他車両の接近状態に合わせて画像を拡大させる。また、詳細な説明は省くが、画像表示制御装置１は、前記した処理のほかに、画像をモニタ５に適切に表示させるための各種の画像処理を行っても良い。 The output unit 20 outputs and displays the image trimmed by the trimming unit 19 on the monitor 5 (step S09). The image display control device 1 continuously performs the processes in steps S01 to S09 while the vehicle is traveling, thereby enlarging the image according to the approaching state of the other vehicle. Although not described in detail, the image display control apparatus 1 may perform various image processes for appropriately displaying an image on the monitor 5 in addition to the processes described above.

以上の通り、実施の形態に係る画像表示制御装置１（遅延時間測定装置）は、
（１）自車両ＣＡに設置した左方カメラ３および右方カメラ４（カメラ）が撮影する自車両ＣＡの周囲の画像の遅延時間ΔＴｃｄを測定するものであって、
自車両ＣＡに設置され左方カメラ３および右方カメラ４の撮像範囲内で発光する発光部３０と、
左方カメラ３および右方カメラ４で撮影した画像から発光部３０の発光を検出する検出部１２（発光検出部）と、
発光部３０の発光から検出部１２による発光の検出までにかかる検出時間Ｔｄｔを測定する発光制御部１０（検出時間測定部）と、
検出時間Ｔｄｔに基づいて、遅延時間ΔＴｃｄを決定する遅延時間決定部１６と、
を備える。 As described above, the image display control device 1 (delay time measuring device) according to the embodiment is
(1) Measuring a delay time ΔTcd of an image around the host vehicle CA taken by the left camera 3 and the right camera 4 (camera) installed in the host vehicle CA,
A light emitting unit 30 that is installed in the host vehicle CA and emits light within the imaging range of the left camera 3 and the right camera 4;
A detection unit 12 (light emission detection unit) that detects light emission of the light emitting unit 30 from images taken by the left camera 3 and the right camera 4;
A light emission control unit 10 (detection time measurement unit) that measures a detection time Tdt from the light emission of the light emitting unit 30 to the detection of light emission by the detection unit 12;
A delay time determination unit 16 that determines a delay time ΔTcd based on the detection time Tdt;
Is provided.

左方カメラ３および右方カメラ４カメラで撮影した画像をモニタ５が表示するまでにかかる遅延時間ΔＴｃｄによって、モニタ５が表示する画像は、リアルタイムの画像に対して遅延している。遅延時間ΔＴｃｄは、左方カメラ３および右方カメラ４が画像を撮影してから、検出部１２がその画像から検出対象（他車両）を検出するまでにかかる検出時間Ｔｄｔを含む。この検出時間Ｔｄｔは、運転時の外光の影響等で変動する可能性がある。画像表示制御装置１は発光部３０を備え、発光部３０の発光の開始から検出部１２による発光の検出までの時間を検出時間Ｔｄｔとして測定し、検出時間Ｔｄｔを用いて遅延時間ΔＴｃｄを決定する。遅延時間ΔＴｃｄを把握することにより、例えば、モニタ５が表示する遅延した画像における他の車両を、リアルタイムの画像における大きさに近づけるように画像を拡大することができ、車両の運転の際の安全性を向上させることができる。 The image displayed on the monitor 5 is delayed with respect to the real-time image due to the delay time ΔTcd required for the monitor 5 to display the images photographed by the left camera 3 and the right camera 4 camera. The delay time ΔTcd includes a detection time Tdt that is required after the left camera 3 and the right camera 4 capture an image until the detection unit 12 detects a detection target (another vehicle) from the image. This detection time Tdt may fluctuate due to the influence of external light during operation. The image display control apparatus 1 includes a light emitting unit 30, measures the time from the start of light emission of the light emitting unit 30 to the detection of light emission by the detection unit 12 as a detection time Tdt, and determines the delay time ΔTcd using the detection time Tdt. . By grasping the delay time ΔTcd, for example, the other vehicle in the delayed image displayed on the monitor 5 can be enlarged so as to be close to the size in the real-time image. Can be improved.

（２）遅延時間決定部１６は、検出時間Ｔｄｔと、モニタ５の液晶ディスプレイ５０の反応時間Ｔｒｓとに基づいて、遅延時間ΔＴｃｄを決定する。遅延時間ΔＴｃｄには、モニタ５の液晶ディスプレイ５０の反応時間Ｔｒｓも含む。よって、検出時間Ｔｄｔと反応時間Ｔｒｓに基づいて遅延時間ΔＴｃｄを決定することで、より適切に遅延時間ΔＴｃｄを決定することができる。 (2) The delay time determination unit 16 determines the delay time ΔTcd based on the detection time Tdt and the reaction time Trs of the liquid crystal display 50 of the monitor 5. The delay time ΔTcd includes the reaction time Trs of the liquid crystal display 50 of the monitor 5. Therefore, the delay time ΔTcd can be determined more appropriately by determining the delay time ΔTcd based on the detection time Tdt and the reaction time Trs.

（３）発光部３０は、自車両ＣＡのエンジンを始動させたときに、発光を開始する。これによって、自車両ＣＡを走行させる前に検出時間Ｔｄｔを予め測定しておくことができる。これによって、車両の走行中に予め測定した検出時間Ｔｄｔを用いて遅延時間ΔＴｃｄを速やかに決定することができる。 (3) The light emitting unit 30 starts light emission when the engine of the host vehicle CA is started. Thus, the detection time Tdt can be measured in advance before the host vehicle CA is driven. Thus, the delay time ΔTcd can be quickly determined using the detection time Tdt measured in advance while the vehicle is traveling.

実施の形態に係る画像表示制御装置１は、また、前記（１）で述べた構成に加えて、
（４）左方カメラ３および右方カメラ４で撮影した画像から他車両ＣＢを検出する検出部１２（車両検出部）と、
検出部１２が他車両ＣＢを検出した場合、遅延時間ΔＴｃｄに基づいて、画像を拡大する拡大部１８と、
拡大部１８が拡大した画像を、モニタ５の表示領域ＤＡに合わせてトリミングするトリミング部１９と、
トリミング部１９がトリミングした画像を、モニタ５に出力する出力部２０と、を有する。 In addition to the configuration described in (1) above, the image display control device 1 according to the embodiment also includes:
(4) a detection unit 12 (vehicle detection unit) that detects another vehicle CB from images taken by the left camera 3 and the right camera 4;
When the detection unit 12 detects the other vehicle CB, the enlargement unit 18 that enlarges the image based on the delay time ΔTcd;
A trimming unit 19 for trimming the image enlarged by the enlargement unit 18 in accordance with the display area DA of the monitor 5;
And an output unit 20 that outputs the image trimmed by the trimming unit 19 to the monitor 5.

前記したように、遅延時間ΔＴｃｄによって、モニタ５が表示する画像は、リアルタイムの画像に対して遅延する。他車両ＣＢが自車両ＣＡに接近している状態では、遅延した画像ではリアルタイムの画像よりも、他車両ＣＢが小さく映る。運転者は、レーン変更等の操作の際にモニタ５の画像を確認し、変更先のレーンで他車両ＣＢが接近しているか否かを確認する。モニタ５が表示する画像が遅延していると、他車両ＣＢがどれだけ接近しているかを把握しにくい。実施の形態の画像表示制御装置１は、遅延時間ΔＴｃｄに基づいて遅延した画像を拡大することで、遅延した画像であっても、表示する他車両ＣＢの大きさをリアルタイムの画像の大きさに近づける。これによって、運転者は他車両ＣＢの接近状態を把握しやすくなり、車両の運転時の安全性を向上させることができる。 As described above, the image displayed on the monitor 5 is delayed with respect to the real-time image by the delay time ΔTcd. In a state in which the other vehicle CB is approaching the host vehicle CA, the other vehicle CB appears smaller in the delayed image than in the real-time image. The driver checks the image on the monitor 5 at the time of an operation such as lane change, and checks whether or not the other vehicle CB is approaching in the lane to be changed. If the image displayed on the monitor 5 is delayed, it is difficult to grasp how close the other vehicle CB is. The image display control apparatus 1 according to the embodiment enlarges the delayed image based on the delay time ΔTcd, so that the size of the other vehicle CB to be displayed is the real-time image size even for the delayed image. Move closer. As a result, the driver can easily grasp the approaching state of the other vehicle CB, and the safety during driving of the vehicle can be improved.

［変形例１］
前記した実施の形態では、画像表示制御装置１が左右のフロントドアに設置したカメラの画像を拡大する例を説明したが、これに限られない。例えば、車両のリアガラスに、車両の後方を撮影するカメラを設置し、画像表示制御装置１はこのカメラの画像に対して前記した処理を行っても良い。また、モニタ５も、運転席のダッシュボードに設置する例に限られない。例えば、車内の運転席と助手席の間の上部に設置するルームミラーを、モニタ５に置き換えても良い。 [Modification 1]
In the above-described embodiment, the example in which the image display control device 1 enlarges the image of the camera installed on the left and right front doors has been described. However, the present invention is not limited to this. For example, a camera that captures the rear of the vehicle may be installed on the rear glass of the vehicle, and the image display control device 1 may perform the above-described processing on the image of this camera. The monitor 5 is not limited to the example installed on the dashboard of the driver's seat. For example, the monitor 5 may be replaced with a room mirror installed in the upper part between the driver's seat and the passenger seat in the vehicle.

［変形例２］
前記した実施の形態では、液晶ディスプレイ５０の温度に応じて反応時間Ｔｒｓを決定したが、これに限られない。例えば、温度による反応時間Ｔｒｓの変動が少ない液晶ディスプレイ５０を用いる場合や、車両が温度の変動が少ない環境で走行するような場合には、反応時間Ｔｒｓを固定値としても良い。 [Modification 2]
In the above-described embodiment, the reaction time Trs is determined according to the temperature of the liquid crystal display 50, but is not limited thereto. For example, when using the liquid crystal display 50 in which the variation in the reaction time Trs due to temperature is small, or when the vehicle is traveling in an environment in which the temperature variation is small, the reaction time Trs may be set to a fixed value.

［変形例３］
前記した実施の形態では、距離測定部１３と相対速度算出部１４で他車両ＣＢの自車両ＣＡとの車間距離Ｄと相対速度Ｖｒを求め、拡大率決定部１７がこれらを用いて拡大率Ｚを算出したが、これに限られない。画像表示制御装置１に距離測定部１３と相対速度算出部１４を設けず、拡大率決定部１７は他車両ＣＢが自車両ＣＡに接近していると判定した場合には、特定の拡大率で画像を拡大するようにしても良い。 [Modification 3]
In the above-described embodiment, the distance measurement unit 13 and the relative speed calculation unit 14 obtain the inter-vehicle distance D and the relative speed Vr of the other vehicle CB from the host vehicle CA, and the enlargement rate determination unit 17 uses these to determine the enlargement rate Z. However, the present invention is not limited to this. When the image display control device 1 does not include the distance measurement unit 13 and the relative speed calculation unit 14 and the enlargement rate determination unit 17 determines that the other vehicle CB is approaching the host vehicle CA, the image display control device 1 has a specific enlargement rate. The image may be enlarged.

他車両の接近の判定は、例えば、検出部１２が行っても良い。検出部１２は、例えば、ある画像で測定した車幅Ｗ１を一つ前のフレームの画像で測定した車幅Ｗ２と比較する。車幅Ｗ１が車幅Ｗ２よりも大きければ、検出部１２は他車両ＣＢが自車両ＣＡに接近していると判定する。特定の拡大率は、予め決定して記憶部２１に記憶させる。実施の形態と同様に、遅延時間決定部１６が遅延時間ΔＴｃｄを決定する場合は、遅延時間ΔＴｃｄに応じた複数の拡大率を予め決定しておいても良い。あるいは、変形例１のように固定値の遅延時間ΔＴｃｄを用いる場合には、一つの拡大率のみを決定しておいても良い。 For example, the detection unit 12 may determine the approach of another vehicle. For example, the detection unit 12 compares the vehicle width W1 measured with a certain image with the vehicle width W2 measured with the image of the previous frame. If the vehicle width W1 is larger than the vehicle width W2, the detection unit 12 determines that the other vehicle CB is approaching the host vehicle CA. The specific enlargement ratio is determined in advance and stored in the storage unit 21. Similarly to the embodiment, when the delay time determination unit 16 determines the delay time ΔTcd, a plurality of enlargement rates corresponding to the delay time ΔTcd may be determined in advance. Alternatively, when a fixed delay time ΔTcd is used as in the first modification, only one enlargement factor may be determined.

［変形例４］
前記した実施の形態では、距離測定部１３は画像における車幅Ｗを用いて式（１）の演算を行うことにより、自車両ＣＡと他車両ＣＢの車間距離Ｄを測定したが、これに限られない。例えば、レーザーレーダー、ミリ波レーダー等のセンサを用いて、他車両ＣＢとの車間距離を測定しても良い。 [Modification 4]
In the above-described embodiment, the distance measurement unit 13 measures the inter-vehicle distance D between the host vehicle CA and the other vehicle CB by performing the calculation of Expression (1) using the vehicle width W in the image. I can't. For example, the distance between other vehicles CB may be measured using a sensor such as a laser radar or a millimeter wave radar.

［変形例５］
前記した実施の形態では、自車両ＣＡのエンジンを始動させたときに、発光部３０制御部は発光部３０を発光させ、検出時間Ｔｄｔの測定を行ったが、検出時間Ｔｄｔの測定のタイミングはこれに限られない。前記したように、検出時間Ｔｄｔは外光等の影響を受けて変動する。外光が変化するタイミングとしては、例えば日の出、日没、トンネルへの進入、進出等が考えられる。このようなタイミングでは、運転者は自車両ＣＡのヘッドライト等のライトを点灯または消灯させる。そこで、発光制御部１０は、自車両ＣＡのライトが点灯または消灯したタイミングで、発光部３０を発光させ、検出時間Ｔｄｔの測定を行っても良い。あるいは、自車両ＣＡに照度センサを設置し、自車両ＣＡの周囲の外光を測定するようにしても良い。発光制御部１０は、照度センサが測定する照度が所定値以上変動した場合に、発光部３０を発光させて、検出時間Ｔｄｔを測定しても良い。 [Modification 5]
In the above-described embodiment, when the engine of the host vehicle CA is started, the light emitting unit 30 control unit causes the light emitting unit 30 to emit light and measure the detection time Tdt, but the timing of measurement of the detection time Tdt is It is not limited to this. As described above, the detection time Tdt varies under the influence of external light or the like. As timing for changing the outside light, for example, sunrise, sunset, approach to a tunnel, advance and the like can be considered. At such timing, the driver turns on or off lights such as a headlight of the host vehicle CA. Therefore, the light emission control unit 10 may measure the detection time Tdt by causing the light emitting unit 30 to emit light at the timing when the light of the host vehicle CA is turned on or off. Alternatively, an illuminance sensor may be installed in the host vehicle CA to measure external light around the host vehicle CA. The light emission control unit 10 may measure the detection time Tdt by causing the light emitting unit 30 to emit light when the illuminance measured by the illuminance sensor fluctuates by a predetermined value or more.

［変形例６］
実施の形態では、本発明に係る遅延時間測定装置を画像表示制御装置１へ適用する例を説明したが、適用例はこれに限られず、カメラの撮影した画像を利用する装置に適宜適用することができる。一例として、カメラで撮影した画像を用いて車両の自動運転を制御する制御装置に適用することもできる。自動運転制御装置は、カメラが撮影した画像から他車両や信号機等の検出対象を検出して、走行速度やブレーキをかけるタイミング等を制御する。自動運転制御装置に適用する場合は、遅延時間ΔＴｃｄには、出力時間Ｔｏｐと液晶ディスプレイ５０の反応時間Ｔｒｓは含まれない。よって、遅延時間測定装置は、発光制御部１０が測定した検出時間Ｔｄｔをそのまま遅延時間ΔＴｃｄとして用いても良い。 [Modification 6]
In the embodiment, the example in which the delay time measuring device according to the present invention is applied to the image display control device 1 has been described. However, the application example is not limited to this, and is appropriately applied to a device using an image captured by a camera. Can do. As an example, the present invention can be applied to a control device that controls automatic driving of a vehicle using an image taken by a camera. The automatic driving control device detects a detection target such as another vehicle or a traffic light from an image taken by a camera, and controls a traveling speed, a timing for applying a brake, and the like. When applied to the automatic operation control device, the delay time ΔTcd does not include the output time Top and the reaction time Trs of the liquid crystal display 50. Therefore, the delay time measuring apparatus may use the detection time Tdt measured by the light emission control unit 10 as it is as the delay time ΔTcd.

１画像表示制御装置（遅延時間測定装置）
３左方カメラ（カメラ）
４右方カメラ（カメラ）
５モニタ
１００ＣＰＵ
１０発光制御部（検出時間測定部）
１１画像取得部
１２検出部（発光検出部、車両検出部）
１３距離測定部
１４相対速度算出部
１５温度取得部
１６遅延時間決定部
１７拡大率決定部
１８拡大部
１９トリミング部
２０出力部
２１記憶部
３０発光部
５０液晶ディスプレイ
５１ＬＥＤバックライト基板
５２ＬＥＤ
５３サーミスタ
２１１反応時間テーブル
ＣＡ自車両（カメラが設置された車両）
ＣＢ、ＣＤ他車両（他の車両）
ＤＡ表示領域
Ｌ車線 1 Image display control device (delay time measurement device)
3 Left camera (camera)
4 Right camera (camera)
5 Monitor 100 CPU
10 Light emission control unit (detection time measurement unit)
11 Image acquisition unit 12 Detection unit (light emission detection unit, vehicle detection unit)
13 Distance Measurement Unit 14 Relative Speed Calculation Unit 15 Temperature Acquisition Unit 16 Delay Time Determination Unit 17 Enlargement Rate Determination Unit 18 Enlargement Unit 19 Trimming Unit 20 Output Unit 21 Storage Unit 30 Light Emitting Unit 50 Liquid Crystal Display 51 LED Backlight Substrate 52 LED
53 Thermistor 211 Reaction Time Table CA Own Vehicle (Vehicle with Camera)
CB, CD Other vehicles (other vehicles)
DA Display area L Lane

Claims

A delay time measuring device for measuring a delay time of an image around the vehicle captured by a camera installed in the vehicle,
A light emitting unit installed in the vehicle and emitting light within an imaging range of the camera;
A light emission detection unit for detecting light emission of the light emission unit from an image taken by the camera;
A detection time measuring unit for measuring a detection time taken from light emission of the light emitting unit to detection of light emission by the light emission detecting unit;
A delay time determination unit for determining the delay time based on the detection time;
A delay time measuring apparatus comprising:

The delay time measuring apparatus according to claim 1, wherein the delay time determining unit determines the delay time based on the detection time and a reaction time of a liquid crystal display of the monitor.

The delay time measuring device according to claim 1, wherein the light emitting unit starts light emission when an engine of the vehicle is started.

An image display control device that displays on a monitor an image of the surroundings of the vehicle taken by a camera installed in the vehicle,
A light emitting unit installed in the vehicle and emitting light within an imaging range of the camera;
A light emission detection unit for detecting light emission of the light emission unit from an image taken by the camera;
A detection time measuring unit for measuring a detection time taken from light emission of the light emitting unit to detection of light emission by the light emission detecting unit;
A delay time determining unit that determines a delay time of the image based on the detection time;
A vehicle detection unit for detecting another vehicle from an image captured by the camera;
When the vehicle detection unit detects the other vehicle, an enlargement unit that enlarges the image based on the delay time;
A trimming unit for trimming an image enlarged by the enlargement unit in accordance with a display area of the monitor;
An image display control apparatus comprising: an output unit that outputs an image trimmed by the trimming unit to the monitor.