JP2006333300A - Recognition supporting apparatus and method for vehicle - Google Patents

Recognition supporting apparatus and method for vehicle Download PDF

Info

Publication number
JP2006333300A
JP2006333300A JP2005156837A JP2005156837A JP2006333300A JP 2006333300 A JP2006333300 A JP 2006333300A JP 2005156837 A JP2005156837 A JP 2005156837A JP 2005156837 A JP2005156837 A JP 2005156837A JP 2006333300 A JP2006333300 A JP 2006333300A
Authority
JP
Japan
Prior art keywords
vehicle
information
image
host vehicle
steering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005156837A
Other languages
Japanese (ja)
Other versions
JP4639960B2 (en
Inventor
Ken Oizumi
謙 大泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2005156837A priority Critical patent/JP4639960B2/en
Publication of JP2006333300A publication Critical patent/JP2006333300A/en
Application granted granted Critical
Publication of JP4639960B2 publication Critical patent/JP4639960B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To obtain a recognition supporting apparatus and method for vehicle in which an image comprehensible easily for a driver can be provided. <P>SOLUTION: The recognition supporting apparatus comprises: at least one camera 1 for acquiring an image around an own vehicle; a vehicle surrounding image generating device 2 for converting and composing images acquired by the camera 1 to generate a vehicle surrounding image; an information plotting device 5 for plotting an image representing the own vehicle and recognition support information for indirectly recognizing an estimated traveling orbit of the own vehicle in accordance with the vehicle surrounding image generated by the vehicle surrounding image generating device 2; an image composing device 6 for composing the vehicle surrounding image generated by the vehicle surrounding image generating device 2 and the image plotted by the information plotting device 5; a vehicle information acquisition device 3 for acquiring steering information of the own vehicle; and an arithmetic unit 4 for computing parameters for plotting the recognition support information based on the steering information acquired by the vehicle information acquisition device 3. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、車両用認識補助装置および方法に関する。   The present invention relates to a vehicle recognition assist apparatus and method.

下記特許文献1には、自車両の後方の画像をカメラで撮像し、運転者に提示する装置において、自車両の操操舵量から自車両の進路を計算し、自車両周囲画像の上に重畳させることで、自車両の予想進路や接触可能性の判断に関する運転者の認識を補助する、後退時の運転支援装置が記載されている。
また、下記特許文献2には、撮影した周辺画像を変換・合成し、自車両を表す画像と合わせてプランビューもしくは鳥瞰図表示する装置が記載されている。
In Patent Document 1 below, in a device that captures an image behind the host vehicle with a camera and presents it to the driver, the course of the host vehicle is calculated from the steering amount of the host vehicle, and is superimposed on the surrounding image of the host vehicle. Thus, there is described a driving assistance device at the time of reverse driving that assists the driver's recognition regarding the determination of the predicted course and contact possibility of the host vehicle.
Patent Document 2 below describes a device that converts and synthesizes captured peripheral images and displays a plan view or a bird's eye view together with an image representing the host vehicle.

特許第3183284号公報Japanese Patent No. 3183284 特開2003−91720号公報JP 2003-91720 A

上記特許文献2に記載された装置において、自車両の予想進路を画面上に描画すると、狭い領域内に描画情報が集中し、周辺画像が見づらくなるという問題がある。
本発明の目的は、上記課題を解決し、運転者に理解しやすい画像を提供することができる車両用認識補助装置および方法を提供することにある。
In the apparatus described in Patent Document 2, when the predicted course of the host vehicle is drawn on the screen, drawing information is concentrated in a narrow area, and there is a problem that it is difficult to see the surrounding image.
An object of the present invention is to provide a vehicle recognition assisting apparatus and method capable of solving the above-described problems and providing an image that can be easily understood by a driver.

上記課題を解決するために、本発明は、自車両の周辺の画像を取得する少なくとも1個の撮像装置と、取得された画像を変換・合成して、車両周囲画像を生成する車両周囲画像生成装置と、生成された前記車両周囲画像に合わせて、自車両を表す画像と、自車両の走行予想軌跡を間接的に認識させる認識補助情報を描画する情報描画装置と、前記車両周囲画像と前記情報描画装置により描画される画像とを合成する画像合成装置と、自車両の操舵情報を取得する車両情報取得装置と、取得された操舵情報に基づいて、前記認識補助情報を描画するためのパラメータを計算する演算装置とを有するという構成になっている。   In order to solve the above-described problems, the present invention provides at least one imaging device that acquires an image around the host vehicle and vehicle surrounding image generation that converts and combines the acquired images to generate a vehicle surrounding image. A device, an image representing the host vehicle, an information drawing device for drawing recognition auxiliary information for indirectly recognizing a predicted travel path of the host vehicle, the vehicle surrounding image, and the vehicle surrounding image generated An image composition device that composes an image drawn by the information drawing device, a vehicle information acquisition device that acquires steering information of the host vehicle, and a parameter for drawing the recognition auxiliary information based on the acquired steering information It has the structure which has an arithmetic unit which calculates.

本発明によれば、運転者に理解しやすい画像を提供することができる車両用認識補助装置および方法を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the vehicle recognition assistance apparatus and method which can provide a driver | operator's easy-to-understand image can be provided.

以下、図面を用いて本発明の実施の形態について詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
《車両用認識補助装置の全体構成》
図1は本発明の実施の形態の車両用認識補助装置の構成を示す図である。
図において、1は電子式のカメラ、2は車両周囲画像生成装置、3は車両情報取得装置、4は演算装置、5は情報描画装置、6は画像合成装置、7は表示装置である。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the drawings described below, components having the same function are denoted by the same reference numerals, and repeated description thereof is omitted.
<< Overall configuration of vehicle recognition assist apparatus >>
FIG. 1 is a diagram showing a configuration of a vehicle recognition assisting device according to an embodiment of the present invention.
In the figure, 1 is an electronic camera, 2 is a vehicle surrounding image generation device, 3 is a vehicle information acquisition device, 4 is a calculation device, 5 is an information drawing device, 6 is an image composition device, and 7 is a display device.

カメラ1は自車両の周囲の画像情報を撮像するカメラ(複数の場合は、カメラ群)である。図1ではカメラは3台以上の複数台となっているが、少なくとも1台あれば発明は構成可能である。カメラ1で撮像された画像は、車両周囲画像生成装置2に入力される。   The camera 1 is a camera that captures image information around the host vehicle (in the case of multiple cameras, a camera group). In FIG. 1, the number of cameras is three or more, but the invention can be configured with at least one camera. An image captured by the camera 1 is input to the vehicle surrounding image generation device 2.

車両周囲画像生成装置2は、カメラ1で撮像された画像(カメラ1が複数の場合は、画像群)を用いて、車両周囲画像を生成する装置である。処理の内容については、上記特許文献2に記載されているような処理を行い、車両周囲画像を生成する。   The vehicle surrounding image generation device 2 is a device that generates a vehicle surrounding image using an image captured by the camera 1 (an image group when there are a plurality of cameras 1). About the content of a process, the process as described in the said patent document 2 is performed, and a vehicle surrounding image is produced | generated.

図2(e)は自車両11に4台のカメラ1a〜1dが設置された状態を示す図である。1aは自車両11の前部に設置され、自車両11の前方を撮像するカメラ、1bは自車両11の左前側部に設置され、自車両11の左側方を撮像するカメラ、1cは自車両11の右前側部に設置され、自車両11の右側方を撮像するカメラ、1dは自車両11の後部に設置され、自車両11の後方を撮像するカメラである。   FIG. 2E is a diagram illustrating a state where four cameras 1 a to 1 d are installed in the host vehicle 11. A camera 1a is installed at the front of the host vehicle 11 and images the front of the host vehicle 11, 1b is a camera installed at the left front side of the host vehicle 11 and images the left side of the host vehicle 11, and 1c is the host vehicle. 11 is a camera that images the right side of the host vehicle 11 and 1d is a camera that is installed at the rear of the host vehicle 11 and images the rear of the host vehicle 11.

図2(a)はカメラ1aにより撮像された画像、(b)はカメラ1bにより撮像された画像、(c)はカメラ1cにより撮像された画像、(d)はカメラ1dにより撮像された画像、(f)はカメラ1a〜1dにより撮像された画像を変換・合成して生成された車両周囲画像を示す図である。   2 (a) is an image captured by the camera 1a, (b) is an image captured by the camera 1b, (c) is an image captured by the camera 1c, (d) is an image captured by the camera 1d, (F) is a figure which shows the vehicle surrounding image produced | generated by converting and synthesize | combining the image imaged with the cameras 1a-1d.

例えば図2に示すように、自車両11に取り付けられたカメラ1a〜1dで撮影された画像を、車両周囲画像生成装置2(図1)により変換・合成して、車両周囲画像、例えばプランビュー画像を生成する。自車両11に取り付けられたカメラ1a〜1dで撮影した画像を元に出力画像を生成しているため、生成された画像には、自車両11は映っておらず、図2(f)において黒い矩形で示される撮影不可能範囲12として残されている。生成された画像は、画像合成装置6に入力される。   For example, as shown in FIG. 2, images captured by the cameras 1 a to 1 d attached to the host vehicle 11 are converted and synthesized by the vehicle surrounding image generation device 2 (FIG. 1), and a vehicle surrounding image such as a plan view is displayed. Generate an image. Since the output image is generated based on the images captured by the cameras 1a to 1d attached to the host vehicle 11, the host vehicle 11 is not reflected in the generated image, and is black in FIG. It is left as a non-shootable range 12 indicated by a rectangle. The generated image is input to the image composition device 6.

図1の車両情報取得装置3は、自車両の現在の操舵方向(操舵の向き。右か左か)および操舵量(舵角)の操舵情報を取得し、情報描画装置5に送る。具体的には、車両情報取得装置3は、ステアリングに取り付けられたセンサーの情報や、CAN(controller area network)に流れる情報を取得し、車両の現在の操操舵量を計算して、出力とする。   The vehicle information acquisition device 3 in FIG. 1 acquires the steering information of the current steering direction (steering direction; right or left) and steering amount (steering angle) of the host vehicle, and sends the steering information to the information drawing device 5. Specifically, the vehicle information acquisition device 3 acquires information on sensors attached to the steering and information flowing in a CAN (controller area network), calculates the current steering amount of the vehicle, and outputs it. .

図3(a)は図2(f)と同じ車両周囲画像、(b)は自車両を表す画像、(c)は図3(a)の車両周囲画像に図3(b)の自車両を表す画像を描画した画像を示す図である。   3 (a) is the same vehicle surrounding image as FIG. 2 (f), (b) is an image representing the host vehicle, (c) is the vehicle surrounding image of FIG. 3 (a) and the host vehicle of FIG. 3 (b). It is a figure which shows the image which rendered the image to represent.

図1の情報描画装置5は、車両周囲画像生成装置2で生成した図3(a)の車両周囲画像に合わせて、図3(b)の自車両を表す画像13を描画する。
演算装置4は、車両情報取得装置3からの操舵情報を用いて、認識補助情報を演算し、情報描画装置5に送る。情報描画装置5はこれを元に描画する。この認識補助情報の内容、演算および描画内容については、あとで詳しく述べる。情報描画装置5は、自車両を表す画像13と認識補助情報を描画した画像を、画像合成装置6に送る。なお、演算装置4は、情報描画装置5の内部に組み込まれていても良い。
The information drawing device 5 in FIG. 1 draws an image 13 representing the host vehicle in FIG. 3B in accordance with the vehicle surrounding image in FIG. 3A generated by the vehicle surrounding image generation device 2.
The computing device 4 computes recognition auxiliary information using the steering information from the vehicle information acquisition device 3 and sends it to the information drawing device 5. The information drawing device 5 draws based on this. The contents of the recognition auxiliary information, the calculation, and the drawing contents will be described in detail later. The information drawing device 5 sends an image 13 representing the host vehicle and an image in which recognition auxiliary information is drawn to the image composition device 6. The arithmetic device 4 may be incorporated in the information drawing device 5.

画像合成装置6は、車両周囲画像生成装置2で生成された車両周囲画像と、情報描画装置5で生成された描画画面とを合成し、表示装置7に送る。   The image synthesizing device 6 synthesizes the vehicle surrounding image generated by the vehicle surrounding image generating device 2 and the drawing screen generated by the information drawing device 5 and sends them to the display device 7.

情報描画装置5で生成された描画画面は、車両周囲画像生成装置2で生成された車両周囲画像に合わせて描画内容を決定しているため、画像合成装置6による合成後の画像は、図3に示すように車両周囲画像と車両を表す画像13の表示が、実際の位置関係を反映した位置関係になっている。同様に、後で詳述するように認識補助情報も、車両周囲画像に合わせて描画されているため、運転者は、合成後の画像を見ることで、自車両と周囲との関係および、自車両の状況を把握することが可能となる。演算装置4は、車両情報取得装置3から送られた操舵情報を用いて、自車両の旋回(回転)半径を計算し、情報描画装置5に送る。   Since the drawing screen generated by the information drawing device 5 determines the drawing content according to the vehicle surrounding image generated by the vehicle surrounding image generating device 2, the image after the combining by the image combining device 6 is shown in FIG. As shown in FIG. 5, the display of the vehicle surrounding image and the image 13 representing the vehicle has a positional relationship reflecting the actual positional relationship. Similarly, since the recognition assistance information is also drawn in accordance with the vehicle surrounding image as will be described in detail later, the driver can see the relationship between the vehicle and the surroundings and the vehicle by looking at the combined image. It becomes possible to grasp the situation of the vehicle. The calculation device 4 calculates the turning (rotation) radius of the host vehicle using the steering information sent from the vehicle information acquisition device 3 and sends it to the information drawing device 5.

《演算装置4の動作》
以下、演算装置4の動作について述べる。
図4は車両旋回半径の計算について説明する図である。図において、14はタイヤ、15は各タイヤ14の向きの交点(車輪軸の交点)である。
<< Operation of the arithmetic unit 4 >>
Hereinafter, the operation of the arithmetic unit 4 will be described.
FIG. 4 is a diagram for explaining calculation of the vehicle turning radius. In the figure, 14 is a tire, and 15 is an intersection of the directions of the tires 14 (intersection of wheel axles).

極低速時においては、自車両11の各タイヤ14の向きの交点15が自車両11の旋回中心となる。   At an extremely low speed, the intersection 15 of the direction of each tire 14 of the host vehicle 11 becomes the turning center of the host vehicle 11.

図5は前輪と後輪を左右まとめて考える2輪モデルを示す図である。図において、16は仮想タイヤ、17は仮想タイヤ16の向きの交点である。   FIG. 5 is a diagram showing a two-wheel model in which the front wheel and the rear wheel are considered left and right together. In the figure, 16 is a virtual tire, and 17 is an intersection of the directions of the virtual tire 16.

車両の設定においては、図4の各タイヤ14の向きの交点15が厳密に一点に定まらない場合がある。従って、図5に示すように、前輪と後輪を左右まとめて考える2輪モデルを用いて、車両11上の仮想タイヤ16の向きの交点17を求め、自車両11の旋回中心と置く。これらの計算方法については、公知である。よって、自車両11の大きさおよび外形状の情報と、操舵情報から、自車両11と旋回中心との位置関係が求まり、自車両11の通過する領域や、旋回半径などを算出することができる。また、車両周囲の状況をプランビュー表示する画像や鳥瞰図表示する画像の中での、自車両通過領域や旋回半径は、実際の寸法と画像中の寸法の関係を考慮することで計算することが可能である。   In the setting of the vehicle, the intersection 15 of the direction of each tire 14 in FIG. 4 may not be determined exactly at one point. Therefore, as shown in FIG. 5, the intersection 17 of the orientation of the virtual tire 16 on the vehicle 11 is obtained using a two-wheel model that considers the front and rear wheels together, and set as the turning center of the host vehicle 11. These calculation methods are known. Therefore, the positional relationship between the host vehicle 11 and the turning center can be obtained from the size and outer shape information of the host vehicle 11 and the steering information, and the region through which the host vehicle 11 passes, the turning radius, and the like can be calculated. . In addition, the vehicle passing area and turning radius in the plan view display image and bird's eye view display image of the situation around the vehicle can be calculated by considering the relationship between the actual dimensions and the dimensions in the images. Is possible.

《情報描画装置5の動作》
以下に、情報描画装置5の動作について表示例別に説明する。
<< Operation of Information Drawing Device 5 >>
Below, operation | movement of the information drawing apparatus 5 is demonstrated according to a display example.

〈表示例1〉
図6は情報描画装置5の表示例1について説明する図である。図において、21は自車両を表す画像、22、23は認識補助線を構成する線分、24は2本の線分22、23を延長してできる交点である。
<Display example 1>
FIG. 6 is a diagram for explaining a display example 1 of the information drawing device 5. In the figure, 21 is an image representing the own vehicle, 22 and 23 are line segments constituting the recognition auxiliary line, and 24 is an intersection formed by extending the two line segments 22 and 23.

自車両を表す画像(図形)21上に2本の線分22と線分23が描画されている。線分22は自車両を表す画像21の前輪をイメージさせる位置に描画され、線分23は自車両を表す画像21の後輪をイメージさせる位置に描画されている。線分22は、操操舵量に応じてその向きを変える。線分22と線分23を延長してできる交点24は、先に説明した自車両の旋回中心を表すように、線分22および線分23の位置と、線分22の角度変化と操操舵量の関係を設定する。   Two line segments 22 and 23 are drawn on an image (figure) 21 representing the host vehicle. A line segment 22 is drawn at a position where the front wheel of the image 21 representing the host vehicle is imaged, and a line segment 23 is drawn at a position where the rear wheel of the image 21 representing the host vehicle is imaged. The direction of the line segment 22 changes according to the amount of steering. An intersection 24 formed by extending the line segment 22 and the line segment 23 represents the position of the line segment 22 and the line segment 23, the angle change of the line segment 22, and the steering operation so as to represent the turning center of the vehicle described above. Set the quantity relationship.

四輪操舵を備える車両では、線分23についても、操操舵量に応じて角度が変化する。しかし、交点24が自車両の旋回中心と一致するのであれば、線分22と線分23の角度変化が、実際の操操舵量やタイヤの切れ角と比例する必要はなく、表示のわかりやすさを優先して、例えば線分23の角度変化量を0に固定するなどしても良い。   In a vehicle equipped with four-wheel steering, the angle of the line segment 23 also changes according to the amount of steering. However, if the intersection 24 coincides with the turning center of the host vehicle, the change in the angle between the line segment 22 and the line segment 23 does not have to be proportional to the actual steering amount or the tire turning angle, and the display is easy to understand. For example, the angle change amount of the line segment 23 may be fixed to 0, for example.

その結果、運転者は、自車両の操舵情報および旋回中心を表示装置7の表示画像から取得することができ、車両周囲画像と合わせて自車両の旋回を予測することができる。   As a result, the driver can acquire the steering information and the turning center of the own vehicle from the display image of the display device 7, and can predict the turning of the own vehicle together with the vehicle surrounding image.

なお、交点24を表示しない表示形態も可能である。この場合、自車両の旋回中心は画像中には表示されないが、運転者は、線分22および線分23の、それぞれの傾きおよび位置関係から、交点24の位置を画像中にイメージすることができるため、表示しない場合と同じような効果を、よりシンプルな表示で獲得することができる。   A display form in which the intersection 24 is not displayed is also possible. In this case, the turning center of the host vehicle is not displayed in the image, but the driver can imagine the position of the intersection 24 in the image from the inclination and positional relationship of the line segment 22 and the line segment 23. Therefore, the same effect as when not displaying can be obtained with a simpler display.

また、自車両を表す画像21と交点24のみを表示することも可能である。この場合、線分22および線分23が表示されないため、運転者が現状の操舵情報を画像から取得することはできないが、自車両を表す画像21と交点24との位置関係により、自車両の旋回を予想することができ、表示の主要な目的のひとつを満足することができる。   It is also possible to display only the image 21 representing the host vehicle and the intersection 24. In this case, since the line segment 22 and the line segment 23 are not displayed, the driver cannot obtain the current steering information from the image. However, due to the positional relationship between the image 21 representing the host vehicle and the intersection 24, the driver A turn can be anticipated and one of the main purposes of the display can be met.

〈表示例2〉
図7は本発明の情報描画装置5の表示例2を説明する図である。図において、31は自車両を表す画像、32、33は認識補助線を構成する線分、34は2本の線分32、33を延長してできる交点、35は自車両の旋回(移動)軌跡の最大半径の円弧、36は自車両の旋回軌跡の最小半径の円弧である。
<Display example 2>
FIG. 7 is a diagram for explaining a display example 2 of the information drawing apparatus 5 of the present invention. In the figure, 31 is an image representing the own vehicle, 32 and 33 are line segments constituting recognition auxiliary lines, 34 is an intersection formed by extending two line segments 32 and 33, and 35 is a turn (movement) of the own vehicle. An arc having the maximum radius of the trajectory, and 36 is an arc having the minimum radius of the turning trajectory of the host vehicle.

自車両を表す画像31と2本の線分32、33、自車両の旋回中心である線分32と33の交点34の関係、簡易表示例などについては、表示例1と同様に考えることができる。情報描画装置5は自車両の外形状と、交点34から、自車両の旋回軌跡の最大半径の円弧35と最小半径の円弧36を求める。これらの円弧35、36は、自車両の操操舵量と、自車両形状で求まることとなる。線分32および線分33を描画する際に、それぞれの線分32、33の、両端の点を円弧35および円弧36との交点とする。これにより、線分32および線分33の長さと位置を見ることで、運転者は、自車両の進行に伴って通過する領域をイメージすることが可能となる。   The relationship between the image 31 representing the host vehicle and the two line segments 32 and 33, the intersection 34 of the segment 32 and 33 that is the turning center of the host vehicle, a simple display example, and the like can be considered in the same manner as in the display example 1. it can. The information drawing device 5 obtains the arc 35 having the maximum radius and the arc 36 having the minimum radius from the outer shape of the host vehicle and the intersection point 34. These arcs 35 and 36 are obtained by the steering amount of the host vehicle and the shape of the host vehicle. When the line segment 32 and the line segment 33 are drawn, points at both ends of the line segments 32 and 33 are set as intersections with the arc 35 and the arc 36. Accordingly, by looking at the length and position of the line segment 32 and the line segment 33, the driver can imagine a region that passes along with the progress of the host vehicle.

操操舵量にかかわらず、操操舵量の変化量が0である場合には、線分32、33と円弧35との交点は、自車両の旋回方向にのみよって決定されるため、線分32、33の両端を計算しなくても良い。   Regardless of the amount of steering, if the amount of change in the amount of steering is 0, the intersection of the line segments 32, 33 and the arc 35 is determined only by the turning direction of the host vehicle, and therefore the line segment 32 , 33 need not be calculated at both ends.

また、表示例2の応用表示として次のようなものが考えられる。自車両進行方向が前進の場合には、線分32および線分33の、長さと位置で、円弧35をイメージさせても、あまり実効性がない。同様に、自車両進行方向が後退の場合には、円弧36をイメージさせても、あまり実効性がない。よって、自車両が前進する場合には、線分32および線分33の、旋回の内側となる点のみを前記計算によって求め、自車両が後退する場合には、線分32および線分33の、旋回の外側となる点のみを前記計算によって算出し、表示を行う。この表示で、運転者は、必要最小限の表示で、最小限必要な領域をイメージすることが可能となる。   Moreover, the following can be considered as an application display of the display example 2. When the traveling direction of the host vehicle is forward, it is not very effective to imagine the arc 35 with the length and position of the line segment 32 and the line segment 33. Similarly, when the traveling direction of the host vehicle is backward, it is not very effective to imagine the arc 36. Therefore, when the host vehicle moves forward, only the points on the inside of the turn of the line segment 32 and the line segment 33 are obtained by the above calculation, and when the host vehicle moves backward, the line segment 32 and the line segment 33 Only the points outside the turn are calculated by the above calculation and displayed. With this display, the driver can image the minimum necessary area with the minimum necessary display.

〈表示例3〉
図8は情報描画装置の表示例3を説明する図である。図において、41は自車両を表す画像、42、43は認識補助線を構成する線分、44は2本の線分42、43を延長してできる交点、45は操舵記号である。
<Display example 3>
FIG. 8 is a diagram for explaining a display example 3 of the information drawing apparatus. In the figure, 41 is an image representing the host vehicle, 42 and 43 are line segments constituting a recognition auxiliary line, 44 is an intersection formed by extending two line segments 42 and 43, and 45 is a steering symbol.

先に説明した自車両の旋回中心を表すように、交点44の位置を決定する。線分42および線分43を、それぞれ延長した2本の直線が、交点44で交わり、かつ、線分42および線分43が、自車両を表す画像41に外接するように描画されている。よって、線分42および線分43は、自車両を表す画像41の形状と、交点44の位置で、描画位置および描画角度が、決定されることとなる。   The position of the intersection point 44 is determined so as to represent the turning center of the host vehicle described above. Two straight lines extending from the line segment 42 and the line segment 43 are drawn at an intersection point 44, and the line segment 42 and the line segment 43 are drawn so as to circumscribe the image 41 representing the host vehicle. Therefore, the drawing position and the drawing angle of the line segment 42 and the line segment 43 are determined by the shape of the image 41 representing the host vehicle and the position of the intersection 44.

運転者は、表示から、自車両の操操舵量と、旋回半径をイメージすることが可能となる。また、自車両を表わす画像41の外に、線分42および線分43を、描画するので、表示が重畳せず、運転者が見やすい画像となる。   The driver can imagine the amount of steering and the turning radius of the host vehicle from the display. In addition, since the line segment 42 and the line segment 43 are drawn outside the image 41 representing the host vehicle, the display is not superimposed and the driver can easily view the image.

また、線分42および線分43が、自車両を表す画像41に外接せず、その近傍に描画されていても、交点44と線分42と線分43の関係が、同じであれば、ほぼ同じ効果を得ることができる。速度に応じて、自車両を表す画像41と、線分42、線分43の少なくとも一方との距離を変化させることで、自車両の速度を表現してもよい。具体的には、速度を上げると、線分42もしくは線分43と、自車両を表す画像41との距離が大きくなるような表示である。自車両が前進するときは、線分42と自車両を表す画像41との距離が開き、自車両が後退するときは、線分43と自車両を表す画像41との距離が開くようにしてもよい。これらのどの場合も、線分42および線分43は、それぞれを延長したそれぞれの直線の交点が、交点44に一致するように描画する。   Further, even if the line segment 42 and the line segment 43 do not circumscribe the image 41 representing the host vehicle and are drawn in the vicinity thereof, if the intersection 44, the line segment 42, and the line segment 43 have the same relationship, Almost the same effect can be obtained. Depending on the speed, the speed of the host vehicle may be expressed by changing the distance between the image 41 representing the host vehicle and at least one of the line segment 42 and the line segment 43. Specifically, the display is such that when the speed is increased, the distance between the line segment 42 or the line segment 43 and the image 41 representing the host vehicle increases. When the host vehicle moves forward, the distance between the line segment 42 and the image 41 representing the host vehicle is opened. When the host vehicle moves backward, the distance between the line segment 43 and the image 41 representing the host vehicle is opened. Also good. In any of these cases, the line segment 42 and the line segment 43 are drawn so that the intersection of the respective straight lines extending from the line segment 42 and the line segment 43 coincides with the intersection point 44.

また、交点44を描画せず、線分42および線分43のみを描画することも可能である。この場合も、運転者は、線分42および線分43の角度から、延長した2本の直線の交点をイメージすることが可能で、結果、交点44を描画した場合とほぼ同等の効果を得ることができる。   It is also possible to draw only the line segment 42 and the line segment 43 without drawing the intersection point 44. Also in this case, the driver can image the intersection of two extended straight lines from the angles of the line segment 42 and the line segment 43. As a result, the driver can obtain substantially the same effect as when the intersection point 44 is drawn. be able to.

また、線分42および線分43の長さは、表示例2で示したのと同様に、自車両の旋回軌跡の、最大半径の円弧と最小半径の円弧を求め、それらを用いて、線分42および線分43の、両端の座標を求めても良い。この場合には、運転者は、先に示した効果に加え、これから自車両の通過する領域を、線分42および線分43から、直感的にイメージすることができ、接触予測の判断に、役立てることが可能となる。   Similarly to the lengths of the line segment 42 and the line segment 43, the maximum radius arc and the minimum radius arc of the turning trajectory of the host vehicle are obtained as in the case of the display example 2, You may obtain | require the coordinate of the both ends of the segment 42 and the line segment 43. FIG. In this case, in addition to the effects described above, the driver can intuitively imagine the area through which the vehicle will pass from the line segment 42 and the line segment 43. It can be useful.

また、画面の一部、もしくは図8に示すように、自車両を表す画像41の内部に、操舵情報、すなわち、操舵方向および操舵量を示す操舵記号45を描画し、運転者にこれらの情報を与えてもよい。図8に示している例は、矢印で操舵方向および操舵量の情報を与えているものである。操舵量が0の場合は、操舵記号45は、自車両を表す画像41と同じ向きに描画され、操舵方向と操舵量に応じて、左右に傾いた状態で表示される。もちろん、操舵記号45による操舵方向および操舵量の表示は、表示例1および表示例2に適用しても良い。   In addition, as shown in FIG. 8 or a part of the screen, or in an image 41 representing the host vehicle, steering information, that is, a steering symbol 45 indicating a steering direction and a steering amount is drawn, and these information are shown to the driver. May be given. In the example shown in FIG. 8, information on the steering direction and the steering amount is given by arrows. When the steering amount is 0, the steering symbol 45 is drawn in the same direction as the image 41 representing the host vehicle, and is displayed in a state tilted left and right according to the steering direction and the steering amount. Of course, the display of the steering direction and the steering amount by the steering symbol 45 may be applied to Display Example 1 and Display Example 2.

〈表示例4〉
図9は情報描画装置の表示例4を説明する図である。図において、51は自車両を表す画像、52は矢印、53は矢印、54は交点は操舵記号である。
<Display example 4>
FIG. 9 is a diagram for explaining a display example 4 of the information drawing apparatus. In the figure, 51 is an image representing the host vehicle, 52 is an arrow, 53 is an arrow, and 54 is a steering symbol.

図9に示すように、自車両を表す画像51内に、自車両の旋回軌跡の曲率に合わせて湾曲させた矢印52を表示してもよい。また、自車両の旋回軌跡の曲率に合わせた矢印53を自車両を表す画像51の前方に表示してもよい。このようにすることで、より簡単な表示で運転者に立体物との接触可能性を予測させることができる。なお、交点54は、表示してもしなくても良い。   As shown in FIG. 9, an arrow 52 curved according to the curvature of the turning trajectory of the host vehicle may be displayed in an image 51 representing the host vehicle. Moreover, you may display the arrow 53 matched with the curvature of the turning locus | trajectory of the own vehicle ahead of the image 51 showing the own vehicle. By doing in this way, a driver | operator can be made to predict the contact possibility with a solid object by a simpler display. Note that the intersection 54 may or may not be displayed.

以上説明したように本実施の形態の車両用認識補助装置は、図1に示したように、自車両の周辺の画像を取得する少なくとも1個のカメラ(撮像装置)1と、カメラ1により取得される画像を変換・合成して、車両周囲画像を生成する車両周囲画像生成装置2と、車両周囲画像生成装置2により生成される車両周囲画像に合う形で、自車両を表す画像と、自車両の走行予想軌跡を間接的に認識させる認識補助情報を描画する情報描画装置5と、車両周囲画像生成装置2により生成される車両周囲画像と、情報描画装置5により描画される画像とを合成する画像合成装置6と、自車両の操舵情報を取得する車両情報取得装置3と、車両情報取得装置3により取得される操舵情報に基づいて、前記認識補助情報を描画するためのパラメータを計算する演算装置4とを有するという構成になっている。   As described above, the vehicle recognition assisting device according to the present embodiment is acquired by at least one camera (imaging device) 1 that acquires an image around the host vehicle and the camera 1 as shown in FIG. A vehicle surrounding image generation device 2 that converts and synthesizes the generated images to generate a vehicle surrounding image, an image that represents the host vehicle in a form that matches the vehicle surrounding image generated by the vehicle surrounding image generation device 2, The information drawing device 5 for drawing recognition auxiliary information for indirectly recognizing the predicted traveling locus of the vehicle, the vehicle surrounding image generated by the vehicle surrounding image generating device 2, and the image drawn by the information drawing device 5 are combined. Based on the image information synthesizing device 6, the vehicle information acquiring device 3 for acquiring the steering information of the host vehicle, and the steering information acquired by the vehicle information acquiring device 3, the parameters for drawing the recognition auxiliary information are calculated. It has a configuration that has an arithmetic unit 4 that.

また、本実施の形態の車両用認識補助方法は、自車両の周辺の画像を取得する撮像工程と、前記撮像工程において取得される画像を変換・合成して、車両周囲画像を生成する車両周囲画像生成工程と、前記車両周囲画像生成工程において生成される車両周囲画像に合う形で、前記自車両を表す画像と、前記自車両の走行予想軌跡を間接的に認識させる認識補助情報を描画する情報描画工程と、前記車両周囲画像生成工程において生成される車両周囲画像と、前記情報描画工程において描画される画像とを合成する画像合成工程と、前記自車両の操舵情報を取得する車両情報取得工程と、前記車両情報取得工程において取得される操舵情報に基づいて、前記認識補助情報を描画するためのパラメータを計算する演算工程とを有する。   Further, the vehicle recognition assist method of the present embodiment includes an imaging step for acquiring an image around the own vehicle, and a vehicle surrounding that generates a vehicle surrounding image by converting and combining the images acquired in the imaging step. An image representing the host vehicle and recognition auxiliary information for indirectly recognizing the predicted travel path of the host vehicle are drawn in a form that matches the vehicle surrounding image generated in the image generating step and the vehicle surrounding image generating step. An information drawing step, an image combining step of combining the vehicle surrounding image generated in the vehicle surrounding image generation step and the image drawn in the information drawing step, and vehicle information acquisition for acquiring steering information of the host vehicle And a calculation step of calculating a parameter for drawing the recognition auxiliary information based on the steering information acquired in the vehicle information acquisition step.

前述のように上記特許文献2に記載された装置において、自車両の予想進路を画面上に描画すると、狭い領域内に描画情報が集中し、周辺画像が見づらくなるという問題があった。また、変換処理された周辺画像は、その原理上、立体物との距離が正確に表示されないため、周辺画像上に予想進路を描画すると、運転者が、周辺画像上の立体物と自車両との接触予測判断を誤る可能性があった。これに対して、本実施の形態では、自車両の予想進路と、接触可能性の認識補助、あるいは自車両の操舵方向および操舵量の操舵情報の提示を、従来とは異なった表示を用いて行うことで、このような問題を解決し、運転者の認識を補助する装置および方法を提供するものである。   As described above, in the apparatus described in Patent Document 2, when the predicted course of the host vehicle is drawn on the screen, there is a problem that drawing information is concentrated in a narrow area and it is difficult to see the surrounding image. In addition, since the distance from the three-dimensional object is not accurately displayed in the principle of the converted peripheral image, when the predicted course is drawn on the peripheral image, the driver can recognize the three-dimensional object and the vehicle on the peripheral image. There was a possibility of wrong contact prediction judgment. On the other hand, in the present embodiment, the predicted course of the host vehicle and the assistance for recognizing contact possibility, or the presentation of the steering information of the steering direction and the steering amount of the host vehicle are displayed using a display different from the conventional one. By doing so, it is an object of the present invention to provide an apparatus and a method for solving such problems and assisting the driver's recognition.

すなわち、本実施の形態では、取得した自車両の周囲の画像を変換・合成して、車両周囲画像を生成し、その車両周囲画像上に自車両を表す画像と、操舵情報から算出した認識補助線等の認識補助情報を合成した画像を表示し、運転者に提示するので、理解しやすい画像を運転者に提示することができるようになる。   In other words, in the present embodiment, the obtained surrounding image of the host vehicle is converted and combined to generate a vehicle surrounding image, and the image representing the host vehicle on the vehicle surrounding image and the recognition assist calculated from the steering information. An image obtained by combining recognition auxiliary information such as lines is displayed and presented to the driver, so that an easy-to-understand image can be presented to the driver.

また、情報描画装置5は、例えば図6、図7、図8に示したように、2本の線分22、23(あるいは32、33、あるいは42、43)からなる認識補助線を描画し、そのうちの少なくとも1本を自車両の操舵量と連動させて描画するようになっている。このように認識補助線が2本の線分で表現され、かつ、そのうちの少なくとも1本が操舵量と連動するため、認識補助線の描画内容がシンプルで画面上に占める割合が少なくなり、車両周囲画像が見やすくなる。また、2本の線分が操舵方向および操舵量を表現することが可能なため、運転者は、自車両の、操舵方向および操舵量を理解することができ、進行方向、進行軌跡を予測することができるようになる。   Further, the information drawing apparatus 5 draws a recognition auxiliary line composed of two line segments 22 and 23 (or 32, 33, or 42, 43) as shown in FIGS. 6, 7, and 8, for example. At least one of them is drawn in conjunction with the steering amount of the host vehicle. In this way, the recognition auxiliary line is expressed by two line segments, and at least one of them is linked to the steering amount, so that the drawing content of the recognition auxiliary line is simple and the proportion of the drawing on the screen is reduced. The surrounding images are easy to see. Further, since the two line segments can express the steering direction and the steering amount, the driver can understand the steering direction and the steering amount of the host vehicle, and predict the traveling direction and the traveling locus. Will be able to.

また、図6〜図9に示したように、2本の線分を延長してできる交点が、自車両の旋回中心になっている。これにより、運転者は、交点あるいは2本の線分から、自車両の旋回半径を予測することができるようになる。   Moreover, as shown in FIGS. 6-9, the intersection formed by extending two line segments is the turning center of the host vehicle. As a result, the driver can predict the turning radius of the host vehicle from the intersection or two line segments.

また、情報描画装置5は、例えば図6、図7、図8に示したように、交点を示す記号(図6の24、図7の34、図8の44、図9の54)を2本の線分と同時に画面上に描画するようになっている。このように交点が2本の線分とともに画面上に表示されるので、運転者は、自車両を示す画像と交点から、直接的に自車両の旋回半径を予測することができるようになる。   In addition, the information drawing device 5, for example, as shown in FIGS. 6, 7, and 8, the symbol indicating the intersection (24 in FIG. 6, 34 in FIG. 7, 44 in FIG. 8, 54 in FIG. 9) 2 It draws on the screen at the same time as the line segment of the book. Since the intersection point is displayed on the screen together with the two line segments in this way, the driver can directly predict the turning radius of the own vehicle from the image showing the own vehicle and the intersection point.

また、交点と自車両の大きさおよび外形状に基づいて求められる、自車両の操舵量に応じた、自車両の最大半径と最小半径に基づいて、2本の線分を描画するのに必要な4点の座標のうち少なくとも1点の座標を決定するようになっている。このように2本の線分が、操舵量で決定される自車両通過軌跡の最大半径と最小半径を用いて描画されるため、運転者は2本の線分から、自車両の通過領域を予測することがより容易になる。   Necessary for drawing two line segments based on the maximum radius and the minimum radius of the vehicle according to the steering amount of the vehicle, which is obtained based on the intersection and the size and outer shape of the vehicle. At least one of the four coordinates is determined. Since the two line segments are drawn using the maximum radius and the minimum radius of the own vehicle passage locus determined by the steering amount in this way, the driver predicts the passing region of the own vehicle from the two line segments. It will be easier to do.

また、情報描画装置5は、図6、図7に示したように2本の線分を、自車両を表す画像上の、自車両の前輪と後輪をイメージできる位置に描画するようになっている。これにより、運転者は、2本の線分と自車両を表す画像から自車両操作との関係をより直感的に理解できるようになる。   In addition, the information drawing device 5 draws two line segments on the image representing the host vehicle at positions where the front wheel and the rear wheel of the host vehicle can be imaged as shown in FIGS. 6 and 7. ing. Thus, the driver can more intuitively understand the relationship between the two line segments and the own vehicle operation from the image representing the own vehicle.

また、情報描画装置5は、図8に示したように、2本の線分を、自車両を表す画像に外接するように描画するようになっている。これにより、運転者は、2本の線分から、自車両進行方向の障害物との接触可能性を予測しやすくなる。   Further, as shown in FIG. 8, the information drawing device 5 draws two line segments so as to circumscribe an image representing the host vehicle. Accordingly, the driver can easily predict the possibility of contact with an obstacle in the traveling direction of the host vehicle from the two line segments.

また、情報描画装置5は、2本の線分を、自車両を表す画像の近傍に描画することが可能である。これにより、運転者は、自車両進行方向の障害物との接触可能性を、より早いタイミングで予測することが可能になる。   In addition, the information drawing device 5 can draw two line segments in the vicinity of an image representing the host vehicle. As a result, the driver can predict the possibility of contact with an obstacle in the traveling direction of the host vehicle at an earlier timing.

また、図8に示したように、情報描画装置5は、自車両の操舵方向、操舵量の少なくとも一方を示す操舵記号45を描画するようになっている。これにより、運転者は、自らの操舵方向もしくは操舵方向および操舵量を把握することが容易になる。   Further, as shown in FIG. 8, the information drawing device 5 draws a steering symbol 45 indicating at least one of the steering direction and the steering amount of the host vehicle. As a result, the driver can easily grasp his or her steering direction or steering direction and steering amount.

また、情報描画装置5は、図8に示したように、操舵記号45を自車両を表す画像の内部に描画するようになっている。これにより、運転者は、自車両と車両周囲画像との関係を取得しながら、自らの操舵状況を把握することが可能となる。   Further, as shown in FIG. 8, the information drawing device 5 draws the steering symbol 45 inside the image representing the host vehicle. Accordingly, the driver can grasp his / her steering state while acquiring the relationship between the host vehicle and the vehicle surrounding image.

また、情報描画装置5は、図9に示したように、2本の線分を表示せず、交点54のみを描画することも可能である。これにより、画面上の情報量を低減することができ、運転者は、自車両の進路予測に最も必要な、自車両の旋回半径を、最小限の表示(自車両と交点との位置関係)から予測することが可能となる。   Further, as shown in FIG. 9, the information drawing apparatus 5 can draw only the intersection 54 without displaying two line segments. As a result, the amount of information on the screen can be reduced, and the driver can display the turning radius of the host vehicle, which is most necessary for predicting the course of the host vehicle, to a minimum (the positional relationship between the host vehicle and the intersection). It is possible to predict from

また、情報描画装置5は、図9に示したように、自車両の旋回軌跡の曲率に合わせて湾曲させた線からなる認識補助線(矢印52もしくは53)を描画することも可能である。これにより、運転者は、自車両の操舵方向および操舵量を把握することが容易になる。   Further, as shown in FIG. 9, the information drawing device 5 can also draw a recognition auxiliary line (arrow 52 or 53) composed of a curved line in accordance with the curvature of the turning trajectory of the host vehicle. Thereby, the driver can easily grasp the steering direction and the steering amount of the host vehicle.

なお、以上説明した実施の形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記実施の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。   The embodiment described above is described for facilitating the understanding of the present invention, and is not described for limiting the present invention. Therefore, each element disclosed in the above embodiment includes all design changes and equivalents belonging to the technical scope of the present invention.

本発明の実施の形態の車両用認識補助装置の構成を示す図である。It is a figure which shows the structure of the recognition assistance apparatus for vehicles of embodiment of this invention. 自車両に4台のカメラを設置した状態と、各カメラにより撮像された画像と、これらのカメラにより撮像された画像を変換・合成して生成された車両周囲画像を示す図である。It is a figure which shows the state around which four cameras were installed in the own vehicle, the image imaged with each camera, and the vehicle surrounding image produced | generated by converting and combining the image imaged with these cameras. 車両周囲画像と、自車両を表す画像と、車両周囲画像に自車両を表す画像を描画した画像を示す図である。It is a figure which shows the image which drawn the image which represents the vehicle surrounding image, the image showing the own vehicle, and the vehicle surrounding image on the vehicle surrounding image. 車両旋回半径の計算について説明する図である。It is a figure explaining calculation of a vehicle turning radius. 前輪と後輪を左右まとめて考える2輪モデルを示す図である。It is a figure which shows the two-wheel model which considers a front wheel and a rear wheel collectively. 情報描画装置の表示例1について説明する図である。It is a figure explaining the example 1 of a display of an information drawing device. 情報描画装置の表示例2について説明する図である。It is a figure explaining the example 2 of a display of an information drawing device. 情報描画装置の表示例3について説明する図である。It is a figure explaining the example 3 of a display of an information drawing device. 情報描画装置の表示例4について説明する図である。It is a figure explaining the example 4 of a display of an information drawing device.

符号の説明Explanation of symbols

1…カメラ 2…車両周囲画像生成装置
3…車両情報取得装置 4…演算装置
5…情報描画装置 6…画像合成装置
7…表示装置
1a、1b、1c、1d…カメラ
11…自車両 12…撮影不可能範囲
13…自車両を表す画像
14…タイヤ
15…旋回中心 16…仮想タイヤ
17…仮想タイヤの向きの交点
21…自車両を表す画像 22…線分
23…線分 24…交点
31…自車両を表す画像 32…線分
33…線分 34…交点
35…自車両の旋回軌跡の最大半径の円弧
36…自車両の旋回軌跡の最小半径の円弧
41…自車両を表す画像 42…線分
43…線分 44…交点
45…操舵記号
51…自車両を表す画像 52…矢印
53…矢印 44…交点
DESCRIPTION OF SYMBOLS 1 ... Camera 2 ... Vehicle surrounding image generation apparatus 3 ... Vehicle information acquisition apparatus 4 ... Arithmetic apparatus 5 ... Information drawing apparatus 6 ... Image composition apparatus 7 ... Display apparatus 1a, 1b, 1c, 1d ... Camera 11 ... Own vehicle 12 ... Photographing Impossible range 13 ... Image 14 representing own vehicle ... Tire 15 ... Turning center 16 ... Virtual tire 17 ... Intersection 21 of virtual tire orientation 22 ... Image representing own vehicle 22 ... Line segment 23 ... Line segment 24 ... Intersection 31 ... Self Image representing vehicle 32 ... line segment 33 ... line segment 34 ... intersection 35 ... arc of maximum radius of turning trajectory of own vehicle ... arc of minimum radius of turning trajectory of own vehicle 41 ... image representing own vehicle 42 ... line segment 43 ... line segment 44 ... intersection 45 ... steering symbol 51 ... image representing own vehicle 52 ... arrow 53 ... arrow 44 ... intersection

Claims (13)

自車両の周辺の画像を取得する少なくとも1個の撮像装置と、
前記撮像装置により取得される画像を変換・合成して、車両周囲画像を生成する車両周囲画像生成装置と、
前記車両周囲画像生成装置により生成される車両周囲画像に合う形で、前記自車両を表す画像と、前記自車両の走行予想軌跡を間接的に認識させる認識補助情報を描画する情報描画装置と、
前記車両周囲画像生成装置により生成される車両周囲画像と、前記情報描画装置により描画される画像とを合成する画像合成装置と、
前記自車両の操舵情報を取得する車両情報取得装置と、
前記車両情報取得装置により取得される操舵情報に基づいて、前記認識補助情報を描画するためのパラメータを計算する演算装置と
を有することを特徴とする車両用認識補助装置。
At least one imaging device for obtaining an image of the surroundings of the own vehicle;
A vehicle surrounding image generation device that generates a vehicle surrounding image by converting and combining images acquired by the imaging device; and
An information drawing device for drawing an image representing the host vehicle and recognition auxiliary information for indirectly recognizing the predicted traveling locus of the host vehicle in a form that matches the vehicle surrounding image generated by the vehicle surrounding image generation device;
An image synthesizing device that synthesizes a vehicle surrounding image generated by the vehicle surrounding image generating device and an image drawn by the information drawing device;
A vehicle information acquisition device for acquiring steering information of the host vehicle;
A vehicle recognition assisting device, comprising: an arithmetic device that calculates a parameter for rendering the recognition assisting information based on the steering information acquired by the vehicle information acquiring device.
前記情報描画装置は、2本の線分からなる認識補助線を描画し、そのうちの少なくとも1本を前記自車両の操舵量と連動させて描画することを特徴とする請求項1記載の車両用認識補助装置。   2. The vehicle recognition according to claim 1, wherein the information drawing apparatus draws a recognition auxiliary line composed of two line segments, and draws at least one of them in association with a steering amount of the host vehicle. Auxiliary device. 前記2本の線分を延長してできる交点が、前記自車両の旋回中心であることを特徴とする請求項2記載の車両用認識補助装置。   The vehicle recognition assisting apparatus according to claim 2, wherein an intersection formed by extending the two line segments is a turning center of the host vehicle. 前記情報描画装置は、前記交点を示す記号を前記2本の線分と同時に画面上に描画することを特徴とする請求項3記載の車両用認識補助装置。   The vehicle information assisting apparatus according to claim 3, wherein the information drawing apparatus draws a symbol indicating the intersection on the screen simultaneously with the two line segments. 前記交点と前記自車両の大きさおよび外形状に基づいて求められる、前記自車両の操舵量に応じた、前記自車両の通過軌跡の最大半径と最小半径に基づいて、前記2本の線分を描画するのに必要な4点の座標のうち少なくとも1点の座標を決定することを特徴とする請求項3または4記載の車両用認識補助装置。   The two line segments based on the maximum radius and the minimum radius of the passing trajectory of the host vehicle, which are obtained based on the intersection and the size and outer shape of the host vehicle, and according to the steering amount of the host vehicle. 5. The vehicle recognition assisting apparatus according to claim 3, wherein at least one of the four coordinates necessary for drawing the image is determined. 前記情報描画装置は、前記2本の線分を、前記自車両を表す画像上の、前記自車両の前輪と後輪をイメージできる位置に描画することを特徴とする請求項2乃至5のいずれか記載の車両用認識補助装置。   6. The information drawing apparatus according to claim 2, wherein the information drawing device draws the two line segments on an image representing the host vehicle at a position where a front wheel and a rear wheel of the host vehicle can be imaged. Or a vehicle recognition assisting device. 前記情報描画装置は、前記2本の線分を、前記自車両を表す画像に外接するように描画することを特徴とする請求項2乃至5のいずれか記載の車両用認識補助装置。   The vehicle recognition assisting device according to claim 2, wherein the information drawing device draws the two line segments so as to circumscribe the image representing the host vehicle. 前記情報描画装置は、前記2本の線分を、前記自車両を表す画像の近傍に描画することを特徴とする請求項2乃至5のいずれか記載の車両用認識補助装置。   6. The vehicle recognition assisting apparatus according to claim 2, wherein the information drawing apparatus draws the two line segments in the vicinity of an image representing the host vehicle. 前記情報描画装置は、前記自車両の操舵の向き、操舵量の少なくとも一方を示す操舵記号を描画することを特徴とする請求項2乃至8のいずれか記載の車両用認識補助装置。   The vehicle recognition assisting apparatus according to claim 2, wherein the information drawing apparatus draws a steering symbol indicating at least one of a steering direction and a steering amount of the host vehicle. 前記情報描画装置は、前記操舵記号を前記自車両を表す画像の内部に描画することを特徴とする請求項9記載の車両用認識補助装置。   10. The vehicle recognition assisting device according to claim 9, wherein the information drawing device draws the steering symbol inside an image representing the host vehicle. 前記情報描画装置は、前記2本の線分を表示せず、前記交点のみを描画することを特徴とする請求項3、9または10のいずれか記載の車両用認識補助装置。   11. The vehicle recognition assisting apparatus according to claim 3, wherein the information drawing apparatus draws only the intersection point without displaying the two line segments. 前記情報描画装置は、前記自車両の旋回軌跡の曲率に合わせて湾曲させた線からなる認識補助線を描画することを特徴とする請求項1記載の車両用認識補助装置。   2. The vehicle recognition assisting apparatus according to claim 1, wherein the information drawing apparatus draws a recognition assisting line composed of a curved line in accordance with a curvature of a turning locus of the host vehicle. 自車両の周辺の画像を取得する撮像工程と、
前記撮像工程において取得される画像を変換・合成して、車両周囲画像を生成する車両周囲画像生成工程と、
前記車両周囲画像生成工程において生成される車両周囲画像に合う形で、前記自車両を表す画像と、前記自車両の走行予想軌跡を間接的に認識させる認識補助情報を描画する情報描画工程と、
前記車両周囲画像生成工程において生成される車両周囲画像と、前記情報描画工程において描画される画像とを合成する画像合成工程と、
前記自車両の操舵情報を取得する車両情報取得工程と、
前記車両情報取得工程において取得される操舵情報に基づいて、前記認識補助情報を描画するためのパラメータを計算する演算工程と
を有することを特徴とする車両用認識補助方法。
An imaging process for obtaining an image of the surroundings of the host vehicle;
A vehicle surrounding image generation step of converting and synthesizing images acquired in the imaging step to generate a vehicle surrounding image;
An information drawing step for drawing an image representing the host vehicle and recognition auxiliary information for indirectly recognizing the predicted traveling track of the host vehicle in a form that matches the vehicle surrounding image generated in the vehicle surrounding image generation step;
An image synthesis step of synthesizing the vehicle surrounding image generated in the vehicle surrounding image generation step and the image drawn in the information drawing step;
A vehicle information acquisition step of acquiring steering information of the host vehicle;
And a calculation step of calculating a parameter for drawing the recognition auxiliary information based on the steering information acquired in the vehicle information acquisition step.
JP2005156837A 2005-05-30 2005-05-30 Vehicle surrounding image display device Active JP4639960B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005156837A JP4639960B2 (en) 2005-05-30 2005-05-30 Vehicle surrounding image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005156837A JP4639960B2 (en) 2005-05-30 2005-05-30 Vehicle surrounding image display device

Publications (2)

Publication Number Publication Date
JP2006333300A true JP2006333300A (en) 2006-12-07
JP4639960B2 JP4639960B2 (en) 2011-02-23

Family

ID=37554470

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005156837A Active JP4639960B2 (en) 2005-05-30 2005-05-30 Vehicle surrounding image display device

Country Status (1)

Country Link
JP (1) JP4639960B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011118485A (en) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd U-turn supporting device and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002079881A (en) * 2000-05-24 2002-03-19 Matsushita Electric Ind Co Ltd Plotter
JP2002120675A (en) * 2000-10-17 2002-04-23 Mitsubishi Electric Corp Vehicle surroundings monitoring support system
JP2003252151A (en) * 2002-03-06 2003-09-10 Auto Network Gijutsu Kenkyusho:Kk Parking support system
JP2004336613A (en) * 2003-05-12 2004-11-25 Denso Corp Vehicle surroundings display device and vehicle surroundings display program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002079881A (en) * 2000-05-24 2002-03-19 Matsushita Electric Ind Co Ltd Plotter
JP2002120675A (en) * 2000-10-17 2002-04-23 Mitsubishi Electric Corp Vehicle surroundings monitoring support system
JP2003252151A (en) * 2002-03-06 2003-09-10 Auto Network Gijutsu Kenkyusho:Kk Parking support system
JP2004336613A (en) * 2003-05-12 2004-11-25 Denso Corp Vehicle surroundings display device and vehicle surroundings display program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011118485A (en) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd U-turn supporting device and method

Also Published As

Publication number Publication date
JP4639960B2 (en) 2011-02-23

Similar Documents

Publication Publication Date Title
JP5309442B2 (en) Parking support method and parking support device
JP5454934B2 (en) Driving assistance device
WO2014132680A1 (en) Program and device for controlling vehicle
JP4682809B2 (en) Parking assistance system
JP2010184607A (en) Vehicle periphery displaying device
JP5549235B2 (en) Driving assistance device
JP2010232723A (en) Vehicle periphery display device
JP2017220760A (en) Image processing apparatus for vehicle
JP2008236403A (en) Driving support device for vehicle
JP2007168560A (en) Parking support apparatus
JP2008145364A (en) Route guiding device
JP5617396B2 (en) Driving assistance device
JP2007311898A (en) Vehicle drive support apparatus and vehicle drive support method
JP2012001126A (en) Vehicle surroundings monitoring device
JP2010154304A (en) Mobile camera system and driving method
JP2009071659A (en) Parking assistance system
JP2008213647A (en) Parking assist method and parking assist system
WO2019171528A1 (en) Drive assistance device and drive assistance method
JP2007251880A (en) On-vehicle image display device, and method of compositing images
JP4639960B2 (en) Vehicle surrounding image display device
JP6953088B2 (en) Electronic devices and parking assistance methods
JP5691339B2 (en) Driving assistance device
JP2018097535A (en) Driving support device and driving support method
JP2021111854A (en) Electronic mirror system for vehicle
JP2017068585A (en) Information display device and information display method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101005

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101013

TRDD Decision of grant or rejection written
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101028

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101102

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101115

R150 Certificate of patent or registration of utility model

Ref document number: 4639960

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131210

Year of fee payment: 3