JP2006333300A - Recognition supporting apparatus and method for vehicle - Google Patents
Recognition supporting apparatus and method for vehicle Download PDFInfo
- Publication number
- JP2006333300A JP2006333300A JP2005156837A JP2005156837A JP2006333300A JP 2006333300 A JP2006333300 A JP 2006333300A JP 2005156837 A JP2005156837 A JP 2005156837A JP 2005156837 A JP2005156837 A JP 2005156837A JP 2006333300 A JP2006333300 A JP 2006333300A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- information
- image
- host vehicle
- steering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、車両用認識補助装置および方法に関する。 The present invention relates to a vehicle recognition assist apparatus and method.
下記特許文献1には、自車両の後方の画像をカメラで撮像し、運転者に提示する装置において、自車両の操操舵量から自車両の進路を計算し、自車両周囲画像の上に重畳させることで、自車両の予想進路や接触可能性の判断に関する運転者の認識を補助する、後退時の運転支援装置が記載されている。
また、下記特許文献2には、撮影した周辺画像を変換・合成し、自車両を表す画像と合わせてプランビューもしくは鳥瞰図表示する装置が記載されている。
In Patent Document 1 below, in a device that captures an image behind the host vehicle with a camera and presents it to the driver, the course of the host vehicle is calculated from the steering amount of the host vehicle, and is superimposed on the surrounding image of the host vehicle. Thus, there is described a driving assistance device at the time of reverse driving that assists the driver's recognition regarding the determination of the predicted course and contact possibility of the host vehicle.
Patent Document 2 below describes a device that converts and synthesizes captured peripheral images and displays a plan view or a bird's eye view together with an image representing the host vehicle.
上記特許文献2に記載された装置において、自車両の予想進路を画面上に描画すると、狭い領域内に描画情報が集中し、周辺画像が見づらくなるという問題がある。
本発明の目的は、上記課題を解決し、運転者に理解しやすい画像を提供することができる車両用認識補助装置および方法を提供することにある。
In the apparatus described in Patent Document 2, when the predicted course of the host vehicle is drawn on the screen, drawing information is concentrated in a narrow area, and there is a problem that it is difficult to see the surrounding image.
An object of the present invention is to provide a vehicle recognition assisting apparatus and method capable of solving the above-described problems and providing an image that can be easily understood by a driver.
上記課題を解決するために、本発明は、自車両の周辺の画像を取得する少なくとも1個の撮像装置と、取得された画像を変換・合成して、車両周囲画像を生成する車両周囲画像生成装置と、生成された前記車両周囲画像に合わせて、自車両を表す画像と、自車両の走行予想軌跡を間接的に認識させる認識補助情報を描画する情報描画装置と、前記車両周囲画像と前記情報描画装置により描画される画像とを合成する画像合成装置と、自車両の操舵情報を取得する車両情報取得装置と、取得された操舵情報に基づいて、前記認識補助情報を描画するためのパラメータを計算する演算装置とを有するという構成になっている。 In order to solve the above-described problems, the present invention provides at least one imaging device that acquires an image around the host vehicle and vehicle surrounding image generation that converts and combines the acquired images to generate a vehicle surrounding image. A device, an image representing the host vehicle, an information drawing device for drawing recognition auxiliary information for indirectly recognizing a predicted travel path of the host vehicle, the vehicle surrounding image, and the vehicle surrounding image generated An image composition device that composes an image drawn by the information drawing device, a vehicle information acquisition device that acquires steering information of the host vehicle, and a parameter for drawing the recognition auxiliary information based on the acquired steering information It has the structure which has an arithmetic unit which calculates.
本発明によれば、運転者に理解しやすい画像を提供することができる車両用認識補助装置および方法を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the vehicle recognition assistance apparatus and method which can provide a driver | operator's easy-to-understand image can be provided.
以下、図面を用いて本発明の実施の形態について詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
《車両用認識補助装置の全体構成》
図1は本発明の実施の形態の車両用認識補助装置の構成を示す図である。
図において、1は電子式のカメラ、2は車両周囲画像生成装置、3は車両情報取得装置、4は演算装置、5は情報描画装置、6は画像合成装置、7は表示装置である。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the drawings described below, components having the same function are denoted by the same reference numerals, and repeated description thereof is omitted.
<< Overall configuration of vehicle recognition assist apparatus >>
FIG. 1 is a diagram showing a configuration of a vehicle recognition assisting device according to an embodiment of the present invention.
In the figure, 1 is an electronic camera, 2 is a vehicle surrounding image generation device, 3 is a vehicle information acquisition device, 4 is a calculation device, 5 is an information drawing device, 6 is an image composition device, and 7 is a display device.
カメラ1は自車両の周囲の画像情報を撮像するカメラ(複数の場合は、カメラ群)である。図1ではカメラは3台以上の複数台となっているが、少なくとも1台あれば発明は構成可能である。カメラ1で撮像された画像は、車両周囲画像生成装置2に入力される。 The camera 1 is a camera that captures image information around the host vehicle (in the case of multiple cameras, a camera group). In FIG. 1, the number of cameras is three or more, but the invention can be configured with at least one camera. An image captured by the camera 1 is input to the vehicle surrounding image generation device 2.
車両周囲画像生成装置2は、カメラ1で撮像された画像(カメラ1が複数の場合は、画像群)を用いて、車両周囲画像を生成する装置である。処理の内容については、上記特許文献2に記載されているような処理を行い、車両周囲画像を生成する。 The vehicle surrounding image generation device 2 is a device that generates a vehicle surrounding image using an image captured by the camera 1 (an image group when there are a plurality of cameras 1). About the content of a process, the process as described in the said patent document 2 is performed, and a vehicle surrounding image is produced | generated.
図2(e)は自車両11に4台のカメラ1a〜1dが設置された状態を示す図である。1aは自車両11の前部に設置され、自車両11の前方を撮像するカメラ、1bは自車両11の左前側部に設置され、自車両11の左側方を撮像するカメラ、1cは自車両11の右前側部に設置され、自車両11の右側方を撮像するカメラ、1dは自車両11の後部に設置され、自車両11の後方を撮像するカメラである。
FIG. 2E is a diagram illustrating a state where four
図2(a)はカメラ1aにより撮像された画像、(b)はカメラ1bにより撮像された画像、(c)はカメラ1cにより撮像された画像、(d)はカメラ1dにより撮像された画像、(f)はカメラ1a〜1dにより撮像された画像を変換・合成して生成された車両周囲画像を示す図である。
2 (a) is an image captured by the
例えば図2に示すように、自車両11に取り付けられたカメラ1a〜1dで撮影された画像を、車両周囲画像生成装置2(図1)により変換・合成して、車両周囲画像、例えばプランビュー画像を生成する。自車両11に取り付けられたカメラ1a〜1dで撮影した画像を元に出力画像を生成しているため、生成された画像には、自車両11は映っておらず、図2(f)において黒い矩形で示される撮影不可能範囲12として残されている。生成された画像は、画像合成装置6に入力される。
For example, as shown in FIG. 2, images captured by the
図1の車両情報取得装置3は、自車両の現在の操舵方向(操舵の向き。右か左か)および操舵量(舵角)の操舵情報を取得し、情報描画装置5に送る。具体的には、車両情報取得装置3は、ステアリングに取り付けられたセンサーの情報や、CAN(controller area network)に流れる情報を取得し、車両の現在の操操舵量を計算して、出力とする。 The vehicle information acquisition device 3 in FIG. 1 acquires the steering information of the current steering direction (steering direction; right or left) and steering amount (steering angle) of the host vehicle, and sends the steering information to the information drawing device 5. Specifically, the vehicle information acquisition device 3 acquires information on sensors attached to the steering and information flowing in a CAN (controller area network), calculates the current steering amount of the vehicle, and outputs it. .
図3(a)は図2(f)と同じ車両周囲画像、(b)は自車両を表す画像、(c)は図3(a)の車両周囲画像に図3(b)の自車両を表す画像を描画した画像を示す図である。 3 (a) is the same vehicle surrounding image as FIG. 2 (f), (b) is an image representing the host vehicle, (c) is the vehicle surrounding image of FIG. 3 (a) and the host vehicle of FIG. 3 (b). It is a figure which shows the image which rendered the image to represent.
図1の情報描画装置5は、車両周囲画像生成装置2で生成した図3(a)の車両周囲画像に合わせて、図3(b)の自車両を表す画像13を描画する。
演算装置4は、車両情報取得装置3からの操舵情報を用いて、認識補助情報を演算し、情報描画装置5に送る。情報描画装置5はこれを元に描画する。この認識補助情報の内容、演算および描画内容については、あとで詳しく述べる。情報描画装置5は、自車両を表す画像13と認識補助情報を描画した画像を、画像合成装置6に送る。なお、演算装置4は、情報描画装置5の内部に組み込まれていても良い。
The information drawing device 5 in FIG. 1 draws an
The computing device 4 computes recognition auxiliary information using the steering information from the vehicle information acquisition device 3 and sends it to the information drawing device 5. The information drawing device 5 draws based on this. The contents of the recognition auxiliary information, the calculation, and the drawing contents will be described in detail later. The information drawing device 5 sends an
画像合成装置6は、車両周囲画像生成装置2で生成された車両周囲画像と、情報描画装置5で生成された描画画面とを合成し、表示装置7に送る。 The image synthesizing device 6 synthesizes the vehicle surrounding image generated by the vehicle surrounding image generating device 2 and the drawing screen generated by the information drawing device 5 and sends them to the display device 7.
情報描画装置5で生成された描画画面は、車両周囲画像生成装置2で生成された車両周囲画像に合わせて描画内容を決定しているため、画像合成装置6による合成後の画像は、図3に示すように車両周囲画像と車両を表す画像13の表示が、実際の位置関係を反映した位置関係になっている。同様に、後で詳述するように認識補助情報も、車両周囲画像に合わせて描画されているため、運転者は、合成後の画像を見ることで、自車両と周囲との関係および、自車両の状況を把握することが可能となる。演算装置4は、車両情報取得装置3から送られた操舵情報を用いて、自車両の旋回(回転)半径を計算し、情報描画装置5に送る。
Since the drawing screen generated by the information drawing device 5 determines the drawing content according to the vehicle surrounding image generated by the vehicle surrounding image generating device 2, the image after the combining by the image combining device 6 is shown in FIG. As shown in FIG. 5, the display of the vehicle surrounding image and the
《演算装置4の動作》
以下、演算装置4の動作について述べる。
図4は車両旋回半径の計算について説明する図である。図において、14はタイヤ、15は各タイヤ14の向きの交点(車輪軸の交点)である。
<< Operation of the arithmetic unit 4 >>
Hereinafter, the operation of the arithmetic unit 4 will be described.
FIG. 4 is a diagram for explaining calculation of the vehicle turning radius. In the figure, 14 is a tire, and 15 is an intersection of the directions of the tires 14 (intersection of wheel axles).
極低速時においては、自車両11の各タイヤ14の向きの交点15が自車両11の旋回中心となる。
At an extremely low speed, the
図5は前輪と後輪を左右まとめて考える2輪モデルを示す図である。図において、16は仮想タイヤ、17は仮想タイヤ16の向きの交点である。
FIG. 5 is a diagram showing a two-wheel model in which the front wheel and the rear wheel are considered left and right together. In the figure, 16 is a virtual tire, and 17 is an intersection of the directions of the
車両の設定においては、図4の各タイヤ14の向きの交点15が厳密に一点に定まらない場合がある。従って、図5に示すように、前輪と後輪を左右まとめて考える2輪モデルを用いて、車両11上の仮想タイヤ16の向きの交点17を求め、自車両11の旋回中心と置く。これらの計算方法については、公知である。よって、自車両11の大きさおよび外形状の情報と、操舵情報から、自車両11と旋回中心との位置関係が求まり、自車両11の通過する領域や、旋回半径などを算出することができる。また、車両周囲の状況をプランビュー表示する画像や鳥瞰図表示する画像の中での、自車両通過領域や旋回半径は、実際の寸法と画像中の寸法の関係を考慮することで計算することが可能である。
In the setting of the vehicle, the
《情報描画装置5の動作》
以下に、情報描画装置5の動作について表示例別に説明する。
<< Operation of Information Drawing Device 5 >>
Below, operation | movement of the information drawing apparatus 5 is demonstrated according to a display example.
〈表示例1〉
図6は情報描画装置5の表示例1について説明する図である。図において、21は自車両を表す画像、22、23は認識補助線を構成する線分、24は2本の線分22、23を延長してできる交点である。
<Display example 1>
FIG. 6 is a diagram for explaining a display example 1 of the information drawing device 5. In the figure, 21 is an image representing the own vehicle, 22 and 23 are line segments constituting the recognition auxiliary line, and 24 is an intersection formed by extending the two
自車両を表す画像(図形)21上に2本の線分22と線分23が描画されている。線分22は自車両を表す画像21の前輪をイメージさせる位置に描画され、線分23は自車両を表す画像21の後輪をイメージさせる位置に描画されている。線分22は、操操舵量に応じてその向きを変える。線分22と線分23を延長してできる交点24は、先に説明した自車両の旋回中心を表すように、線分22および線分23の位置と、線分22の角度変化と操操舵量の関係を設定する。
Two
四輪操舵を備える車両では、線分23についても、操操舵量に応じて角度が変化する。しかし、交点24が自車両の旋回中心と一致するのであれば、線分22と線分23の角度変化が、実際の操操舵量やタイヤの切れ角と比例する必要はなく、表示のわかりやすさを優先して、例えば線分23の角度変化量を0に固定するなどしても良い。
In a vehicle equipped with four-wheel steering, the angle of the
その結果、運転者は、自車両の操舵情報および旋回中心を表示装置7の表示画像から取得することができ、車両周囲画像と合わせて自車両の旋回を予測することができる。 As a result, the driver can acquire the steering information and the turning center of the own vehicle from the display image of the display device 7, and can predict the turning of the own vehicle together with the vehicle surrounding image.
なお、交点24を表示しない表示形態も可能である。この場合、自車両の旋回中心は画像中には表示されないが、運転者は、線分22および線分23の、それぞれの傾きおよび位置関係から、交点24の位置を画像中にイメージすることができるため、表示しない場合と同じような効果を、よりシンプルな表示で獲得することができる。
A display form in which the
また、自車両を表す画像21と交点24のみを表示することも可能である。この場合、線分22および線分23が表示されないため、運転者が現状の操舵情報を画像から取得することはできないが、自車両を表す画像21と交点24との位置関係により、自車両の旋回を予想することができ、表示の主要な目的のひとつを満足することができる。
It is also possible to display only the
〈表示例2〉
図7は本発明の情報描画装置5の表示例2を説明する図である。図において、31は自車両を表す画像、32、33は認識補助線を構成する線分、34は2本の線分32、33を延長してできる交点、35は自車両の旋回(移動)軌跡の最大半径の円弧、36は自車両の旋回軌跡の最小半径の円弧である。
<Display example 2>
FIG. 7 is a diagram for explaining a display example 2 of the information drawing apparatus 5 of the present invention. In the figure, 31 is an image representing the own vehicle, 32 and 33 are line segments constituting recognition auxiliary lines, 34 is an intersection formed by extending two
自車両を表す画像31と2本の線分32、33、自車両の旋回中心である線分32と33の交点34の関係、簡易表示例などについては、表示例1と同様に考えることができる。情報描画装置5は自車両の外形状と、交点34から、自車両の旋回軌跡の最大半径の円弧35と最小半径の円弧36を求める。これらの円弧35、36は、自車両の操操舵量と、自車両形状で求まることとなる。線分32および線分33を描画する際に、それぞれの線分32、33の、両端の点を円弧35および円弧36との交点とする。これにより、線分32および線分33の長さと位置を見ることで、運転者は、自車両の進行に伴って通過する領域をイメージすることが可能となる。
The relationship between the
操操舵量にかかわらず、操操舵量の変化量が0である場合には、線分32、33と円弧35との交点は、自車両の旋回方向にのみよって決定されるため、線分32、33の両端を計算しなくても良い。
Regardless of the amount of steering, if the amount of change in the amount of steering is 0, the intersection of the
また、表示例2の応用表示として次のようなものが考えられる。自車両進行方向が前進の場合には、線分32および線分33の、長さと位置で、円弧35をイメージさせても、あまり実効性がない。同様に、自車両進行方向が後退の場合には、円弧36をイメージさせても、あまり実効性がない。よって、自車両が前進する場合には、線分32および線分33の、旋回の内側となる点のみを前記計算によって求め、自車両が後退する場合には、線分32および線分33の、旋回の外側となる点のみを前記計算によって算出し、表示を行う。この表示で、運転者は、必要最小限の表示で、最小限必要な領域をイメージすることが可能となる。
Moreover, the following can be considered as an application display of the display example 2. When the traveling direction of the host vehicle is forward, it is not very effective to imagine the
〈表示例3〉
図8は情報描画装置の表示例3を説明する図である。図において、41は自車両を表す画像、42、43は認識補助線を構成する線分、44は2本の線分42、43を延長してできる交点、45は操舵記号である。
<Display example 3>
FIG. 8 is a diagram for explaining a display example 3 of the information drawing apparatus. In the figure, 41 is an image representing the host vehicle, 42 and 43 are line segments constituting a recognition auxiliary line, 44 is an intersection formed by extending two
先に説明した自車両の旋回中心を表すように、交点44の位置を決定する。線分42および線分43を、それぞれ延長した2本の直線が、交点44で交わり、かつ、線分42および線分43が、自車両を表す画像41に外接するように描画されている。よって、線分42および線分43は、自車両を表す画像41の形状と、交点44の位置で、描画位置および描画角度が、決定されることとなる。
The position of the
運転者は、表示から、自車両の操操舵量と、旋回半径をイメージすることが可能となる。また、自車両を表わす画像41の外に、線分42および線分43を、描画するので、表示が重畳せず、運転者が見やすい画像となる。
The driver can imagine the amount of steering and the turning radius of the host vehicle from the display. In addition, since the
また、線分42および線分43が、自車両を表す画像41に外接せず、その近傍に描画されていても、交点44と線分42と線分43の関係が、同じであれば、ほぼ同じ効果を得ることができる。速度に応じて、自車両を表す画像41と、線分42、線分43の少なくとも一方との距離を変化させることで、自車両の速度を表現してもよい。具体的には、速度を上げると、線分42もしくは線分43と、自車両を表す画像41との距離が大きくなるような表示である。自車両が前進するときは、線分42と自車両を表す画像41との距離が開き、自車両が後退するときは、線分43と自車両を表す画像41との距離が開くようにしてもよい。これらのどの場合も、線分42および線分43は、それぞれを延長したそれぞれの直線の交点が、交点44に一致するように描画する。
Further, even if the
また、交点44を描画せず、線分42および線分43のみを描画することも可能である。この場合も、運転者は、線分42および線分43の角度から、延長した2本の直線の交点をイメージすることが可能で、結果、交点44を描画した場合とほぼ同等の効果を得ることができる。
It is also possible to draw only the
また、線分42および線分43の長さは、表示例2で示したのと同様に、自車両の旋回軌跡の、最大半径の円弧と最小半径の円弧を求め、それらを用いて、線分42および線分43の、両端の座標を求めても良い。この場合には、運転者は、先に示した効果に加え、これから自車両の通過する領域を、線分42および線分43から、直感的にイメージすることができ、接触予測の判断に、役立てることが可能となる。
Similarly to the lengths of the
また、画面の一部、もしくは図8に示すように、自車両を表す画像41の内部に、操舵情報、すなわち、操舵方向および操舵量を示す操舵記号45を描画し、運転者にこれらの情報を与えてもよい。図8に示している例は、矢印で操舵方向および操舵量の情報を与えているものである。操舵量が0の場合は、操舵記号45は、自車両を表す画像41と同じ向きに描画され、操舵方向と操舵量に応じて、左右に傾いた状態で表示される。もちろん、操舵記号45による操舵方向および操舵量の表示は、表示例1および表示例2に適用しても良い。
In addition, as shown in FIG. 8 or a part of the screen, or in an
〈表示例4〉
図9は情報描画装置の表示例4を説明する図である。図において、51は自車両を表す画像、52は矢印、53は矢印、54は交点は操舵記号である。
<Display example 4>
FIG. 9 is a diagram for explaining a display example 4 of the information drawing apparatus. In the figure, 51 is an image representing the host vehicle, 52 is an arrow, 53 is an arrow, and 54 is a steering symbol.
図9に示すように、自車両を表す画像51内に、自車両の旋回軌跡の曲率に合わせて湾曲させた矢印52を表示してもよい。また、自車両の旋回軌跡の曲率に合わせた矢印53を自車両を表す画像51の前方に表示してもよい。このようにすることで、より簡単な表示で運転者に立体物との接触可能性を予測させることができる。なお、交点54は、表示してもしなくても良い。
As shown in FIG. 9, an
以上説明したように本実施の形態の車両用認識補助装置は、図1に示したように、自車両の周辺の画像を取得する少なくとも1個のカメラ(撮像装置)1と、カメラ1により取得される画像を変換・合成して、車両周囲画像を生成する車両周囲画像生成装置2と、車両周囲画像生成装置2により生成される車両周囲画像に合う形で、自車両を表す画像と、自車両の走行予想軌跡を間接的に認識させる認識補助情報を描画する情報描画装置5と、車両周囲画像生成装置2により生成される車両周囲画像と、情報描画装置5により描画される画像とを合成する画像合成装置6と、自車両の操舵情報を取得する車両情報取得装置3と、車両情報取得装置3により取得される操舵情報に基づいて、前記認識補助情報を描画するためのパラメータを計算する演算装置4とを有するという構成になっている。 As described above, the vehicle recognition assisting device according to the present embodiment is acquired by at least one camera (imaging device) 1 that acquires an image around the host vehicle and the camera 1 as shown in FIG. A vehicle surrounding image generation device 2 that converts and synthesizes the generated images to generate a vehicle surrounding image, an image that represents the host vehicle in a form that matches the vehicle surrounding image generated by the vehicle surrounding image generation device 2, The information drawing device 5 for drawing recognition auxiliary information for indirectly recognizing the predicted traveling locus of the vehicle, the vehicle surrounding image generated by the vehicle surrounding image generating device 2, and the image drawn by the information drawing device 5 are combined. Based on the image information synthesizing device 6, the vehicle information acquiring device 3 for acquiring the steering information of the host vehicle, and the steering information acquired by the vehicle information acquiring device 3, the parameters for drawing the recognition auxiliary information are calculated. It has a configuration that has an arithmetic unit 4 that.
また、本実施の形態の車両用認識補助方法は、自車両の周辺の画像を取得する撮像工程と、前記撮像工程において取得される画像を変換・合成して、車両周囲画像を生成する車両周囲画像生成工程と、前記車両周囲画像生成工程において生成される車両周囲画像に合う形で、前記自車両を表す画像と、前記自車両の走行予想軌跡を間接的に認識させる認識補助情報を描画する情報描画工程と、前記車両周囲画像生成工程において生成される車両周囲画像と、前記情報描画工程において描画される画像とを合成する画像合成工程と、前記自車両の操舵情報を取得する車両情報取得工程と、前記車両情報取得工程において取得される操舵情報に基づいて、前記認識補助情報を描画するためのパラメータを計算する演算工程とを有する。 Further, the vehicle recognition assist method of the present embodiment includes an imaging step for acquiring an image around the own vehicle, and a vehicle surrounding that generates a vehicle surrounding image by converting and combining the images acquired in the imaging step. An image representing the host vehicle and recognition auxiliary information for indirectly recognizing the predicted travel path of the host vehicle are drawn in a form that matches the vehicle surrounding image generated in the image generating step and the vehicle surrounding image generating step. An information drawing step, an image combining step of combining the vehicle surrounding image generated in the vehicle surrounding image generation step and the image drawn in the information drawing step, and vehicle information acquisition for acquiring steering information of the host vehicle And a calculation step of calculating a parameter for drawing the recognition auxiliary information based on the steering information acquired in the vehicle information acquisition step.
前述のように上記特許文献2に記載された装置において、自車両の予想進路を画面上に描画すると、狭い領域内に描画情報が集中し、周辺画像が見づらくなるという問題があった。また、変換処理された周辺画像は、その原理上、立体物との距離が正確に表示されないため、周辺画像上に予想進路を描画すると、運転者が、周辺画像上の立体物と自車両との接触予測判断を誤る可能性があった。これに対して、本実施の形態では、自車両の予想進路と、接触可能性の認識補助、あるいは自車両の操舵方向および操舵量の操舵情報の提示を、従来とは異なった表示を用いて行うことで、このような問題を解決し、運転者の認識を補助する装置および方法を提供するものである。 As described above, in the apparatus described in Patent Document 2, when the predicted course of the host vehicle is drawn on the screen, there is a problem that drawing information is concentrated in a narrow area and it is difficult to see the surrounding image. In addition, since the distance from the three-dimensional object is not accurately displayed in the principle of the converted peripheral image, when the predicted course is drawn on the peripheral image, the driver can recognize the three-dimensional object and the vehicle on the peripheral image. There was a possibility of wrong contact prediction judgment. On the other hand, in the present embodiment, the predicted course of the host vehicle and the assistance for recognizing contact possibility, or the presentation of the steering information of the steering direction and the steering amount of the host vehicle are displayed using a display different from the conventional one. By doing so, it is an object of the present invention to provide an apparatus and a method for solving such problems and assisting the driver's recognition.
すなわち、本実施の形態では、取得した自車両の周囲の画像を変換・合成して、車両周囲画像を生成し、その車両周囲画像上に自車両を表す画像と、操舵情報から算出した認識補助線等の認識補助情報を合成した画像を表示し、運転者に提示するので、理解しやすい画像を運転者に提示することができるようになる。 In other words, in the present embodiment, the obtained surrounding image of the host vehicle is converted and combined to generate a vehicle surrounding image, and the image representing the host vehicle on the vehicle surrounding image and the recognition assist calculated from the steering information. An image obtained by combining recognition auxiliary information such as lines is displayed and presented to the driver, so that an easy-to-understand image can be presented to the driver.
また、情報描画装置5は、例えば図6、図7、図8に示したように、2本の線分22、23(あるいは32、33、あるいは42、43)からなる認識補助線を描画し、そのうちの少なくとも1本を自車両の操舵量と連動させて描画するようになっている。このように認識補助線が2本の線分で表現され、かつ、そのうちの少なくとも1本が操舵量と連動するため、認識補助線の描画内容がシンプルで画面上に占める割合が少なくなり、車両周囲画像が見やすくなる。また、2本の線分が操舵方向および操舵量を表現することが可能なため、運転者は、自車両の、操舵方向および操舵量を理解することができ、進行方向、進行軌跡を予測することができるようになる。
Further, the information drawing apparatus 5 draws a recognition auxiliary line composed of two
また、図6〜図9に示したように、2本の線分を延長してできる交点が、自車両の旋回中心になっている。これにより、運転者は、交点あるいは2本の線分から、自車両の旋回半径を予測することができるようになる。 Moreover, as shown in FIGS. 6-9, the intersection formed by extending two line segments is the turning center of the host vehicle. As a result, the driver can predict the turning radius of the host vehicle from the intersection or two line segments.
また、情報描画装置5は、例えば図6、図7、図8に示したように、交点を示す記号(図6の24、図7の34、図8の44、図9の54)を2本の線分と同時に画面上に描画するようになっている。このように交点が2本の線分とともに画面上に表示されるので、運転者は、自車両を示す画像と交点から、直接的に自車両の旋回半径を予測することができるようになる。 In addition, the information drawing device 5, for example, as shown in FIGS. 6, 7, and 8, the symbol indicating the intersection (24 in FIG. 6, 34 in FIG. 7, 44 in FIG. 8, 54 in FIG. 9) 2 It draws on the screen at the same time as the line segment of the book. Since the intersection point is displayed on the screen together with the two line segments in this way, the driver can directly predict the turning radius of the own vehicle from the image showing the own vehicle and the intersection point.
また、交点と自車両の大きさおよび外形状に基づいて求められる、自車両の操舵量に応じた、自車両の最大半径と最小半径に基づいて、2本の線分を描画するのに必要な4点の座標のうち少なくとも1点の座標を決定するようになっている。このように2本の線分が、操舵量で決定される自車両通過軌跡の最大半径と最小半径を用いて描画されるため、運転者は2本の線分から、自車両の通過領域を予測することがより容易になる。 Necessary for drawing two line segments based on the maximum radius and the minimum radius of the vehicle according to the steering amount of the vehicle, which is obtained based on the intersection and the size and outer shape of the vehicle. At least one of the four coordinates is determined. Since the two line segments are drawn using the maximum radius and the minimum radius of the own vehicle passage locus determined by the steering amount in this way, the driver predicts the passing region of the own vehicle from the two line segments. It will be easier to do.
また、情報描画装置5は、図6、図7に示したように2本の線分を、自車両を表す画像上の、自車両の前輪と後輪をイメージできる位置に描画するようになっている。これにより、運転者は、2本の線分と自車両を表す画像から自車両操作との関係をより直感的に理解できるようになる。 In addition, the information drawing device 5 draws two line segments on the image representing the host vehicle at positions where the front wheel and the rear wheel of the host vehicle can be imaged as shown in FIGS. 6 and 7. ing. Thus, the driver can more intuitively understand the relationship between the two line segments and the own vehicle operation from the image representing the own vehicle.
また、情報描画装置5は、図8に示したように、2本の線分を、自車両を表す画像に外接するように描画するようになっている。これにより、運転者は、2本の線分から、自車両進行方向の障害物との接触可能性を予測しやすくなる。 Further, as shown in FIG. 8, the information drawing device 5 draws two line segments so as to circumscribe an image representing the host vehicle. Accordingly, the driver can easily predict the possibility of contact with an obstacle in the traveling direction of the host vehicle from the two line segments.
また、情報描画装置5は、2本の線分を、自車両を表す画像の近傍に描画することが可能である。これにより、運転者は、自車両進行方向の障害物との接触可能性を、より早いタイミングで予測することが可能になる。 In addition, the information drawing device 5 can draw two line segments in the vicinity of an image representing the host vehicle. As a result, the driver can predict the possibility of contact with an obstacle in the traveling direction of the host vehicle at an earlier timing.
また、図8に示したように、情報描画装置5は、自車両の操舵方向、操舵量の少なくとも一方を示す操舵記号45を描画するようになっている。これにより、運転者は、自らの操舵方向もしくは操舵方向および操舵量を把握することが容易になる。
Further, as shown in FIG. 8, the information drawing device 5 draws a
また、情報描画装置5は、図8に示したように、操舵記号45を自車両を表す画像の内部に描画するようになっている。これにより、運転者は、自車両と車両周囲画像との関係を取得しながら、自らの操舵状況を把握することが可能となる。
Further, as shown in FIG. 8, the information drawing device 5 draws the
また、情報描画装置5は、図9に示したように、2本の線分を表示せず、交点54のみを描画することも可能である。これにより、画面上の情報量を低減することができ、運転者は、自車両の進路予測に最も必要な、自車両の旋回半径を、最小限の表示(自車両と交点との位置関係)から予測することが可能となる。
Further, as shown in FIG. 9, the information drawing apparatus 5 can draw only the
また、情報描画装置5は、図9に示したように、自車両の旋回軌跡の曲率に合わせて湾曲させた線からなる認識補助線(矢印52もしくは53)を描画することも可能である。これにより、運転者は、自車両の操舵方向および操舵量を把握することが容易になる。
Further, as shown in FIG. 9, the information drawing device 5 can also draw a recognition auxiliary line (
なお、以上説明した実施の形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記実施の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。 The embodiment described above is described for facilitating the understanding of the present invention, and is not described for limiting the present invention. Therefore, each element disclosed in the above embodiment includes all design changes and equivalents belonging to the technical scope of the present invention.
1…カメラ 2…車両周囲画像生成装置
3…車両情報取得装置 4…演算装置
5…情報描画装置 6…画像合成装置
7…表示装置
1a、1b、1c、1d…カメラ
11…自車両 12…撮影不可能範囲
13…自車両を表す画像
14…タイヤ
15…旋回中心 16…仮想タイヤ
17…仮想タイヤの向きの交点
21…自車両を表す画像 22…線分
23…線分 24…交点
31…自車両を表す画像 32…線分
33…線分 34…交点
35…自車両の旋回軌跡の最大半径の円弧
36…自車両の旋回軌跡の最小半径の円弧
41…自車両を表す画像 42…線分
43…線分 44…交点
45…操舵記号
51…自車両を表す画像 52…矢印
53…矢印 44…交点
DESCRIPTION OF SYMBOLS 1 ... Camera 2 ... Vehicle surrounding image generation apparatus 3 ... Vehicle information acquisition apparatus 4 ... Arithmetic apparatus 5 ... Information drawing apparatus 6 ... Image composition apparatus 7 ...
Claims (13)
前記撮像装置により取得される画像を変換・合成して、車両周囲画像を生成する車両周囲画像生成装置と、
前記車両周囲画像生成装置により生成される車両周囲画像に合う形で、前記自車両を表す画像と、前記自車両の走行予想軌跡を間接的に認識させる認識補助情報を描画する情報描画装置と、
前記車両周囲画像生成装置により生成される車両周囲画像と、前記情報描画装置により描画される画像とを合成する画像合成装置と、
前記自車両の操舵情報を取得する車両情報取得装置と、
前記車両情報取得装置により取得される操舵情報に基づいて、前記認識補助情報を描画するためのパラメータを計算する演算装置と
を有することを特徴とする車両用認識補助装置。 At least one imaging device for obtaining an image of the surroundings of the own vehicle;
A vehicle surrounding image generation device that generates a vehicle surrounding image by converting and combining images acquired by the imaging device; and
An information drawing device for drawing an image representing the host vehicle and recognition auxiliary information for indirectly recognizing the predicted traveling locus of the host vehicle in a form that matches the vehicle surrounding image generated by the vehicle surrounding image generation device;
An image synthesizing device that synthesizes a vehicle surrounding image generated by the vehicle surrounding image generating device and an image drawn by the information drawing device;
A vehicle information acquisition device for acquiring steering information of the host vehicle;
A vehicle recognition assisting device, comprising: an arithmetic device that calculates a parameter for rendering the recognition assisting information based on the steering information acquired by the vehicle information acquiring device.
前記撮像工程において取得される画像を変換・合成して、車両周囲画像を生成する車両周囲画像生成工程と、
前記車両周囲画像生成工程において生成される車両周囲画像に合う形で、前記自車両を表す画像と、前記自車両の走行予想軌跡を間接的に認識させる認識補助情報を描画する情報描画工程と、
前記車両周囲画像生成工程において生成される車両周囲画像と、前記情報描画工程において描画される画像とを合成する画像合成工程と、
前記自車両の操舵情報を取得する車両情報取得工程と、
前記車両情報取得工程において取得される操舵情報に基づいて、前記認識補助情報を描画するためのパラメータを計算する演算工程と
を有することを特徴とする車両用認識補助方法。 An imaging process for obtaining an image of the surroundings of the host vehicle;
A vehicle surrounding image generation step of converting and synthesizing images acquired in the imaging step to generate a vehicle surrounding image;
An information drawing step for drawing an image representing the host vehicle and recognition auxiliary information for indirectly recognizing the predicted traveling track of the host vehicle in a form that matches the vehicle surrounding image generated in the vehicle surrounding image generation step;
An image synthesis step of synthesizing the vehicle surrounding image generated in the vehicle surrounding image generation step and the image drawn in the information drawing step;
A vehicle information acquisition step of acquiring steering information of the host vehicle;
And a calculation step of calculating a parameter for drawing the recognition auxiliary information based on the steering information acquired in the vehicle information acquisition step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005156837A JP4639960B2 (en) | 2005-05-30 | 2005-05-30 | Vehicle surrounding image display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005156837A JP4639960B2 (en) | 2005-05-30 | 2005-05-30 | Vehicle surrounding image display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006333300A true JP2006333300A (en) | 2006-12-07 |
JP4639960B2 JP4639960B2 (en) | 2011-02-23 |
Family
ID=37554470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005156837A Active JP4639960B2 (en) | 2005-05-30 | 2005-05-30 | Vehicle surrounding image display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4639960B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011118485A (en) * | 2009-11-30 | 2011-06-16 | Fujitsu Ten Ltd | U-turn supporting device and method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002079881A (en) * | 2000-05-24 | 2002-03-19 | Matsushita Electric Ind Co Ltd | Plotter |
JP2002120675A (en) * | 2000-10-17 | 2002-04-23 | Mitsubishi Electric Corp | Vehicle surroundings monitoring support system |
JP2003252151A (en) * | 2002-03-06 | 2003-09-10 | Auto Network Gijutsu Kenkyusho:Kk | Parking support system |
JP2004336613A (en) * | 2003-05-12 | 2004-11-25 | Denso Corp | Vehicle surroundings display device and vehicle surroundings display program |
-
2005
- 2005-05-30 JP JP2005156837A patent/JP4639960B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002079881A (en) * | 2000-05-24 | 2002-03-19 | Matsushita Electric Ind Co Ltd | Plotter |
JP2002120675A (en) * | 2000-10-17 | 2002-04-23 | Mitsubishi Electric Corp | Vehicle surroundings monitoring support system |
JP2003252151A (en) * | 2002-03-06 | 2003-09-10 | Auto Network Gijutsu Kenkyusho:Kk | Parking support system |
JP2004336613A (en) * | 2003-05-12 | 2004-11-25 | Denso Corp | Vehicle surroundings display device and vehicle surroundings display program |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011118485A (en) * | 2009-11-30 | 2011-06-16 | Fujitsu Ten Ltd | U-turn supporting device and method |
Also Published As
Publication number | Publication date |
---|---|
JP4639960B2 (en) | 2011-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5309442B2 (en) | Parking support method and parking support device | |
JP5454934B2 (en) | Driving assistance device | |
WO2014132680A1 (en) | Program and device for controlling vehicle | |
JP4682809B2 (en) | Parking assistance system | |
JP2010184607A (en) | Vehicle periphery displaying device | |
JP5549235B2 (en) | Driving assistance device | |
JP2010232723A (en) | Vehicle periphery display device | |
JP2017220760A (en) | Image processing apparatus for vehicle | |
JP2008236403A (en) | Driving support device for vehicle | |
JP2007168560A (en) | Parking support apparatus | |
JP2008145364A (en) | Route guiding device | |
JP5617396B2 (en) | Driving assistance device | |
JP2007311898A (en) | Vehicle drive support apparatus and vehicle drive support method | |
JP2012001126A (en) | Vehicle surroundings monitoring device | |
JP2010154304A (en) | Mobile camera system and driving method | |
JP2009071659A (en) | Parking assistance system | |
JP2008213647A (en) | Parking assist method and parking assist system | |
WO2019171528A1 (en) | Drive assistance device and drive assistance method | |
JP2007251880A (en) | On-vehicle image display device, and method of compositing images | |
JP4639960B2 (en) | Vehicle surrounding image display device | |
JP6953088B2 (en) | Electronic devices and parking assistance methods | |
JP5691339B2 (en) | Driving assistance device | |
JP2018097535A (en) | Driving support device and driving support method | |
JP2021111854A (en) | Electronic mirror system for vehicle | |
JP2017068585A (en) | Information display device and information display method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080325 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101005 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20101013 |
|
TRDD | Decision of grant or rejection written | ||
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20101028 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101102 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101115 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4639960 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 3 |