JP2010157910A - Image display device - Google Patents

Image display device Download PDF

Info

Publication number
JP2010157910A
JP2010157910A JP2008335075A JP2008335075A JP2010157910A JP 2010157910 A JP2010157910 A JP 2010157910A JP 2008335075 A JP2008335075 A JP 2008335075A JP 2008335075 A JP2008335075 A JP 2008335075A JP 2010157910 A JP2010157910 A JP 2010157910A
Authority
JP
Japan
Prior art keywords
angle
image
viewpoint conversion
image display
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008335075A
Other languages
Japanese (ja)
Inventor
Osamu Ozaki
修 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2008335075A priority Critical patent/JP2010157910A/en
Publication of JP2010157910A publication Critical patent/JP2010157910A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image display device capable of more efficiently excluding unnecessary adjustment to visual point conversion to display an appropriate output image when a solid object exists on a road surface. <P>SOLUTION: The image display device (10) which performs the visual point conversion of an image around a vehicle obtained by an imaging means (12a) to display the image is provided with: a distance detection means (16a) for detecting a distance between the imaging means (12a) and an object; an angle calculation means (22) for calculating an angle formed of a line connecting a point on the object which is located in a perpendicular plane including an imaging axis of the imaging means (12a) and whose distance becomes a predetermined value (L<SB>0</SB>) with the imaging means (12a) to a perpendicular axis; a visual point conversion degree adjustment means (28) for adjusting the degree of visual point conversion based on the angle; and a solid object existence/nonexistence determination means (26) for determining the existence/nonexistence of the solid object based on a time variation of the angle wherein the visual point degree adjustment means (28) stops adjustment when it is determined that the solid object exists. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は画像表示装置に関し、特に、撮像手段により得られた車両周辺の画像を視点変換して表示する画像表示装置に関する。   The present invention relates to an image display apparatus, and more particularly, to an image display apparatus that displays an image of a vehicle periphery obtained by an imaging unit by converting a viewpoint.

従来、運転者による駐車を支援する駐車アシスト装置が知られている。これらの装置は、車両に搭載されたカメラによって車両周辺を撮像して得られる入力画像を視点変換して出力画像を生成し、その出力画像を運転者に対して表示する。しかし、これらの装置は、路面の起伏及び傾斜や、車両への荷物の搭載や、車両の経年変化等により、路面に対するカメラの角度(カメラの撮像軸(光軸)の角度)が変化した場合には、所望とする出力画像への視点変換ができなくなる場合があり、その結果、スケールが異なる出力画像や歪み補正が自然ではない出力画像を生成してしまう場合がある。   Conventionally, a parking assist device for assisting parking by a driver is known. These devices generate an output image by converting the viewpoint of an input image obtained by imaging the periphery of the vehicle with a camera mounted on the vehicle, and display the output image to the driver. However, in these devices, when the angle of the camera with respect to the road surface (the angle of the imaging axis (optical axis) of the camera) changes due to road surface undulation and inclination, the loading of luggage on the vehicle, aging of the vehicle, etc. In some cases, viewpoint conversion to a desired output image cannot be performed, and as a result, an output image with a different scale or an output image with unnatural distortion correction may be generated.

この問題を解決するために、特許文献1は、指向性のあるレーザ光線を発するレーザ発光装置やハイトセンサを使用して、路面に対するカメラの角度を測定し、その測定結果に基づいて視点変換の度合いを調整し、路面に対するカメラの角度の変化に応じた出力画像を生成する技術を記載する。   In order to solve this problem, Patent Document 1 uses a laser emitting device that emits a directional laser beam or a height sensor to measure the angle of the camera with respect to the road surface, and performs viewpoint conversion based on the measurement result. A technique for adjusting the degree and generating an output image corresponding to a change in the angle of the camera with respect to the road surface will be described.

しかし、特許文献1に記載された装置は、路面上に縁石や輪止め等の立体物が存在しないことを前提としている。そのため、路面上に立体物がある場合、実際にはその立体物が路面に対するカメラの角度に影響を与えないにも関わらず、その立体物の表面を路面であると誤認して視点変換の度合いを調整してしまうので、運転者に違和感を与える出力画像を表示してしまうことになる。   However, the apparatus described in Patent Document 1 is premised on the absence of a solid object such as a curb or a ring stop on the road surface. Therefore, when there is a three-dimensional object on the road surface, the degree of viewpoint conversion by misidentifying the surface of the three-dimensional object as a road surface even though the three-dimensional object does not actually affect the angle of the camera to the road surface. Therefore, an output image that gives a sense of incongruity to the driver is displayed.

これに対し、特許文献2に記載された装置は、カメラが連続的に取得した二つの画像データに基づいて縁石や輪止め等の立体物が存在する画像データ内の領域を特定し、且つ、そのカメラに対応するレーザレーダを用いてそのカメラからの距離が所定距離となる地点を検出し、その上で、検出した地点に対応する画像がその立体物が存在するとされる画像領域に含まれる場合には、その地点を路面でないと認識することで、路面上に立体物が存在する場合であっても視点変換における不要な調整を行うことなく、適切な出力画像を表示できるようにする。
特開2003−274394号公報 特開2008−34966号公報
On the other hand, the device described in Patent Document 2 specifies an area in image data where a solid object such as a curb or a ring stop exists based on two image data acquired continuously by the camera, and A point where the distance from the camera is a predetermined distance is detected using a laser radar corresponding to the camera, and an image corresponding to the detected point is included in an image region where the three-dimensional object exists. In this case, by recognizing that the point is not a road surface, an appropriate output image can be displayed without performing unnecessary adjustment in viewpoint conversion even when a three-dimensional object exists on the road surface.
JP 2003-274394 A JP 2008-34966 A

しかしながら、特許文献2に記載の装置は、カメラが連続的に取得した少なくとも二つの画像データに対する画像処理によって立体物が存在する画像データ内の領域を特定する必要があるので、その処理負荷が大きく、リアルタイム性に悪影響を与える場合がある。   However, since the apparatus described in Patent Document 2 needs to specify an area in image data where a three-dimensional object exists by performing image processing on at least two image data continuously acquired by a camera, the processing load is large. May adversely affect real-time performance.

この点に鑑み、本発明は、路面上に立体物が存在する場合により効率的に視点変換に対する不要な調整を排除して適切な出力画像を表示することができる画像表示装置を提供することを目的とする。   In view of this point, the present invention provides an image display device capable of displaying an appropriate output image by eliminating unnecessary adjustment for viewpoint conversion more efficiently when a three-dimensional object exists on the road surface. Objective.

上述の目的を達成するために、第一の発明に係る画像表示装置は、撮像手段により得られた車両周辺の画像を視点変換して表示する画像表示装置であって、前記撮像手段と被写体との間の距離を検出する距離検出手段と、前記撮像手段の撮像軸を含む鉛直平面内にあり前記距離が所定値となる被写体上の点と前記撮像手段とを結ぶ線が鉛直軸に対して形成する角度を算出する角度算出手段と、前記角度算出手段が算出する角度に基づいて視点変換の度合いを調整する視点変換度調整手段と、前記角度算出手段が算出する角度の変化に基づいて立体物の存否を判定する立体物存否判定手段と、を備え、前記視点変換調整手段は、前記立体物存否判定手段により立体物が存在すると判定された場合に調整を中止することを特徴とする。   In order to achieve the above-mentioned object, an image display device according to a first invention is an image display device that displays an image of the periphery of a vehicle obtained by an imaging unit by converting the viewpoint, and includes the imaging unit and a subject. A line connecting the imaging means with a distance detecting means for detecting the distance between the imaging means and a point on the subject having a predetermined value within the vertical plane including the imaging axis of the imaging means with respect to the vertical axis An angle calculation unit that calculates an angle to be formed, a viewpoint conversion degree adjustment unit that adjusts a degree of viewpoint conversion based on the angle calculated by the angle calculation unit, and a three-dimensional image based on a change in angle calculated by the angle calculation unit. Three-dimensional object presence / absence determining means for determining the presence / absence of an object, wherein the viewpoint conversion adjusting means stops the adjustment when it is determined by the three-dimensional object presence / absence determining means that a three-dimensional object exists.

上述の手段により、本発明は、路面上に立体物が存在する場合により効率的に視点変換に対する不要な調整を排除して適切な出力画像を表示することができる画像表示装置を提供することができる。   By the above-described means, the present invention provides an image display device capable of displaying an appropriate output image by eliminating unnecessary adjustment for viewpoint conversion more efficiently when a three-dimensional object exists on the road surface. it can.

以下、本発明の実施の形態に係る画像表示装置について添付図面を参照して説明する。   Hereinafter, an image display device according to an embodiment of the present invention will be described with reference to the accompanying drawings.

図1は、実施形態に係る画像表示装置の構成を示すブロック図である。図1に示すように、本実施形態の画像表示装置10は、車体11に、カメラ(撮像手段)12a〜12d、画像入力装置14、レーザレーダ(距離検出手段)16a〜16d、レーダ信号入力装置18、入力同期装置20、角度算出装置(角度算出手段)22、初期セットアップ情報格納部24、立体物検出装置(立体物存否判定手段)26、視点変換装置28(視点変換度調整手段)、映像合成装置30、映像出力装置32、及びディスプレイ34を備えている。   FIG. 1 is a block diagram illustrating a configuration of an image display apparatus according to the embodiment. As shown in FIG. 1, an image display apparatus 10 according to the present embodiment includes a vehicle body 11, cameras (imaging means) 12a to 12d, an image input device 14, laser radars (distance detection means) 16a to 16d, and a radar signal input device. 18, input synchronization device 20, angle calculation device (angle calculation means) 22, initial setup information storage unit 24, three-dimensional object detection device (three-dimensional object presence / absence determination means) 26, viewpoint conversion device 28 (viewpoint conversion degree adjustment means), video A synthesizer 30, a video output device 32, and a display 34 are provided.

カメラ12a〜12dは、CCD又はCMOS等の半導体素子を用いた単眼カメラであり、広角レンズ又は魚眼レンズが装着されている。図2は、実施形態に係るカメラの配置例を示す斜視図であり、魚眼レンズが装着された4台のカメラ12a〜12dが、車体11の前後左右にそれぞれ一台ずつ設置されており、車体11の全周囲を撮像して確認できることを示す。   The cameras 12a to 12d are monocular cameras using semiconductor elements such as CCDs or CMOSs, and are equipped with wide-angle lenses or fish-eye lenses. FIG. 2 is a perspective view showing an arrangement example of the camera according to the embodiment. Four cameras 12 a to 12 d equipped with fisheye lenses are respectively installed on the front, rear, left and right of the vehicle body 11. It shows that it can be confirmed by imaging the entire periphery of

画像入力装置14は、カメラ12a〜12dのそれぞれが出力するカメラ画像を取得するための装置であり、好適には、一定周期毎に同期を取りながらカメラ12a〜12dのそれぞれが出力する画像を取得する。   The image input device 14 is a device for acquiring camera images output from the cameras 12a to 12d, and preferably acquires images output from the cameras 12a to 12d while synchronizing at regular intervals. To do.

レーザレーダ16a〜16dは、カメラ12a〜12dのそれぞれと被写体(例えば、路面である。)との間の距離を検出するための装置であり、例えば、レーザを照射する方向を周期的に左右上下に走査してカメラ12a〜12dの撮像範囲内にある被写体までの距離を検出する二次元スキャンレーザレーダである。なお、レーザレーダ16a〜16dは、カメラ12a〜12dのそれぞれに対応付けて配置されている。なお、レーザレーダ16a〜16dは、一次元スキャンレーザレーダであってもよい。   The laser radars 16a to 16d are devices for detecting the distance between each of the cameras 12a to 12d and a subject (for example, a road surface). For example, the laser irradiation direction is periodically changed in the horizontal and vertical directions. Is a two-dimensional scanning laser radar that detects the distance to the subject within the imaging range of the cameras 12a to 12d. The laser radars 16a to 16d are arranged in association with the cameras 12a to 12d, respectively. The laser radars 16a to 16d may be one-dimensional scan laser radars.

レーダ信号入力装置18は、レーザレーダ16a〜16dのそれぞれが出力するレーザレーダ計測信号(水平方向角度、垂直方向角度、対象までの距離)を取得するための装置であり、実際には、ある一定周期毎に非同期にレーザレーダ16a〜16dのそれぞれが出力するレーダ計測信号を取得する。   The radar signal input device 18 is a device for acquiring laser radar measurement signals (horizontal angle, vertical angle, and distance to the object) output from each of the laser radars 16a to 16d. A radar measurement signal output from each of the laser radars 16a to 16d is acquired asynchronously for each period.

入力同期装置20は、画像入力装置14及びレーダ信号入力装置18の信号の入力タイミングを調整する装置であり、例えば、時刻Tにおいて、画像IM(T)とレーザレーダ計測信号LM(T)とを対応付けることができ、同様に、時刻T+1において、画像IM(T+1)とレーザレーダ計測信号LM(T+1)とを対応付けることができる。   The input synchronization device 20 is a device that adjusts the input timing of signals from the image input device 14 and the radar signal input device 18. For example, at the time T, the image IM (T) and the laser radar measurement signal LM (T) are obtained. Similarly, at the time T + 1, the image IM (T + 1) and the laser radar measurement signal LM (T + 1) can be associated with each other.

角度算出装置22は、レーザレーダ16a〜16dの出力に基づいて算出される、カメラ12a〜12dのそれぞれから被写体までの距離を用いて、カメラ12a〜12dのそれぞれの撮像軸を含む鉛直平面内にありその距離が所定値Lとなる被写体上の点とカメラ12a〜12dの中心点のそれぞれとを結ぶ線(以下、「視点変換基準線」とする。)が鉛直軸に対して形成する角度(以下、「視点変換基準角度」とする。)を算出する装置である。なお、角度算出装置22は、視点変換基準線の俯角を視点変換基準角度として算出するようにしてもよい。 The angle calculation device 22 uses a distance from each of the cameras 12a to 12d to the subject, which is calculated based on the outputs of the laser radars 16a to 16d, in a vertical plane including each imaging axis of the cameras 12a to 12d. There the angle which the distance connecting the respective center points of the point and the camera 12a~12d on the subject to be the predetermined value L 0 line (hereinafter. to "viewpoint conversion reference lines") are formed with respect to the vertical axis (Hereinafter referred to as “viewpoint conversion reference angle”). Note that the angle calculation device 22 may calculate the depression angle of the viewpoint conversion reference line as the viewpoint conversion reference angle.

所定値Lは、初期セットアップ情報格納部24に格納されている初期セットアップ情報のうちの一つであり、路面が水平である場合におけるカメラ12a〜12dのそれぞれから路面までの撮像軸(光軸)上の距離である。 The predetermined value L 0 is one of the initial setup information stored in the initial setup information storage unit 24, and the imaging axes (optical axes) from each of the cameras 12a to 12d to the road surface when the road surface is horizontal. ) The distance above.

初期セットアップ情報格納部24は、各種情報を記憶するための装置であり、レーザレーダ距離計測初期情報(路面が水平である場合の水平方向角度HA、垂直方向角度VA、対象までの距離(上述の所定値Lに相当する。))や、車両が水平面にいる際に計測したカメラ12a〜12dの俯角τ、焦点距離f、設置高さHを格納する。また、初期セットアップ情報格納部24は、カメラ12a〜12dのそれぞれとレーザレーダ16a〜16dのそれぞれとの間の相対的な位置関係に関する情報を格納する。 The initial setup information storage unit 24 is a device for storing various kinds of information. Laser radar distance measurement initial information (a horizontal angle HA, a vertical angle VA when the road surface is horizontal, a distance to the object (described above) It corresponds to the predetermined value L 0. )), and the depression angle τ, the focal length f, and the installation height H of the cameras 12a to 12d measured when the vehicle is on a horizontal plane. The initial setup information storage unit 24 stores information regarding the relative positional relationship between each of the cameras 12a to 12d and each of the laser radars 16a to 16d.

立体物検出装置26は、角度算出装置22が算出する視点変換基準角度に基づいて立体物の存否を判定する装置であり、例えば、角度算出装置22が算出する視点変換基準角度の時間変化に基づいてカメラ12a〜12dのそれぞれのカメラ画像における立体物の存否を判定する。   The three-dimensional object detection device 26 is a device that determines the presence or absence of a three-dimensional object based on the viewpoint conversion reference angle calculated by the angle calculation device 22. For example, the three-dimensional object detection device 26 is based on a time change of the viewpoint conversion reference angle calculated by the angle calculation device 22. Then, the presence or absence of a three-dimensional object in each camera image of the cameras 12a to 12d is determined.

視点変換装置28は、例えば、特開平10−211849号公報、特開2003−274394号公報等に記載の手法を用いて、画像入力装置14が取得した画像を平面投影やお椀型モデル等にマッピングして、平面視の画像に変換し、映像合成の準備を行うための装置であり、初期セットアップ情報格納部24に記憶されたカメラ12a〜12dの俯角τに基づいて、カメラ12a〜12dが撮像したカメラ画像の視点を変換する。   The viewpoint conversion device 28 maps the image acquired by the image input device 14 to a planar projection, a bowl-shaped model, or the like using, for example, a method described in JP-A-10-211849, JP-A-2003-274394, or the like. Then, the image is converted to a planar view image and prepared for video composition, and the cameras 12a to 12d capture images based on the depression angles τ of the cameras 12a to 12d stored in the initial setup information storage unit 24. The viewpoint of the captured camera image.

また、視点変換装置28は、車両が上り坂や下り坂に接近してカメラ12a〜12dのそれぞれから路面までの撮像軸上の距離が所定値Lではない値となった場合、角度算出装置22が出力する視点変換基準角度に応じて視点変換の度合いを調整する。 Further, the viewpoint conversion device 28, when the vehicle becomes a value distance on the imaging axis is not the predetermined value L 0 from each to the road surface of the camera 12a~12d close to uphill or downhill, the angle calculating device The degree of viewpoint conversion is adjusted in accordance with the viewpoint conversion reference angle output by 22.

なお、視点変換装置28は、立体物検出装置26によりレーザレーダ16a〜16dのレーザビームを照射する位置に立体物が存在すると判定された場合には、角度算出装置22が出力する視点変換基準角度に応じた視点変換の度合いの調整を中止する。立体物の表面を路面と誤認しながら視点変換を実行してしまうことがないようにするためである。   Note that the viewpoint conversion device 28 determines the viewpoint conversion reference angle output by the angle calculation device 22 when the three-dimensional object detection device 26 determines that a three-dimensional object is present at the position where the laser beams of the laser radars 16a to 16d are irradiated. The adjustment of the degree of viewpoint conversion according to is canceled. This is to prevent the viewpoint conversion from being executed while misidentifying the surface of the three-dimensional object as a road surface.

図3は、実施形態に係る透視変換原理を示す図である。図3に示す透視変換では、路面の画像の位置データをカメラ位置Rから焦点距離fにあるスクリーン平面Pに投影するときの透視変換を実行する。カメラ12aは、Z軸上の点R(0、0、H)に位置し、俯角(見下ろし角)τで路面(xy座標面)における画像をモニタしているとする。この場合、次式(1)に示すようにして、スクリーン平面P(撮像画面上)の2次元座標(α,β)を路面上の座標(俯瞰図座標)に変換(逆の透視変換)できる。   FIG. 3 is a diagram illustrating the perspective conversion principle according to the embodiment. In the perspective transformation shown in FIG. 3, the perspective transformation is performed when the position data of the road surface image is projected from the camera position R onto the screen plane P at the focal length f. Assume that the camera 12a is located at a point R (0, 0, H) on the Z axis and monitors an image on the road surface (xy coordinate plane) at a depression angle (looking-down angle) τ. In this case, as shown in the following equation (1), the two-dimensional coordinates (α, β) on the screen plane P (on the imaging screen) can be converted into coordinates (overhead view coordinates) on the road surface (reverse perspective conversion). .

Figure 2010157910
つまり、上記式(1)を用いることにより、図4に示すように変換前イメージI1を変換後イメージI2へと変換でき、投影画像データ(俯瞰画像)を作成できる。
Figure 2010157910
That is, by using the above formula (1), the pre-conversion image I1 can be converted into the post-conversion image I2 as shown in FIG. 4, and projection image data (overhead image) can be created.

映像合成装置30は、例えば、特開2003−91720号公報、特開2002−166802号公報、特許第3300334号公報等に記載の手法を用いて、視点変換装置28によって調整されたカメラ12a〜12dからの4枚の画像を1枚の画像に合成する装置である。   The video synthesizing apparatus 30 uses, for example, the cameras 12a to 12d adjusted by the viewpoint conversion apparatus 28 using a method described in Japanese Patent Application Laid-Open Nos. 2003-91720, 2002-166802, 3300334, and the like. Is a device that synthesizes four images from a single image.

映像出力装置32は、合成された俯瞰画像をビデオ信号等に変換して出力するための装置である。   The video output device 32 is a device for converting the synthesized overhead view image into a video signal or the like and outputting it.

ディスプレイ34は、輝度補正処理を施した俯瞰画像をドライバーに提示するためのものである。一般的には、ディスプレイ34には、液晶モニタやナビゲーション用モニタを適用することができる。   The display 34 is for presenting the driver with a bird's-eye view image that has been subjected to luminance correction processing. In general, a liquid crystal monitor or a navigation monitor can be applied to the display 34.

次に、図5を参照して、本実施形態の画像表示装置10の動作について説明する。図5は、実施形態に係る画像表示装置10の動作を示すフローチャートである。   Next, the operation of the image display apparatus 10 according to the present embodiment will be described with reference to FIG. FIG. 5 is a flowchart illustrating the operation of the image display apparatus 10 according to the embodiment.

最初に、画像表示装置10は、画像入力装置14によりカメラ12a〜12dからシステム内に画像を取り込む(ステップS1)。画像表示装置10は、任意のタイミングで画像を取り込むようにしてもよいが、全てのカメラ12a〜12dの同期を取って取り込むことが望ましく、画像取り込みの速度は、リアルタイムに近いものとするため、30fps以上であることが望ましい。   First, the image display device 10 captures images from the cameras 12a to 12d into the system by the image input device 14 (step S1). The image display device 10 may capture an image at an arbitrary timing, but it is desirable to capture all the cameras 12a to 12d in synchronization, and the image capturing speed is close to real time. It is desirable that it is 30 fps or more.

また、画像表示装置10は、レーダ信号入力装置18によりレーザレーダ16a〜16dからシステム内にレーザレーダ計測信号を取り込む(ステップS2)。信号を取り込む速度は、リアルタイムに近いものとするため、30Hz以上であることが望ましい。   Further, the image display device 10 takes in the laser radar measurement signal from the laser radars 16a to 16d into the system by the radar signal input device 18 (step S2). The speed of capturing the signal is preferably 30 Hz or more in order to be close to real time.

その後、画像表示装置10は、入力同期装置20により、ステップS1で取り込んだ画像及びステップS2で取り込んだレーザレーダ計測信号を取得するためのトリガーを発生させ、情報取得を行う(ステップS3)。   Thereafter, the image display device 10 causes the input synchronization device 20 to generate a trigger for acquiring the image captured in step S1 and the laser radar measurement signal captured in step S2, and performs information acquisition (step S3).

画像表示装置10は、ステップS1及びステップS2において並列処理でシステムにデータを取り込むため、情報取得のトリガーをステップS1及びステップS2の処理とは別に非同期で発生させ、リアルタイムに近いものとするため、30回/s以上の頻度でデータ取得を行う。   Since the image display device 10 captures data into the system in parallel processing in steps S1 and S2, the information acquisition trigger is generated asynchronously separately from the processing in steps S1 and S2, and is close to real time. Data acquisition is performed at a frequency of 30 times / s or more.

データ取得は、ステップS1及びステップS2の処理で取り込まれるデータのうち、最新の情報を取得するようにする。画像表示装置10は、ステップS1からステップS3までの処理を、カメラ12a〜12d及びレーザレーダ16a〜16dの全ての組に対して行う。   In the data acquisition, the latest information is acquired from the data captured in the processes of step S1 and step S2. The image display apparatus 10 performs the processing from step S1 to step S3 on all the sets of the cameras 12a to 12d and the laser radars 16a to 16d.

その後、画像表示装置10は、視点変換装置28により、初期セットアップ情報格納部24に格納された初期セットアップ情報(例えば、俯角τである。)に基づいてステップS1で取り込んだ画像の視点変換を行い、その画像を仮想水平面に投影する(ステップS4)。   Thereafter, the image display apparatus 10 performs viewpoint conversion of the image captured in step S1 by the viewpoint conversion apparatus 28 based on the initial setup information (for example, the depression angle τ) stored in the initial setup information storage unit 24. The image is projected onto a virtual horizontal plane (step S4).

その後、画像表示装置10は、角度算出装置22により、ステップS3のトリガーで取得したレーザレーダ計測信号を基に、カメラ12a〜12d及びレーザレーダ16a〜16dのそれぞれの組に対して視点変換基準角度を算出する。   Thereafter, the image display device 10 uses the angle calculation device 22 to determine the viewpoint conversion reference angle for each set of the cameras 12a to 12d and the laser radars 16a to 16d based on the laser radar measurement signal acquired by the trigger of step S3. Is calculated.

図6〜10は、角度算出装置22が視点変換基準角度を算出する方法を示す図であり、カメラの光軸を路面(水平面)に投影した軸をY軸とし、そのY軸方向に直交する水平軸をX軸、XY平面に直交しカメラの中心点を通る軸をZ軸として定義する。これを前方に取り付けたカメラ12aとレーザレーダ16aの組に対して適用すると、図6及び図7に示すとおりの座標系をとることになる。なお、車両の左側、右側及び後側に設置されたカメラ12b〜12d及びレーザレーダ16b〜16dの組についても、座標位置関係は同様とする。   FIGS. 6 to 10 are diagrams illustrating a method in which the angle calculation device 22 calculates the viewpoint conversion reference angle, where an axis obtained by projecting the optical axis of the camera onto the road surface (horizontal plane) is a Y axis, and is orthogonal to the Y axis direction. The horizontal axis is defined as the X axis, and the axis orthogonal to the XY plane and passing through the center point of the camera is defined as the Z axis. When this is applied to a set of a camera 12a and a laser radar 16a attached to the front, a coordinate system as shown in FIGS. 6 and 7 is taken. The coordinate position relationship is the same for the sets of cameras 12b to 12d and laser radars 16b to 16d installed on the left side, right side, and rear side of the vehicle.

初期セットアップ情報格納部24に格納しているレーザレーダ距離計測初期情報(路面が水平である場合に、視点変換基準線とY軸とが為すXY平面上の角度θHA、視点変換基準線とZ軸とが為すYZ平面上の角度θVA、対象までの距離L)は、図6及び図7に示すように、θHA=0°、θVA=135°に予め設定されている。 Laser radar distance measurement initial information stored in the initial setup information storage unit 24 (when the road surface is horizontal, the angle θ HA on the XY plane formed by the viewpoint conversion reference line and the Y axis, the viewpoint conversion reference line and Z The angle θ VA on the YZ plane formed by the axis and the distance L 0 to the target are set in advance as θ HA = 0 ° and θ VA = 135 ° as shown in FIGS.

図8は、上り坂の場合におけるレーザレーダ16aと路面との間の位置関係を示す図であり、点sは、初期セットアップ情報格納部24に格納されているレーザレーダ16aの中心点であり、点dは、レーザレーダ16aのレーザビームが着地する仮想水平面H上の点であり、点sと点dとの間の距離は予め設定された値Lとなっている。 Figure 8 is a diagram showing the positional relationship between the laser radar 16a and the road surface in the case of uphill, the point s 0 is located at the center point of the laser radar 16a stored in the initial setup information storage section 24 , point d 0 is a point on the imaginary horizontal plane H of the laser beam of the laser radar 16a lands, the distance between the point s 0 and the point d 0 has a value L 0 which is set in advance.

図8のような傾斜に車両が差し掛かった場合、レーザレーダ16aは、点dではなく点dで反射したレーザビームを受信し、点sと点dとの間の距離Lを検出する。角度算出手段22は、距離Lの値が所定値Lと異なるため、レーザレーダ16aをY軸上で車両前後方向に走査して距離が所定値Lとなる点cを導き出し、所定の視点変換基準角度θ(例えば、初期セットアップ情報格納部24に格納された角度θVAであり、俯角τであってもよい。)からのズレ角Δθを算出する。ズレ角Δθは、線分s・dと線分s・cとの間に形成される角度であり、例えば、上り坂が原点Oから勾配Φで延在する場合には、以下の式(2)のようなLの関数で表わされる。 If a vehicle on the inclined is approaching as shown in Figure 8, the laser radar 16a receives the laser beam reflected at point d 0, not the point d r, detects the distance L between the point s 0 and the point d r To do. Since the value of the distance L is different from the predetermined value L 0 , the angle calculation means 22 scans the laser radar 16 a in the vehicle front-rear direction on the Y axis to derive a point c where the distance becomes the predetermined value L 0, and a predetermined viewpoint conversion reference angle theta (e.g., an initial set-up information storing unit stored in the 24 angle theta VA, may be a depression angle tau.) calculating a deviation angle Δθ from. The deviation angle Δθ is an angle formed between the line segment s 0 · d 0 and the line segment s 0 · c. For example, when the uphill extends from the origin O with the gradient Φ, It is represented by a function of L as shown in equation (2).

Figure 2010157910
図9は、下り坂の場合における位置関係を示す図である。この場合、レーザレーダ16aの中心点sとレーザレーダ16aで検出した点dとの間の距離Lは、初期セットアップ情報格納部24に格納されている所定値L(点sと点dとの間の距離)よりも長い距離となる。角度算出装置22は、上り坂の場合と同様に、レーザレーダ16aをY軸上で車両前後方向に走査して距離が所定値Lとなる点cを導き出し、所定の視点変換基準角度θからのズレ角Δθを算出する。ズレ角Δθは、線分s・dと線分s・cとの間に形成される角度であり、例えば、下り坂が原点Oから勾配Φで始まる場合には、以下の式(3)のようなLの関数で表わされる。
Figure 2010157910
FIG. 9 is a diagram showing a positional relationship in the case of a downhill. In this case, the distance L, the initial setup information storage unit a predetermined value stored in 24 L 0 (the point s 0 and the point between the center point s 0 and the laser radar 16a d r point detected by the laser radar 16a a longer distance than the distance) between the d 0. Angle calculating device 22, as in the case of uphill, the laser radar 16a distance scanned in the longitudinal direction of the vehicle is derived a point c becomes the predetermined value L 0 on the Y-axis, from a predetermined viewpoint conversion reference angle θ The deviation angle Δθ is calculated. The deviation angle Δθ is an angle formed between the line segment s 0 · d 0 and the line segment s 0 · c. For example, when the downhill starts from the origin O with the gradient Φ, the following equation ( It is expressed by a function of L like 3).

Figure 2010157910
図10は、路面上に立体物が存在する場合の位置関係を示す図である。この場合、レーザレーダ16aの中心点sとレーザレーダ16aで検出した点dとの間の距離Lは、初期セットアップ情報格納部24に格納されている所定値L(点sと点dとの間の距離)よりも短い距離となる。角度算出装置22は、上り坂や下り坂の場合と同様に、レーザレーダ16aをY軸上で車両前後方向に走査して距離が所定値Lとなる点cを導き出し、所定の視点変換基準角度θからのズレ角Δθを算出する。ズレ角Δθは、線分s・dと線分s・cとの間に形成される角度であり、上り坂や下り坂の場合と比べて大きな値となる。なお、距離Lが所定値Lとなる点が存在せず点cを導き出せない場合、角度算出装置22は、ズレ角Δθを所定の最大値に設定する。
Figure 2010157910
FIG. 10 is a diagram illustrating a positional relationship when a three-dimensional object exists on the road surface. In this case, the distance L, the initial setup information storage unit a predetermined value stored in 24 L 0 (the point s 0 and the point between the center point s 0 and the laser radar 16a d r point detected by the laser radar 16a a shorter distance than the distance) between the d 0. Angle calculating device 22, as in the case of uphill and downhill, derive c that distance by scanning the laser radar 16a in the longitudinal direction of the vehicle on the Y axis is equal to a predetermined value L 0, predetermined viewpoint conversion reference A deviation angle Δθ from the angle θ is calculated. The deviation angle Δθ is an angle formed between the line segment s 0 · d 0 and the line segment s 0 · c, and has a larger value than that of the uphill or downhill. If there is no point where the distance L is the predetermined value L 0 and the point c cannot be derived, the angle calculation device 22 sets the deviation angle Δθ to a predetermined maximum value.

その後、画像表示装置10は、角度算出装置22が算出した所定の視点変換基準角度θからのズレ角Δθを取得し、ズレ角Δθがゼロにほぼ等しい場合には(ステップS6のYES)、路面は水平であるとして視点変換度合いの調整を行うことなくステップS9に移行する。   Thereafter, the image display device 10 acquires the deviation angle Δθ from the predetermined viewpoint conversion reference angle θ calculated by the angle calculation device 22, and when the deviation angle Δθ is substantially equal to zero (YES in step S6), the road surface Shifts to step S9 without adjusting the viewpoint conversion degree.

一方、ズレ角Δθがゼロでない場合には(ステップS6のNO)、画像表示装置10は、立体物検出装置26により、ズレ角Δθの大きさに基づいてカメラ画像内に立体物が存在するか否かを判定する(ステップS7)。   On the other hand, when the deviation angle Δθ is not zero (NO in step S6), the image display device 10 uses the three-dimensional object detection device 26 to determine whether a three-dimensional object exists in the camera image based on the magnitude of the deviation angle Δθ. It is determined whether or not (step S7).

図11は、ズレ角Δθの時間的推移を示す図であり、縦軸にズレ角Δθを配し、横軸に時間tを配する。また、図11は、自車両が上り坂又は下り坂に接近する場合におけるズレ角Δθの推移を破線で示し、自車両が立体物に接近する場合におけるズレ角Δθの推移を実線で示す。   FIG. 11 is a diagram showing a temporal transition of the deviation angle Δθ, where the vertical axis is the deviation angle Δθ and the horizontal axis is the time t. FIG. 11 shows a transition of the deviation angle Δθ when the host vehicle approaches an uphill or a downhill by a broken line, and shows a transition of the deviation angle Δθ when the host vehicle approaches a three-dimensional object by a solid line.

画像表示装置10は、立体物検出装置26により、ズレ角Δθの値が閾値THを超えた場合にはカメラ画像内に立体物が存在すると判定し(ステップS7のYES)、路面上に立体物が存在するものの路面自体は水平のままであるとして視点変換度合いの調整を行うことなくステップS9に移行する。   When the value of the deviation angle Δθ exceeds the threshold value TH, the image display device 10 determines that a three-dimensional object exists in the camera image (YES in step S7), and the three-dimensional object is displayed on the road surface. However, it is assumed that the road surface itself remains horizontal, and the process proceeds to step S9 without adjusting the viewpoint conversion degree.

また、画像表示装置10は、立体物検出装置26により、ズレ角Δθの値がゼロではないが閾値THを超えない場合にはカメラ画像内に立体物が存在しないと判定し(ステップS7のNO)、自車両が斜面に接近しているとして角度算出装置22が算出した所定の視点変換基準角度θに対するズレ角Δθの値に基づいて視点変換度合いを調整する(ステップS8)。   Further, the image display device 10 determines that the three-dimensional object is not present in the camera image when the value of the deviation angle Δθ is not zero but does not exceed the threshold value TH by the three-dimensional object detection device 26 (NO in step S7). ), The viewpoint conversion degree is adjusted based on the value of the deviation angle Δθ with respect to the predetermined viewpoint conversion reference angle θ calculated by the angle calculation device 22 assuming that the host vehicle is approaching the slope (step S8).

その後、画像表示装置10は、映像合成装置30により、ステップS4において視点変換したカメラ12a〜12dからの4枚の画像、又は、ステップS8において視点変換の度合いを調整したカメラ12a〜12dからの4枚の画像を、先行技術にあるような手法を用いて合成する(ステップS9)。画像の合成は、例えばαブレンディングを用いて、前後左右の重複領域の合成を実施する。本実施形態では前後画像はα値=100%で合成し、左右画像はα値=0%で合成する。   Thereafter, the image display apparatus 10 uses the four images from the cameras 12a to 12d whose viewpoints are converted in step S4 by the video composition apparatus 30, or four from the cameras 12a to 12d whose degree of viewpoint conversion is adjusted in step S8. The sheets of images are synthesized using a technique as in the prior art (step S9). For image synthesis, for example, α blending is used to synthesize overlapping regions in front, rear, left, and right. In this embodiment, the front and rear images are combined with α value = 100%, and the left and right images are combined with α value = 0%.

その後、画像表示装置10は、映像出力装置32により、ステップS9で合成した画像をビデオ信号等に変換して、ディスプレイ34に出力する(ステップS10)。   Thereafter, the image display device 10 converts the image synthesized in step S9 into a video signal or the like by the video output device 32, and outputs it to the display 34 (step S10).

その後、画像表示装置10は、車両のエンジンが停止されること等により表示処理を終了すべきと判断するまで(ステップS11のNO)、ステップS1からステップS10までのステップを繰り返し、表示処理を終了すべきと判断した場合に(ステップS11のYES)、処理を終了させる。   Thereafter, the image display device 10 repeats the steps from Step S1 to Step S10 until the display process is terminated (NO in Step S11), for example, by stopping the engine of the vehicle, and the display process is terminated. If it is determined that it should be performed (YES in step S11), the process is terminated.

このように、実施形態に係る画像表示装置10は、所定の視点変換基準角度θに対するズレ角Δθに基づいて路面上における立体物の存否を判定し、そのズレ角Δθがゼロでない場合であって、且つ、立体物が存在しないと判定された場合に限り、視点変換に対する調整を実行するので、立体物の表面を路面であると誤認することによる視点変換に対する不要な調整を効率的に排除して適切に視点変換された出力画像をディスプレイ34上に表示することができる。   As described above, the image display apparatus 10 according to the embodiment determines whether or not a three-dimensional object exists on the road surface based on the deviation angle Δθ with respect to the predetermined viewpoint conversion reference angle θ, and the deviation angle Δθ is not zero. Only when it is determined that a three-dimensional object does not exist, adjustment for viewpoint conversion is executed, so that unnecessary adjustment for viewpoint conversion by misidentifying the surface of the three-dimensional object as a road surface is efficiently eliminated. Thus, an output image that has been appropriately converted in viewpoint can be displayed on the display 34.

以上、本発明の好ましい実施形態について詳説したが、本発明は、上述した実施形態に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施形態に種々の変形及び置換を加えることができる。   The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to the above-described embodiments, and various modifications and substitutions can be made to the above-described embodiments without departing from the scope of the present invention. Can be added.

例えば、上述の実施形態において、立体物検出装置26は、所定の視点変換基準角度θからのズレ角Δθの時間的推移に基づいて視点変換の度合いを調整するが、視点変換基準角度自体(所定の視点変換基準角度θにズレ角Δθを加算又は減算した角度)の時間的推移に基づいて視点変換の度合いを調整するようにしてもよく、レーザレーダが検出する距離Lの時間的推移に基づいて視点変換の度合いを調整するようにしてもよい。   For example, in the above-described embodiment, the three-dimensional object detection device 26 adjusts the degree of viewpoint conversion based on the temporal transition of the deviation angle Δθ from the predetermined viewpoint conversion reference angle θ, but the viewpoint conversion reference angle itself (predetermined The degree of viewpoint conversion may be adjusted on the basis of the temporal transition of the difference angle Δθ added to or subtracted from the viewpoint conversion reference angle θ), or based on the temporal transition of the distance L detected by the laser radar. Then, the degree of viewpoint conversion may be adjusted.

また、立体物検出装置26は、視点変換基準角度、ズレ角Δθ、距離Lにおける、自車両の移動距離に対する推移に基づいて視点変換の度合いを調整するようにしてもよい。自車両が速度を変更しながら断続的に移動する場合にも対応できるようにするためである。   Further, the three-dimensional object detection device 26 may adjust the degree of viewpoint conversion based on the transition with respect to the movement distance of the host vehicle at the viewpoint conversion reference angle, the deviation angle Δθ, and the distance L. This is to cope with the case where the host vehicle moves intermittently while changing the speed.

また、立体物検出装置26は、路面上に立体物が存在する場合に視点変換の度合いの調整を中止するが、路面に局所的な凹みや溝が存在する場合に視点変換の度合いの調整を中止するようにしてもよい。   The three-dimensional object detection device 26 stops adjusting the degree of viewpoint conversion when a three-dimensional object exists on the road surface, but adjusts the degree of viewpoint conversion when a local dent or groove exists on the road surface. You may make it cancel.

実施形態に係る画像表示装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image display apparatus which concerns on embodiment. 実施形態に係るカメラの配置を示す斜視図である。It is a perspective view which shows arrangement | positioning of the camera which concerns on embodiment. 実施形態に係る透視変換原理を示す図である。It is a figure which shows the perspective transformation principle which concerns on embodiment. 実施形態に係る透視変換前後のイメージを示す図である。It is a figure which shows the image before and after perspective transformation which concerns on embodiment. 実施形態に係る画像表示装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the image display apparatus which concerns on embodiment. 実施形態に係るカメラとレーザレーダの座標系を示す図(その1)である。It is the figure which shows the coordinate system of the camera which concerns on embodiment, and a laser radar (the 1). 実施形態に係るカメラとレーザレーダの座標系を示す図(その2)である。FIG. 6 is a diagram (part 2) illustrating a coordinate system of a camera and a laser radar according to the embodiment. 上り坂の場合におけるレーザレーダと路面との間の位置関係を示す図である。It is a figure which shows the positional relationship between the laser radar and the road surface in the case of an uphill. 下り坂の場合におけるレーザレーダと路面との間の位置関係を示す図である。It is a figure which shows the positional relationship between the laser radar and the road surface in the case of a downhill. 路面上に立体物が存在する場合におけるレーザレーダと路面との間の位置関係を示す図である。It is a figure which shows the positional relationship between a laser radar and a road surface in case a solid object exists on a road surface. 視点変換基準角からのズレ角の時間的推移を示す図である。It is a figure which shows the time transition of the deviation | shift angle from a viewpoint conversion reference | standard angle.

符号の説明Explanation of symbols

10 画像表示装置
11 車体
12a、12b、12c、12d カメラ
14 画像入力装置
16a、16b、16c、16d レーザレーダ
18 レーダ信号入力装置
20 入力同期装置
22 角度算出装置
24 初期セットアップ情報格納部
26 立体物検出装置
28 視点変換装置
30 映像合成装置
32 映像出力装置
34 ディスプレイ
P スクリーン平面
I1 変換前イメージ
I2 変換後イメージ
DESCRIPTION OF SYMBOLS 10 Image display apparatus 11 Car body 12a, 12b, 12c, 12d Camera 14 Image input apparatus 16a, 16b, 16c, 16d Laser radar 18 Radar signal input apparatus 20 Input synchronization apparatus 22 Angle calculation apparatus 24 Initial setup information storage part 26 Three-dimensional object detection Device 28 Viewpoint conversion device 30 Video composition device 32 Video output device 34 Display P Screen plane I1 Image before conversion I2 Image after conversion

Claims (1)

撮像手段により得られた車両周辺の画像を視点変換して表示する画像表示装置であって、
前記撮像手段と被写体との間の距離を検出する距離検出手段と、
前記撮像手段の撮像軸を含む鉛直平面内にあり前記距離が所定値となる被写体上の点と前記撮像手段とを結ぶ線が鉛直軸に対して形成する角度を算出する角度算出手段と、
前記角度算出手段が算出する角度に基づいて視点変換の度合いを調整する視点変換度調整手段と、
前記角度算出手段が算出する角度の変化に基づいて立体物の存否を判定する立体物存否判定手段と、を備え、
前記視点変換調整手段は、前記立体物存否判定手段により立体物が存在すると判定された場合に調整を中止する、
ことを特徴とする画像表示装置。
An image display device that displays an image of the surroundings of a vehicle obtained by an imaging means by converting the viewpoint,
Distance detecting means for detecting a distance between the imaging means and the subject;
An angle calculating means for calculating an angle formed with respect to the vertical axis by a line connecting a point on the subject having a predetermined value within the vertical plane including the imaging axis of the imaging means and the imaging means;
Viewpoint conversion degree adjusting means for adjusting the degree of viewpoint conversion based on the angle calculated by the angle calculating means;
Solid object presence / absence determining means for determining the presence or absence of a three-dimensional object based on a change in angle calculated by the angle calculating means;
The viewpoint conversion adjusting means stops the adjustment when the three-dimensional object existence determining means determines that a three-dimensional object exists;
An image display device characterized by that.
JP2008335075A 2008-12-26 2008-12-26 Image display device Pending JP2010157910A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008335075A JP2010157910A (en) 2008-12-26 2008-12-26 Image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008335075A JP2010157910A (en) 2008-12-26 2008-12-26 Image display device

Publications (1)

Publication Number Publication Date
JP2010157910A true JP2010157910A (en) 2010-07-15

Family

ID=42575469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008335075A Pending JP2010157910A (en) 2008-12-26 2008-12-26 Image display device

Country Status (1)

Country Link
JP (1) JP2010157910A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012112108A (en) * 2010-11-22 2012-06-14 Hitachi Constr Mach Co Ltd Periphery monitoring device for work machine
JP2015096411A (en) * 2013-10-11 2015-05-21 本田技研工業株式会社 Parking support system
CN111192235A (en) * 2019-12-05 2020-05-22 中国地质大学(武汉) Image measuring method based on monocular vision model and perspective transformation

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012112108A (en) * 2010-11-22 2012-06-14 Hitachi Constr Mach Co Ltd Periphery monitoring device for work machine
JP2015096411A (en) * 2013-10-11 2015-05-21 本田技研工業株式会社 Parking support system
CN111192235A (en) * 2019-12-05 2020-05-22 中国地质大学(武汉) Image measuring method based on monocular vision model and perspective transformation

Similar Documents

Publication Publication Date Title
JP4193886B2 (en) Image display device
US8184160B2 (en) Image processor, driving assistance system, and out-of-position detecting method
EP3160138B1 (en) Image synthesis system, image synthesis device therefor, and image synthesis method
EP2437494B1 (en) Device for monitoring area around vehicle
JP5109691B2 (en) Analysis device
JP2008211373A (en) Device and method for monitoring surroundings around vehicle
JP2017091284A (en) Image processing device for vehicle and image processing system for vehicle
WO2005079060A1 (en) Operation support device
JP2011188335A (en) Vehicle surroundings monitoring device
JP2009118416A (en) Vehicle-periphery image generating apparatus and method of correcting distortion of vehicle-periphery image
JP2007129560A (en) Object detector
JP2011040825A (en) Image correction apparatus, method, and method for making transformation map used for the same
JP2012198077A (en) Stereo camera device and parallax image generating method
JP2010016805A (en) Image processing apparatus, driving support system, and image processing method
JP2009290645A (en) In-vehicle unit
JP2011064566A (en) Distance estimation apparatus
JP2009093332A (en) Vehicle peripheral image processor and vehicle peripheral circumstance presentation method
JP2013207637A (en) Image processing apparatus and method, and computer program
JP2008048094A (en) Video display device for vehicle, and display method of video images in vicinity of the vehicle
JP2018139084A (en) Device, moving object device and method
JP5181602B2 (en) Object detection device
JP2010157910A (en) Image display device
KR101558586B1 (en) Device and method for display image around a vehicle
JP7196920B2 (en) Driving support device, driving support method, and program
JP6999239B2 (en) Image processing device and image processing method