JP2008149764A - Vehicle periphery monitoring device - Google Patents

Vehicle periphery monitoring device Download PDF

Info

Publication number
JP2008149764A
JP2008149764A JP2006337066A JP2006337066A JP2008149764A JP 2008149764 A JP2008149764 A JP 2008149764A JP 2006337066 A JP2006337066 A JP 2006337066A JP 2006337066 A JP2006337066 A JP 2006337066A JP 2008149764 A JP2008149764 A JP 2008149764A
Authority
JP
Japan
Prior art keywords
vehicle
image
monitoring image
periphery monitoring
vehicle periphery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006337066A
Other languages
Japanese (ja)
Inventor
Haruo Ito
治男 伊藤
Ketsu Yo
杰 姚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2006337066A priority Critical patent/JP2008149764A/en
Publication of JP2008149764A publication Critical patent/JP2008149764A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a vehicle periphery monitoring device capable of sufficiently monitoring the periphery of a towing vehicle even when a towed vehicle is connected to a towing vehicle. <P>SOLUTION: A vehicle periphery monitoring image display processing means 6 is formed so as to perform processing for displaying a vehicle periphery monitoring image 26 having a portion where a display range is widely formed from a towing vehicle side toward the towed vehicle side on a display part 10 when the towed vehicle is connected to the towing vehicle compared to the vehicle periphery monitoring image 12 when the towed vehicle is not connected to the towing vehicle. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、車両周辺監視装置に関し、特に、牽引車両の周辺を監視するのに好適な車両周辺監視装置に関する。   The present invention relates to a vehicle periphery monitoring device, and more particularly, to a vehicle periphery monitoring device suitable for monitoring the periphery of a tow vehicle.

近年、車両(自動車)の運転操作を支援するシステムとして、車両周辺監視装置が採用されるようになっており、この車両周辺監視装置は、車両に搭載された複数台のカメラによる車両周辺の道路面や駐車場面等の撮影画像を用いることによって、車両およびその周辺を車両の上方から見下ろした画像である車両監視画像を生成して車内のディスプレイに表示するようになっていた。   In recent years, a vehicle periphery monitoring device has been adopted as a system that supports driving operation of a vehicle (automobile). This vehicle periphery monitoring device is a road around a vehicle by a plurality of cameras mounted on the vehicle. By using captured images of a surface, a parking scene, and the like, a vehicle monitoring image that is an image of the vehicle and its surroundings viewed from above the vehicle is generated and displayed on a display inside the vehicle.

このような車両周辺監視装置は、種々の車両に適用することが可能であり、トレーラを牽引するトラクタのような牽引車両に適用した場合には、牽引車両の周辺を監視することが可能であった。   Such a vehicle periphery monitoring device can be applied to various vehicles, and when applied to a towing vehicle such as a tractor that pulls a trailer, the periphery of the towing vehicle can be monitored. It was.

特許第3286306号Japanese Patent No. 3286306

しかしながら、牽引車両の場合には、牽引車両に被牽引車両が連結されている状態において、牽引車両の後方を撮影するカメラの視野内に被牽引車両が捕捉されてしまうため、車両周辺監視画像の表示に実際に使用することが可能な道路面等の撮影画像が被牽引車両の撮影画像によって縮小されてしまっていた。   However, in the case of a towed vehicle, the towed vehicle is captured in the field of view of the camera that captures the rear of the towed vehicle in a state where the towed vehicle is connected to the towed vehicle. The photographed image of the road surface and the like that can actually be used for display has been reduced by the photographed image of the towed vehicle.

これにより、牽引車両に被牽引車両が連結されている場合には、連結されていない状態に比べて、車両周辺監視画像の表示範囲が狭くなり、牽引車両の周辺を十分に監視することが困難になるといった問題が生じていた。   As a result, when the towed vehicle is connected to the towed vehicle, the display range of the vehicle periphery monitoring image is narrower than in the unconnected state, and it is difficult to sufficiently monitor the periphery of the towed vehicle. The problem of becoming.

そこで、本発明は、このような問題点に鑑みなされたものであり、牽引車両に被牽引車両が連結されている場合においても、牽引車両の周辺を十分に監視することができる車両周辺監視装置を提供することを目的とするものである。   Therefore, the present invention has been made in view of such problems, and a vehicle periphery monitoring device that can sufficiently monitor the periphery of a tow vehicle even when the tow vehicle is connected to the tow vehicle. Is intended to provide.

前述した目的を達成するため、本発明に係る車両周辺監視装置は、牽引車両に搭載され、前記牽引車両の周辺を撮影する牽引車両周辺撮影手段と、前記牽引車両に被牽引車両が連結されていない場合に、前記牽引車両周辺撮影手段の撮影画像を用いて、前記牽引車両およびその周辺を前記牽引車両の上方から見下ろした画像である第1の車両周辺監視画像を表示部に表示する処理を行う車両周辺監視画像表示処理手段とを備え、前記車両周辺監視画像表示処理手段が、前記牽引車両に前記被牽引車両が連結されている場合に、前記牽引車両周辺撮影手段の撮影画像を用いて、前記第1の車両周辺監視画像に比べて表示範囲が前記牽引車両側から前記被牽引車両側に向かって広く形成された部位を有する第2の車両周辺監視画像を前記表示部に表示する処理を行うように形成されていることを特徴としている。   In order to achieve the above-described object, a vehicle periphery monitoring device according to the present invention is mounted on a tow vehicle, and a tow vehicle periphery photographing means for photographing the periphery of the tow vehicle and a towed vehicle are connected to the tow vehicle. If there is not, processing for displaying on the display unit a first vehicle periphery monitoring image, which is an image of the towed vehicle and its surroundings as viewed from above the towed vehicle, using the captured image of the towed vehicle periphery capturing means. Vehicle periphery monitoring image display processing means to perform, when the vehicle periphery monitoring image display processing means is connected to the towed vehicle and the towed vehicle is connected, using the captured image of the towed vehicle periphery imaging means , A second vehicle periphery monitoring image having a portion in which a display range is wider from the towed vehicle side toward the towed vehicle side than the first vehicle periphery monitoring image is displayed on the display unit. It is characterized in that it is formed to perform Shimesuru process.

また、本発明に係る他の車両周辺監視装置は、前記牽引車両に前記被牽引車両が連結されているか否かの判定を行う連結状態判定手段を備え、前記車両周辺監視画像表示処理手段が、前記連結状態判定手段の判定結果に応じて、前記第1の車両周辺監視画像または前記第2の車両周辺監視画像のいずれかを自動的に選択して表示する処理を行うように形成されていることを特徴としている。   Further, another vehicle periphery monitoring device according to the present invention includes a connection state determination unit that determines whether or not the towed vehicle is connected to the towed vehicle, and the vehicle periphery monitoring image display processing unit includes: Depending on the determination result of the connection state determination means, either the first vehicle periphery monitoring image or the second vehicle periphery monitoring image is automatically selected and displayed. It is characterized by that.

さらに、本発明に係る他の車両周辺監視装置は、前記被牽引車両に、当該被牽引車両の周辺を撮影し、撮影された画像を前記車両周辺監視画像表示処理手段が取得可能とされた被牽引車両周辺撮影手段が搭載されているか否かの判定を行う撮影手段搭載判定手段を備え、前記車両周辺監視画像表示処理手段が、前記連結状態判定手段によって、前記牽引車両に前記被牽引車両が連結されている旨の判定が行われ、かつ、前記撮影手段搭載判定手段によって、前記被牽引車両に前記被牽引車両周辺撮影手段が搭載されている旨の判定が行われた場合に、前記牽引車両周辺撮影手段の撮影画像および前記被牽引車両周辺撮影手段の撮影画像を用いて、前記牽引車両およびその周辺ならびに前記被牽引車両およびその周辺を前記牽引車両ならびに前記被牽引車両の上方から見下ろした画像である第3の車両周辺監視画像を前記表示部に表示する処理を行うように形成されていることを特徴としている。   Furthermore, another vehicle periphery monitoring apparatus according to the present invention is configured to capture the periphery of the towed vehicle on the towed vehicle, and the vehicle periphery monitoring image display processing unit can acquire the captured image. The vehicle surrounding monitoring image display processing means includes a photographing means mounting determination means for determining whether or not a towed vehicle periphery photographing means is mounted, and the vehicle surrounding monitoring image display processing means is connected to the towed vehicle by the connection state determining means. When it is determined that the vehicle is connected, and the imaging unit mounting determination unit determines that the towed vehicle periphery imaging unit is mounted on the towed vehicle, the traction Using the photographed image of the vehicle periphery photographing means and the photographed image of the towed vehicle periphery photographing means, the towed vehicle and its surroundings and the towed vehicle and its surroundings are referred to as the towed vehicle and the front. Is characterized in that it is formed to perform a process of displaying the third vehicle periphery monitoring image is an image looking down from above the towed vehicle on the display unit.

本発明に係る車両周辺監視装置によれば、牽引車両に被牽引車両が連結されている場合には、車両周辺監視画像表示処理手段によって、第1の車両周辺監視画像よりも表示範囲が牽引車両側から被牽引車両側に向かって広く形成された部位を有する第2の車両周辺監視画像を表示することにより、牽引車両に被牽引車両が連結されている場合においても、牽引車両の周辺を十分に監視することができる。なお、前記表示範囲が広く形成された部位が被牽引車両側に向かってより広く形成されているものであれば、牽引車両の周辺だけでなく、被牽引車両の周辺の監視にも役立てることができる。   According to the vehicle periphery monitoring device of the present invention, when the towed vehicle is connected to the towed vehicle, the display range of the towed vehicle is larger than that of the first vehicle periphery monitoring image by the vehicle periphery monitoring image display processing means. By displaying a second vehicle periphery monitoring image having a part that is widely formed from the side toward the towed vehicle side, even when the towed vehicle is connected to the towed vehicle, the periphery of the towed vehicle is sufficiently Can be monitored. In addition, as long as the part where the display range is formed is formed wider toward the towed vehicle side, it can be used not only for the periphery of the towed vehicle but also for monitoring the periphery of the towed vehicle. it can.

また、本発明に係る他の車両周辺監視装置によれば、車両周辺監視画像表示処理手段が、連結状態判定手段による牽引車両への被牽引車両の連結の有無の判定結果に応じて、第1の車両周辺監視画像または第2の車両周辺監視画像のいずれかを自動的に選択して表示する処理を行うことができるので、ユーザの負担を軽減して利便性を向上させることができる。   Further, according to another vehicle periphery monitoring apparatus according to the present invention, the vehicle periphery monitoring image display processing unit is configured to perform the first operation according to the determination result of whether the towed vehicle is connected to the towed vehicle by the connection state determining unit. Since it is possible to automatically select and display either the vehicle periphery monitoring image or the second vehicle periphery monitoring image, the burden on the user can be reduced and the convenience can be improved.

さらに、本発明に係る他の車両周辺監視装置によれば、牽引車両に連結された被牽引車両が被牽引車両周辺撮影手段を搭載している場合には、車両周辺監視画像表示処理手段により、第3の車両周辺監視画像を表示することができるので、牽引車両だけでなく被牽引車両の周辺をも十分に監視することができる。   Furthermore, according to another vehicle periphery monitoring device according to the present invention, when the towed vehicle connected to the towed vehicle is equipped with the towed vehicle periphery photographing means, the vehicle periphery monitoring image display processing means, Since the third vehicle periphery monitoring image can be displayed, not only the tow vehicle but also the periphery of the towed vehicle can be sufficiently monitored.

以下、本発明に係る車両周辺監視装置の実施形態について、図1乃至図9を参照して説明する。   Hereinafter, an embodiment of a vehicle periphery monitoring device according to the present invention will be described with reference to FIGS. 1 to 9.

図1に示すように、本実施形態における車両周辺監視装置1は、牽引車両としてのトラクタに搭載された牽引車両周辺撮影手段としての4台のカメラ2,3,4,5を有しており、各カメラ2,3,4,5は、魚眼レンズ等の超広角レンズを介して物体側から入射した光を、CCD面等の撮像面上に結像させることによって物体の像を撮影するようになっている。   As shown in FIG. 1, the vehicle periphery monitoring apparatus 1 in this embodiment has four cameras 2, 3, 4, and 5 as tow vehicle periphery photographing means mounted on a tractor as a tow vehicle. Each of the cameras 2, 3, 4, and 5 captures an image of an object by forming light incident from the object side through an ultra-wide-angle lens such as a fisheye lens on an imaging surface such as a CCD surface. It has become.

これら4台のカメラ2,3,4,5のうちの1台のカメラ2は、トラクタの前部(例えば、エンブレム部)に取り付けられた前方撮影カメラとしてのトラクタ用フロントカメラ2とされており、このトラクタ用フロントカメラ2は、トラクタの前方を斜めに見下ろすように撮影するようになっている。また、他の3台のカメラ3,4,5のうちの1台のカメラ3は、トラクタの後部(例えば、リアライセンスガーニッシュ部)に取り付けられた後方撮影カメラとしてのトラクタ用バックカメラ3とされており、このトラクタ用バックカメラ3は、トラクタの後方を斜めに見下ろすように撮影するようになっている。さらに、他の2台のカメラ4,5は、トラクタの右側部(例えば、右ドアミラー部)に取り付けられた側方撮影カメラとしてのトラクタ用右サイドカメラ4とされており、このトラクタ用右サイドカメラ4は、トラクタの右側方を斜めに見下ろすように撮影するようになっている。さらにまた、残りの1台のカメラ5は、トラクタの左側部(例えば、左ドアミラー部)に取り付けられた側方撮影カメラとしてのトラクタ用左サイドカメラ5とされており、このトラクタ用左サイドカメラ5は、トラクタの左側方を斜めに見下ろすように撮影するようになっている。したがって、これらのカメラ2,3,4,5によって、トラクタの周辺を撮影することができるようになっている。   One of the four cameras 2, 3, 4 and 5 is a front camera 2 for a tractor as a front photographing camera attached to a front portion (for example, an emblem portion) of the tractor. The tractor front camera 2 is adapted to take an image so that the front of the tractor is looked down obliquely. Also, one of the other three cameras 3, 4, 5 is a tractor back camera 3 as a rear photographic camera attached to the rear part (for example, rear license garnish part) of the tractor. The tractor back camera 3 shoots the back of the tractor so as to look down at an angle. Further, the other two cameras 4 and 5 are the right side camera 4 for the tractor as a side photographic camera attached to the right side portion (for example, the right door mirror portion) of the tractor. The camera 4 takes a picture so that the right side of the tractor is looked down diagonally. Furthermore, the remaining one camera 5 is a tractor left side camera 5 as a side photographic camera attached to the left side of the tractor (for example, the left door mirror), and this tractor left side camera. No. 5 shoots the left side of the tractor so as to look down diagonally. Therefore, these cameras 2, 3, 4 and 5 can photograph the periphery of the tractor.

各カメラ2,3,4,5には、車両周辺監視画像表示処理手段としての車両周辺監視画像表示処理部6が接続されており、この車両周辺監視画像表示処理部6は、各カメラ2,3,4,5の撮影画像を各カメラ2,3,4,5から取得するようになっている。   Each of the cameras 2, 3, 4 and 5 is connected to a vehicle periphery monitoring image display processing unit 6 as vehicle periphery monitoring image display processing means. The captured images of 3, 4, and 5 are acquired from the cameras 2, 3, 4, and 5, respectively.

車両周辺監視画像表示処理部6は、取得された各カメラ2,3,4,5の撮影画像の中から車両周辺監視画像の表示に実際に使用する画素範囲(以下、使用画素範囲と称する)内の画像のみを抽出し、使用画素範囲外の画像は削除するようになっている。なお、使用画素範囲内の画像のみを抽出する動作は、後述する変換テーブル11を用いることによって実現することができる。   The vehicle periphery monitoring image display processing unit 6 is a pixel range actually used for displaying the vehicle periphery monitoring image from the acquired captured images of the cameras 2, 3, 4 and 5 (hereinafter referred to as a use pixel range). Only the image inside is extracted, and the image outside the use pixel range is deleted. Note that the operation of extracting only the image within the use pixel range can be realized by using the conversion table 11 described later.

ここで、例えば、図2に示すトラクタ用バックカメラ3の撮影画像7中には、複数個の画素が縦横に整列されているが、このトラクタ用バックカメラ3においては、駐車場面の画像が結像されている図2における太線枠内の画素範囲が、使用画素範囲とされている。なお、魚眼レンズ等の超広角レンズでは、撮影画像7が樽型に歪むため、後述する変換テーブル11によって長方形の後方監視画像15(図4参照)を得るために要する使用画素範囲は、図2の太線枠に示すように、レンズの特性に応じた樽型の領域となる。また、図2においては、便宜上、使用画素範囲の大まかな広さおよび位置を把握しやすくするために、例えば、縦64ドット×横64ドットの画素の集合である画素群8ごとに撮影画像7が区画されている。この図2に示す使用画素範囲は、後述する非連結時監視画像12用の使用画素範囲とされている。   Here, for example, in the captured image 7 of the tractor back camera 3 shown in FIG. 2, a plurality of pixels are aligned vertically and horizontally, but in this tractor back camera 3, an image of a parking scene is formed. The pixel range within the bold line frame in FIG. 2 that is imaged is the use pixel range. Note that in a super-wide-angle lens such as a fisheye lens, the captured image 7 is distorted into a barrel shape. Therefore, the usable pixel range required to obtain a rectangular rear monitoring image 15 (see FIG. 4) by the conversion table 11 described later is as shown in FIG. As indicated by the bold line frame, the region is a barrel-shaped region corresponding to the characteristics of the lens. In FIG. 2, for the sake of convenience, in order to make it easy to grasp the approximate width and position of the use pixel range, for example, the captured image 7 for each pixel group 8 that is a set of pixels of 64 vertical pixels × 64 horizontal pixels. Is partitioned. The use pixel range shown in FIG. 2 is a use pixel range for a monitoring image 12 when disconnected, which will be described later.

車両周辺監視画像表示処理部6には、変換テーブル格納部9が接続されており、この変換テーブル格納部9には、カメラ2,3,4,5の撮影画像における使用画素範囲を規定するとともに、使用画素範囲内の画像を車両周辺監視画像用の画像に変換するための図3に例示するような変換テーブル11が格納されている。図3に示すように、変換テーブル11は、カメラ2,3,4,5の撮像面の座標系(画像座標系)における座標点、例えば(x、y)と、この座標点(x、y)上の画素の変換先となるディスプレイ座標系における座標点、例えば(x、y)との対応関係を定めたものとなっており、この変換テーブル11に記述された画像座標系における各座標点によって、使用画素範囲が規定されることになる。この変換テーブル11は、カメラ2,3,4,5ごとに個別のものであってもよい。 A conversion table storage unit 9 is connected to the vehicle periphery monitoring image display processing unit 6, and the conversion table storage unit 9 defines a use pixel range in the captured images of the cameras 2, 3, 4, and 5. A conversion table 11 illustrated in FIG. 3 for converting an image within the use pixel range into an image for a vehicle periphery monitoring image is stored. As shown in FIG. 3, the conversion table 11 includes coordinate points in the coordinate system (image coordinate system) of the imaging surfaces of the cameras 2, 3, 4, and 5, for example (x c , y c ), and the coordinate points (x c , y c ), which defines a correspondence relationship with a coordinate point in the display coordinate system, for example, (x t , y t ), which is a conversion destination of the pixel on the image, and the image described in the conversion table 11 The use pixel range is defined by each coordinate point in the coordinate system. The conversion table 11 may be individual for each of the cameras 2, 3, 4, and 5.

車両周辺監視画像表示処理部6は、このような変換テーブル11を用いることにより、各カメラ2,3,4,5の撮影画像7の中から使用画素範囲内の画像を抽出するとともに、抽出された使用画素範囲内の画像を車両の上方の仮想視点から見下ろすように視点変換した画像へと変換するようになっている。そして、車両周辺監視画像表示処理部6は、変換テーブル11による変換後の画像を互いに合成し、さらに、これにトラクタの平面画像を生成して合成することによって、車両周辺監視画像を生成するようになっている。   The vehicle periphery monitoring image display processing unit 6 uses the conversion table 11 to extract an image within the use pixel range from the photographed images 7 of the cameras 2, 3, 4, and 5 and extract them. The image within the use pixel range is converted into an image whose viewpoint is converted so that the image is looked down from a virtual viewpoint above the vehicle. Then, the vehicle periphery monitoring image display processing unit 6 combines the images converted by the conversion table 11 with each other, and further generates and combines a plane image of the tractor to generate a vehicle periphery monitoring image. It has become.

なお、カメラ2,3,4,5の撮像画像7は、超広角レンズの収差(ディストーション)の影響によって中央から周辺部に向かうにしたがって歪みが大きくなっているので、車両周辺監視画像にレンズの収差の影響が出ないようにするためには、歪みを補正することが必要となる。この歪みの補正は、変換テーブル11による変換の直前に行うようにしてもよいし、または、変換テーブル11に予め歪みを考慮した画像座標系の座標点とディスプレイ座標系の座標点との対応関係を記述しておくことによって変換テーブル11による変換と同時に行うようにしてもよい。   Note that the captured images 7 of the cameras 2, 3, 4, and 5 are more distorted from the center toward the periphery due to the influence of distortion (distortion) of the super-wide-angle lens. In order to prevent the influence of aberration, it is necessary to correct the distortion. This distortion correction may be performed immediately before the conversion by the conversion table 11, or the correspondence between the coordinate point of the image coordinate system and the coordinate point of the display coordinate system in consideration of the distortion in the conversion table 11 in advance. May be performed simultaneously with the conversion by the conversion table 11.

車両周辺監視画像表示処理部6には、表示部としてのディスプレイ10が接続されている。車両周辺監視画像表示処理部6は、生成された車両周辺監視画像を、図4に示すようにディスプレイ10に表示するようになっている。   A display 10 as a display unit is connected to the vehicle periphery monitoring image display processing unit 6. The vehicle periphery monitoring image display processing unit 6 displays the generated vehicle periphery monitoring image on the display 10 as shown in FIG.

なお、図4に示す車両周辺監視画像は、第1の車両周辺監視画像すなわちトラクタに被牽引車両としてのトレーラが連結されていない状態における車両周辺監視画像(以下、非連結時監視画像12と称する)とされている。   The vehicle periphery monitoring image shown in FIG. 4 is a first vehicle periphery monitoring image, that is, a vehicle periphery monitoring image in a state where a trailer as a towed vehicle is not connected to the tractor (hereinafter referred to as a non-connected monitoring image 12). ).

この非連結時監視画像12は、トラクタの平面画像18を有しており、この画像18は、カメラ2,3,4,5の撮影画像によらずに車両周辺監視画像表示処理部6が独自に生成したものとなっている。また、非連結時監視画像12は、トラクタ用フロントカメラ2の撮影画像における使用画素範囲内の画像についての変換テーブル11による変換後の画像(以下、前方監視画像14と称する)を有しており、この前方監視画像14は、トラクタの平面画像18の前端部に連接されている。さらに、非連結時監視画像12は、トラクタ用バックカメラ3の撮影画像における使用画素範囲内の画像についての変換テーブル11による変換後の画像(以下、後方監視画像15と称する)を有しており、この後方監視画像15は、トラクタの平面画像18の後端部に連接されている。さらにまた、非連結時監視画像12は、トラクタ用右サイドカメラ4の撮影画像における使用画素範囲内の画像についての変換テーブル11による変換後の画像(以下、右側方監視画像16と称する)を有しており、この右側方監視画像16は、トラクタの平面画像18の右側端部および前方監視画像14ならびに後方監視画像15に連接されている。また、非連結時監視画像12は、トラクタ用左サイドカメラ5の撮影画像における使用画素範囲内の画像についての変換テーブル11による変換後の画像(以下、左側方監視画像17と称する)を有しており、この左側方監視画像17は、トラクタの平面画像18の左側端部および前方監視画像14ならびに後方監視画像15に連接されている。   The unconnected monitoring image 12 has a tractor plane image 18, and this image 18 is unique to the vehicle periphery monitoring image display processing unit 6 regardless of the images taken by the cameras 2, 3, 4, and 5. Has been generated. Further, the unconnected monitoring image 12 has an image (hereinafter referred to as a forward monitoring image 14) after conversion by the conversion table 11 for an image in the use pixel range in the captured image of the tractor front camera 2. The front monitoring image 14 is connected to the front end portion of the planar image 18 of the tractor. Further, the unconnected monitoring image 12 includes an image (hereinafter, referred to as a rear monitoring image 15) converted by the conversion table 11 for an image in the use pixel range in the image captured by the tractor back camera 3. The rear monitoring image 15 is connected to the rear end portion of the planar image 18 of the tractor. Further, the unconnected monitoring image 12 has an image (hereinafter, referred to as a right-side monitoring image 16) converted by the conversion table 11 for an image in the use pixel range in the captured image of the tractor right side camera 4. The right side monitoring image 16 is connected to the right end of the plane image 18 of the tractor, the front monitoring image 14 and the rear monitoring image 15. The unconnected monitoring image 12 includes an image (hereinafter, referred to as a left side monitoring image 17) converted by the conversion table 11 for an image in the use pixel range in the captured image of the tractor left side camera 5. The left side monitoring image 17 is connected to the left end of the tractor plane image 18, the front monitoring image 14, and the rear monitoring image 15.

このような非連結時監視画像12によれば、トレーラの非連結時においてトラクタの周辺を十分に監視することができる。   According to such an unconnected monitoring image 12, the periphery of the tractor can be sufficiently monitored when the trailer is disconnected.

ところが、トラクタにトレーラが連結されている場合には、トラクタの後方を撮影するトラクタ用バックカメラ3の視野内にトレーラが捕捉されるため、図5に示すように、トラクタ用バックカメラ3の撮像画像7内に、トレーラの画像が含まれることになる。このような場合に、例えば、図2と同様な画素範囲を使用画素範囲としたのでは、トレーラの画像を使用画素範囲内の画像として使うことになり、トラクタ後方の監視には有効性の低い後方監視画像が得られてしまう結果となる。   However, when the trailer is connected to the tractor, the trailer is captured in the field of view of the tractor back camera 3 that captures the rear of the tractor. The trailer image is included in the image 7. In such a case, for example, if the pixel range similar to that in FIG. 2 is used, the trailer image is used as an image within the use pixel range, and is not effective for monitoring the rear of the tractor. As a result, a rear monitoring image is obtained.

そこで、本実施形態においては、トラクタにトレーラが連結されている場合においても、トラクタの周辺を十分に監視するための手段が講じられている。   Therefore, in this embodiment, even when a trailer is connected to the tractor, means for sufficiently monitoring the periphery of the tractor is taken.

すなわち、図1に戻って、車両周辺監視画像表示処理部6には、連結状態判定手段としての連結状態判定部20が接続されており、この連結状態判定部20は、トラクタにトレーラが連結されているか否かの判定を行うようになっている。なお、連結状態判定部20は、カメラ2,3,4,5の撮像画像を用いた画像認識によって、トレーラの連結の有無の判定を行うようにしてもよい。   That is, returning to FIG. 1, the vehicle periphery monitoring image display processing unit 6 is connected to a connection state determination unit 20 as a connection state determination unit. The connection state determination unit 20 includes a trailer connected to a tractor. Judgment is made as to whether or not. The connection state determination unit 20 may determine whether the trailer is connected or not by image recognition using images captured by the cameras 2, 3, 4, and 5.

そして、車両周辺監視画像表示処理部6は、連結状態判定部20によってトラクタにトレーラが連結されていない旨の判定が行われた場合には、前述したようにして、非連結時監視画像12を自動的に生成してディスプレイ10に表示するようになっている。   When the connection state determination unit 20 determines that the trailer is not connected to the tractor, the vehicle periphery monitoring image display processing unit 6 displays the unconnected monitoring image 12 as described above. It is automatically generated and displayed on the display 10.

一方、車両周辺監視画像表示処理部6は、連結状態判定部20によってトラクタにトレーラが連結されている旨の判定が行われた場合には、車両周辺監視画像として、例えば、図6に示すような第2の車両周辺監視画像(以下、連結時第1種監視画像26と称する)を自動的に生成してディスプレイ10に表示するようになっている。ただし、本実施形態において、連結時第1種監視画像26の表示は、後述するカメラ搭載判定部35によってトレーラにカメラが搭載されていない旨の判定が行われることが条件となる。   On the other hand, when the connection state determination unit 20 determines that the trailer is connected to the tractor, the vehicle periphery monitoring image display processing unit 6 is, for example, as shown in FIG. Such a second vehicle periphery monitoring image (hereinafter referred to as a first-type monitoring image 26 at the time of connection) is automatically generated and displayed on the display 10. However, in the present embodiment, the display of the first-type monitoring image 26 at the time of connection is conditional on the determination that the camera is not mounted on the trailer by the camera mounting determination unit 35 described later.

図6に示すように、連結時第1種監視画像26は、前方監視画像14、右側方監視画像16、左側方監視画像17およびトラクタの平面画像18を有しており、これらの画像14,16,17,18は、非連結時監視画像12のものと表示範囲が一致している。これは、本実施形態における車両周辺監視画像表示処理部6が、非連結時監視画像12または連結時第1種監視画像26のいずれを表示する場合であっても、トラクタ用フロントカメラ2、トラクタ用右サイドカメラ4およびトラクタ用左サイドカメラ5に対して同一の使用画素範囲を用いるように形成されていることによるものである。このことは、連結時第1種監視画像26の生成の際に、非連結時監視画像12の生成に用いていた変換テーブル11の一部分を共用できることを意味している。   As shown in FIG. 6, the connected first type monitoring image 26 includes a front monitoring image 14, a right side monitoring image 16, a left side monitoring image 17, and a tractor plane image 18. 16, 17, and 18 have the same display range as that of the unconnected monitoring image 12. This is because the vehicle periphery monitoring image display processing unit 6 in the present embodiment displays either the unconnected monitoring image 12 or the connected first type monitoring image 26, the tractor front camera 2, the tractor. This is because the same use pixel range is used for the right side camera 4 and the left side camera 5 for the tractor. This means that a part of the conversion table 11 used for generating the unconnected monitoring image 12 can be shared when generating the connected first type monitoring image 26.

さらに、連結時第1種監視画像26は、後方監視画像27を有しており、この後方監視画像27は、非連結時監視画像12における後方監視画像15とは表示範囲が異なっている。   Further, the connected first-type monitoring image 26 has a rear monitoring image 27, and the rear monitoring image 27 has a display range different from that of the rear monitoring image 15 in the unconnected monitoring image 12.

すなわち、図6に示すように、連結時第1種監視画像26における後方監視画像27は、非連結時監視画像12における後方監視画像15(図6破線部参照)に比べて、車幅方向の中央部の表示範囲が、車両全長方向において狭くなっている。これは、図7に示すように、車両周辺監視画像表示処理部6が、トラクタ用バックカメラ3の撮像画像7におけるトレーラの撮影画像に相当する画素範囲を、使用画素範囲から除外したことによるものである。   That is, as shown in FIG. 6, the rear monitoring image 27 in the connected first type monitoring image 26 is more in the vehicle width direction than the rear monitoring image 15 (see the broken line portion in FIG. 6) in the non-connected monitoring image 12. The display range at the center is narrow in the vehicle overall length direction. This is because, as shown in FIG. 7, the vehicle periphery monitoring image display processing unit 6 excludes the pixel range corresponding to the captured image of the trailer in the captured image 7 of the tractor back camera 3 from the use pixel range. It is.

また、図6における一点鎖線からなる三角形状の枠内で囲まれた領域に示すように、連結時第1種監視画像26における後方監視画像27は、車幅方向の両端部側の表示範囲が、非連結時監視画像12における後方監視画像15に比べてトラクタ側からトレーラ側に向かって広く形成されている。これは、例えば、図7の太線枠内の領域に示すように、トラクタの左右に存在する駐車場面の画像をより多く用いるために、図2の場合よりも左右の端部側の画素範囲が縦方向に広げられた使用画素範囲を用いることによって実現することができる。より具体的には、連結時第1種監視画像26における後方監視画像27を生成する際には、変換テーブル11として、非連結時監視画像12における後方監視画像15を生成した変換テーブル11とは記述内容が異なるものを用いることになる。   Further, as shown in a region surrounded by a triangular frame consisting of a one-dot chain line in FIG. 6, the rear monitoring image 27 in the connected first type monitoring image 26 has a display range on both end sides in the vehicle width direction. Compared to the rear monitoring image 15 in the unconnected monitoring image 12, it is formed wider from the tractor side toward the trailer side. For example, as shown in the area within the bold line frame in FIG. 7, in order to use more images of parking scenes that exist on the left and right of the tractor, the pixel range on the left and right end sides than in the case of FIG. This can be realized by using a use pixel range expanded in the vertical direction. More specifically, when generating the rear monitoring image 27 in the connected first type monitoring image 26, the conversion table 11 is the conversion table 11 that generated the rear monitoring image 15 in the unconnected monitoring image 12. Different descriptions will be used.

さらに、連結時第1種監視画像26は、トレーラの平面画像28を有しているが、この平面画像28は、必要に応じて表示すればよい。   Further, the first-type monitoring image 26 at the time of connection has a trailer plane image 28. The plane image 28 may be displayed as necessary.

このような連結時第1種監視画像26によれば、トラクタの連結によって表示範囲が狭小化された後方監視画像27における車幅方向の中央部を、非連結時監視画像12に比べて表示範囲がトラクタ側からトレーラ側に向かって広げられた後方監視画像27における車幅方向の両端部によって補填することができる。これにより、トラクタにトレーラが連結されている場合においても、トラクタの周辺を十分に監視することができる。   According to such a connected first type monitoring image 26, the center part in the vehicle width direction in the rear monitoring image 27 whose display range is narrowed by connecting the tractor is displayed in comparison with the non-connected monitoring image 12. Can be compensated by both ends in the vehicle width direction in the rear monitoring image 27 expanded from the tractor side toward the trailer side. Thereby, even when the trailer is connected to the tractor, the periphery of the tractor can be sufficiently monitored.

さらに、後方監視画像27における車幅方向の両端部の表示範囲を、トレーラ側に向かってさらに広くすれば、トラクタの周辺だけでなく、トレーラの周辺(前方および側方)の監視にも役立てることができる。   Furthermore, if the display range of the both ends in the vehicle width direction in the rear monitoring image 27 is made wider toward the trailer side, it will be useful not only for the vicinity of the tractor but also for the periphery (front and side) of the trailer. Can do.

なお、図6に示した連結時第1種監視画像26の変形例として、例えば、図8に示す連結時第1種監視画像30を採用するようにしてもよい。この変形例における連結時第1種監視画像30は、トラクタの平面画像18および前方監視画像14の表示範囲は、非連結時監視画像12と同様である。ただし、変形例における連結時第1種監視画像30は、その後方監視画像31の表示範囲が、非連結時監視画像12の後方監視画像15に比べて車幅方向および車両全長方向において狭くなっている。また、変形例における連結時第1種監視画像30は、その右側方監視画像32の表示範囲が、非連結時監視画像12の右側方監視画像16に比べてトラクタ側からトレーラ側に向かって広くなっている。さらに、変形例における連結時第1種監視画像30は、その左側方監視画像33の表示範囲が、非連結時監視画像12の左側方監視画像17に比べてトラクタ側からトレーラ側に向かって広くなっている。   As a modification of the connected first type monitoring image 26 shown in FIG. 6, for example, a connected first type monitoring image 30 shown in FIG. 8 may be adopted. In the first type monitoring image 30 at the time of connection in this modification, the display range of the planar image 18 of the tractor and the front monitoring image 14 is the same as that of the monitoring image 12 at the time of non-connection. However, the connection type first type monitoring image 30 in the modified example has a display range of the rear monitoring image 31 narrower in the vehicle width direction and the vehicle total length direction than the rear monitoring image 15 of the non-connection monitoring image 12. Yes. Further, the connected first type monitoring image 30 in the modified example has a display range of the right side monitoring image 32 wider from the tractor side to the trailer side than the right side monitoring image 16 of the unconnected monitoring image 12. It has become. Further, the connected first-type monitoring image 30 in the modified example has a display range of the left side monitoring image 33 wider than the left side monitoring image 17 of the non-connection monitoring image 12 from the tractor side to the trailer side. It has become.

このような変形例における連結時第1種監視画像30によっても、図6に示した連結時第1種監視画像26と同様に、トラクタにトレーラが連結されている場合におけるトラクタの周辺の監視を十分に行うことが可能となる。   In the first type monitoring image 30 at the time of connection in such a modification, similarly to the first type monitoring image 26 at the time of connection shown in FIG. 6, the surroundings of the tractor when the trailer is connected to the tractor can be monitored. It is possible to perform sufficiently.

図1に戻って、さらに、本実施形態において、車両周辺監視画像表示処理部6には、撮影手段搭載判定手段としてのカメラ搭載判定部35が接続されており、このカメラ搭載判定部35は、トレーラに被牽引車両周辺撮影手段としてのカメラが搭載されているか否かの判定を行うようになっている。なお、本実施形態において、トレーラ側のカメラは、図1に示すように、トレーラの後方を撮影するトレーラ用バックカメラ21、トレーラの右側方を撮影するトレーラ用右サイドカメラ22およびトレーラの左側方を撮影するトレーラ用左サイドカメラ23の3台のカメラ21,22,23とされており、これらのカメラ21,22,23は、撮影画像を有線(例えば、車載LAN)または無線を介して車両周辺監視画像表示処理部6に送信可能に形成されている。カメラ搭載判定部35は、トレーラ側のカメラ21,22,23との間で、有線や無線を介した何らかの通信(例えば、無線LANやUWB(Ultra Wide Band)による通信)が行われたことを確認することによって、トレーラにカメラ21,22,23が搭載されている旨の判定を行うようになっている。   Returning to FIG. 1, in the present embodiment, the vehicle periphery monitoring image display processing unit 6 is connected to a camera mounting determination unit 35 as a photographing unit mounting determination unit. It is determined whether or not a camera as a towed vehicle periphery photographing means is mounted on the trailer. In this embodiment, as shown in FIG. 1, the trailer side camera includes a trailer back camera 21 that captures the rear side of the trailer, a trailer right side camera 22 that captures the right side of the trailer, and a left side of the trailer. The left side camera 23 for trailer 23 is a camera, and the cameras 21, 22, and 23 are used for the vehicle images via wired (for example, in-vehicle LAN) or wirelessly. The peripheral monitoring image display processing unit 6 is configured to be able to transmit. The camera mounting determination unit 35 confirms that some kind of communication (for example, communication by wireless LAN or UWB (Ultra Wide Band)) has been performed between the trailer-side cameras 21, 22, and 23. By checking, it is determined that the cameras 21, 22, and 23 are mounted on the trailer.

そして、本実施形態において、車両周辺監視画像表示処理部6は、連結状態判定部20によってトレーラが連結されている旨の判定が行われ、かつ、カメラ搭載判定部35によってトレーラにカメラ21,22,23が搭載される旨の判定が行われた場合には、トラクタ側のカメラ2,3,4,5の撮影画像に加えて、トレーラ側のカメラ21,22,23の撮影画像を取得するようになっている。そして、車両周辺監視画像表示処理部6は、トラクタ側のカメラ2,3,4,5の撮影画像における使用画素範囲内の画像と、トレーラ側のカメラ21,22,23の撮影画像における使用画素範囲内の画像とを用いることによって、車両周辺監視画像として、例えば、図9に示すような第3の車両周辺監視画像(以下、連結時第2種監視画像36と称する)を生成してディスプレイ10に表示するようになっている。   In this embodiment, the vehicle periphery monitoring image display processing unit 6 determines that the trailer is connected by the connection state determination unit 20, and the cameras 21 and 22 are connected to the trailer by the camera mounting determination unit 35. , 23 is acquired, in addition to the captured images of the tractor-side cameras 2, 3, 4 and 5, the captured images of the trailer-side cameras 21, 22, 23 are acquired. It is like that. The vehicle periphery monitoring image display processing unit 6 then uses the images within the use pixel range in the captured images of the tractor-side cameras 2, 3, 4, and 5 and the use pixels in the captured images of the trailer-side cameras 21, 22, 23. By using the image within the range, for example, a third vehicle periphery monitoring image as shown in FIG. 9 (hereinafter referred to as a connected second type monitoring image 36) is generated and displayed as the vehicle periphery monitoring image. 10 is displayed.

なお、トレーラ側のカメラ21,22,23に対する使用画素範囲は、変換テーブル格納部9内に格納された図示しない変換テーブルによって規定されている。車両周辺監視画像表示処理部6は、この変換テーブルを用いてトラクタ側のカメラ2,3,4,5の撮影画像における使用画素範囲内の画像およびトレーラ側のカメラ21,22,23の撮影画像における使用画素範囲内の画像を、それぞれ連結時第2種監視画像36用の画像に変換するようになっている。   Note that the usable pixel range for the trailer-side cameras 21, 22, and 23 is defined by a conversion table (not shown) stored in the conversion table storage unit 9. Using the conversion table, the vehicle periphery monitoring image display processing unit 6 uses the image within the use pixel range in the captured images of the tractor-side cameras 2, 3, 4, and 5 and the captured images of the trailer-side cameras 21, 22, and 23. Are converted into images for the second type monitoring image 36 at the time of connection.

図9に示すように、連結時第2種監視画像36は、トラクタの平面画像37を有しており、この画像37は、カメラ2,3,4,5の撮影画像によらずに車両周辺監視画像表示処理部6が独自に生成したものとなっている。なお、表示範囲が変わらなければ、トラクタの平面画像37として、非連結時監視画像12におけるトラクタの平面画像18を用いることも可能である。また、連結時第2種監視画像36は、トラクタ用フロントカメラ2の撮影画像における使用画素範囲内の画像についての変換テーブルによる変換後の画像(以下、トラクタ前方監視画像38と称する)を有しており、このトラクタ前方監視画像38は、トラクタの平面画像37の前端部に連接されている。なお、このトラクタ前方監視画像38の表示範囲が、非連結時監視画像12における前方監視画像14の表示範囲と変わらないのであれば、連結時第2種監視画像36の表示の際のトラクタ用フロントカメラ2の撮影画像における使用画素範囲を、非連結時監視画像12の表示の際のトラクタ用フロントカメラ2の撮影画像における使用画素範囲と同じにすることも可能である。さらに、連結時第2種監視画像36は、トラクタ用バックカメラ3の撮影画像における使用画素範囲内の画像についての変換テーブルによる変換後の画像(以下、トラクタ後方監視画像39と称する)を有しており、このトラクタ後方監視画像39は、トラクタの平面画像37の後端部に連接されている。さらにまた、連結時第2種監視画像36は、トラクタ用右サイドカメラ4の撮影画像における使用画素範囲内の画像についての変換テーブルによる変換後の画像(以下、トラクタ右側方監視画像40と称する)を有しており、このトラクタ右側方監視画像40は、トラクタの平面画像37の右側端部およびトラクタ前方監視画像38ならびにトラクタ後方監視画像39に連接されている。また、連結時第2種監視画像36は、トラクタ用左サイドカメラ5の撮影画像における使用画素範囲内の画像についての変換テーブルによる変換後の画像(以下、トラクタ左側方監視画像41と称する)を有しており、このトラクタ左側方監視画像41は、トラクタの平面画像37の左側端部およびトラクタ前方監視画像38ならびにトラクタ後方監視画像39に連接されている。さらに、連結時第2種監視画像36は、トレーラの平面画像42を有しており、この画像42は、カメラ21,22,23の撮影画像によらずに車両周辺監視画像表示処理部6が独自に生成したものとなっている。トレーラの平面画像42は、トラクタ後方監視画像39に連接されている。さらにまた、連結時第2種監視画像36は、トレーラ用バックカメラ21の撮影画像における使用画素範囲内の画像についての変換テーブルによる変換後の画像(以下、トレーラ後方監視画像43と称する)を有しており、このトレーラ後方監視画像43は、トレーラの平面画像42の後端部に連接されている。また、連結時第2種監視画像36は、トレーラ用右サイドカメラ22の撮影画像における使用画素範囲内の画像についての変換テーブルによる変換後の画像(以下、トレーラ右側方監視画像44と称する)を有しており、このトレーラ右側方監視画像44は、トレーラの平面画像42の右側端部、トラクタ後方監視画像39、トラクタ右側方監視画像40およびトレーラ後方監視画像43に連接されている。さらに、連結時第2種監視画像36は、トレーラ用左サイドカメラ23の撮影画像における使用画素範囲内の画像についての変換テーブルによる変換後の画像(以下、トレーラ左側方監視画像45と称する)を有しており、このトレーラ左側方監視画像45は、トレーラの平面画像42の左側端部、トラクタ後方監視画像39、トラクタ左側方監視画像41およびトレーラ後方監視画像43に連接されている。   As shown in FIG. 9, the second-type monitoring image 36 at the time of connection has a plane image 37 of the tractor, and this image 37 is around the vehicle regardless of the images taken by the cameras 2, 3, 4, and 5. The monitoring image display processing unit 6 is uniquely generated. If the display range does not change, it is also possible to use the tractor plane image 18 in the unconnected monitoring image 12 as the tractor plane image 37. Further, the second type monitoring image 36 at the time of connection has an image (hereinafter referred to as a tractor front monitoring image 38) after conversion according to a conversion table for an image in the use pixel range in the image captured by the tractor front camera 2. The tractor forward monitoring image 38 is connected to the front end portion of the tractor plane image 37. If the display range of the tractor front monitoring image 38 is not different from the display range of the front monitoring image 14 in the unconnected monitoring image 12, the tractor front is displayed when the second type monitoring image 36 is displayed. It is also possible to make the use pixel range in the photographed image of the camera 2 the same as the use pixel range in the photographed image of the tractor front camera 2 at the time of displaying the unconnected monitoring image 12. Further, the second type monitoring image 36 at the time of connection has an image (hereinafter referred to as a tractor rear monitoring image 39) after conversion by the conversion table for the image in the use pixel range in the captured image of the tractor back camera 3. The tractor rear monitoring image 39 is connected to the rear end portion of the tractor planar image 37. Furthermore, the second-type monitoring image 36 at the time of connection is an image after conversion according to a conversion table for an image in the use pixel range in the image captured by the tractor right side camera 4 (hereinafter referred to as a tractor right side monitoring image 40). The tractor right side monitoring image 40 is connected to the right end portion of the tractor plane image 37, the tractor front monitoring image 38, and the tractor rear monitoring image 39. Further, the second type monitoring image 36 at the time of connection is an image (hereinafter referred to as a tractor left side monitoring image 41) after conversion according to a conversion table for an image within the use pixel range in the image captured by the tractor left side camera 5. The tractor left side monitoring image 41 is connected to the left end portion of the tractor plane image 37, the tractor front monitoring image 38, and the tractor rear monitoring image 39. Furthermore, the second type monitoring image 36 at the time of connection has a trailer plane image 42, and this image 42 is generated by the vehicle periphery monitoring image display processing unit 6 regardless of the images taken by the cameras 21, 22, and 23. It has been generated independently. The trailer plane image 42 is connected to the tractor rear monitoring image 39. Furthermore, the second-type monitoring image 36 at the time of connection has an image (hereinafter referred to as a trailer rear monitoring image 43) after conversion according to a conversion table for an image in the use pixel range in the captured image of the trailer back camera 21. The trailer rear monitoring image 43 is connected to the rear end portion of the trailer planar image 42. In addition, the second type monitoring image 36 at the time of connection is an image (hereinafter referred to as a trailer right side monitoring image 44) after conversion according to a conversion table for an image in the use pixel range in the image captured by the trailer right side camera 22. The trailer right side monitoring image 44 is connected to the right end portion of the trailer plane image 42, the tractor rear side monitoring image 39, the tractor right side monitoring image 40, and the trailer rear side monitoring image 43. Further, the second type monitoring image 36 at the time of connection is an image (hereinafter referred to as a trailer left side monitoring image 45) after conversion according to a conversion table for an image in the use pixel range in the image captured by the trailer left side camera 23. The trailer left side monitoring image 45 is connected to the left end of the trailer plane image 42, the tractor rear side monitoring image 39, the tractor left side monitoring image 41, and the trailer rear side monitoring image 43.

このような連結時第2種監視画像36によれば、トレーラの連結時において、トラクタおよびトレーラの周辺をさらに十分に監視することができる。   According to the second type monitoring image 36 at the time of connection, the periphery of the tractor and the trailer can be more sufficiently monitored when the trailer is connected.

次に、本実施形態の作用について説明する。   Next, the operation of this embodiment will be described.

本実施形態においては、例えば、駐車場等において、車両周辺監視画像のディスプレイ10への表示がユーザによる入力操作によって指示された場合には、連結状態判定部20によってトラクタにトレーラが連結されているか否かの判定を行う。   In this embodiment, for example, in a parking lot or the like, when the display of the vehicle periphery monitoring image is instructed by an input operation by the user, is the trailer connected to the tractor by the connection state determination unit 20? Determine whether or not.

そして、連結状態判定部20によって、トラクタにトレーラが連結されていない旨の判定が行われた場合には、車両周辺監視画像表示処理部6は、非連結時監視画像12用の使用画素範囲が規定された変換テーブル11を用意する。   When the connection state determination unit 20 determines that the trailer is not connected to the tractor, the vehicle periphery monitoring image display processing unit 6 determines that the use pixel range for the unconnected monitoring image 12 is A prescribed conversion table 11 is prepared.

次いで、車両周辺監視画像表示処理部6は、カメラ2,3,4,5の撮影画像を各カメラ2,3,4,5から取得すると、取得された撮影画像に対して、用意された変換テーブル11を用いた使用画素範囲内の画像の抽出を行う。そして、車両周辺監視画像表示処理部6は、抽出された使用画素範囲内の画像に対する変換テーブル11を用いた変換および合成を行うことによって非連結時監視画像12を生成し、生成された非連結時監視画像12をディスプレイ10に表示する。   Next, when the vehicle periphery monitoring image display processing unit 6 acquires the captured images of the cameras 2, 3, 4, and 5 from the respective cameras 2, 3, 4, and 5, the prepared conversion is performed on the acquired captured images. An image within the use pixel range is extracted using the table 11. Then, the vehicle periphery monitoring image display processing unit 6 generates the unconnected monitoring image 12 by performing conversion and synthesis using the conversion table 11 on the extracted image within the use pixel range, and generates the generated unconnected The hour monitoring image 12 is displayed on the display 10.

一方、連結状態判定部20によって、トラクタにトレーラが連結されている旨の判定が行われた場合には、カメラ搭載判定部35によって、トラクタに連結されているトレーラにカメラ21,22,23が搭載されているか否かの判定を行う。   On the other hand, when the connection state determination unit 20 determines that the trailer is connected to the tractor, the cameras 21, 22, and 23 are attached to the trailer connected to the tractor by the camera mounting determination unit 35. It is determined whether or not it is installed.

そして、カメラ搭載判定部35によって、トラクタに連結されているトレーラにカメラ21,22,23が搭載されていない旨の判定が行われた場合には、車両周辺監視画像表示処理部6は、連結時第1種監視画像26用の使用画素範囲が規定された変換テーブルを用意する。このときの変換テーブルは、非連結時監視画像12の生成に用いる変換テーブル11の記述内容を補正することによって得られるものであってもよい。   When the camera mounting determination unit 35 determines that the cameras 21, 22, and 23 are not mounted on the trailer connected to the tractor, the vehicle periphery monitoring image display processing unit 6 At this time, a conversion table in which the use pixel range for the first type monitoring image 26 is defined is prepared. The conversion table at this time may be obtained by correcting the description content of the conversion table 11 used for generating the unconnected monitoring image 12.

次いで、車両周辺監視画像表示処理部6は、カメラ2,3,4,5の撮影画像に対して、用意された変換テーブルを用いた使用画素範囲内の画像の抽出を行う。そして、車両周辺監視画像表示処理部6は、抽出された使用画素範囲内の画像に対する変換テーブルを用いた変換および合成を行うことによって連結時第1種監視画像26を生成し、生成された連結時第1種監視画像26をディスプレイ10に表示する。   Next, the vehicle periphery monitoring image display processing unit 6 extracts an image within the use pixel range from the captured images of the cameras 2, 3, 4, and 5 using a prepared conversion table. Then, the vehicle periphery monitoring image display processing unit 6 generates the first type monitoring image 26 at the time of connection by performing conversion and synthesis using the conversion table for the extracted image within the use pixel range, and the generated connection The first type monitoring image 26 is displayed on the display 10.

一方、カメラ搭載判定部35によって、トラクタに連結されているトレーラにカメラ21,22,23が搭載されている旨の判定が行われた場合には、車両周辺監視画像表示処理部6は、連結時第2種監視画像36用の使用画素範囲が規定された変換テーブルを用意する。   On the other hand, when the camera mounting determination unit 35 determines that the cameras 21, 22, and 23 are mounted on the trailer connected to the tractor, the vehicle periphery monitoring image display processing unit 6 At this time, a conversion table in which the use pixel range for the second type monitoring image 36 is defined is prepared.

次いで、車両周辺監視画像表示処理部6は、カメラ2,3,4,5の撮影画像における使用画素範囲内の画像に対して、用意された変換テーブルを用いた使用画素範囲内の画像の抽出を行う。そして、車両周辺監視画像表示処理部6は、抽出された使用画素範囲内の画像に対する変換テーブルを用いた変換および合成を行うことによって連結時第2種監視画像36を生成し、生成された連結時第2種監視画像36をディスプレイ10に表示する。   Next, the vehicle periphery monitoring image display processing unit 6 extracts the image within the use pixel range using the prepared conversion table for the image within the use pixel range in the captured images of the cameras 2, 3, 4, and 5. I do. Then, the vehicle periphery monitoring image display processing unit 6 generates the second type monitoring image 36 at the time of connection by performing conversion and synthesis using a conversion table for the extracted image within the use pixel range, and the generated connection At this time, the second type monitoring image 36 is displayed on the display 10.

以上述べたように、本実施形態によれば、トラクタにトレーラが連結されている場合には、車両周辺監視画像表示処理部6によって、連結時第1種監視画像26または連結時第2種監視画像36を表示することにより、トラクタにトレーラが連結されている場合においても、トラクタの周辺またはトラクタおよびトレーラの周辺を十分に監視することができる。   As described above, according to this embodiment, when the trailer is connected to the tractor, the vehicle periphery monitoring image display processing unit 6 performs the first type monitoring image 26 when connected or the second type monitoring when connected. By displaying the image 36, even when the trailer is connected to the tractor, the periphery of the tractor or the periphery of the tractor and the trailer can be sufficiently monitored.

なお、本発明は、前述した実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。   In addition, this invention is not limited to embodiment mentioned above, A various change is possible as needed.

例えば、各カメラ2,3,4,5及び21,22,23の個数は、それぞれ1個に限る必要はなく、2個以上であってもよい。   For example, the number of each camera 2, 3, 4, 5 and 21, 22, 23 need not be limited to one, and may be two or more.

本発明に係る車両周辺監視装置の実施形態を示すブロック図The block diagram which shows embodiment of the vehicle periphery monitoring apparatus which concerns on this invention 本発明に係る車両周辺監視装置の実施形態において、後方撮影カメラの撮像面をトレーラの非連結状態における撮像画像および非連結時監視画像用の使用画素範囲とともに示す図In the embodiment of the vehicle periphery monitoring device according to the present invention, a diagram illustrating an imaging surface of a rear-view camera together with a captured image in a disconnected state of a trailer and a use pixel range for a disconnected monitoring image 本発明に係る車両周辺監視装置の実施形態において、変換テーブルの一例を示した図The figure which showed an example of the conversion table in embodiment of the vehicle periphery monitoring apparatus which concerns on this invention. 本発明に係る車両周辺監視装置の実施形態において、非連結時監視画像の一例を示す図The figure which shows an example of the monitoring image at the time of a disconnection in embodiment of the vehicle periphery monitoring apparatus which concerns on this invention. 後方撮影カメラの撮像面をトレーラの連結状態における撮像画像および好ましくない使用画素範囲とともに示す図The figure which shows the image pick-up surface of a back camera and the picked-up image and unfavorable use pixel range in the trailer connection state 本発明に係る車両周辺監視装置の実施形態において、連結時第1種監視画像の一例を示す図The figure which shows an example of the 1st type monitoring image at the time of a connection in embodiment of the vehicle periphery monitoring apparatus which concerns on this invention. 本発明に係る車両周辺監視装置の実施形態において、後方撮影カメラの撮像面をトレーラの連結状態における撮像画像および連結時第1種監視画像用の使用画素範囲とともに示す図In the embodiment of the vehicle periphery monitoring apparatus according to the present invention, a diagram showing an imaging surface of a rear camera together with a captured image in a trailer connected state and a use pixel range for a first type monitoring image at the time of connection 本発明に係る車両周辺監視装置の実施形態において、連結時第1種監視画像の図6に対する変形例を示す図The figure which shows the modification with respect to FIG. 6 of the 1st type monitoring image at the time of a connection in embodiment of the vehicle periphery monitoring apparatus which concerns on this invention. 本発明に係る車両周辺監視装置の実施形態において、連結時第2種監視画像を示す図The figure which shows the 2nd type monitoring image at the time of a connection in embodiment of the vehicle periphery monitoring apparatus which concerns on this invention.

符号の説明Explanation of symbols

1 車両周辺監視装置
2 トラクタ用フロントカメラ
3 トラクタ用バックカメラ
4 トラクタ用右サイドカメラ
5 トラクタ用左サイドカメラ
6 車両周辺監視画像表示処理部
10 ディスプレイ
12 非連結時監視画像
26 連結時第1種監視画像
DESCRIPTION OF SYMBOLS 1 Vehicle periphery monitoring apparatus 2 Front camera for tractors 3 Back camera for tractors 4 Right side camera for tractors 5 Left side camera for tractors 6 Vehicle periphery monitoring image display processing unit 10 Display 12 Monitoring image when disconnected 26 First type monitoring when connecting image

Claims (3)

牽引車両に搭載され、前記牽引車両の周辺を撮影する牽引車両周辺撮影手段と、
前記牽引車両に被牽引車両が連結されていない場合に、前記牽引車両周辺撮影手段の撮影画像を用いて、前記牽引車両およびその周辺を前記牽引車両の上方から見下ろした画像である第1の車両周辺監視画像を表示部に表示する処理を行う車両周辺監視画像表示処理手段と
を備え、
前記車両周辺監視画像表示処理手段が、前記牽引車両に前記被牽引車両が連結されている場合に、前記牽引車両周辺撮影手段の撮影画像を用いて、前記第1の車両周辺監視画像に比べて表示範囲が前記牽引車両側から前記被牽引車両側に向かって広く形成された部位を有する第2の車両周辺監視画像を前記表示部に表示する処理を行うように形成されていること
を特徴とする車両周辺監視装置。
A tow vehicle periphery photographing means mounted on the tow vehicle for photographing the periphery of the tow vehicle;
The first vehicle, which is an image of the tow vehicle and its surroundings looking down from above the tow vehicle when the tow vehicle is not connected to the tow vehicle using the photographed image of the tow vehicle periphery photographing means. Vehicle periphery monitoring image display processing means for performing processing for displaying the periphery monitoring image on the display unit,
When the towed vehicle is connected to the towed vehicle, the vehicle surroundings monitoring image display processing unit uses the captured image of the towed vehicle periphery imaging unit and compares it with the first vehicle periphery monitoring image. The display range is formed so as to perform processing for displaying a second vehicle periphery monitoring image on the display unit having a portion that is widely formed from the towed vehicle side toward the towed vehicle side. A vehicle periphery monitoring device.
前記牽引車両に前記被牽引車両が連結されているか否かの判定を行う連結状態判定手段を備え、
前記車両周辺監視画像表示処理手段が、前記連結状態判定手段の判定結果に応じて、前記第1の車両周辺監視画像または前記第2の車両周辺監視画像のいずれかを自動的に選択して表示する処理を行うように形成されていること
を特徴とする請求項1に記載の車両周辺監視装置。
A connection state determination means for determining whether or not the towed vehicle is connected to the tow vehicle;
The vehicle periphery monitoring image display processing means automatically selects and displays either the first vehicle periphery monitoring image or the second vehicle periphery monitoring image according to the determination result of the connection state determination means. The vehicle periphery monitoring device according to claim 1, wherein the vehicle periphery monitoring device is configured to perform a process to perform.
前記被牽引車両に、当該被牽引車両の周辺を撮影し、撮影された画像を前記車両周辺監視画像表示処理手段が取得可能とされた被牽引車両周辺撮影手段が搭載されているか否かの判定を行う撮影手段搭載判定手段を備え、
前記車両周辺監視画像表示処理手段が、
前記連結状態判定手段によって、前記牽引車両に前記被牽引車両が連結されている旨の判定が行われ、かつ、前記撮影手段搭載判定手段によって、前記被牽引車両に前記被牽引車両周辺撮影手段が搭載されている旨の判定が行われた場合に、前記牽引車両周辺撮影手段の撮影画像および前記被牽引車両周辺撮影手段の撮影画像を用いて、前記牽引車両およびその周辺ならびに前記被牽引車両およびその周辺を前記牽引車両ならびに前記被牽引車両の上方から見下ろした画像である第3の車両周辺監視画像を前記表示部に表示する処理を行うように形成されていること
を特徴とする請求項2に記載の車両周辺監視装置。
Determining whether or not the towed vehicle surrounding image capturing means that captures the periphery of the towed vehicle and is capable of acquiring the captured image by the vehicle periphery monitoring image display processing means is mounted. Equipped with photographing means mounting determination means for performing
The vehicle periphery monitoring image display processing means,
The connected state determining means determines that the towed vehicle is connected to the towed vehicle, and the towed vehicle surrounding image taking means is attached to the towed vehicle by the taking means mounting determining means. When it is determined that the vehicle is mounted, the towed vehicle and its surroundings, the towed vehicle, and the towed vehicle periphery photographing unit and the towed vehicle periphery photographing unit are used. The third vehicle periphery monitoring image, which is an image of the periphery of the tow vehicle and the towed vehicle as viewed from above, is displayed on the display unit. The vehicle periphery monitoring device according to claim 1.
JP2006337066A 2006-12-14 2006-12-14 Vehicle periphery monitoring device Withdrawn JP2008149764A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006337066A JP2008149764A (en) 2006-12-14 2006-12-14 Vehicle periphery monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006337066A JP2008149764A (en) 2006-12-14 2006-12-14 Vehicle periphery monitoring device

Publications (1)

Publication Number Publication Date
JP2008149764A true JP2008149764A (en) 2008-07-03

Family

ID=39652446

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006337066A Withdrawn JP2008149764A (en) 2006-12-14 2006-12-14 Vehicle periphery monitoring device

Country Status (1)

Country Link
JP (1) JP2008149764A (en)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012178150A (en) * 2011-02-08 2012-09-13 Mekra Lang Gmbh & Co Kg Display device for visually-depicting fields of view of commercial vehicle
KR101469562B1 (en) * 2013-07-02 2014-12-05 현대오트론 주식회사 Apparatus for electronic interlocking between wrecker and trailer and the control method thereof
US9232195B2 (en) 2011-02-11 2016-01-05 Mekra Lang Gmbh & Co. Kg Monitoring of the close proximity around a commercial vehicle
KR20160033998A (en) * 2014-09-19 2016-03-29 현대모비스 주식회사 Method for checking normal towing state of trailer
US9667922B2 (en) 2013-02-08 2017-05-30 Mekra Lang Gmbh & Co. Kg Viewing system for vehicles, in particular commercial vehicles
KR101745015B1 (en) 2011-11-29 2017-06-08 현대자동차주식회사 Apparatus and method for controlling obstacle sensing zone
US9707891B2 (en) 2012-08-03 2017-07-18 Mekra Lang Gmbh & Co. Kg Mirror replacement system for a vehicle
JP2018531530A (en) * 2015-07-31 2018-10-25 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH Method and apparatus for displaying surrounding scene of vehicle / towed vehicle combination
WO2019073938A1 (en) * 2017-10-10 2019-04-18 アイシン精機株式会社 Parking assistance device
JP2019069719A (en) * 2017-10-10 2019-05-09 アイシン精機株式会社 Parking support device
JP2019075625A (en) * 2017-10-12 2019-05-16 アイシン精機株式会社 Periphery monitoring device
JP2019097077A (en) * 2017-11-24 2019-06-20 アイシン精機株式会社 Periphery monitoring device
JP2019204364A (en) * 2018-05-24 2019-11-28 アイシン精機株式会社 Periphery monitoring apparatus
US10625782B2 (en) 2017-10-03 2020-04-21 Aisin Seiki Kabushiki Kaisha Surroundings monitoring apparatus
JP2020092445A (en) * 2020-02-13 2020-06-11 株式会社クボタ Work vehicle
JP2020537216A (en) * 2017-09-18 2020-12-17 ジャガー・ランド・ローバー・リミテッドJaguar Land Rover Limited Image processing method and equipment
US11648932B2 (en) 2017-11-07 2023-05-16 Aisin Corporation Periphery monitoring device
WO2023176262A1 (en) * 2022-03-14 2023-09-21 株式会社デンソー Surroundings monitoring device and program

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014130617A (en) * 2011-02-08 2014-07-10 Mekra Lang Gmbh & Co Kg Display device for visually-depicting fields of view of commercial vehicle
JP2012178150A (en) * 2011-02-08 2012-09-13 Mekra Lang Gmbh & Co Kg Display device for visually-depicting fields of view of commercial vehicle
US8953011B2 (en) 2011-02-08 2015-02-10 Mekra Lang Gmbh & Co. Kg Display device for visually-depicting fields of view of a commercial vehicle
US9232195B2 (en) 2011-02-11 2016-01-05 Mekra Lang Gmbh & Co. Kg Monitoring of the close proximity around a commercial vehicle
KR101745015B1 (en) 2011-11-29 2017-06-08 현대자동차주식회사 Apparatus and method for controlling obstacle sensing zone
US9707891B2 (en) 2012-08-03 2017-07-18 Mekra Lang Gmbh & Co. Kg Mirror replacement system for a vehicle
US10011229B2 (en) 2012-08-03 2018-07-03 Mekra Lang Gmbh & Co. Kg Mirror replacement system for a vehicle
US9667922B2 (en) 2013-02-08 2017-05-30 Mekra Lang Gmbh & Co. Kg Viewing system for vehicles, in particular commercial vehicles
USRE48017E1 (en) 2013-02-08 2020-05-26 Mekra Lang Gmbh & Co. Kg Viewing system for vehicles, in particular commercial vehicles
KR101469562B1 (en) * 2013-07-02 2014-12-05 현대오트론 주식회사 Apparatus for electronic interlocking between wrecker and trailer and the control method thereof
KR20160033998A (en) * 2014-09-19 2016-03-29 현대모비스 주식회사 Method for checking normal towing state of trailer
KR102289748B1 (en) * 2014-09-19 2021-08-13 현대모비스 주식회사 Method for checking normal towing state of trailer
JP2018531530A (en) * 2015-07-31 2018-10-25 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH Method and apparatus for displaying surrounding scene of vehicle / towed vehicle combination
JP7245295B2 (en) 2015-07-31 2023-03-23 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング METHOD AND DEVICE FOR DISPLAYING SURROUNDING SCENE OF VEHICLE-TOUCHED VEHICLE COMBINATION
JP2021170826A (en) * 2015-07-31 2021-10-28 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH Method and apparatus for displaying peripheral scene of combination of vehicle and tracked vehicle
JP7247173B2 (en) 2017-09-18 2023-03-28 ジャガー・ランド・ローバー・リミテッド Image processing method and apparatus
JP2020537216A (en) * 2017-09-18 2020-12-17 ジャガー・ランド・ローバー・リミテッドJaguar Land Rover Limited Image processing method and equipment
US10625782B2 (en) 2017-10-03 2020-04-21 Aisin Seiki Kabushiki Kaisha Surroundings monitoring apparatus
JP2019069719A (en) * 2017-10-10 2019-05-09 アイシン精機株式会社 Parking support device
US11591018B2 (en) 2017-10-10 2023-02-28 Aisin Corporation Parking assistance device
WO2019073938A1 (en) * 2017-10-10 2019-04-18 アイシン精機株式会社 Parking assistance device
CN111108023A (en) * 2017-10-10 2020-05-05 爱信精机株式会社 Parking assist apparatus
JP7087333B2 (en) 2017-10-10 2022-06-21 株式会社アイシン Parking support device
CN111108023B (en) * 2017-10-10 2022-04-12 株式会社爱信 Parking assist apparatus
JP7110577B2 (en) 2017-10-12 2022-08-02 株式会社アイシン Perimeter monitoring device
JP2019075625A (en) * 2017-10-12 2019-05-16 アイシン精機株式会社 Periphery monitoring device
US11648932B2 (en) 2017-11-07 2023-05-16 Aisin Corporation Periphery monitoring device
JP7106846B2 (en) 2017-11-24 2022-07-27 株式会社アイシン Perimeter monitoring device
JP2019097077A (en) * 2017-11-24 2019-06-20 アイシン精機株式会社 Periphery monitoring device
JP7081305B2 (en) 2018-05-24 2022-06-07 株式会社アイシン Peripheral monitoring device
JP2019204364A (en) * 2018-05-24 2019-11-28 アイシン精機株式会社 Periphery monitoring apparatus
JP7055158B2 (en) 2020-02-13 2022-04-15 株式会社クボタ Work vehicle
JP2020092445A (en) * 2020-02-13 2020-06-11 株式会社クボタ Work vehicle
WO2023176262A1 (en) * 2022-03-14 2023-09-21 株式会社デンソー Surroundings monitoring device and program

Similar Documents

Publication Publication Date Title
JP2008149764A (en) Vehicle periphery monitoring device
US11910123B2 (en) System for processing image data for display using backward projection
JP5194679B2 (en) Vehicle periphery monitoring device and video display method
JP2022111151A (en) Imaging apparatus and control method of imaging apparatus
CN109690628B (en) Image processing apparatus
JP5321711B2 (en) Vehicle periphery monitoring device and video display method
US20220210324A1 (en) Multi-camera vehicular vision system
US10933810B2 (en) Surround view vision system that utilizes trailer camera
US8994825B2 (en) Vehicle rear view camera system and method
TW201425105A (en) Parking assistant system and method
KR101478980B1 (en) System for multi channel display to use a fish-eye lens
TW201425106A (en) Parking assistant system and method
TW201433482A (en) Parking assistant system and method
JPWO2020090511A1 (en) Imaging equipment, image processing methods, and programs
WO2012073392A1 (en) Driving-assistance display device
KR101492114B1 (en) Vehicular Downward Monitoring System for Monitoring the Ground of Vehicle Bottom and Method of the Same
CN214959899U (en) Vehicle-mounted panoramic splicing system suitable for large vehicle
KR101293263B1 (en) Image processing apparatus providing distacnce information in a composite image obtained from a plurality of image and method using the same
TWM541406U (en) Vehicular image integration system
US10967792B1 (en) Apparatus for monitoring periphery of a vehicle and displaying a view of the periphery on a display device
JP7198599B2 (en) Image processing device, image processing method, drive recorder
US20200128215A1 (en) Hitch assist backup camera system
JP4611898B2 (en) Image display system
JP2005196423A (en) Image display method, image display system and image processor
JP4339749B2 (en) Image generation method and image generation apparatus

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20100302