JP2012222397A - On-vehicle rear-image processing device - Google Patents

On-vehicle rear-image processing device Download PDF

Info

Publication number
JP2012222397A
JP2012222397A JP2011082774A JP2011082774A JP2012222397A JP 2012222397 A JP2012222397 A JP 2012222397A JP 2011082774 A JP2011082774 A JP 2011082774A JP 2011082774 A JP2011082774 A JP 2011082774A JP 2012222397 A JP2012222397 A JP 2012222397A
Authority
JP
Japan
Prior art keywords
range
distance
vehicle
image
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011082774A
Other languages
Japanese (ja)
Other versions
JP5533764B2 (en
Inventor
Nobuyuki Yokota
昇幸 横田
Yoriji Utsu
順志 宇津
Muneaki Matsumoto
宗昭 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2011082774A priority Critical patent/JP5533764B2/en
Publication of JP2012222397A publication Critical patent/JP2012222397A/en
Application granted granted Critical
Publication of JP5533764B2 publication Critical patent/JP5533764B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To enhance the possibility of a driver noticing an object even if the object appears in a part outside an enlarged display a part when part of the rear of a vehicle is displayed enlarged using an image photographed by a back camera.SOLUTION: Based on determination by rear-center sensors 2 and 3 that a distance to a towed body 20 is within a predetermined middle-distance range or short-distance range, a zoom-in image of which a predetermined narrow zone is picked up, of the rear of a vehicle 10 photographed by a back camera 5, is displayed on a display device 6; and while the zoom-in image is displayed, an image of which a wider zone is picked up than the narrow zone is displayed on the display device on the basis of detection of another article 30 by rear-side sensors 1 and 4.

Description

本発明は、車両に搭載される後方画像処理装置に関するものである。   The present invention relates to a rear image processing apparatus mounted on a vehicle.

従来、車両において、キャンピングカーやボート等を車に連結して牽引する際に連結部がよく見えるようにする等の目的で、車両から物体までの距離が近づくと、バックカメラの撮影画像を用いて車両の後方の一部を拡大表示する手法が提案されている。   Conventionally, when a distance from a vehicle to an object approaches for the purpose of, for example, making a connecting portion visible when a camper or a boat is connected to a vehicle and towing the vehicle, a photographed image of the back camera is used. A method of enlarging and displaying a part of the rear of the vehicle has been proposed.

特開２００２−３５９８３９号公報JP 2002-359839 A

しかし、拡大表示をしながら後退していると、拡大表示された部分以外の部分に障害物（例えば人）が入ってきても、ドライバーが気付き難くなるという問題がある。   However, if the vehicle is retracted while performing enlarged display, there is a problem that even if an obstacle (for example, a person) enters a portion other than the enlarged display portion, it is difficult for the driver to notice.

本発明は上記点に鑑み、バックカメラの撮影画像を用いて車両の後方の一部を拡大表示しているときに、拡大表示された部分を外れた部分に障害物が入ってきても、ドライバーがその障害物に気付ける可能性を高めることを目的とする。   In view of the above points, the present invention provides a driver with an enlarged image of a part of the rear of the vehicle using an image captured by a back camera, even if an obstacle enters a part that is out of the enlarged part. The purpose is to increase the possibility of noticing the obstacle.

上記目的を達成するための請求項１に記載の発明は、車両の後方を撮影するバックカメラ（５）と、前記車両の後方中央部を検知範囲として物体までの距離を検出する後中央センサ（２、３）と、前記車両の後方側部を検知範囲として物体を検出する後側方センサ（１、４）と、表示装置（６）と、を備えた前記車両に搭載される後方画像処理装置であって、前記後中央センサ（２、３）が検出した第１の物体までの距離が所定の第１の距離範囲に入っているか、前記第１の距離範囲よりも近い所定の第２の距離範囲に入っているかを判定する距離判定手段（１３０、１４５）と、前記距離判定手段の判定結果に応じて前記表示装置（６）に表示させる画像を制御する表示制御手段（１４０、１５０、１５５、１６０、１６５）と、を備え、前記表示制御手段（１４０、１５０、１５５、１６０、１６５）は、前記後中央センサ（２、３）が検出した前記第１の物体までの距離が前記第２の距離範囲に入っていると前記距離判定手段（１３０、１４５）が判定したことに基づいて、前記バックカメラ（５）によって撮影された前記車両の後方のうち、所定の狭小範囲が写ったズームイン画像を、前記表示装置（６）に表示させ、前記ズームイン画像の表示中に、前記後側方センサ（１、４）が第２の物体を検出したことに基づいて、前記狭小範囲よりも広い範囲が写った画像を前記表示装置（６）に表示させることを特徴する後方画像処理装置である。   In order to achieve the above object, the invention according to claim 1 includes a rear camera (5) for photographing the rear of the vehicle, and a rear center sensor for detecting a distance to an object using the rear central portion of the vehicle as a detection range ( 2, 3), rear side sensors (1, 4) for detecting an object with the rear side of the vehicle as a detection range, and a display device (6), a rear image processing mounted on the vehicle. An apparatus, wherein a distance to the first object detected by the rear center sensor (2, 3) is within a predetermined first distance range or a predetermined second distance closer to the first distance range. Distance determining means (130, 145) for determining whether the image is within the distance range, and display control means (140, 150) for controlling an image to be displayed on the display device (6) according to the determination result of the distance determining means. 155, 160, 165), and The display control means (140, 150, 155, 160, 165) is configured so that the distance to the first object detected by the rear center sensor (2, 3) is within the second distance range. Based on the determination by the distance determination means (130, 145), a zoom-in image showing a predetermined narrow range of the rear of the vehicle photographed by the back camera (5) is displayed on the display device (6). The display device displays an image showing a wider range than the narrow range based on the fact that the rear side sensor (1, 4) detects the second object during the zoom-in image display. The rear image processing apparatus is characterized by being displayed in (6).

このように、車両が第１の物体に近づいたことにより所定の狭小範囲が写ったズームイン画像が表示されているときに、後側方センサ（１、４）が第２の物体を検出したことに基づいて、当該狭小範囲よりも広い範囲が写った画像を表示装置（６）に表示させることで、拡大表示された部分を外れた部分に物体が入ってきても、ドライバーがその物体に気付くことができる。   As described above, the rear side sensor (1, 4) has detected the second object when the zoom-in image showing the predetermined narrow range is displayed as the vehicle approaches the first object. Based on the above, the display device (6) displays an image showing a wider range than the narrow range, so that even if an object enters a portion outside the enlarged display portion, the driver notices the object. be able to.

また、請求項２に記載の発明は、請求項１に記載の後方画像処理装置において、前記表示制御手段（１４０、１５０、１５５、１６０、１６５）は、前記後中央センサ（２、３）が検出した前記第１の物体までの距離が前記第１の距離範囲に入っていると前記距離判定手段（１３０、１４５）が判定したことに基づいて、前記バックカメラ（５）によって撮影された前記車両の後方のうち、前記狭小範囲よりも広い所定の広大範囲が写ったズームアウト画像を、前記表示装置（６）に表示させ、前記後中央センサ（２、３）が検出した前記第１の物体までの距離が前記第２の距離範囲に入っていると前記距離判定手段（１３０、１４５）が判定したことに基づいて、前記狭小範囲が写った前記ズームイン画像を、前記ズームアウト画像の表示縮尺よりも詳細表示となる表示縮尺で、前記表示装置（６）に表示させ、前記ズームイン画像の表示中に、前記後側方センサ（１、４）が前記第２の物体を検出したことに基づいて、前記狭小範囲よりも広い範囲が写った画像を前記表示装置（６）に表示させることを特徴とする。   According to a second aspect of the present invention, in the rear image processing apparatus according to the first aspect, the display control means (140, 150, 155, 160, 165) includes the rear center sensor (2, 3). Based on the fact that the distance determination means (130, 145) determines that the detected distance to the first object is within the first distance range, the image taken by the back camera (5) A zoom-out image showing a predetermined wide range wider than the narrow range in the rear of the vehicle is displayed on the display device (6), and the first center sensor (2, 3) detects the first Based on the determination by the distance determination means (130, 145) that the distance to the object is within the second distance range, the zoomed-in image showing the narrow range is displayed as the zoom-out image. The display device (6) is displayed at a display scale that is more detailed than the scale, and the rear side sensor (1, 4) detects the second object while displaying the zoom-in image. Based on this, an image showing a wider range than the narrow range is displayed on the display device (6).

このように、車両が第１の物体に近づくほど表示領域が狭くかつ詳細表示となるような状況においては、ズームインされた狭小範囲にドライバーが集中しがちなので、その場合に、後側方センサ（１、４）が第２の物体を検出したことに基づいて、当該狭小範囲よりも広い範囲が写った画像を表示装置（６）に表示させることで、ドライバーへの注意喚起の効果を更に高めることができる。   In this way, in a situation where the display area becomes narrower and the details are displayed as the vehicle approaches the first object, the driver tends to concentrate in the narrowed-down narrow range. In that case, the rear side sensor ( Based on the fact that 1, 4) detects the second object, the display device (6) displays an image showing a wider range than the narrow range, thereby further enhancing the effect of alerting the driver. be able to.

また、請求項３に記載の発明は、請求項１または２に記載の後方画像処理装置前記後側方センサ（２、３）は、検知範囲内の物体の位置を検出するようになっており、前記表示制御手段（１４０、１５０、１５５、１６０、１６５）は、前記ズームイン画像の表示中に、前記後側方センサ（１、４）が前記第２の物体を検出した場合、前記後側方センサ（２、３）の検知範囲のうち、車両の中央よりも側方に近い所定の部分範囲に前記第２の物体があったときに限り、前記狭小範囲よりも広い範囲が写った画像を前記表示装置（６）に表示させることを特徴とする。   According to a third aspect of the present invention, the rear side sensor (2, 3) of the rear image processing device according to the first or second aspect detects a position of an object within a detection range. The display control means (140, 150, 155, 160, 165) is configured to display the rear side when the rear side sensor (1, 4) detects the second object during display of the zoom-in image. Of the detection range of the direction sensor (2, 3), an image showing a range wider than the narrow range only when the second object is in a predetermined partial range closer to the side than the center of the vehicle Is displayed on the display device (6).

このようにすることで、後側方センサ（１、４）の検知領域に第１の物体と同じ物の他の部分（例えば、キャンピングカーやボートの側部）が入った結果、狭小範囲よりも広い範囲が写った画像を不必要に表示装置（６）に表示させてしまう可能性が低下する。   In this way, as a result of other parts of the same object as the first object (for example, the side of the camper or boat) entering the detection area of the rear side sensors (1, 4), the narrower range The possibility that an image showing a wide range is unnecessarily displayed on the display device (6) is reduced.

また、請求項４に記載の発明は、車両の後方を撮影するバックカメラ（５）と、前記車両の後方を検知範囲として物体までの位置を検出する後センサ（１〜４）と、表示装置（６）と、を備えた前記車両に搭載される後方画像処理装置であって、前記後センサ（１〜４）が検出した第１の物体までの距離が、前記車両の後方の中央部の所定の第１距離範囲に入っているか、前記第１距離範囲よりも近い所定の第２距離範囲に入っているかを判定する距離判定手段（１３０、１４５）と、前記距離判定手段の判定結果に応じて前記表示装置（６）に表示させる画像を制御する表示制御手段（１４０、１５０、１５５、１６０、１６５）と、を備え、前記表示制御手段（１４０、１５０、１５５、１６０、１６５）は、前記後センサ（２、３）が検出した第１の物体までの距離が前記第２の距離範囲に入っていると前記距離判定手段（１３０、１４５）が判定したことに基づいて、前記バックカメラ（５）によって撮影された前記車両の後方のうち、所定の狭小範囲が写ったズームイン画像を、前記表示装置（６）に表示させ、前記ズームイン画像の表示中に、前記後センサ（１〜４）の検知範囲のうち、前記車両の中央よりも側方に近い所定の部分範囲に物体があったことに基づいて、前記狭小範囲よりも広い範囲が写った画像を前記表示装置（６）に表示させることを特徴する後方画像処理装置である。   According to a fourth aspect of the present invention, there is provided a back camera (5) for photographing the rear of the vehicle, a rear sensor (1-4) for detecting a position to an object with the rear of the vehicle as a detection range, and a display device (6), a rear image processing apparatus mounted on the vehicle, wherein the distance to the first object detected by the rear sensors (1 to 4) is the center of the rear of the vehicle. Distance determination means (130, 145) for determining whether the distance is within a predetermined first distance range or a predetermined second distance range closer to the first distance range, and the determination result of the distance determination means And display control means (140, 150, 155, 160, 165) for controlling an image to be displayed on the display device (6), and the display control means (140, 150, 155, 160, 165). , The rear sensor (2, 3) The vehicle photographed by the back camera (5) based on the determination by the distance determination means (130, 145) that the distance to the first object that has been put out falls within the second distance range. A zoom-in image in which a predetermined narrow range is reflected is displayed on the display device (6), and the vehicle in the detection range of the rear sensors (1 to 4) is displayed during display of the zoom-in image. A rear image processing characterized in that an image showing a wider range than the narrow range is displayed on the display device (6) based on the presence of an object in a predetermined partial range closer to the side than the center of Device.

このように、車両が第１の物体に近づいたことにより所定の狭小範囲が写ったズームイン画像が表示されているときに、後センサ（１〜４）の検知範囲のうち、車両の中央よりも側方に近い所定の部分範囲に物体があったことに基づいて、狭小範囲よりも広い範囲が写った画像を表示装置（６）に表示させることで、拡大表示された部分を外れた部分に物体が入ってきても、ドライバーがその物体に気付くことができる。   Thus, when a zoomed-in image in which a predetermined narrow range is captured due to the approach of the vehicle to the first object is displayed, the center of the vehicle in the detection range of the rear sensors (1 to 4) is displayed. Based on the fact that there is an object in a predetermined partial range close to the side, an image showing a wider range than the narrow range is displayed on the display device (6), so that the enlarged display portion is changed to a portion outside the enlarged display portion. Even if an object comes in, the driver can notice it.

なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。   In addition, the code | symbol in the bracket | parenthesis in the said and the claim shows the correspondence of the term described in the claim, and the concrete thing etc. which illustrate the said term described in embodiment mentioned later. .

本発明の実施形態に係る車載システムの構成を示す図である。It is a figure which shows the structure of the vehicle-mounted system which concerns on embodiment of this invention. 後センサ１〜４およびバックカメラ５の車両１０における配置、ならびに、後センサ１〜４の検知範囲１１〜１４を示す図である。It is a figure which shows arrangement | positioning in the vehicle 10 of the rear sensors 1-4 and the back camera 5, and the detection ranges 11-14 of the rear sensors 1-4. 本発明の適用場面を例示する図である。It is a figure which illustrates the application scene of this invention. 画像処理部が実行する処理のフローチャートである。It is a flowchart of the process which an image process part performs. 広角表示の一例を示す図である。It is a figure which shows an example of a wide angle display. 部分範囲１１ａ、１４ａの一例を示す図である。It is a figure which shows an example of the partial ranges 11a and 14a. 第１狭角・鳥瞰表示の一例を示す図である。It is a figure which shows an example of a 1st narrow angle and bird's-eye view display. 第２狭角・鳥瞰表示の一例を示す図である。It is a figure which shows an example of a 2nd narrow angle and bird's-eye view display.

以下、本発明の一実施形態について説明する。図１に、本実施形態に係る車載システムの構成を示す。この車載システムは、車両に搭載され、後センサ１〜４、バックカメラ５、表示装置６、画像処理部７等を備えている。   Hereinafter, an embodiment of the present invention will be described. FIG. 1 shows a configuration of an in-vehicle system according to the present embodiment. This in-vehicle system is mounted on a vehicle and includes rear sensors 1 to 4, a back camera 5, a display device 6, an image processing unit 7, and the like.

後センサ１〜４は、車両の後方を検知範囲として当該検知範囲内にある物体までの位置を検出するためのセンサであって、左後ソナー１、第１中央後ソナー２、第２中央後ソナー３、および右後ソナー４から構成される。   The rear sensors 1 to 4 are sensors for detecting the position to the object within the detection range with the rear of the vehicle as the detection range, and are the rear left sonar 1, the first center rear sonar 2, and the second center rear. It is composed of a sonar 3 and a right rear sonar 4.

図２に、本実施形態の車載システムが搭載される車両１０および車両１０への後センサ１〜４の搭載位置を示す。後センサ１〜４は、それぞれ、車両１０の後端部に配置され、車両１０よりも後方を検知範囲としている。   FIG. 2 shows a vehicle 10 on which the in-vehicle system of the present embodiment is mounted and the positions where the rear sensors 1 to 4 are mounted on the vehicle 10. Each of the rear sensors 1 to 4 is disposed at the rear end of the vehicle 10 and has a detection range behind the vehicle 10.

より具体的には、左後ソナー１は、車両の後端左側から右側に向けて、左後ソナー１、第１中央後ソナー２、第２中央後ソナー３、右後ソナー４の順に配置されている。そして、左後ソナー１は、車両１０の後方左側部の領域１１を検知範囲とし、その検知範囲１１内に入っている物体の位置を検出可能となっている。また、右後ソナー４は、車両１０の後方右側部の領域１４を検知範囲とし、その検知範囲１４内に入っている物体の位置を検出可能となっている。これら左後ソナー１および右後ソナー４は、後側方センサを構成する。   More specifically, the left rear sonar 1 is arranged in the order of the left rear sonar 1, the first center rear sonar 2, the second center rear sonar 3, and the right rear sonar 4 from the left side to the right side of the rear end of the vehicle. ing. The left rear sonar 1 can detect the position of an object within the detection range 11 with the region 11 on the left rear side of the vehicle 10 as a detection range. Further, the right rear sonar 4 can detect the position of an object within the detection range 14 with the region 14 on the right rear side of the vehicle 10 as a detection range. These left rear sonar 1 and right rear sonar 4 constitute a rear side sensor.

また、第１中央後ソナー２および第２中央後ソナー３は、車両１０の後方中央部を検知範囲として当該検知範囲内に入っている物体の位置を検出する後中央センサを構成し、それぞれ、車両の後端中央やや左側およびやや右側に配置されている。第１中央後ソナー２の検知範囲１２と第２中央後ソナー３の検知範囲１３はいすれも車両１０の後方中央部であるが、互いにずれている。   In addition, the first center rear sonar 2 and the second center rear sonar 3 constitute a rear center sensor that detects the position of an object in the detection range with the rear center portion of the vehicle 10 as a detection range, It is arranged in the center of the rear end of the vehicle, slightly on the left and slightly on the right. The detection range 12 of the first center rear sonar 2 and the detection range 13 of the second center rear sonar 3 are both located at the rear center of the vehicle 10 but are shifted from each other.

バックカメラ５は、車両１０の後方を撮影し、その撮影結果の撮影画像を画像処理部７に逐次出力する。表示装置６は、車両１０の車室内において、ドライバーから見える位置（例えばダッシュボード）に配置され、ドライバーに各種画像を表示するようになっている。   The back camera 5 captures the rear of the vehicle 10 and sequentially outputs a captured image as a result of the capture to the image processing unit 7. The display device 6 is disposed in a position (for example, a dashboard) that is visible to the driver in the vehicle interior of the vehicle 10 and displays various images to the driver.

画像処理部７は、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ等を備えた制御装置であり、ＣＰＵがＲＯＭに記録されたプログラムを実行し、その際、ＲＡＭを作業領域として使い、Ｉ／Ｏを介して上記装置１〜６と信号をやりとりすることで、所望の処理を実現するようになっている。画像処理部７は、例えば、地図を表示装置６に表示させ、目的地までの経路を案内するナビゲーション制御部であってもよい。なお、画像処理部７には、車両１０のシフト位置を示すギア信号が入力されるようになっている。   The image processing unit 7 is a control device including a CPU, a RAM, a ROM, an I / O, and the like. The CPU executes a program recorded in the ROM. At that time, the RAM is used as a work area, and the I / O is A desired process is realized by exchanging signals with the devices 1 to 6. For example, the image processing unit 7 may be a navigation control unit that displays a map on the display device 6 and guides a route to the destination. Note that a gear signal indicating the shift position of the vehicle 10 is input to the image processing unit 7.

次に、上記のような構成の車載システムの作動について説明する。図３に、本実施形態の作動の適用場面を例示する。この場面は、車両１０に被牽引物２０（ボート、キャンピングカー等）を連結して車両１０で牽引するために、被牽引物２０の先端部２１に取り付けられた連結部２１ａと、車両１０の後端中央に取り付けられた車両側連結部（図示ぜず）とを係合させる場面である。このため、ドライバーは、車両１０を被牽引物２０の前方に配置し、被牽引物２０に向けて車両１０をゆっくり後退させ、最終的に車両側連結部と連結部２１ａとを係合させる。   Next, the operation of the in-vehicle system configured as described above will be described. FIG. 3 illustrates an application scene of the operation of the present embodiment. In this scene, in order to connect the towed object 20 (boat, camper, etc.) to the vehicle 10 and tow the vehicle 10, a connecting part 21 a attached to the front end 21 of the towed object 20 and the rear of the vehicle 10. This is a scene where a vehicle side connecting portion (not shown) attached to the center of the end is engaged. For this reason, the driver arranges the vehicle 10 in front of the to-be-towed object 20, slowly retracts the vehicle 10 toward the to-be-towed object 20, and finally engages the vehicle-side connecting portion and the connecting portion 21 a.

このとき、車両１０の後端から被牽引物２０の先端部２１までの距離Ｄは、徐々に近づいていくが、それに従って、バックカメラ５が撮影した車両後方のうち、表示装置６に表示する範囲（画角）が、範囲５１、５２、５３の順に段階的に狭くなっていく。   At this time, the distance D from the rear end of the vehicle 10 to the front end portion 21 of the to-be-towed object 20 gradually approaches, and is displayed on the display device 6 in the rear of the vehicle photographed by the back camera 5 accordingly. The range (view angle) becomes narrower in the order of ranges 51, 52, and 53.

このような作動を実現するために、画像処理部７は、ギア信号に基づいて車両のシフト位置がＲ（後退）に入ったことを検知すると、シフト位置がＲに入っている間、所定のプログラムを実行することで、図４に示す処理を実行し始める。なお、シフト位置がＲに入っていない間は、画像処理部７は表示装置６に地図画像等のナビゲーション用の画像を表示させている。   In order to realize such an operation, when the image processing unit 7 detects that the shift position of the vehicle has entered R (reverse) based on the gear signal, the image processing unit 7 performs a predetermined process while the shift position is within R. By executing the program, the processing shown in FIG. 4 is started. Note that while the shift position is not in R, the image processing unit 7 displays a navigation image such as a map image on the display device 6.

図４の処理において画像処理部７は、まずステップ１１０で、トーイングピッチアシストボタンが押下されているか否かを判定する。トーイングピッチアシストボタンは、車室内に設けられたメカニカルスイッチ（図示せず）または表示装置６に表示されたタッチボタン（図示せず）として実現可能である。ドライバーは、上述のような連結の作業を行いたい場合は、このトーイングピッチアシストボタンを押下する。   In the process of FIG. 4, the image processing unit 7 first determines in step 110 whether or not the towing pitch assist button has been pressed. The towing pitch assist button can be realized as a mechanical switch (not shown) provided in the passenger compartment or a touch button (not shown) displayed on the display device 6. The driver presses the towing pitch assist button when he / she wants to perform the above-described connection work.

なお、トーイングピッチアシストボタンが押されるまでは、ステップ１１０からステップ１２０に進み、通常のバックガイドモニタ画像（例えば、バックカメラ５が撮影した画像そのものでもよい）を表示装置６に表示させ、ステップ１１０、１２０の処理を繰り返し実行する。   Until the towing pitch assist button is pressed, the process proceeds from step 110 to step 120, and a normal back guide monitor image (for example, the image itself taken by the back camera 5 may be displayed) is displayed on the display device 6. , 120 is repeatedly executed.

トーイングピッチヒッチアシストボタンが押下されると、続いてステップ１３０に進み、後センサ１〜４のうち第１中央後ソナー２および第２中央後ソナー３のみの検出結果に基づいて、車両１０から対象物（第１の物体に相当する）までの距離を特定し、特定した距離が所定の遠距離範囲（例えば、５ｍ以上の範囲）に入っているか否かを判定する。この遠距離範囲は、第１の距離範囲の一例に相当する。   When the towing pitch hitch assist button is pressed, the routine proceeds to step 130, where the object is detected from the vehicle 10 based on the detection results of only the first center rear sonar 2 and the second center rear sonar 3 among the rear sensors 1 to 4. The distance to the object (corresponding to the first object) is specified, and it is determined whether or not the specified distance is within a predetermined long distance range (for example, a range of 5 m or more). This long distance range corresponds to an example of a first distance range.

ここで、上記対象物までの距離の算出方法としては、例えば、第１中央後ソナー２が現在検出している物体の第１中央後ソナー２からの距離の最小値と、第１中央後ソナー２が現在検出している物体の第２中央後ソナー３からの距離の最小値のうち、小さい方を、車両１０から対象物までの距離として特定する。   Here, as a calculation method of the distance to the object, for example, the minimum value of the distance from the first center rear sonar 2 of the object currently detected by the first center rear sonar 2 and the first center rear sonar Among the minimum values of the distance from the second center rear sonar 3 of the object currently detected by 2, the smaller one is specified as the distance from the vehicle 10 to the object.

対象物までの距離の特定のために、第１中央後ソナー２および第２中央後ソナー３のみを用い、左後ソナー１および右後ソナー４を用いないのは、本例の場面では、対象物として特定したい物体が、被牽引物２０であり、被牽引物２０の先端部２１は、車両１０の後方中央にあるはずだからである。このため、特定する対象物の検出範囲は、第１中央後ソナー２の検出範囲１２と第２中央後ソナー３の検出範囲１３の総和の範囲に限られる。   In order to specify the distance to the object, only the first center rear sonar 2 and the second center rear sonar 3 are used, and the left rear sonar 1 and the right rear sonar 4 are not used. This is because the object to be specified as an object is the to-be-towed object 20 and the tip 21 of the to-be-towed object 20 should be at the rear center of the vehicle 10. For this reason, the detection range of the specified object is limited to the total range of the detection range 12 of the first center rear sonar 2 and the detection range 13 of the second center rear sonar 3.

本例では、車両１０の後退当初は、対象物（被牽引物２０）までの距離がこの遠距離範囲内に入っているとする。その場合、ステップ１３０では、遠距離範囲内に入っていると判定し、ステップ１４０に進む。   In this example, it is assumed that the distance to the target object (the to-be-towed object 20) is within the long distance range at the beginning of the backward movement of the vehicle 10. In that case, in step 130, it is determined that it is within the long distance range, and the process proceeds to step 140.

ステップ１４０では、広角表示を行う。図５（ａ）に、広角表示の視点３１および視線方向３２を示し、図５（ｂ）に、広角表示時に表示装置６に表示させる画像の一例（ズームアウト画像の一例に相当する）を示す。この図５に示す通り、広角表示時に表示装置６に表示させる画像は、バックカメラ５と同じ視点および視線方向の画像である。したがって、広角表示において、画像処理部７は、バックカメラ５から受けた撮影画像に対して視点変換を施さない画像を表示装置６に表示させる。またこのとき、表示装置６に表示させる画像は、バックカメラ５で撮影された車両１０の後方のうち、図３の５１で示す広角の範囲、すなわち、バックカメラ５で撮影された全画角範囲（広大範囲の一例に相当する）である。なお、図５（ｂ）に示すように、表示装置６に表示させる画像には、車両の後退予測軌跡４１や、車両１０の中央位置を示す線４２を重畳表示させてもよい。ステップ１４０の後、処理はステップ１３０に戻る。   In step 140, wide-angle display is performed. FIG. 5A shows the viewpoint 31 and the line-of-sight direction 32 for wide-angle display, and FIG. 5B shows an example of an image (corresponding to an example of a zoom-out image) displayed on the display device 6 during wide-angle display. . As shown in FIG. 5, the image displayed on the display device 6 at the time of wide-angle display is an image in the same viewpoint and line-of-sight direction as the back camera 5. Therefore, in the wide-angle display, the image processing unit 7 causes the display device 6 to display an image that is not subjected to viewpoint conversion on the captured image received from the back camera 5. At this time, the image to be displayed on the display device 6 is a wide-angle range indicated by 51 in FIG. 3 in the rear of the vehicle 10 photographed by the back camera 5, that is, a full angle-of-view range photographed by the back camera 5. (Corresponding to an example of a vast range). As shown in FIG. 5 (b), the image to be displayed on the display device 6 may be superimposed and displayed with a predicted vehicle reverse trajectory 41 and a line 42 indicating the center position of the vehicle 10. After step 140, processing returns to step 130.

したがって、車両１０の後退で、車両１０から被牽引物２０までの距離が遠距離範囲内に入っている間は、ステップ１３０、１４０の処理が繰り返され、画像処理部７は、広角表示を繰り返す。   Therefore, when the vehicle 10 moves backward and the distance from the vehicle 10 to the to-be-towed object 20 is within the long distance range, the processes of steps 130 and 140 are repeated, and the image processing unit 7 repeats the wide-angle display. .

その後、車両１０の後退が続き、車両１０から被牽引物２０までの距離が遠距離範囲内を外れた場合、画像処理部７は、ステップ１３０で、遠距離範囲内に入っていないと判定し、ステップ１４５に進む。   Thereafter, when the vehicle 10 continues to move backward and the distance from the vehicle 10 to the to-be-towed object 20 is out of the long distance range, the image processing unit 7 determines in step 130 that it is not within the long distance range. The process proceeds to step 145.

そしてステップ１４５では、ステップ１３０と同じ方法で車両１０から対象物（第１の物体に相当する）までの距離を特定し、特定した距離が所定の中距離範囲（例えば、３ｍ以上５ｍ未満の範囲）に入っているか否かを判定する。この中距範囲は、第２の距離範囲の一例に相当する。   In step 145, the distance from the vehicle 10 to the object (corresponding to the first object) is specified in the same manner as in step 130, and the specified distance is a predetermined middle distance range (for example, a range of 3 m or more and less than 5 m). ) Is determined. This intermediate distance range corresponds to an example of a second distance range.

車両１０から被牽引物２０までの距離が遠距離範囲内を外れた直後は、この中距離範囲に入っていると考えられる。その場合、画像処理部７はステップ１５０に進み、後側方センサ１、４のいずれかが、所定の部分範囲内に物体を検知したか否かを判定する。   Immediately after the distance from the vehicle 10 to the to-be-towed object 20 deviates from the long distance range, it is considered that the vehicle 10 falls within this medium distance range. In that case, the image processing unit 7 proceeds to step 150 and determines whether any of the rear side sensors 1 and 4 has detected an object within a predetermined partial range.

ここで、所定の部分範囲は、図６に示すように、左後ソナー１の検知範囲１１のうち、車両１０の中央よりも左側方に近い斜線の部分範囲１１ａと、右後ソナー４の検知範囲１４のうち、車両１０の中央よりも右側方に近い斜線の部分範囲１４ａである。部分範囲１１ａは、左後ソナー１から見た検知範囲１１の水平方向の角度範囲のうち、車両１０の左側の１／３程度の範囲である。また部分範囲１４ａは、右後ソナー４から見た検知範囲１４の水平方向の角度範囲のうち、車両１０の右側の１／３程度の範囲である。   Here, as shown in FIG. 6, the predetermined partial range includes a hatched partial range 11 a closer to the left side than the center of the vehicle 10 in the detection range 11 of the left rear sonar 1 and the detection of the right rear sonar 4. In the range 14, the hatched partial range 14 a is closer to the right side than the center of the vehicle 10. The partial range 11 a is a range of about 1/3 on the left side of the vehicle 10 in the horizontal angle range of the detection range 11 viewed from the left rear sonar 1. The partial range 14 a is a range of about １ ／ on the right side of the vehicle 10 in the horizontal angle range of the detection range 14 as viewed from the right rear sonar 4.

ここでは、このような部分範囲１１ａ、１４ａ内に物体が入っていないとする。その場合、ステップ１４０では、部分範囲１１ａ、１４ａ内に物体が入っていないと判定し、続いてステップ１５５に進む。   Here, it is assumed that no object is in the partial ranges 11a and 14a. In that case, in step 140, it is determined that there is no object in the partial ranges 11a, 14a, and then the process proceeds to step 155.

ステップ１５５では、第１狭角・鳥瞰表示を行う。図７（ａ）に、第１狭角・鳥瞰表示の視点３３および視線方向３４を示し、図７（ｂ）に、第１狭角・鳥瞰表示時に表示装置６に表示させる画像の一例（ズームイン画像の一例に相当する）を示す。この図７に示す通り、第１狭角・鳥瞰表示時に表示装置６に表示させる画像は、バックカメラ５よりも高い位置から斜め下に俯瞰した視点３３および視線方向３４の画像である。したがって、第１狭角・鳥瞰表示において、画像処理部７は、バックカメラ５から受けた撮影画像に対して上記のような視点３３および視線方向３４を実現するような周知の視点変換を行い、その結果の画像を表示装置６に表示させる。またこのとき、表示装置６に表示させる画像は、バックカメラ５で撮影された車両１０の後方のうち、図３の５２で示す範囲、すなわち、バックカメラ５で撮影された全画角範囲よりも狭い画角範囲（狭小範囲の一例に相当する）である。この狭い範囲内には、検出した被牽引物２０の先端部２１が含まれるようになっている。また、この画像には、車両１０の中央位置を示す線４２、および、車両１０の後端部を示す画像４３、および、車両に対してどの部分が表示されているかを示す画像４４を重畳する。   In step 155, the first narrow-angle / bird's-eye display is performed. 7A shows the viewpoint 33 and the line-of-sight direction 34 of the first narrow-angle / bird's-eye display, and FIG. 7B shows an example of an image (zoomed in) displayed on the display device 6 at the first narrow-angle / bird's-eye display. Corresponding to an example of an image). As shown in FIG. 7, the image displayed on the display device 6 at the time of the first narrow-angle / bird's-eye display is an image of the viewpoint 33 and the line-of-sight direction 34 that is viewed obliquely downward from a position higher than the back camera 5. Therefore, in the first narrow-angle / bird's-eye view display, the image processing unit 7 performs known viewpoint conversion for realizing the viewpoint 33 and the line-of-sight direction 34 as described above on the captured image received from the back camera 5, The resulting image is displayed on the display device 6. Further, at this time, the image displayed on the display device 6 is the range indicated by 52 in FIG. 3 in the rear of the vehicle 10 photographed by the back camera 5, that is, the entire field angle range photographed by the back camera 5. A narrow field angle range (corresponding to an example of a narrow range). Within this narrow range, the detected tip portion 21 of the to-be-drawn object 20 is included. In addition, a line 42 indicating the center position of the vehicle 10, an image 43 indicating the rear end of the vehicle 10, and an image 44 indicating which part is displayed with respect to the vehicle are superimposed on this image. .

このように表示する画像のサイズは、ステップ１４０で広角表示する画像のサイズと同じなので、同じ撮影範囲に関しては、ステップ１４０の広角表示の場合よりもステップ１５０の第１狭角・鳥瞰表示の方が拡大されて詳細に表示されるようになっている。つまり、広角表示の画像の表示縮尺よりも第１狭角・鳥瞰表示の表示縮尺の方が、より詳細表示となる表示縮尺である。したがって、ドライバーは、車両１０の後端部と被牽引物２０の先端部２１との位置関係をより正確に把握できる。ステップ１５５の後、処理はステップ１３０に戻る。   Since the size of the image to be displayed is the same as the size of the image to be displayed at the wide angle in step 140, the first narrow-angle / bird's-eye display at step 150 is more suitable for the same shooting range than the case of the wide-angle display at step 140. Is enlarged and displayed in detail. That is, the display scale of the first narrow-angle / bird's-eye view display is a display scale that provides more detailed display than the display scale of the wide-angle display image. Therefore, the driver can grasp the positional relationship between the rear end portion of the vehicle 10 and the front end portion 21 of the to-be-towed object 20 more accurately. After step 155, processing returns to step 130.

したがって、車両１０の後退で、車両１０から被牽引物２０までの距離が遠距離範囲内に入っており、部分領域内に物体が検出されていない間は、ステップ１３０、１４５、１５０、１５５の処理が繰り返され、画像処理部７は、第１狭角・鳥瞰表示を繰り返す。   Therefore, when the vehicle 10 moves backward, the distance from the vehicle 10 to the to-be-towed object 20 is within the long distance range, and while no object is detected in the partial area, the steps 130, 145, 150, 155 The processing is repeated, and the image processing unit 7 repeats the first narrow-angle / bird's-eye display.

その後、車両１０の後退が続き、車両１０から被牽引物２０までの距離が中距離範囲内を外れた直後、画像処理部７は、ステップ１４０で、中距離範囲内に入っていないと判定し、ステップ１６０に進む。ステップ１６０に進む場合は、車両１０から被牽引物２０までの距離が所定の短距離範囲（例えば、３ｍ未満の範囲）内にあるとステップ１４５で判定されたことになる。この中距範囲は、第２の距離範囲の一例に相当する。   After that, the vehicle 10 continues to move backward, and immediately after the distance from the vehicle 10 to the to-be-towed object 20 is out of the intermediate distance range, the image processing unit 7 determines in step 140 that it is not within the intermediate distance range. , Go to Step 160. When the process proceeds to step 160, it is determined in step 145 that the distance from the vehicle 10 to the to-be-towed object 20 is within a predetermined short distance range (for example, a range of less than 3 m). This intermediate distance range corresponds to an example of a second distance range.

ステップ１６０では、ステップ１５０と同じ方法で、後側方センサ１、４のいずれかが、所定の部分範囲内に物体を検知したか否かを判定する。ここでは、このような部分範囲１１ａ、１４ａ内に物体が入っていないとする。その場合、ステップ１６０では、部分範囲１１ａ、１４ａ内に物体が入っていないと判定し、続いてステップ１６５に進む。   In step 160, it is determined in the same manner as in step 150 whether any of the rear side sensors 1, 4 has detected an object within a predetermined partial range. Here, it is assumed that no object is in the partial ranges 11a and 14a. In that case, in step 160, it is determined that there is no object in the partial ranges 11a, 14a, and then the process proceeds to step 165.

ステップ１６５では、第２狭角・鳥瞰表示を行う。図８（ａ）に、第２狭角・鳥瞰表示の視点３５および視線方向３６を示し、図８（ｂ）に、第２狭角・鳥瞰表示時に表示装置６に表示させる画像の一例（ズームイン画像の一例に相当する）を示す。この図８に示す通り、第２狭角・鳥瞰表示時に表示装置６に表示させる画像は、バックカメラ５よりも高い位置から真下に俯瞰した視点３５および視線方向３６の画像である。したがって、第２狭角・鳥瞰表示において、画像処理部７は、バックカメラ５から受けた撮影画像に対して上記のような視点３５および視線方向３６を実現するような周知の視点変換を行い、その結果の画像を表示装置６に表示させる。またこのとき、表示装置６に表示させる画像は、バックカメラ５で撮影された車両１０の後方のうち、図３の５３で示す範囲、すなわち、バックカメラ５で撮影された全範囲よりも狭く、かつ、ステップ１５５の第１狭角・鳥瞰表示に表示した範囲５２よりも狭い範囲（狭小範囲の一例に相当する）である。この狭い範囲内には、検出した被牽引物２０の先端部２１が含まれるようになっている。また、この画像には、車両１０の中央位置を示す線４２、および、車両１０の後端部を示す画像４３、および、車両に対してどの部分が表示されているかを示す画像４４を重畳する。   In step 165, the second narrow-angle / bird's-eye display is performed. FIG. 8A shows the viewpoint 35 and the line-of-sight direction 36 of the second narrow-angle / bird's-eye display, and FIG. 8B shows an example of an image (zoomed in) displayed on the display device 6 at the second narrow-angle / bird's-eye display. Corresponding to an example of an image). As shown in FIG. 8, the image displayed on the display device 6 at the time of the second narrow-angle / bird's-eye view display is an image of the viewpoint 35 and the line-of-sight direction 36 viewed directly from a position higher than the back camera 5. Therefore, in the second narrow-angle / bird's-eye view display, the image processing unit 7 performs known viewpoint conversion for realizing the viewpoint 35 and the line-of-sight direction 36 as described above on the captured image received from the back camera 5, The resulting image is displayed on the display device 6. At this time, the image displayed on the display device 6 is narrower than the range indicated by 53 in FIG. 3 in the rear of the vehicle 10 taken by the back camera 5, that is, the entire range taken by the back camera 5. In addition, the range is narrower than the range 52 displayed in the first narrow-angle / bird's-eye display in step 155 (corresponding to an example of a narrow range). Within this narrow range, the detected tip portion 21 of the to-be-drawn object 20 is included. In addition, a line 42 indicating the center position of the vehicle 10, an image 43 indicating the rear end of the vehicle 10, and an image 44 indicating which part is displayed with respect to the vehicle are superimposed on this image. .

このように表示する画像のサイズは、ステップ１４０で広角表示する画像のサイズと同じなので、同じ撮影範囲に関しては、ステップ１４０の広角表示の場合よりもステップ１５０の第１狭角・鳥瞰表示の方が拡大されて詳細に表示される。つまり、広角表示の画像の表示縮尺よりも第２狭角・鳥瞰表示の表示縮尺の方が、より詳細表示となる表示縮尺である。また、同じ撮影範囲に関しては、ステップ１５５の第１狭角・鳥瞰表示の場合よりもステップ１６５の第２狭角・鳥瞰表示の方が拡大されて詳細に表示される。つまり、第１狭角・鳥瞰表示の画像の表示縮尺よりも第２狭角・鳥瞰表示の表示縮尺の方が、より詳細表示となる表示縮尺である。   Since the size of the image to be displayed is the same as the size of the image to be displayed at the wide angle in step 140, the first narrow-angle / bird's-eye display at step 150 is more suitable for the same shooting range than the case of the wide-angle display at step 140. Is enlarged and displayed in detail. That is, the display scale of the second narrow-angle / bird's-eye display is a display scale that provides more detailed display than the display scale of the wide-angle display image. For the same shooting range, the second narrow-angle / bird's-eye display in step 165 is enlarged and displayed in more detail than the first narrow-angle / bird's-eye display in step 155. In other words, the display scale of the second narrow angle / bird's-eye display is a display scale that provides more detailed display than the display scale of the first narrow-angle / bird's-eye display image.

したがって、ドライバーは、車両１０の後端部と被牽引物２０の先端部２１との位置関係を更に正確に把握できる。ステップ１６５の後、処理はステップ１３０に戻る。   Therefore, the driver can grasp the positional relationship between the rear end portion of the vehicle 10 and the front end portion 21 of the to-be-towed object 20 more accurately. After step 165, processing returns to step 130.

したがって、車両１０の後退で、車両１０から被牽引物２０までの距離が遠距離範囲内に入っており、部分領域内に物体が検出されていない間は、ステップ１３０、１４５、１６０、１６５の処理が繰り返され、画像処理部７は、第２狭角・鳥瞰表示を繰り返す。   Therefore, when the vehicle 10 moves backward, the distance from the vehicle 10 to the to-be-towed object 20 is within the long distance range, and while no object is detected in the partial area, the steps 130, 145, 160, and 165 are performed. The processing is repeated, and the image processing unit 7 repeats the second narrow-angle / bird's-eye display.

なお、図４の処理の実行中、トーイングピッチアシストボタンが再度押下された場合、図４の処理を一旦終了し、再度図４の処理をステップ１１０から開始する。また、図４の処理の実行中、シフト位置がＲでなくなった場合、図４の処理を終了する。   If the towing pitch assist button is pressed again during the process shown in FIG. 4, the process shown in FIG. 4 is once ended and the process shown in FIG. If the shift position is no longer R during the execution of the process of FIG. 4, the process of FIG. 4 is terminated.

このような処理により、車両１０が被牽引物２０から遠く離れている間は広い範囲をドライバーに見せ、車両１０が被牽引物２０に近づくにつれ表示画角を狭くし、拡大表示、鳥瞰表示とする。   By such processing, while the vehicle 10 is far away from the towed object 20, a wide range is shown to the driver, and as the vehicle 10 approaches the towed object 20, the display angle of view is narrowed, enlarged display, bird's-eye view display, etc. To do.

次に、上記のような作動例において、車両１０から被牽引物２０までの距離が中距離範囲内に入っており、画像処理部７が第１狭角・鳥瞰表示を行っているときに、図６に示すように、上述の部分範囲１１ａ、１４ａのいずれかに物体３０（例えば人等）が急に入ってきた場合について説明する。この物体３０が、第２の物体の一例に相当する。   Next, in the above operation example, when the distance from the vehicle 10 to the to-be-towed object 20 is within the middle distance range, and the image processing unit 7 performs the first narrow-angle / bird's-eye display, As shown in FIG. 6, a case will be described where an object 30 (for example, a person or the like) suddenly enters one of the partial ranges 11a and 14a. This object 30 corresponds to an example of a second object.

この場合、画像処理部７は、ステップ１５０で、後側方センサ１、４のいずれかが、所定の部分範囲１１ａ、１４ａ内に物体を検知したと判定し、続いてステップ１４０に進み、表示装置６における表示を第１狭角・鳥瞰表示から広角表示に切り替える。ステップ１４０の後、処理はステップ１３０に戻るので、車両１０から被牽引物２０までの距離が中距離で、かつ所定の部分範囲１１ａ、１４ａ内に物体３０がある間は、ステップ１３０、１４５、１５０、１４０の処理が繰り返され、広角表示が継続する。   In this case, the image processing unit 7 determines in step 150 that one of the rear side sensors 1 and 4 has detected an object in the predetermined partial ranges 11a and 14a, and then proceeds to step 140 to display The display on the device 6 is switched from the first narrow-angle / bird's-eye display to the wide-angle display. After step 140, the process returns to step 130. Therefore, while the distance from the vehicle 10 to the to-be-towed object 20 is a medium distance and the object 30 is within the predetermined partial ranges 11a and 14a, the steps 130, 145, The processes 150 and 140 are repeated, and the wide-angle display continues.

このように、画像処理部７は、後中央センサ２、３が検出した被牽引物２０までの距離が中距離範囲に入っていると判定したことに基づいて第１狭角・鳥瞰表示を行っている最中に、後側方センサ１、４が所定の部分範囲１１ａ、１４ａ内に物体３０を検出したことに基づいて、画角範囲５２よりも広い画角範囲５１が写った画像を表示装置６に表示させる。このようにすることで、拡大表示された部分を外れた部分に物体が入ってきても、ドライバーがその物体に気付くことができる。なお、画角範囲５１内に、上記部分範囲１１ａ、１４ａは含まれている。   As described above, the image processing unit 7 performs the first narrow-angle / bird's-eye display based on the determination that the distance to the to-be-towed object 20 detected by the rear center sensors 2 and 3 is in the middle distance range. In the meantime, based on the fact that the rear side sensors 1 and 4 detect the object 30 in the predetermined partial ranges 11a and 14a, an image in which the field angle range 51 wider than the field angle range 52 is displayed is displayed. It is displayed on the device 6. In this way, even if an object enters a portion outside the enlarged display portion, the driver can notice the object. The partial ranges 11 a and 14 a are included in the field angle range 51.

また、後側方センサ１、４の検知領域に被牽引物２０と同じ物の他の部分（例えば、キャンピングカーやボートの側部）が入った結果、狭小範囲５２よりも広い範囲５１が写った画像を不必要に表示装置６に表示させてしまう可能性が低下する。   In addition, as a result of another part of the same object as the to-be-towed object 20 (for example, the side of a camper or a boat) entering the detection area of the rear side sensors 1 and 4, a range 51 wider than the narrow range 52 is shown. The possibility that an image is unnecessarily displayed on the display device 6 is reduced.

また、車両１０が被牽引物２０に近づくほど表示領域が狭くかつ詳細表示となるような状況においては、ズームインされた狭小範囲５２にドライバーが集中しがちなので、その場合に、後側方センサ１、４が物体３０を検出したことに基づいて、当該狭小範囲５２よりも広い範囲５１が写った画像を表示装置６に表示させることで、ドライバーへの注意喚起の効果を更に高めることができる。   Further, in a situation where the display area becomes narrower and detailed display as the vehicle 10 approaches the towed object 20, the driver tends to concentrate on the zoomed-in narrow area 52. In this case, the rear side sensor 1 The effect of alerting the driver can be further enhanced by causing the display device 6 to display an image showing a range 51 wider than the narrow range 52 based on the fact that 4 detects the object 30.

更に、上記のような作動例において、車両１０から被牽引物２０までの距離が短距離範囲内に入っており、画像処理部７が第２狭角・鳥瞰表示を行っているときに、図６に示すように、上述の部分範囲１１ａ、１４ａのいずれかに物体３０（例えば人等）が急に入ってきた場合について説明する。この物体３０が、第２の物体の一例に相当する。   Further, in the above operation example, when the distance from the vehicle 10 to the to-be-towed object 20 is within the short distance range and the image processing unit 7 performs the second narrow-angle / bird's-eye display, FIG. As shown in FIG. 6, a case where an object 30 (such as a person) suddenly enters one of the above-described partial ranges 11a and 14a will be described. This object 30 corresponds to an example of a second object.

この場合、画像処理部７は、ステップ１６０で、後側方センサ１、４のいずれかが、所定の部分範囲１１ａ、１４ａ内に物体を検知したと判定し、続いてステップ１４０に進み、表示装置６における表示を第２狭角・鳥瞰表示から広角表示に切り替える。ステップ１４０の後、処理はステップ１３０に戻るので、車両１０から被牽引物２０までの距離が距離で、かつ所定の部分範囲１１ａ、１４ａ内に物体３０がある間は、ステップ１３０、１４５、１６０、１４０の処理が繰り返され、広角表示が継続する。   In this case, the image processing unit 7 determines in step 160 that any of the rear side sensors 1 and 4 has detected an object in the predetermined partial ranges 11a and 14a, and then proceeds to step 140 to display The display on the device 6 is switched from the second narrow-angle / bird's-eye display to the wide-angle display. After step 140, the process returns to step 130. Therefore, while the distance from the vehicle 10 to the to-be-towed object 20 is a distance and the object 30 is within the predetermined partial ranges 11a and 14a, the steps 130, 145, and 160 are performed. , 140 are repeated, and the wide-angle display continues.

このように、画像処理部７は、後中央センサ２、３が検出した被牽引物２０までの距離が短距離範囲に入っていると判定したことに基づいて第２狭角・鳥瞰表示を行っている最中に、後側方センサ１、４が所定の部分範囲１１ａ、１４ａ内に物体３０を検出したことに基づいて、画角範囲５３よりも広い画角範囲５１が写った画像を表示装置６に表示させる。このようにすることで、拡大表示された部分を外れた部分に物体が入ってきても、ドライバーがその物体に気付くことができる。   As described above, the image processing unit 7 performs the second narrow-angle / bird's-eye display based on the determination that the distance to the to-be-towed object 20 detected by the rear center sensors 2 and 3 is within the short distance range. In the meantime, based on the fact that the rear side sensors 1 and 4 have detected the object 30 in the predetermined partial ranges 11a and 14a, an image in which the field angle range 51 wider than the field angle range 53 is displayed is displayed. It is displayed on the device 6. In this way, even if an object enters a portion outside the enlarged display portion, the driver can notice the object.

また、後側方センサ１、４の検知領域に被牽引物２０と同じ物の他の部分（例えば、キャンピングカーやボートの側部）が入った結果、狭小範囲５３よりも広い範囲５１が写った画像を不必要に表示装置６に表示させてしまう可能性が低下する。   In addition, as a result of another part of the same object as the to-be-towed object 20 (for example, the side of a camper or boat) entering the detection area of the rear side sensors 1 and 4, a range 51 wider than the narrow range 53 is shown. The possibility that an image is unnecessarily displayed on the display device 6 is reduced.

また、車両１０が被牽引物２０に近づくほど表示領域が狭くかつ詳細表示となるような状況においては、ズームインされた狭小範囲５３にドライバーが集中しがちなので、その場合に、後側方センサ１、４が物体３０を検出したことに基づいて、当該狭小範囲５３よりも広い範囲５１が写った画像を表示装置６に表示させることで、ドライバーへの注意喚起の効果を更に高めることができる。   Further, in a situation where the display area becomes narrower and detailed display as the vehicle 10 approaches the towed object 20, the driver tends to concentrate on the zoomed-in narrow range 53. In this case, the rear side sensor 1 The effect of alerting the driver can be further enhanced by causing the display device 6 to display an image in which the range 51 wider than the narrow range 53 is displayed based on the fact that 4 detects the object 30.

（他の実施形態）
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。例えば、以下のような形態も許容される。 (Other embodiments)
As mentioned above, although embodiment of this invention was described, the scope of the present invention is not limited only to the said embodiment, The various form which can implement | achieve the function of each invention specific matter of this invention is included. It is. For example, the following forms are also acceptable.

（１）例えば、上記実施形態では、画像処理部７は、後中央センサ２、３が検出した被牽引物２０までの距離が中距離範囲（または短距離範囲）に入っていると判定したことに基づいて第１狭角・鳥瞰表示（または第２狭角・鳥瞰表示）を行っている最中に、後側方センサ１、４が所定の部分範囲１１ａ、１４ａ内に物体３０を検出すれば必ず、画角範囲５２（または画角範囲５３）よりも広い画角範囲５１が写った画像を表示装置６に表示させるようになっている。しかし、後側方センサ１、４が所定の部分範囲１１ａ、１４ａ内に物体３０を検出した場合でも、当該物体３０が車両１０に接近しているか否か判定し、接近していると判定した場合に限り、画角範囲５２（または画角範囲５３）よりも広い画角範囲５１が写った画像を表示装置６に表示させるようになっていてもよい。   (1) For example, in the above embodiment, the image processing unit 7 has determined that the distance to the to-be-towed object 20 detected by the rear center sensors 2 and 3 is in the middle distance range (or short distance range). The rear side sensors 1 and 4 detect the object 30 in the predetermined partial ranges 11a and 14a while performing the first narrow angle / bird's-eye display (or the second narrow angle / bird's-eye display) based on In any case, an image in which the angle of view range 51 wider than the angle of view range 52 (or the angle of view range 53) is captured is displayed on the display device 6. However, even when the rear side sensors 1 and 4 detect the object 30 within the predetermined partial ranges 11a and 14a, it is determined whether or not the object 30 is approaching the vehicle 10 and determined to be approaching. Only in some cases, an image in which the angle of view range 51 wider than the angle of view range 52 (or the angle of view range 53) is captured may be displayed on the display device 6.

（２）また、上記実施形態では、画像処理部７は、後中央センサ２、３が検出した被牽引物２０までの距離が中距離範囲（または短距離範囲）に入っていると判定したことに基づいて第１狭角・鳥瞰表示（または第２狭角・鳥瞰表示）を行っている最中に、後側方センサ１、４が物体３０を検出しても、所定の部分範囲１１ａ、１４ａ内に物体３０を検出しなければ、それまでの中距離範囲（または短距離範囲）を継続するようになっている。しかし、必ずしもこのようになっていなくてもよい。   (2) In the above embodiment, the image processing unit 7 determines that the distance to the to-be-towed object 20 detected by the rear center sensors 2 and 3 is in the middle distance range (or short distance range). Even if the rear side sensors 1 and 4 detect the object 30 during the first narrow-angle / bird's-eye display (or the second narrow-angle / bird's-eye display) based on the predetermined partial range 11a, If the object 30 is not detected within 14a, the medium distance range (or short distance range) up to that point is continued. However, this need not be the case.

例えば、後側方センサ１、４が物体を検出すれば必ず、画角範囲５２（または画角範囲５３）よりも広い画角範囲５１が写った画像を表示装置６に表示させるようになっていてもよい。このようになっていても、後側方センサ１、４が被牽引物２０を検出した場合も間違って画角範囲を広げることになる可能性が高まるものの、物体３０との接触を防ぐという効果は発揮できる。   For example, whenever the rear side sensors 1 and 4 detect an object, an image in which the field angle range 51 wider than the field angle range 52 (or the field angle range 53) is captured is displayed on the display device 6. May be. Even if it becomes like this, even if the rear side sensors 1 and 4 detect the to-be-towed object 20, there is an increased possibility that the angle of view range will be expanded by mistake, but the effect of preventing contact with the object 30. Can demonstrate.

また例えば、後側方センサ１、４が物体を検出した場合、その物体の移動速度と、中央後ソナー３、４が検出した被牽引物２０の移動速度とを比較し、両者の乖離量が基準値以上であれば、画角範囲５２（または画角範囲５３）よりも広い画角範囲５１が写った画像を表示装置６に表示させるようになっていてもよい。   For example, when the rear side sensors 1 and 4 detect an object, the moving speed of the object is compared with the moving speed of the to-be-towed object 20 detected by the central rear sonars 3 and 4, and the difference between the two is If the reference value is equal to or larger than the reference value, an image in which the angle of view range 51 wider than the angle of view range 52 (or the angle of view range 53) is captured may be displayed on the display device 6.

（４）また、上記の実施形態において、画像処理部７のＣＰＵがプログラムを実行することで実現している各機能は、それらの機能を有するハードウェア（例えば回路構成をプログラムすることが可能なＦＰＧＡ）を用いて実現するようになっていてもよい。   (4) In the above-described embodiment, each function realized by the CPU of the image processing unit 7 executing a program is hardware having those functions (for example, a circuit configuration can be programmed). (FPGA) may be used.

１ 左後ソナー
２ 第１中央後ソナー
３ 第２中央後ソナー
４ 右後ソナー
５ バックカメラ
６ 表示装置
７ 画像処理部
１０ 車両
１１ａ、１４ａ 部分範囲
２０ 被牽引物
２１ａ 連結部 DESCRIPTION OF SYMBOLS 1 Left rear sonar 2 1st center rear sonar 3 2nd center rear sonar 4 Right rear sonar 5 Back camera 6 Display apparatus 7 Image processing part 10 Vehicle 11a, 14a Partial range 20 Towed object 21a Connection part

Claims (4)

車両の後方を撮影するバックカメラ（５）と、前記車両の後方中央部を検知範囲として物体までの距離を検出する後中央センサ（２、３）と、前記車両の後方側部を検知範囲として物体を検出する後側方センサ（１、４）と、表示装置（６）と、を備えた前記車両に搭載される後方画像処理装置であって、
前記後中央センサ（２、３）が検出した第１の物体までの距離が所定の第１の距離範囲に入っているか、前記第１の距離範囲よりも近い所定の第２の距離範囲に入っているかを判定する距離判定手段（１３０、１４５）と、
前記距離判定手段の判定結果に応じて前記表示装置（６）に表示させる画像を制御する表示制御手段（１４０、１５０、１５５、１６０、１６５）と、を備え、
前記表示制御手段（１４０、１５０、１５５、１６０、１６５）は、前記後中央センサ（２、３）が検出した前記第１の物体までの距離が前記第２の距離範囲に入っていると前記距離判定手段（１３０、１４５）が判定したことに基づいて、前記バックカメラ（５）によって撮影された前記車両の後方のうち、所定の狭小範囲が写ったズームイン画像を、前記表示装置（６）に表示させ、前記ズームイン画像の表示中に、前記後側方センサ（１、４）が第２の物体を検出したことに基づいて、前記狭小範囲よりも広い範囲が写った画像を前記表示装置（６）に表示させることを特徴する後方画像処理装置。 A back camera (5) that captures the rear of the vehicle, a rear center sensor (2, 3) that detects the distance to the object using the rear center of the vehicle as a detection range, and a rear side of the vehicle as a detection range A rear image processing device mounted on the vehicle, comprising a rear side sensor (1, 4) for detecting an object and a display device (6),
The distance to the first object detected by the rear center sensor (2, 3) is within a predetermined first distance range or within a predetermined second distance range that is closer to the first distance range. Distance determining means (130, 145) for determining whether or not
Display control means (140, 150, 155, 160, 165) for controlling an image to be displayed on the display device (6) according to the determination result of the distance determination means,
The display control means (140, 150, 155, 160, 165) is configured such that the distance to the first object detected by the rear center sensor (2, 3) is within the second distance range. Based on the determination by the distance determination means (130, 145), a zoom-in image showing a predetermined narrow range of the rear of the vehicle photographed by the back camera (5) is displayed on the display device (6). The display device displays an image showing a wider range than the narrow range based on the fact that the rear side sensor (1, 4) detects the second object during the zoom-in image display. A rear image processing apparatus characterized by being displayed in (6). 前記表示制御手段（１４０、１５０、１５５、１６０、１６５）は、
前記後中央センサ（２、３）が検出した前記第１の物体までの距離が前記第１の距離範囲に入っていると前記距離判定手段（１３０、１４５）が判定したことに基づいて、前記バックカメラ（５）によって撮影された前記車両の後方のうち、前記狭小範囲よりも広い所定の広大範囲が写ったズームアウト画像を、前記表示装置（６）に表示させ、
前記後中央センサ（２、３）が検出した前記第１の物体までの距離が前記第２の距離範囲に入っていると前記距離判定手段（１３０、１４５）が判定したことに基づいて、前記狭小範囲が写った前記ズームイン画像を、前記ズームアウト画像の表示縮尺よりも詳細表示となる表示縮尺で、前記表示装置（６）に表示させ、前記ズームイン画像の表示中に、前記後側方センサ（１、４）が前記第２の物体を検出したことに基づいて、前記狭小範囲よりも広い範囲が写った画像を前記表示装置（６）に表示させることを特徴とする請求項１に記載の後方画像処理装置。 The display control means (140, 150, 155, 160, 165)
Based on the determination of the distance determining means (130, 145) that the distance to the first object detected by the rear center sensor (2, 3) is within the first distance range, A zoom-out image showing a predetermined wide range wider than the narrow range out of the rear of the vehicle photographed by a back camera (5) is displayed on the display device (6),
Based on the determination by the distance determining means (130, 145) that the distance to the first object detected by the rear center sensor (2, 3) is within the second distance range, The zoom-in image showing the narrow range is displayed on the display device (6) at a display scale that is more detailed than the display scale of the zoom-out image, and the rear side sensor is displayed during the display of the zoom-in image. 2. The display device according to claim 1, wherein an image showing a wider range than the narrow range is displayed on the display device based on detecting the second object in (1, 4). Rear image processing apparatus. 前記後側方センサ（２、３）は、検知範囲内の物体の位置を検出するようになっており、
前記表示制御手段（１４０、１５０、１５５、１６０、１６５）は、前記ズームイン画像の表示中に、前記後側方センサ（１、４）が前記第２の物体を検出した場合、前記後側方センサ（２、３）の検知範囲のうち、車両の中央よりも側方に近い所定の部分範囲に前記第２の物体があったときに限り、前記狭小範囲よりも広い範囲が写った画像を前記表示装置（６）に表示させることを特徴する請求項１または２に記載の後方画像処理装置。 The rear side sensors (2, 3) are adapted to detect the position of an object within the detection range,
The display control means (140, 150, 155, 160, 165) is configured to display the rear side when the rear side sensor (1, 4) detects the second object during display of the zoom-in image. Only when the second object is in a predetermined partial range closer to the side than the center of the vehicle in the detection range of the sensors (2, 3), an image showing a range wider than the narrow range is displayed. The rear image processing device according to claim 1, wherein the rear image processing device is displayed on the display device. 車両の後方を撮影するバックカメラ（５）と、前記車両の後方を検知範囲として物体までの位置を検出する後センサ（１〜４）と、表示装置（６）と、を備えた前記車両に搭載される後方画像処理装置であって、
前記後センサ（１〜４）が検出した第１の物体までの距離が、前記車両の後方の中央部の所定の第１距離範囲に入っているか、前記第１距離範囲よりも近い所定の第２距離範囲に入っているかを判定する距離判定手段（１３０、１４５）と、
前記距離判定手段の判定結果に応じて前記表示装置（６）に表示させる画像を制御する表示制御手段（１４０、１５０、１５５、１６０、１６５）と、を備え、
前記表示制御手段（１４０、１５０、１５５、１６０、１６５）は、前記後センサ（２、３）が検出した第１の物体までの距離が前記第２の距離範囲に入っていると前記距離判定手段（１３０、１４５）が判定したことに基づいて、前記バックカメラ（５）によって撮影された前記車両の後方のうち、所定の狭小範囲が写ったズームイン画像を、前記表示装置（６）に表示させ、前記ズームイン画像の表示中に、前記後センサ（１〜４）の検知範囲のうち、前記車両の中央よりも側方に近い所定の部分範囲に物体があったことに基づいて、前記狭小範囲よりも広い範囲が写った画像を前記表示装置（６）に表示させることを特徴する後方画像処理装置。 The vehicle having a back camera (5) for photographing the rear of the vehicle, a rear sensor (1 to 4) for detecting a position to the object with the rear of the vehicle as a detection range, and a display device (6) A rear image processing apparatus mounted;
The distance to the first object detected by the rear sensors (1 to 4) is within a predetermined first distance range in the central portion at the rear of the vehicle, or a predetermined first distance range closer to the first distance range. Distance determining means (130, 145) for determining whether or not the vehicle is within a two-distance range;
Display control means (140, 150, 155, 160, 165) for controlling an image to be displayed on the display device (6) according to the determination result of the distance determination means,
The display control means (140, 150, 155, 160, 165) determines the distance when the distance to the first object detected by the rear sensor (2, 3) is within the second distance range. Based on the determination made by the means (130, 145), a zoomed-in image showing a predetermined narrow range of the rear of the vehicle photographed by the back camera (5) is displayed on the display device (6). And, while the zoomed-in image is displayed, the narrowness is determined based on the fact that an object is in a predetermined partial range closer to the side than the center of the vehicle in the detection range of the rear sensors (1 to 4). A rear image processing apparatus, wherein an image showing a wider range than the range is displayed on the display device (6).
JP2011082774A 2011-04-04 2011-04-04 Rear image processing apparatus mounted on vehicle Active JP5533764B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011082774A JP5533764B2 (en) 2011-04-04 2011-04-04 Rear image processing apparatus mounted on vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011082774A JP5533764B2 (en) 2011-04-04 2011-04-04 Rear image processing apparatus mounted on vehicle

Publications (2)

Publication Number Publication Date
JP2012222397A true JP2012222397A (en) 2012-11-12
JP5533764B2 JP5533764B2 (en) 2014-06-25

Family

ID=47273513

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011082774A Active JP5533764B2 (en) 2011-04-04 2011-04-04 Rear image processing apparatus mounted on vehicle

Country Status (1)

Country Link
JP (1) JP5533764B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359839A (en) * 2001-03-29 2002-12-13 Matsushita Electric Ind Co Ltd Method and device for displaying image of rearview camera
JP2008030705A (en) * 2006-07-31 2008-02-14 Aisin Aw Co Ltd Display system for vehicle circumference image display system
JP2010228649A (en) * 2009-03-27 2010-10-14 Denso Corp Display system of photographed image outside vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359839A (en) * 2001-03-29 2002-12-13 Matsushita Electric Ind Co Ltd Method and device for displaying image of rearview camera
JP2008030705A (en) * 2006-07-31 2008-02-14 Aisin Aw Co Ltd Display system for vehicle circumference image display system
JP2010228649A (en) * 2009-03-27 2010-10-14 Denso Corp Display system of photographed image outside vehicle

Also Published As

Publication number Publication date
JP5533764B2 (en) 2014-06-25

Similar Documents

Publication Publication Date Title
JP3945467B2 (en) Vehicle retraction support apparatus and method
US11027667B2 (en) Display method and apparatus
JP4687411B2 (en) Vehicle peripheral image processing apparatus and program
JP5182137B2 (en) Vehicle periphery display device
JP2007221200A (en) Vehicle periphery monitoring system
US20110043633A1 (en) Use of a Single Camera for Multiple Driver Assistance Services, Park Aid, Hitch Aid and Liftgate Protection
JP4557302B2 (en) Vehicle driving support device
US20170050567A1 (en) Dynamic camera view to aid with trailer attachment
JP6639379B2 (en) Vehicle periphery monitoring device
EP2792553A1 (en) Drive assistance device
CN110730735B (en) Parking assist method and parking assist apparatus
JP5067169B2 (en) Vehicle parking assistance apparatus and image display method
JP2010215027A (en) Driving assistant device for vehicle
JP2008059178A (en) Operation support device and program
US11292387B2 (en) Towing assistance apparatus
US10740909B2 (en) Drive recorder
CN113060156B (en) Vehicle surroundings monitoring device, vehicle surroundings monitoring method, and program
JP5862307B2 (en) Sensor detection range changing device
JP2013161440A (en) Vehicle surroundings monitoring device
US20200317267A1 (en) Parking assistance device
JP4228246B2 (en) Nose view monitor device
JP2004040523A (en) Surveillance apparatus for vehicle surroundings
JP5533764B2 (en) Rear image processing apparatus mounted on vehicle
JP2009149306A (en) Vehicular display device
JP3922201B2 (en) In-vehicle visibility monitor system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140401

R151 Written notification of patent or utility model registration

Ref document number: 5533764

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140414

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250