JP6247450B2 - Driving assistance device - Google Patents

Driving assistance device Download PDF

Info

Publication number
JP6247450B2
JP6247450B2 JP2013075537A JP2013075537A JP6247450B2 JP 6247450 B2 JP6247450 B2 JP 6247450B2 JP 2013075537 A JP2013075537 A JP 2013075537A JP 2013075537 A JP2013075537 A JP 2013075537A JP 6247450 B2 JP6247450 B2 JP 6247450B2
Authority
JP
Japan
Prior art keywords
image
vehicle
display
region
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013075537A
Other languages
Japanese (ja)
Other versions
JP2014204132A (en
Inventor
規之 武政
規之 武政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murakami Corp
Original Assignee
Murakami Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murakami Corp filed Critical Murakami Corp
Priority to JP2013075537A priority Critical patent/JP6247450B2/en
Priority to PCT/JP2014/056675 priority patent/WO2014162835A1/en
Publication of JP2014204132A publication Critical patent/JP2014204132A/en
Application granted granted Critical
Publication of JP6247450B2 publication Critical patent/JP6247450B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

この発明は車外の視野を撮像手段で撮像して車内の映像表示装置に表示して車両の運転を支援する装置に関し、表示モードの変更に伴って運転者に混乱を生じさせるのを防止したものである。   The present invention relates to an apparatus for assisting driving of a vehicle by imaging a visual field outside the vehicle with an imaging means and displaying it on a video display device in the vehicle, which prevents the driver from being confused by changing the display mode. It is.

運転支援装置として下記特許文献1に記載されたものがあった。これは車両の左右に車両の側方および後側方の領域を撮像する撮像装置をそれぞれ設置し、該撮像装置で撮像した映像を運転席の前方に配置された映像表示装置で表示するものである。この運転支援装置は、車両の運転状況(旋回の程度、車速、他車の存在、方向指示器の操作等)に応じて、左右の撮像装置で撮像した映像の表示を広角表示(側方および後側方を表示)と狭角表示(後側方を表示)とに変更することにより、様々な運転状況に応じて運転者が必要とする適切な映像を映像表示装置に表示するようにしたものである。   There existed what was described in following patent document 1 as a driving assistance device. This is to install an imaging device for imaging the lateral and rear side regions of the vehicle on the left and right sides of the vehicle, respectively, and display the video captured by the imaging device on a video display device arranged in front of the driver's seat. is there. This driving support device displays wide-angle images (side and side) according to the driving situation of the vehicle (degree of turning, vehicle speed, presence of other vehicles, operation of direction indicators, etc.). By changing the display to the rear side) and narrow-angle display (rear side display), the video display device displays the appropriate images required by the driver according to various driving conditions. Is.

特許第4855158号公報Japanese Patent No. 4855158

特許文献1に記載の運転支援装置によれば、広角表示と狭角表示の変更は、
(i)撮像装置で撮像する画角を広角と狭角とに変更、
(ii)撮像した映像を表示画面全体に表示する、
という処理で実現される。これにより、狭角表示は広角表示に比べて拡大表示される(特許文献1の図3)。
According to the driving support device described in Patent Document 1, the change between the wide-angle display and the narrow-angle display is as follows.
(i) Change the angle of view captured by the imaging device to wide angle and narrow angle,
(ii) display the captured image on the entire display screen;
This process is realized. Thereby, the narrow-angle display is enlarged and displayed as compared with the wide-angle display (FIG. 3 of Patent Document 1).

特許文献1に記載の広角表示と狭角表示の表示モードの変更手法によれば、次の問題があった。
(a)広角表示と狭角表示で表示倍率が変わるので、対象物の大きさが急に変わったり、表示モードの変更前後で対象物の表示位置が不連続に移動する(飛ぶ)。また表示モードの変更前後で、どこが表示領域から消えたのか(広角表示から狭角表示に変更されたとき)、どこが表示領域に加わったのか(狭角表示から広角表示に変更されたとき)が分かりにくい。その結果、運転者が感じる距離感に混乱を生じさせたり、運転者が車両周辺の状況を把握するのに混乱を生じさせたりする。
(b)表示モードの変更にかかわらず映像表示装置に表示される映像の表示面積は変わらず、運転者は常に映像表示装置の全表示領域に視点を動かして映像を確認する必要がある。したがって、運転者が映像を確認するのに常に時間がかかり、その結果運転者が前方視野に集中して運転するのに支障をきたす。
According to the method for changing the display mode of the wide-angle display and the narrow-angle display described in Patent Document 1, the following problem has occurred.
(a) Since the display magnification changes between wide-angle display and narrow-angle display, the size of the object changes suddenly, or the display position of the object moves discontinuously (flys) before and after the display mode is changed. Also, before and after changing the display mode, what disappeared from the display area (when changed from wide-angle display to narrow-angle display), and what added to the display area (when changed from narrow-angle display to wide-angle display) Confusing. As a result, the sense of distance felt by the driver may be confused, or the driver may be confused when grasping the situation around the vehicle.
(b) The display area of the video displayed on the video display device does not change regardless of the change of the display mode, and the driver must always check the video by moving the viewpoint to the entire display area of the video display device. Therefore, it always takes time for the driver to check the image, and as a result, the driver concentrates on the front vision and hinders driving.

この発明は前記従来の技術における問題点を解決して、表示モードの変更に伴って運転者に混乱を生じさせるのを防止した運転支援装置を提供しようするものである。   The present invention solves the problems in the prior art and provides a driving support device that prevents the driver from being confused when the display mode is changed.

この発明の運転支援装置は、車両に搭載されて該車両の後方側の第1の領域および該第1の領域に対して相対的に該車両の側方側の第2の領域の連続した領域を撮像する撮像装置と、前記車両の運転席の前方または斜め前方に配置された映像表示装置と、前記撮像装置で撮像された第1の領域および第2の領域の映像を、両領域を実質的に同じ画質で前記映像表示装置に表示する第1の表示モードと、前記撮像装置で撮像された第1の領域および第2の領域の映像を、第2の領域の映像を第1の領域の映像よりも目立たなくさせる処理をして、第1の表示モードと実質的に同じ表示倍率でおよび第1の表示モードと実質的に同じ表示位置に表示する第2の表示モードとに表示モードを変更して、前記撮像装置で撮像された映像を前記映像表示装置に表示する制御装置とを具備するものである。この発明によれば表示モードの変更前後で表示倍率は変わらないので、表示モードの変更によって対象物の大きさが急に変わったり、変更前後で対象物の表示位置が不連続に移動する(飛ぶ)ことがない。したがって、運転者は、変更前後でどこが目立たなくなったのか(第1の表示モードから第2の表示モードに変更されたとき)、あるいはどこが目立つようになったのか(第2の表示モードから第1の表示モードに変更されたとき)を容易に判断することができる。その結果、運転者が感じる距離感に混乱を生じさせたり、運転者が車両周辺の状況を把握するのに混乱を生じさせたりするのが防止される。また第2の表示モードは、第1の表示モードに比べて通常に(つまり目立って)表示される面積が狭くなるので、運転者が視点を動かして映像の確認を要する範囲は狭くなる。したがって第2の表示モード時は運転者が映像を確認するのに要する時間が短縮され、その分運転者は前方視野に集中して運転することができ、安全運転につながる。   The driving support device according to the present invention is mounted on a vehicle and is a continuous region of a first region on the rear side of the vehicle and a second region on the side of the vehicle relative to the first region. An image pickup device for picking up images of the vehicle, a video display device arranged in front of or obliquely in front of the driver's seat of the vehicle, and images of the first region and the second region picked up by the image pickup device. The first display mode for displaying on the video display device with the same image quality, the video of the first region and the second region captured by the imaging device, the video of the second region as the first region Display mode in a second display mode that displays the image at a display magnification substantially the same as that of the first display mode and at a display position that is substantially the same as the first display mode. And the video displayed by the imaging device is displayed as the video. In which and a control unit for displaying the location. According to the present invention, since the display magnification does not change before and after the change of the display mode, the size of the object suddenly changes due to the change of the display mode, or the display position of the object moves discontinuously before and after the change. ) There is nothing. Therefore, the driver can see where it has become inconspicuous before and after the change (when the display mode is changed from the first display mode to the second display mode) or where it has become prominent (from the second display mode to the first display mode). Can be easily determined. As a result, the sense of distance felt by the driver is prevented from being confused, and the driver is prevented from being confused to grasp the situation around the vehicle. In the second display mode, an area that is normally displayed (that is, conspicuously) is narrower than that in the first display mode, and therefore, a range in which the driver needs to check the image by moving the viewpoint is narrowed. Therefore, in the second display mode, the time required for the driver to check the video is shortened, so that the driver can concentrate on the front view and drive safely.

この発明において、第2の領域の映像を第1の領域の映像よりも目立たなくさせる前記処理は、例えば、第2の領域の映像をマスキングする(非表示にする)処理とすることができる。これによれば、第2の表示モードでは第2の領域の映像が表示されなくなるので、運転者はどこが表示領域から消えたのか(第1の表示モードから第2の表示モードに変更されたとき)、あるいはどこが表示領域に加わったのか(第2の表示モードから第1の表示モードに変更されたとき)を容易に判断することができる。第2の領域の映像をマスキングすると、運転者に第2の領域の映像を見せなくて済む。   In the present invention, the process of making the video of the second area less noticeable than the video of the first area can be, for example, a process of masking (not displaying) the video of the second area. According to this, since the video of the second area is not displayed in the second display mode, where the driver disappeared from the display area (when the first display mode is changed to the second display mode) ) Or where the display area is added (when the display mode is changed from the second display mode to the first display mode). If the image of the second area is masked, it is not necessary to show the image of the second area to the driver.

また、第2の領域の映像を第1の領域の映像よりも目立たなくさせる前記処理は、第2の領域の映像を第1の領域の映像よりも画質を低下させる処理とすることもできる。これによれば、第2の表示モードでは第2の領域の映像は第1の領域の映像よりも画質が低下して表示されるので、運転者はどこの画質が低下したのか(第1の表示モードから第2の表示モードに変更されたとき)、あるいはどこの画質が通常の画質に戻されたのか(第2の表示モードから第1の表示モードに変更されたとき)を容易に判断することができる。第2の領域の映像の画質を低下させると、運転者は第2の領域の映像を見なくてよいことが分かり、マスキングと同様の効果が得られる。画質を低下させる態様としては、例えば、表示の明度の低下、コントラストの低下、ぼかし、退色、モノクロ化等様々な態様が考えられる。   Further, the process of making the video of the second area less noticeable than the video of the first area may be a process of lowering the image quality of the video of the second area than the video of the first area. According to this, in the second display mode, the image of the second area is displayed with a lower image quality than the image of the first area. It is easy to determine when the display mode is changed to the second display mode) or what image quality has been restored to the normal image quality (when the second display mode is changed to the first display mode). can do. Decreasing the image quality of the video in the second area shows that the driver does not need to see the video in the second area, and the same effect as masking can be obtained. As modes for reducing the image quality, for example, various modes such as a decrease in display brightness, a decrease in contrast, blurring, fading, and monochrome conversion are conceivable.

この発明は、前記制御装置が前記車両の運転状況に応じて前記表示モードの変更を自動で行うものとすることができる。これによれば、運転状況に応じて、通常に(つまり目立って)表示すべき領域を自動で判断して表示領域を変更することにより、運転の支援に役立つ必要な映像を的確に運転者に提供し、かつ運転の妨げとなる不要な映像を目立たなくすることができる。この場合、車両の運転状況は、例えば、該車両の動作、該車両の操作、該車両の周辺の状況、推定される運転者の意思等とすることができる。これによれば、表示モードの変更を、車両の動作、車両の操作、車両の周辺の状況、推定される運転者の意思等に応じて自動で行うことができる。   In the present invention, the display device can automatically change the display mode in accordance with the driving situation of the vehicle. According to this, by automatically determining the area that should be displayed normally (that is, conspicuously) according to the driving situation and changing the display area, the necessary images useful for driving assistance are accurately displayed to the driver. It is possible to provide unnecessary images that do not obstruct driving. In this case, the driving situation of the vehicle can be, for example, the operation of the vehicle, the operation of the vehicle, the situation around the vehicle, the estimated intention of the driver, and the like. According to this, the display mode can be automatically changed according to the operation of the vehicle, the operation of the vehicle, the situation around the vehicle, the estimated intention of the driver, and the like.

この発明は、前記撮像装置が前記車両の左側と右側にそれぞれ搭載された左右の撮像装置を有し、前記左側の撮像装置は前記車両の左後方側の第1の領域および該第1の領域に対して相対的に該車両の左側方側の第2の領域の連続した領域を撮像し、前記右側の撮像装置は前記車両の右後方側の第1の領域および該第1の領域に対して相対的に該車両の右側方側の第2の領域の連続した領域を撮像し、前記映像表示装置は前記左右の撮像装置で撮像された映像を左右に並べて表示し、前記制御装置は左右の撮像装置で撮像された映像の一方または両方について前記表示モードの変更を行うものとすることができる。これによれば、車両の左右の映像の一方または両方について第1の表示モードと第2の表示モードを変更して表示することができる。この場合、前記映像表示装置が運転席の正面に対し助手席側に偏倚した位置に配置され、前記制御装置は、前記左右の映像のうち、運転席に近い側に表示される映像について第1の表示モードと第2の表示モードとの変更を行って前記映像表示装置に表示し、運転席から遠い側に表示される映像について該変更を行わず第1の表示モードで前記映像表示装置に表示するものとすることができる。これによれば、運転席に近い側に表示される映像は、映像の動き(流れ)が速いと運転者にとって煩わしさを感じさせるので、第1の表示モードと第2の表示モードとの変更は効果的である。一方、運転席から遠い側に表示される映像は映像の動きが速くても運転席に近い側に表示される映像ほど運転者に煩わしさを感じさせず、むしろ第1の表示モードで表示し続けた方が運転者は必要に応じて広い範囲を確認できて便利な場合もある。したがって、このように左右で制御を異ならせることにより使い勝手を向上させることができる。なお、運転席に近い側に表示される映像のみ第1の表示モードと第2の表示モードとの変更を行う動作モードと、左右とも第1の表示モードと第2の表示モードとの変更を行う動作モードとを、運転者の任意の選択操作により切り換え可能にすることもできる。このようにすれば、運転者は自分の好みに応じて2つの動作モードを切り換えて使用することができる。   The present invention includes left and right imaging devices mounted on the left and right sides of the vehicle, respectively, and the left imaging device includes a first area on the left rear side of the vehicle and the first area. Relative to the first region on the right rear side of the vehicle and the first region. The second display area on the right side of the vehicle is relatively imaged, the video display device displays the images captured by the left and right imaging devices side by side, and the control device The display mode may be changed for one or both of the images captured by the imaging device. According to this, it is possible to change and display the first display mode and the second display mode for one or both of the left and right images of the vehicle. In this case, the video display device is disposed at a position biased toward the passenger seat side with respect to the front of the driver seat, and the control device is configured to select a first one of the left and right videos displayed on the side closer to the driver seat. The display mode and the second display mode are changed and displayed on the video display device, and the video displayed on the side far from the driver's seat is not changed and the video display device is changed to the video display device in the first display mode. It can be displayed. According to this, the video displayed on the side close to the driver's seat makes the driver feel bothersome if the motion (flow) of the video is fast, so the change between the first display mode and the second display mode. Is effective. On the other hand, the image displayed on the side far from the driver's seat is displayed in the first display mode rather than making the driver feel more bothered than the image displayed on the side closer to the driver's seat even if the movement of the image is fast. In some cases, it is convenient for the driver to check a wide range if necessary. Therefore, usability can be improved by making the left and right control different. It should be noted that the operation mode for changing the first display mode and the second display mode only for the image displayed on the side closer to the driver's seat, and the change between the first display mode and the second display mode for both left and right. The operation mode to be performed can be switched by a driver's arbitrary selection operation. In this way, the driver can switch between the two operation modes according to his / her preference.

この発明は、前記撮像装置が前記車両の幅方向の中央に搭載されて該車両の後方中央領域を撮像する撮像装置をさらに有し、前記映像表示装置は前記中央の撮像装置で撮像された映像を前記左右の撮像装置で撮像された左右の映像の間に配置して表示するものとすることができる。これによれば、左右の撮像装置からは車体で死角となる車両の後方中央領域の映像を左右の映像の間に表示することができる。また、左、中央、右の映像を並べて配置すると、左右の映像のみを並べて配置した場合に比べて全体の表示幅が広がり、運転者にとって表示全体を確認するのにより多くの時間がかかることになるので、端部の領域の映像が不要なときに該端部の映像を目立たなくすることの効果は、左右の映像のみを並べて配置する場合に比べて、より大きいと言える。ここで、前記左右の撮像装置で撮像された左右の映像を上部をマスキングして前記中央の撮像装置で撮像された映像よりも高さを低くして表示し、該マスキングされた表示領域に、他の情報を表示することもできる。左右の映像は後方中央の映像に比べて上部の映像の重要度が低いので、左右の映像の上部をマスキングした状態で表示しても運転に支障はない。むしろ、このマスキングした領域に他の情報を表示できるので便利である。   The present invention further includes an imaging device in which the imaging device is mounted at the center in the width direction of the vehicle and images a rear center region of the vehicle, and the video display device is an image captured by the central imaging device. Can be arranged and displayed between the left and right images captured by the left and right imaging devices. According to this, it is possible to display an image of the rear center region of the vehicle that becomes a blind spot in the vehicle body between the left and right images from the left and right imaging devices. In addition, when the left, center, and right images are arranged side by side, the entire display width is wider than when only the left and right images are arranged, and it takes more time for the driver to check the entire display. Therefore, it can be said that the effect of making the image of the end portion inconspicuous when the image of the end region is unnecessary is greater than the case where only the left and right images are arranged side by side. Here, the left and right images captured by the left and right imaging devices are displayed at a lower height than the image captured by the central imaging device by masking the upper part, and the masked display area Other information can also be displayed. Since the left and right images are less important than the rear center image, even if the upper left and right images are displayed in a masked state, there is no problem in driving. Rather, it is convenient because other information can be displayed in the masked area.

この発明の運転支援装置の実施の形態のシステム構成を示すブロック図である。It is a block diagram which shows the system configuration | structure of embodiment of the driving assistance device of this invention. この実施の形態における車両上のカメラの配置と視野を示す平面図である。It is a top view which shows the arrangement | positioning and visual field of the camera on the vehicle in this Embodiment. この実施の形態における車室内のディスプレイの配置例を示す図である。It is a figure which shows the example of arrangement | positioning of the display in the vehicle interior in this embodiment. この実施の形態における制御装置による表示モード変更制御を示すフローチャートである。It is a flowchart which shows the display mode change control by the control apparatus in this embodiment. この実施の形態においてディスプレイに表示される映像の一例を示す図で、(a)は左右の後側方外側領域L2,R2の映像をともにマスキングして表示したときの状態、(b)は左後側方外側領域L2の映像をマスキングし、右後側方外側領域R2の映像のマスキングを解除して表示したときの状態である。In this embodiment, it is a figure which shows an example of the image | video displayed on a display, (a) is a state when masking and displaying the image | video of both right and left rear side outside area | regions L2 and R2, (b) is the left This is a state when the image of the rear side outside region L2 is masked and the image of the right rear side outside region R2 is unmasked and displayed. ディスプレイの左右上側の表示領域に他の情報を表示する例を示す図で、(a)は車両前部左右の映像を表示した例を示し、(b)は車両の右後側方に物体の存在が検出された場合の警告を表示した例を示す。It is a figure which shows the example which displays other information on the display area of the right and left upper side of a display, (a) shows the example which displayed the image of the vehicle front left and right, (b) shows the object on the right rear side of the vehicle. The example which displayed the warning when presence is detected is shown.

この発明の実施の形態を以下説明する。図2は車両におけるカメラ(撮像装置)の配置を示す。車両10の車外の左側部(例えば左ドアミラー)、右側部(例えば右ドアミラー)、後部(例えば後部ナンバープレート付近)にはカメラ12,14,16がそれぞれ固定装着されている。カメラ12,14,16はCCDカメラ、CMOSカメラ等の電子式カメラで構成される。カメラ12,14,16はそれぞれ単一の撮像素子で撮像を行う。カメラ12,14,16の画角つまり視野は固定である。図2においてカメラ12,14,16から扇状に広がる領域は水平方向の画角を示す。カメラ12,14,16の水平方向の画角は次のように設定されている。

・左カメラ12の画角:車両10の左後側方領域{左後側方内側領域L1(第1の領域)
および左後側方外側領域L2(第2の領域)の連続した領域}。
・右カメラ14の画角:車両10の右後側方領域{右後側方内側領域R1(第1の領域)
および右後側方外側領域R2(第2の領域)を合わせた領域}。
・後カメラ16の画角:車両10の後方中央領域C。

カメラ12,14,16の上下方向の画角は、水平方向に対し下向きの角度から上向きの角度までの適宜の角度に設定されている。
Embodiments of the present invention will be described below. FIG. 2 shows the arrangement of cameras (imaging devices) in the vehicle. Cameras 12, 14, and 16 are fixedly mounted on the left side (for example, the left door mirror), the right side (for example, the right door mirror), and the rear (for example, near the rear number plate) of the vehicle 10 outside the vehicle. The cameras 12, 14, and 16 are constituted by electronic cameras such as a CCD camera and a CMOS camera. Each of the cameras 12, 14, and 16 performs imaging with a single image sensor. The angle of view, that is, the field of view of the cameras 12, 14, 16 is fixed. In FIG. 2, a region extending in a fan shape from the cameras 12, 14, and 16 indicates a horizontal field angle. The horizontal angles of view of the cameras 12, 14, 16 are set as follows.

Angle of view of left camera 12: Left rear side area of vehicle 10 {Left rear side inner area L1 (first area)
And a continuous region of the left rear lateral outer region L2 (second region)}.
Angle of view of right camera 14: right rear side region of vehicle 10 {right rear side inner region R1 (first region)
And a region including the right rear lateral outer region R2 (second region)}.
-Angle of view of rear camera 16: Rear center region C of vehicle 10.

The vertical angles of view of the cameras 12, 14, and 16 are set to appropriate angles from a downward angle to an upward angle with respect to the horizontal direction.

図3は車両10におけるディスプレイ(映像表示装置)18の配置を示す。ディスプレイ18は液晶テレビモニタ等で構成される。ディスプレイ18は車両10の室内のダッシュボード20の上の中央位置付近に、あるいはフロントウインドウ22の上部中央付近にインナーミラーに代えて設置される。ディスプレイ18は図3では横長の単一のディスプレイで構成した場合を示すが、これに代えて3台のディスプレイを横方向に並べて配置して構成することもできる。カメラ12,14,16で撮像された映像はディスプレイ18の全表示領域を横方向に3分割した領域にそれぞれ表示される。すなわち、
・左側の表示領域18Lには左カメラ12で撮像した映像
・中央の表示領域18Cには後カメラ16で撮像した映像
・右側の表示領域18Rには右カメラ14で撮像した映像
がそれぞれ表示される。
FIG. 3 shows the arrangement of the display (video display device) 18 in the vehicle 10. The display 18 is composed of a liquid crystal television monitor or the like. The display 18 is installed near the center position on the dashboard 20 in the interior of the vehicle 10 or near the upper center of the front window 22 instead of the inner mirror. Although FIG. 3 shows a case where the display 18 is constituted by a single horizontally long display, it can be constituted by arranging three displays side by side in place of this. Images captured by the cameras 12, 14, and 16 are respectively displayed in areas obtained by dividing the entire display area of the display 18 into three in the horizontal direction. That is,
A video image captured by the left camera 12 is displayed in the left display area 18L, a video image captured by the rear camera 16 is displayed in the central display area 18C, and a video image captured by the right camera 14 is displayed in the right display area 18R. .

運転支援装置のシステム構成を図1に示す。運転支援装置24において、図2のカメラ12,14,16の各単一の撮像素子からの映像信号は制御装置26にそれぞれ入力される。センサ28は車両の周辺の状況を検出するために利用されるもので、例えば車両10の左後側部および右後側部に設置されたレーダー等で構成され、車両10の左後側方または右後側方の物体(例えば他の車両や障害物)の存在を検出する。センサ30は運転者の意思を推定するために利用されるもので、例えば車室内に運転者の顔に向けて設置されたCCDカメラ、CMOSカメラ等の電子式カメラで構成される。車両状態信号出力部32からは車両の状態を示す各種の車両状態信号が出力される。車両状態信号には例えば、車速、旋回等の車両の動作を示す車両動作信号(車速センサ、舵角センサ等の信号)、方向指示器の投入の有無、ギヤシフトレバーの投入位置等の車両の操作を示す車両操作信号(方向指示機操作信号、シフトレバーポジション信号等)等が含まれる。   The system configuration of the driving support device is shown in FIG. In the driving support device 24, video signals from each single image sensor of the cameras 12, 14, and 16 in FIG. The sensor 28 is used to detect the situation around the vehicle, and is composed of, for example, radars installed on the left rear side and the right rear side of the vehicle 10. The presence of an object on the right rear side (for example, another vehicle or an obstacle) is detected. The sensor 30 is used for estimating the driver's intention, and is composed of, for example, an electronic camera such as a CCD camera or a CMOS camera installed in the passenger compartment facing the driver's face. Various vehicle state signals indicating the vehicle state are output from the vehicle state signal output unit 32. Vehicle status signals include, for example, vehicle operation signals (vehicle speed sensors, steering angle sensor signals, etc.) indicating vehicle operations such as vehicle speed and turning, whether or not a turn indicator is turned on, and a gear shift lever closing position. Vehicle operation signals (such as direction indicator operation signals, shift lever position signals, etc.) are included.

制御装置26において、表示像補正部34にはカメラ12,14,16で撮像された映像信号が入力される。なお表示像補正部34は3台のカメラ12,14,16に加えて、車両の前部に配置されたカメラからの信号も入力することができる。表示像補正部34は、必要に応じて、映像の特定の領域の切り出し、映像の歪補正、映像の視点変換(映像を、実際に撮像した視点と異なる視点から見た映像に変換すること)等の補正を行って出力する。ただし、この発明による機能を実現するうえでは、これらの補正は必ずしも必要ではない。表示像配置部36はフィールドメモリを含み、表示像補正部34から出力される各カメラ12,14,16,…の映像信号による映像を、ディスプレイ18に所定の状態に配置して1組の映像として表示するために、これら各映像信号による1フィールド分の画像を組み合わせた全体画像(ディスプレイ18の全表示領域に対応する)をフィールド周期ごとにフィールドメモリに前の画像を更新して記憶する。   In the control device 26, video signals captured by the cameras 12, 14, and 16 are input to the display image correction unit 34. In addition to the three cameras 12, 14, and 16, the display image correction unit 34 can also input a signal from a camera arranged at the front of the vehicle. The display image correction unit 34 cuts out a specific area of the video, corrects the distortion of the video, and converts the viewpoint of the video (converts the video into a video viewed from a viewpoint different from the actually captured viewpoint) as necessary. Etc. are corrected and output. However, these corrections are not necessarily required to realize the function according to the present invention. The display image arrangement unit 36 includes a field memory, and the video images of the cameras 12, 14, 16,... Output from the display image correction unit 34 are arranged in a predetermined state on the display 18 to form a set of video images. As a result, the entire image (corresponding to the entire display area of the display 18) obtained by combining the images for one field by these video signals is updated and stored in the field memory for each field period.

後側方物体認識部38は左カメラ12および右カメラ14の映像信号に基づき、またはセンサ28の検出信号に基づき、車両10の左後側方または右後側方の物体(例えば他の車両や障害物)の存在を検出し、その検出信号(周辺状況信号)を出力する。運転者意思推定部40はセンサ30が運転者の顔に向けて設置されたカメラで構成される場合には、その映像から運転者の視線方向をパターン認識して、右左折または車線変更の意思(視線が所定量以上右側を向いたときは右折または右車線への変更の意思、視線が所定量以上左側を向いたときは左折または左車線への変更の意思)を推定し、意思推定信号を出力する。   The rear side object recognition unit 38 is based on the video signals of the left camera 12 and the right camera 14, or based on the detection signal of the sensor 28, and the object on the left rear side or the right rear side of the vehicle 10 (for example, another vehicle or The presence of an obstacle is detected, and a detection signal (peripheral situation signal) is output. When the sensor 30 is composed of a camera installed facing the driver's face, the driver's intention estimation unit 40 recognizes the driver's line-of-sight direction from the image and makes an intention to turn right or left or change lanes. Estimate signal (intention to make a right turn or right lane when the line of sight turns to the right for a predetermined amount or more, intention to change to the left or left lane if the line of sight turns to the left for a predetermined amount or more) Is output.

表示判定部42は後側方物体認識部38からの周辺状況信号および運転者意思推定部40からの意思推定信号および車両状態信号出力部32からの車両状態信号に基づいて、左右の後側方外側領域L2,R2について、マスキングを行うかマスキングを解除するかを次のとおり判定する。

《左後側方外側領域L2に関する判定》
次の(a)(b)(c)のうちの少なくともいずれか1つに該当するときは、左後側方外側領域L2を、マスキングを解除して表示する。(a)(b)(c)のいずれにも該当しないときは左後側方外側領域L2をマスキングして非表示にする。
(a)周辺状況信号により左後側方の物体の存在が検出されている。
(b)意思推定信号により左折または左車線への変更の意思が推定されている。
(c)車両状態信号により方向指示器の左方向への操作が検出されている。

《右後側方外側領域R2に関する判定》
次の(d)(e)(f)のうちの少なくともいずれか1つに該当するときは、右後側方外側領域R2を、マスキングを解除して表示する。(d)(e)(f)のいずれにも該当しないときは右後側方外側領域R2をマスキングして非表示にする。
(d)周辺状況信号により右後側方の物体の存在が検出されている。
(e)意思推定信号により右折または右車線への変更の意思が推定されている。
(f)車両状態信号により方向指示器の右方向への操作が検出されている。

以上の判定により、ディスプレイ18には次の表示状態が生じる。
・左後側方外側領域L2のみマスキングが解除された表示状態(領域L2,L1,C,R1が表示される):上記(a)(b)(c)のうちの少なくともいずれか1つに該当し、上記(d)(e)(f)のいずれにも該当しないときに生じる。このとき、左後側方外側領域L2の映像が表示されるので、運転者は左後側方の物体の存在を認識することができ、あるいは左折または左車線への変更を安全に行うことができる。また、このとき確認不要な右後側方外側領域R2の映像は表示されないので、ディスプレイ18の右端領域への無駄な視線の移動をしなくて済む。

・右後側方外側領域R2のみマスキングが解除された表示状態(領域L1,C,R1,R2が表示される):上記(a)(b)(c)のいずれにも該当せず、上記(d)(e)(f)のうちの少なくともいずれか1つに該当するときに生じる。このとき、右後側方外側領域R2の映像が表示されるので、運転者は右後側方の物体の存在を認識することができ、あるいは右折または右車線への変更を安全に行うことができる。また、このとき確認不要な左後側方外側領域L2の映像は表示されないので、ディスプレイ18の左端領域への無駄な視線の移動をしなくて済む。

・左右の後側方外側領域L2,R2ともマスキングが解除された表示状態(領域L2,L1,C,R1,R2の全部が表示される):例えば上記(a)および(d)が該当するとき、すなわち左後側方の物体の存在および右後側方の物体の存在が同時に検出されているときは、図2のすべての領域L1,L2,C,R1,R2が表示される。これにより、左後側方外側領域L2および右後側方外側領域R2の映像が表示されるので、運転者は左後側部および右後側方の物体の存在を認識することができる。

・左右の後側方外側領域L2,R2ともマスキングされた表示状態(領域L1,C,R1が表示される):上記(a)〜(f)のいずれにも該当しないときは、図2の左後側方外側領域L2および右後側方外側領域R2がマスキングされて表示される。これにより、そのとき確認不要な左後側方外側領域L2および右後側方外側領域R2の映像は表示されないので、ディスプレイ18の左端領域および右端領域への無駄な視線の移動をしなくて済む。
The display determination unit 42 is based on the surrounding situation signal from the rear side object recognition unit 38, the intention estimation signal from the driver intention estimation unit 40, and the vehicle state signal from the vehicle state signal output unit 32. Whether to perform masking or cancel masking for the outer regions L2 and R2 is determined as follows.

<< Determination regarding the left rear side outside area L2 >>
When corresponding to at least one of the following (a), (b), and (c), the left rear lateral outer region L2 is displayed with masking removed. When none of (a), (b), and (c) is applicable, the left rear side outer region L2 is masked and not displayed.
(a) The presence of an object on the left rear side is detected by the surrounding situation signal.
(b) The intention to turn left or change to the left lane is estimated by the intention estimation signal.
(c) An operation to the left of the direction indicator is detected by the vehicle state signal.

<< Determination regarding right rear side outside area R2 >>
When corresponding to at least one of the following (d), (e), and (f), the right rear side outer region R2 is displayed with masking removed. When none of (d), (e), and (f) is applicable, the right rear side outer region R2 is masked to be hidden.
(d) The presence of an object on the right rear side is detected by the surrounding situation signal.
(e) The intention to change to the right or right lane is estimated by the intention estimation signal.
(f) The right direction operation of the direction indicator is detected by the vehicle state signal.

By the above determination, the following display state is generated on the display 18.
Display state in which masking is canceled only in the left rear side outer region L2 (regions L2, L1, C, and R1 are displayed): At least one of the above (a), (b), and (c) It occurs when it falls under any of the above (d), (e), or (f). At this time, an image of the left rear side outer region L2 is displayed, so that the driver can recognize the presence of an object on the left rear side, or can safely turn to the left or change to the left lane. it can. At this time, since the video of the right rear side outside region R2 that does not need to be confirmed is not displayed, it is not necessary to move a useless line of sight to the right end region of the display 18.

Display state in which masking is canceled only in the right rear side outer region R2 (regions L1, C, R1, and R2 are displayed): Not applicable to any of the above (a), (b), and (c), and Occurs when at least one of (d), (e), and (f) is met. At this time, the image of the right rear side outside region R2 is displayed, so that the driver can recognize the presence of the object on the right rear side, or can safely make a right turn or change to the right lane. it can. At this time, since the video of the left rear side outside region L2 which does not need to be confirmed is not displayed, it is not necessary to move a useless line of sight to the left end region of the display 18.

Display state in which masking is canceled in both the left and right rear outer regions L2 and R2 (all regions L2, L1, C, R1, and R2 are displayed): For example, the above (a) and (d) are applicable In other words, when the presence of the object on the left rear side and the existence of the object on the right rear side are detected at the same time, all the regions L1, L2, C, R1, and R2 in FIG. 2 are displayed. As a result, the images of the left rear side outside region L2 and the right rear side outside region R2 are displayed, so that the driver can recognize the presence of the left rear side portion and the right rear side object.

Display state in which both the left and right rear outer regions L2 and R2 are masked (regions L1, C, and R1 are displayed): When none of the above (a) to (f) applies, FIG. The left rear side outer region L2 and the right rear side outer region R2 are masked and displayed. As a result, the images of the left rear side outer region L2 and the right rear side outer region R2 that are not required to be confirmed at that time are not displayed, and therefore it is not necessary to move useless lines of sight to the left end region and the right end region of the display 18. .

表示制御部44は、表示判定部42の判定に基づいて、フィールドごとに、表示像配置部36のフィールドメモリに記憶されている全体画像の信号に対して、マスキングする領域(領域L2および/または領域R2)に黒等の単色の信号を当て嵌める等のマスキング処理を施して(領域L1,C,R1は常時表示)ディスプレイ18に表示する。   The display control unit 44 masks the entire image signal stored in the field memory of the display image arrangement unit 36 for each field based on the determination of the display determination unit 42 (region L2 and / or A masking process such as applying a monochrome signal such as black to the region R2) is performed (the regions L1, C, and R1 are always displayed) and displayed on the display 18.

表示判定部42および表示制御部44による判定および表示制御を図4に示す。カメラ12,14,16で車両10の左右後側方領域L1,L2,R1,R2および後方中央領域Cを広範囲に撮像している状態で(S1)、右折または右側車線への変更の意思(S2)、右方向への方向指示操作(S3)、右後側方領域R1,R2の物体の存在(S4)がいずれも検出されていないときは、右後側方外側領域R2がマスキングされる(S5)。これに対し、右折または右側車線への変更の意思(S2)、右方向への方向指示操作(S3)、右後側方領域R1,R2の物体の存在(S4)のうちいずれか少なくとも1つが検出されているときは、右後側方外側領域R2のマスキングが解除される(S6)。また、左折または左側車線への変更の意思(S7)、左方向への方向指示操作(S8)、左後側方領域L1,L2の物体の存在(S9)がいずれも検出されていないときは、左後側方外側領域L2がマスキングされる(S10)。これに対し、左折または左側車線への変更の意思(S7)、左方向への方向指示操作(S8)、左後側方領域L1,L2の物体の存在(S9)のうちいずれか少なくとも1つが検出されているときは、左後側方外側領域L2のマスキングが解除される(S11)。   The determination and display control by the display determination unit 42 and the display control unit 44 are shown in FIG. In the state where the left and right rear side areas L1, L2, R1, R2 and the rear center area C of the vehicle 10 are imaged over a wide range with the cameras 12, 14, and 16 (S1), the intention to change to the right lane or the right lane ( S2) When the direction indication operation to the right direction (S3) and the presence of objects in the right rear side regions R1 and R2 (S4) are not detected, the right rear side outer region R2 is masked. (S5). On the other hand, at least one of the intention to change to the right lane or the right lane (S2), the direction instruction operation to the right (S3), and the presence of objects in the right rear side areas R1 and R2 (S4) If it is detected, the masking of the right rear side outer region R2 is released (S6). Further, when the intention to change to the left lane or the left lane (S7), the direction instruction operation to the left (S8), and the presence of objects in the left rear side areas L1 and L2 (S9) are not detected. The left rear lateral outer region L2 is masked (S10). On the other hand, at least one of the intention to change to the left lane or the left lane (S7), the direction instruction operation to the left (S8), and the presence of objects in the left rear side areas L1 and L2 (S9) When it is detected, the masking of the left rear side outer region L2 is canceled (S11).

図5は図4の制御によるディスプレイ18の表示例を示す。ディスプレイ18における各領域の映像の表示位置は固定的かつ独占的に定められている。つまり1つの領域の映像が表示位置を変更して表示されたり、複数の領域の映像が同じ表示位置に切り換えて表示されたりすることがない。これにより、運転者はどこの表示位置にどこの領域の映像が表示されるかを固定的に認識しておくことができ、混乱が生じない。ディスプレイ18の左側の表示領域18Lには左カメラ12で撮像した映像が表示され、中央の表示領域18Cには後カメラ16で撮像した映像が表示され、右側の表示領域18Rには右カメラ14で撮像した映像が表示される。なお、この表示例では、左右の表示領域18L,18Rは上側半分を常にマスキングした状態で表示している。左右後側方領域L1,L2,R1,R2や左右側方領域の映像は後方中央領域Cの映像に比べて上部の映像の重要度が低いので、左右後側方領域L1,L2,R1,R2や左右側方領域の映像の上側半分を常にマスキングした状態で表示しても運転に支障はない。むしろ、このマスキングした上側半分の領域に他の情報を表示すれば便利である。このマスキングした上側半分の領域には、例えば、車両の前部に配置されたカメラによる車両前部左右の映像を、車両が左右の見通しが悪い前方の道路に出る際等に表示することができる。またこの上側領域のうち運転者に最も近い領域(右ハンドル車の場合は右側の表示領域18Rの右上側領域、左ハンドル車の場合は左側の表示領域18Lの左上側領域)に警告等の情報を表示することもできる。   FIG. 5 shows a display example of the display 18 by the control of FIG. The display position of the image in each area on the display 18 is fixed and exclusively determined. That is, the video of one area is not displayed with the display position changed, and the video of a plurality of areas is not switched to the same display position. As a result, the driver can recognize in a fixed manner which region of the image is displayed at which display position, and no confusion occurs. The image captured by the left camera 12 is displayed in the left display area 18L of the display 18, the image captured by the rear camera 16 is displayed in the center display area 18C, and the right camera 14 is displayed in the right display area 18R. The captured image is displayed. In this display example, the left and right display areas 18L and 18R are displayed with the upper half always masked. The left and right rear side regions L1, L2, R1, and R2 and the left and right side regions are less important than the rear center region C, so the left and right rear side regions L1, L2, R1, Even if the upper half of the image of R2 or the left and right side area is always masked and displayed, there is no problem in driving. Rather, it is convenient to display other information in the masked upper half area. In the masked upper half area, for example, the left and right images of the front part of the vehicle by the camera arranged at the front part of the vehicle can be displayed when the vehicle exits on the front road where the left and right line of sight is poor. . In addition, information such as warnings in an area closest to the driver in the upper area (the upper right area of the right display area 18R in the case of a right-hand drive vehicle and the upper left area of the left display area 18L in the case of a left-hand drive vehicle). Can also be displayed.

図5(a)は右後側方外側領域R2および左後側方外側領域L2がともにマスキングされた表示状態(図4のS5かつS10の状態)を示す。領域L1,C,R1は相互に同じ画質で表示される。このとき運転者はディスプレイ18上で視点を動かして映像を確認すべき範囲が最小となり、しかも映像の動き(流れ)が速く運転者に煩わしさを感じさせる右後側方外側領域R2および左後側方外側領域L2の映像が表示されないので、運転者は前方視野に集中して運転することができる。   FIG. 5A shows a display state (states S5 and S10 in FIG. 4) in which the right rear side outer region R2 and the left rear side outer region L2 are both masked. The areas L1, C, and R1 are displayed with the same image quality. At this time, the driver moves the viewpoint on the display 18 and the range in which the image should be confirmed is minimized, and the movement (flow) of the image is fast and the driver feels annoyed. Since the image of the lateral outer region L2 is not displayed, the driver can drive while concentrating on the front view.

図5(b)は、右方向への方向指示操作(S3)が検出されて、右後側方外側領域R2のマスキングが解除され、左後側方外側領域L2がマスキングされた表示状態(図4のS6かつS10)を示す。領域L1,C,R1,R2は相互に同じ画質で、かつ領域L1,C,R1は図5(a)のときと同じ画質で表示される。このとき運転者はディスプレイ18で右後側方外側領域R2(図5(a)の表示では死角となる領域)を確認して右折操作をすることができる。また運転者が意図的に右方向に視線を向けたときも、右折または右側車線への変更の意思(S2)が推定されて、同様に図5(b)の表示状態となる。右左折または車線の変更の意思(S2,S7)が一旦推定されたときは、意思の推定が解除された(意思が推定されなくなった)後も所定時間はマスキング解除状態を継続するようにすれば、視線をディスプレイ18に移してもマスキングが解除された映像を見ることができる。   FIG. 5B shows a display state in which the right direction instruction operation (S3) is detected, the masking of the right rear side outer region R2 is released, and the left rear side outer region L2 is masked (FIG. 5). 4 shows S6 and S10). The areas L1, C, R1, and R2 are displayed with the same image quality, and the areas L1, C, and R1 are displayed with the same image quality as in FIG. At this time, the driver can confirm the right rear side outer region R2 (region that becomes a blind spot in the display of FIG. 5A) on the display 18 and perform a right turn operation. Also, when the driver intentionally turns his gaze to the right, the intention to change to the right lane or the right lane (S2) is estimated, and the display state of FIG. Once the intention of turning right or left or changing lanes (S2, S7) is once estimated, the masking cancellation state should be continued for a predetermined time after the intention estimation is canceled (intention is no longer estimated). For example, even if the line of sight is moved to the display 18, the image with the masking canceled can be viewed.

図5(a)の表示モードから図5(b)の表示モードに切り換わったときは、運転者は右後側方外側領域R2の映像が加わったことが容易に判断できる。また図5(b)の表示モードから図5(a)の表示モードに切り換わったときは、運転者は右後側方外側領域R2の映像が消えたことが容易に判断できる。また図5(a)の表示と図5(b)の表示とでは表示倍率および表示位置が変わらないので、表示される対象物の大きさが急に変わったり、変更前後で対象物の表示位置が不連続に移動する(飛ぶ)こともない。したがって運転者が感じる距離感に混乱を生じさせたり、運転者が車両周辺の状況を把握するのに混乱を生じさせたりするのが防止される。   When the display mode in FIG. 5A is switched to the display mode in FIG. 5B, the driver can easily determine that the image of the right rear side outer region R2 has been added. Further, when the display mode in FIG. 5B is switched to the display mode in FIG. 5A, the driver can easily determine that the image of the right rear side outer region R2 has disappeared. Further, since the display magnification and the display position do not change between the display in FIG. 5A and the display in FIG. 5B, the size of the displayed object changes suddenly, or the display position of the object before and after the change. Does not move discontinuously (fly). Therefore, it is possible to prevent the driver from being confused in the sense of distance and the driver from being confused when grasping the situation around the vehicle.

図6は左右の表示領域18L,18Rの上側領域に他の情報を表示する例を示す。このうち図6(a)は、車両が左右の見通しが悪い道路に出る際等に、車両の前部に配置されたカメラによる車両前部左右の映像を表示した例である。左側の表示領域18Lの上内側領域18Laに車両前部左側の映像が表示され、右側の表示領域18Rの上内側領域18Raに車両前部左側の映像が表示されている。この表示のオン、オフは運転者によるスイッチ操作等で行うことができる。運転者はこの表示を見て安全に前方の道路に出ることができる。図6(b)は右後側方領域R1,R2に物体の存在が確認されているときに、右側の表示領域18Rの上外側領域18Rb(右ハンドル車の場合。左ハンドル車の場合は左側の表示領域18Lの上外側領域)に物体の存在を示す警告を自動的に表示するようにしたものである(なお、図6(b)では表示領域18Rの下側領域の映像には実施には車両等の物体は表示されていないが、ここでは仮に物体の存在が検出された場合の警告表示例を示す)。車両アイコン46は物体の存在を検出したことを示し、車両アイコン46の右下側の矢印アイコン48は車両の右後側方領域R1,R2に物体の存在が検出されたことを示す。車両の左後側方領域L1,L2に物体の存在が検出された時は、車両アイコン46の左下側に矢印アイコンが表示される。   FIG. 6 shows an example in which other information is displayed in the upper area of the left and right display areas 18L and 18R. Among these, FIG. 6A is an example in which the left and right images of the front part of the vehicle are displayed by a camera disposed at the front part of the vehicle when the vehicle is on a road with poor visibility on the left and right. An image of the left side of the front of the vehicle is displayed in the upper inner area 18La of the left display area 18L, and an image of the left side of the front of the vehicle is displayed in the upper inner area 18Ra of the right display area 18R. This display can be turned on and off by a switch operation by the driver. The driver can safely exit the road ahead by looking at this indication. FIG. 6B shows an upper outer region 18Rb (in the case of a right-hand drive vehicle; in the case of a left-hand drive vehicle, the left side in the case of the presence of an object in the right rear side regions R1 and R2). The warning indicating the presence of the object is automatically displayed on the upper outer area of the display area 18L (in FIG. 6B, the image in the lower area of the display area 18R is not implemented). No object such as a vehicle is displayed, but here a warning display example is shown when the presence of an object is detected). The vehicle icon 46 indicates that the presence of an object has been detected, and the arrow icon 48 on the lower right side of the vehicle icon 46 indicates that the presence of an object has been detected in the right rear side regions R1 and R2 of the vehicle. When the presence of an object is detected in the left rear side areas L1 and L2 of the vehicle, an arrow icon is displayed on the lower left side of the vehicle icon 46.

前記実施の形態では左右の映像とも、マスキングする表示状態とマスキングしない(マスキングを解除した)表示状態を切り換えるようにしたが、左右の映像のうち、運転席に近い側に表示される映像についてマスキングしない表示状態とマスキングする表示状態の切り換えを行い、運転席から遠い側に表示される映像については該切り換えを行わずに常時マスキングしない状態で表示するようにすることもできる。運転席から遠い側に表示される映像は映像の動きが速くても運転席に近い側に表示される映像ほど運転者に煩わしさを感じさせないので、運転者によっては、常時マスキングしないで表示しても運転に支障がなく、むしろ広い範囲を確認できる方が便利さを感じる可能性がある。また、前記実施の形態では第2の領域の映像を第1の領域の映像よりも目立たなくさせる処理をマスキング処理としたが、画質を低下させる処理とすることもできる。画質を低下させる態様としては、例えば、表示の明度の低下、コントラストの低下、ぼかし、退色、モノクロ化等様々な態様が考えられる。また前記実施の形態では、撮像装置で撮像する領域を車両の後側方領域に設定して、第1の領域を後側方内側領域、第2の領域を後側方外側領域に設定したが、これに代えて、撮像装置で撮像する領域を車両の後側方領域から側方領域の連続した領域に設定して、第1の領域を後側方領域、第2の領域を側方領域に設定することもできる。また前記実施の形態では、撮像装置で撮像した映像を2つの領域に分けて、2つの表示モードに変更するようにしたが、撮像装置で撮像した映像を3つ以上の領域に分けて、3つ以上の表示モードに変更する(無段階に変更する場合を含む)こともできる。また前記実施の形態では表示モードの変更を自動で行うようにしたが、運転者等による操作(手動スイッチ操作、声による変更操作等)で行うこともできる。   In the above embodiment, the left and right images are switched between the masked display state and the non-masked (unmasked) display state. However, of the left and right images, the image displayed on the side closer to the driver's seat is masked. It is also possible to switch between the display state not to be masked and the display state to be masked, and to display the image displayed on the side far from the driver's seat in a state where the masking is not performed without performing the switching. The image displayed on the side far from the driver's seat is less annoying to the driver than the image displayed on the side closer to the driver's seat even if the image moves faster. However, there is no problem in driving, and it may be more convenient to check a wide range. In the embodiment, the masking process is used to make the video in the second area less noticeable than the video in the first area. However, the process may be a process for reducing the image quality. As modes for reducing the image quality, for example, various modes such as a decrease in display brightness, a decrease in contrast, blurring, fading, and monochrome conversion are conceivable. Moreover, in the said embodiment, although the area | region imaged with an imaging device was set to the rear side area | region of a vehicle, the 1st area | region was set to the rear side inner side area | region, and the 2nd area | region was set to the rear side outer side area | region. Instead of this, the area to be imaged by the imaging device is set to a continuous area from the rear side area to the side area of the vehicle, the first area is the rear side area, and the second area is the side area. Can also be set. In the embodiment, the video imaged by the imaging device is divided into two regions and changed to two display modes. However, the video imaged by the imaging device is divided into three or more regions and 3 It is also possible to change to more than one display mode (including the case of changing steplessly). In the above embodiment, the display mode is automatically changed. However, the display mode can be changed by an operation by a driver or the like (manual switch operation, voice change operation, or the like).

10…車両、12,14,16…電子式カメラ(撮像装置)、18…ディスプレイ(映像表示装置)、26…制御装置、24…運転支援装置、L1…左後側方内側領域(第1の領域)、L2…左後側方外側領域(第2の領域)、R1…右後側方内側領域(第1の領域)、R2…右後側方外側領域(第2の領域)、C…後方中央領域。   DESCRIPTION OF SYMBOLS 10 ... Vehicle, 12, 14, 16 ... Electronic camera (imaging device), 18 ... Display (video display device), 26 ... Control device, 24 ... Driving support device, L1 ... Left rear side inner area (1st Area), L2 ... left rear lateral outer area (second area), R1 ... right rear lateral inner area (first area), R2 ... right rear lateral outer area (second area), C ... Rear center area.

Claims (8)

車両に搭載されて該車両の後方側の第1の領域および該第1の領域に対して相対的に該車両の側方側の第2の領域の連続した領域を撮像する撮像装置と、
前記車両の運転席の前方または斜め前方に配置された映像表示装置と、
前記撮像装置で撮像された第1の領域および第2の領域の映像を、両領域を実質的に同じ画質で前記映像表示装置に表示する第1の表示モードと、前記撮像装置で撮像された第1の領域および第2の領域の映像を、第2の領域の映像を第1の領域の映像よりも目立たなくさせる処理をして、第1の表示モードと実質的に同じ表示倍率でおよび第1の表示モードと実質的に同じ表示位置に表示する第2の表示モードとに表示モードを変更して、前記撮像装置で撮像された映像を前記映像表示装置に表示する制御装置と
を具備する運転支援装置であって、
前記撮像装置が前記車両の左側と右側にそれぞれ搭載された左右の撮像装置を有し、前記左側の撮像装置は前記車両の左後方側の第1の領域および該第1の領域に対して相対的に該車両の左側方側の第2の領域の連続した領域を撮像し、前記右側の撮像装置は前記車両の右後方側の第1の領域および該第1の領域に対して相対的に該車両の右側方側の第2の領域の連続した領域を撮像し、
前記映像表示装置は前記左右の撮像装置で撮像された映像を左右に並べて表示し、
前記制御装置は左右の撮像装置で撮像された映像の一方または両方について前記表示モードの変更を行う運転支援装置
An imaging device mounted on a vehicle for imaging a continuous region of a first region on the rear side of the vehicle and a second region on the side of the vehicle relative to the first region;
An image display device disposed in front of or obliquely in front of the driver's seat of the vehicle;
The first display mode in which the images of the first region and the second region imaged by the imaging device are displayed on the image display device with substantially the same image quality, and the images are captured by the imaging device. The first region and the second region are processed at a display magnification that is substantially the same as the first display mode by processing the second region to make the second region less prominent than the first region. A control device that changes the display mode to a second display mode that displays at substantially the same display position as the first display mode, and displays the video imaged by the imaging device on the video display device. A driving assistance device for
The imaging device includes left and right imaging devices mounted on the left and right sides of the vehicle, respectively, and the left imaging device is relative to a first area on the left rear side of the vehicle and the first area. Thus, a continuous region of the second region on the left side of the vehicle is imaged, and the right imaging device is relatively relative to the first region on the right rear side of the vehicle and the first region. Image a continuous region of the second region on the right side of the vehicle;
The video display device displays the video captured by the left and right imaging devices side by side,
The control device is a driving support device that changes the display mode for one or both of the images captured by the left and right imaging devices .
前記映像表示装置が運転席の正面に対し助手席側に偏倚した位置に配置され、
前記制御装置は、前記左右の映像のうち、運転席に近い側に表示される映像について第1の表示モードと第2の表示モードとの変更を行って前記映像表示装置に表示し、運転席から遠い側に表示される映像について該変更を行わず第1の表示モードで前記映像表示装置に表示する請求項に記載の運転支援装置。
The video display device is disposed at a position biased toward the passenger seat side with respect to the front of the driver seat,
The control device changes the first display mode and the second display mode for the image displayed on the side closer to the driver's seat among the left and right images and displays the image on the image display device. The driving support device according to claim 1 , wherein an image displayed on a side far from the vehicle is displayed on the image display device in the first display mode without performing the change.
前記撮像装置が前記車両の幅方向の中央に搭載されて該車両の後方中央領域を撮像する撮像装置をさらに有し、
前記映像表示装置は前記中央の撮像装置で撮像された映像を前記左右の撮像装置で撮像された左右の映像の間に配置して表示する請求項またはに記載の運転支援装置。
The image pickup apparatus is further mounted on the center of the vehicle in the width direction and further has an image pickup apparatus for picking up an image of a rear center area of the vehicle,
Driving support apparatus according to claim 1 or 2, wherein the image display device displays disposed between the left and right image captured image captured by the imaging device of the central in the left and right image pickup devices.
前記左右の撮像装置で撮像された左右の映像を上部をマスキングして前記中央の撮像装置で撮像された映像よりも高さを低くして表示し、該マスキングされた表示領域に、他の情報を表示する請求項に記載の運転支援装置。 The left and right images captured by the left and right imaging devices are displayed at a lower height than the images captured by the central imaging device by masking the upper part, and other information is displayed in the masked display area. The driving support device according to claim 3 , wherein 第2の領域の映像を第1の領域の映像よりも目立たなくさせる前記処理が、第2の領域の映像をマスキングする処理である請求項1から4のいずれか1つに記載の運転支援装置。 The driving support device according to any one of claims 1 to 4, wherein the process of making the image of the second area less noticeable than the image of the first area is a process of masking the image of the second area. . 第2の領域の映像を第1の領域の映像よりも目立たなくさせる前記処理が、第2の領域の映像を第1の領域の映像よりも画質を低下させる処理である請求項1から4のいずれか1つに記載の運転支援装置。 5. The process according to claim 1, wherein the process of making the image of the second area less noticeable than the image of the first area is a process of lowering the image quality of the image of the second area than the image of the first area . The driving assistance apparatus as described in any one . 前記制御装置が前記車両の運転状況に応じて前記表示モードの変更を自動で行う請求項1からのいずれか1つに記載の運転支援装置。 The driving support device according to any one of claims 1 to 6 , wherein the control device automatically changes the display mode in accordance with a driving situation of the vehicle. 前記制御装置が前記車両の運転状況を、該車両の動作、該車両の操作、該車両の周辺の状況、推定される運転者の意思のうちの少なくともいずれか1つに応じて判断する請求項に記載の運転支援装置。 The control device determines a driving situation of the vehicle according to at least one of an operation of the vehicle, an operation of the vehicle, a situation around the vehicle, and an estimated intention of the driver. The driving support device according to 7 .
JP2013075537A 2013-03-31 2013-03-31 Driving assistance device Active JP6247450B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013075537A JP6247450B2 (en) 2013-03-31 2013-03-31 Driving assistance device
PCT/JP2014/056675 WO2014162835A1 (en) 2013-03-31 2014-03-13 Driving assistance device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013075537A JP6247450B2 (en) 2013-03-31 2013-03-31 Driving assistance device

Publications (2)

Publication Number Publication Date
JP2014204132A JP2014204132A (en) 2014-10-27
JP6247450B2 true JP6247450B2 (en) 2017-12-13

Family

ID=51658137

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013075537A Active JP6247450B2 (en) 2013-03-31 2013-03-31 Driving assistance device

Country Status (2)

Country Link
JP (1) JP6247450B2 (en)
WO (1) WO2014162835A1 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016168877A (en) * 2015-03-11 2016-09-23 株式会社東海理化電機製作所 Visual recognition device for vehicle
JP6401733B2 (en) 2016-04-15 2018-10-10 本田技研工業株式会社 Image display device
JP6365600B2 (en) * 2016-06-30 2018-08-01 マツダ株式会社 Vehicle display device
WO2018105007A1 (en) * 2016-12-05 2018-06-14 富士通周辺機株式会社 Driving assistance program, driving assistance method and driving assistance device
JP6665819B2 (en) 2017-03-17 2020-03-13 トヨタ自動車株式会社 In-vehicle display device
JP7106859B2 (en) * 2017-12-27 2022-07-27 トヨタ自動車株式会社 image display device
JP6566067B2 (en) * 2018-03-15 2019-08-28 株式会社デンソー Image processing device
JP7159802B2 (en) * 2018-11-15 2022-10-25 トヨタ自動車株式会社 Vehicle electronic mirror system
JP2020083070A (en) * 2018-11-26 2020-06-04 本田技研工業株式会社 Video display device
JP7223958B2 (en) * 2019-01-08 2023-02-17 パナソニックIpマネジメント株式会社 Control device and control method
JP7399836B2 (en) * 2020-10-12 2023-12-18 ヤンマーホールディングス株式会社 work vehicle
CN115437390A (en) * 2021-06-02 2022-12-06 影石创新科技股份有限公司 Control method and control system of unmanned aerial vehicle

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002225629A (en) * 2001-02-05 2002-08-14 Sony Corp Monitoring device for vehicle
JP2008004990A (en) * 2006-06-20 2008-01-10 Nissan Motor Co Ltd Display control apparatus for vehicle
JP6077210B2 (en) * 2011-12-22 2017-02-08 トヨタ自動車株式会社 Vehicle rearward monitoring device

Also Published As

Publication number Publication date
JP2014204132A (en) 2014-10-27
WO2014162835A1 (en) 2014-10-09

Similar Documents

Publication Publication Date Title
JP6247450B2 (en) Driving assistance device
US8441536B2 (en) Vehicle periphery displaying apparatus
US10268905B2 (en) Parking assistance apparatus
JP7160301B2 (en) MONITOR DISPLAY SYSTEM AND ITS DISPLAY METHOD
JP5316550B2 (en) Rear view support system
JP4766841B2 (en) Camera device and vehicle periphery monitoring device mounted on vehicle
JP6877311B2 (en) Vehicle driving support system
CN105539286B (en) Method and device for assisting a driver of a vehicle trailer, in particular a commercial vehicle trailer
WO2017159510A1 (en) Parking assistance device, onboard cameras, vehicle, and parking assistance method
JP6390645B2 (en) Vehicle peripheral image display device
US20060066835A1 (en) Method for operating an electronic viewing system and vehicle comprising an electronic viewing system
CN107298050B (en) Image display device
JP5895941B2 (en) Image display device and image display method
JP2001006097A5 (en)
JP2008033901A (en) Vehicle image display system
JP2007221200A (en) Vehicle periphery monitoring system
JP2010130646A (en) Vehicle periphery checking system
JP2007022176A (en) Ocularly acknowledging device for surrounding area of vehicle
JP5036891B2 (en) Camera device and vehicle periphery monitoring device mounted on vehicle
US10618469B2 (en) Systems and methods for the representation of a rear outer region of a vehicle
US10450003B2 (en) Parking assist device and parking assist system
US10793069B2 (en) Method for assisting the driver of a motor vehicle in maneuvering the motor vehicle with a trailer, driver assistance system as well as vehicle/trailer combination
JP2011234095A (en) Visual recognition support device for vehicle
JP2020083069A (en) Driving support device and vehicle
CN111152720A (en) Vehicle information providing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171117

R150 Certificate of patent or registration of utility model

Ref document number: 6247450

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250