JP2019080238A - 車両運転支援装置及び車両運転支援プログラム - Google Patents

車両運転支援装置及び車両運転支援プログラム Download PDF

Info

Publication number
JP2019080238A
JP2019080238A JP2017207311A JP2017207311A JP2019080238A JP 2019080238 A JP2019080238 A JP 2019080238A JP 2017207311 A JP2017207311 A JP 2017207311A JP 2017207311 A JP2017207311 A JP 2017207311A JP 2019080238 A JP2019080238 A JP 2019080238A
Authority
JP
Japan
Prior art keywords
image
imaging unit
imaging
unit
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017207311A
Other languages
English (en)
Inventor
公浩 兵頭
Kimihiro Hyodo
公浩 兵頭
和幸 堀ノ内
Kazuyuki Horinouchi
和幸 堀ノ内
泰功 田中
Taiko Tanaka
泰功 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2017207311A priority Critical patent/JP2019080238A/ja
Priority to US16/147,721 priority patent/US20190126849A1/en
Priority to CN201811218038.0A priority patent/CN109703461B/zh
Publication of JP2019080238A publication Critical patent/JP2019080238A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93274Sensor installation details on the side of the vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】運転者が車両の後側方に向ける視線において距離に違和感を生じること防止し、車両の後側方において死角が生じることを防止することができる画像を表示する。【解決手段】車両(50)の後方を撮像する撮像部(1)と、助手席側方を撮像する撮像部(2)とを備え、撮像部(1)の撮像領域(10)及び撮像部(2)の撮像領域(20)が重複する一部領域(8A)では、撮像部(1)の視線と撮像部(2)の視線とが重複する。車両(50)は、前記撮像部(1)と、前記撮像部(2)及び運転席側を撮像する撮像部(3)とを備えていれば、前記撮像領域(10)及び前記撮像部(3)の撮像領域(30)が重複する一部領域(8B)において、当該撮像部(1)の視線と撮像部(3)の視線とが重複する。【選択図】図1

Description

本発明は、車両運転支援装置及び車両運転支援プログラムに関する。
特許文献1には、車両の後方と後側方とを撮像した各画像を、連続した連結画像として表示部に表示し、当該連結画像が車両を中心とした何れの方向を撮像した画像であるかを車両運転者が直感的に理解することが出来るようにした車両運転支援装置が記載されている。
また、特許文献2には、画角が110°である2つのカメラを、各カメラの撮像領域が約40°の範囲で互いに重複するようにして車両後方の中央に配置し、当該2つのカメラにて撮像した2枚の画像を合成することで1枚にした合成画像を表示部に表示する車両運転支援装置が記載されている。
特開2010−245701号公報(2010年10月28日公開) 特開2003−255925号公報(2003年9月10日公開)
しかしながら、特許文献1に記載の車両運転支援装置では、車両運転者から見た車両後方の撮像部の位置と、車両後側方の撮像部の位置とが異なるため、各撮像部により撮像した画像において視点差が生じる。ここで、特許文献1に記載の車両運転支援装置は、互いに隣接した位置を撮像している各画像を圧縮することによって連続した1枚の画像に合成する。画像を圧縮することから、車両後方を撮像した画像と後側方を撮像した画像との合成画像を表示部に表示することができるものの、車両運転者が実際に目視することにより認識することができる車両後方における距離感と、合成画像から認識することができる車両後方における距離感とに差異が生じるという問題がある。
また、特許文献2に記載の車両運転支援装置のように、画角110°である2つのカメラを、各カメラの撮像領域が約40°の範囲で互いに重複するようにして車両後方の中央に配置した場合、車両後方において水平方向に向かって撮像できる画角は180°となり、車両の後側方に死角が生じるという問題がある。
本発明の一態様は、前記問題に鑑みてなされたものであり、運転者が車両の後側方に向ける視線において距離に違和感を生じること防止することができ、かつ、車両の後側方において死角が生じることを防止することができる画像を表示する車両運転支援装置を提供することを目的とする。
前記課題を解決するために、本発明の一態様に係る車両運転支援装置は、車両の後方を撮像する第1の撮像部と、車両の何れかの側方を撮像する第2の撮像部と、前記第1及び第2撮像部のそれぞれが撮像した画像を合成する画像合成部と、前記画像合成部が合成した合成画像を表示する表示部と、を備え、前記第2の撮像部は、前記車両における助手席側方を撮像する撮像部であるか、又は、前記助手席側方を撮像する撮像部と運転席側方を撮像する撮像部とであり、前記第1及び第2の撮像部は、前記第1の撮像部による撮像領域と、前記第2の撮像部による撮像領域とが重複する重複領域の少なくとも一部の領域において、当該第1の撮像部の視線と、当該第2の撮像部の視線とが重複するように配置されている。
また、本発明の一態様に係る車両運転支援装置は、車両の後方を撮像する第1の撮像部と、車両の何れかの側方を撮像する第2の撮像部と前記第1及び第2撮像部のそれぞれが撮像した画像を合成する画像合成部と、前記画像合成部が合成した合成画像を表示する表示部と、を備え、前記第2の撮像部は、前記車両における助手席側方を撮像する撮像部であるか、又は、前記助手席側方を撮像する撮像部と運転席側方を撮像する撮像部とであり、前記第1及び第2の撮像部は、前記第1の撮像部による撮像領域と、前記第2の撮像部による撮像領域とが重複するように配置されており、前記画像合成部は、前記重複領域の少なくとも一部の領域において、前記第1の撮像部により撮像した第1の撮像画像上における被写体の大きさと、前記第2の撮像部により撮像した第2の撮像画像上における被写体の大きさとを互いに整合させたうえで、前記第1の撮像画像及び第2の撮像画像を合成する。
本発明の一態様によれば、車両運転者が車両の後側方の距離に違和感を生じることを防止することができ、かつ、車両の後側方において死角が生じることを防止することができる画像を表示する車両運転支援装置を提供することができる。
本発明の一態様に係る車両運転支援装置の構成の概略を説明するブロックである。 本発明の一態様に係る車両運転支援装置によって動画を撮像する画角及び画像合成領域の概略を説明する図である。 本発明の一態様に係る車両運転支援装置が備えている各撮像部において撮像した画像の一例を示す図である。 本発明の一態様に係る車両運転支援装置により、図3の各画像を合成した合成画像の一例を示す図である。 本発明の一変形例に係る車両運転支援装置により、図3の各画像を合成した合成画像の一例を示す図である。 本発明の一態様に係る車両運転支援装置によって動画を撮像する画角及び画像合成領域の概略を説明する図である。 本発明の一態様に係る車両運転支援装置によって動画を撮像する画角及び画像合成領域の概略を説明する図である。
〔第一態様に係る車両運転支援装置〕
図1〜4を用い、本態様に係る車両運転支援装置についてより詳細に説明する。
図1は、本態様に係る車両運転支援装置の構成の概略を説明する図であり、図2は、本発明の一態様に係る車両運転支援装置によって動画を撮像する画角及び画像合成領域の概略を説明する図である。
また、図3は、車両運転支援装置が備えている撮像部1、2及び3によって撮像した画像であり、図4は、図3に示す3枚の画像を、1枚の画像に合成した合成画像を示している。
(撮像部)
図1に示すように、車両運転支援装置は、車両50に設けられた各部から構成される車両運転支援装置であって、車両50の後部から当該車両50の後部周囲を撮像するための撮像部(第1の撮像部)1、左側方(助手席側方)を撮像する撮像部(第2の撮像部)2、及び右側方(運転席側方)を撮像する撮像部3を備えている。また、車両運転支援装置は、画像合成部4、表示部5、主制御部6及びメモリ部7を備えている。なお、一態様に係る車両運転支援装置において、車両の側方を撮像する第2撮像部は、車両の左右側方の何れを撮像する撮像部であってもよい。つまり、一態様に係る車両運転支援装置において、車両右側方を撮像する撮像部3も第2の撮像部の一態様であり得る。
図2に示すように、撮像部1は、車両50後部における中央に配置され、撮像部2は、車両50後部の左側方における角部に配置され、撮像部3は、車両50後部の右側方における角部に配置されている。撮像部1、撮像部2及び撮像部3は、車両50の進行方向に垂直な方向(X方向)に沿ってそれぞれの視点が一列に並ぶように配置されており、撮像部1の視点が撮像部2の視点及び撮像部3の視点の中間に位置するように配置されている。
(撮像領域)
図2において、撮像部1の撮像領域10は、破線により規定される領域として図示されており、ここで、撮像領域10における円弧上に図示されている各点は撮像部1が撮像する画像(第1の撮像画像)12に映る定点を意味している。つまり、図2に示す撮像領域10の円弧上の各定点は画像12に映る被写体の一部でもあり得る。なお、撮像領域10において、撮像部1の視点と、定点11E−1から定点11E−2までの円弧とによって形成されている角度が、撮像部1の水平画角を意味する。撮像部1の画角は、180°以上であることが好ましく、本態様においては190°である。
同様に、図2において、撮像部2の撮像領域20は、一点鎖線により規定される領域として図示されており、ここで、撮像領域20における円弧上に図示されている各点は撮像部2が撮像する画像(第2の撮像画像)22に映る定点を意味している。また、撮像領域20において、撮像部2の視点と、定点21E−1から定点21E−2までの円弧とによって形成されている角度が、撮像部2の水平画角を意味する。撮像領域20の画角は、180°以上であることが好ましく、本態様においては190°である。
同様に、撮像部3の撮像領域30は、一点鎖線により規定される領域として図示されており、ここで、撮像領域30における円弧上に図示されている各定点は撮像部3が撮像する画像32に映る定点を意味している。また、撮像領域30において、撮像部3の視点と、定点31E−1から定点31E−2までの円弧とによって形成されている角度が、撮像部3の水平画角を意味する。撮像領域30の画角は、180°以上であることが好ましく、本態様においては190°である。なお、撮像部3が撮像した画像32も、第2の撮像画像の一態様であり得る。
その他、限定されるものではないが、各撮像部の垂直方向の画角は互いに等しいことが好ましい。また、各撮像部の撮像面の法線は、地面(X−Y平面)に対して水平であることが好ましい。
なお、本明細書において特に説明がない場合、各撮像部の画角とは水平画角のことを意味し、撮像領域とは画像の水平方向における撮像領域のことを意味する。
(画像合成部)
画像合成部4は、各画像の一部を切り出し(トリミングするともいう)、切り出した各画像を結合することによって、合成画像を合成する。
図2に示す、撮像領域10は、車両50の左側方において撮像領域20に重複しており、車両50の右側方において撮像領域30に重複している。撮像領域10と撮像領域20とが重複している領域と、撮像領域10と撮像領域30とが重複している領域とを重複領域と称する。
画像合成部4は、撮像領域10における円弧上の定点11A−2から定点11E−1までの範囲を映す領域と、定点11B−2から定点11E−2までの範囲を映す領域とを画像12から削除する。これにより、水平方向における定点11A−2から定点11B−2までに渡る範囲が画像に残るようにして、画像12を切り出す(トリミングする)。併せて、画像合成部4は、撮像領域20の円弧上における定点21A−1から定点21E−1までの範囲を映す領域を画像22から切り出し、同様にして、撮像領域30の円弧上における定点31B−1から定点31E−1までの範囲を映す領域を画像32から切り出す。
ついで、画像合成部4は、トリミングを行なった後の画像12、画像22及び画像32を合成する。
画像合成部4は、撮像領域20と撮像領域10との重複領域内における定点21A−1から定点21A−2までの範囲を占める一部を一部領域8Aとして規定し、撮像領域30と撮像領域10との重複領域内における定点31B−1から定点31B−2までの範囲を占める一部を一部領域8Bとして規定する。ここで、撮像領域10における定点11A−1から定点11A−2までの範囲は一部領域8A上に位置し、定点11B−1から定点11B−2までの範囲は一部領域8B上に位置している。画像12と画像22とは、一部領域8Aにおいて、撮像部1と撮像部2との視線が重複するようにして撮像されており、図2のX方向において視点の位置が異なる以外は、同じ風景が撮像されている。同様にして、画像12と画像32とは、一部領域8Bにおいて、撮像部1と撮像部3との視線が重複するようにして撮像されており、図2のX方向において視点の位置が異なる以外は、同じ風景が撮像されている。
よって、画像合成部4は、画像12における定点11A−1から定点11A−2の範囲内に映る一部領域8Aの風景と、画像22における定点21A−1から定点21A−2の範囲内に映る一部領域8Aの風景との大きさを首尾よく互いに整合させることができる。また、画像12における定点11B−1から定点11B−2の範囲内に映る風景に映る一部領域8Bの風景と、画像32における定点31B−1から定点31B−2の範囲内に映る一部領域8Bの風景との大きさを首尾よく互いに整合させることができる。
本態様に係る車両運転支援装置において、画像合成部4は、図2に示す、画像22における定点21A−1から定点21A−2までの領域に映る風景に対して、画像12における定点11A−1から定点11A−2の領域に映る風景の大きさが整合するようにして合成し、画像32における定点31B−1から定点31B−2までの領域に映る風景に対して、画像12における定点11B−1から定点11B−2までの領域に映る風景の大きさが整合するようにして合成する。このため、合成画像において、車両50の後部における中央から後方に向かう視線11、車両50の後部の角部から左側方に向かう視線21、及び車両50の後部における角部から右側方に向かう視線31における遠距離と近距離との何れにおいても距離感に差異がないようにして、画像12、22及び32が合成される。
図3に、撮像部1、撮像部2、及び撮像部3のそれぞれが撮像した画像を示す。図3に示す3枚の画像のうち、中央に位置する画像は、図2における画像(第1の撮像画像)12に対応している。図3に示す右側の画像は、図2における画像(第2の撮像画像)22に対応している。図3に示す左側の画像は、図2における画像32に対応している。このような、3枚の画像を単純に結合すると、各画像の境界線近傍で被写体が2重に映ったり、死角が発生したりするという問題がある。これに対して、図3に示す、各画像を図2に示す一部領域8A及び8Bにおいて被写体の大きさを整合させた上で重複させ、1枚の画像に合成することによって、被写体が2重に映ったり、死角が発生したりするという問題を解決する。
図4は、図3に示す3枚の画像を合成することにより得られた合成画像を示している。表示部5を見る運転者は、図4に示す合成画像における車両の後部を基準として、当該車両の後方及び左右側方の距離感に差異がないように認識することができる。また、図4に示す合成画像には、車両の後方及び左右側方における死角がない。
〔表示部〕
車両50の運転者は、表示部5にて画像12、22及び32から合成された合成画像を視認する。表示部5は、画像合成部4が連続的に合成した一連の合成画像から構成される動画を表示することもできる。よって、表示部5に表示される動画において、撮像部1、2及び3の視点が移動している間においても、運転者は車両50の後方及び左右側方の距離感に差異がないように動画を認識することができる。なお、表示部5は、車両50に装備されている液晶ディスプレイ等の表示部であれば限定されず、例えば、カーナビゲーションシステム、及びカーオーディオなどが備えているディスプレイを利用してもよい。
主制御部6は、車両運転支援装置におけるシステム全体の制御を行なう。主制御部6は、画像合成部4を制御し、撮像部1、2及び3が撮像した画像を合成する。その他、主制御部6は、運転者が入力する情報を入力するための入力部を備えていてもよく、入力部から入力されるデータに基づき、表示部5に表示される合成画像の明るさ等を制御してもよい。また、主制御部6は、一例として、表示部5において合成画像を動画として表示するか、静止画として表示するかなどを切り替えるよう制御することもできる。
メモリ部8は、画像合成のためのソフトウェア等が記録されている。また、メモリ部8は、表示部5が表示する画像をデータとして格納することもできる。
<一変形例>
本発明に係る車両運転支援装置は、上述の態様(第一態様)に限定されない。一変形例に係る車両運転支援装置では、画像合成部4は、図2に示す画像12における定点11A−1から定点11A−2の領域に映る風景の大きさに対して、画像22における定点21A−1から定点21A−2までの領域に映る風景の大きさが整合するようにして、画像12と画像22とを合成する。また、画像12における定点11B−1から定点11B−2までの領域に映る風景の大きさに対して、画像32における定点31B−1から定点31B−2までの領域に映る風景の大きさが整合するようにした上で、画像12と画像22とを合成する。
図5に示す合成画像は、本変形例に係る車両運転支援装置における画像合成部4により、図3に示す3枚の画像を合成したものである。図5に示す合成画像は、第1の撮像部の視点を中心とし、車両の後方及び左右側方のそれぞれに向かう視線における遠距離と近距離との何れにおいても距離感に差異がないようにして、図3に示す3枚の画像が合成されている。よって、運転者は、表示部に表示される合成画像を、車両の後部に配置されている第1の撮像部の視点を中心にして距離感に差異がないように認識することができる。また、図5に示す合成画像においても、車両の後方及び左右側方における死角がない。
なお、表示部5は、画像合成部4が連続的に合成した合成画像を含む一連の合成画像から構成される動画を表示することができる。これにより、表示部5に表示される動画において、撮像部1の視点が移動している間においても、運転者は車両50に設けられている撮像部1の視点を中心にして後方及び左右側方の距離感に差異がないように動画を認識することができる。
〔第2の態様に係る車両運転支援装置〕
本発明に係る車両運転支援装置は、上述の一態様(第1の態様)及びその一変形例に係る車両運転支援装置に限定されない。
図6に示すように、一態様(第2の態様)に係る車両運転支援装置において、画像合成部4は、撮像領域10と撮像領域20とが重複する重複領域において、視線21が通過する定点であって、画像22に映る定点21及び画像12に映る定点11P−1を含む一部領域8Aに映る風景の大きさが互いに整合されるようにして、画像22と画像12とを合成する。同様に、撮像領域10と撮像領域30とが重複する重複領域において、視線31が通過する定点であって、画像32に映る定点31及び画像12に映る定点11P−2を含む一部領域8Bに映る風景の大きさが互いに整合されるようにして、画像32と画像12とを合成する。
図6に示す撮像部2の視線21は、視線21’と視線21”との間において、任意の角度を取ることができる。また、撮像部3の視線31は、視線31’と視線31”との間において任意の角度を取ることができる。ここで、視線21’及び視線31’はX方向に対して平行であり、視線21”及び視線31”は、X方向に対して垂直である。つまり、撮像部2の視線21は、撮像部2の視点を中心点とし、車両50の後方から、車両50の左側方にかける90°の範囲内にて任意の方向に視線を向けることができる。同様に撮像部3の視線31は、撮像部3の視点を中心点とし、車両50の後方から、車両50の右側方にかける90°の範囲内にて任意の方向に視線を向けることができる。よって、本態様に係る車両運転支援装置においても、車両50の後方に向かう視線11と、車両50の後部における後方から左側方までの間における視線21と、車両50の後部における後方から右側方までの間における視線31とにおいて、距離感に差異がないようにして画像を合成することができる。
なお、画像12上に映る各定点の位置、画像22上に映る各定点の位置、及び画像32上に映る各定点の位置は、各撮像部の配置及び画角から予め算出しておくとよい。
〔第3の態様に係る車両運転支援装置〕
本発明に係る車両運転支援装置は、上述の一態様(第1の態様及び第2の態様)及びその一変形例に係る車両運転支援装置に限定されない。
図7に示すように、一態様(第3の態様)に係る車両運転支援装置では、画像合成部4は、撮像部1の撮像領域10における画角よりも、撮像領域20及び撮像領域30における画角が小さい。ここで、撮像領域10の画角は、180°以上であることが好ましく、本態様においては190°である。また、撮像領域20’及び撮像領域30’における画角は120°である。
本態様において、撮像部1、撮像部2A及び撮像部3Aは、車両51の進行方向に垂直な方向(X方向)に沿ってそれぞれの視点が一列に並ぶように配置されており、撮像部1の視点が撮像部2の視点及び撮像部3の視点の中間に位置するように配置されている。
撮像部2Aは、車両51の左側面を撮像することができ、撮像領域10に重複させることができるような撮像領域を有していれば、撮像部2Aの向きは限定されない。同様に、撮像部3Aは、車両51の右側面を撮像することができ、撮像領域10に重複させることができるような撮像領域を有していれば、撮像部3Aの向きは限定されない。
図7に示す撮像部2Aの視線21は、X方向に対して平行である視線21’と、撮像領域20’における画角を規定する定点21E−1を通過する視線21”との間において任意の角度を取ることができる。同様に、撮像部3Aの視線31はX方向に対して平行である視線31’と、撮像領域30’における画角を規定する定点31E−2を通過する視線31”との間において任意の角度を取ることができる。
また、撮像領域10と撮像領域20’とが重複する重複領域において、視線21が通過する定点であって、画像22’に映る定点21及び画像12に映る定点11P−1を含む一部領域8Aに映る風景の大きさが互いに整合されるようにして、画像22’と画像12とを合成する。同様に、撮像領域10と撮像領域30’とが重複する重複領域において、視線31が通過する定点であって、画像32’に映る定点31及び画像12に映る定点11P−2を含む一部領域8Bに映る風景の大きさが互いに整合されるようにして、画像32’と画像12とを合成する。これにより、本態様に係る車両運転支援装置においても、視線11、視線21、及び視線31において距離感に差異がないようにして画像を合成することができる。
〔別の態様に係る車両運転支援装置〕
本発明に係る車両運転支援装置は、前記態様(第1の態様、第2の態様及び第3の態様)に限定されない。車両運転支援装置において、前記第2の撮像部は、前記車両における左側方(助手席側方)を撮像する撮像部であり、ここで、第2の撮像部は車両後部における左側の角部に配置されている。また、本態様において、限定されるものではないが、第1の撮像部は車両後部における右側の角部に配置されており、車両の後方に向かって第1の撮像画像を撮像する。また、第1及び第2の撮像部は、車両の角部において進行方向に垂直な方向に沿って、第1の撮像部の視点と第2の撮像部の視点とが一列に並ぶように配置されている。
本態様においても、第1の撮像部による撮像領域と、第2の撮像部による撮像領域とが重複する重複領域の少なくとも一部の領域において、第1の撮像部の視線と、第2の撮像部の視線とが重複するように配置されている。なお、本態様において、第1及び第2の撮像部の水平画角は、180°以上であることが好ましく、本態様においては190°である。
前記の構成によっても、第1の撮像部の視線と、第2の撮像部の視線とが重複する方向において、距離感に差異がないようにして画像を首尾よく合成することができる。また、車両後方から助手席側方における角部の周囲において死角がないようにして、画像を合成することができる。よって、運転者は、表示部に表示された当該合成画像によって、車両後方から助手席側方における角部の周囲を死角がないようにして確認することができる。
〔ソフトウェアによる実現例〕
車両50が備えている車両運転支援装置の制御ブロック(特に画像合成部4、主制御部6、メモリ部7)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、車両50が備えている車両運転支援装置は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも1つのプロセッサ(制御装置)を備えていると共に、前記プログラムを記憶したコンピュータ読み取り可能な少なくとも1つの記録媒体を備えている。そして、前記コンピュータにおいて、前記プロセッサが前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。前記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、前記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して前記コンピュータに供給されてもよい。なお、本発明の一態様は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る車両運転支援装置は、車両50の後方を撮像する第1の撮像部(撮像部1)と、車両50の何れかの側方を撮像する第2の撮像部と、前記第1及び第2撮像部のそれぞれが撮像した画像を合成する画像合成部4と、前記画像合成部4が合成した合成画像を表示する表示部5と、を備え、前記第2の撮像部(撮像部2)は、前記車両50における助手席側方(左側方)を撮像する撮像部2であるか、又は、前記助手席側方(左側方)を撮像する撮像部2と運転席側方(右側方)を撮像する撮像部3とであり、前記第1の撮像部(撮像部1)及び第2の撮像部(撮像部2)は、前記第1の撮像部(撮像部1)による撮像領域10と、前記第2の撮像部(撮像部2)による撮像領域20とが重複する重複領域の少なくとも一部の領域(一部領域8A)において、当該第1の撮像部(撮像部1)の視線と、当該第2の撮像部(撮像部2)の視線21とが重複するように配置されている。また、前記第2の撮像部が、前記助手席側方(左側方)を撮像する撮像部2と運転席側方(右側方)を撮像する撮像部3とであれば、前記第1の撮像部(撮像部1)による撮像領域10と、前記第2の撮像部(撮像部3)による撮像領域30とが重複する重複領域の少なくとも一部の領域(一部領域8B)においても、前記一部の領域(一部領域8A)の場合と同様に、当該第1の撮像部(撮像部1)の視線と、当該第2の撮像部(撮像部3)の視線とが重複するように配置される。
前記の構成によれば、第1の撮像部(撮像部1)の視線と第2の撮像部(撮像部2及び撮像部3)の視線21が重複する方向に向かって映る被写体までの距離感に差異がないようにして、第1の撮像画像(画像12)と第2の撮像画像(画像22)とを合成することができる。また、被写体までの距離感に差異がないようにして、第1の撮像画像(画像12)と、第2の撮像画像(画像22)及び第2の撮像画像(画像32)とを合成することができる。
本発明の態様2に係る車両運転支援装置は、前記態様1において、前記画像合成部4は、前記重複領域の前記少なくとも一部の領域(一部領域8A)において、前記第1の撮像部(撮像部1)により撮像した第1の撮像画像(画像12)上における被写体の大きさと、前記第2の撮像部(撮像部2)により撮像した第2の撮像画像(画像22)上における被写体の大きさとを互いに整合させたうえで、前記第1及び第2の撮像画像(画像12及び22)を合成する。一部の領域(一部領域8B)においては、前記第1の撮像部(撮像部1)により撮像した第1の撮像画像(画像12)上における被写体の大きさと、前記第2の撮像部(撮像部3)により撮像した第2の撮像画像(画像32)上における被写体の大きさとを互いに整合させたうえで、前記第1及び第2の撮像画像(画像12及び32)を合成する。
前記の構成によれば、第1の撮像画像(画像12)と第2の撮像画像(画像22)との境界に生じ得る死角がないようにして、第1の撮像画像(画像12)と第2の撮像画像(画像22)とを合成することができ、第1の撮像画像(画像12)と第2の撮像画像(画像32)との境界に生じ得る死角がないようにして第1の撮像画像(画像12)と第2の撮像画像(画像32)とを合成することができる。
本発明の態様3に係る車両運転支援装置は、前記態様1又は2において、前記側方を撮像する撮像部(撮像部2A及び3A)の画角は、前記第1の撮像部(撮像部1)の画角よりも小さい画角であってもよい。
前記の構成においても、第1の撮像部(撮像部1)の視線と第2の撮像部(撮像部2A)の視線とが重複する方向に向かって映る被写体までの距離感に差異がないようにして、第1の撮像画像(画像12)と第2の撮像画像(画像22')とを合成することができ、第1の撮像画像(画像12)と第2の撮像画像(画像22')との境界に生じ得る死角がないようにして、第1の撮像画像(画像12)と第2の撮像画像(画像22')とを合成することができる。同様にして、第1の撮像部(撮像部1)の視線と第2の撮像部(撮像部3)の視線とが重複する方向に向かって映る被写体までの距離感に差異がないようにして、第1の撮像画像(画像12)と第2の撮像画像(画像32')とを合成することができ、第1の撮像画像(画像12)と第2の撮像画像(画像32')との境界に生じ得る死角がないようにして、第1の撮像画像(画像12)と第2の撮像画像(画像32')とを合成することができる。
本発明の態様4に係る車両運転支援装置は、車両51の後方を撮像する第1の撮像部(撮像部1)と、車両51の何れかの側方を撮像する第2の撮像部と、前記第1の撮像部(撮像部1)及び第2撮像部のそれぞれが撮像した画像を合成する画像合成部4と、前記画像合成部4が合成した合成画像を表示する表示部5と、を備え、前記第2の撮像部は、前記車両51における助手席側方(左側方)を撮像する撮像部2であるか、又は、前記助手席側方(左側方)を撮像する撮像部2と運転席側方(右側方)を撮像する撮像部3とであり、前記第1の撮像部(撮像部1)及び第2の撮像部(撮像部2)は、前記第1の撮像部(撮像部1)による撮像領域10と、前記第2の撮像部(撮像部2)による撮像領域20とが重複するように配置されており、前記画像合成部4は、前記第1の撮像部による撮像領域10と、前記第2の撮像部(撮像部2)による撮像領域20とが重複する重複領域の少なくとも一部の領域(一部領域8A)において、前記第1の撮像部(撮像部1)により撮像した第1の撮像画像(画像12)上における被写体の大きさと、前記第2の撮像部(撮像部2)により撮像した第2の撮像画像(画像22)上における被写体の大きさとを互いに整合させたうえで、前記第1の撮像画像(画像12)及び第2の撮像画像(画像22)を合成する。一部の領域(一部領域8B)においては、前記第1の撮像部(撮像部1)により撮像した第1の撮像画像(画像12)上における被写体の大きさと、前記第2の撮像部(撮像部3)により撮像した第2の撮像画像(画像32)上における被写体の大きさとを互いに整合させたうえで、前記第1及び第2の撮像画像(画像12及び32)を合成する。
前記の構成によれば、前記重複領域の少なくとも一部の領域(一部領域8A)を通過する視線が向く方向において、距離感に差異がないようにして、第1の撮像画像(画像12)と第2の撮像画像(画像22)とを合成することができ、第1の撮像画像(画像12)と第2の撮像画像(画像22)との境界に生じ得る死角がないようにして、第1の撮像画像(画像12)と第2の撮像画像(画像22)とを合成することができる。また、一部の領域(一部領域8B)を通過する視線が向く方向において、距離感に差異がないようにして、第1の撮像画像(画像12)と第2の撮像画像(画像32)とを合成することができ、第1の撮像画像(画像12)と第2の撮像画像(画像32)との境界に生じ得る死角がないようにして、第1の撮像画像(画像12)と第2の撮像画像(画像32)とを合成することができる。
本発明の態様5に係る車両運転支援プログラムは、車両運転支援装置としてコンピュータを機能させるための車両運転支援プログラムであって、前記態様2又は4において、前記画像合成部4としてコンピュータを機能させる。
前記の構成によれば、前記態様2又は4における車両運転支援装置と同様の効果を得ることができる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
1、2、2A、3、3A 撮像部(第1の撮像部、第2の撮像部)
4 画像合成部
5 表示部
6 主制御部
7 メモリ部
8A、8B 一部領域(一部の領域、重複領域)
10、20、30、20'、30' 撮像領域
11、21、31 視線
12、22、32、22'、32' 画像(第1の画像、第2の画像)
50、51 車両(車両運転支援装置)

Claims (5)

  1. 車両の後方を撮像する第1の撮像部と、
    車両の何れかの側方を撮像する第2の撮像部と、
    前記第1の撮像部及び第2撮像部のそれぞれが撮像した画像を合成する画像合成部と、
    前記画像合成部が合成した合成画像を表示する表示部と、を備え、
    前記第2の撮像部は、前記車両における助手席側方を撮像する撮像部であるか、又は、前記助手席側方を撮像する撮像部と運転席側方を撮像する撮像部とであり、
    前記第1及び第2の撮像部は、
    前記第1の撮像部による撮像領域と、前記第2の撮像部による撮像領域とが重複する重複領域の少なくとも一部の領域において、当該第1の撮像部の視線と、当該第2の撮像部の視線とが重複するように配置されていることを特徴とする車両運転支援装置。
  2. 前記画像合成部は、前記重複領域の前記少なくとも一部の領域において、前記第1の撮像部により撮像した第1の撮像画像上における被写体の大きさと、前記第2の撮像部により撮像した第2の撮像画像上における被写体の大きさとを互いに整合させたうえで、前記第1の撮像部及び第2の撮像画像を合成することを特徴とする請求項1に記載の車両運転支援装置。
  3. 前記側方を撮像する撮像部の画角は、前記第1の撮像部の画角よりも小さい画角であることを特徴とする請求項1又は2に記載の車両運転支援装置。
  4. 車両の後方を撮像する第1の撮像部と、
    車両の何れかの側方を撮像する第2の撮像部と
    前記第1の撮像部及び第2撮像部のそれぞれが撮像した画像を合成する画像合成部と、
    前記画像合成部が合成した合成画像を表示する表示部と、を備え、
    前記第2の撮像部は、前記車両における助手席側方を撮像する撮像部であるか、又は、前記助手席側方を撮像する撮像部と運転席側方を撮像する撮像部とであり、
    前記第1の撮像部及び第2の撮像部は、
    前記第1の撮像部による撮像領域と、前記第2の撮像部による撮像領域とが重複するように配置されており、
    前記画像合成部は、前記第1の撮像部による撮像領域と、前記第2の撮像部による撮像領域とが重複する重複領域の少なくとも一部の領域において、前記第1の撮像部により撮像した第1の撮像画像上における被写体の大きさと、前記第2の撮像部により撮像した第2の撮像画像上における被写体の大きさとを互いに整合させたうえで、前記第1の撮像画像及び第2の撮像画像を合成することを特徴とする車両運転支援装置。
  5. 請求項2又は4に記載の車両運転支援装置としてコンピュータを機能させるための車両運転支援プログラムであって、
    前記画像合成部としてコンピュータを機能させるための車両運転支援プログラム。
JP2017207311A 2017-10-26 2017-10-26 車両運転支援装置及び車両運転支援プログラム Pending JP2019080238A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017207311A JP2019080238A (ja) 2017-10-26 2017-10-26 車両運転支援装置及び車両運転支援プログラム
US16/147,721 US20190126849A1 (en) 2017-10-26 2018-09-29 Vehicle driving support apparatus and vehicle driving support program
CN201811218038.0A CN109703461B (zh) 2017-10-26 2018-10-18 车辆驾驶支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017207311A JP2019080238A (ja) 2017-10-26 2017-10-26 車両運転支援装置及び車両運転支援プログラム

Publications (1)

Publication Number Publication Date
JP2019080238A true JP2019080238A (ja) 2019-05-23

Family

ID=66245356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017207311A Pending JP2019080238A (ja) 2017-10-26 2017-10-26 車両運転支援装置及び車両運転支援プログラム

Country Status (3)

Country Link
US (1) US20190126849A1 (ja)
JP (1) JP2019080238A (ja)
CN (1) CN109703461B (ja)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US5550677A (en) * 1993-02-26 1996-08-27 Donnelly Corporation Automatic rearview mirror system using a photosensor array
JP4195966B2 (ja) * 2002-03-05 2008-12-17 パナソニック株式会社 画像表示制御装置
DE102005050363A1 (de) * 2005-10-21 2007-04-26 Bayerische Motoren Werke Ag Kamerasystem für ein Kraftfahrzeug
JP4404103B2 (ja) * 2007-03-22 2010-01-27 株式会社デンソー 車両外部撮影表示システムおよび画像表示制御装置
JP5120880B2 (ja) * 2007-10-15 2013-01-16 アルパイン株式会社 画像処理装置及び画像処理方法
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
JP5168213B2 (ja) * 2009-04-02 2013-03-21 株式会社デンソー 表示装置
JP5638494B2 (ja) * 2011-09-28 2014-12-10 住友重機械工業株式会社 画像生成方法、画像生成装置、及び操作支援システム
US9242602B2 (en) * 2012-08-27 2016-01-26 Fotonation Limited Rearview imaging systems for vehicle
CN103402097B (zh) * 2013-08-15 2016-08-10 清华大学深圳研究生院 一种自由视点视频深度图编码方法及其失真预测方法
CN105676652A (zh) * 2014-11-20 2016-06-15 无锡美诺塑业有限公司 一种智能家居系统控制方法
JP2016213708A (ja) * 2015-05-11 2016-12-15 トヨタ自動車株式会社 車両用表示装置

Also Published As

Publication number Publication date
US20190126849A1 (en) 2019-05-02
CN109703461B (zh) 2022-10-21
CN109703461A (zh) 2019-05-03

Similar Documents

Publication Publication Date Title
US10137836B2 (en) Vehicle vision system
KR101389884B1 (ko) 차량 이미지를 처리하기 위한 동적 이미지 처리 방법 및 시스템
CN106464847B (zh) 影像合成系统和用于其的影像合成装置与影像合成方法
US10198639B2 (en) System and method for providing image information around vehicle
EP1288618B1 (en) Driving assistance display apparatus
JP5911775B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
JP5858650B2 (ja) 画像生成装置、画像表示システム、及び、画像生成方法
JP5697512B2 (ja) 画像生成装置、画像表示システム及び画像表示装置
JP6425991B2 (ja) 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法
JP2011151446A (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP2009524171A (ja) 複数の画像を結合して鳥瞰図画像にする方法
WO2002089485A1 (fr) Procede et dispositif pour la presentation d'une image de camera embarquee a bord d'un vehicule
JP5760999B2 (ja) 画像処理装置及び画像処理方法
JP4471979B2 (ja) 画像合成装置及び画像合成方法
JP5102795B2 (ja) 運転支援表示装置
WO2013103115A1 (ja) 画像表示装置
US20190166357A1 (en) Display device, electronic mirror and method for controlling display device
JP6964276B2 (ja) 表示制御装置、車両周辺表示システムおよびコンピュータプログラム
US20190166358A1 (en) Display device, electronic mirror and method for controlling display device
JP2021027469A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2013225903A (ja) 画像処理装置、画像処理システム、および、画像処理方法
WO2021192508A1 (ja) 画像合成装置、及び、画像合成方法
JP2019080238A (ja) 車両運転支援装置及び車両運転支援プログラム
JP2016213759A (ja) 後方モニタ
US12080075B2 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings