JP2022034439A - 車両用画像記録装置及び車両用画像記録方法 - Google Patents

車両用画像記録装置及び車両用画像記録方法 Download PDF

Info

Publication number
JP2022034439A
JP2022034439A JP2020138224A JP2020138224A JP2022034439A JP 2022034439 A JP2022034439 A JP 2022034439A JP 2020138224 A JP2020138224 A JP 2020138224A JP 2020138224 A JP2020138224 A JP 2020138224A JP 2022034439 A JP2022034439 A JP 2022034439A
Authority
JP
Japan
Prior art keywords
image
vehicle
superimposed
driving support
recording unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020138224A
Other languages
English (en)
Other versions
JP7276280B2 (ja
Inventor
凌 白井
Ryo Shirai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020138224A priority Critical patent/JP7276280B2/ja
Priority to US17/370,094 priority patent/US11546547B2/en
Priority to CN202110817072.5A priority patent/CN114074612B/zh
Publication of JP2022034439A publication Critical patent/JP2022034439A/ja
Application granted granted Critical
Publication of JP7276280B2 publication Critical patent/JP7276280B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0211—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for record carriers apparatus, e.g. video recorders, tape players or CD players
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93272—Sensor installation details in the back of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

Figure 2022034439000001
【課題】低コストでドライブレコーダの画像を記録することができる車両用画像記録装置及び車両用画像記録方法を得る。
【解決手段】車両用画像記録装置１０は、車両周辺を撮影した周辺画像を取得する画像取得部５０と、所定の運転支援条件が成立した際に、前記画像取得部５０で取得された前記周辺画像に対して支援画像を重畳した重畳画像を車室内の表示領域に表示する画像表示部５８と、前記表示領域に前記重畳画像が表示された運転支援状態では、前記重畳画像を記録部に記録し、前記運転支援状態ではない場合には、前記支援画像を視認できない状態とする処理を含む画像処理が行われた画像を前記記録部に記録する画像記録部６０と、を有する。
【選択図】図４

Description

本発明は、車両用画像記録装置及び車両用画像記録方法に関する。
特許文献１には、車両周辺の画像を撮影して記録するドライブレコ―ダが開示されている。この特許文献１では、カメラで撮影された画像に映っている信号機が滅灯状態である場合に、画像取得周期をずらすことで、点灯状態の信号機を記録する。
特開２００８－１３４８４４号公報
ところで、駐車支援のように車両周辺を撮影した周辺画像を表示することで運転支援を行う技術が知られている。このような運転支援時に表示される周辺画像には、アイコン及びガイド線などの支援画像が重畳表示されるため、ドライブレコーダとして記録する記録画像には適さない。一方で、ドライブレコーダの記録画像を撮影するための専用のカメラなどを搭載した場合、不要なコストアップにつながる虞がある。
本発明は上記事実を考慮し、低コストでドライブレコーダの画像を記録することができる車両用画像記録装置及び車両用画像記録方法を得ることを目的とする。
請求項１に係る車両用画像記録装置は、車両周辺を撮影した周辺画像を取得する画像取得部と、所定の運転支援条件が成立した際に、前記画像取得部で取得された前記周辺画像に対して支援画像を重畳した重畳画像を車室内の表示領域に表示する画像表示部と、前記表示領域に前記重畳画像が表示された運転支援状態では、前記重畳画像を記録部に記録し、前記運転支援状態ではない場合には、前記支援画像を視認できない状態とする処理を含む画像処理が行われた画像を前記記録部に記録する画像記録部と、を有する。
請求項１に係る車両用画像記録装置では、画像取得部が車両周辺の周辺画像を取得する。また、画像表示部は、所定の運転支援条件が成立した際に、画像取得部で取得された周辺画像に対して支援画像を重畳した重畳画像を車室内の表示領域に表示する。このように、表示領域に重畳画像を表示することで、乗員に対して運転支援が行われる。
また、画像記録部は、表示領域に重畳画像が表示された運転支援状態では、重畳画像を記録部に記録する。また、画像記録部は、運転支援状態ではない場合には、支援画像を視認できない状態とする処理を含む画像処理が行われた画像を記録部に記録する。これにより、記録部に記録された画像に支援画像が重畳されて車両周辺の状況が視認しにくくなるのを抑制することができる。なお、ここでいう「支援画像」とは、車両の駐車支援時に表示されるガイド線、接近する障害物の方向を示すアイコン、車両の進行方向を示す矢印、及び操作可能なスイッチを示すアイコンなどを広く含む画像である。また、ここでいう「支援画像を視認できない状態とする処理」とは、支援画像を完全に視認できない状態とする処理に限定されない。例えば、支援画像を半透明にする処理のように、重畳画像に対して周辺画像の視認性が向上する処理を広く含む概念である。
請求項２に係る車両用画像記録装置は、請求項１において、前記画像記録部は、前記運転支援状態ではない場合には、前記重畳画像から前記支援画像を除いた前記周辺画像のみを前記記録部に記録する。
請求項２に係る車両用画像記録装置では、運転支援状態ではない場合には、支援画像を除いた周辺画像のみが記録部に記録される。これにより、記録画像の確認時などにおいて、支援画像が重畳されることによる煩わしさを低減することができる。
請求項３に係る車両用画像記録装置は、請求項１において、前記画像記録部は、前記運転支援状態ではない場合には、前記支援画像を透明又は半透明とする画像処理が行われた画像を前記記録部に記録する。
請求項３に係る車両用画像記録装置では、運転支援状態ではない場合には、支援画像を透明又は半透明とした画像が記録部に記録される。これにより、記録画像の確認時などにおいて、画像処理されていない重畳画像と比較して、車両周辺の障害物などの視認性を向上させることができる。
請求項４に係る車両用画像記録装置は、請求項１～３の何れか１項において、前記画像記録部は、前記運転支援状態ではない場合には、前記運転支援状態に前記表示領域に表示されている前記重畳画像から一部の画角を抽出する画角抽出処理を行った抽出画像を前記記録部に記録する。
請求項４に係る車両用画像記録装置では、運転支援状態ではない場合には、重畳画像から一部の画角を抽出した抽出画像が記録部に記録される。ここで、一般的に画角が広い画像よりも画角が狭い画像の方が自然に見える。このため、記録画像として重畳画像から一部の画角を抽出した画角の狭い抽出画像を記録することで、記録画像の確認時などに画像が見やすい。
請求項５に係る車両用画像記録装置は、請求項４において、車両周辺の障害物を検知する周辺検知センサから障害物の情報を取得する障害物取得部をさらに備え、前記画像記録部は、前記障害物取得部が取得した情報に基づいて前記抽出画像の画角の外側から自車両に接近する障害物を検知した場合、前記画角抽出処理を行わずに画像を前記記録部に記録する。
請求項５に係る車両用画像記録装置では、抽出画像の画角の外側から自車両に接近する障害物を検知した場合、画角抽出処理が行われない。これにより、広い画角で画像を記録することができ、記録画像から障害物と自車両との位置関係を確認することができる。
請求項６に係る車両用画像記録方法は、車両周辺を撮影した周辺画像を取得し、所定の運転支援条件が成立した際に、取得された前記周辺画像に対して支援画像を重畳した重畳画像を車室内の表示領域に表示し、前記表示領域に前記重畳画像が表示された運転支援状態では、前記重畳画像を記録部に記録し、前記運転支援状態ではない場合には、前記支援画像を視認できない状態とする処理を含む画像処理が行われた画像を前記記録部に記録する。
請求項６に係る車両用画像記録方法では、運転支援状態ではない場合には、支援画像を視認できない状態とする処理を含む画像処理が行われた画像を記録部に記録する。これにより、記録部に記録された画像に支援画像が重畳されて車両周辺の状況が視認しにくくなるのを抑制することができる。
以上説明したように、本発明に係る車両用画像記録装置及び車両用画像記録方法によれば、低コストでドライブレコーダの画像を記録することができる。
第１実施形態に係る車両用画像記録装置のハードウェア構成を示すブロック図である。 第１実施形態に係る車両用画像記録装置が適用された車両における車室内の前部を車両後方側から見た図である。 第１実施形態に係る車両用画像記録装置が適用された車両を示す平面図である。 第１実施形態に係る車両用画像記録装置の機能構成を示すブロック図である。 （Ａ）はバックカメラで撮影された周辺画像の一例を示す図であり、（Ｂ）は図５（Ａ）の撮影画像に対して支援画像が重畳された重畳画像を示す図である。 （Ａ）はセンタディスプレイに表示された映像の一例を示す図であり、（Ｂ）はストレージに記録されている映像の一例を示す図である。 第１実施形態における画像処理の流れの一例を示すフローチャートである。 第２実施形態に係る車両用画像記録装置が適用された車両、及び自車両に接近する他車両を示す平面図である。 第２実施形態における画像処理の流れの一例を示すフローチャートである。
＜第１実施形態＞
第１実施形態に係る車両用画像記録装置１０について、図面を参照して説明する。なお、説明の便宜上、一部の図面の大きさを誇張して描いている。
（車両用画像記録装置１０のハードウェア構成）
図１に示されるように、本実施形態の車両用画像記録装置１０は、ＣＰＵ（Central Processing Unit：プロセッサ）１４、ＲＯＭ（Read Only Memory）１６、ＲＡＭ（Random Access Memory）１８、記録部としてのストレージ２０、通信インタフェース２２及び入出力インタフェース２４を含んで構成されている。各構成は、バス２６を介して相互に通信可能に接続されている。本実施形態の車両用画像記録装置１０は一例として、車両１２に搭載されたＥＣＵ(Electronic Control Unit)の一部を構成している。
ＣＰＵ１４は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１４は、ＲＯＭ１６又はストレージ２０からプログラムを読み出し、ＲＡＭ１８を作業領域としてプログラムを実行する。ＣＰＵ１４は、ＲＯＭ１６又はストレージ２０に記録されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。
ＲＯＭ１６は、各種プログラムおよび各種データを格納する非一時的記録媒体である。ＲＡＭ１８は、作業領域として一時的にプログラム又はデータを記憶する非一時的記録媒体である。ストレージ２０は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する非一時的記録媒体である。本実施形態のＲＯＭ１６又はストレージ２０には、画像記録処理を行うための画像記録プログラム、及び車両周辺の画像などが保存される。また、本実施形態のＲＡＭ１８には車両周辺の画像などが保存される。
通信インタフェース２２は、車両用画像記録装置１０がコンピュータネットワークによって通信するためのインタフェースであり、例えば、５Ｇ、ＬＴＥ、Ｗｉ－Ｆｉ（登録商標）、イーサネット（登録商標）などの規格が用いられる。
入出力インタフェース２４には、前側カメラ２８、後側カメラ３０、左側カメラ３２、右側カメラ３４、センタディスプレイ３６、前側ミリ波レーダ３８及び後側ミリ波レーダ４０が接続されている。前側ミリ波レーダ３８及び後側ミリ波レーダ４０は、何れも本発明に係る「周辺検知センサ」に相当する。また、入出力インタフェース２４には、図示しない加速度センサ及び荷重センサなどのセンサ群が接続されている。
図２に示されるように、左側カメラ３２は、車両１２の左側方に設けられている。具体的には、車両１２の左側方には左側ドアミラー２９が設けられており、左側ドアミラー２９の下端部に左側カメラ３２が取り付けられている。
一方、右側カメラ３４は、車両１２の右側方に設けられている。具体的には、車両１２の右側方には右側ドアミラー３１が設けられており、右側ドアミラー３１の下端部に右側カメラ３４が取り付けられている。
図３に示されるように、前側カメラ２８は、車両１２の前端部に設けられており、例えば、前側カメラ２８は図示しないフロントバンパリインフォースメントに取付けられて車両前方側を撮影する。前側カメラ２８の画角ＡＲ１は、車両前方側へ向かうにつれて車両幅方向に広がる略扇状となっている。
後側カメラ３０は、車両１２の後端部に設けられており、例えば、後側カメラ３０は図示しないリアバンパリインフォースメントに取り付けられて車両後方側を撮影する。後側カメラ３０の画角ＡＲ２は、車両後方側へ向かうにつれて車両幅方向に広がる略扇状となっている。
左側カメラ３２の画角ＡＲ３は、車両１２の左側方全域となっており、画角ＡＲ３の一部が前側カメラ２８の画角ＡＲ１及び後側カメラ３０の画角ＡＲ２と重複している。
右側カメラ３４の画角ＡＲ４は、車両１２の右側方全域となっており、画角ＡＲ４の一部が前側カメラ２８の画角ＡＲ１及び後側カメラ３０の画角ＡＲ２と重複している。これにより、前側カメラ２８、後側カメラ３０、左側カメラ３２及び右側カメラ３４のそれぞれが撮影した画像に所定の処理を行って合成することで、車両１２を真上から見た映像を取得することができるようになっている。なお、本実施形態の後側カメラ３０は一例として、車両１２の駐車を支援するためのバックガイドモニタ用のカメラとしても機能する。
前側ミリ波レーダ３８は、左前側ミリ波レーダ３８Ｌ及び右前側ミリ波レーダ３８Ｒを含んで構成されている。左前側ミリ波レーダ３８Ｌは、車両１２の左前側のコーナ部に設けられており、車両１２に対して左前方側の広範囲で障害物を検知できるように構成されている。右前側ミリ波レーダ３８Ｒは、車両１２の右前側のコーナ部に設けられており、車両１２に対して右前方側の広範囲で障害物を検知できるように構成されている。
後側ミリ波レーダ４０は、左後側ミリ波レーダ４０Ｌ及び右後側ミリ波レーダ４０Ｒを含んで構成されている。左後側ミリ波レーダ４０Ｌは、車両１２の左後側のコーナ部に設けられており、車両１２に対して左後方側の広範囲で障害物を検知できるように構成されている。右後側ミリ波レーダ４０Ｒは、車両１２の右後側のコーナ部に設けられており、車両１２に対して右後方側の広範囲で障害物を検知できるように構成されている。
図２に示されるように、車室内の前部にはセンタディスプレイ３６が設けられている。センタディスプレイ３６は、インストルメントパネル３５における車両幅方向の中央部分に設けられており、センタディスプレイ３６には種々の映像が表示される。例えば、センタディスプレイ３６には、ナビゲーションシステムによる地図情報及びマルチメディアの情報などが表示される。また、運転支援時には、センタディスプレイ３６に車両周辺の画像及び運転支援画像などが表示される。センタディスプレイ３６は、本発明に係る「表示領域」に相当する。
（車両用画像記録装置１０の機能構成）
車両用画像記録装置１０は、上記のハードウェア資源を用いて、各種の機能を実現する。車両用画像記録装置１０が実現する機能構成について図４を参照して説明する。
図４に示されるように、車両用画像記録装置１０は、機能構成として、画像取得部５０、重畳処理部５２、障害物検知部５４、支援状態判定部５６、画像表示部５８、画像記録部６０及びイベント画像格納部６２を含んで構成されている。各機能構成は、ＣＰＵ１４がＲＯＭ１６又はストレージ２０に記憶されたプログラムを読み出し、実行することにより実現される。
画像取得部５０は、車両１２の周辺を撮影した周辺画像を取得する。具体的には、画像取得部５０は、前側カメラ２８、後側カメラ３０、左側カメラ３２及び右側カメラ３４で撮影された画像をそれぞれ取得する。
重畳処理部５２は、画像取得部５０によって取得された周辺画像に対して支援画像を重畳する。例えば、図５（Ａ）には、後側カメラ３０が撮影した撮影画像が示されており、この撮影画像が画像取得部５０によって周辺画像として取得される。図５（Ａ）に示されるように、後側カメラ３０が撮影した撮影画像には車両１２の後端部が映っている。また、後側カメラ３０が撮影した撮影画像には、車両１２の駐車位置を示す白線６４が映っている。
図５（Ｂ）には、後側カメラ３０が撮影した撮影画像に対して支援画像としてのガイド線Ｍ１が重畳表示された重畳画像が示されている。ガイド線Ｍ１は、車両１２の向き及び白線６４の位置に応じて形状を変化させることで、運転者が車両１２を駐車するための運転支援を行う。
また、図５（Ｂ）には、支援画像としての複数のアイコン類Ｍ２が重畳表示されている。アイコン類Ｍ２は、センタディスプレイ３６に重畳画像が表示されている状態で、乗員が可能な操作に対応するアイコンが表示されている。そして、乗員が図示しない操作スイッチを操作してアイコン類Ｍ２の中から所定のアイコンを選択することで、選択されたアイコンに対応した処理が実行される。また、アイコン類Ｍ２には、車両１２の状態などを表示したアイコンが含まれていてもよく、例えば、車両１２のどの方向の画像が表示されているか判別するためのアイコンを重畳表示してもよい。
図４に示される障害物検知部５４は、車両１２に接近する障害物を検知する。具体的には、障害物検知部５４は、前側ミリ波レーダ３８及び後側ミリ波レーダ４０によって車両１２の周辺に接近する障害物を検知する。
支援状態判定部５６は、所定の運転支援条件が成立したか否かについて判定する。例えば、支援状態判定部５６は、シフトレバーの位置に基づいて運転支援条件が成立したか否かについて判定してもよい。具体的には、支援状態判定部５６は、シフトレバーが後進レンジ（Ｒレンジ）に移動された場合、運転支援条件が成立したと判定する。
また、例えば、支援状態判定部５６は、図示しないカメラ切替スイッチが操作された場合に、運転支援条件が成立したと判定してもよい。カメラ切替スイッチは、ステアリングホイール及びインストルメントパネルなどに配設されており、乗員が任意のタイミングで車両１２の周辺画像をセンタディスプレイ３６に表示させることができるスイッチである。走行中に乗員によってカメラ切替スイッチが操作されることで、センタディスプレイ３６に車両後方の画像を表示する指示があった場合に、支援状態判定部５６は、運転支援条件が成立したと判定する。
さらに、支援状態判定部５６は、障害物検知部５４によって車両１２の周辺に接近する障害物を検知した場合に運転支援条件が成立したと判定してもよい。すなわち、前側ミリ波レーダ３８及び後側ミリ波レーダ４０によって車両１２の周辺に接近する障害物を検知した場合に運転支援条件が成立したと判定する。
また、支援状態判定部５６は、センタディスプレイ３６に表示されている内容に関する情報を取得し、この情報に基づいて運転支援条件が成立しているか否かを判定してもよい。すなわち、センタディスプレイ３６に対して運転支援用の周辺画像を出力するように指示が行われている場合に、支援状態判定部５６は、運転支援条件が成立していると判定してもよい。
画像表示部５８は、支援状態判定部５６によって所定の運転支援条件が成立したと判定された場合に、画像取得部５０で取得された周辺画像に対して支援画像を重畳した重畳画像をセンタディスプレイ３６に表示する。例えば、画像表示部５８は、シフトレバーが後進レンジ（Ｒレンジ）に移動された場合、図５（Ｂ）に示される重畳画像をセンタディスプレイ３６に表示する。すなわち、画像表示部５８は、後進時の運転支援を行うための重畳画像を表示する。
また、画像表示部５８は、カメラ切替スイッチの操作などによってセンタディスプレイ３６に対して車両後方の画像表示が指示された場合、後側カメラ３０で撮影された撮影画像に支援画像を重畳してセンタディスプレイ３６に表示する。この場合の支援画像としては、画角変更用のアイコン、後続車を囲うマークなどが重畳表示される。
さらに、画像表示部５８は、前側ミリ波レーダ３８からの信号に基づいて車両１２の右前方から他車両が接近していることが検知された場合、前側カメラ２８で撮影された撮影画像に支援画像を重畳してセンタディスプレイ３６に表示する。この場合の支援画像としては、他車両の方向を示す矢印、及び注意喚起を促すマークなどが重畳表示される。
画像記録部６０は、センタディスプレイ３６に重畳画像が表示された運転支援状態では、重畳画像をＲＡＭ１８に一時的に記録し、運転支援状態ではない場合には、支援画像を視認できない状態とする処理を含む画像処理が行われた画像をＲＡＭ１８に一時的に記録する。以下、画像記録部６０の機能について具体的に説明する。
シフトレバーが後進レンジ（Ｒレンジ）に移動された場合、支援状態判定部５６によって運転支援条件が成立したと判定され、図５（Ｂ）に示される重畳画像がセンタディスプレイ３６に表示される。このとき、画像記録部６０は、センタディスプレイ３６に表示されている重畳画像をＲＡＭ１８に一時的に記録する。例えば、画像記録部６０は、１００ミリ秒毎に撮影された画像に支援画像が重畳された重畳画像をＲＡＭ１８に順次記録する。ＲＡＭ１８に記録する時間は、例えば、２０秒から３０秒である。このため、ＲＡＭ１８には、２００枚から３００枚の画像が順次記録されると共に、古い画像から順次削除される。
一方、図６（Ａ）に示されるようなナビゲーションシステムの情報がセンタディスプレイ３６に表示されている場合には、前側カメラ２８、後側カメラ３０、左側カメラ３２及び右側カメラ３４で撮影された画像は表示されていない。この他に、センタディスプレイ３６にマルチメディアの情報が表示されている場合には、前側カメラ２８、後側カメラ３０、左側カメラ３２及び右側カメラ３４で撮影された画像は表示されていない。この場合には、画像記録部６０は、重畳画像に対して画像処理を施した画像をＲＡＭ１８に一時的に記録する。具体的には、重畳画像に対して支援画像を視認できない状態とする処理を施した画像をＲＡＭ１８に一時的に記録する。例えば、図５（Ｂ）に示される重畳画像から支援画像であるガイド線Ｍ１及びアイコン類Ｍ２を取り除く処理を行い、図６（Ｂ）に示される処理済みの画像をＲＡＭ１８に一時的に記録する。
また、例えば、画像記録部６０は、図５（Ｂ）に示される重畳画像から支援画像であるガイド線Ｍ１及びアイコン類Ｍ２を透明又は半透明とする画像処理を行ってＲＡＭ１８に一時的に記録するようにしてもよい。図５（Ｂ）に示される重畳画像からガイド線Ｍ１及びアイコン類Ｍ２を透明にする処理を実施した場合、処理済みの画像は図６（Ｂ）に示される画像となる。
さらに、画像記録部６０は、ＲＡＭ１８に画像を記録する際に一部の画角を抽出した画像を記録してもよい。例えば、画像記録部６０は、図１に示される前側カメラ２８の画角ＡＲ１に対して、一部の画角を抽出し、抽出画角ＡＲ５で示す画角の画像をＲＡＭ１８に記録してもよい。同様にして、画像記録部６０は、後側カメラ３０の画角ＡＲ２に対して、一部の画角を抽出し、抽出画角ＡＲ６で示す画角の画像をＲＡＭ１８に記録してもよい。
図４に示されるイベント画像格納部６２は、所定のイベントが発生した場合に、ＲＡＭ１８に一時的に記録されている画像の一部をストレージ２０に格納する。所定のイベントとは、例えば、加速度センサによって急加速又は急減速を検知した場合、及び荷重センサによって車両１２に衝突荷重が加えられたことを検知した場合などである。
イベント画像格納部６２は、所定のイベントが発生した場合には、イベントの発生時刻の前後数秒から前後数十秒の間にＲＡＭ１８に一時的に記録された画像をストレージ２０に格納する。また、イベント画像格納部６２は、画像データに加えて、イベントの発生時刻及びセンサ群のデータなども格納される。
（作用）
次に、本実施形態の作用を説明する。
（画像記録処理の一例）
図７は、車両用画像記録装置１０による画像記録処理の流れの一例を示すフローチャートである。この画像記録処理は、ＣＰＵ１４がＲＯＭ１６又はストレージ２０からプログラムを読み出して、ＲＡＭ１８に展開して実行することによって実行される。
図７に示されるように、ＣＰＵ１４は、ステップＳ１０２で車両１２の周辺の画像を取得する。具体的には、ＣＰＵ１４は、画像取得部５０の機能によって前側カメラ２８、後側カメラ３０、左側カメラ３２及び右側カメラ３４で撮影された画像を取得する。本実施形態では一例として、左側カメラ３２及び右側カメラ３４で撮影された画像はＲＡＭ１８には記録しない。このため、ステップＳ１０２では、ＣＰＵ１４は、前側カメラ２８で撮影された車両前方の画像、及び後側カメラ３０で撮影された車両後方の画像を取得する。
ＣＰＵ１４は、ステップＳ１０４で撮影された画像に支援画像を重畳する。具体的には、ＣＰＵ１４は重畳処理部５２の機能により、撮影画像に対して支援画像を重畳する。例えば、ＣＰＵ１４は、図５（Ａ）に示される車両後方の画像に対して、ガイド線Ｍ１及びアイコン類Ｍ２を重畳処理して図５（Ｂ）の重畳画像とする。また、同様にして、ＣＰＵ１４は、重畳処理部５２の機能により車両前方の画像に対してガイド線及びアイコン類を重畳処理して重畳画像とする。
ＣＰＵ１４は、ステップＳ１０６で運転支援状態であるか否かについて判定する。具体的には、ＣＰＵ１４は、支援状態判定部５６の機能によってセンタディスプレイ３６に重畳画像を表示することで運転を支援している状態であれば、ステップＳ１０６の判定を肯定してステップＳ１０８の処理へ移行する。一方、ＣＰＵ１４は、センタディスプレイ３６にナビゲーションシステムの情報及びマルチメディアの情報などが表示されている場合には、ステップＳ１０６の判定を否定してステップＳ１１２の処理へ移行する。また、運転支援が行われている場合であっても、センタディスプレイ３６に重畳画像が表示されていない場合には、ＣＰＵ１４は、ステップＳ１０６の判定が否定されてステップＳ１１２の処理へ移行する。
ステップＳ１０６の判定が肯定された場合、ＣＰＵ１４は、ステップＳ１０８で画像記録部６０の機能によりセンタディスプレイ３６に表示されている重畳画像をＲＡＭ１８に一時的に記録する。そして、ＣＰＵ１４は、画像記録処理を終了する。
一方、ステップＳ１０６の判定が否定された場合、ＣＰＵ１４は、ステップＳ１１０で重畳画像から支援画像を取り除く。また、ＣＰＵ１４は、ステップＳ１１２で重畳画像から支援画像が取り除かれた画像をＲＡＭ１８に一時的に記録する。そして、ＣＰＵ１４は、画像記録処理を終了する。
なお、ＣＰＵ１４は、ステップＳ１１０において、重畳画像から支援画像を取り除く処理に代えて、支援画像を透明又は半透明とする画像処理を行ってもよい。
以上のように、本実施形態に係る車両用画像記録装置１０では、所定の運転支援条件が成立した際に、画像表示部５８が重畳画像を車室内のセンタディスプレイ３６に表示する。これにより、乗員に対して運転支援が行われる。
また、画像記録部６０は、表示領域に重畳画像が表示された運転支援状態では重畳画像をＲＡＭ１８に記録し、運転支援状態ではない場合には支援画像を視認できない状態でＲＡＭ１８に記録する。これにより、ＲＡＭ１８に記録された画像に支援画像が重畳されて車両周辺の状況が視認しにくくなるのを抑制することができる。また、車両１２の周辺を撮影する運転支援用のカメラを用いてドライブレコーダ用の画像を記録するため、ドライブレコーダ専用のカメラ類を設ける必要がない。この結果、低コストでドライブレコーダの画像を記録することができる。
また、本実施形態では、運転支援状態ではない場合には、支援画像を除いた周辺画像のみがＲＡＭ１８に記録される。これにより、記録画像の確認時などにおいて、支援画像が重畳されることによる煩わしさを低減することができる。なお、支援画像を透明又は半透明とした画像をＲＡＭ１８に記録する場合も同様に、記録画像の確認時などにおいて、画像処理されていない重畳画像と比較して、車両周辺の障害物などの視認性を向上させることができる。
＜第２実施形態＞
次に、第２実施形態に係る車両用画像記録装置７０について説明する。なお、第１実施形態と同様の構成については同じ符号を付し、適宜説明を省略する。
図８に示されるように、本実施形態の車両用画像記録装置７０が適用された車両７２は、第１実施形態と同様に、図１に示されるハードウェア構成とされている。また、本実施形態の車両用画像記録装置７０は、第１実施形態と同様に、図４に示される機能構成を備えている。
ここで、本実施形態では、画像記録部６０は、車両周辺の画像がセンタディスプレイ３６に表示されていない場合には、一部の画角を抽出する画角抽出処理を行った抽出画像をＲＡＭ１８に一時的に記録する。すなわち、画像記録部６０は、図８に示される前側カメラ２８の画角ＡＲ１に対して、一部の画角を抽出し、抽出画角ＡＲ５で示す画角の画像をＲＡＭ１８に記録する。また、画像記録部６０は、後側カメラ３０の画角ＡＲ２に対して、一部の画角を抽出し、抽出画角ＡＲ６で示す画角の画像をＲＡＭ１８に記録する。
さらに、本実施形態では、画像記録部６０は、障害物検知部５４が取得した情報に基づいて抽出画像の画角の外側から車両７２に接近する障害物を検知した場合、画角抽出処理を行わずに画像をＲＡＭ１８に記録する。
上記の処理について、図８に示されるように、交差点などにおいて他車両８０が接近している場合について説明する。この場合、右前側ミリ波レーダ３８Ｒによって車両７２に接近している他車両８０が検知される。ここで、他車両８０の位置が前側カメラ２８の抽出画角ＡＲ５の外側であった場合、画像記録部６０は、画角抽出処理を行わず、画角ＡＲ１の画角で画像をＲＡＭ１８に記録する。
（作用）
次に、本実施形態の作用を説明する。
（画像記録処理の一例）
図９は、車両用画像記録装置１０による画像記録処理の流れの一例を示すフローチャートである。この画像記録処理は、ＣＰＵ１４がＲＯＭ１６又はストレージ２０からプログラムを読み出して、ＲＡＭ１８に展開して実行することによって実行される。また、以下のフローチャートは一例として、図８に示されるように右側から他車両８０が接近している場合について説明する。
図９に示されるように、ステップＳ２０２からステップＳ２０８までの処理は、図７のステップＳ１０２からステップＳ１０８までの処理と同様である。すなわち、ＣＰＵ１４は、ステップＳ２０６で運転支援状態であるか否かについて判定し、運転支援状態であれば、ステップＳ２０８で画像記録部６０の機能によりセンタディスプレイ３６に表示されている重畳画像をＲＡＭ１８に一時的に記録する。そして、ＣＰＵ１４は、画像記録処理を終了する。
これに対して、ＣＰＵ１４は、センタディスプレイ３６にナビゲーションシステムの情報及びマルチメディアの情報などが表示されている場合には、ステップＳ２０６の判定が否定されてステップＳ２１２の処理へ移行する。また、運転支援が行われている場合であっても、センタディスプレイ３６に重畳画像が表示されていない場合には、ＣＰＵ１４は、ステップＳ２０６の判定が否定されてステップＳ２１２の処理へ移行する。
ＣＰＵ１４は、ステップＳ２１２で接近車両が存在するか否かについて判定する。具体的には、ＣＰＵ１４は、障害物検知部５４の機能によって車両７２に接近する他車両などを検知した場合、ステップＳ２１２の判定を肯定する。図８に示す状態では、右前側ミリ波レーダ３８Ｒによって車両７２に接近している他車両８０が検知されているため、ＣＰＵ１４は、ステップＳ２１２の判定を肯定してステップＳ２１６の処理へ移行する。
一方、ＣＰＵ１４は、ステップＳ２１２で障害物検知部５４の機能によって車両７２に接近する他車両などが検知されなかった場合、ステップＳ２１２の判定を否定してステップＳ２１４の処理へ移行する。ＣＰＵ１４は、ステップＳ２１４で画角を抽出する。具体的には、ＣＰＵ１４は、撮影している画角から一部の画角を抽出する画角抽出処理を行う。図８に示される例では、前側カメラ２８の画角ＡＲ１から一部の画角を抽出して、抽出画角ＡＲ５の画角とする。
例えば、左後側ミリ波レーダ４０Ｌによって車両７２に接近している他車両が検知された場合には、ＣＰＵ１４は、後側カメラ３０の画角ＡＲ２から一部の画角を抽出して、抽出画角ＡＲ６の画角とする。
ＣＰＵ１４は、ステップＳ２１６で重畳画像から支援画像を取り除く。また、ＣＰＵ１４は、ステップＳ２１８で重畳画像から支援画像が取り除かれた画像をＲＡＭ１８に一時的に記録する。
ここで、ステップＳ２１２の判定が肯定された場合、ＣＰＵ１４は、ステップＳ２１４の処理を実行せずにステップＳ２１６及びステップＳ２１８の処理を実行する。このため、接近する他車両８０が存在する場合、広い画角である画角ＡＲ１の画像がＲＡＭ１８に記録される。
一方、ステップＳ２１２の判定が否定された場合、ＣＰＵ１４は、ステップＳ２１４の処理を実行した後にステップＳ２１６及びステップＳ２１８の処理を実行する。このため、接近する他車両８０が存在しない場合、狭い画角である抽出画角ＡＲ５の画像がＲＡＭ１８に記録される。
以上のように、本実施形態では、運転支援状態ではない場合には、重畳画像から一部の画角を抽出した抽出画像がＲＡＭ１８に記録される。ここで、一般的に画角が広い画像よりも画角が狭い画像の方が自然に見える。このため、記録画像として重畳画像から一部の画角を抽出した画角の狭い抽出画像を記録することで、記録画像の確認時などに画像が見やすい。
また、本実施形態では、抽出画像の画角の外側から車両７２に接近する他車両８０などの障害物を検知した場合、画角抽出処理が行われない。これにより、接近する障害物が存在する場合には、広い画角で画像が記録されることとなり、記録画像から障害物と車両７２との位置関係を確認することができる。その他の作用については第１実施形態と同様である。
以上、第１実施形態及び第２実施形態に係る車両用画像記録装置１０、７０について説明したが、本発明の要旨を逸脱しない範囲において、種々なる態様で実施し得ることは勿論である。例えば、上記実施形態では、画像取得部５０は、前側カメラ２８、後側カメラ３０、左側カメラ３２及び右側カメラ３４で撮影した画像を取得したが、これに限定されない。すなわち、前側カメラ２８及び後側カメラ３０で撮影した画像だけを取得してもよい。また、前側カメラ２８、後側カメラ３０、左側カメラ３２及び右側カメラ３４の他に別途カメラを搭載し、このカメラが撮影した画像を取得してもよい。
また、上記実施形態では、画像表示部５８は、センタディスプレイ３６に重畳画像を表示する構成としたが、これに限定されない。例えば、センタディスプレイ３６に加えて、ヘッドアップディスプレイ（ＨＵＤ）が搭載されている場合、このＨＵＤの表示領域に重畳画像を表示してもよい。
さらに、上記実施形態では、画像記録部６０は、前側カメラ２８で撮影した画像、及び後側カメラ３０で撮影した画像をＲＡＭ１８に一時的に記録する構成としたが、これに限定されない。例えば、左側カメラ３２及び右側カメラ３４で撮影した画像も加えてＲＡＭ１８に一時的に記録してもよい。
さらにまた、上記実施形態では、記録部としてＲＡＭ１８に画像を一時的に記録し、イベント発生時には、ＲＡＭ１８に一時的に記録されている画像の一部をストレージ２０に格納する構成としたが、これに限定されない。例えば、ストレージ２０に複数の記憶領域を割り当てておき、一方の記憶領域に画像を一時的に記録して、イベント発生時には、画像の一部を他方の記憶領域に格納する構成としてもよい。また、メモリーカード、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）及びＵＳＢ（Universal Serial Bus）メモリなどの非一時的記録媒体に画像を記録する構成としてもよい。
また、上記実施形態でＣＰＵ１４がソフトウェア（プログラム）を読み込んで実行した処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Field-Programmable Gate Array）などの製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが例示される。また、画像記録処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせなど）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路である。
１０、７０ 車両用画像記録装置
１２、７２ 車両
１８ ＲＡＭ（記録部）
３６ センタディスプレイ（表示領域）
３８ 前側ミリ波レーダ（周辺検知センサ）
４０ 後側ミリ波レーダ（周辺検知センサ）
５０ 画像取得部
５８ 画像表示部
６０ 画像記録部

Claims (6)

  1. 車両周辺を撮影した周辺画像を取得する画像取得部と、
    所定の運転支援条件が成立した際に、前記画像取得部で取得された前記周辺画像に対して支援画像を重畳した重畳画像を車室内の表示領域に表示する画像表示部と、
    前記表示領域に前記重畳画像が表示された運転支援状態では、前記重畳画像を記録部に記録し、前記運転支援状態ではない場合には、前記支援画像を視認できない状態とする処理を含む画像処理が行われた画像を前記記録部に記録する画像記録部と、
    を有する車両用画像記録装置。
  2. 前記画像記録部は、前記運転支援状態ではない場合には、前記重畳画像から前記支援画像を除いた前記周辺画像のみを前記記録部に記録する請求項１に記載の車両用画像記録装置。
  3. 前記画像記録部は、前記運転支援状態ではない場合には、前記支援画像を透明又は半透明とする画像処理が行われた画像を前記記録部に記録する請求項１に記載の車両用画像記録装置。
  4. 前記画像記録部は、前記運転支援状態ではない場合には、前記運転支援状態に前記表示領域に表示されている前記重畳画像から一部の画角を抽出する画角抽出処理を行った抽出画像を前記記録部に記録する請求項１～３の何れか１項に記載の車両用画像記録装置。
  5. 車両周辺の障害物を検知する周辺検知センサから障害物の情報を取得する障害物取得部をさらに備え、
    前記画像記録部は、前記障害物取得部が取得した情報に基づいて前記抽出画像の画角の外側から自車両に接近する障害物を検知した場合、前記画角抽出処理を行わずに画像を前記記録部に記録する請求項４に記載の車両用画像記録装置。
  6. 車両周辺を撮影した周辺画像を取得し、
    所定の運転支援条件が成立した際に、取得された前記周辺画像に対して支援画像を重畳した重畳画像を車室内の表示領域に表示し、
    前記表示領域に前記重畳画像が表示された運転支援状態では、前記重畳画像を記録部に記録し、前記運転支援状態ではない場合には、前記支援画像を視認できない状態とする処理を含む画像処理が行われた画像を前記記録部に記録する、
    車両用画像記録方法。
JP2020138224A 2020-08-18 2020-08-18 車両用画像記録装置及び車両用画像記録方法 Active JP7276280B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020138224A JP7276280B2 (ja) 2020-08-18 2020-08-18 車両用画像記録装置及び車両用画像記録方法
US17/370,094 US11546547B2 (en) 2020-08-18 2021-07-08 Image recording device for a vehicle and image recording method for a vehicle
CN202110817072.5A CN114074612B (zh) 2020-08-18 2021-07-20 车辆用图像记录装置以及车辆用图像记录方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020138224A JP7276280B2 (ja) 2020-08-18 2020-08-18 車両用画像記録装置及び車両用画像記録方法

Publications (2)

Publication Number Publication Date
JP2022034439A true JP2022034439A (ja) 2022-03-03
JP7276280B2 JP7276280B2 (ja) 2023-05-18

Family

ID=80270051

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020138224A Active JP7276280B2 (ja) 2020-08-18 2020-08-18 車両用画像記録装置及び車両用画像記録方法

Country Status (3)

Country Link
US (1) US11546547B2 (ja)
JP (1) JP7276280B2 (ja)
CN (1) CN114074612B (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011096063A (ja) * 2009-10-30 2011-05-12 Sharp Corp ドライブレコーダ装置
WO2013108371A1 (ja) * 2012-01-17 2013-07-25 パイオニア株式会社 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体
JP2014089513A (ja) * 2012-10-29 2014-05-15 Denso Corp 画像生成装置、および画像生成プログラム
WO2019181260A1 (ja) * 2018-03-22 2019-09-26 日立オートモティブシステムズ株式会社 駐車支援装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4781243B2 (ja) 2006-11-28 2011-09-28 アルパイン株式会社 ドライブレコーダおよびその画像取得タイミング制御方法
JP2010076765A (ja) * 2009-12-25 2010-04-08 Fujitsu Ten Ltd 走行記録装置
JP5966131B2 (ja) 2012-05-08 2016-08-10 株式会社ユピテル 表示制御システム、表示制御方法及びプログラム
US9589194B2 (en) * 2013-02-21 2017-03-07 Honda Motor Co., Ltd. Driving assistance device and image processing program
US10379533B2 (en) * 2016-01-04 2019-08-13 GM Global Technology Operations LLC System and method for autonomous vehicle fleet routing
JP6524922B2 (ja) * 2016-01-12 2019-06-05 株式会社デンソー 運転支援装置、運転支援方法
US20170253237A1 (en) * 2016-03-02 2017-09-07 Magna Electronics Inc. Vehicle vision system with automatic parking function
JP6743732B2 (ja) * 2017-03-14 2020-08-19 トヨタ自動車株式会社 画像記録システム、画像記録方法、画像記録プログラム
US10386856B2 (en) * 2017-06-29 2019-08-20 Uber Technologies, Inc. Autonomous vehicle collision mitigation systems and methods
US10877148B2 (en) * 2017-09-07 2020-12-29 Magna Electronics Inc. Vehicle radar sensing system with enhanced angle resolution using synthesized aperture
US11249474B2 (en) * 2017-12-07 2022-02-15 Phantom Auto Inc. Safety of autonomous vehicles using a virtual augmented support environment
JP6731022B2 (ja) * 2018-09-14 2020-07-29 本田技研工業株式会社 駐車支援装置、車両及び駐車支援方法
JP2020052801A (ja) * 2018-09-27 2020-04-02 三菱自動車工業株式会社 車両の運転支援装置
JP2020083048A (ja) * 2018-11-26 2020-06-04 トヨタ自動車株式会社 画像表示装置
JP7053437B2 (ja) * 2018-11-26 2022-04-12 本田技研工業株式会社 運転支援装置および車両

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011096063A (ja) * 2009-10-30 2011-05-12 Sharp Corp ドライブレコーダ装置
WO2013108371A1 (ja) * 2012-01-17 2013-07-25 パイオニア株式会社 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体
JP2014089513A (ja) * 2012-10-29 2014-05-15 Denso Corp 画像生成装置、および画像生成プログラム
WO2019181260A1 (ja) * 2018-03-22 2019-09-26 日立オートモティブシステムズ株式会社 駐車支援装置

Also Published As

Publication number Publication date
US20220060654A1 (en) 2022-02-24
CN114074612A (zh) 2022-02-22
CN114074612B (zh) 2024-04-26
US11546547B2 (en) 2023-01-03
JP7276280B2 (ja) 2023-05-18

Similar Documents

Publication Publication Date Title
JP2016097896A (ja) 画像表示制御装置
JP7263733B2 (ja) 車両用障害物報知装置
US20200226817A1 (en) Method for representing the surroundings of a vehicle
US10173590B2 (en) Overlaying on an in-vehicle display road objects associated with potential hazards
US10991086B2 (en) Adhered substance detection apparatus
JP6554866B2 (ja) 画像表示制御装置
JP2021044751A (ja) 周辺監視装置
CN113232659A (zh) 死角信息取得装置及方法、车辆及记录了程序的记录介质
JP2019185119A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
US20200084395A1 (en) Periphery monitoring device
US20190275970A1 (en) Surroundings monitoring apparatus
US11458892B2 (en) Image generation device and image generation method for generating a composite image
JP7276280B2 (ja) 車両用画像記録装置及び車両用画像記録方法
JP4679816B2 (ja) 車両周辺表示制御装置
JP2007088577A (ja) 車両周辺画像処理システム
JPH08201530A (ja) 障害物検知装置
JP2019153932A (ja) 汚れ報知装置
US20210323470A1 (en) Display control device, display control method, and storage medium storing program
CN108284832A (zh) 避免碰撞的方法
JP7137356B2 (ja) 車載用故障検出装置、及び故障検出方法
JP2022062480A (ja) 車両表示システム及び車両表示方法
JP7287355B2 (ja) 車両周辺監視装置
US20240087335A1 (en) Parking assistance device
EP3315366B1 (en) Imaging and display device for vehicle and recording medium
JP2023063868A (ja) 車両後方領域監視システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230417

R151 Written notification of patent or utility model registration

Ref document number: 7276280

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151