JP2009278349A - 周辺監視装置 - Google Patents

周辺監視装置 Download PDF

Info

Publication number
JP2009278349A
JP2009278349A JP2008127257A JP2008127257A JP2009278349A JP 2009278349 A JP2009278349 A JP 2009278349A JP 2008127257 A JP2008127257 A JP 2008127257A JP 2008127257 A JP2008127257 A JP 2008127257A JP 2009278349 A JP2009278349 A JP 2009278349A
Authority
JP
Japan
Prior art keywords
vehicle
image
unit
information
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008127257A
Other languages
English (en)
Other versions
JP4716139B2 (ja
Inventor
Kazuya Watanabe
一矢 渡邊
Kosuke Sato
功祐 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to JP2008127257A priority Critical patent/JP4716139B2/ja
Priority to US12/934,017 priority patent/US20110018991A1/en
Priority to CN200980110384XA priority patent/CN101978695B/zh
Priority to PCT/JP2009/058063 priority patent/WO2009139281A1/ja
Priority to KR1020107020817A priority patent/KR101229159B1/ko
Priority to EP09746488A priority patent/EP2257066B1/en
Publication of JP2009278349A publication Critical patent/JP2009278349A/ja
Application granted granted Critical
Publication of JP4716139B2 publication Critical patent/JP4716139B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees

Abstract

【課題】車両の走行状態に応じて、適切に車両の周囲を表示することが可能な周辺監視装置を提供する。
【解決手段】車両の周辺を表示するモニタ２４を備えた周辺監視装置１は、車両に搭載された撮像装置により撮像した画像情報を取得する画像情報取得部１２と、車両の側方に存在する直線形状を対象地物とし、画像情報に含まれる対象地物の画像認識処理を行う画像認識部１３と、車両が、対象地物に接近する場合に、モニタ２４に表示する表示画像を車両の側方に係るサイド画像に切り替えるか否かを判定する画面切替判定部２５と、当該画面切替判定部２５の判定結果に応じて、モニタ２４の表示をサイド画像に切り替える画像切替部２１と、を備える。
【選択図】図１

Description

本発明は、車両の周辺を監視する周辺監視装置に関する。
近年、車両の運転を安全に、且つ、円滑に行うべく、車両の運転を支援する様々な運転支援装置が提案されている。この種の運転支援装置の中には、車両に備えられる複数のカメラにより撮像された車両の周囲の映像を切り替えて、ディスプレイに表示する画像切替装置がある（例えば、特許文献１）。
特許文献１に記載の画像切替装置は、車両が停止状態にあるか否かを検出する停止状態検出手段により車両が停止状態にあると判断された場合に、ハンドルの操舵状態を検出する。そして、当該操舵状態の検出結果に基づいて、複数のカメラにより撮像された車両の周囲の映像の中から、ディスプレイに表示させるカメラの映像を決定し、ディスプレイの表示を当該カメラの映像に切り替える。
特開２００３−２２４８４５号公報
特許文献１に記載の画像切替装置は、ハンドルの操舵状態、即ちハンドルの操舵に応じて計数されるカウント値に基づいて、車両の周囲の映像を撮像するカメラ映像を切り替えて表示する。したがって、例えばディスプレイをカーナビゲーションシステムの経路案内用のディスプレイと兼用している場合や、或いは車載テレビのモニタとして兼用している場合等に、ハンドルの操作状況によっては車両の運転者が必要としていなくても、カメラの映像に切り替えられてしまう可能性がある。
本発明は、上記の問題に鑑みてなされたものであり、その目的は、車両の走行状態に応じて、適切に車両の周囲を表示することが可能な周辺監視装置を提供することにある。
上記目的を達成するための本発明に係る周辺監視装置の特徴構成は、車両の周辺を表示するモニタを備え、前記車両に搭載された撮像装置により撮像した画像情報を取得する画像情報取得部と、前記車両の側方に存在する直線形状を対象地物とし、前記画像情報に含まれる前記対象地物の画像認識処理を行う画像認識部と、前記車両が、前記対象地物に接近する場合に、前記モニタに表示する表示画像を前記車両の側方に係るサイド画像に切り替えるか否かを判定する画面切替判定部と、前記画面切替判定部の判定結果に応じて、前記モニタの表示を前記サイド画像に切り替える画像切替部と、を備える点にある。
このような特徴構成とすれば、車両が対象地物に接近した場合に、画面切替判定部が判定を行って当該判定の結果に応じて、車両の側方を含むサイド画像をモニタに表示するので、車両の運転者が、車両の周囲を注力視したい時のみ、モニタの表示をサイド画像に切り替えることができる。したがって、適切に車両の周囲を表示することが可能となる。
また、前記撮像装置として、前記車両の側方を撮像するサイドカメラを備え、前記画像認識処理が、前記サイドカメラにより撮像された画像情報を用いて行われると共に、前記サイド画像が前記サイドカメラにより撮像された画像情報に基づく画像であると好適である。
このような構成とすれば、撮像装置としてサイドカメラのみ備えている場合であっても、適切に車両の周囲を表示することが可能となる。
或いは、前記撮像装置として、前記車両の側方を撮像するサイドカメラと前記車両の後方を撮像するバックカメラとを備え、前記画像認識処理が、前記バックカメラにより撮像された画像情報を用いて行われると共に、前記サイド画像が前記サイドカメラにより撮像された画像情報に基づく画像であっても良い。
このような構成とすれば、バックカメラで撮像した撮像画像に基づいて、車両が車両の後方に位置する地物に近づいていることを特定し、車両の周囲を表示することができる。
また、前記サイド画像への切り替えが、前記直線形状または前記直線形状に沿って延長された直線形状延長線のいずれか一方と、前記車両の車幅に沿って延長した車幅延長線とが交差する交差角度が所定角度以内である場合に行われると好適である。
このような構成とすれば、例えば車両を駐車スペースに駐車させる際に、車両が、駐車スペースに描かれた区画線の直線形状に対して接近しているか否かを特定し、接近していると判定された場合にモニタの表示をサイド画像に切り替えることが可能となる。したがって、車両の運転者は、車両の周囲を容易に監視することができる。
また、前記サイド画像への切り替えが、前記車両の前進時に、前記車両の速度が所定速度以下であり、且つ、前記車両のハンドルの舵角が所定角度以上である場合に行われると好適である。
このような構成とすれば、車両が前進して駐車スペースに駐車する際の車両の操作に応じて、モニタにサイド画像を表示することが可能となる。また、車両が左折する際にも、サイド画像を表示することが可能となる。したがって、車両を適切に駐車スペースに駐車させたり、左折時の巻き込みを防止したりすることが可能となる。
また、前記サイド画像への切り替えが、前記車両の前進時に、前記直線形状または前記直線形状に沿って延長された直線形状延長線のいずれか一方と、前記車両の車幅に沿って延長した車幅延長線とが交差する交差位置が前記車両から所定距離以内である場合に行われると好適である。
このような構成とすれば、車両の運転者が区画線に近づく意思をもって、車両を操作している場合に、モニタに適切にサイド画像を切り替えることが可能となる。
以下、本発明の実施形態について図面に基づいて説明する。図１は、本発明に係る周辺監視装置１の概略構成を模式的に示したブロック図である。本周辺監視装置１は、車両１００の周辺を表示するモニタ２４を備え、当該車両１００の周囲を適切に監視するために、車両１００の状態に応じてモニタ２４の表示を切り替える機能を備えている。
周辺監視装置１は、サイドカメラ１０、バックカメラ１１、画像情報取得部１２、画像認識部１３、開始条件格納部１４、開始条件判定部１５、シフト情報取得部１６、車速情報取得部１７、交差位置検出部１８、交差角度検出部１９、舵角情報取得部２０、画像切替部２１、画面切替判定部２２、切替条件格納部２３、モニタ２４、解除条件格納部２５から構成される。ここで、本周辺監視装置１は、ＣＰＵを中核部材として車両１００の周辺を監視する種々の処理を行うための上述の機能部をハードウェア又はソフトウェア或いはその両方で構築されている。以下、本周辺監視装置１の各部の構成について説明する。
サイドカメラ１０は、車両１００の側方を撮像する撮像装置として機能する。本実施形態においては、車両１００の側方には、少なくとも車両１００の左側方が含まれる。このため、当該サイドカメラ１０は、車両１００の左側方の路面や、左側方に存在する対象地物ｏａ（図２−図４参照）を撮像することが可能な位置に配設されると好適である。ここで、路面とは、車両１００が走行する道路の路面である。また、対象地物ｏａとは、車両１００の側方に存在する直線形状であり、例えば、道路の路面にペイントされた道路標示（ペイント標示）が相当する。具体的には、例えば、道路の車線や駐車場の駐車位置を区分けするための区画線である。また、このような道路標示の他に、道路脇に配設される縁石、側溝、生垣等も対象地物ｏａに含まれる。
当該サイドカメラ１０は、車両１００の左側方に存在する対象地物ｏａを撮像するために、例えば、車両１００のフロントフェンダ内、又はフロントバンパの側面等に備えると好適である。本実施形態では、図２に示されるように、サイドカメラ１０はフロントフェンダ内に備えられるとして説明する。このような位置にサイドカメラ１０を備えることにより、図２において破線で囲まれた左側方領域ＳＲを撮像することが可能となる。
バックカメラ１１は、車両１００の後方を撮像する撮像装置として機能する。当該バックカメラ１１は、少なくとも車両１００の後方の路面や、後方に存在する対象地物ｏａを撮像することが可能な位置に配設されると好適である。このため、バックカメラ１１は、例えば車両１００のリヤウィンドウ付近やリヤバンパ付近等に備えられると好適である。本実施形態では、図２に示されるように、バックカメラ１１はリヤウィンドウ付近に備えられるとして説明する。このような位置にバックカメラ１１を備えることにより、図２において破線で囲まれた後方領域ＢＲを撮像することが可能となる。
画像情報取得部１２は、車両１００に搭載された撮像装置により撮像された画像情報を取得する。本実施形態においては、撮像装置は、上述のようにサイドカメラ１０及びバックカメラ１１である。このため、撮像された画像情報とは、サイドカメラ１０及びバックカメラ１１により撮像された撮像画像が該当する。したがって、画像情報取得部１２は、車両１００に搭載されたサイドカメラ１０及びバックカメラ１１により撮像された車両１００の周辺の画像情報を取得する。画像情報取得部１２で取得された画像情報は、後述の画像認識部１３及び画像切替部２１へ伝達される。
上述のように、サイドカメラ１０及びバックカメラ１１の主要機能は、夫々、車両１００の左側方及び後方（以下、車両１００の周囲）の撮像である。このような車両１００の周囲の撮像を行う場合には、サイドカメラ１０及びバックカメラ１１の結像機能を有する撮像部（図示しない）を通じて撮像される。当該撮像部にて撮像された画像は、画像情報取得部１２にて画像データに変換される。つまり、撮像部を通じて得られた撮像画像をＣＣＤ等の光電変換素子によって、デジタルデータ化して撮像画像の画像データが得られ、更に、この画像データによってモニタ２４に撮像画像を表示することができる。但し、本発明では、特に区別する必要がない限り、車両１００の周囲の撮影によって各段階で得られる撮像画像や画像データを「撮像画像」という語句で総称する。
シフト情報取得部１６は、車両１００のシフト情報を取得する。シフト情報とは、車両１００が備える変速機の現在のギヤ段を示す情報である。変速機とは、車両１００のエンジンから伝達される回転動力を車両１００の走行に適した回転数やトルク等に変換する変速制御手段である。このような変速機には、手動で変速制御を行う手動変速機（ＭＴ：Manual transmission）や、自動で変速制御が行われる自動変速機（ＡＴ：Automatic Transmission）がある。いずれの変速機であっても、車両１００の運転者により行われるシフトレバーの操作に基づいて変速制御が行われる。したがって、当該シフトレバーの現在位置を取得することにより、現在のギヤ段を特定することが可能である。このため、シフト情報取得部１６は、シフトレバーの現在位置を特定するポジションセンサ等により構成されると好適である。
ここで、本発明に係る周辺監視装置１においては、現在のギヤ段が、車両１００を前進させる前進用のギヤ段であるか、或いは車両１００を後退させる後退用のギヤ段であるかを特定することができれば良い。したがって、シフト情報には、前進用のギヤ段であるか、或いは後退用のギヤ段であるかを示す情報が示されるものとして説明する。シフト情報取得部１６により取得されたシフト情報は、開始条件判定部１５及び画面切替判定部２２に伝達される。
車速情報取得部１７は、車両１００の車速情報を取得する。車速情報とは、車両１００の速度を示す情報である。したがって、車速情報取得部１７は、車両１００が備えるスピードメータから車速情報を取得しても良いし、図示しない角速度検出部により検出された車両１００のドライブシャフト等の角速度を示す角速度情報に基づいて車速を算出しても良い。車速情報取得部１７により取得された車速情報は、開始条件判定部１５及び画面切替判定部２２に伝達される。
開始条件判定部１５は、シフト情報と車速情報とに基づいて車両状態を特定し、当該車両状態が、画像認識部１３が画像認識処理を開始する開始条件を具備するか否かを判定する。シフト状態は、上述のようにシフト情報取得部１６から伝達される。また、車速情報は、車速情報取得部１７から伝達される。開始条件判定部１５は、これらの情報に基づいて、現在の車両１００の状態を示す車両状態を特定する。開始条件とは、後述の画像認識部１３が画像認識処理を開始する条件である。即ち、車両状態が、当該開始条件を具備した場合に画像認識部１３が画像認識処理を開始する。この開始条件は、後述の開始条件格納部１４に格納されている。開始条件判定部１５は、開始条件格納部１４に格納されている開始条件を参照し、現在の車両状態が、当該開始条件を具備するか否かを判定する。この判定結果は、画像認識部１３に伝達される。
開始条件格納部１４は、画像認識部１３が画像認識処理を開始する開始条件が格納される。この開始条件は、車両１００のギヤ段及び車速に基づいて規定される。具体的には、例えば、車両１００の変速機が前進用のギヤ段であり、且つ、車速が１０ｋｍ／ｈ以下であるというような条件や、或いは車両１００の変速機が後退用のギヤ段であり、且つ、車速が１０ｋｍ／ｈ以下であるというような条件として規定される。このような開始条件は、予め開始条件格納部１４に格納される構成であっても良いし、必要に応じてユーザにより開始条件を設定する構成であっても良い。また、変速機が後退用のギヤ段である場合には、車速に拘らず、画像認識部１３が画像認識処理を開始するように規定することも可能である。
画像認識部１３は、車両１００の側方に存在する直線形状を対象地物ｏａとし、画像情報に含まれる対象地物ｏａの画像認識処理を行う。本実施形態では、画像認識処理は、サイドカメラ１０により撮像された画像情報を用いて行われる。直線形状とは、車両１００が走行する路面に位置する直線形状である。具体的には、路面にペイントされる区画線や縁石や側溝等が該当する。また、建築物の壁や生垣等も含まれる。更には、完全な直線のみに限定されるものではなく、点線上の区画線や、ロードコーン等も含まれる。画像認識部１３は、このような直線形状を対象地物ｏａとして画像認識処理を行う。ここで、本実施形態においては、画像認識処理は、サイドカメラ１０により撮像された画像情報を用いて行われることから、画像認識部１３には、画像情報取得部１２からサイドカメラ１０により撮像された画像情報が伝達される。
また、上述のように、画像認識部１３は、車両状態が開始条件格納部１４に格納される開始条件を具備した際に画像認識処理を行う。車両状態が、開始条件を具備したか否かの判定は、上述の開始条件判定部１５により行われ、その判定結果が、当該画像認識部１３に伝達される。画像認識部１３は、開始条件を具備したことを示す判定結果が伝達された場合に、画像情報取得部１２から伝達される画像情報の画像認識処理を開始する。したがって、開始条件を具備していない場合には、画像情報取得部１２から伝達される画像情報は、画像認識処理が行われることなく消去されることとなる。
なお、画像認識処理が行われない場合の画像情報は消去することなく、図示しない画像情報格納部に格納しておくことも可能である。そして、画像情報格納部に格納された画像情報は、予め設定された所定時間の経過に応じて消去するように構成することも可能であるし、画像情報格納部の格納可能領域に応じて、所謂「先入れ先出し処理」（格納可能領域が少なくなった場合に、最も古く格納された画像情報を削除して、格納可能領域を確保する処理）で削除するように構成しても良い。
画像認識部１３が行う画像認識処理は、対象地物ｏａの種別に適した認識ロジックを用いて行われる。具体的には、画像認識部１３は、まず、画像情報取得部１２で取得された画像情報が入力される。そして、対象地物ｏａの画像認識を行うために、対象地物ｏａの種別に適した認識ロジックを用いて画像認識処理を行う。なお、画像認識処理に用いられる認識ロジックは、図示しない認識ロジック格納部に格納される構成としても良いし、画像認識部１３内に別途設けられたメモリ等からなる格納部に格納されても良い。
画像認識部１３が行う画像認識処理は、具体的には以下のように行われる。なお、本実施形態においては、対象地物ｏａとして白線からなる区画線が設定された場合の例として説明する。まず、白線の検出を容易に行うために、白線を強調するフィルタを用いる。ここで、道路の区画線（白線）の幅は、法令や省令等により規定される。また、駐車場の駐車位置を区分けするための区画線の幅は、当該駐車場の所有者の意図により設定される。したがって、区画線が設けられる場所により、その幅が異なる。そのため、フィルタ長はサイドカメラ１０で撮像された撮影画像に含まれる画像の白線の幅に応じて決定される。このフィルタを適用することで、画像情報に含まれる白線部分及び路面のアスファルト部分の輝度値の差の強調を行い、２値化処理のための閾値設定が容易となる。２値化処理後、白のライン及び黒のラインの長さから白線の有無を判断する。この判断は、例えば、白のラインの長さと黒のラインの長さとが一致するか否かを判定し、一致すれば白線であると判断すると良い。このようにして、画像認識部１３は区画線（白線）の画像認識処理を行う。なお、この画像認識方法は、一例であり、その他の公知技術により、画像認識を行うことも可能である。
また、上記画像認識処理では、２値化された白のラインの長さと黒のラインの長さとが一致するか否かにより判定するとしたが、一致するとは完全一致のみを示すものではなく、白のライン及び黒のラインのうち、例えば５０％が一致すれば白線であると判定するようにすることも好適である。もちろん、上記５０％に限定されるものではなく、予め別の割合に設定しておくことは可能である。このような割合を定めて画像認識処理を行うことにより、掠れた区画線等であっても画像認識を行うことが可能となる。このようにして、画像認識部１３により画像認識処理が行われた画像認識処理結果は、交差位置検出部１８、交差角度検出部１９、画面切替判定部２２に伝達される。
交差位置検出部１８は、画像認識部１３による画像認識処理結果に基づいて、対象地物ｏａの直線形状または直線形状に沿って延長された直線形状延長線ｏｒのいずれか一方と、車両１００の車幅に沿って延長した車幅延長線ＣＷとが交差する交差位置ｃｐの検出を行う。上述のように本実施形態では、対象地物ｏａは白線である。したがって、直線形状は白線の直線部分ｏｌが該当し、交差位置検出部１８は、画像認識部１３による画像認識処理結果に基づいて、対象地物ｏａの直線部分ｏｌまたは直線部分ｏｌに沿って延長された直線形状延長線ｏｒのいずれか一方と、車両１００の車幅に沿って延長した車幅延長線ＣＷとが交差する交差位置ｃｐの検出を行う。また、交差位置ｃｐは、車両１００からの距離で表す形態であると好適である。
以下に、具体的に図を用いて説明する。図３及び図４は、白線を対象地物ｏａとした場合における対象地物ｏａと車両１００との位置関係を示す図である。図３の場合には、車両１００の車幅延長線ＣＷは、白線に対して反時計方向に回転している状態を図示している。図３において、白線の直線形状、即ち直線部分ｏｌとは、白線の長手方向を示す車両１００に近い側の線及び車両１００から遠い側の線のうち、一方の線が該当する。本実施形態では、車両１００に近い側の線を示すこととする。交差位置検出部１８は、直線部分ｏｌまたは直線部分ｏｌに沿って延長された直線形状延長線ｏｒのいずれか一方と、車幅延長線ＣＷとが交差する交差位置ｃｐの検出を行う。一方、図４の場合には、車両１００の車幅延長線ＣＷは、白線に対して時計方向に回転している状態を図示している。図４の場合も同様、交差位置検出部１８は、直線部分ｏｌまたは直線部分ｏｌに沿って延長された直線形状延長線ｏｒのいずれか一方と、車幅延長線ＣＷとが交差する交差位置ｃｐの検出を行う。
なお、以降の説明では特に断りがない限り、交差位置ｃｐに関して、図３のような車両１００に対して、例えば前方２ｍの位置に交差位置ｃｐがある場合には、前方２ｍとして表現し、図４のような車両１００に対して、例えば後方２ｍの位置に交差位置ｃｐがある場合には、後方２ｍとして表現する。交差位置検出部１８により検出された交差位置ｃｐは、交差位置情報として画面切替判定部２２に伝達される。
交差角度検出部１９は、画像認識部１３による画像認識処理結果に基づいて、直線形状または直線形状に沿って延長された直線形状延長線ｏｒのいずれか一方と、車両１００の車幅に沿って延長した車幅延長線ＣＷとが交差する交差角度θの検出を行う。上述のように、本実施形態では、直線形状とは白線の直線部分ｏｌである。したがって、交差角度検出部１９は、画像認識部１３による画像認識処理結果に基づいて、対象地物ｏａの直線部分ｏｌまたは直線部分ｏｌに沿って延長された直線形状延長線ｏｒのいずれか一方と、車両１００の車幅に沿って延長した車幅延長線ＣＷとが交差する交差角度θの検出を行う。
以下に、図３及び図４を用いて具体的に説明する。図３の場合には、交差角度検出部１９は、直線部分ｏｌに沿って延長された直線形状延長線ｏｒと、車幅延長線ＣＷとが交差する交差角度θの検出を行う。一方、図４の場合には、交差角度検出部１９は、直線部分ｏｌと、車幅延長線ＣＷとが交差する交差角度θの検出を行う。
なお、以降の説明では特に断りがない限り、交差角度θに関して、図３のような反時計方向の交差角度θも、図４のような時計方向の交差角度θも同様に扱って説明する。即ち、直線部分ｏｌまたは直線形状延長線ｏｒのいずれか一方と車幅延長線ＣＷとの交差角度θが８度以内と記載した場合には、反時計方向に対する交差角度θも、時計方向に対する交差角度θも８度以内であることを示すものとする。交差角度検出部１９により検出された交差角度θは、交差角度情報として画面切替判定部２２に伝達される。
舵角情報取得部２０は、車両１００のハンドルの舵角を示す舵角情報を取得する。ハンドルの舵角とは、運転者により操舵されたハンドルの切り角である。したがって、舵角情報取得部２０は、例えば、ハンドルの回転軸の回転角を検出する回転角検出センサから構成されると好適である。また、ハンドルの回転は、周知のように中立位置から時計方向の回転、或いは反時計方向の回転を行う。本実施形態においては、時計方向の回転及び反時計方向の回転を同様に説明する。即ち、舵角が３０度以上と記載した場合には、時計方向に対する舵角が３０度以上であることと、反時計方向に対する舵角が３０度以上であることとを含んで示すものとする。舵角情報取得部２０により取得された舵角情報は、画面切替判定部２２に伝達される。
画面切替判定部２２は、車両１００が、対象地物ｏａに接近する場合に、モニタ２４に表示する表示画像を車両１００の側方に係るサイド画像に切り替えるか否かを判定する。車両１００の側方に係るサイド画像とは、詳細は後述するが、車両１００の側方が含まれる画像であり、サイドカメラ１０により撮像された画像情報に基づく画像である。画像情報に基づく画像には、リアル画像及びバーチャル画像が含まれる。リアル画像とは、サイドカメラ１０により撮像された画像であり、バーチャル画像とは、サイドカメラ１０により撮像された画像を用いて生成された上視観図等のように視点変更が行われた画像である。また、バーチャル画像を生成する際、サイドカメラ１０により撮像された画像の他に、バックカメラ１１により撮像された画像を用いることも可能である。画面切替判定部２２は、上述の判定を予め設定された表示画面切替条件に基づいて判定する。本実施形態の場合、対象地物ｏａは白線である。このため、車両１００が、対象地物ｏａに接近するとは、車両１００が白線に接近していることを示す。したがって、画面切替判定部２２は、車両１００が、白線に接近する場合に、予め設定された表示画面切替条件を具備するか否かの判定を行う。
車両１００が、白線に接近するか否かの特定は、画像認識部１３から伝達される画像認識処理結果に基づいて行われる。上述のように、画像認識部１３は、開始条件を具備した場合に画像認識処理を開始し、画面切替判定部２２に画像認識処理結果を伝達する。したがって、現在の画像認識処理結果と所定時間前の画像認識処理結果とを比較することにより、車両１００が、白線に接近しているか否かを容易に特定することが可能である。画面切替判定部２２は、車両１００が、白線に接近していると特定した場合に、予め設定された表示画面切替条件を具備するか否かの判定を行う。
表示画面切替条件とは、後述の画像切替部２１が車両１００のモニタ２４に表示する表示画面を車両１００の側方に係るサイド画像に切り替える条件である。この表示画面切替条件は、後述の切替条件格納部２３に予め格納されている。また、表示画面切替条件は、詳細は後述するが、車両１００のシフト状態、車両１００の車速、白線の直線部分ｏｌまたは直線部分延長線ｏｒのいずれか一方と車幅延長線ＣＷとの交差位置ｃｐ、白線の直線部分ｏｌまたは直線部分延長線ｏｒのいずれか一方と車幅延長線ＣＷとの交差角度θ、ハンドルの舵角により規定されている。
上述のように、車両１００のシフト状態は、シフト情報取得部１６から伝達されるシフト情報に含まれている。また、車両１００の車速は、車速情報取得部１７から伝達される車速情報に含まれている。そして、白線の直線部分ｏｌまたは直線部分延長線ｏｒのいずれか一方と車幅延長線ＣＷとの交差位置ｃｐは、交差位置検出部１８から伝達される交差位置情報に含まれる。また、白線の直線部分ｏｌまたは直線部分延長線ｏｒのいずれか一方と車幅延長線ＣＷとの交差角度θは、交差角度検出部１９から伝達される交差角度情報に含まれている。更に、ハンドルの舵角は、舵角情報取得部２０から伝達される舵角情報に含まれている。
画面切替判定部２２は、切替条件格納部２３に格納されている表示画面切替条件を参照し、上述の各種情報に基づいて、表示画面切替条件を具備するか否かを判定する。この判定結果は、画像切替部２１に伝達される。
切替条件格納部２３は、画像切替部２１がモニタ２４に表示される表示画像の切り替えを行う表示画面切替条件が格納される。この表示画面切替条件は、上述のように、シフト状態、車速、交差位置ｃｐ、交差角度θ、ハンドルの舵角に基づいて決定される。具体的には、直線形状または直線形状に沿って延長された直線形状延長線ｏｒのいずれか一方と、車両１００の車幅に沿って延長した車幅延長線ＣＷとが交差する交差角度θに応じて規定される。また、車両１００の前進時における表示画面切替条件として、車両１００の速度と車両１００のハンドルの舵角とに応じて規定される。或いは、車両１００の前進時における他の表示画面切替条件として、直線形状または直線形状に沿って延長された直線形状延長線ｏｒのいずれか一方と、車両１００の車幅に沿って延長した車幅延長線ＣＷとが交差する交差位置ｃｐに応じて規定される。このようにして規定された表示画面切替条件の一例を図５に示す。
例えば、「Ｎｏ．１」で示された表示画面切替条件は「シフト状態が前進用のギヤ段」であり、且つ「交差位置ｃｐが前方１．５ｍ以内」であることを規定している。また、「Ｎｏ．２」で示された表示画面切替条件は「シフト状態が前進用のギヤ段」と「車速が３ｋｍ／ｈ以下」と「交差角度θが４度以内」と「舵角が９０度以上」とからなることを規定している。そして、「Ｎｏ．３」で示された表示画面切替条件は「シフト状態が後退用のギヤ段」であり、且つ「交差角度θが４度以内」であることを規定している。このような表示画面切替条件は、予め切替条件格納部２３に格納されているような構成であっても良いし、必要に応じてユーザにより表示画面切替条件を設定する構成であっても良い。そして、このような条件を具備した場合に、画像切替部２１により、サイド画像への切り替えが行われる。
画像切替部２１は、画面切替判定部２２の判定結果に応じて、モニタ２４の表示をサイド画像に切り替える。画像切替部２１には、画像情報取得部１２を介してサイドカメラ１０により撮像された画像情報と、バックカメラ１１により撮像された画像情報とが伝達される。更に、図示はしないが、画像切替部２１には、車両１００が備えるカーナビゲーションシステムの経路案内に係る画像情報や、テレビ放送の受信画像も画像情報として伝達される。画像切替部２１は、これらの画像情報を表示画像として、状況に応じて切り替えてモニタ２４に表示する。更には、シフト状態が後退用のギヤ段である場合には、車両１００が後退する可能性が高いことから、モニタ２４に図６（ａ）に示されるようなバックカメラ１１で撮像された撮像情報を表示させることも可能である。
画像切替部２１は、表示画面切替条件を具備した場合に、車両１００のモニタ２４に車両１００の側方を含むサイド画像を表示する。表示画面切替条件を具備するか否かの判定は画面切替判定部２２により行われ、判定結果は画像切替部２１に伝達される。サイド画像とは、本実施形態では、車両１００の側方を含む画像であり、サイドカメラ１０により撮像された画像情報に基づく画像である。したがって、画像切替部２１は、表示画面切替条件を具備した場合に、車両１００のモニタ２４にサイドカメラ１０により撮像された画像情報に基づく画像を表示する。なお、画像切替部２１により表示されるサイド画像は、モニタ２４の全面に表示する構成としても良いし、モニタ２４に元々表示されていた画像情報と共に、サイド画像を表示する構成としても良い。即ち、モニタ２４に元々バックカメラ１１で撮像された図６（ａ）のような車両１００の後方の撮像情報を表示していた場合に、当該撮像情報と共に、図６（ｂ）で示されるように、サイドカメラ１０で撮像されたサイド画像を表示することが可能である。
なお、画像切替部２１は、表示画面切替条件が具備したことを示す判定結果が伝達されない場合には、既に表示されている表示画像（例えば、カーナビゲーションシステムの経路案内に係る画像情報や、テレビ放送の受信画像の画像情報等）を継続してモニタ２４に表示するように決定する。このようにして、本周辺監視装置１は、車両１００の走行状態に応じて、適切に車両１００の周囲を表示することが可能となる。
このように、画像切替部２１は、表示画面切替条件を具備した場合にモニタ２４に車両１００の側方を含むサイド画像を表示する。画像切替部２１は、モニタ２４にサイド画像が表示されている状態を解除し、他の画像情報（例えば、カーナビゲーションシステムの経路案内に係る画像情報や、テレビ放送の受信画像に係る画像情報等）をモニタ２４に表示する切り替えも行う。この切り替えは、シフト状態、車速、交差位置ｃｐ、交差角度θ、ハンドルの舵角が、後述の解除条件格納部２５に格納される解除条件を具備するか否かを判定することにより行われる。この判定は、上述の画面切替判定部２２により行われる。
解除条件格納部２５は、解除条件が格納される。この解除条件は、上述のように、シフト状態、車速、交差位置ｃｐ、交差角度θ、ハンドルの舵角に基づいて決定される。具体的には、例えば、表示画面切替条件として、「シフト状態が前進用のギヤ段」を要件としている場合には、「シフト状態が後退用のギヤ段」に切り替えられたことを示すシフト情報がシフト情報取得部１６から伝達された際に、サイド画像の表示を解除する規定であると好適である。同様に、「シフト状態が後退用のギヤ段」を要件としている場合には、「シフト状態が前進用のギヤ段」に切り替えられたことをシフト情報がシフト情報取得部１６から伝達された際に、サイド画像の表示を解除する規定とすることも可能である。
或いは、「車速が２０ｋｍ／ｈより速い」ことを示す車速情報が車速情報取得部１７により伝達された場合に、サイド画像の表示を解除する構成とすることも可能である。このような表示画像をサイド画像から他の画像情報に切り替える解除条件を、解除条件格納部２５に格納しておき、切替条件判定部２２が解除条件格納部２５の解除条件を参照する構成とすると好適である。
画面切替判定部２２により、車両１００のシフト状態、車速、交差位置ｃｐ、交差角度θ、ハンドルの舵角が、解除条件格納部２５に格納される解除条件を具備すると判定された場合には、画面切替判定部２２は、画像切替部２１に対して判定結果を伝達する。画像切替部２１は、当該判定結果を受けて、モニタ２４に表示しているサイド画像を解除し、元々モニタ２４に表示していた画像情報のみを表示するように決定する。このようにして、画像切替部２１は、モニタ２４の表示をサイド画像から他の画像情報に切り替えることが可能となる。
次に、本周辺監視装置１により行われる制御に関してフローチャートを用いて説明する。図７は、当該周辺監視装置１の制御に関するフローチャートである。まず、画像情報取得部１２が画像情報の取得を開始する（ステップ＃０１）。以降の処理においては、処理が終了するまで、継続して画像情報の取得が行われる。そして、シフト情報取得部１６及び車速情報取得部１７により、夫々、シフト情報及び車速情報が取得される（ステップ＃０２）。これらのシフト情報及び車速情報は、開始条件判定部１５に伝達される。
次に、開始条件判定部１５が、シフト情報及び車速情報に基づいて、開始条件を具備するか否かの判定を行う。開始条件を具備しない場合には（ステップ＃０３：Ｎｏ）、ステップ＃０２に戻り、継続してシフト情報及び車速情報の取得が行われる（ステップ＃０２）。なお、この開始条件は、開始条件格納部１４に格納される。
ステップ＃０３において、シフト情報及び車速情報が開始条件を具備すると判定された場合には（ステップ＃０３：Ｙｅｓ）、画像認識部１３が画像情報取得部１２から伝達される画像情報に対して、画像認識処理を開始する（ステップ＃０４）。
そして、シフト情報取得部１６、車速情報取得部１７、交差位置検出部１８、交差角度検出部１９、舵角情報取得部２０により、夫々、シフト情報、車速情報、交差位置情報、交差角度情報、舵角情報が取得される（ステップ＃０５）。これらのシフト情報、車速情報、交差位置情報、交差角度情報、舵角情報は、画面切替判定部２２に伝達される。
次に、画面切替判定部２２が、シフト情報、車速情報、交差位置情報、交差角度情報、舵角情報に基づいて、表示画面切替条件を具備するか否かの判定を行う。表示画面切替条件を具備しない場合には（ステップ＃０６：Ｎｏ）、ステップ＃０５に戻り、継続してシフト情報、車速情報、交差位置情報、交差角度情報、舵角情報の取得が行われる（ステップ＃０５）。なお、この表示画面切替条件は、切替条件格納部２３に格納される。
ステップ＃０６において、シフト情報、車速情報、交差位置情報、交差角度情報、舵角情報が表示画面切替条件を具備すると判定された場合には（ステップ＃０６：Ｙｅｓ）、画像切替部２１がモニタ２４に車両１００の側方を含むサイド画像を表示する（ステップ＃０７）。
そして、当該サイド画像をモニタ２４に表示しつつ、シフト情報取得部１６、車速情報取得部１７、交差位置検出部１８、交差角度検出部１９、舵角情報取得部２０により、夫々、シフト情報、車速情報、交差位置情報、交差角度情報、舵角情報が取得される（ステップ＃０８）。
次に、画面切替判定部２２が、シフト情報、車速情報、交差位置情報、交差角度情報、舵角情報に基づいて、解除条件を具備するか否かの判定を行う。解除条件を具備しない場合には（ステップ＃０９：Ｎｏ）、ステップ＃０７に戻り、継続してモニタ２４にサイド画像が表示される（ステップ＃０７）。なお、この解除条件は、解除条件格納部２５に格納される。
ステップ＃０９において、シフト情報、車速情報、交差位置情報、交差角度情報、舵角情報が解除条件を具備すると判定された場合には（ステップ＃０９：Ｙｅｓ）、画像切替部２１がモニタ２４の表示を車両１００の側方を含むサイド画像から、他の表示画像に切り替える（ステップ＃１０）。他の画像とは、例えば、車両１００が備えるカーナビゲーションシステムの経路案内に係る画像情報や、テレビ放送の受信画像に係る画像情報等であると好適である。そして、ステップ＃０２に戻り、処理が継続される。このように本周辺監視装置１は、車両１００の走行状態に応じて、適切に車両１００の周囲を表示することが可能となる。
〔その他の実施形態〕
上記実施形態では、サイド画像が、サイドカメラ１０により撮像された画像情報に基づく画像であるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。例えば、画像認識部１３が行う画像認識処理を、バックカメラ１１により撮像された画像情報を用いて行われると共に、画像切替部２１により切り替えられるサイド画像が、サイドカメラ１０により撮像された画像情報に基づく画像とすることも可能である。このような構成とすれば、バックカメラ１１により撮像された画像情報に基づいて、交差位置ｃｐや交差角度θの検出を行うことも可能である。
上記実施形態では、サイド画像への切り替えが、車両１００の前進時に、交差位置ｃｐが車両１００から所定距離以内である場合に行われるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。車両１００の後退時に、交差位置ｃｐが車両１００から所定距離以内である場合に、サイド画像への切り替えを行う構成とすることも当然に可能である。
上記実施形態では、画像切替部２１により切り替えられるサイド画像は、サイドカメラ１０により撮像された画像情報であるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。例えば、サイド画像を、バックカメラ１１により撮像された車両１００の側方を含む画像情報とすることも可能である。また、サイド画像として、サイドカメラ１０やバックカメラ１１により撮像された画像情報に基づいて生成された、少なくとも車両１００の周囲が含まれる画像情報とすることも可能である。
上記実施形態では、開始条件格納部１４に格納される開始条件、切替条件格納部２３に格納される表示画面切替条件、及び解除条件格納部２５に格納される解除条件に関して、具体的数値を記載して説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。上述の具体的数値は、単なる一例であり、車両１００の大きさや高さやユーザの希望等に応じて、各条件を他の数値で規定することは、当然に可能である。
上記実施形態では、画像切替部２１が、モニタ２４に表示される表示画像を、元々モニタ２４に表示されていた画像情報と共に、車両１００の側方を含むサイド画像を表示するとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。例えば、画像切替部２１は、モニタ２４に元々表示されていた画像情報に代えて、車両１００の側方を含むサイド画像を表示するようにしても良い。
本発明によれば、車両の走行状態に応じて、適切に車両の周囲を表示することが可能となる。したがって、車庫入れや縦列駐車を行う場合や、道路の端に車両を寄せる場合等の安全確認の用に供するものに利用することが可能である。また、車両の左折時の巻き込み防止の用に供するものに利用することも可能である。
本発明に係る周辺監視装置の概略構成を模式的に示すブロック図 車両に搭載される撮像装置と、当該撮像装置の撮像領域と、車幅延長線を示す図 対象地物を白線とした場合の対象地物と車両との位置関係を示す図 対象地物を白線とした場合の対象地物と車両との位置関係を示す図 表示画面切替条件の一例を示すテーブル モニタの表示をサイド画像を含む画像に切り替えた場合の例を示す図 周辺監視装置の制御に関するフローチャート
符号の説明
１：周辺監視装置
１０：サイドカメラ（撮像装置）
１１：バックカメラ（撮像装置）
１２：画像情報取得部
１３：画像認識部
１４：開始条件格納部
１５：開始条件判定部
１６：シフト情報取得部
１７：車速情報取得部
１８：交差位置検出部
１９：交差角度検出部
２０：舵角情報取得部
２１：画像切替部
２２：画面切替判定部
２３：切替条件格納部
２４：モニタ
２５：解除条件格納部

Claims (6)

  1. 車両の周辺を表示するモニタを備えた周辺監視装置であって、
    前記車両に搭載された撮像装置により撮像した画像情報を取得する画像情報取得部と、
    前記車両の側方に存在する直線形状を対象地物とし、前記画像情報に含まれる前記対象地物の画像認識処理を行う画像認識部と、
    前記車両が、前記対象地物に接近する場合に、前記モニタに表示する表示画像を前記車両の側方に係るサイド画像に切り替えるか否かを判定する画面切替判定部と、
    前記画面切替判定部の判定結果に応じて、前記モニタの表示を前記サイド画像に切り替える画像切替部と、
    を備える周辺監視装置。
  2. 前記撮像装置として、前記車両の側方を撮像するサイドカメラを備え、
    前記画像認識処理が、前記サイドカメラにより撮像された画像情報を用いて行われると共に、
    前記サイド画像が前記サイドカメラにより撮像された画像情報に基づく画像である請求項１に記載の周辺監視装置。
  3. 前記撮像装置として、前記車両の側方を撮像するサイドカメラと前記車両の後方を撮像するバックカメラとを備え、
    前記画像認識処理が、前記バックカメラにより撮像された画像情報を用いて行われると共に、
    前記サイド画像が前記サイドカメラにより撮像された画像情報に基づく画像である請求項１に記載の周辺監視装置。
  4. 前記サイド画像への切り替えが、前記直線形状または前記直線形状に沿って延長された直線形状延長線のいずれか一方と、前記車両の車幅に沿って延長した車幅延長線とが交差する交差角度が所定角度以内である場合に行われる請求項１から３のいずれか一項に記載の周辺監視装置。
  5. 前記サイド画像への切り替えが、前記車両の前進時に、前記車両の速度が所定速度以下であり、且つ、前記車両のハンドルの舵角が所定角度以上である場合に行われる請求項１から４のいずれか一項に記載の周辺監視装置。
  6. 前記サイド画像への切り替えが、前記車両の前進時に、前記直線形状または前記直線形状に沿って延長された直線形状延長線のいずれか一方と、前記車両の車幅に沿って延長した車幅延長線とが交差する交差位置が前記車両から所定距離以内である場合に行われる請求項１から３のいずれか一項に記載の周辺監視装置。
JP2008127257A 2008-05-14 2008-05-14 周辺監視装置 Active JP4716139B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2008127257A JP4716139B2 (ja) 2008-05-14 2008-05-14 周辺監視装置
US12/934,017 US20110018991A1 (en) 2008-05-14 2009-04-23 Periphery monitoring apparatus
CN200980110384XA CN101978695B (zh) 2008-05-14 2009-04-23 周边监视装置
PCT/JP2009/058063 WO2009139281A1 (ja) 2008-05-14 2009-04-23 周辺監視装置
KR1020107020817A KR101229159B1 (ko) 2008-05-14 2009-04-23 주변감시장치
EP09746488A EP2257066B1 (en) 2008-05-14 2009-04-23 Periphery monitoring apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008127257A JP4716139B2 (ja) 2008-05-14 2008-05-14 周辺監視装置

Publications (2)

Publication Number Publication Date
JP2009278349A true JP2009278349A (ja) 2009-11-26
JP4716139B2 JP4716139B2 (ja) 2011-07-06

Family

ID=41318653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008127257A Active JP4716139B2 (ja) 2008-05-14 2008-05-14 周辺監視装置

Country Status (6)

Country Link
US (1) US20110018991A1 (ja)
EP (1) EP2257066B1 (ja)
JP (1) JP4716139B2 (ja)
KR (1) KR101229159B1 (ja)
CN (1) CN101978695B (ja)
WO (1) WO2009139281A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012066700A (ja) * 2010-09-24 2012-04-05 Denso Corp 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム
JP2018101957A (ja) * 2016-12-21 2018-06-28 トヨタ自動車株式会社 車両周辺監視装置
US10046701B2 (en) 2012-07-20 2018-08-14 Toyota Jidosha Kabushiki Kaisha Vehicle periphery monitoring device and vehicle periphery monitoring system
JP2019029757A (ja) * 2017-07-27 2019-02-21 株式会社Ｊｖｃケンウッド 表示制御装置、表示システム、表示制御方法、及び、プログラム
JP2019029758A (ja) * 2017-07-27 2019-02-21 株式会社Ｊｖｃケンウッド 表示制御装置、表示システム、表示制御方法、及び、プログラム

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010034139A1 (de) 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung eines Parkvorgangs eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
CN103609100B (zh) * 2011-06-09 2017-09-29 爱信精机株式会社 图像生成装置
FR2977550B1 (fr) * 2011-07-08 2013-08-09 Peugeot Citroen Automobiles Sa Dispositif d'aide pour mettre a la disposition d'un conducteur, de facon anticipee, une image de synthese representative d'une zone choisie entourant son vehicule
KR101340738B1 (ko) * 2011-11-08 2013-12-12 엘지이노텍 주식회사 주차 보조 시스템
JP5935655B2 (ja) * 2012-10-24 2016-06-15 株式会社デンソー 情報表示装置
KR101896715B1 (ko) * 2012-10-31 2018-09-07 현대자동차주식회사 주변차량 위치 추적 장치 및 방법
US10699541B2 (en) * 2013-12-17 2020-06-30 Sharp Kabushiki Kaisha Recognition data transmission device
FR3017850B1 (fr) * 2014-02-21 2016-02-26 Peugeot Citroen Automobiles Sa Dispositif d'aide au stationnement a detection d'entree ou de sortie de zone de stationnement, pour un conducteur de vehicule
JP6252316B2 (ja) * 2014-03-31 2017-12-27 株式会社デンソー 車両用表示制御装置
KR101579100B1 (ko) * 2014-06-10 2015-12-22 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
JP6206395B2 (ja) * 2014-12-26 2017-10-04 トヨタ自動車株式会社 電子ミラー装置
EP3551966B1 (en) * 2016-12-06 2021-03-03 Nissan North America, Inc. Solution path overlay interfaces for autonomous vehicles
CN106915304A (zh) * 2017-02-27 2017-07-04 北京新能源汽车股份有限公司 一种车辆的控制方法、控制装置、车辆控制系统及汽车
JP6658642B2 (ja) * 2017-03-24 2020-03-04 トヨタ自動車株式会社 車両用視認装置
JP7000787B2 (ja) * 2017-10-12 2022-01-19 株式会社アイシン 周辺監視装置
CN108162860A (zh) * 2018-01-17 2018-06-15 中国铁道科学研究院 一种车辆导引辅助管理系统及车辆导引方法
US10900857B2 (en) * 2018-06-06 2021-01-26 Ford Global Technologies, Llc Methods and systems for fluid leak determination

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000055659A (ja) * 1998-08-07 2000-02-25 Mazda Motor Corp 車両の位置検出装置
JP2002225629A (ja) * 2001-02-05 2002-08-14 Sony Corp 車両用監視装置
JP2003137051A (ja) * 2001-10-31 2003-05-14 Toyota Motor Corp 車両用周辺監視装置
JP2004102827A (ja) * 2002-09-11 2004-04-02 Nissan Motor Co Ltd 車両周辺監視装置
JP2004203365A (ja) * 2002-11-01 2004-07-22 Yazaki Corp 駐車支援装置
JP2006180446A (ja) * 2004-11-26 2006-07-06 Nissan Motor Co Ltd 映像撮像装置及び映像撮像方法
JP2007233430A (ja) * 2006-02-27 2007-09-13 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
JP2008306402A (ja) * 2007-06-06 2008-12-18 Auto Network Gijutsu Kenkyusho:Kk 車載撮像表示装置
JP2009118245A (ja) * 2007-11-07 2009-05-28 Autonetworks Technologies Ltd 車載撮像表示装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5289321A (en) * 1993-02-12 1994-02-22 Secor James O Consolidated rear view camera and display system for motor vehicle
US5680123A (en) * 1996-08-06 1997-10-21 Lee; Gul Nam Vehicle monitoring system
JP4114292B2 (ja) * 1998-12-03 2008-07-09 アイシン・エィ・ダブリュ株式会社 運転支援装置
JP4918200B2 (ja) * 2001-04-24 2012-04-18 パナソニック株式会社 駐車運転支援装置
JP4380550B2 (ja) * 2004-03-31 2009-12-09 株式会社デンソー 車載用撮影装置
DE102004019337A1 (de) * 2004-04-21 2005-11-17 Siemens Ag Assistenzsystem für Kraftfahrzeuge
JP2007223338A (ja) 2004-07-12 2007-09-06 Sharp Corp 表示システム、移動体、表示方法、表示プログラムおよびその記録媒体

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000055659A (ja) * 1998-08-07 2000-02-25 Mazda Motor Corp 車両の位置検出装置
JP2002225629A (ja) * 2001-02-05 2002-08-14 Sony Corp 車両用監視装置
JP2003137051A (ja) * 2001-10-31 2003-05-14 Toyota Motor Corp 車両用周辺監視装置
JP2004102827A (ja) * 2002-09-11 2004-04-02 Nissan Motor Co Ltd 車両周辺監視装置
JP2004203365A (ja) * 2002-11-01 2004-07-22 Yazaki Corp 駐車支援装置
JP2006180446A (ja) * 2004-11-26 2006-07-06 Nissan Motor Co Ltd 映像撮像装置及び映像撮像方法
JP2007233430A (ja) * 2006-02-27 2007-09-13 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
JP2008306402A (ja) * 2007-06-06 2008-12-18 Auto Network Gijutsu Kenkyusho:Kk 車載撮像表示装置
JP2009118245A (ja) * 2007-11-07 2009-05-28 Autonetworks Technologies Ltd 車載撮像表示装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012066700A (ja) * 2010-09-24 2012-04-05 Denso Corp 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム
CN102416906A (zh) * 2010-09-24 2012-04-18 株式会社电装 用于将车辆倒进停车场的停车支持设备及其方法
US10046701B2 (en) 2012-07-20 2018-08-14 Toyota Jidosha Kabushiki Kaisha Vehicle periphery monitoring device and vehicle periphery monitoring system
US10556541B2 (en) 2012-07-20 2020-02-11 Toyota Jidosha Kabushiki Kaisha Vehicle periphery monitoring device and vehicle periphery monitoring system
JP2018101957A (ja) * 2016-12-21 2018-06-28 トヨタ自動車株式会社 車両周辺監視装置
US10882450B2 (en) 2016-12-21 2021-01-05 Toyota Jidosha Kabushiki Kaisha Vehicle periphery monitoring apparatus
JP2019029757A (ja) * 2017-07-27 2019-02-21 株式会社Ｊｖｃケンウッド 表示制御装置、表示システム、表示制御方法、及び、プログラム
JP2019029758A (ja) * 2017-07-27 2019-02-21 株式会社Ｊｖｃケンウッド 表示制御装置、表示システム、表示制御方法、及び、プログラム

Also Published As

Publication number Publication date
JP4716139B2 (ja) 2011-07-06
EP2257066B1 (en) 2012-12-12
KR101229159B1 (ko) 2013-02-01
EP2257066A1 (en) 2010-12-01
US20110018991A1 (en) 2011-01-27
EP2257066A4 (en) 2011-04-27
KR20100119573A (ko) 2010-11-09
CN101978695B (zh) 2013-03-27
WO2009139281A1 (ja) 2009-11-19
CN101978695A (zh) 2011-02-16

Similar Documents

Publication Publication Date Title
JP4716139B2 (ja) 周辺監視装置
CN109455222B (zh) 驻车辅助装置
JP5182545B2 (ja) 駐車支援装置
JP5003946B2 (ja) 駐車支援装置
JP2010034645A (ja) 駐車支援装置および駐車支援方法
JP2009292339A (ja) 駐車支援装置
JP2005112267A (ja) 車両用後退支援装置および車両用後退支援方法
JP2007221200A (ja) 車両周辺監視装置
JP4766314B2 (ja) 車両運転支援装置
JP5400316B2 (ja) 駐車支援装置
JP5169912B2 (ja) 駐車支援装置
JP5617396B2 (ja) 運転支援装置
JP2014199677A (ja) 運転支援装置
JP6932631B2 (ja) 画像表示装置及び運転支援システム
JP5041165B2 (ja) 案内制御装置、案内制御方法、及び案内制御プログラム
JP2004106615A (ja) 駐車支援システム
JP2010184606A (ja) 車両周辺表示装置
JP4096251B2 (ja) 車両の周辺監視装置
JP5340800B2 (ja) 車両運転支援装置
WO2011135671A1 (ja) 駐車支援装置
JP2009232331A (ja) 車両運転支援装置
JP2007098979A (ja) 駐車支援装置
JP5018238B2 (ja) 車両用駐車支援装置
JP2018062222A (ja) 車両用周辺監視方法及び車両用周辺監視装置
JP2008221942A (ja) 駐車支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100908

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20100909

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20100922

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20101026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110316

R151 Written notification of patent or utility model registration

Ref document number: 4716139

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3