JP2010015346A - 周辺監視装置 - Google Patents
周辺監視装置 Download PDFInfo
- Publication number
- JP2010015346A JP2010015346A JP2008174190A JP2008174190A JP2010015346A JP 2010015346 A JP2010015346 A JP 2010015346A JP 2008174190 A JP2008174190 A JP 2008174190A JP 2008174190 A JP2008174190 A JP 2008174190A JP 2010015346 A JP2010015346 A JP 2010015346A
- Authority
- JP
- Japan
- Prior art keywords
- image
- current
- vehicle
- obstacle
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title abstract description 12
- 240000004050 Pentaglottis sempervirens Species 0.000 claims abstract description 86
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 86
- 238000001514 detection method Methods 0.000 claims description 128
- 238000006243 chemical reaction Methods 0.000 claims description 59
- 238000012806 monitoring device Methods 0.000 claims description 20
- 230000002093 peripheral effect Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims 11
- 230000003111 delayed effect Effects 0.000 description 44
- 230000009466 transformation Effects 0.000 description 27
- 238000000034 method Methods 0.000 description 17
- 238000006073 displacement reaction Methods 0.000 description 8
- 101100425598 Solanum lycopersicum tm-1 gene Proteins 0.000 description 7
- 238000005259 measurement Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
Abstract
【課題】停車中においても立体物である障害物を検出することのできる「周辺監視装置」を提供する。
【解決手段】自動車の駐停車が発生したならば、制御部１２は、駐停車直前の走行中にリアカメラ１で撮影した撮影画像を視点変換した俯瞰画像を保存する（ｃ３）よう制御する。以降、停車中は、各時点において撮影した撮影画像の俯瞰画像（ｃ１）と、保存しておいた俯瞰画像との、同一被写領域に対応する画像部分の差分より（ｄ２、ｅ２）、障害物を検出する。
【選択図】図５
【解決手段】自動車の駐停車が発生したならば、制御部１２は、駐停車直前の走行中にリアカメラ１で撮影した撮影画像を視点変換した俯瞰画像を保存する（ｃ３）よう制御する。以降、停車中は、各時点において撮影した撮影画像の俯瞰画像（ｃ１）と、保存しておいた俯瞰画像との、同一被写領域に対応する画像部分の差分より（ｄ２、ｅ２）、障害物を検出する。
【選択図】図５
Description
本発明は、自動車周辺の障害物等を監視する技術に関するものである。
自動車周辺の障害物等を監視する技術としては、自動車の走行中に、異なる時点において異なる位置から撮影した複数の自動車周辺の画像に写り込んだ被写体の、撮影位置の相違に寄らない形状の変化に基づいて、自動車周辺の立体物を検出する技術が知られている（たとえば、特許文献１）。
また、被写領域が重複するように複数のカメラによって自動車周辺を撮影した複数の画像の各々に視点変換を施して、自動車周辺を俯瞰した画像である俯瞰画像を複数生成し、生成した複数の俯瞰画像の同一の被写領域を表す部分間の差分に基づいて自動車周辺の立体物を検出する技術も知られている（たとえば、特許文献２）。
特開平10-222679号公報
特開2006-339960号公報
前記特許文献２記載の技術によれば、自動車周辺の立体物を検出するために複数のカメラが必要となる。
一方、前記特許文献２記載の技術に前記特許文献１記載の技術を適用し、自動車の走行中に、単一のカメラを用いて異なる時点において異なる位置から撮影した自動車周辺の複数の画像の各々に視点変換を施して、自動車周辺を俯瞰した画像である俯瞰画像を複数生成し、生成した複数の俯瞰画像の同一の被写領域を表す部分間の差分に基づいて自動車周辺の立体物を検出するようにすれば、単一のカメラを用いて自動車周辺の立体物を検出することができるようになる。
一方、前記特許文献２記載の技術に前記特許文献１記載の技術を適用し、自動車の走行中に、単一のカメラを用いて異なる時点において異なる位置から撮影した自動車周辺の複数の画像の各々に視点変換を施して、自動車周辺を俯瞰した画像である俯瞰画像を複数生成し、生成した複数の俯瞰画像の同一の被写領域を表す部分間の差分に基づいて自動車周辺の立体物を検出するようにすれば、単一のカメラを用いて自動車周辺の立体物を検出することができるようになる。
しかしながら、自動車の停止中は、異なる時点において撮影される自動車周辺の画像が全て同じ位置から自動車周辺を撮影した画像となり差分が発生しないため、単一のカメラを用いて自動車周辺の立体物を検出することはできない。
そこで、本発明は、自動車の停車中においても、自動車周辺の立体物である障害物を検出できる周辺監視装置を提供することを課題とする。
そこで、本発明は、自動車の停車中においても、自動車周辺の立体物である障害物を検出できる周辺監視装置を提供することを課題とする。
前記課題達成のために、本発明は、自動車に搭載される周辺監視装置に、前記自動車の周辺を撮影するカメラと、前記自動車が走行中であるか停止中であるかを検出する走行中有無検出部と、前記自動車の停止が発生したときに、当該停止前に前記カメラで撮影した画像を停止前画像として保存する画像保存部と、前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記カメラで撮影した現在の画像と、前記画像保存部が保存している停止前画像との差分に基づいて、前記自動車周辺の障害物を検出する障害物検出部とを備えたものである。
このような周辺監視装置によれば、自動車の停止時に、停止前に撮影した自動車周辺の画像を停止前画像として保存しておき、自動車の停止中は、各時点で撮影した現在の画像と、前記画像保存部が保存している停止前画像との差分に基づいて、前記自動車周辺の障害物を検出する。ここで、停止前画像として保存される停止前に撮影した自動車周辺の画像は、自動車の停止中に撮影される画像とは、異なる地点から自動車周辺を撮影したものとなる。よって、このようにすることにより、自動車の停車中においても、自動車周辺の立体物である障害物を検出することができるようになる。
なお、このような周辺監視装置は、前記障害物検出部において、前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記カメラで撮影した現在の画像と、前記画像保存部が保存している停止前画像との差分に加え、前記カメラで撮影した現在の画像と当該現在の画像の前に前記カメラで撮影した画像との差分に基づいて、前記自動車周辺の障害物を検出するように構成してもよい。
このようにすることにより、自動車周辺で現時点において移動している障害物を検出することができるようになる。
また、以上のような周辺監視装置は、前記障害物検出部において、前記走行中有無検出部が前記自動車が走行中であることを検出している期間中、前記カメラで撮影した現在の画像と当該現在の画像の前に前記カメラで撮影した画像との差分に基づいて、前記自動車周辺の障害物を検出するように構成してもよい。
また、以上のような周辺監視装置は、前記障害物検出部において、前記走行中有無検出部が前記自動車が走行中であることを検出している期間中、前記カメラで撮影した現在の画像と当該現在の画像の前に前記カメラで撮影した画像との差分に基づいて、前記自動車周辺の障害物を検出するように構成してもよい。
このようにすることにより、自動車の走行中に自動車周辺に位置する立体物や移動体である障害物も検出することができるようになる。
なお、以上のような障害物検出部における障害物の検出は、カメラで撮影した画像を視点変換して生成した、前記自動車の周辺を上方より観察したようすを表す俯瞰画像に基づいて行うようにしてもよい。
すなわち、この場合には、たとえば、前記カメラで撮影した画像を視点変換して生成した、前記自動車の周辺を上方より観察したようすを表す俯瞰画像を生成する視点変換部をさらに備え、前記画像保存部において、前記自動車の停止が発生したときに、前記視点変換部により生成された前記俯瞰画像を前記停止前画像として保存し、前記障害物検出部において、前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記カメラで撮影した現在の画像を視点変換して生成した現時点俯瞰画像と、前記画像保存部が保存している停止前画像との同一の被写領域に対応する画像部分間の差分に基づいて前記自動車周辺の障害物を検出するようにしてもよい。
なお、以上のような障害物検出部における障害物の検出は、カメラで撮影した画像を視点変換して生成した、前記自動車の周辺を上方より観察したようすを表す俯瞰画像に基づいて行うようにしてもよい。
すなわち、この場合には、たとえば、前記カメラで撮影した画像を視点変換して生成した、前記自動車の周辺を上方より観察したようすを表す俯瞰画像を生成する視点変換部をさらに備え、前記画像保存部において、前記自動車の停止が発生したときに、前記視点変換部により生成された前記俯瞰画像を前記停止前画像として保存し、前記障害物検出部において、前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記カメラで撮影した現在の画像を視点変換して生成した現時点俯瞰画像と、前記画像保存部が保存している停止前画像との同一の被写領域に対応する画像部分間の差分に基づいて前記自動車周辺の障害物を検出するようにしてもよい。
また、この場合には、前記障害物検出部において、前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記現時点俯瞰画像と、前記画像保存部が保存している停止前画像との同一の被写領域に対応する画像部分間の差分に加え、前記現時点俯瞰画像と前記現時点俯瞰画像より前に生成された俯瞰画像との差分のみに基づいて、前記自動車周辺の障害物を検出するようにしてもよい。
また、車両の走行中には、前記障害物検出部において、前記走行中有無検出部が前記自動車が走行中であることを検出している期間中は、前記現時点俯瞰画像と、前記現時点俯瞰画像より前に生成された俯瞰画像との差分に基づいて、前記自動車周辺の障害物を検出するようにしてよい。
以上のように、本発明によれば、自動車の停車中においても、自動車周辺の立体物である障害物を検出できる周辺監視装置を提供することができる。
以下、本発明の実施形態を説明する。
図１ａに、本実施形態に係る周辺監視システムの構成を示す。
周辺監視システムは自動車に搭載されるシステムであり、図示するように、周辺監視システムは、リアカメラ１、カレント画像バッファ２、視点変換部３、第１参照画像バッファ４、第２参照画像バッファ５、セレクタ６、射影変換部７、差分画像生成部８、障害物検出部９、障害物表示画像生成部１０、表示装置１１、制御部１２、車両状態センサ１３、警告音出力部１４、スピーカ１５とを備えている。
図１ａに、本実施形態に係る周辺監視システムの構成を示す。
周辺監視システムは自動車に搭載されるシステムであり、図示するように、周辺監視システムは、リアカメラ１、カレント画像バッファ２、視点変換部３、第１参照画像バッファ４、第２参照画像バッファ５、セレクタ６、射影変換部７、差分画像生成部８、障害物検出部９、障害物表示画像生成部１０、表示装置１１、制御部１２、車両状態センサ１３、警告音出力部１４、スピーカ１５とを備えている。
ここで、リアカメラ１は、図１ｂに示すように自動車の後部に配置され、自動車後方を撮影する広角のカメラである。また、車両状態センサ１３は、自動車の車速やパーキングブレーキの制動状態や舵角や角速度などの、自動車の各種状態を検出するセンサである。
なお、周辺監視システムは、ハードウエアとしては、マイクロプロセッサやメモリやその他の周辺装置を備えたコンピュータを用いて構成することもでき、この場合、リアカメラ１と表示装置１１を除く周辺監視システムの各部は、マイクロプロセッサが所定のプログラムを実行することにより実現されるものであってよい。
以下、このような車載監視システムの動作について説明する。
ここで、制御部１２は、画像撮影周期毎に、車両状態センサ１３で検出した車速や舵角や角速度より、前回測定時以後の自動車の位置と向きの変化量を車両変位情報として測定する。
一方、リアカメラ１は、画像撮影周期毎に、自動車後方を撮影した画像をカレント撮影画像としてカレント画像バッファ２に格納する。但し、ここでは、リアカメラ１は、被写体の左右を反転した鏡像画像を撮影画像として出力するものとする。なお、リアカメラ１としては、被写体の左右を反転しない正像画像を撮影画像として出力するものを用いるようにすることもできる。
カレント画像バッファ２は、画像撮影周期毎に、格納しているカレント撮影画像を、視点変換部３と障害物表示画像生成部１０に出力する。
そして、視点変換部３は、カレント画像バッファ２から入力するカレント撮影画像に視点変換処理を施して自動車後方を上方より俯瞰した俯瞰画像をカレント俯瞰画像として生成し、差分画像生成部８に出力すると共に、第１参照画像バッファ４と第２参照画像バッファ５とのうちの、遅延画像バッファに設定されている方に遅延俯瞰画像として格納する。
ここで、制御部１２は、画像撮影周期毎に、車両状態センサ１３で検出した車速や舵角や角速度より、前回測定時以後の自動車の位置と向きの変化量を車両変位情報として測定する。
一方、リアカメラ１は、画像撮影周期毎に、自動車後方を撮影した画像をカレント撮影画像としてカレント画像バッファ２に格納する。但し、ここでは、リアカメラ１は、被写体の左右を反転した鏡像画像を撮影画像として出力するものとする。なお、リアカメラ１としては、被写体の左右を反転しない正像画像を撮影画像として出力するものを用いるようにすることもできる。
カレント画像バッファ２は、画像撮影周期毎に、格納しているカレント撮影画像を、視点変換部３と障害物表示画像生成部１０に出力する。
そして、視点変換部３は、カレント画像バッファ２から入力するカレント撮影画像に視点変換処理を施して自動車後方を上方より俯瞰した俯瞰画像をカレント俯瞰画像として生成し、差分画像生成部８に出力すると共に、第１参照画像バッファ４と第２参照画像バッファ５とのうちの、遅延画像バッファに設定されている方に遅延俯瞰画像として格納する。
ここで、第１参照画像バッファ４と第２参照画像バッファ５とは、制御部１２が行う後述する検出方式切替処理によって、交互に遅延画像バッファに設定され、遅延画像バッファに設定された参照画像バッファは、遅延俯瞰画像を画像撮影周期毎に格納するために用いられる。また、第１参照画像バッファ４と第２参照画像バッファ５とは、遅延画像バッファに設定されていないときに、検出方式切替処理によって、固定画像バッファに設定されることがあり、第１参照画像バッファ４や第２参照画像バッファ５は、固定画像バッファに設定されているときには、固定画像バッファに設定された時点で格納していた遅延俯瞰画像を以降、固定俯瞰画像として、固定画像バッファに設定されている間保持し続ける。
ここで、このような遅延画像バッファと固定画像バッファの設定を行う検出方式切替処理について説明する。
図２に、制御部１２が行う検出方式切替処理の手順について説明する。
図示するように、この処理では、まず、第１参照画像バッファ４を、遅延画像バッファに設定し（ステップ２０２）、障害物の検出方式として、（カレント俯瞰画像-遅延俯瞰画像）を設定する（ステップ２０４）。この、（カレント俯瞰画像-遅延俯瞰画像）の障害物の検出方式の詳細については後述する。
図２に、制御部１２が行う検出方式切替処理の手順について説明する。
図示するように、この処理では、まず、第１参照画像バッファ４を、遅延画像バッファに設定し（ステップ２０２）、障害物の検出方式として、（カレント俯瞰画像-遅延俯瞰画像）を設定する（ステップ２０４）。この、（カレント俯瞰画像-遅延俯瞰画像）の障害物の検出方式の詳細については後述する。
次に、車両状態センサ１３で検出している車速やパーキングブレーキの制動状態等に基づいて、自動車が走行を開始するのを待ち（ステップ２０６）、走行を開始したならば、自動車の駐停車が発生するのを待つ（ステップ２０８）。
そして、自動車の駐停車が発生したならば（ステップ２０８）、車両の停止が検出されたときに測定した、車両の停止直前の画像撮影周期から停止直後の画像撮影周期までの自動車の位置と向きの変化量を表す車両変位情報を、停止時変位情報として保存する。また、第１参照画像バッファ４と第２参照画像バッファ５とのうちの、現在、遅延画像バッファに設定されている方の参照画像バッファを、固定画像バッファに設定し、他方の参照画像バッファを遅延画像バッファに設定する（ステップ２１０）。また、障害物の検出方式として、｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝を設定する（ステップ２１２）。この、｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝の障害物の検出方式の詳細については後述する。
そして、自動車の駐停車が発生したならば（ステップ２０８）、車両の停止が検出されたときに測定した、車両の停止直前の画像撮影周期から停止直後の画像撮影周期までの自動車の位置と向きの変化量を表す車両変位情報を、停止時変位情報として保存する。また、第１参照画像バッファ４と第２参照画像バッファ５とのうちの、現在、遅延画像バッファに設定されている方の参照画像バッファを、固定画像バッファに設定し、他方の参照画像バッファを遅延画像バッファに設定する（ステップ２１０）。また、障害物の検出方式として、｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝を設定する（ステップ２１２）。この、｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝の障害物の検出方式の詳細については後述する。
そして、自動車の走行開始が発生するのを待ち（ステップ２１６）、自動車の走行開始が発生したならば、ステップ２０４からの処理に戻る。
以上、制御部１２が行う、検出方式切替処理について説明した。
このような検出切替方式によれば、たとえば、図３に示すように、時刻順にt-m-1からt+4までの画像撮影周期が存在した場合において、走行中の自動車がt-n+1で停車し、その後に再度t+2で走行を開始した場合の、遅延画像バッファと固定画像バッファと検出方式の設定は、次のようになる。
以上、制御部１２が行う、検出方式切替処理について説明した。
このような検出切替方式によれば、たとえば、図３に示すように、時刻順にt-m-1からt+4までの画像撮影周期が存在した場合において、走行中の自動車がt-n+1で停車し、その後に再度t+2で走行を開始した場合の、遅延画像バッファと固定画像バッファと検出方式の設定は、次のようになる。
ただし、t-m-1において、第１参照画像バッファ４が遅延画像バッファに設定されており、障害物の検出方式として、（カレント俯瞰画像-遅延俯瞰画像）が設定されているものとする
この場合、まず、カレント画像バッファ２には、常に、各画像撮影周期Ｔの始期において、一つ前の画像撮影周期Ｔ-1に撮影した撮影画像が格納される。
この場合、まず、カレント画像バッファ２には、常に、各画像撮影周期Ｔの始期において、一つ前の画像撮影周期Ｔ-1に撮影した撮影画像が格納される。
次に、画像撮影周期t-n+１において自動車の停止が検出されると、次の画像撮影周期t-n+2で、車両の停止直前の画像撮影周期t-nから停止直後の画像撮影周期t-n+１までの自動車の位置と向きの変化量を表す車両変位情報が、停止時変位情報として保存される。また、当該次の画像撮影周期t-n+2で、第１参照画像バッファ４が固定画像バッファに設定され、第２参照画像バッファ５が遅延画像バッファに設定され、障害物の検出方式として、｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝に設定され、次の画像撮影周期t-n+3の始期から当該設定が有効となる。
よって、画像撮影周期t-m-1からt-n+2までは、第１参照画像バッファ４は遅延画像バッファとして機能し、遅延画像バッファとして、各画像撮影周期Ｔの始期において、当該画像撮影周期Ｔの二つ前の画像撮影周期T-2に撮影した撮影画像を視点変換した俯瞰画像が遅延俯瞰画像として格納される。
また、画像撮影周期t-m-1からt-n+2までは、障害物の検出は、（カレント俯瞰画像-遅延俯瞰画像）の検出方式によって行われる。
次に、画像撮影周期t-n+3の始期以降は、第１参照画像バッファ４は固定画像バッファとして機能し、固定画像バッファに設定される直前の画像撮影周期t-n+2に格納していた画像撮影周期t-nの撮影画像を視点変換した遅延俯瞰画像すなわち車両が停止する直前の俯瞰画像を固定俯瞰画像として、次に遅延画像バッファに設定されるまで保持する。
次に、画像撮影周期t-n+3の始期以降は、第１参照画像バッファ４は固定画像バッファとして機能し、固定画像バッファに設定される直前の画像撮影周期t-n+2に格納していた画像撮影周期t-nの撮影画像を視点変換した遅延俯瞰画像すなわち車両が停止する直前の俯瞰画像を固定俯瞰画像として、次に遅延画像バッファに設定されるまで保持する。
また、画像撮影周期t-n+3以降は、第２参照画像バッファ５は遅延画像バッファとして機能し、次に固定バッファに設定されるまでの各画像撮影周期Ｔの始期において、当該画像撮影周期Ｔの二つ前の画像撮影周期T-2に撮影した撮影画像を視点変換した俯瞰画像が遅延俯瞰画像として格納される。
次に、画像撮影周期t+2において自動車の走行開始が検出されると、次の画像撮影周期t+3で、障害物の検出方式として、（カレント俯瞰画像-遅延俯瞰画像）が設定され、次の画像撮影周期t-4の始期から当該設定が有効となる。
ここで、以上のようにして、車両の走行中は、各画像撮影周期において、遅延画像バッファにはカレント画像バッファ２に格納されている撮影画像の直前の画像撮影周期の撮影画像を視点変換した俯瞰画像が遅延俯瞰画像として格納され、障害物の検出が（カレント俯瞰画像-遅延俯瞰画像）の検出方式によって行われる。
ここで、以上のようにして、車両の走行中は、各画像撮影周期において、遅延画像バッファにはカレント画像バッファ２に格納されている撮影画像の直前の画像撮影周期の撮影画像を視点変換した俯瞰画像が遅延俯瞰画像として格納され、障害物の検出が（カレント俯瞰画像-遅延俯瞰画像）の検出方式によって行われる。
一方、車両の停止中は、各画像撮影周期において、遅延画像バッファにはカレント画像バッファ２に格納されている撮影画像の直前の画像撮影周期の撮影画像を視点変換した俯瞰画像が遅延俯瞰画像として格納され、固定画像バッファには、車両の停止直前の画像撮影周期の撮影画像を視点変換した俯瞰画像が固定俯瞰画像として格納され、障害物の検出が｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝の検出方式によって行われる。
以下、このようにして行われる車両の走行中の（カレント俯瞰画像-遅延俯瞰画像）の検出方式による障害物の検出動作と、車両の停止中の｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝の検出方式による障害物の検出動作について説明する。
まず、車両の走行中の（カレント俯瞰画像-遅延俯瞰画像）の検出方式による障害物の検出動作について説明する。
ここでは、車両の走行中の障害物の検出動作の一例として図３における画像撮影周期t-m+1における検出動作を例にとり説明する。
この場合、カレント画像バッファ２は、画像撮影周期t-m+1において、画像撮影周期t-mの撮影画像をカレント撮影画像として出力し、視点変換部３はカレント画像バッファ２より入力するカレント撮影画像に視点変換処理を施して自動車後方を上方より俯瞰した俯瞰画像をカレント俯瞰画像として生成し、差分画像生成部８に出力する。
ここでは、車両の走行中の障害物の検出動作の一例として図３における画像撮影周期t-m+1における検出動作を例にとり説明する。
この場合、カレント画像バッファ２は、画像撮影周期t-m+1において、画像撮影周期t-mの撮影画像をカレント撮影画像として出力し、視点変換部３はカレント画像バッファ２より入力するカレント撮影画像に視点変換処理を施して自動車後方を上方より俯瞰した俯瞰画像をカレント俯瞰画像として生成し、差分画像生成部８に出力する。
一方、画像撮影周期t-m+1において遅延画像バッファに設定されている参照画像バッファ（ここでは、第１参照画像バッファ４）は格納している画像撮影周期t-mの撮影画像を視点変換した俯瞰画像を遅延俯瞰画像としてセレクタ６に出力する。
セレクタ６は、（カレント俯瞰画像-遅延俯瞰画像）の検出方式が設定されている場合には、遅延画像バッファに設定されている参照画像バッファ（ここでは、第１参照画像バッファ４）から出力される遅延俯瞰画像のみを射影変換部７に出力する。
ここで、制御部１２は、上述のように画像撮影周期毎に、車両状態センサ１３で検出した車速や舵角や角速度より、前回測定時以後の自動車の位置と向きの変化量を車両変位情報として測定しており、各画像撮影周期において、測定した車両変位情報を射影変換部７に出力する。
セレクタ６は、（カレント俯瞰画像-遅延俯瞰画像）の検出方式が設定されている場合には、遅延画像バッファに設定されている参照画像バッファ（ここでは、第１参照画像バッファ４）から出力される遅延俯瞰画像のみを射影変換部７に出力する。
ここで、制御部１２は、上述のように画像撮影周期毎に、車両状態センサ１３で検出した車速や舵角や角速度より、前回測定時以後の自動車の位置と向きの変化量を車両変位情報として測定しており、各画像撮影周期において、測定した車両変位情報を射影変換部７に出力する。
そして、射影変換部７は、（カレント俯瞰画像-遅延俯瞰画像）の検出方式が設定されている場合には、セレクタ６から入力する遅延俯瞰画像を射影変換し差分画像生成部８に出力する。ここで、この遅延俯瞰画像の射影変換は、自動車後方の地面が平坦であった場合に自動車後方の地面上の同じ位置が写り込む遅延俯瞰画像の画素と視点変換部３から入力するカレント俯瞰画像の画素とが、同じ画素座標を有するように、制御部１２から入力する車両変位情報に基づいて、遅延俯瞰画像を射影変換することにより行う。但しこの遅延俯瞰画像の射影変換は、遅延俯瞰画像上の特徴パターンと、視点変換部３から出力される今回のカレント俯瞰画像上の、前記遅延俯瞰画像上の特徴パターンに対応する特徴パターンとが同じ座標を有するように、カレント俯瞰画像を参照して、遅延俯瞰画像を射影変換することにより行うようにしてもよい。
そして、差分画像生成部８は、視点変換部３から入力するカレント俯瞰画像と、射影変換部７から出力される射影変換後の遅延俯瞰画像との座標範囲が重複する部分の差分を求め、差分画像として、障害物検出部９に出力する。但し、射影変換後の遅延俯瞰画像とカレント俯瞰画像とについて、各画像に含まれるエッジを抽出したエッジ画像を生成し、生成した両エッジ画像の差分を差分画像とするようにしてもよい。
そして、障害物検出部９は、差分画像生成部８から出力された差分画像が、視点変換部３から入力するカレント俯瞰画像と、射影変換部７から出力される射影変換後の遅延俯瞰画像との間に差分が存在することを表している場合に、障害物の存在を検出する。また、障害物検出部９は、障害物の存在を検出したならば、障害物検出の旨を警告音出力部１４に通知すると共に、差分画像生成部８から出力された差分画像より、カレント俯瞰画像中において、射影変換後の遅延俯瞰画像と差分が存在する領域を求め、求めた領域を障害物が写り込んでいる領域として、障害物表示画像生成部１０に出力する。
そして、警告音出力部１４は、障害物検出の旨を通知されたならば、所定の警告音をスピーカから出力する。また、障害物表示画像生成部１０は、障害物検出部９が求めた障害物が写り込んでいる領域に対応する、カレント画像バッファ２から入力するカレント撮影画像上の領域を障害物検知領域として逆視点変換などにより求め、求めた障害物検知領域をカレント撮影画像上で表した障害物表示画像を生成し、表示装置１１に表示する。但し、リアカメラ１の広角レンズの歪み補正をカレント撮影画像に施した上で、カレント撮影画像上で障害物検知領域を表した画像を障害物表示画像として生成して表示するようにしてもよい。
ここで、このような画像撮影周期t-m+1における走行中の（カレント俯瞰画像-遅延俯瞰画像）の検出方式による障害物の検出例を図４に示す。
いま、画像撮影周期t-m-1から、画像撮影周期t-mに進む間に、自動車が、ａ２からａ１に示すように移動したものとする。
また、このt-m-1、t-mを含む期間において、自動車の後方には立体物である障害物４０１が存在しているものとする。
この場合、画像撮影周期t-mにおいて撮影された撮影画像はｂ１に示す画像となり、その直前の画像撮影周期t-m-1において撮影された撮影画像はｂ２に示す画像となる。
すると、その後、t-m+1の画像撮影周期では、画像撮影周期t-mにおいて撮影された撮影画像ｂ１がカレント画像としてカレント画像バッファ２から出力され、視点変換部３によってｃ１に示すようにカレント俯瞰画像に変換され差分画像生成部８に出力される。
いま、画像撮影周期t-m-1から、画像撮影周期t-mに進む間に、自動車が、ａ２からａ１に示すように移動したものとする。
また、このt-m-1、t-mを含む期間において、自動車の後方には立体物である障害物４０１が存在しているものとする。
この場合、画像撮影周期t-mにおいて撮影された撮影画像はｂ１に示す画像となり、その直前の画像撮影周期t-m-1において撮影された撮影画像はｂ２に示す画像となる。
すると、その後、t-m+1の画像撮影周期では、画像撮影周期t-mにおいて撮影された撮影画像ｂ１がカレント画像としてカレント画像バッファ２から出力され、視点変換部３によってｃ１に示すようにカレント俯瞰画像に変換され差分画像生成部８に出力される。
また、遅延画像バッファに設定されている参照画像バッファから、画像撮影周期t-m-1において撮影されたｂ２に示す画像を視点変換したｃ２に示す遅延俯瞰画像が射影変換部７に出力される。そして、射影変換部７によって、ｃ２に示す遅延俯瞰画像が、ｄ１に示すように射影変換されて差分画像生成部８に出力され、差分画像生成部８において、射影変換後の遅延俯瞰画像とｃ１のカレント俯瞰画像の差分が求められ、ｄ２に示す差分画像が生成される。そして、このｄ２の差分画像より、障害物検出部９によって、障害物の検出と、障害物の存在する領域４０２の算出が行われる。
そして、警告音出力部１４によって、所定の警告音をスピーカから出力される。また、障害物表示画像生成部１０によって、ｅに示すように、障害物検出部９によって求めた障害物の存在する領域４０２より算出した障害物検知領域を示す矩形４０３をカレント撮影画像上に配置した画像が、障害物表示画像として表示装置１１に表示されることになる。
ここで、立体物である障害物４０１は、異なる位置で撮影した撮影画像を視点変換した俯瞰画像ｃ１、ｃ２において、異なる形状で写り込むので、以上の処理により、ｅの矩形４０３で示したように、カレント撮影画像上の、障害物４０１が写り込でいる位置やその周辺に正しく障害物を検知し、ユーザに提示することができることになる。
なお、移動する障害物についても、立体物である障害物４０１と同様に以上の処理によって検出、提示することができる。
次に、車両の停止中の｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝の検出方式による障害物の検出動作について説明する。
ここでは、車両の走行中の障害物の検出動作の一例として図３における画像撮影周期t+1における検出動作を例にとり説明する。
この場合、カレント画像バッファ２は、画像撮影周期t+1において、画像撮影周期tの撮影画像をカレント撮影画像として出力し、視点変換画像はカレント画像バッファ２より入力するカレント撮影画像に視点変換処理を施して自動車後方を上方より俯瞰した俯瞰画像をカレント俯瞰画像として生成し、差分画像生成部８に出力する。
次に、車両の停止中の｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝の検出方式による障害物の検出動作について説明する。
ここでは、車両の走行中の障害物の検出動作の一例として図３における画像撮影周期t+1における検出動作を例にとり説明する。
この場合、カレント画像バッファ２は、画像撮影周期t+1において、画像撮影周期tの撮影画像をカレント撮影画像として出力し、視点変換画像はカレント画像バッファ２より入力するカレント撮影画像に視点変換処理を施して自動車後方を上方より俯瞰した俯瞰画像をカレント俯瞰画像として生成し、差分画像生成部８に出力する。
一方、画像撮影周期t+1において遅延画像バッファに設定されている参照画像バッファ（ここでは第２参照画像バッファ５）は格納している画像撮影周期t-1の撮影画像を視点変換した俯瞰画像を遅延俯瞰画像としてセレクタ６に出力する。
また、画像撮影周期t+1において固定画像バッファに設定されている参照画像バッファ（ここでは第１参照画像バッファ４）は格納している車両の停止直前の画像撮影周期t-nの撮影画像を視点変換した俯瞰画像を固定俯瞰画像としてセレクタ６に出力する。
セレクタ６は、｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝の検出方式が設定されている場合には、入力する遅延俯瞰画像と固定俯瞰画像との双方を順次射影変換部７に出力する。
そして、射影変換部７は、｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝の検出方式が設定されている場合には、入力する遅延俯瞰画像を、そのまま差分画像生成部８に出力すると共に、固定俯瞰画像を射影変換し、差分画像生成部８に出力する。
また、画像撮影周期t+1において固定画像バッファに設定されている参照画像バッファ（ここでは第１参照画像バッファ４）は格納している車両の停止直前の画像撮影周期t-nの撮影画像を視点変換した俯瞰画像を固定俯瞰画像としてセレクタ６に出力する。
セレクタ６は、｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝の検出方式が設定されている場合には、入力する遅延俯瞰画像と固定俯瞰画像との双方を順次射影変換部７に出力する。
そして、射影変換部７は、｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝の検出方式が設定されている場合には、入力する遅延俯瞰画像を、そのまま差分画像生成部８に出力すると共に、固定俯瞰画像を射影変換し、差分画像生成部８に出力する。
ここで、この固定俯瞰画像の射影変換は、制御部１２が保持している停止時車両変位情報に基づいて、自動車後方の地面が平坦であった場合に自動車後方の地面上の同じ位置が写り込む固定俯瞰画像の画素と視点変換部３から入力するカレント俯瞰画像の画素とが、同じ画素座標を有するように、固定俯瞰画像を射影変換することにより行う。
但し、この固定俯瞰画像の射影変換は、固定俯瞰画像上の特徴パターンと、視点変換部３から出力される今回のカレント俯瞰画像上の、固定俯瞰画像上の特徴パターンに対応する特徴パターンとが同じ座標を有するように、カレント俯瞰画像を参照して、固定俯瞰画像を射影変換することにより行うようにしてもよい。
そして、差分画像生成部８は、｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝の検出方式が設定されている場合には、視点変換部３から入力するカレント俯瞰画像と、射影変換部７から出力される遅延俯瞰画像との座標範囲が重複する部分の差分を求め、第１差分画像として、障害物検出部９に出力する。但し、遅延俯瞰画像とカレント俯瞰画像とについて、各画像に含まれるエッジを抽出したエッジ画像を生成し、生成した両エッジ画像の差分を第１差分画像とするようにしてもよい。また、差分画像生成部８は、視点変換部３から入力するカレント俯瞰画像と、射影変換部７から出力される射影変換後の固定俯瞰画像との座標範囲が重複する差分を求め、第２差分画像として、障害物検出部９に出力する。但し、射影変換後の固定俯瞰画像とカレント俯瞰画像とについて、各画像に含まれるエッジを抽出したエッジ画像を生成し、生成した両エッジ画像の差分を第２差分画像とするようにしてもよい。
そして、障害物検出部９は、差分画像生成部８から出力された第１差分画像が、視点変換部３から入力するカレント俯瞰画像と、射影変換部７から出力される射影変換後の遅延俯瞰画像との間に差分が存在することを表しているか、差分画像生成部８から出力された第２差分画像が、視点変換部３から入力するカレント俯瞰画像と、射影変換部７から出力される射影変換後の固定俯瞰画像との間に差分が存在することを表している場合に、障害物の存在を検出し、障害物検出の旨を警告音出力部１４に通知する。また、障害物検出部９は、｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝の検出方式が設定されている場合には、差分画像生成部８から出力された第１差分画像より、カレント俯瞰画像中において、射影変換後の遅延俯瞰画像と差分が存在する領域を求めると共に、差分画像生成部８から出力された第２差分画像より、カレント俯瞰画像中において、射影変換後の遅延俯瞰画像と差分が存在する領域を求め、求めた各領域を障害物が写り込んでいる領域として求め、障害物表示画像生成部１０に出力する。
そして、警告音出力部１４は、障害物検出の旨を通知されたならば、所定の警告音をスピーカから出力する。また、障害物表示画像生成部１０は、障害物検出部９が求めた障害物が写り込んでいる各領域に対応する、カレント画像バッファ２から入力するカレント撮影画像上の領域を障害物検知領域として逆視点変換などにより求め、求めた障害物検知領域をカレント撮影画像上で表した障害物表示画像を生成し、表示装置１１に表示する。但し、リアカメラ１の広角レンズの歪み補正をカレント撮影画像に施した上で、カレント撮影画像上で求めた障害物検知領域を表した画像を障害物表示画像として生成して表示するようにしてもよい。
ここで、このような画像撮影周期t+1における自動車の停止中の｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝の検出方式による障害物の検出例を図５に示す。
いま、車両の停止直前の画像撮影周期t-ｎにおいて図５ａ３、車両停止中の画像撮影周期t-1において図５ａ２、その直後の車両停止中の画像撮影周期tにおいて図５ａ１の位置に車両が位置しているものとする。また、このt-ｎ、t-1、tを含む期間において、自動車の後方には立体物である障害物５０１が存在し、t-1、tを含む期間において、自動車後方に移動する障害物５０２が存在したものとする。
いま、車両の停止直前の画像撮影周期t-ｎにおいて図５ａ３、車両停止中の画像撮影周期t-1において図５ａ２、その直後の車両停止中の画像撮影周期tにおいて図５ａ１の位置に車両が位置しているものとする。また、このt-ｎ、t-1、tを含む期間において、自動車の後方には立体物である障害物５０１が存在し、t-1、tを含む期間において、自動車後方に移動する障害物５０２が存在したものとする。
この場合、画像撮影周期tにおいて撮影された撮影画像はｂ１に示す画像となり、その直前の画像撮影周期t-1において撮影された撮影画像はｂ２に示す画像となり、それ以前の車両の停止直前の画像撮影周期t-ｎにおいて撮影された撮影画像はｂ３に示す画像となる。
すると、その後、t+1の画像撮影周期では、画像撮影周期tにおいて撮影された撮影画像ｂ１がカレント画像としてカレント画像バッファ２から出力され、視点変換部３によってｃ１に示すようにカレント俯瞰画像に変換され差分画像生成部８に出力される。
また、遅延画像バッファに設定されている参照画像バッファから、画像撮影周期t-1において撮影されたｂ２に示す画像を視点変換したｃ２に示す遅延俯瞰画像が射影変換部７に出力され、射影変換部７から、そのまま差分画像生成部８に出力される。そして、ｃ２の遅延俯瞰画像とｃ１のカレント俯瞰画像の差分が求められ、ｄ１に示す第１差分画像が生成される。そして、このｄ２の第１差分画像より、ｅ１に示すように障害物検出部９によって、障害物の検出と、障害物の存在する領域５０３の算出が行われる。
また、遅延画像バッファに設定されている参照画像バッファから、画像撮影周期t-1において撮影されたｂ２に示す画像を視点変換したｃ２に示す遅延俯瞰画像が射影変換部７に出力され、射影変換部７から、そのまま差分画像生成部８に出力される。そして、ｃ２の遅延俯瞰画像とｃ１のカレント俯瞰画像の差分が求められ、ｄ１に示す第１差分画像が生成される。そして、このｄ２の第１差分画像より、ｅ１に示すように障害物検出部９によって、障害物の検出と、障害物の存在する領域５０３の算出が行われる。
また、固定画像バッファに設定されている参照画像バッファから、画像撮影周期t-nにおいて撮影されたｂ３に示す画像を視点変換したｃ３に示す遅延俯瞰画像が射影変換部７に出力され、射影変換部７によって、ｃ３に示す固定俯瞰画像が、ｄ２に示すように射影変換されて差分画像生成部８に出力され、差分画像生成部８において、射影変換後の固定俯瞰画像とｃ１のカレント俯瞰画像の差分が求められ、ｄ２に示す第２差分画像が生成される。そして、このｄ２の差分画像より、ｅ２に示すように障害物検出部９によって、障害物の検出と、障害物の存在する領域５０４の算出が行われる。
そして、そして、警告音出力部１４によって、所定の警告音をスピーカから出力される。また、障害物表示画像生成部１０によって、ｆに示すように、障害物検出部９によって求めた障害物の存在する領域５０３、５０４より算出した障害物検知領域を示す矩形５０５、５０６をカレント撮影画像上に配置した画像が、障害物表示画像として表示装置１１に表示されることになる。
ここで、移動する障害物５０２は、異なる時点で撮影した撮影画像を視点変換した俯瞰画像にｃ１、ｃ２に示すように異なる位置、形状で写り込むので、以上の処理により、カレント俯瞰画像と遅延俯瞰画像より障害物が存在する領域５０３を求めれば、ｆの矩形５０５で示したように、カレント撮影画像上の、障害物５０２が写り込でいる位置やその周辺に正しく障害物を検知し、ユーザに提示することができることになる。
一方、立体物である障害物５０１は、異なる位置で撮影した撮影画像を視点変換した俯瞰画像ｃ１、ｃ３において、異なる形状で写り込むので、以上の処理により、車両停止位置とは異なる位置から撮影した車両停止直前の撮影画像を視点変換した俯瞰画像を固定俯瞰画像として保持しておき、保持している固定俯瞰画像と、車両停止位置から撮影した撮影画像を視点変換したカレント俯瞰画像との差分より障害物が存在する領域５０４を求めれば、ｆの矩形５０６で示したように、カレント撮影画像上の、立体物である障害物５０１が写り込でいる位置やその周辺に正しく障害物を検知し、ユーザに提示することができることになる。
以上、本発明の実施形態について説明した。
なお、以上では、リアカメラ１を備えて自動車後方の障害物を検出する場合について説明したが、これに限定することなく、フロントカメラやサイドカメラを備えて自動車前方や側方の障害物を検出する場合など、本実施形態は、任意方向の障害物を検出する場合に、同様に適用することができる。
また、以上の実施形態において、障害物検出部９において、車両の停止が検出されたときに、差分画像生成部８から出力されている、視点変換部３から入力するカレント俯瞰画像と射影変換部７から出力される射影変換後の遅延俯瞰画像との差分画像を第３差分画像として保存しておき、自動車の走行開始が発生するまで、第１差分画像と第２差分画像に加え、第３差分画像をも対象として、障害物の存在の検出及び警告音出力部１４への通知や、障害物が写り込んでいる領域の算出及び障害物表示画像生成部１０への通知を行うようにしてもよい。
なお、以上では、リアカメラ１を備えて自動車後方の障害物を検出する場合について説明したが、これに限定することなく、フロントカメラやサイドカメラを備えて自動車前方や側方の障害物を検出する場合など、本実施形態は、任意方向の障害物を検出する場合に、同様に適用することができる。
また、以上の実施形態において、障害物検出部９において、車両の停止が検出されたときに、差分画像生成部８から出力されている、視点変換部３から入力するカレント俯瞰画像と射影変換部７から出力される射影変換後の遅延俯瞰画像との差分画像を第３差分画像として保存しておき、自動車の走行開始が発生するまで、第１差分画像と第２差分画像に加え、第３差分画像をも対象として、障害物の存在の検出及び警告音出力部１４への通知や、障害物が写り込んでいる領域の算出及び障害物表示画像生成部１０への通知を行うようにしてもよい。
１…リアカメラ、２…カレント画像バッファ、３…視点変換部、４…第１参照画像バッファ、５…第２参照画像バッファ、６…セレクタ、７…射影変換部、８…差分画像生成部、９…障害物検出部、１０…障害物表示画像生成部、１１…表示装置、１２…制御部、１３…車両状態センサ、１４…警告音出力部、１５…スピーカ。
Claims (20)
- 自動車に搭載される周辺監視装置であって、
前記自動車の周辺を撮影するカメラと、
前記自動車が走行中であるか停止中であるかを検出する走行中有無検出部と、
前記自動車の停止が発生したときに、当該停止前に前記カメラで撮影した画像を停止前画像として保存する画像保存部と、
前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記カメラで撮影した現在の画像と、前記画像保存部が保存している停止前画像との差分に基づいて、前記自動車周辺の障害物を検出する障害物検出部とを有することを特徴とする周辺監視装置。 - 請求項１記載の周辺監視装置であって、
前記障害物検出部は、前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記カメラで撮影した現在の画像と前記画像保存部が保存している停止前画像との差分に加え、前記カメラで撮影した現在の画像と当該現在の画像の前に前記カメラで撮影した画像との差分に基づいて、前記自動車周辺の障害物を検出することを特徴とする周辺監視装置。 - 請求項２記載の周辺監視装置であって、
前記障害物検出部は、前記走行中有無検出部が前記自動車が走行中であることを検出している期間中、前記カメラで撮影した現在の画像と当該現在の画像の前に前記カメラで撮影した画像との差分とに基づいて、前記自動車周辺の障害物を検出することを特徴とする周辺監視装置。 - 請求項１記載の周辺監視装置であって、
前記障害物検出部は、前記走行中有無検出部が前記自動車が走行中であることを検出している期間中、前記カメラで撮影した現在の画像と当該現在の画像の前に前記カメラで撮影した画像との差分とに基づいて、前記自動車周辺の障害物を検出することを特徴とする周辺監視装置。 - 請求項１記載の周辺監視装置であって、
前記カメラで撮影した画像を視点変換して生成した、前記自動車の周辺を上方より観察したようすを表す俯瞰画像を生成する視点変換部をさらに備え、
前記画像保存部は、前記自動車の停止が発生したときに、前記視点変換部により生成された前記俯瞰画像を前記停止前画像として保存し、
前記障害物検出部は、前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記カメラで撮影した現在の画像を視点変換して生成した現時点俯瞰画像と、前記画像保存部が保存している停止前画像との同一の被写領域に対応する画像部分間の差分に基づいて前記自動車周辺の障害物を検出することを特徴とする周辺監視装置。 - 請求項５記載の周辺監視装置であって、
前記障害物検出部は、前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記現時点俯瞰画像と、前記画像保存部が保存している停止前画像との同一の被写領域に対応する画像部分間の差分に加え、前記現時点俯瞰画像と前記現時点俯瞰画像より前に生成された俯瞰画像との差分に基づいて、前記自動車周辺の障害物を検出することを特徴とする周辺監視装置。 - 請求項５記載の周辺監視装置であって、
前記障害物検出部は、前記走行中有無検出部が前記自動車が走行中であることを検出している期間中は、前記現時点俯瞰画像と、前記現時点俯瞰画像より前に生成された俯瞰画像との差分のみに基づいて、前記自動車周辺の障害物を検出することを特徴とする周辺監視装置。 - 自動車に搭載される周辺監視装置において、障害物を検出する障害物検出方法であって、
カメラで前記自動車の周辺を撮影する撮影ステップと、
前記自動車が走行中であるか停止中であるかを検出する走行有無検出ステップと、
前記自動車の停止が発生したときに、当該停止前に前記カメラで撮影した画像を停止前画像として保存する画像保存ステップと、
前記自動車の停止中が検出されている期間中に、前記カメラで撮影した現在の画像と、保存している停止前画像との差分に基づいて、前記自動車周辺の障害物を検出する障害物検出ステップとを有することを特徴とする障害物検出方法。 - 請求項８記載の障害物検出方法であって、
前記障害物検出ステップにおいて、前記自動車の停止中が検出されている期間中に、前記カメラで撮影した現在の画像と保存している前記停止前画像との差分に加え、前記カメラで撮影した現在の画像と当該現在の画像の前に前記カメラで撮影した画像との差分に基づいて、前記自動車周辺の障害物を検出することを特徴とする障害物検出方法。 - 請求項９記載の障害物検出方法であって、
前記障害物検出ステップにおいて、前記自動車が走行中であることが検出されている期間中、前記カメラで撮影した現在の画像と当該現在の画像の前に前記カメラで撮影した画像との差分に基づいて、前記自動車周辺の障害物を検出することを特徴とする障害物検出方法。 - 請求項８記載の障害物検出方法であって、
前記障害物検出ステップにおいて、前記自動車が走行中であることが検出されている期間中、前記カメラで撮影した現在の画像と当該現在の画像の前に前記カメラで撮影した画像との差分に基づいて、前記自動車周辺の障害物を検出することを特徴とする障害物検出方法。 - 請求項８記載の障害物検出方法であって、
前記カメラで撮影した画像を視点変換して生成した、前記自動車の周辺を上方より観察したようすを表す俯瞰画像を生成する視点変換ステップを有し、
前記画像保存ステップにおいて、前記自動車の停止が発生したときに、前記俯瞰画像を前記停止前画像として保存し、
前記障害物検出ステップにおいて、前記自動車の停止中が検出されている期間中に、前記カメラで撮影した現在の画像を視点変換して生成した現時点俯瞰画像と、前記保存している停止前画像との同一の被写領域に対応する画像部分間の差分に基づいて前記自動車周辺の障害物を検出することを特徴とする障害物検出方法。 - 請求項１２記載の障害物検出方法であって、
前記障害物検出ステップにおいて、前記自動車の停止中が検出されている期間中に、前記現時点俯瞰画像と、前記保存している停止前画像との同一の被写領域に対応する画像部分間の差分に加え、前記現時点俯瞰画像と前記現時点俯瞰画像より前に生成された俯瞰画像との差分に基づいて、前記自動車周辺の障害物を検出することを特徴とする障害物検出方法。 - 請求項１２記載の障害物検出方法であって、
前記障害物検出ステップにおいて、前記自動車が走行中であることが検出されている期間中は、前記現時点俯瞰画像と、前記現時点俯瞰画像より前に生成された俯瞰画像との差分に基づいて、前記自動車周辺の障害物を検出することを特徴とする障害物検出方法。 - 自動車に搭載され、前記自動車の周辺を撮影するカメラが接続されたコンピュータによって読みとられ実行されるコンピュータプログラムであって、
前記コンピュータを、
前記自動車が走行中であるか停止中であるかを検出する走行中有無検出部と、
前記自動車の停止が発生したときに、当該停止前に前記カメラで撮影した画像を停止前画像として保存する画像保存部と、
前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記カメラで撮影した現在の画像と、前記画像保存部が保存している停止前画像との差分に基づいて、前記自動車周辺の障害物を検出する障害物検出部として機能させることを特徴とするコンピュータプログラム。 - 請求項１５記載のコンピュータプログラムであって、
前記障害物検出部は、前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記カメラで撮影した現在の画像と、前記画像保存部が保存している停止前画像との差分に加え、前記カメラで撮影した現在の画像と当該現在の画像の前に前記カメラで撮影した画像との差分に基づいて、前記自動車周辺の障害物を検出することを特徴とするコンピュータプログラム。 - 請求項１６記載のコンピュータプログラムであって、
前記障害物検出部は、前記走行中有無検出部が前記自動車が走行中であることを検出している期間中、前記カメラで撮影した現在の画像と当該現在の画像の前に前記カメラで撮影した画像との差分に基づいて、前記自動車周辺の障害物を検出することを特徴とするコンピュータプログラム。 - 請求項１５記載のコンピュータプログラムであって、
前記障害物検出部は、前記走行中有無検出部が前記自動車が走行中であることを検出している期間中、前記カメラで撮影した現在の画像と当該現在の画像の前に前記カメラで撮影した画像との差分に基づいて、前記自動車周辺の障害物を検出することを特徴とする周辺監視装置。 - 請求項１５記載のコンピュータプログラムであって、
当該コンピュータプログラムは、前記コンピュータを、さらに、前記カメラで撮影した画像を視点変換して生成した、前記自動車の周辺を上方より観察したようすを表す俯瞰画像を生成する視点変換部として機能させ、
前記画像保存部は、前記自動車の停止が発生したときに、前記視点変換部により生成された俯瞰画像を前記停止前画像として保存し、
前記障害物検出部は、前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記カメラで撮影した現在の画像を視点変換して生成した現時点俯瞰画像と、前記画像保存部が保存している停止前画像との同一の被写領域に対応する画像部分間の差分に基づいて前記自動車周辺の障害物を検出することを特徴とするコンピュータプログラム。 - 請求項１９記載のコンピュータプログラムであって、
前記障害物検出部は、前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記現時点俯瞰画像と、前記画像保存部が保存している停止前画像との同一の被写領域に対応する画像部分間の差分に加え、前記現時点俯瞰画像と前記現時点俯瞰画像より前に生成された俯瞰画像との差分に基づいて、前記自動車周辺の障害物を検出することを特徴とするコンピュータプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008174190A JP5253017B2 (ja) | 2008-07-03 | 2008-07-03 | 周辺監視装置、障害物検出方法及びコンピュータプログラム |
| US12/472,855 US20100002078A1 (en) | 2008-07-03 | 2009-05-27 | Periphery monitoring apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008174190A JP5253017B2 (ja) | 2008-07-03 | 2008-07-03 | 周辺監視装置、障害物検出方法及びコンピュータプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010015346A true JP2010015346A (ja) | 2010-01-21 |
| JP5253017B2 JP5253017B2 (ja) | 2013-07-31 |
Family
ID=41464041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008174190A Expired - Fee Related JP5253017B2 (ja) | 2008-07-03 | 2008-07-03 | 周辺監視装置、障害物検出方法及びコンピュータプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20100002078A1 (ja) |
| JP (1) | JP5253017B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101531313B1 (ko) * | 2013-12-27 | 2015-06-24 | 한국기술교육대학교 산학협력단 | 차량 하부의 물체 탐지장치 및 방법 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102010009620B4 (de) | 2010-02-27 | 2019-09-12 | Volkswagen Ag | Verfahren und Vorrichtung zur Detektion mindestens eines Hindernisses in einem Fahrzeugumfeld |
| JP5251927B2 (ja) * | 2010-06-21 | 2013-07-31 | 日産自動車株式会社 | 移動距離検出装置及び移動距離検出方法 |
| CN103080976B (zh) | 2010-08-19 | 2015-08-05 | 日产自动车株式会社 | 三维物体检测装置和三维物体检测方法 |
| CN103348394B (zh) * | 2011-04-13 | 2015-06-03 | 日产自动车株式会社 | 行驶辅助装置及其相邻车辆检测方法 |
| KR101916467B1 (ko) * | 2012-10-30 | 2018-11-07 | 현대자동차주식회사 | Ａｖｍ 시스템의 장애물 검출 장치 및 방법 |
| KR101573576B1 (ko) | 2013-10-08 | 2015-12-01 | 현대자동차주식회사 | Avm 시스템의 이미지 처리 방법 |
| JP6290009B2 (ja) * | 2014-06-06 | 2018-03-07 | 日立オートモティブシステムズ株式会社 | 障害物情報管理装置 |
| US10769813B2 (en) | 2018-08-28 | 2020-09-08 | Bendix Commercial Vehicle Systems, Llc | Apparatus and method for calibrating surround-view camera systems |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1049799A (ja) * | 1996-07-30 | 1998-02-20 | Nissan Motor Co Ltd | 運転制御装置 |
| JP2002034035A (ja) * | 2000-07-14 | 2002-01-31 | Clarion Co Ltd | 画像変換方法及び車載周囲監視装置 |
| JP2007089082A (ja) * | 2005-09-26 | 2007-04-05 | Alpine Electronics Inc | 車両用画像表示装置 |
| JP2007235642A (ja) * | 2006-03-02 | 2007-09-13 | Hitachi Ltd | 障害物検知システム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11264871A (ja) * | 1998-03-17 | 1999-09-28 | Komatsu Ltd | 車両用障害物検出装置の監視機構 |
| DE60009000T2 (de) * | 1999-10-21 | 2005-03-10 | Matsushita Electric Industrial Co., Ltd., Kadoma | System zur Einparkhilfe |
| JP2004312638A (ja) * | 2003-04-10 | 2004-11-04 | Mitsubishi Electric Corp | 障害物検知装置 |
| JP4809019B2 (ja) * | 2005-08-31 | 2011-11-02 | クラリオン株式会社 | 車両用障害物検出装置 |
| JP2008219063A (ja) * | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 車両周辺監視装置及び方法 |
| DE102007022524A1 (de) * | 2007-05-14 | 2008-11-20 | Bayerische Motoren Werke Aktiengesellschaft | Kraftfahrzeug |
-
2008
- 2008-07-03 JP JP2008174190A patent/JP5253017B2/ja not_active Expired - Fee Related
-
2009
- 2009-05-27 US US12/472,855 patent/US20100002078A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1049799A (ja) * | 1996-07-30 | 1998-02-20 | Nissan Motor Co Ltd | 運転制御装置 |
| JP2002034035A (ja) * | 2000-07-14 | 2002-01-31 | Clarion Co Ltd | 画像変換方法及び車載周囲監視装置 |
| JP2007089082A (ja) * | 2005-09-26 | 2007-04-05 | Alpine Electronics Inc | 車両用画像表示装置 |
| JP2007235642A (ja) * | 2006-03-02 | 2007-09-13 | Hitachi Ltd | 障害物検知システム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101531313B1 (ko) * | 2013-12-27 | 2015-06-24 | 한국기술교육대학교 산학협력단 | 차량 하부의 물체 탐지장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5253017B2 (ja) | 2013-07-31 |
| US20100002078A1 (en) | 2010-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5253017B2 (ja) | 周辺監視装置、障害物検出方法及びコンピュータプログラム | |
| JP4863791B2 (ja) | 車両周辺画像生成装置および画像切替方法 | |
| JP5347257B2 (ja) | 車両用周辺監視装置および映像表示方法 | |
| JP4807104B2 (ja) | 車両周囲監視システム及び画像表示方法 | |
| JP2009017462A (ja) | 運転支援システム及び車両 | |
| JP6167824B2 (ja) | 駐車支援装置 | |
| JP6699427B2 (ja) | 車両用表示装置および車両用表示方法 | |
| JP2007295357A (ja) | 車載周辺状況提示装置 | |
| JP4797877B2 (ja) | 車両用映像表示装置及び車両周囲映像の表示方法 | |
| JP6778620B2 (ja) | 区画線検出装置、区画線検出システム、及び区画線検出方法 | |
| JP2012040883A (ja) | 車両周囲画像生成装置 | |
| JP2019064431A (ja) | 駐車支援装置 | |
| KR20200047257A (ko) | 차량 주위 영상 표시 시스템 및 차량 주위 영상 표시 방법 | |
| JP2006238131A (ja) | 車両周辺監視装置 | |
| JP6407596B2 (ja) | 画像処理装置、及び、運転支援システム | |
| JP2010215170A (ja) | 駐車結果表示システム | |
| JP5395373B2 (ja) | 周辺監視装置 | |
| JP2007336230A (ja) | 車載周囲死角表示システム | |
| JP5984714B2 (ja) | 立体物検出装置、運転支援装置および立体物検出方法 | |
| JP2012214169A (ja) | 運転支援装置 | |
| JP4945315B2 (ja) | 運転支援システム及び車両 | |
| JP5436056B2 (ja) | 障害物検出装置および障害物検出方法 | |
| JP2009137353A (ja) | 運転支援画像生成装置および運転支援画像生成方法 | |
| JP6620962B2 (ja) | 駐車支援装置 | |
| JP2006303985A (ja) | 予測進路表示装置および予測進路表示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110404 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120601 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120927 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121002 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130416 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130416 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5253017 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160426 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |