JP2005354594A - 車両周辺監視システム - Google Patents

車両周辺監視システム Download PDF

Info

Publication number
JP2005354594A
JP2005354594A JP2004175620A JP2004175620A JP2005354594A JP 2005354594 A JP2005354594 A JP 2005354594A JP 2004175620 A JP2004175620 A JP 2004175620A JP 2004175620 A JP2004175620 A JP 2004175620A JP 2005354594 A JP2005354594 A JP 2005354594A
Authority
JP
Japan
Prior art keywords
monitoring area
vehicle
warning
monitoring system
vehicle periphery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004175620A
Other languages
English (en)
Other versions
JP4415766B2 (ja
Inventor
Toshinori Kasai
俊典 笠井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2004175620A priority Critical patent/JP4415766B2/ja
Priority to DE200510026952 priority patent/DE102005026952A1/de
Publication of JP2005354594A publication Critical patent/JP2005354594A/ja
Application granted granted Critical
Publication of JP4415766B2 publication Critical patent/JP4415766B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/1004Alarm systems characterised by the type of sensor, e.g. current sensing means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/004Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
    • B60Q9/006Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a distance sensor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305Detection related to theft or to other events relevant to anti-theft systems using a camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8073Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】 不審者が車両周辺に存在するか否かを適切に判定する。
【解決手段】 車両周辺監視システム1は、車両が駐車しているときに車載カメラ3により撮影された画像にあって車両周辺の部分を監視エリアとして設定し、過去の画像の監視エリアと現在の画像の監視エリアとを比較して不審者が監視エリア外から監視エリア内へ侵入したか否かを判定する。不審者が車両周辺に存在するか否かを電波に基づいて判定するものとは異なって、不審者を検出不可能な死角が発生することがなく、いわゆる誤検出を行ってしまうこともない。
【選択図】 図1

Description

本発明は、駐車している車両の周辺を監視する車両周辺監視システムに関する。
駐車している車両の周辺を監視する車両周辺監視システムとして、車室内に搭載されている電波発生器が電波を車両の外部へ向けて発信し、反射波を受信したか否かに基づいて不審者が車両周辺に存在するか否かを判定し、反射波を受信して不審者が車両周辺に存在する旨を検出すると、警告動作を行うものがある(例えば特許文献1参照)。
特開2001−34855号公報
しかしながら、上記した特許文献1に記載されているものでは、電波を発信する電波発生器が車室内に搭載されている構成であるので、電波の死角となる例えばピラーの陰から近付く不審者を適切に検出することができないという問題がある。また、電波の放射範囲が不安定であると、例えばスーパーマーケットやテーマパークなどの通行人の往来が多い公共性の高い駐車場では、単なる通行人が車両周辺を通行した場合にも不審者が近付いたと判定してしまい、いわゆる誤検出を行ってしまうという問題もある。
本発明は、上記した事情に鑑みてなされたものであり、その目的は、不審者が車両周辺に存在するか否かを適切に判定することができる車両周辺監視システムを提供することにある。
請求項1に記載した車両周辺監視システムによれば、車両周辺が撮影手段により撮影されると、制御手段は、車両が駐車しているときに撮影手段により撮影された画像にあって車両周辺の部分を監視エリアとして設定し、過去の画像の監視エリアと現在の画像の監視エリアとを比較して移動物体が監視エリア外から監視エリア内へ侵入したか否かを判定する。これにより、車両が駐車しているときに撮影された画像にあって車両周辺の部分を監視エリアとして設定し、不審者(移動物体)が車両周辺に存在するか否かを画像に基づいて判定するので、不審者が車両周辺に存在するか否かを電波に基づいて判定するものとは異なって、不審者を検出不可能な死角が発生することがなく、いわゆる誤検出を行ってしまうこともなく、不審者が車両周辺に存在するか否かを適切に判定することができる。
請求項2に記載した車両周辺監視システムによれば、制御手段は、車両が駐車しているときに撮影手段により撮影された画像に駐車用の枠線が存在するか否かを判定し、駐車用の枠線が存在する旨を検出すると、その駐車用の枠線を基準として監視エリアを設定する
。これにより、駐車用の枠線として例えば白線が引かれていたりロープが張られていたりすると、その白線が引かれているエリアやロープが張られているエリアを監視エリアとして自動的に設定することができる。
請求項3に記載した車両周辺監視システムによれば、制御手段は、ユーザにより操作手段が操作されてユーザ設定値が入力されると、その入力されたユーザ設定値を基準として監視エリアを設定する。これにより、ユーザの所望とするエリアを監視エリアとして設定することができる。尚、このようにユーザ設定値を基準として監視エリアが設定される場合には、例えば車両が駐車される環境に応じて監視エリアが設定されれば良く、例えば自宅の敷地内の駐車場であれば、ある程度の余裕を持った距離が設定されれば良く、一方、例えばスーパーマーケットやテーマパークなどの公共性の高い駐車場であれば、車両から近い距離が設定されるのが望ましい。これは、公共性の高い駐車場では通行人の往来が多いのが一般的であり、そのような通行人の往来が多い公共性の高い駐車場である程度の余裕を持った距離が設定されてしまうと、単なる通行人が車両の近くを通行した場合にも不審者が近付いたと判定してしまい、いわゆる誤検出を行う可能性が高くなるからである。
請求項4に記載した車両周辺監視システムによれば、制御手段は、車両が駐車用の枠線からずれて駐車されていると、車両が駐車用の枠線からずれていない箇所に対しては駐車用の枠線を基準として監視エリアを設定し、一方、車両が駐車用の枠線からずれている箇所に対してはユーザ設定値または予め設定されている初期値を基準として監視エリアを設定する。これにより、車両が駐車用の枠線からずれていない箇所では例えば白線が引かれているエリアやロープが張られているエリアを監視エリアとして自動的に設定することができ、一方、車両が駐車用の枠線からずれている箇所ではユーザの所望とするエリアまたは予め設定されているエリアを監視エリアとして設定することができ、柔軟に対応することができる。
請求項5に記載した車両周辺監視システムによれば、制御手段は、車両の駐車位置と監視エリアとを関連付けて記憶し、車両の駐車位置と関連付けられている監視エリアを記憶していると、その記憶されている監視エリアを用いて過去の画像の監視エリアと現在の画像の監視エリアとを比較して移動物体が監視エリア外から監視エリア内へ侵入したか否かを判定する。これにより、車両が駐車された駐車位置が過去に監視エリアが設定された駐車位置であれば、その過去に設定された監視エリアを用いて移動物体が監視エリア外から監視エリア内へ侵入したか否かを判定することができ、同一の駐車位置に対して監視エリアを再度設定する必要をなくすことができる。
請求項6に記載した車両周辺監視システムによれば、制御手段は、移動物体が監視エリア外から監視エリア内へ侵入した旨を検出すると、警告手段による警告動作を開始させる。これにより、不審者が車両に近付くと、警告動作を開始するので、不審者が車両に触れる以前に不審者を威嚇することができ、不審者が車両に触れる以前に不審者を適切に排除することができる。尚、ここでいう警告動作としては、例えば車室内灯を点滅させたり、撮影手段により撮影された画像を車室内に設置されている表示装置に表示させたり、車両に搭載されている音響装置から警告音を鳴動させたりすることなどである。
請求項7に記載した車両周辺監視システムによれば、制御手段は、移動物体の監視エリア内での位置や移動物体が監視エリア内に停滞している時間に基づいて警告手段による警告動作を開始させる。これにより、不審者が監視エリア内で例えば異常な行動を行った場合に、不審者が車両に触れる以前に不審者を威嚇することができ、不審者が車両に触れる以前に不審者を適切に排除することができる。
請求項8に記載した車両周辺監視システムによれば、制御手段は、監視エリア外から監視エリア内へ侵入した移動物体に対してのみ警告手段による警告動作を行わせる。これにより、周囲に何ら迷惑を掛けてしまうことなく、不審者のみを威嚇することができる。
請求項9に記載した車両周辺監視システムによれば、制御手段は、警告手段による警告動作を開始させた後では、移動物体が監視エリア内から監視エリア外へ退去したか否かを判定し、移動物体が監視エリア内から監視エリア外へ退去していない旨を検出すると、警報手段による警報動作を開始させる。これにより、警告動作を開始したにも拘らず不審者が監視エリア内に停滞していると、警報動作を開始するので、不審者が車両周辺に存在している旨を周囲に適切に知らせることができる。また、警告動作を行った後に警報動作を行うことにより、周囲に迷惑を掛けてしまうことを必要最小限に抑えることができる。尚、ここでいう警報動作としては、例えばヘッドライトを点滅させたり、ホーンから警報音を鳴動させたりすることなどである。
請求項10に記載した車両周辺監視システムによれば、制御手段は、警告手段による警告動作を開始させた後では、移動物体が監視エリア内から監視エリア外へ退去したか否かを判定し、移動物体が監視エリア内から監視エリア外へ退去していない旨を検出すると、通報信号送信手段から通報信号を遠隔地へ送信させる。これにより、警告動作を開始したにも拘らず不審者が監視エリア内に停滞していると、通報信号を遠隔地へ送信するので、不審者が車両周辺に存在している旨を遠隔地へ適切に知らせることができる。
請求項11に記載した車両周辺監視システムによれば、制御手段は、警告手段による警告動作を開始させた後や警報手段による警報動作を開始させた後では、移動物体が車両に接触することなく監視エリア内から監視エリア外へ退去したか否かを判定し、移動物体が車両に接触することなく監視エリア内から監視エリア外へ退去した旨を検出すると、警告手段による警告動作や警報手段による警報動作を停止させる。これにより、不審者が車両に接触することなく監視エリア内から監視エリア外へ退去した場合には、警告動作や警報動作を速やかに停止することができる。
以下、本発明の一実施形態について、図面を参照して説明する。図1は、車両周辺監視システムの全体構成を機能ブロック図として示している。車両周辺監視システム1は、制御部2(本発明でいう制御手段)、車載カメラ3(本発明でいう撮影手段)、カメラインターフェース部4、画像記憶部5、操作部6(本発明でいう操作手段)、表示装置7(本発明でいう警告手段)、音響装置8(本発明でいう警告手段)、通信装置9(本発明でいう通報信号送信手段)および車内LANインターフェース部10を備えて構成されている。尚、車載カメラ3は、複数存在する構成であっても良い。
制御部2は、CPU、RAM、ROM、I/Oバスなどを備えて構成され、制御プログラムを実行して車両周辺監視システム1の動作全般を制御する。車載カメラ3は、車両周辺を撮影して撮影画像をカメラインターフェース部4に出力する。カメラインターフェース部4は、車載カメラ3から撮影画像が入力されると、その入力された撮影画像を制御部2に出力する。画像記憶部5は、車載カメラ3から制御部2に入力された撮影画像が画像処理部2aにより画像処理されると、その画像処理された撮影画像を一時的に記憶する。
操作部6は、本実施形態では、ユーザによりユーザ設定値などが入力されるために操作されるもので、ユーザにより操作されると、その操作内容を表す操作検出信号を制御部2に出力する。尚、この操作部6は、例えば機械的な幾つかのキー(ボタン)が規則的に配設されて構成されていても良いし、表示装置7に表示されるタッチキー(タッチボタン)から構成されていても良い。
表示装置7は、制御部2から表示指令信号が入力されると、画像や文字などの表示情報を表示し、音響装置8は、制御部2から鳴動指令信号が入力されると、鳴動する。通信装置9は、無線電話システムの基地局との間で無線通信を行うもので、本実施形態では、制御部2から通報信号送信指令が入力されると、予め設定されている送信先(遠隔地)へ通報信号を送信する。
車内LANインターフェース部10は、車内LAN11との間のインターフェース機能を有して構成されており、車室内灯12(本発明でいう警告手段)、ヘッドライト13(本発明でいう警報手段)、ホーン14(本発明でいう警報手段)およびカーナビゲーション装置15などに車内LAN11を通じて接続されている。この場合、車室内灯12およびヘッドライト13の各々は、制御部2から車内LANインターフェース部10を通じて点滅指令信号が入力されると、点滅し、ホーン14は、制御部2から車内LANインターフェース部10を通じて鳴動指令信号が入力されると、鳴動する。
また、カーナビゲーション装置15は、制御部2から車内LANインターフェース部10を通じて現在位置要求信号が入力されると、例えばGPS衛星から送信されたGPS信号のパラメータを演算して取得した現在位置を車内LANインターフェース部10を通じて制御部2に出力する。尚、上記した構成において、操作部6、表示装置7、音響装置8および通信装置9は、その一部がカーナビゲーション装置15のもので代用されて構成されていても良い。
次に、上記した構成の作用について、図2ないし図5を参照して説明する。ここでは、
(1)制御部2が監視エリアを設定する処理
(2)制御部2が不審者の監視エリア外から監視エリア内への侵入を検出する処理
について順次説明する。
(1)制御部2が監視エリアを設定する処理
最初に、「制御部2が監視エリアを設定する処理」について、図2、図4および図5を参照して説明する。
制御部2は、監視エリアを設定する起動条件が成立した旨を検出すると(ステップS1にて「YES」)、車内LANインターフェース部10から現在位置要求信号をカーナビゲーション装置15へ送信させ、カーナビゲーション装置15にて取得された現在位置を駐車位置としてカーナビゲーション装置15から取得する(ステップS2)。尚、ここでいう監視エリアを設定する起動条件とは、例えば車速が時速「0キロメートル」であり、且つ、サイドブレーキが「オン」されており、且つ、車両がオートマチック・トランスミッション車両(AT車両)であれば、チェンジレバーが「パーキング」の位置にシフトされていることであり、つまり、車両が駐車していることを条件とする。
次いで、制御部2は、予め登録されているメモリ登録データを参照し(ステップS3)、その取得された駐車位置がメモリ登録データとして登録されている位置に一致するか否かを判定する(ステップS4)。ここで、制御部2は、その取得された駐車位置がメモリ登録データとして登録されている位置と一致しない旨を検出すると(ステップS4にて「NO」)、その時点で設定されている設定モードが自動設定モードであるか手動設定モードであるかを判定する(ステップS5)。そして、制御部2は、その時点で設定されている設定モードが自動設定モードである旨を検出すると(ステップS5にて「自動設定モード」を選択)、車載カメラ3により撮影された現在の撮影画像を入力する(ステップS6)。
次いで、制御部2は、その入力された現在の撮影画像に駐車用の枠線が存在するか否かを判定する(ステップS7)。ここで、駐車用の枠線とは、路上に引かれている白線や、路上に張られているロープや、別の車両が既に隣接して駐車されていれば、その駐車されている別の車両のボデーなどが相当する。
そして、制御部2は、現在の撮影画像に駐車用の枠線が存在する旨を検出すると(ステップS7にて「YES」)、車両が駐車用の枠線からずれて駐車されているか否かを判定する(ステップS8)。具体的に説明すると、制御部2は、例えば4個の車輪のうちいずれかの車輪が路上に引かれている白線や路上に張られているロープに跨って駐車されていれば、車両が駐車用の枠線からずれて駐車されている旨を判定し、これに対して、全ての車輪が路上に引かれている白線や路上に張られているロープに跨らずに駐車されていれば、車両が駐車用の枠線からずれることなく駐車されている旨を判定する。
ここで、制御部2は、車両が駐車用の枠線からずれることなく駐車されている旨を検出すると(ステップS8にて「NO」)、駐車用の枠線を基準として監視エリアを設定する(ステップS9)。すなわち、制御部2は、図4(a)に示すように、駐車用の枠線として白線Pが引かれている場合に、車両Aが白線Pからずれることなく駐車されている場合であれば、破線X1にて示すエリアを監視エリアとして設定する。つまり、この場合は、白線Pと監視エリアとは、それらの全てが重複する。
次いで、制御部2は、表示指令信号を表示装置7に出力し、このようにして設定された監視エリアを表示装置7に表示させると共に(ステップS10)、このようにして設定された監視エリアを修正するか否かを問合わせるガイダンスを表示させ、監視エリアを修正するか否かをユーザに問合わせる。そして、制御部2は、監視エリアを修正する操作が行われなかった旨を検出すると(ステップS11にて「NO」)、このようにして設定された監視エリアを確定し(ステップS12)、その確定された監視エリアをメモリ登録データに登録し(ステップS13)、一連の処理を終了する。
これに対して、制御部2は、車両が駐車用の枠線からずれて駐車されている旨を検出すると(ステップS8にて「YES」)、その時点でユーザ設定値が設定されているか否かを判定する(ステップS14)。そして、制御部2は、その時点でユーザ設定値が設定されている旨を検出すると(ステップS14にて「YES」)、車両が駐車用の枠線からずれていない箇所に対しては駐車用の枠線を基準として監視エリアを設定し、一方、車両が駐車用の枠線からずれている箇所に対してはユーザ設定値を基準として監視エリアを設定する(ステップS15)。すなわち、制御部2は、図4(b)に示すように、車両Aが白線Pからずれて駐車されており、ユーザ設定値として例えば「0.5メートル」が設定されている場合であれば、破線X2にて示すエリアを監視エリアとして設定する。つまり、この場合は、白線Pと監視エリアとは、それらの一部が重複する。そして、制御部2は、この場合も、これ以降に上記したステップS10〜S13を行う。
また、制御部2は、車両が駐車用の枠線からずれて駐車されている場合に、ユーザ設定値が設定されていない旨を検出すると(ステップS14にて「NO」)、車両が駐車用の枠線からずれていない箇所に対しては駐車用の枠線を基準として監視エリアを設定し、一方、車両が駐車用の枠線からずれている箇所に対しては予め設定されている初期値(例えば工場出荷時の設定値)を基準として監視エリアを設定する(ステップS16)。すなわち、制御部2は、図4(c)に示すように、車両Aが白線Pからずれて駐車されており、初期値として例えば「1メートル」が予め設定されている場合であれば、破線X3にて示すエリアを監視エリアとして設定する。つまり、この場合も、白線Pと監視エリアとは、それらの一部が重複する。そして、制御部2は、この場合も、これ以降に上記したステップS10〜S13を行う。
また、制御部2は、撮影画像に駐車用の枠線が存在しない旨を検出すると(ステップS7にて「NO」)、この場合も、その時点でユーザ設定値が設定されているか否かを判定する(ステップS17)。そして、制御部2は、その時点でユーザ設定値が設定されている旨を検出すると(ステップS17にて「YES」)、その設定されているユーザ設定値を基準として監視エリアを設定する(ステップS18)。すなわち、制御部2は、図5(a)に示すように、ユーザ設定値として例えば「0.5メートル」が設定されている場合であれば、車両から「0.5メートル」だけ離れた車両周辺の破線X4にて示すエリアを監視エリアとして設定する。そして、制御部2は、この場合も、これ以降に上記したステップS10〜S13を行う。
また、制御部2は、撮影画像に駐車用の枠線が存在しない場合に、ユーザ設定値が設定されていない旨を検出すると(ステップS17にて「NO」)、予め設定されている初期値を基準として監視エリアを設定する(ステップS19)。すなわち、制御部2は、図5(b)に示すように、初期値として例えば「1メートル」が設定されている場合であれば、車両から「1メートル」だけ離れた車両周辺の破線X5にて示すエリアを監視エリアとして設定する。そして、制御部2は、この場合も、これ以降に上記したステップS10〜S13を行う。
また、制御部2は、駐車位置がメモリ登録データとして登録されている位置と一致しない場合に、その時点で設定されている設定モードが手動設定モードである旨を検出すると(ステップS5にて「手動設定モード」を選択)、表示指令信号を表示装置7に出力し、監視エリアを設定するための設定画面を表示装置7に表示させると共に(ステップS20)、ユーザ設定値の入力を問合わせるガイダンスを表示させ、ユーザ設定値の入力を問合わせる。そして、制御部2は、ユーザ設定値を入力する操作が行われた旨を検出すると(ステップS21にて「YES」)、その入力されたユーザ設定値を基準として監視エリアを設定し(ステップS22)、この場合も、これ以降に上記したステップS10〜S13を行う。
さらに、制御部2は、現在位置がメモリ登録データとして登録されている位置と一致する旨を検出すると(ステップS4にて「YES」)、その登録されているメモリ登録データに対応する監視エリアを読出し(ステップS23)、この場合も、これ以降に上記したステップS10〜S13を行う。尚、制御部2は、監視エリアを修正する操作が行われた旨を検出すると(ステップS11にて「YES」)、その操作に応じて監視エリアを修正し(ステップS24)、この場合も、これ以降に上記したステップS10〜S13を行う。
以上に説明した一連の処理により、車両周辺監視システム1は、駐車用の枠線、ユーザ設定値あるいは初期値を基準として監視エリアを設定することになる。尚、以上は、ユーザ設定値や初期値として車両の前後および左右で同一の値が設定される場合を説明したものであるが、ユーザ設定値や初期値として車両の前後および左右で互いに異なる値が設定されても良い。
また、以上は、ユーザ設定値として「1メートル」が設定される場合を説明したものであるが、例えば車両が駐車される環境に応じて設定されれば良く、例えば自宅の敷地内の駐車場であれば、ある程度の余裕を持った距離が設定されれば良く、一方、例えばスーパーマーケットやテーマパークなどの公共性の高い駐車場であれば、車両から近い距離が設定されるのが望ましい。これは、公共性の高い駐車場では通行人の往来が多いのが一般的であり、そのような通行人の往来が多い公共性の高い駐車場である程度の余裕を持った距離が設定されてしまうと、単に通行人が車両の近くを通行した場合にも警告動作を行ってしまい、いわゆる誤検出を行う可能性が高くなるからである。
(2)制御部2が不審者の監視エリア外から監視エリア内への侵入を検出する処理
次に、「制御部2が不審者の監視エリア外から監視エリア内への侵入を検出する処理」について、図3を参照して説明する。
制御部2は、不審者の監視エリア外から監視エリア内への侵入を検出する起動条件が成立した旨を検出すると(ステップS31にて「YES」)、車載カメラ3により撮影された現在の撮影画像を入力する(ステップS32)。尚、ここでいう不審者の監視エリア内への侵入を検出する起動条件とは、上記した監視エリアを設定する起動条件に、例えば乗員が車室内に存在しないことを加えたものであり、つまり、ユーザが車両から離れたことを条件とする。
次いで、制御部2は、その入力された現在の撮影画像を最新の過去の撮影画像として画像記憶部6に一時的に記憶させ(ステップS33)、画像取込タイマをスタートさせる(ステップS34)。ここでいう画像取込タイマとは、制御部2が車載カメラ3から画像を取込む(入力する)間隔を規定するタイマである。そして、制御部2は、画像取込タイマがタイムアップした旨を検出すると(ステップS35にて「YES」)、車載カメラ3により撮影された現在の撮影画像を再度入力し(ステップS36)、この直前に画像記憶部6に一時的に記憶させた最新の過去の撮影画像の監視エリアと、その入力された現在の撮影画像の監視エリアとを比較し(ステップS37)、不審者が監視エリア外から監視エリア内へ侵入したか否かを判定する(ステップS38)。
ここで、制御部2は、不審者が車両に近付くことがなく監視エリアを横切らなければ(
白線やロープを跨ったりしなければ)、過去の撮影画像の監視エリアと現在の撮影画像の監視エリアとの間に変化が発生することがないので、両者の撮影画像の間に変化が無い旨を検出する。そして、制御部2は、このようにして不審者が監視エリア外から監視エリア内へ侵入していない旨を検出すると(ステップS38にて「NO」)、上記したステップS33に戻り、ステップS34〜S38を繰返して行う。
これに対して、制御部2は、不審者が車両に近付いて監視エリアを横切れば(白線やロープを跨ったりすれば)、過去の撮影画像の監視エリアと現在の撮影画像の監視エリアとの間に変化が発生することになるので、両者の撮影画像の間に変化が有る旨を検出する。そして、制御部2は、このようにして不審者が監視エリア外から監視エリア内へ侵入した旨を検出すると(ステップS38にて「YES」)、警告動作を開始させる(ステップS39)。具体的に説明すると、制御部2は、点滅指令信号を車内LANインターフェース部10を通じて車室内灯12に出力することにより、車室内灯12を点滅させ、表示指令信号を表示装置7に出力することにより、例えば車載カメラ3により撮影された撮影画像を表示装置7に表示させ、鳴動指令信号を音響装置8に出力することにより、音響装置8から警告音を鳴動させる。これにより、不審者を威嚇することができる。
次いで、制御部2は、不審者が異常行動を行っているか否かを判定すると共に(ステップS40)、不審者が監視エリア内から監視エリア外へ退去したか否かを判定する(ステップS41)。ここで、制御部2は、不審者が異常行動を行っているか否かを幾つかの方法により判定することになるが、例えば予め不審者の異常行動に相当する行動パターンを数値化して記憶しており、不審者の行動(挙動や停滞時間など)を予め記憶されている行動パターンと照合して不審者が異常行動を行っているか否かを判定する。そして、制御部2は、不審者の行動が予め記憶されている行動パターンと合致しない旨を検出し、不審者が異常行動を行っていない旨を検出すると共に(ステップS40にて「NO」)、不審者が監視エリア内から監視エリア外へ退去した旨を検出すると(ステップS41にて「YES」)、警告動作を停止させ(ステップS42)、上記したステップS32に戻り、ステップS32以降を繰返して行う。
これに対して、制御部2は、不審者の行動が予め記憶されている行動パターンと合致する旨を検出し、不審者が異常行動を行っている旨を検出すると(ステップS40にて「YES」)、警告動作を速やかに停止させた後に(ステップS43)、警報動作を開始させると共に(ステップS44)、通報動作を行う(ステップS45)。具体的に説明すると、制御部2は、点滅指令信号を車内LANインターフェース部10を通じてヘッドライト13に出力することにより、ヘッドライト13を点滅させ、鳴動指令信号を車内LANインターフェース部10を通じてホーン14に出力することにより、ホーン14から警報音を鳴動させ、通報信号送信指令を通信装置9に出力することにより、通信装置9から通報信号を遠隔地へ送信させる。これにより、不審者の存在を車両の周辺に知らせることができると共に、不審者の存在を遠隔地にも知らせることができる。
そして、制御部2は、例えば車両に搭載されている振動センサなどにより車両に異常が発生したか否かを判定すると共に(ステップS46)、不審者が監視エリア内から監視エリア外へ退去したか否かを判定する(ステップS47)。ここで、制御部2は、車両に異常が発生していない旨を検出すると共に(ステップS46にて「NO」)、不審者が監視エリア内から監視エリア外へ退去した旨を検出すると(ステップS47にて「YES」)、警報動作を停止させ(ステップS48)、この場合も、上記したステップS32に戻り、ステップS32以降を繰返して行う。
これに対して、制御部2は、車両に異常が発生した旨を検出すると(ステップS46にて「YES」)、警報停止条件(例えばユーザによる警報停止操作が行われたこと、外部から送信された警報停止信号が受信されたこと)が成立した後に警報動作を停止させ(ステップS49)、一連の処理を終了する。
以上に説明した一連の処理により、車両周辺監視システム1は、不審者が監視エリア外から監視エリア内へ侵入すると、警告動作を行うことになり、不審者が例えばドアの陰に潜むなどの異常行動を行うと、警報動作および通報動作を行うことになる。尚、以上は、警告動作として車室内灯12を点滅させたり車載カメラ3により撮影された撮影画像を表示装置7に表示させたり音響装置8から警告音を鳴動させたりする場合を説明したが、これらの警告動作のうちいずれか選択して行う構成であっても良いし、これら以外の動作を警告動作として行う構成であっても良い。また、警報動作としてヘッドライト13を点滅させたりホーン14から警報音を鳴動させたりする場合を説明したが、これらの警報動作のうちいずれかを選択して行う構成であっても良いし、これら以外の動作を警報動作として行う構成であっても良い。さらに、通報信号を必ずしも送信する必要はなく、必要に応じて通報信号を送信する構成であっても良い。
以上に説明したように本実施形態によれば、車両周辺監視システム1において、車両が駐車しているときに車載カメラ3により撮影された画像にあって車両周辺の部分を監視エリアとして設定し、過去の画像の監視エリアと現在の画像の監視エリアとを比較して不審者が監視エリア外から監視エリア内へ侵入したか否かを判定するように構成したので、不審者が車両周辺に存在するか否かを電波に基づいて判定するものとは異なって、不審者を検出不可能な死角が発生することがなく、いわゆる誤検出を行ってしまうこともなく、不審者が車両周辺に存在するか否かを適切に判定することができる。
この場合、車載カメラ3により撮影された撮影画像に駐車用の枠線が存在するか否かを判定し、駐車用の枠線が存在する旨を検出すると、その駐車用の枠線を基準として監視エリアを設定するように構成したので、路上に例えば白線が引かれていたりロープが張られていたりすると、その白線が引かれているエリアやロープが張られているエリアを監視エリアとして自動的に設定することができる。
また、車両が駐車用の枠線からずれて駐車されていると、車両が駐車用の枠線からずれていない箇所に対しては駐車用の枠線を基準として監視エリアを設定し、一方、車両が駐車用の枠線からずれている箇所に対してはユーザ設定値または初期値を基準として監視エリアを設定するように構成したので、車両が駐車用の枠線からずれていない箇所では例えば白線が引かれているエリアやロープが張られているエリアを監視エリアとして自動的に設定することができ、一方、車両が駐車用の枠線からずれている箇所ではユーザの所望とするエリアや予め設定されているエリアを監視エリアとして設定することができ、柔軟に対応することができる。
また、不審者が監視エリア外から監視エリア内へ侵入した旨を検出すると、警告動作を開始するように構成したので、不審者が車両に触れる以前に不審者を威嚇することができ、不審者が車両に触れる以前に不審者を適切に排除することができる。また、不審者が監視エリア外から監視エリア内へ侵入した後に例えばドアの陰に潜むなどの異常行動を行っている旨を検出すると、警報動作を開始したり通報動作を行ったりするように構成したので、不審者が異常行動を行っている旨を周辺や遠隔地に適切に知らせることができる。さらに、このように警告動作を行った後に警報動作を行うように構成したので、周囲に迷惑を掛けてしまうことを必要最小限に抑えることができる。
本発明は、上記した実施形態にのみ限定されるものではなく、以下のように変形または拡張することができる。
警告装置や警報装置として専用のものが設けられている構成であっても良い。
ユーザが監視エリアを手動で設定する場合や修正する場合に、ユーザが撮影画像を見ながら監視エリアを設定する構成であっても良いし、撮影画像が鳥瞰変換されることにより、ユーザが鳥瞰画像を見ながら監視エリアを設定する構成であっても良い。その場合、ユーザが鳥瞰画像を見ながら監視エリアを設定する構成では、ユーザが車両の駐車位置を適切に把握することができることから、適切な監視エリアを設定し易くなるという利点がある。
不審者が監視エリア外から監視エリア内へ侵入したか否かを検出する処理において、画像取込タイマのタイマ時間が例えば駐車場所の通行人の往来の程度や時間帯やバッテリ残量に応じて任意に設定される構成であっても良い。
駐車用の枠線として白線やロープが「コ」字型に設けられている場合であれば、白線やロープが設けられている3方向(例えば右側、左側および後側)には駐車用の枠線を基準として監視エリアを設定すると共に、白線やロープが設けられていない1方向(例えば前側)にはユーザ設定値や初期値を基準として監視エリアを設定する構成であっても良い。
警告動作や警報動作を開始する時点で、その時点での撮影画像や時刻をメモリに記録したり、警告動作や警報動作を停止する時点で、その時点での撮影画像や時刻をメモリに記録したりする構成であっても良い。
本発明の一実施形態を示す機能ブロック図 フローチャート 図2相当図 監視エリアが設定される態様を概略的に示す図 図4相当図
符号の説明
図面中、1は車両周辺監視システム、2は制御部(制御手段)、3は車載カメラ(撮影手段)、6は操作部(操作手段)、7は表示装置(警告手段)、8は音響装置(警告手段)、9は通信装置(通報信号送信手段)、12は車室内灯(警告手段)、13はヘッドライト(警報手段)、14はホーン(警報手段)である。

Claims (11)

  1. 車両周辺を撮影する撮影手段と、
    車両が駐車しているときに前記撮影手段により撮影された画像にあって車両周辺の部分を監視エリアとして設定し、過去の画像の監視エリアと現在の画像の監視エリアとを比較して移動物体が監視エリア外から監視エリア内へ侵入したか否かを判定する制御手段とを備えたことを特徴とする車両周辺監視システム。
  2. 請求項1に記載した車両周辺監視システムにおいて、
    前記制御手段は、車両が駐車しているときに前記撮影手段により撮影された画像に駐車用の枠線が存在するか否かを判定し、駐車用の枠線が存在する旨を検出した場合には、その駐車用の枠線を基準として監視エリアを設定することを特徴とする車両周辺監視システム。
  3. 請求項1または2に記載した車両周辺監視システムにおいて、
    ユーザがユーザ設定値を入力するために操作する操作手段を備え、
    前記制御手段は、ユーザにより前記操作手段が操作されてユーザ設定値が入力された場合には、その入力されたユーザ設定値を基準として監視エリアを設定することを特徴とする車両周辺監視システム。
  4. 請求項3に記載した車両周辺監視システムにおいて、
    前記制御手段は、車両が駐車用の枠線からずれて駐車されている場合には、車両が駐車用の枠線からずれていない箇所に対しては駐車用の枠線を基準として監視エリアを設定し、車両が駐車用の枠線からずれている箇所に対してはユーザ設定値または予め設定されている初期値を基準として監視エリアを設定することを特徴とする車両周辺監視システム。
  5. 請求項1ないし4のいずれかに記載した車両周辺監視システムにおいて、
    前記制御手段は、車両の駐車位置と監視エリアとを関連付けて記憶し、車両の駐車位置と関連付けられている監視エリアを記憶している場合には、その記憶されている監視エリアを用いて過去の画像の監視エリアと現在の画像の監視エリアとを比較して移動物体が監視エリア外から監視エリア内へ侵入したか否かを判定することを特徴とする車両周辺監視システム。
  6. 請求項1ないし5のいずれかに記載した車両周辺監視システムにおいて、
    警告動作を行う警告手段を備え、
    前記制御手段は、移動物体が監視エリア外から監視エリア内へ侵入した旨を検出した場合には、前記警告手段による警告動作を開始させることを特徴とする車両周辺監視システム。
  7. 請求項6に記載した車両周辺監視システムにおいて、
    前記制御手段は、移動物体の監視エリア内での位置や移動物体が監視エリア内に停滞している時間に基づいて前記警告手段による警告動作を開始させることを特徴とする車両周辺監視システム。
  8. 請求項6または7に記載した車両周辺監視システムにおいて、
    前記制御手段は、監視エリア外から監視エリア内へ侵入した移動物体に対してのみ前記警告手段による警告動作を開始させることを特徴とする車両周辺監視システム。
  9. 請求項6ないし8のいずれかに記載した車両周辺監視システムにおいて、
    警報動作を行う警報手段を備え、
    前記制御手段は、前記警告手段による警告動作を開始させた後では、移動物体が監視エリア内から監視エリア外へ退去したか否かを判定し、移動物体が監視エリア内から監視エリア外へ退去していない旨を検出した場合には、前記警報手段による警報動作を開始させることを特徴とする車両周辺監視システム。
  10. 請求項6ないし8のいずれかに記載した車両周辺監視システムにおいて、
    通報信号を遠隔地へ送信する通報信号送信手段を備え、
    前記制御手段は、前記警告手段による警告動作を開始させた後では、移動物体が監視エリア内から監視エリア外へ退去したか否かを判定し、移動物体が監視エリア内から監視エリア外へ退去していない旨を検出した場合には、前記通報信号送信手段から通報信号を遠隔地へ送信させることを特徴とする車両周辺監視システム。
  11. 請求項6ないし10のいずれかに記載した車両周辺監視システムにおいて、
    前記制御手段は、前記警告手段による警告動作を開始させた後や前記警報手段による警報動作を開始させた後では、移動物体が車両に接触することなく監視エリア内から監視エリア外へ退去したか否かを判定し、移動物体が車両に接触することなく監視エリア内から監視エリア外へ退去した旨を検出した場合には、前記警告手段による警告動作や前記警報手段による警報動作を停止させることを特徴とする車両周辺監視システム。

JP2004175620A 2004-06-14 2004-06-14 車両周辺監視システム Expired - Fee Related JP4415766B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004175620A JP4415766B2 (ja) 2004-06-14 2004-06-14 車両周辺監視システム
DE200510026952 DE102005026952A1 (de) 2004-06-14 2005-06-10 Überwachungssystem für einen Fahrzeug-Nahbereich

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004175620A JP4415766B2 (ja) 2004-06-14 2004-06-14 車両周辺監視システム

Publications (2)

Publication Number Publication Date
JP2005354594A true JP2005354594A (ja) 2005-12-22
JP4415766B2 JP4415766B2 (ja) 2010-02-17

Family

ID=35455195

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004175620A Expired - Fee Related JP4415766B2 (ja) 2004-06-14 2004-06-14 車両周辺監視システム

Country Status (2)

Country Link
JP (1) JP4415766B2 (ja)
DE (1) DE102005026952A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103448670A (zh) * 2012-05-31 2013-12-18 天翔系统整合股份有限公司 车辆监控系统
JP2014075039A (ja) * 2012-10-04 2014-04-24 Mitsubishi Motors Corp 発進安全装置
CN110126830A (zh) * 2019-04-17 2019-08-16 浙江吉利控股集团有限公司 一种车辆启动控制方法、装置、设备及存储介质
JP2019177850A (ja) * 2018-03-30 2019-10-17 パナソニックIpマネジメント株式会社 運転支援システム、情報処理装置及び情報処理方法
JP2020149088A (ja) * 2019-03-11 2020-09-17 三菱自動車工業株式会社 車両防犯装置
JP2020197971A (ja) * 2019-06-04 2020-12-10 沖電気工業株式会社 侵入検知装置、プログラムおよび侵入検知システム
JP2021043685A (ja) * 2019-09-11 2021-03-18 株式会社Jvcケンウッド 車両用記録制御装置、車両用記録装置、車両用記録制御方法およびプログラム
CN112622818A (zh) * 2020-12-31 2021-04-09 合肥移顺信息技术有限公司 汽车预警系统、汽车预警方法及汽车

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2930211A3 (fr) * 2008-04-21 2009-10-23 Renault Sas Dispositif de visualisation de l'environnement d'un vehicule et de detection d'objets autour du vehicule
DE102009040995A1 (de) 2008-09-10 2010-04-15 Technische Universität München Vorrichtung zum Vermessen einer sich einem Fahrzeug annähernden Person
JP5279522B2 (ja) * 2009-01-21 2013-09-04 キヤノン株式会社 画像処理装置および方法
CN106004793B (zh) * 2016-07-29 2018-08-28 辽宁工业大学 一种基于机器视觉的无线远程汽车防盗装置及其防盗方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103448670A (zh) * 2012-05-31 2013-12-18 天翔系统整合股份有限公司 车辆监控系统
JP2014075039A (ja) * 2012-10-04 2014-04-24 Mitsubishi Motors Corp 発進安全装置
JP2019177850A (ja) * 2018-03-30 2019-10-17 パナソニックIpマネジメント株式会社 運転支援システム、情報処理装置及び情報処理方法
JP2020149088A (ja) * 2019-03-11 2020-09-17 三菱自動車工業株式会社 車両防犯装置
CN110126830A (zh) * 2019-04-17 2019-08-16 浙江吉利控股集团有限公司 一种车辆启动控制方法、装置、设备及存储介质
CN110126830B (zh) * 2019-04-17 2020-11-03 浙江吉利控股集团有限公司 一种车辆启动控制方法、装置、设备及存储介质
JP2020197971A (ja) * 2019-06-04 2020-12-10 沖電気工業株式会社 侵入検知装置、プログラムおよび侵入検知システム
JP7272118B2 (ja) 2019-06-04 2023-05-12 沖電気工業株式会社 侵入検知装置、プログラムおよび侵入検知システム
JP2021043685A (ja) * 2019-09-11 2021-03-18 株式会社Jvcケンウッド 車両用記録制御装置、車両用記録装置、車両用記録制御方法およびプログラム
JP7259661B2 (ja) 2019-09-11 2023-04-18 株式会社Jvcケンウッド 車両用記録制御装置、車両用記録装置、車両用記録制御方法およびプログラム
CN112622818A (zh) * 2020-12-31 2021-04-09 合肥移顺信息技术有限公司 汽车预警系统、汽车预警方法及汽车

Also Published As

Publication number Publication date
JP4415766B2 (ja) 2010-02-17
DE102005026952A1 (de) 2005-12-29

Similar Documents

Publication Publication Date Title
KR102027296B1 (ko) 보행안전시스템
JP4569515B2 (ja) 車両の走行支援システムおよび走行支援装置
US9199607B2 (en) In-vehicle apparatus
JP4415766B2 (ja) 車両周辺監視システム
CN102292510B (zh) 车内设备控制系统
JP2007082594A (ja) 疲労検出装置
US20150287326A1 (en) Monitoring System
CN106740470A (zh) 一种基于全景影像系统的盲区监测方法及系统
US9956911B2 (en) Object detection for vehicles
JP2011162052A (ja) 車載警報装置及び警報システム
JP2013041489A (ja) 車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステム
JP2011100409A (ja) 車載用電子機器及びプログラム
US9159233B2 (en) System including vehicle location alert based communication with a vehicle audio entertainment system and related methods
US9031546B2 (en) System including vehicle speed alert based communication with a vehicle audio entertainment system and related methods
JP2007168570A (ja) 車載カメラの制御装置
KR20150042477A (ko) 유무선 게이트웨이를 이용한 블랙박스 기능 제공 시스템 및 그 방법
JP4123035B2 (ja) 防犯システム
JP2022186922A (ja) 処理装置
KR101887010B1 (ko) 차량 신호 전송 장치 및 그 방법
JP2020132073A (ja) 車両用防犯システム及び車両用防犯装置
JP2004240701A (ja) 旅行時間計測システム,コーン,車番認識システム
JP2006123650A (ja) 車内監視装置
JP2013134589A (ja) 車載警報装置及び車両連動警報システム
JP2002166823A (ja) 盗難検知装置
JP7051369B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131204

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees