JP2003004860A - 車両周囲警戒装置 - Google Patents
車両周囲警戒装置Info
- Publication number
- JP2003004860A JP2003004860A JP2001183134A JP2001183134A JP2003004860A JP 2003004860 A JP2003004860 A JP 2003004860A JP 2001183134 A JP2001183134 A JP 2001183134A JP 2001183134 A JP2001183134 A JP 2001183134A JP 2003004860 A JP2003004860 A JP 2003004860A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- infrared sensor
- sensor
- background
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
用いた人体等の温体の検出を高精度に行い、車両周囲に
人体等が存在する場合に、その旨を車両の乗員に適切に
認識させる。 【解決手段】 検出対象である人体等の温体を路面を背
景として検出する第1の赤外線センサ11と、大気を背
景として検出する第2の赤外線センサ12とをそれぞれ
設ける。そして、これら第1の赤外線センサ11からの
出力と、第2の赤外線センサ12からの出力とを、検出
対象である人体等の温体と、背景としての路面や大気と
の温度関係をもとにして、切替回路13において選択的
に切り替え、選択された赤外線センサからの出力に基づ
いた画像を表示器16に表示する。
Description
用して車両の周囲に存在する人体等の温体を検出し、車
両の乗員に温体の存在を認識させる車両周囲警戒装置に
関する。
や車庫入れ等を行う際は、ルームミラーやドアミラー等
を利用して、或いは目視等によって、車両周囲の安全確
認を行うようにしている。しかしながら、ルームミラー
やドアミラー、目視等によっては確認できない車両周囲
の死角となる位置に人体等が存在する場合には、乗員は
その旨を適切に認識できない場合がある。
における安全性の向上を図るために、車両に赤外線セン
サを取り付け、この赤外線センサからの出力をもとにし
て、車両周囲の死角となる位置の状況を画像として表示
器に表示すること、或いは、この死角となる位置に人体
等が存在することを検知して警告音を発すること等によ
って、車両の乗員に注意を促すようにした技術が様々提
案されている。
サを用いて車両周囲に存在する人体等を検出するように
した場合、その検出精度は、検出対象である人体等の温
度とその背景の温度との温度差に依存することになる。
このため、背景の温度が検出対象である人体等の温度に
近い場合には、検出対象である人体等の存在を精度良く
検知できない場合がある。
の外気を背景として車両周囲に存在する人体を検出する
ようにした場合、外気温が高くなる夏期においては、外
気温が人体の温度に近くなるために、検出対象である人
体を背景から分離することが困難で、人体の存在を精度
良く検知できない場合がある。
囲に存在する人体を検出するようにした場合には、春や
秋等の外気温が比較的低い時期において日射によって路
面が熱せられると、路面温度が人体の温度に近くなるた
めに、検出対象である人体を背景から分離することが困
難で、人体の存在を精度良く検知できない場合がある。
例えば、赤外線センサと超音波センサ等の他のセンサと
を組み合わせて用い、これら各センサからの出力に基づ
いて車両周囲の状況を確認する方法も提案されている
が、このような方法では、センサ出力を処理する処理回
路の構成が複雑なものとなり、コストの上昇を招くとい
った問題がある。
て創案されたものであって、比較的広い温度条件の下
で、赤外線センサを用いた人体等の温体の検出を高精度
に行い、車両周囲に人体等が存在する場合に、その旨を
車両の乗員に適切に認識させることができる車両周囲警
戒装置を提供することを目的としている。
は、車両周囲に存在する同一の温体を互いに異なる背景
でそれぞれ検出する複数の赤外線センサと、前記複数の
赤外線センサからの出力を選択的に切り替えるセンサ出
力切替手段と、前記温体と各背景との温度関係をそれぞ
れ推測し、その推測結果に基づいて前記センサ出力切替
手段の切替動作を制御する切替制御手段と、前記センサ
出力切替手段により選択された赤外線センサからの出力
に基づいて、車両周囲に温体が存在することを示す情報
を生成する情報生成手段とを備えることを特徴とする車
両周囲警戒装置である。
は、車両周囲に温体が存在する場合に、この温体が、複
数の赤外線センサによって互いに異なる背景でそれぞれ
検出される。そして、これら複数の赤外線センサからの
出力は、切替制御手段による制御に応じて、センサ出力
切替手段によって選択的に切り替えられる。
切替動作の制御は、検出対象である温体と各背景との温
度関係に基づいて行われる。すなわち、切替制御手段
は、検出対象である温体と各背景との温度関係をそれぞ
れ推測し、その推測結果に基づいてどの赤外線センサか
らの出力が最適なものであるかを判断してセンサ出力切
替手段の切替動作を制御する。
外線センサからの出力は、情報生成手段に供給される。
そして、情報生成手段により、この赤外線センサからの
出力に基づいて車両周囲に温体が存在することを示す情
報が生成され、例えば、車両周囲に温体が存在している
様子が表示器に画像表示され、或いは、車両の乗員に注
意を促す警告音が発せられる。これにより、車両の乗員
は、車両周囲に温体が存在することを認識することがで
きる。
に記載の車両周囲警戒装置において、前記複数の赤外線
センサのうちの1つが車両周囲の路面を背景として前記
温体を検出し、他の1つが車両周囲の大気を背景として
前記温体を検出することを特徴とするものである。
は、車両周囲の路面を背景として温体を検出する赤外線
センサからの出力と、車両周囲の大気を背景として温体
を検出する赤外線センサからの出力とが、切替制御手段
による制御に応じて、センサ出力切替手段により選択的
に切り替えられる。そして、これらの赤外線センサのう
ちでセンサ出力切替手段により選択された赤外線センサ
からの出力に基づいて、車両周囲に温体が存在すること
を示す情報が情報生成手段により生成されることにな
る。
又は2に記載の車両周囲警戒装置において、車両周囲の
日射量を検出する日射センサ及び車両周囲の外気温を検
出する外気温センサを更に備え、前記切替制御手段が、
前記日射センサ及び外気温センサからの出力に基づい
て、前記温体と各背景との温度関係をそれぞれ推測する
ことを特徴とするものである。
は、日射センサにより車両周囲の日射量が検出されると
共に、外気温センサにより車両周囲の外気温が検出され
る。これら日射センサからの出力及び外気温センサから
の出力は、切替制御手段に供給される。そして、これら
日射センサ及び外気温センサからの出力に基づいて、切
替制御手段により検出対象である温体と各背景との温度
関係がそれぞれ推測され、センサ出力切替手段による切
替動作が制御される。
に記載の車両周囲警戒装置において、車両周囲の風速を
検出する風速センサを更に備え、前記切替制御手段が、
前記日射センサ、外気温センサ及び風速センサからの出
力に基づいて、前記温体と各背景との温度関係をそれぞ
れ推測することを特徴とするものである。
は、風速センサにより車両周囲の風速が検出され、その
出力が切替制御手段に供給される。そして、切替制御手
段により、日射センサ及び外気温センサからの出力に加
え風速センサによる出力をもとにして、検出対象である
温体と各背景との温度関係がそれぞれ推測され、センサ
出力切替手段による切替動作が制御される。
乃至4の何れかに記載の車両周囲警戒装置において、前
記車両周囲の大気を背景として前記温体を検出する赤外
線センサの検知距離が、前記車両周囲の路面を背景とし
て前記温体を検出する赤外線センサの検知距離よりも短
く、且つ、前記車両周囲の大気を背景として前記温体を
検出する赤外線センサの垂直検知角が、前記車両周囲の
路面を背景として前記温体を検出する赤外線センサの垂
直検知角よりも大きいことを特徴とするものである。
は、検知距離が相対的に短く且つ垂直検知角が相対的に
大きい赤外線センサにより車両周囲の大気を背景として
温体が検出されると共に、検知距離が相対的に長く且つ
垂直検知角が相対的に小さい赤外線センサにより車両周
囲の路面を背景として温体が検出される。そして、これ
ら各赤外線センサからの出力が、切替制御手段による制
御に応じて、センサ出力切替手段により選択的に切り替
えられる。そして、これらの赤外線センサのうちでセン
サ出力切替手段により選択された赤外線センサからの出
力に基づいて、車両周囲に温体が存在することを示す情
報が情報生成手段により生成されることになる。
に存在する同一の温体を互いに異なる背景でそれぞれ検
出する複数の赤外線センサと、前記複数の赤外線センサ
からの出力を合成するセンサ出力合成手段と、前記セン
サ出力合成手段により合成された複数の赤外線センサか
らの出力に基づいて、車両周囲に温体が存在することを
示す情報を生成する情報生成手段とを備えることを特徴
とする車両周囲警戒装置である。
は、車両周囲に温体が存在する場合に、この温体が、複
数の赤外線センサによって互いに異なる背景でそれぞれ
検出される。そして、これら複数の赤外線センサからの
出力は、センサ出力合成手段によって合成されてる。
数の赤外線センサからの出力は、情報生成手段に供給さ
れる。そして、情報生成手段により、この合成された複
数の赤外線センサからの出力に基づいて車両周囲に温体
が存在することを示す情報が生成され、例えば、車両周
囲に温体が存在している様子が表示器に画像表示され、
或いは、車両の乗員に注意を促す警告音が発せられる。
これにより、車両の乗員は、車両周囲に温体が存在する
ことを認識することができる。
に記載の車両周囲警戒装置において、前記複数の赤外線
センサのうちの1つが車両周囲の路面を背景として前記
温体を検出し、他の1つが車両周囲の大気を背景として
前記温体を検出することを特徴とするものである。
は、車両周囲の路面を背景として温体を検出する赤外線
センサからの出力と、車両周囲の大気を背景として温体
を検出する赤外線センサからの出力とが、センサ出力合
成手段によって合成される。そして、この合成された複
数の赤外線センサからの出力に基づいて、車両周囲に温
体が存在することを示す情報が情報生成手段により生成
されることになる。
に記載の車両周囲警戒装置において、前記車両周囲の大
気を背景として前記温体を検出する赤外線センサの検知
距離が、前記車両周囲の路面を背景として前記温体を検
出する赤外線センサの検知距離よりも短く、且つ、前記
車両周囲の大気を背景として前記温体を検出する赤外線
センサの垂直検知角が、前記車両周囲の路面を背景とし
て前記温体を検出する赤外線センサの垂直検知角よりも
大きいことを特徴とするものである。
は、検知距離が相対的に短く且つ垂直検知角が相対的に
大きい赤外線センサにより車両周囲の大気を背景として
温体が検出されると共に、検知距離が相対的に長く且つ
垂直検知角が相対的に小さい赤外線センサにより車両周
囲の路面を背景として温体が検出される。そして、これ
ら各赤外線センサからの出力が、センサ出力合成手段に
より合成されて、この合成された各赤外線センサからの
出力に基づいて、車両周囲に温体が存在することを示す
情報が情報生成手段により生成されることになる。
警戒装置によれば、複数の赤外線センサにより、例えば
車両周囲の路面と車両周囲の大気といったような互いに
異なる背景で車両周囲の温体が検出され、これら複数の
赤外線センサのうちで、温体の温度と背景温度との温度
差が大きい赤外線センサからの出力が選択されて、この
選択された赤外線センサからの出力に基づいて車両周囲
に温体が存在することを示す情報が生成されるので、比
較的広い温度条件の下で、車両周囲に温体が存在するこ
とを示す情報を適切に生成して、車両の乗員に対して、
車両周囲に温体が存在することを確実に認識させること
ができる。
ンサや外気温センサ、更には風速センサ等を利用すれ
ば、車両周囲の温体と、例えば車両周囲の路面や車両周
囲の大気といったような背景との温度関係の推測を精度
良く行うことができ、使用する赤外線センサの選択を適
切に行うことができる。
離が相対的に短く且つ垂直検知角が相対的に大きい赤外
線センサにより車両周囲の大気を背景として温体を検出
し、検知距離が相対的に長く且つ垂直検知角が相対的に
小さい赤外線センサにより車両周囲の路面を背景として
温体を検出するようにすれば、車両周囲に壁等の他の物
体が存在する場合でも、このような物体の影響を受ける
ことなく、大気を背景とした温体の検出や路面を背景と
した温体の検出を精度良く行うことができる。
周囲警戒装置によれば、複数の赤外線センサにより、例
えば車両周囲の路面と車両周囲の大気といったような互
いに異なる背景で車両周囲の温体が検出され、これら複
数の赤外線センサからの出力が合成されて、この合成さ
れた複数の赤外線センサからの出力に基づいて車両周囲
に温体が存在することを示す情報が生成されるので、比
較的広い温度条件の下で、車両周囲に温体が存在するこ
とを示す情報を適切に生成して、車両の乗員に対して、
車両周囲に温体が存在することを確実に認識させること
ができる。
離が相対的に短く且つ垂直検知角が相対的に大きい赤外
線センサにより車両周囲の大気を背景として温体を検出
し、検知距離が相対的に長く且つ垂直検知角が相対的に
小さい赤外線センサにより車両周囲の路面を背景として
温体を検出するようにすれば、車両周囲に壁等の他の物
体が存在する場合でも、このような物体の影響を受ける
ことなく、大気を背景とした温体の検出や路面を背景と
した温体の検出を精度良く行うことができる。
を参照して詳細に説明する。
周囲警戒装置の一構成例を図1に示す。この図1に示す
車両周囲警戒装置10は、車両周囲に温体が存在する場
合にその旨を検知して画像として表示し、車両の乗員に
温体の存在を認識させるものであり、同一の温体を互い
に異なる背景でそれぞれ検出する第1の赤外線センサ1
1及び第2の赤外線センサ12の2つの赤外線センサを
備えている。ここで、温体とは、熱を保有して周囲環境
とは異なる独自の温度を有する物体をいい、例えば人体
や犬、猫等の動物がこれに相当する。
の赤外線センサ11からの出力と第2の赤外線センサ1
2からの出力とを選択的に切り替える切替回路13(セ
ンサ出力切替手段)と、この切替回路13による切替動
作を制御する切替制御回路14(切替制御手段)と、切
替回路13により選択された赤外線センサからの出力を
信号処理して画像信号を生成する画像信号生成回路15
(情報生成手段)と、この画像信号生成回路15により
生成された画像信号に基づいて画像を表示する表示器1
6とを備えている。
周囲の日射量を検出する日射センサ17と、車両周囲の
外気温を検出する外気温センサ18と、車両周囲の風速
を検出する風速センサ19とを備え、これら各センサ1
7,18,19からの出力が、それぞれ切替制御回路1
4に供給されるようになっている。
方の死角に存在する人体等の温体を車両後方の路面を背
景として検出するものであり、図2に示すように、車両
20の後端側上部に路面21を見下ろす取付角で取り付
けられている。この第1の赤外線センサ11としては、
例えばサーモパイル型赤外線センサ等の熱型赤外線セン
サが用いられる。この熱型赤外線センサは、温体から放
射される赤外線を吸収して熱に変換し、この熱量に応じ
た電気抵抗の変化等を利用して、温体からの放射赤外線
量に応じたセンサ信号を出力するものである。この第1
の赤外線センサ11からの出力は、切替回路13に供給
されるようになっている。
車両後方の死角に存在する人体等の温体を車両後方の大
気を背景として検出するものであり、車両20の後端側
下部のバンパ近傍に、路面21が検知範囲に入らないよ
うに水平又はやや上向きの取付角で取り付けられてい
る。この第2の赤外線センサ12としては、第1の赤外
線センサ11と同様に、例えばサーモパイル型赤外線セ
ンサ等の熱型赤外線センサが用いられる。この第2の赤
外線センサ12からの出力も、切替回路13に供給され
るようになっている。
に示すように、その検知距離L2が第1の赤外線センサ
11の検知距離L1よりも短く、且つ、その垂直検知角
θ2が、第1の赤外線センサ11の垂直検知角θ1より
も大きくされていることが望ましい。すなわち、第2の
赤外線センサ12は、上述したように、車両20の後端
側下部のバンパ近傍に水平又はやや上向きの取付角で取
り付けられているので、その検知距離L2があまり大き
いと、例えば車両20の後方に壁22等の他の物体が存
在する場合にこの壁22等が第2の赤外線センサ12の
検知範囲に含まれてしまい、その結果、背景が一様でな
くなって人体等の温体の適切な検出が妨げられてしまう
場合がある。また、第2の赤外線センサ12の検知距離
L2を短くした場合、その垂直検知角θ2が十分な大き
さとなっていないと、実効的な検知範囲が極端に狭くな
って、第1の赤外線センサ11の検知範囲に存在する人
体等の温体を第2の赤外線センサ12によって検知する
ことが困難になる。
等の他の物体の影響を排除しながら、第1の赤外線セン
サ11の検知範囲に存在する人体等の温体を第2の赤外
線センサ12によって適切に検知できるようにするため
に、第2の赤外線センサ12の検知距離L2を第1の赤
外線センサ11の検知距離L1よりも短くし、且つ、第
2の赤外線センサ12の垂直検知角θ2を第1の赤外線
センサ11の垂直検知角θ1よりも大きくすることが望
ましい。
て、第1の赤外線センサ11からの出力と第2の赤外線
センサ12からの出力との何れか一方を選択し、選択し
た赤外線センサからの出力を画像信号生成回路15へと
供給する。この切替回路13によるスイッチの切り替え
動作は、切替制御回路14によって制御されるようにな
っている。
らの出力と、外気温センサ18からの出力と、風速セン
サ19からの出力とがそれぞれ供給されるようになって
いる。
おける日射量を適切に検出できるように、例えば、車両
20のインストルメントパネルの上部等に取り付けられ
ている。また、外気温センサ18は、車両20の周囲環
境における外気温を適切に検出できるように、例えば、
車両20のエンジンルーム内に設けられたコンデンサの
前部等に取り付けられている。また、風速センサ19
は、車両20の周囲環境における風速を適切に検出でき
るように、例えば、車両20の車体下部等に取り付けら
れている。
7や外気温センサ18、風速センサ19からの出力に基
づいて、検出対象である人体等の温体と、第1の赤外線
センサ11により温体の背景として検出される路面、第
2の赤外線センサ12により温体の背景として検出され
る大気との温度関係をそれぞれ推測し、その推測結果に
基づいて、第1の赤外線センサ11と第2の赤外線セン
サ12のうち、人体等の温体をより精度良く検出できる
赤外線センサはどちらであるかを判断して、切替回路1
3においてその赤外線センサからの出力が選択されるよ
うに、切替回路13によるスイッチの切り替え動作を制
御する。
2の赤外線センサ12による人体等の温体の検出精度
は、人体等の温体の温度と、その背景である路面或いは
大気の温度との温度差に依存することになる。したがっ
て、人体等の温体に対する相対温度差が大きいものを背
景とする赤外線センサの方が、人体等の温体をより精度
良く検出できることになる。そこで、切替制御回路14
は、第1の赤外線センサ11と第2の赤外線センサ12
のうちで、どちらの赤外線センサの背景が人体等の温体
との相対温度差が大きいかを判断し、その赤外線センサ
からの出力が選択されるように、切替回路13によるス
イッチの切り替え動作を制御するようにしている。な
お、この切替制御回路14による具体的な判断手法につ
いては、詳細を後述する。
ンサ11と第2の赤外線センサ12のうちで、切替回路
13により選択された赤外線センサからの出力を信号処
理して、車両20の後方の死角の様子を画像として表示
するための画像信号を生成し、表示器16に供給する。
表示器16は、画像信号生成回路15から供給される画
像信号に応じて駆動されることで、車両20の後方の死
角の様子を画像として表示する。
外線センサ11が選択されて、この第1の赤外線センサ
11からの出力が画像信号生成回路15により信号処理
されて画像信号が生成され、この画像信号に応じて表示
器16が駆動されると、表示器16には、例えば図4に
示すように、車両20の後方の死角の様子を、路面21
を背景として車両20の後端側上部から見下ろした画像
が表示されることになる。一方、切替回路13により第
2の赤外線センサ12が選択されて、この第2の赤外線
センサ12からの出力が画像信号生成回路15により信
号処理されて画像信号が生成され、この画像信号に応じ
て表示器16が駆動されると、表示器16には、例えば
図5に示すように、車両20の後方の死角の様子を、大
気を背景として車両20の後端側下部から水平或いはや
や上向きに見た画像が表示されることになる。
された画像を参照することによって、車両20の後方の
死角に人体等の温体が存在する場合には、その旨を的確
に認識して、運転を停止するといったような必要な措置
を講ずることができる。
13により選択された赤外線センサからの出力を信号処
理して、車両20の後方の死角に人体等の温体が存在す
る場合に、警告音等を発生させるための制御信号を生成
するようにしてもよい。この場合、車両周囲警戒装置1
0は、表示器16に代えて或いは表示器16に加えて、
制御信号に応じて警告音を発する警報装置を備えること
になる。
を参照していなくても、警告音を聞くことで車両20の
後方の死角に人体等の温体が存在することを確実に認識
することができる。
在する場合において、第1の赤外線センサ11と第2の
赤外線センサ12のうち、どちらの赤外線センサを使用
した方が人体の検出をより精度良く行えるかを切替制御
回路14において判断する具体的な手法について説明す
る。
センサ18からの出力をもとに推測することができる。
人体の表面温度は、一般に概ね32℃程度であるが、外
気温に応じて多少変動する。したがって、この値を外気
温センサ18からの出力をもとに補正することによっ
て、人体表面温度を高精度に推測することができる。
として検出される車両20後方の大気の温度(外気温)
は、外気温センサ18からの出力をもとに一意に推測す
ることができる。
検出される車両20後方の路面21の温度(路面温度)
は、路面乾燥時においては、主に外気温と日射量とによ
って決定される。すなわち、路面21が加熱される要因
は、外気からの熱伝導及び太陽からの放射エネルギー
(日射)であり、これらの熱量に応じて路面温度がほぼ
決定されることになる。詳述すると、日陰で日射量が少
ない場合には、路面の加熱要因としては外気からの熱伝
導が支配的となり、路面温度が外気温とほぼ同じ温度と
なる。一方、日向で日射量が多い場合には、外気からの
熱伝導に加えて日射量によっても路面が加熱され、路面
温度は外気温に比べて高くなる。具体的には、例えば夏
期における日向では、外気温が35℃程度であっても、
路面温度が60〜70℃に達することもある。したがっ
て、路面温度は、日射センサ17からの出力と外気温セ
ンサ18からの出力とをもとに演算処理を行えば、ある
程度正確に推測することができる。
には、日射センサ17からの出力及び外気温センサ18
からの出力に加えて、風速センサ19からの出力を用い
て演算処理を行うことが有効である。すなわち、路面温
度が外気温に比べて高くなっている場合、路面21から
の熱が大気に放熱されて、大気の路面21に接する部分
に境界層と呼ばれる路面温度に近い温度層が形成され
る。路面21がこの境界層に覆われていると、路面と大
気との温度差がこの境界層によって緩和されるので、路
面21からの放熱は抑制されることになるが、強い風が
吹くと、この境界層が剥ぎ取られて路面21からの放熱
が促進され、路面温度は低下する傾向にある。このよう
に、路面温度は風速にも依存して変化することになるの
で、外気温及び日射量に加えて、風速センサ19により
検出される風速も勘案すれば、路面温度の推測をより正
確に行うことができる。
センサ17や外気温センサ18、更には風速センサ19
からの出力に加えて、第1の赤外線センサ11からの出
力を用いて演算処理を行うようにしてもよい。第1の赤
外線センサ11は、背景として路面21を検出している
ので、この第1の赤外線センサ11からの出力も利用す
れば、更に正確に路面温度を推測することが可能とな
る。
び路面温度がそれぞれ推測されると、これらの温度関係
をもとに、人体表面温度と路面温度との温度差と、人体
表面温度と外気温との温度差とのうち、どちらの温度差
が大きいかの判断が可能となる。切替制御回路14は、
人体表面温度と路面温度との温度差が、人体表面温度と
外気温との温度差よりも大きいと判断したときは、第1
の赤外線センサ11からの出力が選択されるように、切
替回路13によるスイッチの切り換え動作を制御し、人
体表面温度と外気温との温度差が、人体表面温度と路面
温度との温度差よりも大きいと判断したときは、第2の
赤外線センサ12からの出力が選択されるように、切替
回路13によるスイッチの切り換え動作を制御する。
は、路面の水分や氷、雪の気化熱、融解熱等の影響で、
路面温度を正確に推測することが極めて困難であり、人
体表面温度と路面温度との温度差の把握が難しい。ただ
し、この場合には、日射状況等に拘わらず、人体表面温
度や外気温に比べて路面温度が低くなっているので、人
体表面温度と外気温との温度関係をもとにして、人体表
面温度と路面温度との温度差が人体表面温度と外気温と
の温度差よりも大きいかどうかを、ある程度判断するこ
とができる。
人体の表面温度と路面温度、外気温との温度関係につい
て、図6を参照し各々場合分けして更に詳しく説明す
る。
りも外気温の方が高い場合である。すなわち、このケー
ス1は、夏期に相当するケースである。このケース1
は、外気温と路面温度との温度関係によって、更にケー
ス1Aとケース1Bとの2つのケースに分類される。
の方が高く、且つ、外気温よりも路面温度の方が高い場
合であり、夏期の日向に相当するケースである。この場
合、路面と外気とのうち人体表面との相対温度差が大き
いのは路面であるので、路面を背景として人体を検出す
る第1の赤外線センサを使用した方が、人体の検出をよ
り精度良く行うことができる。ここで、路面の赤外線放
射率は0.98程度であり、人体表面の赤外線放射率と
ほぼ等しくなっている。したがって、路面からの赤外線
の放射エネルギー強度と人体表面からの赤外線の放射エ
ネルギー強度の差は、これら路面及び人体表面の相対温
度差に依存するものとして良い。
の方が高く、且つ、外気温と路面温度とがほぼ等しい場
合であり、夏期の日陰に相当するケースである。この場
合、路面と外気の人体表面に対する相対温度差はほぼ等
しくなるので、第1の赤外線センサと第2の赤外線セン
サのいずれを使用してもよいが、変化が少なく一様な背
景となる路面を背景として人体を検出する第1の赤外線
センサを使用した方が、人体の検出をより精度良く行う
ことができると考えられる。
面温度の方が低い場合である。すなわち、このケース2
は、冬期に相当するケースである。このケース2は、路
面温度と外気温との温度関係によって、更にケース2A
とケース2Bとの2つのケースに分類される。
度の方が低く、且つ、路面温度よりも外気温の方が低い
場合であり、冬期の日向に相当するケースである。この
場合、路面と外気とのうち人体表面との相対温度差が大
きいのは外気であるので、外気を背景として人体を検出
する第2の赤外線センサを使用した方が、人体の検出を
より精度良く行うことができる。
度の方が低く、且つ、路面温度と外気温とがほぼ等しい
場合であり、冬期の日陰に相当するケースである。この
場合、路面と外気の人体表面に対する相対温度差はほぼ
等しくなるので、第1の赤外線センサと第2の赤外線セ
ンサのいずれを使用してもよいが、変化が少なく一様な
背景となる路面を背景として人体を検出する第1の赤外
線センサを使用した方が、人体の検出をより精度良く行
うことができると考えられる。
や路面温度に近い場合である。すなわち、このケース3
は、春期や秋期に相当するケースである。このケース3
は、路面温度と人体表面温度との温度関係、或いは、人
体表面温度と外気温との温度関係によって、更にケース
3A〜ケース3Dの4つのケースに分類される。
度の方が高く、且つ、外気温が人体表面温度とほぼ等し
い場合であり、春期又は秋期の日向に相当するケースで
ある。この場合、路面と外気とのうち人体表面との相対
温度差が大きいのは路面であるので、路面を背景として
人体を検出する第1の赤外線センサを使用した方が、人
体の検出をより精度良く行うことができる。
度の方が高く、且つ、外気温が人体表面温度よりも低い
場合であり、春期又は秋期の日向に相当するケースであ
る。この場合は、路面と外気の人体表面に対する相対温
度差に応じて使用する赤外線センサを決定すればよい
が、路面と外気の人体表面に対する相対温度差がほぼ等
しい場合には、変化が少なく一様な背景となる路面を背
景として人体を検出する第1の赤外線センサを使用した
方が、人体の検出をより精度良く行うことができると考
えられる。
がほぼ等しく、且つ、外気温が人体表面温度よりも低い
場合であり、春期又は秋期の日向に相当するケースであ
る。この場合、路面と外気とのうち人体表面との相対温
度差が大きいのは外気であるので、外気を背景として人
体を検出する第2の赤外線センサを使用した方が、人体
の検出をより精度良く行うことができる。
が人体表面温度とほぼ等しい場合であり、春期又は秋期
の日陰に相当するケースである。この場合には、路面及
び外気の人体表面に対する相対温度差がいずれも小さ
く、第1の赤外線センサ及び第2の赤外線センサのいず
れを使用した場合でも、人体を背景から分離することが
困難であると考えられるので、動作を休止する。
警戒装置10により車両20後方の死角に存在する人体
の画像を表示器16に表示する処理の流れについて、図
7のフローチャートを参照して具体的に説明する。
方の死角に存在する人体が、第1の赤外線センサ11に
より車両20の後方の路面を背景として検出されると共
に、第2の赤外線センサ12により車両20の後方の大
気を背景として検出される。これら第1の赤外線センサ
11からの出力及び第2の赤外線センサ12からの出力
は、それぞれ切替回路13に供給される。
17により車両20の周囲の日射量が検出され、また、
外気温センサ18により車両20の周囲の外気温が検出
され、風速センサ19により車両20の周囲の風速が検
出される。これら日射センサ17、外気温センサ18及
び風速センサ19からの出力は、それぞれ切り換え制御
回路14に供給される。
気温センサ18及び風速センサ19からの出力が供給さ
れると、これらに基づいて検出対象である人体の表面温
度、車両20の後方の路面温度、車両20の後方の外気
温をそれぞれ推測する。そして、まず、ステップS3に
おいて、外気温と人体表面温度との温度関係が推測さ
れ、外気温が人体表面温度よりも高く、その温度差が所
定の値tよりも大きくなっているかどうかが判断され
る。
表面温度よりも高く、その温度差が所定の値tよりも大
きくなっていると判断されるのは、上述したケース1A
或いはケース1Bに相当する場合である。したがって、
この場合には、次のステップS4において、切替回路1
3により第1の赤外線センサ11からの出力が選択され
ることになる。
表面温度よりも高くない、或いはその温度差が所定の値
t以下であると判断されたときは、次に、ステップS5
において、人体表面温度と路面温度との温度関係が推測
され、人体表面温度が路面温度より高く、その温度差が
所定の値tよりも大きくなっているかどうかが判断され
る。そして、ステップS5において、人体表面温度が路
面温度より高く、その温度差が所定の値tよりも大きく
なっていると判断されると、更に、ステップS6におい
て、路面温度と外気温との温度関係が推測され、路面温
度が外気温より高く、その温度差が所定の値tよりも大
きくなっているかどうかが判断される。
気温より高く、その温度差が所定の値tよりも大きくな
っていると判断されるのは、上述したケース2Aに相当
する場合である。したがって、この場合には、次のステ
ップS7において、切替回路13により第2の赤外線セ
ンサ12からの出力が選択されることになる。一方、ス
テップS6において路面温度が外気温より高くない、或
いはその温度差が所定の値t以下であると判断されるの
は、上述したケース2Bに相当する場合である。したが
って、この場合には、次のステップS8において、切替
回路13により第1の赤外線センサ11からの出力が選
択されることになる。
が路面温度よりも高くない、或いはその温度差が所定の
値t以下であると判断されたときは、次に、ステップS
9において、人体表面温度と外気温との温度関係が推測
され、人体表面温度が外気温より高く、その温度差が所
定の値tよりも大きくなっているかどうかが判断され
る。そして、ステップS9において、人体表面温度が外
気温より高く、その温度差が所定の値tよりも大きくな
っていると判断されると、更に、ステップS10におい
て、路面温度と人体表面温度との温度関係が推測され、
路面温度が人体表面温度より高く、その温度差が所定の
値tよりも大きくなっているかどうかが判断される。
人体表面温度より高く、その温度差が所定の値tよりも
大きくなっていると判断されるのは、上述したケース3
Bに相当する場合である。したがって、この場合には、
次のステップS11において、切替回路13により第1
の赤外線センサ11からの出力が選択されることにな
る。一方、ステップS10において路面温度が人体表面
温度より高くない、或いはその温度差が所定の値t以下
であると判断されるのは、上述したケース3Cに相当す
る場合である。したがって、この場合には、次のステッ
プS12において、切替回路13により第2の赤外線セ
ンサ12からの出力が選択されることになる。
が外気温よりも高くない、或いはその温度差が所定の値
t以下であると判断されたときは、次に、ステップS1
3において、路面温度と人体表面温度との温度関係が推
測され、路面温度が人体表面温度より高く、その温度差
が所定の値tよりも大きくなっているかどうかが判断さ
れる。このステップS13において、路面温度が人体表
面温度より高く、その温度差が所定の値tよりも大きく
なっていると判断されるのは、上述したケース3Aに相
当する場合である。したがって、この場合には、次のス
テップS14において、切替回路13により第1の赤外
線センサ11からの出力が選択されることになる。一
方、ステップS13において路面温度が人体表面温度よ
り高くない、或いはその温度差が所定の値t以下である
と判断されるのは、上述したケース3Dに相当する場合
である。したがって、この場合には、第1の赤外線セン
サ11からの出力と第2の赤外線センサ12からの出力
とが何れも選択されることなく、車両周囲警戒装置10
による一連の処理が終了することになる。
テップS11或いはステップS14において、切替回路
13により第1の赤外線センサ11からの出力が選択さ
れると、ステップS15において、画像信号生成回路1
5により第1の赤外線センサ11からの出力が信号処理
されて、車両20の後方の死角の様子を路面を背景とし
た画像として表示するための画像信号が生成される。
プS12において、切替回路13により第2の赤外線セ
ンサ12からの出力が選択されると、ステップS16に
おいて、画像信号生成回路15により第2の赤外線セン
サ12からの出力が信号処理されて、車両20の後方の
死角の様子を大気を背景とした画像として表示するため
の画像信号が生成される。
号生成回路15により生成された画像信号に応じて表示
器16が駆動されることで、車両20の後方に人体が存
在する場合に、その様子が路面或いは大気を背景とした
画像として表示器16に表示され、車両周囲警戒装置1
0による一連の処理が終了することになる。
両周囲警戒装置10では、車両20の後方の死角に人体
等の温体が存在する場合に、その人体等の温体が、第1
の赤外線センサ11により路面を背景として検出される
と共に、第2の赤外線センサ12により大気を背景とし
て検出され、これら第1の赤外線センサ11及び第2の
赤外線センサ12のうちで、人体等の温体と背景との温
度差が大きい赤外線センサからの出力が切替回路13に
より選択されることになる。そして、この選択された赤
外線センサからの出力に基づいて画像信号が生成され、
車両20の後方の死角の様子が表示器16に表示される
ようになっている。したがって、この車両周囲警戒装置
10においては、比較的広い温度条件の下で、車両20
の後方の死角に人体等の温体が存在することを示す画像
を適切に表示して、その旨を車両20の乗員に確実に認
識させることができる。
警戒装置の具体的な一例について説明したが、本発明は
以上の例に限定されるものではなく、要求される検出精
度や仕様等に応じて、各部の構成等、適宜変更が可能で
ある。
ンサ(第1の赤外線センサ11及び第2の赤外線センサ
12)を備え、これら2つの赤外線センサからの出力を
選択的に切り替えるようにしているが、3つ以上の赤外
線センサにより同一の温体を互いに異なる背景でそれぞ
れ検出して、これら3つ以上の赤外線センサからの出力
を選択的に切り換えるようにしてもよい。
死角を検出範囲として、この車両20の後方の死角に存
在する人体等の温体を検出するようにしているが、車両
20の側方や前方を検出範囲として、この車両20の側
方や前方に存在する人体等の温体を検出するようにして
もよい。
た車両周囲警戒装置の他の例について、図8を参照して
説明する。この図8に示す車両周囲警戒装置30は、上
述した第1の実施形態の車両周囲警戒装置10が、2つ
の赤外線センサからの出力を選択的に切り替えて、選択
された一方の赤外線センサからの出力に基づいて画像信
号を生成するのに対して、2つの赤外線センサからの出
力を加減乗除等の演算処理により合成して、合成された
2つの赤外線センサからの出力に基づいて画像信号を生
成する点を特徴とするものであり、第1の赤外線センサ
31と、第2の赤外線センサ32と、これら第1の赤外
線センサ31からの出力と第2の赤外線センサ32から
の出力とを合成する出力合成回路33(センサ出力合成
手段)と、出力合成回路33により合成された2つの赤
外線センサからの出力を信号処理して画像信号を生成す
る画像信号生成回路34(情報生成手段)と、この画像
信号生成回路34により生成された画像信号に基づいて
画像を表示する表示器35とを備えている。
周囲警戒装置10が備える第1の赤外線センサ11と同
様に、例えばサーモパイル型赤外線センサ等の熱型赤外
線センサよりなり、車両後方の死角に存在する人体等の
温体を車両後方の路面を背景として検出するようになっ
ている。また、第2の赤外線センサ32も、上述した車
両周囲警戒装置10が備える第2の赤外線センサ12と
同様に、例えばサーモパイル型赤外線センサ等の熱型赤
外線センサよりなり、車両後方の死角に存在する人体等
の温体を車両後方の大気を背景として検出するようにな
っている。そして、これら第1の赤外線センサ31から
の出力と第2の赤外線センサ32からの出力は、それぞ
れ出力合成回路33に供給されるようになっている。
も、上述した車両周囲警戒装置10と同様に、車両の後
方に存在する壁等の他の物体の影響を排除しながら、第
1の赤外線センサ31の検知範囲に存在する人体等の温
体を第2の赤外線センサ32によって適切に検知できる
ようにするために、第2の赤外線センサ32の検知距離
L2を第1の赤外線センサ31の検知距離L1よりも短
くし、且つ、第2の赤外線センサ32の垂直検知角θ2
を第1の赤外線センサ31の垂直検知角θ1よりも大き
くすることが望ましい。
31からの出力と第2の赤外線センサ32からの出力と
を加算乗除等の演算処理により合成して、検出対象であ
る人体等の温体と背景とのコントラストを向上させるも
のである。すなわち、この出力合成回路33は、例え
ば、先に説明したケース1A、ケース1B、ケース2
A、ケース2Bに相当する場合で、検出対象である人体
等の温体の表面温度に対して路面温度や外気温の温度差
が小さく、これらのコントラストが小さい場合に、第1
の赤外線センサ31からの出力と第2の赤外線センサ3
2からの出力とを、推定される人体等の温体の位置が重
なるように視野補正を行った上で加算処理する。また、
出力合成回路33は、例えば、先に説明したケース3
A、ケース3B、ケース3C、ケース3Dに相当する場
合で、検出対象である人体等の温体の表面温度に対して
路面温度や外気温の温度差が小さく、これらのコントラ
ストが小さい場合には、第1の赤外線センサ31からの
出力と第2の赤外線センサ32からの出力とを、推定さ
れる人体等の温体の位置が重なるように視野補正を行っ
た上で減産処理する。この出力合成回路33により合成
された第1の赤外線センサ31及び第2の赤外線センサ
32からの出力は、画像信号生成回路34に供給され
る。
3により合成された第1の赤外線センサ31及び第2の
赤外線センサ32からの出力を信号処理して、車両の後
方の死角の様子を、検出対象である人体等の温体と背景
とのコントラストが大きい合成画像として表示するため
の画像信号を生成し、表示器35に供給する。表示器3
5は、画像信号生成回路34から供給される画像信号に
応じて駆動されることで、車両の後方の死角の様子を、
例えば図9に示すようなコントラストの大きい合成画像
として表示する。
た画像を参照することによって、車両後方の死角に人体
等の温体が存在する場合には、その旨を的確に認識し
て、運転を停止するといったような必要な措置を講ずる
ことができる。
も、上述した車両周囲警戒装置1と同様に、画像信号生
成回路34が、出力合成回路33により合成された第1
の赤外線センサ31及び第2の赤外線センサ32からの
出力を信号処理して、車両後方の死角に人体等の温体が
存在する場合に、警告音等を発生させるための制御信号
を生成するようにしてもよい。この場合、車両周囲警戒
装置30は、表示器35に代えて或いは表示器35に加
えて、制御信号に応じて警告音を発する警報装置を備え
ることになる。
を参照していなくても、警告音を聞くことで車両後方の
死角に人体等の温体が存在することを確実に認識するこ
とができる。
両周囲警戒装置30では、車両後方の死角に人体等の温
体が存在する場合に、その人体等の温体が、第1の赤外
線センサ31により路面を背景として検出されると共
に、第2の赤外線センサ32により大気を背景として検
出され、これら第1の赤外線センサ31及び第2の赤外
線センサ32からの出力が出力合成回路33により合成
されることになる。そして、この合成された第1の赤外
線センサ31及び第2の赤外線センサ32からの出力に
基づいて画像信号が生成され、車両後方の死角の様子が
コントラストの大きい合成画像として表示器35に表示
されるようになっている。したがって、この車両周囲警
戒装置30においては、比較的広い温度条件の下で、車
両後方の死角に人体等の温体が存在することを示す画像
を適切に表示して、その旨を車両の乗員に確実に認識さ
せることができる。
を示すブロック図である。
に対する取付位置を示す模式図である。
る。
された画像の一例を示す図である。
された画像の一例を示す図である。
気温との温度関係について説明するための図である。
存在する人体の画像を表示器に表示する処理の流れを示
すフローチャートである。
ブロック図である。
線センサからの出力に基づいて表示された画像の一例を
示す図である。
Claims (8)
- 【請求項1】 車両周囲に存在する同一の温体を互いに
異なる背景でそれぞれ検出する複数の赤外線センサと、 前記複数の赤外線センサからの出力を選択的に切り替え
るセンサ出力切替手段と、 前記温体と各背景との温度関係をそれぞれ推測し、その
推測結果に基づいて前記センサ出力切替手段の切替動作
を制御する切替制御手段と、 前記センサ出力切替手段により選択された赤外線センサ
からの出力に基づいて、車両周囲に温体が存在すること
を示す情報を生成する情報生成手段とを備えることを特
徴とする車両周囲警戒装置。 - 【請求項2】 前記複数の赤外線センサのうちの1つが
車両周囲の路面を背景として前記温体を検出し、他の1
つが車両周囲の大気を背景として前記温体を検出するこ
とを特徴とする請求項1に記載の車両周囲警戒装置。 - 【請求項3】 車両周囲の日射量を検出する日射センサ
及び車両周囲の外気温を検出する外気温センサを更に備
え、 前記切替制御手段が、前記日射センサ及び外気温センサ
からの出力に基づいて、前記温体と各背景との温度関係
をそれぞれ推測することを特徴とする請求項1又は2に
記載の車両周囲警戒装置。 - 【請求項4】 車両周囲の風速を検出する風速センサを
更に備え、 前記切替制御手段が、前記日射センサ、外気温センサ及
び風速センサからの出力に基づいて、前記温体と各背景
との温度関係をそれぞれ推測することを特徴とする請求
項3に記載の車両周囲警戒装置。 - 【請求項5】 前記車両周囲の大気を背景として前記温
体を検出する赤外線センサの検知距離が、前記車両周囲
の路面を背景として前記温体を検出する赤外線センサの
検知距離よりも短く、且つ、前記車両周囲の大気を背景
として前記温体を検出する赤外線センサの垂直検知角
が、前記車両周囲の路面を背景として前記温体を検出す
る赤外線センサの垂直検知角よりも大きいことを特徴と
する請求項2乃至4の何れかに記載の車両周囲警戒装
置。 - 【請求項6】 車両周囲に存在する同一の温体を互いに
異なる背景でそれぞれ検出する複数の赤外線センサと、 前記複数の赤外線センサからの出力を合成するセンサ出
力合成手段と、 前記センサ出力合成手段により合成された複数の赤外線
センサからの出力に基づいて、車両周囲に温体が存在す
ることを示す情報を生成する情報生成手段とを備えるこ
とを特徴とする車両周囲警戒装置。 - 【請求項7】 前記複数の赤外線センサのうちの1つが
車両周囲の路面を背景として前記温体を検出し、他の1
つが車両周囲の大気を背景として前記温体を検出するこ
とを特徴とする請求項6に記載の車両周囲警戒装置。 - 【請求項8】 前記車両周囲の大気を背景として前記温
体を検出する赤外線センサの検知距離が、前記車両周囲
の路面を背景として前記温体を検出する赤外線センサの
検知距離よりも短く、且つ、前記車両周囲の大気を背景
として前記温体を検出する赤外線センサの垂直検知角
が、前記車両周囲の路面を背景として前記温体を検出す
る赤外線センサの垂直検知角よりも大きいことを特徴と
する請求項7に記載の車両周囲警戒装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001183134A JP3965940B2 (ja) | 2001-06-18 | 2001-06-18 | 車両周囲警戒装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001183134A JP3965940B2 (ja) | 2001-06-18 | 2001-06-18 | 車両周囲警戒装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003004860A true JP2003004860A (ja) | 2003-01-08 |
JP3965940B2 JP3965940B2 (ja) | 2007-08-29 |
Family
ID=19023120
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001183134A Expired - Fee Related JP3965940B2 (ja) | 2001-06-18 | 2001-06-18 | 車両周囲警戒装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3965940B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2230496A1 (en) | 2009-03-16 | 2010-09-22 | Autoliv Development AB | Method and system for automatically detecting objects in front of a motor vehicle |
JP2013024761A (ja) * | 2011-07-22 | 2013-02-04 | Hitachi Kokusai Electric Inc | 撮像方法および撮像装置 |
JP2017211819A (ja) * | 2016-05-25 | 2017-11-30 | 株式会社デンソー | 運転支援装置 |
-
2001
- 2001-06-18 JP JP2001183134A patent/JP3965940B2/ja not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2230496A1 (en) | 2009-03-16 | 2010-09-22 | Autoliv Development AB | Method and system for automatically detecting objects in front of a motor vehicle |
JP2013024761A (ja) * | 2011-07-22 | 2013-02-04 | Hitachi Kokusai Electric Inc | 撮像方法および撮像装置 |
JP2017211819A (ja) * | 2016-05-25 | 2017-11-30 | 株式会社デンソー | 運転支援装置 |
Also Published As
Publication number | Publication date |
---|---|
JP3965940B2 (ja) | 2007-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10196041B2 (en) | Imaging system | |
CN105722716B (zh) | 内部显示系统和方法 | |
US10576809B2 (en) | Automatic window tinting systems and methods for a vehicle | |
US10850711B2 (en) | System and methods for exterior vehicle display and panel exciters | |
JP4933658B2 (ja) | 車載用画像表示装置 | |
KR100501099B1 (ko) | 차량 주위의 영상수집장치 | |
US20180244204A1 (en) | Auto switching of display mirror assembly | |
JP5708669B2 (ja) | 車両用表示装置 | |
TWM327306U (en) | Rear-view mirror without blindspot diminishing and with vehicle sensor | |
US20040196146A1 (en) | Object detection for a stopped vehicle | |
US20130179035A1 (en) | Vehicle | |
WO2020015584A1 (zh) | 太阳能无线倒车可视系统 | |
JP2003004860A (ja) | 車両周囲警戒装置 | |
KR20070019166A (ko) | 차량용 열 감응형 충돌 방지 시스템 및 그 제어방법 | |
JPH11139262A (ja) | 車両のウィンドウの視界不良検知装置 | |
JP2007133644A (ja) | 歩行者認識装置 | |
JP2007185239A (ja) | 発汗判定装置および発汗判定方法 | |
CN216467275U (zh) | 一种基于多传感器融合的车辆自动遮阳装置 | |
JP2005241339A (ja) | 複合センサ及び空調制御方法 | |
JP3260833B2 (ja) | 車両用空調装置に用いるセンサーユニット | |
JP2002005747A (ja) | 温度分布データの処理方法 | |
KR20160047253A (ko) | 차량 및 그 제어 방법 | |
CN106379228A (zh) | 一种货车倒车雷达装置 | |
JP2008001220A (ja) | 車両用温度検出装置 | |
JP2017128241A (ja) | 空調制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070521 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |