JP2010152900A - 画像処理装置及び画像処理プログラム - Google Patents
画像処理装置及び画像処理プログラム Download PDFInfo
- Publication number
- JP2010152900A JP2010152900A JP2010008196A JP2010008196A JP2010152900A JP 2010152900 A JP2010152900 A JP 2010152900A JP 2010008196 A JP2010008196 A JP 2010008196A JP 2010008196 A JP2010008196 A JP 2010008196A JP 2010152900 A JP2010152900 A JP 2010152900A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- area
- luminance
- average
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims description 41
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 15
- 230000004397 blinking Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】 対面通行道路において、停止車両検出を適切に行う。
【解決手段】 経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像におけ
る各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平
均画像作成手段１１と、前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝
度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検
出手段１２と、対面通行の車線毎及び前記車両領域毎に前記処理画像についてフレーム間
差分及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止
車両検出を行う停止車両検出手段１３とを具備する。
【選択図】 図１
【解決手段】 経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像におけ
る各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平
均画像作成手段１１と、前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝
度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検
出手段１２と、対面通行の車線毎及び前記車両領域毎に前記処理画像についてフレーム間
差分及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止
車両検出を行う停止車両検出手段１３とを具備する。
【選択図】 図１
Description
この発明は、対面通行の道路における停止車両検出を可能とする画像処理装置及びコン
ピュータに上記処理を行わせるための画像処理プログラムに関するものである。
ピュータに上記処理を行わせるための画像処理プログラムに関するものである。
道路には、一方通行道路と対面通行道路が存在している。テレビカメラにより得た画像
を処理して道路監視を行う場合、一方通行道路にあっては、道路を走行する車両を後方か
ら撮像するようにカメラを配置するため、車両のヘッドライトの影響は少なく、画像処理
に障害が生じることは少ない。これに対し、対面通行道路にあってはカメラに向かって走
行する車両の車線が存在し、この車線を走行する車両のヘッドライトの影響が撮像した画
像に生じ、適切な画像処理を妨げることがある。
を処理して道路監視を行う場合、一方通行道路にあっては、道路を走行する車両を後方か
ら撮像するようにカメラを配置するため、車両のヘッドライトの影響は少なく、画像処理
に障害が生じることは少ない。これに対し、対面通行道路にあってはカメラに向かって走
行する車両の車線が存在し、この車線を走行する車両のヘッドライトの影響が撮像した画
像に生じ、適切な画像処理を妨げることがある。
具体的には、カメラから遠ざかるように車両が走行する側の車線を第１車線とし、カメ
ラに対して近付くように車両が走行する側の車線を第２車線とするとき、第２車線を走行
する車両のヘッドライトが第１車線の路面を照射し、第１車線に停止車両が存在するが如
く見えることから、停止車両の誤検出が生じることがある。また、第２車線を複数台の車
両が連なって走行すると、ヘッドライトが大きな光の玉となった如くの画像として撮像さ
れ、車両が走行しているのか或いは停止車両が存在するのか判定が困難となる。更に、ハ
ザードランプを点滅した停止車両を検出することが困難である。
ラに対して近付くように車両が走行する側の車線を第２車線とするとき、第２車線を走行
する車両のヘッドライトが第１車線の路面を照射し、第１車線に停止車両が存在するが如
く見えることから、停止車両の誤検出が生じることがある。また、第２車線を複数台の車
両が連なって走行すると、ヘッドライトが大きな光の玉となった如くの画像として撮像さ
れ、車両が走行しているのか或いは停止車両が存在するのか判定が困難となる。更に、ハ
ザードランプを点滅した停止車両を検出することが困難である。
従来の画像処理では対面通行の道路における車両検出が困難であるとして、カメラにて
順次撮像される画像データを濃淡投影処理にて画像処理し、現時点の投影処理データとそ
の前の投影処理データとの差分値の最大値を求めるとともに、車両検出をしていないとき
の投影差分最大値の移動平均処理を行って背景データを求め、それら投影処理データの差
分最大値と背景データに基づいて車両の有無を判定するシステムが特許文献１に示されて
いる。
順次撮像される画像データを濃淡投影処理にて画像処理し、現時点の投影処理データとそ
の前の投影処理データとの差分値の最大値を求めるとともに、車両検出をしていないとき
の投影差分最大値の移動平均処理を行って背景データを求め、それら投影処理データの差
分最大値と背景データに基づいて車両の有無を判定するシステムが特許文献１に示されて
いる。
しかしながら、前述のヘッドライトによる影響を考慮した停止車両検出には及んでおら
ず、それゆえ本発明は、対面通行道路においてヘッドライトの影響を受けた場合にも、停
止車両検出を適切に行うことができる画像処理装置及び画像処理プログラムを提供するこ
とを課題とする。
ず、それゆえ本発明は、対面通行道路においてヘッドライトの影響を受けた場合にも、停
止車両検出を適切に行うことができる画像処理装置及び画像処理プログラムを提供するこ
とを課題とする。
本発明に係る画像処理装置は、
経時的に同一カメラにより同一方向を撮像した所定枚数の処理対象画像における各画素
について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作
成手段と、
前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像にお
ける対応領域の類似度判定を行って車両領域検出を行う車両領域検出手段と、
前記車両領域毎に前記処理対象画像についてフレーム間差分の２値化画像における白画
素割合が閾値を超えるか否かに基づき停止車両検出を行う停止車両検出手段と
を具備することを特徴とする
本発明に係る画像処理プログラムは、
処理対象画像の画像処理を実行するためにコンピュータを、
経時的に同一カメラにより同一方向を撮像した所定枚数の処理対象画像における各画素
について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作
成手段と、
前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像にお
ける対応領域の類似度判定を行って車両領域検出を行う車両領域検出手段と、
前記車両領域毎に前記処理対象画像についてフレーム間差分の２値化画像における白画
素割合が閾値を超えるか否かに基づき停止車両検出を行う停止車両検出手段と
して機能させることを特徴とする。
経時的に同一カメラにより同一方向を撮像した所定枚数の処理対象画像における各画素
について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作
成手段と、
前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像にお
ける対応領域の類似度判定を行って車両領域検出を行う車両領域検出手段と、
前記車両領域毎に前記処理対象画像についてフレーム間差分の２値化画像における白画
素割合が閾値を超えるか否かに基づき停止車両検出を行う停止車両検出手段と
を具備することを特徴とする
本発明に係る画像処理プログラムは、
処理対象画像の画像処理を実行するためにコンピュータを、
経時的に同一カメラにより同一方向を撮像した所定枚数の処理対象画像における各画素
について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作
成手段と、
前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像にお
ける対応領域の類似度判定を行って車両領域検出を行う車両領域検出手段と、
前記車両領域毎に前記処理対象画像についてフレーム間差分の２値化画像における白画
素割合が閾値を超えるか否かに基づき停止車両検出を行う停止車両検出手段と
して機能させることを特徴とする。
本発明によれば、経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像に
おける各画素について、輝度情報の平均を算出することにより時間平均画像を作成し、時
間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応
領域の類似度判定を行って車両領域検出を行うので、車両領域検出を適切に行うことがで
き、また、対面通行の車線毎及び上記車両領域毎に上記処理画像についてフレーム間差分
及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止車両
検出を行うことで、ヘッドライトによる影響に関わらず停止車両検出を適切に実行可能と
なる効果がある。
おける各画素について、輝度情報の平均を算出することにより時間平均画像を作成し、時
間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応
領域の類似度判定を行って車両領域検出を行うので、車両領域検出を適切に行うことがで
き、また、対面通行の車線毎及び上記車両領域毎に上記処理画像についてフレーム間差分
及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止車両
検出を行うことで、ヘッドライトによる影響に関わらず停止車両検出を適切に実行可能と
なる効果がある。
対面通行道路においてヘッドライトの影響があるにも拘らず、停止車両検出を適切に行
うという目的を、輝度情報の平均を算出することによる時間平均画像の作成、時間平均画
像の高輝度領域を抽出、抽出した高輝度領域と背景画像における対応領域の類似度判定で
車両領域検出を行い、また、対面通行の車線毎及び上記車両領域毎に上記処理画像につい
てフレーム間差分及び２値化を行って得た結果における白画素割合の判定により実現した
ものである。以下添付図面を参照して本発明に係る画像処理装置及び画像処理プログラム
の実施例を説明する。各図において、同一構成要素には同一符号を付し重複する説明を省
略する。
うという目的を、輝度情報の平均を算出することによる時間平均画像の作成、時間平均画
像の高輝度領域を抽出、抽出した高輝度領域と背景画像における対応領域の類似度判定で
車両領域検出を行い、また、対面通行の車線毎及び上記車両領域毎に上記処理画像につい
てフレーム間差分及び２値化を行って得た結果における白画素割合の判定により実現した
ものである。以下添付図面を参照して本発明に係る画像処理装置及び画像処理プログラム
の実施例を説明する。各図において、同一構成要素には同一符号を付し重複する説明を省
略する。
（実施例１）
図１に、本発明の実施例に係る画像処理装置１を用いて構成した画像処理システムの構
成例を示す。このシステムは、テレビカメラ２により対面通行道路を一定方向から撮像し
、経時的に画像信号を得て信号変換手段３へ導き、Ａ／Ｄ変換して画素毎の輝度情報（例
えば、０〜２５５階調）として画像処理部４へ送出し、画像処理を行って出力手段５へ出
力する構成を採用している。
図１に、本発明の実施例に係る画像処理装置１を用いて構成した画像処理システムの構
成例を示す。このシステムは、テレビカメラ２により対面通行道路を一定方向から撮像し
、経時的に画像信号を得て信号変換手段３へ導き、Ａ／Ｄ変換して画素毎の輝度情報（例
えば、０〜２５５階調）として画像処理部４へ送出し、画像処理を行って出力手段５へ出
力する構成を採用している。
画像処理部４には、時間平均画像作成手段１１、車両領域検出手段１２、停止車両検出手
段１３、正当性判定手段１４、ハザード点滅検出手段１５、ハザード点滅継続検出手段１
６が備えられている。時間平均画像作成手段１１は、経時的に同一カメラ２により同一方
向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出するこ
とにより時間平均画像を作成するものである。
段１３、正当性判定手段１４、ハザード点滅検出手段１５、ハザード点滅継続検出手段１
６が備えられている。時間平均画像作成手段１１は、経時的に同一カメラ２により同一方
向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出するこ
とにより時間平均画像を作成するものである。
車両領域検出手段１２は、上記時間平均画像の高輝度領域を抽出すると共に、抽出した
高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行うもので
ある。停止車両検出手段１３は、対面通行の車線毎及び前記車両領域毎に前記処理画像に
ついてフレーム間差分及び２値化を行って得た結果における白画素割合が閾値を超えるか
否かに基づき停止車両検出を行うものである。
高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行うもので
ある。停止車両検出手段１３は、対面通行の車線毎及び前記車両領域毎に前記処理画像に
ついてフレーム間差分及び２値化を行って得た結果における白画素割合が閾値を超えるか
否かに基づき停止車両検出を行うものである。
正当性判定手段１４は、前述の定義に係る第２車線を走行する車両のヘッドライトが同
じく前述の定義に係る第１車線の路面を照射し、第１車線に停止車両が存在するが如く見
えることを原因とした停止車両の誤検出を防止するための構成であり、テレビカメラ２か
ら遠ざかるように車両が走行する側の第１の車線に車両領域が検出された場合に、テレビ
カメラ２に近付くように車両が走行する側の第２の車線側へ上記車両領域を拡大し、拡大
領域と元の車両領域の輝度比に基づいて上記第１の車線における車両領域が正当であるか
否かを判定するものである。
じく前述の定義に係る第１車線の路面を照射し、第１車線に停止車両が存在するが如く見
えることを原因とした停止車両の誤検出を防止するための構成であり、テレビカメラ２か
ら遠ざかるように車両が走行する側の第１の車線に車両領域が検出された場合に、テレビ
カメラ２に近付くように車両が走行する側の第２の車線側へ上記車両領域を拡大し、拡大
領域と元の車両領域の輝度比に基づいて上記第１の車線における車両領域が正当であるか
否かを判定するものである。
ハザード点滅検出手段１５及びハザード点滅継続検出手段１６は、フレーム間差分の２
値化した画像に基づく、車線毎の車両の流れについての有無判定において、ハザードの点
滅は明るさの大きな変化が発生するため、単純に２値化した画像の白画素の割合のみに着
目すると、車両がハザードランプをつけて停止しているシーンを車両が走行しているもの
と(別言すれば、車両の流れありと)誤判定してしまう。このような傾向に鑑みハザード点
灯の停止車両について未検出とならぬようにすべく設けられた構成であり、ハザード点滅
検出手段１５は、対面通行の車線毎及び上記車両領域毎に、フレーム間差分の２値化画像
の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたこと
を検出してハザードランプ点滅を検出するものであり、また、ハザード点滅継続検出手段
１６は、上記ハザード点滅検出手段１５によりハザードランプが点滅されていることが検
出された場合に、対面通行の車線毎及び上記車両領域毎に、フレーム間差分の２値化画像
の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えてい
ることを検出して、ハザードランプ点滅継続を検出するものである。
値化した画像に基づく、車線毎の車両の流れについての有無判定において、ハザードの点
滅は明るさの大きな変化が発生するため、単純に２値化した画像の白画素の割合のみに着
目すると、車両がハザードランプをつけて停止しているシーンを車両が走行しているもの
と(別言すれば、車両の流れありと)誤判定してしまう。このような傾向に鑑みハザード点
灯の停止車両について未検出とならぬようにすべく設けられた構成であり、ハザード点滅
検出手段１５は、対面通行の車線毎及び上記車両領域毎に、フレーム間差分の２値化画像
の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたこと
を検出してハザードランプ点滅を検出するものであり、また、ハザード点滅継続検出手段
１６は、上記ハザード点滅検出手段１５によりハザードランプが点滅されていることが検
出された場合に、対面通行の車線毎及び上記車両領域毎に、フレーム間差分の２値化画像
の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えてい
ることを検出して、ハザードランプ点滅継続を検出するものである。
停止車両検出手段１３、正当性判定手段１４、ハザード点滅検出手段１５、ハザード点
滅継続検出手段１６による検出或いは判定結果により、停止車両の有無が得られ、出力制
御手段１７により出力手段５へ出力され、表示等がなされる。
滅継続検出手段１６による検出或いは判定結果により、停止車両の有無が得られ、出力制
御手段１７により出力手段５へ出力され、表示等がなされる。
画像処理装置１は、例えば、図２に示されるような構成に係るワークステーション、パ
ーソナルコンピュータ、その他の計算機として構築することが可能である。すなわち、図
２の計算機は、装置を統括制御するＣＰＵ５１を有し、このＣＰＵ５１に上記ＣＰＵ５１
が用いるプログラム及びデータ等の情報が記憶される主記憶装置５２が接続されている。
更に、ＣＰＵ５１には、システムバス５３を介してキーボード制御部５４、表示制御部５
５、プリンタ制御部５６、インタフェース５７、マウス制御部５８、磁気ディスク制御部
５９が接続されている。キーボード制御部５４には各種情報をキー入力可能なキーボード
入力装置６０が接続され、表示制御部５５には情報を表示するためのＣＲＴ表示装置６１
が接続され、プリンタ制御部５６には情報を印字出力するためのプリンタ装置６２が接続
され、インタフェース５７には回線を介してテレビカメラ２から画像信号を取り込み、Ａ
／Ｄ変換して多値化ディジタルデータとするための処理部６３が接続され、マウス制御部
５８にはポインティングディバイスであるマウス６４が接続され、磁気ディスク制御部５
９には補助記憶装置である磁気ディスク装置６５が接続されている。なお、画像処理装置
１としては、ＣＰＵ５１、主記憶装置５２、磁気ディスク制御部５９、磁気ディスク装置
６５、インタフェース５７、処理部６３が少なくとも設けられる。また、必要に応じてフ
レキシブルディスクドライブ、磁気カード或いはＩＣカードリーダ、ＭＯ（光磁気ディス
ク）ドライブ等が設けられる。
ーソナルコンピュータ、その他の計算機として構築することが可能である。すなわち、図
２の計算機は、装置を統括制御するＣＰＵ５１を有し、このＣＰＵ５１に上記ＣＰＵ５１
が用いるプログラム及びデータ等の情報が記憶される主記憶装置５２が接続されている。
更に、ＣＰＵ５１には、システムバス５３を介してキーボード制御部５４、表示制御部５
５、プリンタ制御部５６、インタフェース５７、マウス制御部５８、磁気ディスク制御部
５９が接続されている。キーボード制御部５４には各種情報をキー入力可能なキーボード
入力装置６０が接続され、表示制御部５５には情報を表示するためのＣＲＴ表示装置６１
が接続され、プリンタ制御部５６には情報を印字出力するためのプリンタ装置６２が接続
され、インタフェース５７には回線を介してテレビカメラ２から画像信号を取り込み、Ａ
／Ｄ変換して多値化ディジタルデータとするための処理部６３が接続され、マウス制御部
５８にはポインティングディバイスであるマウス６４が接続され、磁気ディスク制御部５
９には補助記憶装置である磁気ディスク装置６５が接続されている。なお、画像処理装置
１としては、ＣＰＵ５１、主記憶装置５２、磁気ディスク制御部５９、磁気ディスク装置
６５、インタフェース５７、処理部６３が少なくとも設けられる。また、必要に応じてフ
レキシブルディスクドライブ、磁気カード或いはＩＣカードリーダ、ＭＯ（光磁気ディス
ク）ドライブ等が設けられる。
画像処理部４に備えられる各手段は、ＣＰＵ５１が図３〜図６に示されるようなフロー
チャートに対応する画像処理プログラムを実行することにより実現することができる。当
該画像処理プログラムは、例えば、磁気ディスク装置６５に記憶されており、主記憶装置
５２へ読み出して実行することが可能となっている。なお、処理対象の画像は、テレビカ
メラ２より取り込んで用いるが、予め取り込み多値化ディジタルデータとして磁気ディス
ク装置６５などに記憶しておいたものを用いることも可能である。以下、図３〜図６に示
されるフローチャートに従って動作を説明する。
チャートに対応する画像処理プログラムを実行することにより実現することができる。当
該画像処理プログラムは、例えば、磁気ディスク装置６５に記憶されており、主記憶装置
５２へ読み出して実行することが可能となっている。なお、処理対象の画像は、テレビカ
メラ２より取り込んで用いるが、予め取り込み多値化ディジタルデータとして磁気ディス
ク装置６５などに記憶しておいたものを用いることも可能である。以下、図３〜図６に示
されるフローチャートに従って動作を説明する。
ＣＰＵ５１は、処理部６３から処理対象画像をｎ（例えば、３０）枚取り込む（Ｓ１、
Ｓ２）。ｎ枚取り込んだ後にはステップＳ３以降の処理が行われ、更に１枚取り込む毎に
ステップＳ３以降の処理が行われる。
Ｓ２）。ｎ枚取り込んだ後にはステップＳ３以降の処理が行われ、更に１枚取り込む毎に
ステップＳ３以降の処理が行われる。
ＣＰＵ５１は、処理部６３から処理対象画像をｎ枚用いて時間平均画像を作成する（Ｓ
３）。つまり、画素毎に輝度値の総和を算出し、結果を枚数ｎにより除した画像である時
間平均画像を得る。また、ｎ枚の画像から或いはこれとは別に背景画像を作成する（Ｓ４
）。次に、ステップＳ３において作成した時間平均画像を予め決められプログラムに配置
された輝度閾値により、２値化を行い高輝度領域を検出する（Ｓ５）。
３）。つまり、画素毎に輝度値の総和を算出し、結果を枚数ｎにより除した画像である時
間平均画像を得る。また、ｎ枚の画像から或いはこれとは別に背景画像を作成する（Ｓ４
）。次に、ステップＳ３において作成した時間平均画像を予め決められプログラムに配置
された輝度閾値により、２値化を行い高輝度領域を検出する（Ｓ５）。
次に、ステップＳ５により検出された高輝度領域について、時間平均画像と背景画像と
を比較し、類似度を計算して停止車両の有無を検出する（Ｓ６、Ｓ７）。このような比較
の画像例を図７に示す。図７（ａ）には時間平均画像が示されており、図７（ｂ）には背
景画像が示されている。類似度の計算については、ここでは次の（式１）〜（式３）によ
り示される正規化相関関数による演算を用い、画像の明るさの影響を受け難くテクスチャ
ーの類似度を判定可能とするが、マッチング処理を用いるなどその他の演算によることも
可能である。
を比較し、類似度を計算して停止車両の有無を検出する（Ｓ６、Ｓ７）。このような比較
の画像例を図７に示す。図７（ａ）には時間平均画像が示されており、図７（ｂ）には背
景画像が示されている。類似度の計算については、ここでは次の（式１）〜（式３）によ
り示される正規化相関関数による演算を用い、画像の明るさの影響を受け難くテクスチャ
ーの類似度を判定可能とするが、マッチング処理を用いるなどその他の演算によることも
可能である。
上記の（式１）〜（式３）において、類似度であるSimilarityは、−１〜＋１の間の値
をとる。また、類似度であるSimilarityが大きければ、２つの画像が類似することを意味
する。Similarityの値が＋１であれば両者は全く同じ画像であり、−１であればネガとポ
ジの関係にある画像であることを意味する。類似度が予め決められプログラムに配置され
た類似度閾値より小さい場合には、停止車両の可能性ありと判定して出力を行う一方（Ｓ
８）、上記類似度閾値より大きい場合には、車両なしと判定して出力を行う（Ｓ９）。
をとる。また、類似度であるSimilarityが大きければ、２つの画像が類似することを意味
する。Similarityの値が＋１であれば両者は全く同じ画像であり、−１であればネガとポ
ジの関係にある画像であることを意味する。類似度が予め決められプログラムに配置され
た類似度閾値より小さい場合には、停止車両の可能性ありと判定して出力を行う一方（Ｓ
８）、上記類似度閾値より大きい場合には、車両なしと判定して出力を行う（Ｓ９）。
車両ありと判定してステップＳ８へ進んだ場合には、車両領域毎に車両領域が第１車線
にあるか第２車線にあるかを検出し（Ｓ１０）、第１車線に車両領域がある場合には図４
に示すフローチャートの処理へ進み、第２車線に車両領域がある場合には図５に示すフロ
ーチャートの処理へ進む。第１車線領域と第２車線領域は、予め例えば４点の座標値によ
って決定される矩形領域としてプログラムに配置されているものである。
にあるか第２車線にあるかを検出し（Ｓ１０）、第１車線に車両領域がある場合には図４
に示すフローチャートの処理へ進み、第２車線に車両領域がある場合には図５に示すフロ
ーチャートの処理へ進む。第１車線領域と第２車線領域は、予め例えば４点の座標値によ
って決定される矩形領域としてプログラムに配置されているものである。
第１車線に車両領域がある場合に行われる図４に示すフローチャートの処理は、正当性
判定ステップであり、テレビカメラ２から遠ざかるように車両が走行する側の第１の車線
に車両領域が検出された場合に、テレビカメラ２に近付くように車両が走行する側の第２
の車線側へ上記車両領域を拡大し、拡大領域と元の車両領域の輝度比に基づいて上記第１
の車線における車両領域が正当であるか否かを判定するものである。
判定ステップであり、テレビカメラ２から遠ざかるように車両が走行する側の第１の車線
に車両領域が検出された場合に、テレビカメラ２に近付くように車両が走行する側の第２
の車線側へ上記車両領域を拡大し、拡大領域と元の車両領域の輝度比に基づいて上記第１
の車線における車両領域が正当であるか否かを判定するものである。
例えば、図８に示すように当初の車両領域Ｄａについて、矩形の領域における第２の車
線側の２辺を所定の割合だけ長くして拡大領域Ｅａを得る（Ｓ１１）。そして、当初の車
両領域Ｄａについての平均輝度Ｄと拡大領域Ｅａについての平均輝度Ｅとの比（Ｅ／Ｄ）
を算出し（Ｓ１２）、比（Ｅ／Ｄ）が予め決められプログラムに配置された輝度比閾値以
上であるか否かを検出する（Ｓ１３）。比（Ｅ／Ｄ）が輝度比閾値以上である場合には、
第２車線を走行する車両のヘッドライトの影響であることから、車両なしとして出力を行
う一方（Ｓ１４）、比（Ｅ／Ｄ）が輝度比閾値を超えない場合には、図５に示す処理へ進
む。なお、当初の車両領域Ｄａについて、どのように拡大領域Ｅａを形成するかについて
は、図８は一例であり、原矩形の一辺側へ(第２の車線側へ)矩形を拡大すればよく、当初
の車両領域Ｄａの矩形が拡大領域Ｅａの中に入り、当初の車両領域Ｄａの４辺周囲に拡大
した領域が存在するようにしても良い。
線側の２辺を所定の割合だけ長くして拡大領域Ｅａを得る（Ｓ１１）。そして、当初の車
両領域Ｄａについての平均輝度Ｄと拡大領域Ｅａについての平均輝度Ｅとの比（Ｅ／Ｄ）
を算出し（Ｓ１２）、比（Ｅ／Ｄ）が予め決められプログラムに配置された輝度比閾値以
上であるか否かを検出する（Ｓ１３）。比（Ｅ／Ｄ）が輝度比閾値以上である場合には、
第２車線を走行する車両のヘッドライトの影響であることから、車両なしとして出力を行
う一方（Ｓ１４）、比（Ｅ／Ｄ）が輝度比閾値を超えない場合には、図５に示す処理へ進
む。なお、当初の車両領域Ｄａについて、どのように拡大領域Ｅａを形成するかについて
は、図８は一例であり、原矩形の一辺側へ(第２の車線側へ)矩形を拡大すればよく、当初
の車両領域Ｄａの矩形が拡大領域Ｅａの中に入り、当初の車両領域Ｄａの４辺周囲に拡大
した領域が存在するようにしても良い。
図５に示すフローチャートの処理は、ステップＳ１０においてＮＯへ分岐し、或いはス
テップＳ１３においてＮＯへ分岐した場合の処理であり、対面通行の車線毎及び上記車両
領域毎に行われる。まず、ｎ枚の画像について１枚目と２枚目、２枚目と３枚目、・・・
についてフレーム間差分を行い（Ｓ２１）、結果を所定閾値を用いて２値化し（Ｓ２２）
、白画素割合が予め決められプログラムに配置された白画素割合閾値以上の結果が何回で
あるかを求め（Ｓ２３）、ステップＳ２３にて求めた回数が予め決められプログラムに配
置された出現回数閾値以上であるか否かを検出する（Ｓ２４）。
テップＳ１３においてＮＯへ分岐した場合の処理であり、対面通行の車線毎及び上記車両
領域毎に行われる。まず、ｎ枚の画像について１枚目と２枚目、２枚目と３枚目、・・・
についてフレーム間差分を行い（Ｓ２１）、結果を所定閾値を用いて２値化し（Ｓ２２）
、白画素割合が予め決められプログラムに配置された白画素割合閾値以上の結果が何回で
あるかを求め（Ｓ２３）、ステップＳ２３にて求めた回数が予め決められプログラムに配
置された出現回数閾値以上であるか否かを検出する（Ｓ２４）。
フレーム間差分を行って２値化を行った場合に、車両移動が起こっている画像において
は、図９（ａ）に示されるように白画素数が多く、車両が停止している画像においては、
図９（ｂ）に示されるように白画素数が少ない。従って、図９（ｂ）に示されるように白
画素数が少ない２値化画像が出現回数閾値以上である場合には、停止車両がなく移動車両
と判定して出力を行う一方（Ｓ２５）、上記出現回数閾値より小さい場合には、停止車両
ありと判定を行う（Ｓ２６）。以上の通りの処理に関し画像をもって示すと、対面通行道
路において停止車両があり、また、走行車両がある画像（図１０（ａ）に示された如くの
画像）が得られた場合に、図３のフローチャートにおけるステップＳ３の時間平均画像作
成に係る処理を行うことによって図１０(ｃ)に示される如くの停止車両候補領域が抽出さ
れることになり、また、図５のフローチャートにおけるステップＳ２１のフレーム間差分
とステップＳ２２の２値化を行うことにより図１０(ｂ)に示される如くの走行車両による
車両の流れが検出されることになり、対面通行道路において適切に停止車両検出が可能と
なる。
は、図９（ａ）に示されるように白画素数が多く、車両が停止している画像においては、
図９（ｂ）に示されるように白画素数が少ない。従って、図９（ｂ）に示されるように白
画素数が少ない２値化画像が出現回数閾値以上である場合には、停止車両がなく移動車両
と判定して出力を行う一方（Ｓ２５）、上記出現回数閾値より小さい場合には、停止車両
ありと判定を行う（Ｓ２６）。以上の通りの処理に関し画像をもって示すと、対面通行道
路において停止車両があり、また、走行車両がある画像（図１０（ａ）に示された如くの
画像）が得られた場合に、図３のフローチャートにおけるステップＳ３の時間平均画像作
成に係る処理を行うことによって図１０(ｃ)に示される如くの停止車両候補領域が抽出さ
れることになり、また、図５のフローチャートにおけるステップＳ２１のフレーム間差分
とステップＳ２２の２値化を行うことにより図１０(ｂ)に示される如くの走行車両による
車両の流れが検出されることになり、対面通行道路において適切に停止車両検出が可能と
なる。
ステップＳ２５へ進んだ場合には、図６に示されるフローチャートの処理が行われる。
この処理は、ハザードランプを点滅した停止車両を検出する処理である。ハザードランプ
点滅により、或るときには図１１（ａ）に示すような画像が得られ、対応するフレーム間
差分２値化画像としては図１１（ｂ）に示されるような白画素数が少ない画像が得られ、
また或るときには図１２（ａ）に示すような画像が得られ、対応するフレーム間差分２値
化画像としては図１２（ｂ）に示されるような白画素数が多い画像が得られる。白画素数
の割合の変化を閾値により判定してハザードランプを点滅した停止車両を検出する。この
処理では、フレーム間差分及び２値化を行い（Ｓ３１）、対面通行の車線毎及び上記車両
領域毎に、白画素割合を求め（Ｓ３２）、対面通行の車線毎及び上記車両領域毎に前回の
ハザード判定においてハザードランプ点滅を行った停止車両とされたかを検出し（Ｓ３３
）、ＮＯであれば、上記白画素割合が予め決められプログラムに配置された白画素割合閾
値を超えており、当該閾値を超えた回数が単位時間に予め決められプログラムに配置され
た所定回数を超えたか否かを検出する（Ｓ３４）。
この処理は、ハザードランプを点滅した停止車両を検出する処理である。ハザードランプ
点滅により、或るときには図１１（ａ）に示すような画像が得られ、対応するフレーム間
差分２値化画像としては図１１（ｂ）に示されるような白画素数が少ない画像が得られ、
また或るときには図１２（ａ）に示すような画像が得られ、対応するフレーム間差分２値
化画像としては図１２（ｂ）に示されるような白画素数が多い画像が得られる。白画素数
の割合の変化を閾値により判定してハザードランプを点滅した停止車両を検出する。この
処理では、フレーム間差分及び２値化を行い（Ｓ３１）、対面通行の車線毎及び上記車両
領域毎に、白画素割合を求め（Ｓ３２）、対面通行の車線毎及び上記車両領域毎に前回の
ハザード判定においてハザードランプ点滅を行った停止車両とされたかを検出し（Ｓ３３
）、ＮＯであれば、上記白画素割合が予め決められプログラムに配置された白画素割合閾
値を超えており、当該閾値を超えた回数が単位時間に予め決められプログラムに配置され
た所定回数を超えたか否かを検出する（Ｓ３４）。
上記ステップＳ３４においてＹＥＳとなると、ハザードランプ点滅を行った停止車両と
判定して出力を行う一方（Ｓ３５）、ＮＯとなると停止車両なしと判定して出力を行う（
Ｓ３６）。ハザードランプ点滅を行った停止車両と判定した場合には、当該領域に対応し
てフラグをセットしておく。
判定して出力を行う一方（Ｓ３５）、ＮＯとなると停止車両なしと判定して出力を行う（
Ｓ３６）。ハザードランプ点滅を行った停止車両と判定した場合には、当該領域に対応し
てフラグをセットしておく。
また、ステップＳ３３における前回のハザード判定においてハザードランプ点滅を行っ
た停止車両とされたかの検出の結果がＹＥＳであれば、フレーム間差分及び２値化を行い
ったステップＳ３１の処理結果について、対面通行の車線毎及び上記車両領域毎に、白画
素割合が予め決められプログラムに配置された白画素割合閾値を超えており、時間平均画
像における平均輝度が予め決められプログラムに配置された輝度閾値を超えているか否か
を検出する（Ｓ３７）。
た停止車両とされたかの検出の結果がＹＥＳであれば、フレーム間差分及び２値化を行い
ったステップＳ３１の処理結果について、対面通行の車線毎及び上記車両領域毎に、白画
素割合が予め決められプログラムに配置された白画素割合閾値を超えており、時間平均画
像における平均輝度が予め決められプログラムに配置された輝度閾値を超えているか否か
を検出する（Ｓ３７）。
上記ステップＳ３７においてＹＥＳとなると、ハザードランプ点滅を継続させている停
止車両と判定して出力を行う一方（Ｓ３８）、ＮＯとなるとハザードランプ点滅の停止車
両がなくなったと判定して出力を行う（Ｓ３９）。ハザードランプ点滅を行った停止車両
なしと判定した場合には、当該領域に対応してフラグをリセットしておく。
止車両と判定して出力を行う一方（Ｓ３８）、ＮＯとなるとハザードランプ点滅の停止車
両がなくなったと判定して出力を行う（Ｓ３９）。ハザードランプ点滅を行った停止車両
なしと判定した場合には、当該領域に対応してフラグをリセットしておく。
以上のようにして、フレーム間差分画像の２値化画像における白画素割合の変化に着目
した図５に示される処理に基づいて、移動車両の判定を行うことにより停止車両の検出精
度を向上させている。また、時系列的に変化の小さい領域が明瞭となる一方、時系列的に
動きがある領域が不明瞭に見える（ボケる）ことに鑑み、図３に示される時間平均画像を
作成することで、適切に停止車両と移動車両とを峻別できている。更に、図４に示される
正当性判定ステップの処理を行うことにより、第２車線を走行する車両のヘッドライトが
第１車線の路面を照射することによる停止車両の誤検出を適切に排除している。
した図５に示される処理に基づいて、移動車両の判定を行うことにより停止車両の検出精
度を向上させている。また、時系列的に変化の小さい領域が明瞭となる一方、時系列的に
動きがある領域が不明瞭に見える（ボケる）ことに鑑み、図３に示される時間平均画像を
作成することで、適切に停止車両と移動車両とを峻別できている。更に、図４に示される
正当性判定ステップの処理を行うことにより、第２車線を走行する車両のヘッドライトが
第１車線の路面を照射することによる停止車両の誤検出を適切に排除している。
また、ハザードランプを点滅させた停止車両が存在する場合には、大きな輝度の変化が
周期的に発生することに鑑み、フレーム間差分画像の２値化画像における白画素割合変化
に着目し、図６に示される処理及び判定を行ってハザードランプを点滅させた停止車両の
有無を適切に検出可能としている。
周期的に発生することに鑑み、フレーム間差分画像の２値化画像における白画素割合変化
に着目し、図６に示される処理及び判定を行ってハザードランプを点滅させた停止車両の
有無を適切に検出可能としている。
１ … 画像処理装置
２ … テレビカメラ
３ … 信号変換手段
４ … 画像処理部
５ … 出力手段
１１ … 時間平均画像作成手段
１２ … 車両領域検出手段
１３ … 停止車両検出手段
１４ … 正当性判定手段
１５ … ハザード点滅検出手段
１６ … ハザード点滅継続検出手段
１７ … 出力制御手段
２ … テレビカメラ
３ … 信号変換手段
４ … 画像処理部
５ … 出力手段
１１ … 時間平均画像作成手段
１２ … 車両領域検出手段
１３ … 停止車両検出手段
１４ … 正当性判定手段
１５ … ハザード点滅検出手段
１６ … ハザード点滅継続検出手段
１７ … 出力制御手段
Claims (2)
- 経時的に同一カメラにより同一方向を撮像した所定枚数の処理対象画像における各画素
について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作
成手段と、
前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像にお
ける対応領域の類似度判定を行って車両領域検出を行う車両領域検出手段と、
前記車両領域毎に前記処理対象画像についてフレーム間差分の２値化画像における白画
素割合が閾値を超えるか否かに基づき停止車両検出を行う停止車両検出手段と
を具備することを特徴とする画像処理装置。 - 処理対象画像の画像処理を実行するためにコンピュータを、
経時的に同一カメラにより同一方向を撮像した所定枚数の処理対象画像における各画素
について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作
成手段と、
前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像にお
ける対応領域の類似度判定を行って車両領域検出を行う車両領域検出手段と、
前記車両領域毎に前記処理対象画像についてフレーム間差分の２値化画像における白画
素割合が閾値を超えるか否かに基づき停止車両検出を行う停止車両検出手段と
して機能させるための画像処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010008196A JP4892066B2 (ja) | 2010-01-18 | 2010-01-18 | 画像処理装置及び画像処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010008196A JP4892066B2 (ja) | 2010-01-18 | 2010-01-18 | 画像処理装置及び画像処理プログラム |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004225881A Division JP4537794B2 (ja) | 2004-08-02 | 2004-08-02 | 画像処理装置及び画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010152900A true JP2010152900A (ja) | 2010-07-08 |
| JP4892066B2 JP4892066B2 (ja) | 2012-03-07 |
Family
ID=42571844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010008196A Expired - Lifetime JP4892066B2 (ja) | 2010-01-18 | 2010-01-18 | 画像処理装置及び画像処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4892066B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012153285A (ja) * | 2011-01-27 | 2012-08-16 | Fujitsu Ten Ltd | 物体検出装置、および、物体検出方法 |
| CN107463886A (zh) * | 2017-07-20 | 2017-12-12 | 北京纵目安驰智能科技有限公司 | 一种双闪识别以及车辆避障的方法和系统 |
| CN109726708A (zh) * | 2019-03-13 | 2019-05-07 | 东软睿驰汽车技术（沈阳）有限公司 | 一种车道线识别方法及装置 |
| CN109948504A (zh) * | 2019-03-13 | 2019-06-28 | 东软睿驰汽车技术（沈阳）有限公司 | 一种车道线识别方法及装置 |
| CN111915895A (zh) * | 2020-08-08 | 2020-11-10 | 北京阿帕科蓝科技有限公司 | 一种基于位置信息与视频验证结合的监测方法及其系统 |
| CN114013367A (zh) * | 2021-10-29 | 2022-02-08 | 上海商汤临港智能科技有限公司 | 一种远光灯使用提醒方法及装置、电子设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05314387A (ja) * | 1991-04-08 | 1993-11-26 | Matsushita Electric Ind Co Ltd | 車両動態計測装置 |
| JPH06180749A (ja) * | 1992-12-14 | 1994-06-28 | Toyota Motor Corp | 路上物体監視装置 |
| JP2001273499A (ja) * | 2000-03-27 | 2001-10-05 | Nagoya Electric Works Co Ltd | 移動体検出方法およびその装置 |
| JP2002074368A (ja) * | 2000-08-25 | 2002-03-15 | Matsushita Electric Ind Co Ltd | 移動物体認識追跡装置 |
| JP2002092600A (ja) * | 2000-09-19 | 2002-03-29 | Oki Electric Ind Co Ltd | 道路監視装置 |
-
2010
- 2010-01-18 JP JP2010008196A patent/JP4892066B2/ja not_active Expired - Lifetime
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05314387A (ja) * | 1991-04-08 | 1993-11-26 | Matsushita Electric Ind Co Ltd | 車両動態計測装置 |
| JPH06180749A (ja) * | 1992-12-14 | 1994-06-28 | Toyota Motor Corp | 路上物体監視装置 |
| JP2001273499A (ja) * | 2000-03-27 | 2001-10-05 | Nagoya Electric Works Co Ltd | 移動体検出方法およびその装置 |
| JP2002074368A (ja) * | 2000-08-25 | 2002-03-15 | Matsushita Electric Ind Co Ltd | 移動物体認識追跡装置 |
| JP2002092600A (ja) * | 2000-09-19 | 2002-03-29 | Oki Electric Ind Co Ltd | 道路監視装置 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012153285A (ja) * | 2011-01-27 | 2012-08-16 | Fujitsu Ten Ltd | 物体検出装置、および、物体検出方法 |
| CN107463886A (zh) * | 2017-07-20 | 2017-12-12 | 北京纵目安驰智能科技有限公司 | 一种双闪识别以及车辆避障的方法和系统 |
| CN107463886B (zh) * | 2017-07-20 | 2023-07-25 | 北京纵目安驰智能科技有限公司 | 一种双闪识别以及车辆避障的方法和系统 |
| CN109726708A (zh) * | 2019-03-13 | 2019-05-07 | 东软睿驰汽车技术（沈阳）有限公司 | 一种车道线识别方法及装置 |
| CN109948504A (zh) * | 2019-03-13 | 2019-06-28 | 东软睿驰汽车技术（沈阳）有限公司 | 一种车道线识别方法及装置 |
| CN109726708B (zh) * | 2019-03-13 | 2021-03-23 | 东软睿驰汽车技术（沈阳）有限公司 | 一种车道线识别方法及装置 |
| CN111915895A (zh) * | 2020-08-08 | 2020-11-10 | 北京阿帕科蓝科技有限公司 | 一种基于位置信息与视频验证结合的监测方法及其系统 |
| CN111915895B (zh) * | 2020-08-08 | 2021-12-10 | 北京阿帕科蓝科技有限公司 | 一种基于位置信息与视频验证结合的监测方法及其系统 |
| CN114013367A (zh) * | 2021-10-29 | 2022-02-08 | 上海商汤临港智能科技有限公司 | 一种远光灯使用提醒方法及装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4892066B2 (ja) | 2012-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4892066B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP4537794B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP2007234019A (ja) | 車両画像領域特定装置およびその方法 | |
| US20200084356A1 (en) | Image monitoring device, image monitoring method, and recording medium | |
| JP5301694B2 (ja) | 画像処理装置、画像処理方法、プログラムおよびその記録媒体 | |
| JP6413318B2 (ja) | 車両検出装置、およびシステム、ならびにプログラム | |
| CN102610104A (zh) | 一种车载的前方车辆检测方法 | |
| JP6657646B2 (ja) | 障害物検知装置、障害物検知方法、および障害物検知プログラム | |
| US10074022B2 (en) | Lamp detection device and lamp detection method | |
| JP2012088785A (ja) | 対象物識別装置及びプログラム | |
| JP2011134034A (ja) | 障害物検出装置 | |
| JP5018652B2 (ja) | 物体存在判定装置 | |
| JP6413319B2 (ja) | 車両検出装置、およびシステム、ならびにプログラム | |
| JPWO2004084121A1 (ja) | 車両識別方法及び装置 | |
| JP2010286995A (ja) | 車両用画像処理システム | |
| KR102026410B1 (ko) | 마커 인식 시스템 및 방법 | |
| JP5264956B2 (ja) | ２次元コード読取装置及びその方法 | |
| US20210090297A1 (en) | Adhered substance detection apparatus | |
| US12088776B2 (en) | Video generation apparatus, method and program | |
| JP5228926B2 (ja) | 歩行者検出装置 | |
| JP3638028B2 (ja) | 車両ナンバー認識装置 | |
| JP2001273484A (ja) | 指示位置検出システム、プレゼンテーションシステムおよび情報記憶媒体 | |
| JP2010015235A (ja) | 歩行者検出装置及びプログラム | |
| JP2004110543A (ja) | 顔画像処理装置及びプログラム | |
| JP2007272785A (ja) | 画像処理式車両検出装置及び画像処理式車両検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110906 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111031 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111122 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111216 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4892066 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141222 Year of fee payment: 3 |
|
| EXPY | Cancellation because of completion of term |