JP2003044861A - 運動物体検出方法および装置 - Google Patents
運動物体検出方法および装置Info
- Publication number
- JP2003044861A JP2003044861A JP2001232667A JP2001232667A JP2003044861A JP 2003044861 A JP2003044861 A JP 2003044861A JP 2001232667 A JP2001232667 A JP 2001232667A JP 2001232667 A JP2001232667 A JP 2001232667A JP 2003044861 A JP2003044861 A JP 2003044861A
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- optical flow
- image
- image frame
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】
【課題】 画像上で見かけの動き量が大きく異なる運動
物体が複数、混在する場合でも正確にオプティカルフロ
ーを検出することが可能な、運動物体検出方法および装
置を提供すること。 【解決手段】 動画像を構成する現時刻の画像フレーム
と過去の第２の画像フレームとを用いて、現時刻の画像
フレーム中の運動物体のオプティカルフローを検出する
ステップＳ１３１と、現時刻および第２の画像フレーム
よりも過去の複数の画像フレームと現時刻の画像フレー
ムとを用いてオプティカルフローを、第１の画像フレー
ムと（Ｓ１３２）、過去の１以上の画像フレームとで検
出するステップＳ１３３と、各ステップで検出されたオ
プティカルフローの情報を用いて偽のオプティカルフロ
ーを除去し（Ｓ１４２）、それらを統合して複数の運動
物体のオプティカルフローを個別に検出するステップＳ
１５０とを備えた構成を有している。
物体が複数、混在する場合でも正確にオプティカルフロ
ーを検出することが可能な、運動物体検出方法および装
置を提供すること。 【解決手段】 動画像を構成する現時刻の画像フレーム
と過去の第２の画像フレームとを用いて、現時刻の画像
フレーム中の運動物体のオプティカルフローを検出する
ステップＳ１３１と、現時刻および第２の画像フレーム
よりも過去の複数の画像フレームと現時刻の画像フレー
ムとを用いてオプティカルフローを、第１の画像フレー
ムと（Ｓ１３２）、過去の１以上の画像フレームとで検
出するステップＳ１３３と、各ステップで検出されたオ
プティカルフローの情報を用いて偽のオプティカルフロ
ーを除去し（Ｓ１４２）、それらを統合して複数の運動
物体のオプティカルフローを個別に検出するステップＳ
１５０とを備えた構成を有している。
Description
【０００１】
【発明の属する技術分野】本発明は、動画像から運動物
体を検出するための運動物体検出方法および装置に関す
る。
体を検出するための運動物体検出方法および装置に関す
る。
【０００２】
【従来の技術】従来、オプティカルフローを検出して、
動画像から運動物体を検出する運動物体検出方法が知ら
れている。ここで、オプティカルフローとは、過去の画
像フレームの各点が現時刻の画像フレームのどの点に移
動したかを示すものをいう (図８参照)。図８におい
て、現画像フレームにおける運動物体（以下、現画像フ
レームの運動物体という。）８１０は、数フレーム分過
去の画像フレームにおける運動物体８２０（以下、数フ
レーム前の運動物体という。）から移動したものであ
り、この移動をオプティカルフロー８３０で表す。
動画像から運動物体を検出する運動物体検出方法が知ら
れている。ここで、オプティカルフローとは、過去の画
像フレームの各点が現時刻の画像フレームのどの点に移
動したかを示すものをいう (図８参照)。図８におい
て、現画像フレームにおける運動物体（以下、現画像フ
レームの運動物体という。）８１０は、数フレーム分過
去の画像フレームにおける運動物体８２０（以下、数フ
レーム前の運動物体という。）から移動したものであ
り、この移動をオプティカルフロー８３０で表す。
【０００３】ここで、現画像フレームの運動物体８１０
が占める領域と数フレーム前の運動物体８２０が占める
領域との論理和を取った領域をオプティカルフロー発生
領域８４０という。オプティカルフローは、画像フレー
ムを１画素以上の領域に分割し、過去の画像フレーム上
の各領域に対して最も類似度が高くなる領域を、現時刻
の画像フレーム上から検出することによって求まる。こ
こで、類似度の尺度として、差分絶対値和や差分二乗
和、相関値などが用いられる。
が占める領域と数フレーム前の運動物体８２０が占める
領域との論理和を取った領域をオプティカルフロー発生
領域８４０という。オプティカルフローは、画像フレー
ムを１画素以上の領域に分割し、過去の画像フレーム上
の各領域に対して最も類似度が高くなる領域を、現時刻
の画像フレーム上から検出することによって求まる。こ
こで、類似度の尺度として、差分絶対値和や差分二乗
和、相関値などが用いられる。
【０００４】上記のような処理を行うには時間がかか
り、対応点を探索する範囲（以下、対応点探索範囲とい
う。）を過去の画像フレーム上の所定領域近傍に限定し
てオプティカルフローの検出を行うのが一般的であり、
運動物体がこの対応点探索範囲外に移動した場合、はみ
出た領域については正確にオプティカルフローを検出す
ることができない。
り、対応点を探索する範囲（以下、対応点探索範囲とい
う。）を過去の画像フレーム上の所定領域近傍に限定し
てオプティカルフローの検出を行うのが一般的であり、
運動物体がこの対応点探索範囲外に移動した場合、はみ
出た領域については正確にオプティカルフローを検出す
ることができない。
【０００５】そのため、オプティカルフローを検出する
処理において、検出対象のフレーム間隔を短くする必要
がある。一方、遅い運動物体については、短いフレーム
間隔では十分な動きが生じないため、正確にオプティカ
ルフローを検出するためにはフレーム間隔を長くする必
要がある。
処理において、検出対象のフレーム間隔を短くする必要
がある。一方、遅い運動物体については、短いフレーム
間隔では十分な動きが生じないため、正確にオプティカ
ルフローを検出するためにはフレーム間隔を長くする必
要がある。
【０００６】このような観点から、処理するフレーム間
隔を運動物体の速度に合わせて変更することによって上
記の要求に対応する従来技術が、特開平９−１６７７６
号広報に開示されている。この方法は、求めたオプティ
カルフローの有効度を評価し、その有効度に基づいてフ
レーム間隔の調整を行うものである。
隔を運動物体の速度に合わせて変更することによって上
記の要求に対応する従来技術が、特開平９−１６７７６
号広報に開示されている。この方法は、求めたオプティ
カルフローの有効度を評価し、その有効度に基づいてフ
レーム間隔の調整を行うものである。
【０００７】
【発明が解決しようとする課題】しかしながら、従来の
運動物体検出方法においてフレーム間隔を調整する方法
では、1つの運動物体が速度を変化させながら移動する
ような場合にはオプティカルフローを検出することが可
能であるが、画像上で見かけの動き量が大きく異なる運
動物体が複数、混在する場合は、全ての運動物体に対し
て正確にオプティカルフローを検出することはできない
という問題がある。
運動物体検出方法においてフレーム間隔を調整する方法
では、1つの運動物体が速度を変化させながら移動する
ような場合にはオプティカルフローを検出することが可
能であるが、画像上で見かけの動き量が大きく異なる運
動物体が複数、混在する場合は、全ての運動物体に対し
て正確にオプティカルフローを検出することはできない
という問題がある。
【０００８】また、図９に示すように、フレーム中に速
い運動物体が含まれる場合に長いフレーム間隔でオプテ
ィカルフローを検出すると、数フレーム前の運動物体の
位置に偽のオプティカルフローが検出されてしまうとい
う問題がある。
い運動物体が含まれる場合に長いフレーム間隔でオプテ
ィカルフローを検出すると、数フレーム前の運動物体の
位置に偽のオプティカルフローが検出されてしまうとい
う問題がある。
【０００９】本発明はこのような問題を解決するために
なされたもので、画像上で見かけの動き量が大きく異な
る運動物体が複数、混在する場合でも正確にオプティカ
ルフローを検出することが可能な、運動物体検出方法お
よび装置を提供することである。
なされたもので、画像上で見かけの動き量が大きく異な
る運動物体が複数、混在する場合でも正確にオプティカ
ルフローを検出することが可能な、運動物体検出方法お
よび装置を提供することである。
【００１０】
【課題を解決するための手段】本発明の運動物体検出方
法は、動画像を構成する第１の画像フレームと第２の画
像フレームとを用いて、画像フレーム中の運動物体の動
きであるオプティカルフローを前記第１の画像フレーム
において検出する第１のステップと、前記第１の画像フ
レームと前記第２の画像フレームとよりも過去の複数の
画像フレーム、および前記第１の画像フレームを用い、
前記第１の画像フレームにおけるオプティカルフローお
よび前記過去の１以上の画像フレームにおけるオプティ
カルフローとを検出する第２のステップと、前記第１の
ステップで検出された前記第１の画像フレームにおける
オプティカルフローの情報、前記第２のステップで検出
された前記第１の画像フレームにおけるオプティカルフ
ローの情報、および前記第２のステップで検出された前
記過去の１以上の画像フレームにおけるオプティカルフ
ローの情報とを統合して複数の運動物体のオプティカル
フローを個別に検出するステップとを備え、前記第２の
画像フレームは、前記第１の画像フレームよりも過去の
画像フレームである構成を有している。この構成によ
り、第１画像についての異なる２つのオプティカルフロ
ーの情報と過去の１以上の画像フレームにおけるオプテ
ィカルフローの情報とを統合して個別に運動物体のオプ
ティカルフローを検出できるため、動き量の大きい運動
物体と小さい運動物体とが複数混在する場合でも、全運
動物体のオプティカルフローを検出することが可能な、
運動物体検出方法を実現することができる。
法は、動画像を構成する第１の画像フレームと第２の画
像フレームとを用いて、画像フレーム中の運動物体の動
きであるオプティカルフローを前記第１の画像フレーム
において検出する第１のステップと、前記第１の画像フ
レームと前記第２の画像フレームとよりも過去の複数の
画像フレーム、および前記第１の画像フレームを用い、
前記第１の画像フレームにおけるオプティカルフローお
よび前記過去の１以上の画像フレームにおけるオプティ
カルフローとを検出する第２のステップと、前記第１の
ステップで検出された前記第１の画像フレームにおける
オプティカルフローの情報、前記第２のステップで検出
された前記第１の画像フレームにおけるオプティカルフ
ローの情報、および前記第２のステップで検出された前
記過去の１以上の画像フレームにおけるオプティカルフ
ローの情報とを統合して複数の運動物体のオプティカル
フローを個別に検出するステップとを備え、前記第２の
画像フレームは、前記第１の画像フレームよりも過去の
画像フレームである構成を有している。この構成によ
り、第１画像についての異なる２つのオプティカルフロ
ーの情報と過去の１以上の画像フレームにおけるオプテ
ィカルフローの情報とを統合して個別に運動物体のオプ
ティカルフローを検出できるため、動き量の大きい運動
物体と小さい運動物体とが複数混在する場合でも、全運
動物体のオプティカルフローを検出することが可能な、
運動物体検出方法を実現することができる。
【００１１】また、本発明の運動物体検出方法は、動画
像を構成する第１の画像フレームと第２の画像フレーム
とを用いて、画像フレーム中の運動物体の動きであるオ
プティカルフローを前記第１の画像フレームにおいて検
出する第１のステップと、前記第１の画像フレームと前
記第２の画像フレームとよりも過去の複数の画像フレー
ム、および前記第１の画像フレームを用い、前記第１の
画像フレームにおけるオプティカルフローおよび前記過
去の１以上の画像フレームにおけるオプティカルフロー
とを検出する第２のステップと、前記第１のステップで
検出された前記第１の画像フレームにおけるオプティカ
ルフローの情報、前記第２のステップで検出された前記
第１の画像フレームにおけるオプティカルフローの情
報、および前記第２のステップで検出された前記過去の
１以上の画像フレームにおけるオプティカルフローの情
報とを統合して複数の運動物体のオプティカルフローを
個別に検出するステップと、前記オプティカルフローの
発生している領域に隣接する領域についての情報である
隣接情報に基づいて運動物体候補領域を抽出し、抽出さ
れた運動物体候補領域に関する所定の情報を用いて前記
運動物体を検出するステップとを備え、前記第２の画像
フレームは、前記第１の画像フレームよりも過去の画像
フレームである構成を有している。この構成により、第
１画像についての異なる２つのオプティカルフローの情
報と過去の１以上の画像フレームにおけるオプティカル
フローの情報とを統合して個別に運動物体のオプティカ
ルフローを検出でき、動き量の大きい運動物体と小さい
運動物体とが複数混在する場合でも全運動物体のオプテ
ィカルフローを検出することできるため、画像フレーム
内の全運動物体を検出することが可能な、運動物体検出
方法を実現することができる。
像を構成する第１の画像フレームと第２の画像フレーム
とを用いて、画像フレーム中の運動物体の動きであるオ
プティカルフローを前記第１の画像フレームにおいて検
出する第１のステップと、前記第１の画像フレームと前
記第２の画像フレームとよりも過去の複数の画像フレー
ム、および前記第１の画像フレームを用い、前記第１の
画像フレームにおけるオプティカルフローおよび前記過
去の１以上の画像フレームにおけるオプティカルフロー
とを検出する第２のステップと、前記第１のステップで
検出された前記第１の画像フレームにおけるオプティカ
ルフローの情報、前記第２のステップで検出された前記
第１の画像フレームにおけるオプティカルフローの情
報、および前記第２のステップで検出された前記過去の
１以上の画像フレームにおけるオプティカルフローの情
報とを統合して複数の運動物体のオプティカルフローを
個別に検出するステップと、前記オプティカルフローの
発生している領域に隣接する領域についての情報である
隣接情報に基づいて運動物体候補領域を抽出し、抽出さ
れた運動物体候補領域に関する所定の情報を用いて前記
運動物体を検出するステップとを備え、前記第２の画像
フレームは、前記第１の画像フレームよりも過去の画像
フレームである構成を有している。この構成により、第
１画像についての異なる２つのオプティカルフローの情
報と過去の１以上の画像フレームにおけるオプティカル
フローの情報とを統合して個別に運動物体のオプティカ
ルフローを検出でき、動き量の大きい運動物体と小さい
運動物体とが複数混在する場合でも全運動物体のオプテ
ィカルフローを検出することできるため、画像フレーム
内の全運動物体を検出することが可能な、運動物体検出
方法を実現することができる。
【００１２】また、本発明の運動物体検出方法は、動画
像を構成する第１の画像フレームと第２の画像フレーム
とを用いて、画像フレーム中の運動物体の動きであるオ
プティカルフローを前記第１の画像フレームにおいて検
出する第１のステップと、前記第１の画像フレームと前
記第２の画像フレームとよりも過去の複数の画像フレー
ム、および前記第１の画像フレームを用い、前記第１の
画像フレームにおけるオプティカルフローおよび前記過
去の１以上の画像フレームにおけるオプティカルフロー
とを検出する第２のステップと、前記第１のステップで
検出された前記第１の画像フレームにおけるオプティカ
ルフローの情報、前記第２のステップで検出された前記
第１の画像フレームにおけるオプティカルフローの情
報、および前記第２のステップで検出された前記過去の
１以上の画像フレームにおけるオプティカルフローの情
報とを統合して複数の運動物体のオプティカルフローを
個別に検出するステップと、前記オプティカルフローの
発生している領域に隣接する領域についての情報である
隣接情報に基づいて運動物体候補領域を抽出し、抽出さ
れた運動物体候補領域に関する所定の情報を用いて前記
運動物体を検出するステップと、前記運動物体の検出結
果に基づいて前記画像フレーム間で運動物体の追跡を行
うステップと、前記追跡によって求まる前記画像フレー
ムにおける前記運動物体の見かけの動き量に基づいて、
前記オプティカルフローを検出するフレーム間隔および
統合するオプティカルフローの数を制御するステップと
を備え、前記第２の画像フレームは、前記第１の画像フ
レームよりも過去の画像フレームである構成を有してい
る。この構成により、運動物体の検出結果に基づいて画
像フレーム間で運動物体の追跡を行うことができるた
め、運動物体の追跡情報を用いてオプティカルフロー検
出の画像フレーム間隔、統合オプティカルフロー数を制
御し、安定した全運動物体のオプティカルフローを検出
することが可能な、運動物体検出方法を実現することが
できる。
像を構成する第１の画像フレームと第２の画像フレーム
とを用いて、画像フレーム中の運動物体の動きであるオ
プティカルフローを前記第１の画像フレームにおいて検
出する第１のステップと、前記第１の画像フレームと前
記第２の画像フレームとよりも過去の複数の画像フレー
ム、および前記第１の画像フレームを用い、前記第１の
画像フレームにおけるオプティカルフローおよび前記過
去の１以上の画像フレームにおけるオプティカルフロー
とを検出する第２のステップと、前記第１のステップで
検出された前記第１の画像フレームにおけるオプティカ
ルフローの情報、前記第２のステップで検出された前記
第１の画像フレームにおけるオプティカルフローの情
報、および前記第２のステップで検出された前記過去の
１以上の画像フレームにおけるオプティカルフローの情
報とを統合して複数の運動物体のオプティカルフローを
個別に検出するステップと、前記オプティカルフローの
発生している領域に隣接する領域についての情報である
隣接情報に基づいて運動物体候補領域を抽出し、抽出さ
れた運動物体候補領域に関する所定の情報を用いて前記
運動物体を検出するステップと、前記運動物体の検出結
果に基づいて前記画像フレーム間で運動物体の追跡を行
うステップと、前記追跡によって求まる前記画像フレー
ムにおける前記運動物体の見かけの動き量に基づいて、
前記オプティカルフローを検出するフレーム間隔および
統合するオプティカルフローの数を制御するステップと
を備え、前記第２の画像フレームは、前記第１の画像フ
レームよりも過去の画像フレームである構成を有してい
る。この構成により、運動物体の検出結果に基づいて画
像フレーム間で運動物体の追跡を行うことができるた
め、運動物体の追跡情報を用いてオプティカルフロー検
出の画像フレーム間隔、統合オプティカルフロー数を制
御し、安定した全運動物体のオプティカルフローを検出
することが可能な、運動物体検出方法を実現することが
できる。
【００１３】また、本発明の運動物体検出装置は、所定
の撮像装置からの画像信号を取り込む画像入力手段と、
前記取り込まれた画像信号を記憶する画像記憶手段と、
前記画像記憶手段に記憶された画像信号によって構成さ
れる画像フレームにおいて、異なる前記画像フレーム間
隔の画像フレーム間で運動物体の動きであるオプティカ
ルフローを検出し統合するオプティカルフロー検出手段
と、前記オプティカルフロー検出手段で統合されたオプ
ティカルフローの情報に基づいて前記運動物体を検出す
る運動物体検出手段とを備えた構成を有している。この
構成により、個別に運動物体のオプティカルフローを検
出できるため、動き量の大きい運動物体と小さい運動物
体とが複数混在する場合でも、全運動物体のオプティカ
ルフローを検出することが可能な、運動物体検出装置を
実現することができる。
の撮像装置からの画像信号を取り込む画像入力手段と、
前記取り込まれた画像信号を記憶する画像記憶手段と、
前記画像記憶手段に記憶された画像信号によって構成さ
れる画像フレームにおいて、異なる前記画像フレーム間
隔の画像フレーム間で運動物体の動きであるオプティカ
ルフローを検出し統合するオプティカルフロー検出手段
と、前記オプティカルフロー検出手段で統合されたオプ
ティカルフローの情報に基づいて前記運動物体を検出す
る運動物体検出手段とを備えた構成を有している。この
構成により、個別に運動物体のオプティカルフローを検
出できるため、動き量の大きい運動物体と小さい運動物
体とが複数混在する場合でも、全運動物体のオプティカ
ルフローを検出することが可能な、運動物体検出装置を
実現することができる。
【００１４】また、本発明の運動物体検出装置は、所定
の撮像装置からの画像信号を取り込む画像入力手段と、
前記取り込まれた画像信号を記憶する画像記憶手段と、
前記画像記憶手段に記憶された画像信号によって構成さ
れる画像フレームにおいて、異なる前記画像フレーム間
隔の画像フレーム間で運動物体の動きであるオプティカ
ルフローを検出し統合するオプティカルフロー検出手段
と、前記オプティカルフロー検出手段で統合されたオプ
ティカルフローの情報に基づいて前記運動物体を検出す
る運動物体検出手段と、前記オプティカルフローの発生
している領域に隣接する領域についての情報である隣接
情報に基づいて運動物体候補領域を抽出し、抽出された
運動物体候補領域に関する、サイズ、形状、位置または
運動物体候補領域内のオプティカルフローの情報を含む
所定の情報を用いて前記運動物体を検出する運動物体検
出手段と、前記運動物体の検出結果に基づいて前記画像
フレーム間で運動物体の追跡を行う運動物体追跡手段
と、前記追跡によって求まる前記画像フレーム上での見
かけの動き量に基づいて、前記オプティカルフローを検
出するフレーム間隔および統合するオプティカルフロー
の数を制御するオプティカルフロー検出制御手段とを備
えた構成を有している。この構成により、運動物体の追
跡情報を用いてオプティカルフロー検出の画像フレーム
間隔、統合オプティカルフロー数を制御することによっ
て、安定した全運動物体のオプティカルフローを検出す
ることが可能な、運動物体検出装置を実現することがで
きる。
の撮像装置からの画像信号を取り込む画像入力手段と、
前記取り込まれた画像信号を記憶する画像記憶手段と、
前記画像記憶手段に記憶された画像信号によって構成さ
れる画像フレームにおいて、異なる前記画像フレーム間
隔の画像フレーム間で運動物体の動きであるオプティカ
ルフローを検出し統合するオプティカルフロー検出手段
と、前記オプティカルフロー検出手段で統合されたオプ
ティカルフローの情報に基づいて前記運動物体を検出す
る運動物体検出手段と、前記オプティカルフローの発生
している領域に隣接する領域についての情報である隣接
情報に基づいて運動物体候補領域を抽出し、抽出された
運動物体候補領域に関する、サイズ、形状、位置または
運動物体候補領域内のオプティカルフローの情報を含む
所定の情報を用いて前記運動物体を検出する運動物体検
出手段と、前記運動物体の検出結果に基づいて前記画像
フレーム間で運動物体の追跡を行う運動物体追跡手段
と、前記追跡によって求まる前記画像フレーム上での見
かけの動き量に基づいて、前記オプティカルフローを検
出するフレーム間隔および統合するオプティカルフロー
の数を制御するオプティカルフロー検出制御手段とを備
えた構成を有している。この構成により、運動物体の追
跡情報を用いてオプティカルフロー検出の画像フレーム
間隔、統合オプティカルフロー数を制御することによっ
て、安定した全運動物体のオプティカルフローを検出す
ることが可能な、運動物体検出装置を実現することがで
きる。
【００１５】また、本発明の運動物体検出装置は、撮像
カメラまたは遠赤外カメラを含む所定の撮像装置からの
画像信号または熱分布画像信号を取り込む画像入力手段
と、前記取り込まれた画像信号を記憶する画像記憶手段
と、前記画像記憶手段に記憶された画像信号によって構
成される画像フレームにおいて、異なる前記画像フレー
ム間隔の画像フレーム間で運動物体の動きであるオプテ
ィカルフローを検出し統合するオプティカルフロー検出
手段と、前記オプティカルフロー検出手段で統合された
オプティカルフローの情報に基づいて前記運動物体を検
出する運動物体検出手段とを備えた構成を有している。
この構成により、熱分布に基づき運動物体を追跡するこ
とが可能であるため、カメラなどの撮像装置では困難で
あった暗闇における運動物体の検出、追跡が可能な運動
物体検出装置を実現することができる。
カメラまたは遠赤外カメラを含む所定の撮像装置からの
画像信号または熱分布画像信号を取り込む画像入力手段
と、前記取り込まれた画像信号を記憶する画像記憶手段
と、前記画像記憶手段に記憶された画像信号によって構
成される画像フレームにおいて、異なる前記画像フレー
ム間隔の画像フレーム間で運動物体の動きであるオプテ
ィカルフローを検出し統合するオプティカルフロー検出
手段と、前記オプティカルフロー検出手段で統合された
オプティカルフローの情報に基づいて前記運動物体を検
出する運動物体検出手段とを備えた構成を有している。
この構成により、熱分布に基づき運動物体を追跡するこ
とが可能であるため、カメラなどの撮像装置では困難で
あった暗闇における運動物体の検出、追跡が可能な運動
物体検出装置を実現することができる。
【００１６】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を用いて説明する。本発明の第１の実施の形態
の運動物体検出方法は、異なるフレーム間隔でオプティ
カルフローを検出し、それらを統合することにより、運
動量の異なる複数の運動物体が存在する場合でも全ての
運動物体のオプティカルフローを正確に検出する方法で
ある。
て、図面を用いて説明する。本発明の第１の実施の形態
の運動物体検出方法は、異なるフレーム間隔でオプティ
カルフローを検出し、それらを統合することにより、運
動量の異なる複数の運動物体が存在する場合でも全ての
運動物体のオプティカルフローを正確に検出する方法で
ある。
【００１７】ここで、オプティカルフローとは、過去の
画像フレームの各点が現時刻の画像フレームのどの点に
移動したかを示すものをいう(図８参照)。図８におい
て、現画像フレームの運動物体８１０は、数フレーム分
過去の画像フレームにおける運動物体８２０（以下、数
フレーム前の運動物体という。）から移動したものであ
り、この移動をオプティカルフロー８３０として表す。
ここで、現画像フレームの運動物体８１０が占める領域
と数フレーム前の運動物体８２０が占める領域との論理
和を取った領域をオプティカルフロー発生領域８４０と
いう。
画像フレームの各点が現時刻の画像フレームのどの点に
移動したかを示すものをいう(図８参照)。図８におい
て、現画像フレームの運動物体８１０は、数フレーム分
過去の画像フレームにおける運動物体８２０（以下、数
フレーム前の運動物体という。）から移動したものであ
り、この移動をオプティカルフロー８３０として表す。
ここで、現画像フレームの運動物体８１０が占める領域
と数フレーム前の運動物体８２０が占める領域との論理
和を取った領域をオプティカルフロー発生領域８４０と
いう。
【００１８】図１は、本発明の第１の実施の形態の運動
物体検出方法における処理の流れを示すフローチャート
である。以下の処理では、現時刻の画像フレームと過去
の３つの画像フレームを用いてオプティカルフローを検
出する。説明の都合上、上記過去の３つの画像フレーム
を現時刻から過去に離れる順番に、第１過去の画像フレ
ーム、第２過去の画像フレーム、および第３過去の画像
フレームという。
物体検出方法における処理の流れを示すフローチャート
である。以下の処理では、現時刻の画像フレームと過去
の３つの画像フレームを用いてオプティカルフローを検
出する。説明の都合上、上記過去の３つの画像フレーム
を現時刻から過去に離れる順番に、第１過去の画像フレ
ーム、第２過去の画像フレーム、および第３過去の画像
フレームという。
【００１９】ステップＳ１１０で、現時刻の画像フレー
ムを取り込む。同様に、ステップＳ１２１で、第１過去
の画像フレームを取り込み、ステップＳ１２２で、第２
過去の画像フレームを取り込み、ステップＳ１２３で、
第３過去の画像フレームを取り込む。ステップＳ１３１
で、現時刻の画像フレームと第１過去の画像フレームと
を用いてオプティカルフローを検出する。
ムを取り込む。同様に、ステップＳ１２１で、第１過去
の画像フレームを取り込み、ステップＳ１２２で、第２
過去の画像フレームを取り込み、ステップＳ１２３で、
第３過去の画像フレームを取り込む。ステップＳ１３１
で、現時刻の画像フレームと第１過去の画像フレームと
を用いてオプティカルフローを検出する。
【００２０】オプティカルフローの検出は、画像フレー
ム間で画像フレーム上の各領域において対応する点（以
下、対応点という。）を探索し、類似度を算出すること
によって行われる。類似度の尺度として、差分絶対値和
や差分二乗和、相関値などを用いることができる。な
お、ステップＳ１２１で、現時刻の画像フレームとフレ
ーム間隔の短い第１過去の画像フレームとをオプティカ
ルフローの検出対象フレームとしているため、ステップ
Ｓ１３１では、画像上での見かけの動き量が大きい運動
物体のオプティカルフローを検出する処理が行われる。
ム間で画像フレーム上の各領域において対応する点（以
下、対応点という。）を探索し、類似度を算出すること
によって行われる。類似度の尺度として、差分絶対値和
や差分二乗和、相関値などを用いることができる。な
お、ステップＳ１２１で、現時刻の画像フレームとフレ
ーム間隔の短い第１過去の画像フレームとをオプティカ
ルフローの検出対象フレームとしているため、ステップ
Ｓ１３１では、画像上での見かけの動き量が大きい運動
物体のオプティカルフローを検出する処理が行われる。
【００２１】同様に、ステップＳ１３２で、現時刻の画
像フレームと第２過去の画像フレームとを用いてオプテ
ィカルフローを検出し、ステップＳ１３３で、第２過去
の画像フレームと第３過去の画像フレームとを用いてオ
プティカルフローを検出する。ステップＳ１２２で、現
時刻の画像フレームと第２過去の画像フレームの長い過
去の画像フレームとをオプティカルフローの検出対象フ
レームとしているため、ステップＳ１３２では、画像上
での見かけの動き量が小さい運動物体のオプティカルフ
ローを検出する。
像フレームと第２過去の画像フレームとを用いてオプテ
ィカルフローを検出し、ステップＳ１３３で、第２過去
の画像フレームと第３過去の画像フレームとを用いてオ
プティカルフローを検出する。ステップＳ１２２で、現
時刻の画像フレームと第２過去の画像フレームの長い過
去の画像フレームとをオプティカルフローの検出対象フ
レームとしているため、ステップＳ１３２では、画像上
での見かけの動き量が小さい運動物体のオプティカルフ
ローを検出する。
【００２２】しかし、画像上に動き量の大きい運動物体
が含まれる場合には、偽のオプティカルフローが検出さ
れる(図９参照)。図９において、現画像フレームにおけ
る運動物体９１０は、数フレーム前の運動物体９２０か
ら移動したものであり、現画像フレームにおける運動物
体９１０が占める領域と数フレーム前の運動物体９２０
が占める領域との論理和を取った領域がオプティカルフ
ロー発生領域９４０であり、オプティカルフロー発生領
域９４０には偽りのオプティカルフロー発生領域９３０
が含まれることになる。
が含まれる場合には、偽のオプティカルフローが検出さ
れる(図９参照)。図９において、現画像フレームにおけ
る運動物体９１０は、数フレーム前の運動物体９２０か
ら移動したものであり、現画像フレームにおける運動物
体９１０が占める領域と数フレーム前の運動物体９２０
が占める領域との論理和を取った領域がオプティカルフ
ロー発生領域９４０であり、オプティカルフロー発生領
域９４０には偽りのオプティカルフロー発生領域９３０
が含まれることになる。
【００２３】この偽のオプティカルフローを除去するた
めに、以下のステップＳ１３３とＳ１４２での処理を行
う。図１０に示す記号１０１０および１０３０によっ
て、長いフレーム間隔での運動物体の運動およびそのオ
プティカルフロー発生領域９４０を模式的に示す図形を
特定する。また、記号１０２０および１０４０によっ
て、短いフレーム間隔での運動物体の運動およびそのオ
プティカルフロー発生領域９３１を模式的に示す図形を
特定する。動きの小さいオプティカルフロー発生領域
は、全体のオプティカルフロー発生領域９４０から動き
の大きいオプティカルフロー発生領域９３１を差し引い
たときに得られるオプティカルフロー発生領域９４１で
ある。
めに、以下のステップＳ１３３とＳ１４２での処理を行
う。図１０に示す記号１０１０および１０３０によっ
て、長いフレーム間隔での運動物体の運動およびそのオ
プティカルフロー発生領域９４０を模式的に示す図形を
特定する。また、記号１０２０および１０４０によっ
て、短いフレーム間隔での運動物体の運動およびそのオ
プティカルフロー発生領域９３１を模式的に示す図形を
特定する。動きの小さいオプティカルフロー発生領域
は、全体のオプティカルフロー発生領域９４０から動き
の大きいオプティカルフロー発生領域９３１を差し引い
たときに得られるオプティカルフロー発生領域９４１で
ある。
【００２４】まず、ステップＳ１３３で、運動物体の動
き量が大きいことを利用し、ステップＳ１２２で処理対
象とした第２過去の画像フレームと更に古い第３過去の
画像フレームとを用いて、動き量の大きい運動物体のオ
プティカルフローまたはオプティカルフロー発生領域９
３１を検出する。
き量が大きいことを利用し、ステップＳ１２２で処理対
象とした第２過去の画像フレームと更に古い第３過去の
画像フレームとを用いて、動き量の大きい運動物体のオ
プティカルフローまたはオプティカルフロー発生領域９
３１を検出する。
【００２５】ステップＳ１４２で、ステップＳ１３２と
ステップＳ１３３で検出したオプティカルフローの情報
を用い、ステップＳ１３２で検出したオプティカルフロ
ー発生領域９４０からステップＳ１３３で検出したオプ
ティカルフロー発生領域９３１を引き算する。
ステップＳ１３３で検出したオプティカルフローの情報
を用い、ステップＳ１３２で検出したオプティカルフロ
ー発生領域９４０からステップＳ１３３で検出したオプ
ティカルフロー発生領域９３１を引き算する。
【００２６】ステップＳ１５０では、ステップＳ１３１
で検出した動き量の大きい運動物体のオプティカルフロ
ーとステップＳ１４２で検出した動き量の小さい運動物
体のオプティカルフローを統合することにより、両運動
物体のオプティカルフローを検出する。
で検出した動き量の大きい運動物体のオプティカルフロ
ーとステップＳ１４２で検出した動き量の小さい運動物
体のオプティカルフローを統合することにより、両運動
物体のオプティカルフローを検出する。
【００２７】以上説明したように、本発明の第１の実施
の形態の運動物体検出方法は、動き量の大きい運動物体
と小さい運動物体とが混在する場合でも、両運動物体の
オプティカルフローを得ることが可能である。また、動
き量の異なる運動物体が３つ以上混在している場合で
も、同様に本第１の実施の形態で偽のオプティカルフロ
ーを除去することができ、全運動物体のオプティカルフ
ローを検出することが可能である。
の形態の運動物体検出方法は、動き量の大きい運動物体
と小さい運動物体とが混在する場合でも、両運動物体の
オプティカルフローを得ることが可能である。また、動
き量の異なる運動物体が３つ以上混在している場合で
も、同様に本第１の実施の形態で偽のオプティカルフロ
ーを除去することができ、全運動物体のオプティカルフ
ローを検出することが可能である。
【００２８】本発明の第２の実施の形態の運動物体検出
方法は、上記第１の実施の形態の運動物体検出方法を用
いて運動物体の検出を行う運動物体検出方法である。図
３は、本発明の第２の実施の形態の運動物体検出方法に
おける処理の流れを示すフローチャートである。以下、
図３に示すフローチャートを用いて本発明の第２の実施
の形態の運動物体検出方法について説明する。
方法は、上記第１の実施の形態の運動物体検出方法を用
いて運動物体の検出を行う運動物体検出方法である。図
３は、本発明の第２の実施の形態の運動物体検出方法に
おける処理の流れを示すフローチャートである。以下、
図３に示すフローチャートを用いて本発明の第２の実施
の形態の運動物体検出方法について説明する。
【００２９】ステップＳ３１０で、現画像フレームを取
り込んで記憶し、この記憶された画像フレームを用いて
上記第１の実施の形態の運動物体検出方法によって偽の
オプティカルフローの情報を除去し、複数のオプティカ
ルフローの情報を統合し、オプティカルフローを検出す
る。ステップＳ３１０における詳細な処理の流れを表す
フローチャートは、図１に示すものと同じである。
り込んで記憶し、この記憶された画像フレームを用いて
上記第１の実施の形態の運動物体検出方法によって偽の
オプティカルフローの情報を除去し、複数のオプティカ
ルフローの情報を統合し、オプティカルフローを検出す
る。ステップＳ３１０における詳細な処理の流れを表す
フローチャートは、図１に示すものと同じである。
【００３０】ステップＳ３２０で、ステップＳ３１０で
検出されたオプティカルフローの情報（以下、オプティ
カルフロー情報という。）を用いて運動物体の検出を行
う。ステップＳ３３０で、処理を終了するか否かの判断
を行い、終了しないと判断された場合は、ステップＳ３
１０に戻り、上記の処理を繰り返す。
検出されたオプティカルフローの情報（以下、オプティ
カルフロー情報という。）を用いて運動物体の検出を行
う。ステップＳ３３０で、処理を終了するか否かの判断
を行い、終了しないと判断された場合は、ステップＳ３
１０に戻り、上記の処理を繰り返す。
【００３１】ここで、上記運動物体の検出は、オプティ
カルフローが発生している領域に隣接する領域の画像情
報（以下、隣接情報という。）に基づいて運動物体候補
領域を抽出し、抽出された運動物体候補領域のサイズ、
形状、位置等の情報や運動物体候補領域内のオプティカ
ルフロー情報の内、1つ以上の情報を組み合わせて運動
物体であるか否かを判断する方法によって行う。
カルフローが発生している領域に隣接する領域の画像情
報（以下、隣接情報という。）に基づいて運動物体候補
領域を抽出し、抽出された運動物体候補領域のサイズ、
形状、位置等の情報や運動物体候補領域内のオプティカ
ルフロー情報の内、1つ以上の情報を組み合わせて運動
物体であるか否かを判断する方法によって行う。
【００３２】以上説明したように、本発明の第２の実施
の形態の運動物体検出方法は、第１の実施の形態の運動
物体検出方法により全運動物体のオプティカルフローが
検出できるため、画像フレーム内の全運動物体を検出す
ることが可能である。
の形態の運動物体検出方法は、第１の実施の形態の運動
物体検出方法により全運動物体のオプティカルフローが
検出できるため、画像フレーム内の全運動物体を検出す
ることが可能である。
【００３３】図４は、本発明の第３の実施の形態の運動
物体検出装置のブロック構成を示す図である。第３の実
施の形態の運動物体検出装置４００は、画像入力部４１
０、画像記憶部４２０、オプティカルフロー検出部４３
０、および運動物体検出部４４０によって構成される。
ここで、運動物体検出部４４０は、さらに、運動物体候
補領域抽出手段４４１と運動物体領域判定手段４４２と
によって構成される。
物体検出装置のブロック構成を示す図である。第３の実
施の形態の運動物体検出装置４００は、画像入力部４１
０、画像記憶部４２０、オプティカルフロー検出部４３
０、および運動物体検出部４４０によって構成される。
ここで、運動物体検出部４４０は、さらに、運動物体候
補領域抽出手段４４１と運動物体領域判定手段４４２と
によって構成される。
【００３４】画像入力部４１０は、撮像装置（カメラ）
５００の出力である撮像された画像（現画像）を取り込
み、画像記憶部４２０に出力する。画像記憶部４２０
は、画像入力部４１０から出力された画像を記憶する。
オプティカルフロー検出部４３０は、上記第１の実施の
形態のオプティカルフロー検出方法によって、画像入力
部４１０が取り込んだ現画像と画像記憶部４２０に記憶
された過去の画像とを入力とし、オプティカルフロー情
報を出力する。
５００の出力である撮像された画像（現画像）を取り込
み、画像記憶部４２０に出力する。画像記憶部４２０
は、画像入力部４１０から出力された画像を記憶する。
オプティカルフロー検出部４３０は、上記第１の実施の
形態のオプティカルフロー検出方法によって、画像入力
部４１０が取り込んだ現画像と画像記憶部４２０に記憶
された過去の画像とを入力とし、オプティカルフロー情
報を出力する。
【００３５】運動物体検出部４４０は、運動物体候補領
域抽出手段４４１によって、オプティカルフロー検出部
４３０が生成したオプティカルフロー情報を入力とし、
オプティカルフローの発生している領域の隣接情報に基
づいて運動物体候補領域を求める。運動物体検出部４４
０は、また、運動物体領域判定手段４４２によって、上
記運動物体候補領域抽出手段４４１で求められた運動物
体候補領域のサイズ、形状、位置等の情報や候補領域内
のオプティカルフロー情報の内、1つ以上の情報を組み
合わせて運動物体か否かを判断して運動物体を検出し、
検出結果を出力する。
域抽出手段４４１によって、オプティカルフロー検出部
４３０が生成したオプティカルフロー情報を入力とし、
オプティカルフローの発生している領域の隣接情報に基
づいて運動物体候補領域を求める。運動物体検出部４４
０は、また、運動物体領域判定手段４４２によって、上
記運動物体候補領域抽出手段４４１で求められた運動物
体候補領域のサイズ、形状、位置等の情報や候補領域内
のオプティカルフロー情報の内、1つ以上の情報を組み
合わせて運動物体か否かを判断して運動物体を検出し、
検出結果を出力する。
【００３６】以上説明したように、本発明の第３の実施
の形態の運動物体検出装置は、オプティカルフロー検出
部４３０で第１の実施の形態の運動物体検出方法により
全運動物体のオプティカルフローが検出できるため、画
像フレーム内の全運動物体を検出することが可能であ
る。
の形態の運動物体検出装置は、オプティカルフロー検出
部４３０で第１の実施の形態の運動物体検出方法により
全運動物体のオプティカルフローが検出できるため、画
像フレーム内の全運動物体を検出することが可能であ
る。
【００３７】本発明の第４の実施の形態の運動物体検出
方法は、上記第１の実施の形態の運動物体検出方法を用
いて運動物体追跡可能な運動物体検出方法である。図５
は、本発明の第４の実施の形態の運動物体検出方法にお
ける処理の流れを示すフローチャートである。以下、図
４に示すフローチャートを用いて本発明の第４の実施の
形態の運動物体検出方法について説明する。
方法は、上記第１の実施の形態の運動物体検出方法を用
いて運動物体追跡可能な運動物体検出方法である。図５
は、本発明の第４の実施の形態の運動物体検出方法にお
ける処理の流れを示すフローチャートである。以下、図
４に示すフローチャートを用いて本発明の第４の実施の
形態の運動物体検出方法について説明する。
【００３８】ステップＳ３１０で、現画像フレームを取
り込んで記憶し、この記憶された画像フレームを用いて
上記第１の実施の形態の運動物体検出方法によって偽の
オプティカルフローの情報を除去し、複数のオプティカ
ルフローの情報を統合し、オプティカルフローを検出す
る。ステップＳ３１０における詳細な処理の流れを表す
フローチャートは、図１に示すものと同じである。
り込んで記憶し、この記憶された画像フレームを用いて
上記第１の実施の形態の運動物体検出方法によって偽の
オプティカルフローの情報を除去し、複数のオプティカ
ルフローの情報を統合し、オプティカルフローを検出す
る。ステップＳ３１０における詳細な処理の流れを表す
フローチャートは、図１に示すものと同じである。
【００３９】ステップＳ３２０で、ステップＳ３１０で
検出されたオプティカルフローの情報（以下、オプティ
カルフロー情報という。）を用いて運動物体の検出を行
う。
検出されたオプティカルフローの情報（以下、オプティ
カルフロー情報という。）を用いて運動物体の検出を行
う。
【００４０】ここで、上記運動物体の検出は、オプティ
カルフローが発生している領域に隣接する領域の画像情
報（以下、隣接情報という。）に基づいて運動物体候補
領域を抽出し、抽出された運動物体候補領域のサイズ、
形状、位置等の情報や運動物体候補領域内のオプティカ
ルフロー情報の内、1つ以上の情報を組み合わせて運動
物体であるか否かを判断する方法によって行う。
カルフローが発生している領域に隣接する領域の画像情
報（以下、隣接情報という。）に基づいて運動物体候補
領域を抽出し、抽出された運動物体候補領域のサイズ、
形状、位置等の情報や運動物体候補領域内のオプティカ
ルフロー情報の内、1つ以上の情報を組み合わせて運動
物体であるか否かを判断する方法によって行う。
【００４１】ステップＳ５３０で、ステップＳ３２０で
求まった運動物体領域情報を記憶しておき、画像フレー
ム間の運動物体領域情報を用いて運動物体の追跡を行
う。ステップＳ５４０で、ステップＳ５３０で求まった
運動物体の追跡情報に基づき、運動物体の数と画像フレ
ーム間での移動量とを用いてステップＳ５２０でのオプ
ティカルフロー検出における画像フレーム間隔および統
合オプティカルフロー数を調整する。ステップＳ５５０
で、処理を終了するか否かの判断を行い、終了しないと
判断された場合は、ステップＳ３１０に戻り、上記の処
理を繰り返す。
求まった運動物体領域情報を記憶しておき、画像フレー
ム間の運動物体領域情報を用いて運動物体の追跡を行
う。ステップＳ５４０で、ステップＳ５３０で求まった
運動物体の追跡情報に基づき、運動物体の数と画像フレ
ーム間での移動量とを用いてステップＳ５２０でのオプ
ティカルフロー検出における画像フレーム間隔および統
合オプティカルフロー数を調整する。ステップＳ５５０
で、処理を終了するか否かの判断を行い、終了しないと
判断された場合は、ステップＳ３１０に戻り、上記の処
理を繰り返す。
【００４２】以上説明したように、本発明の第４の実施
の形態の運動物体検出方法は、運動物体の追跡情報を用
いてオプティカルフロー検出の画像フレーム間隔、統合
オプティカルフロー数を制御することによって、安定し
た全運動物体のオプティカルフローを検出することが可
能である。
の形態の運動物体検出方法は、運動物体の追跡情報を用
いてオプティカルフロー検出の画像フレーム間隔、統合
オプティカルフロー数を制御することによって、安定し
た全運動物体のオプティカルフローを検出することが可
能である。
【００４３】図６は、本発明の第５の実施の形態の運動
物体検出装置のブロック構成を示す図である。第５の実
施の形態の運動物体検出装置６００は、画像入力部４１
０、画像記憶部４２０、オプティカルフロー検出部４３
０、運動物体検出部４４０、運動物体追跡部６５０、運
動物体情報記憶部６６０、およびオプティカルフロー検
出制御部６７０によって構成される。ここで、運動物体
検出部４４０は、さらに、運動物体候補領域抽出手段４
４１と運動物体領域判定手段４４２とによって構成され
る。
物体検出装置のブロック構成を示す図である。第５の実
施の形態の運動物体検出装置６００は、画像入力部４１
０、画像記憶部４２０、オプティカルフロー検出部４３
０、運動物体検出部４４０、運動物体追跡部６５０、運
動物体情報記憶部６６０、およびオプティカルフロー検
出制御部６７０によって構成される。ここで、運動物体
検出部４４０は、さらに、運動物体候補領域抽出手段４
４１と運動物体領域判定手段４４２とによって構成され
る。
【００４４】画像入力部４１０は、撮像装置（カメラ）
５００の出力である撮像された画像（現画像）を取り込
み、画像記憶部４２０に出力する。画像記憶部４２０
は、画像入力部４１０から出力された画像を記憶する。
オプティカルフロー検出部４３０は、上記第１の実施の
形態の運動物体検出方法によって、画像入力部４１０が
取り込んだ現画像と画像記憶部４２０に記憶された過去
の画像とを入力とし、オプティカルフロー情報を出力す
る。
５００の出力である撮像された画像（現画像）を取り込
み、画像記憶部４２０に出力する。画像記憶部４２０
は、画像入力部４１０から出力された画像を記憶する。
オプティカルフロー検出部４３０は、上記第１の実施の
形態の運動物体検出方法によって、画像入力部４１０が
取り込んだ現画像と画像記憶部４２０に記憶された過去
の画像とを入力とし、オプティカルフロー情報を出力す
る。
【００４５】運動物体検出部４４０は、運動物体候補領
域抽出手段４４１によって、オプティカルフロー検出部
４３０が生成したオプティカルフロー情報を入力とし、
オプティカルフローの発生している領域の隣接情報に基
づいて運動物体候補領域を求める。運動物体検出部４４
０は、また、運動物体領域判定手段４４２によって、運
動物体候補領域抽出手段４４１で求められた運動物体候
補領域のサイズ、形状、位置等の情報や候補領域内のオ
プティカルフロー情報の内、1つ以上の情報を組み合わ
せて運動物体か否かを判断して運動物体を検出し、検出
結果を出力する。
域抽出手段４４１によって、オプティカルフロー検出部
４３０が生成したオプティカルフロー情報を入力とし、
オプティカルフローの発生している領域の隣接情報に基
づいて運動物体候補領域を求める。運動物体検出部４４
０は、また、運動物体領域判定手段４４２によって、運
動物体候補領域抽出手段４４１で求められた運動物体候
補領域のサイズ、形状、位置等の情報や候補領域内のオ
プティカルフロー情報の内、1つ以上の情報を組み合わ
せて運動物体か否かを判断して運動物体を検出し、検出
結果を出力する。
【００４６】運動物体追跡部６５０は、オプティカルフ
ロー検出部４３０によって生成されたオプティカルフロ
ー情報を入力とし、オプティカルフローの発生している
領域の隣接情報より運動物体候補領域を求め、その候補
領域のサイズ、形状、位置等の情報や候補領域内のオプ
ティカルフロー情報の内、1つ以上の情報を組み合わせ
て運動物体を検出する。
ロー検出部４３０によって生成されたオプティカルフロ
ー情報を入力とし、オプティカルフローの発生している
領域の隣接情報より運動物体候補領域を求め、その候補
領域のサイズ、形状、位置等の情報や候補領域内のオプ
ティカルフロー情報の内、1つ以上の情報を組み合わせ
て運動物体を検出する。
【００４７】運動物体情報記憶部６６０は、運動物体追
跡部６５０の出力である運動物体候補領域情報を記憶す
る。運動物体追跡部６５０は、運動物体情報記憶部６６
０に記憶された、画像間の運動物体候補領域情報を用い
て運動物体の追跡を行う。オプティカルフロー検出制御
部６７０は、運動物体追跡部６５０からの追跡結果(運
動物体の数、画像間の移動量の情報)に基づき、オプテ
ィカルフロー検出部４３０で行われる処理におけるフレ
ーム間隔、統合オプティカルフロー数の調整を行う。
跡部６５０の出力である運動物体候補領域情報を記憶す
る。運動物体追跡部６５０は、運動物体情報記憶部６６
０に記憶された、画像間の運動物体候補領域情報を用い
て運動物体の追跡を行う。オプティカルフロー検出制御
部６７０は、運動物体追跡部６５０からの追跡結果(運
動物体の数、画像間の移動量の情報)に基づき、オプテ
ィカルフロー検出部４３０で行われる処理におけるフレ
ーム間隔、統合オプティカルフロー数の調整を行う。
【００４８】以上説明したように、本発明の第５の実施
の形態の運動物体検出装置は、運動物体の追跡情報を用
いてオプティカルフロー検出の画像フレーム間隔、統合
オプティカルフロー数を制御することによって、安定し
た全運動物体のオプティカルフローを検出することが可
能である。
の形態の運動物体検出装置は、運動物体の追跡情報を用
いてオプティカルフロー検出の画像フレーム間隔、統合
オプティカルフロー数を制御することによって、安定し
た全運動物体のオプティカルフローを検出することが可
能である。
【００４９】図７は、本発明の第６の実施の形態の運動
物体検出装置のブロック構成を示す図である。発明の第
６の実施の形態の運動物体検出装置７００は、第５の実
施の形態の運動物体検出装置６００に画像データを入力
する撮像装置５００を遠赤外線カメラ７０１に置き換え
たものである。この置き換えに伴い、第５の実施の形態
の運動物体検出装置の画像入力部４１０が熱分布入力部
７１０に変更され、画像記憶部４２０が熱分布記憶部７
２０に変更されている(図７参照)。入力側が熱分布画像
に変更された以外は第５の実施の形態と同様であり、熱
分布に基づく運動物体の追跡を可能とする。
物体検出装置のブロック構成を示す図である。発明の第
６の実施の形態の運動物体検出装置７００は、第５の実
施の形態の運動物体検出装置６００に画像データを入力
する撮像装置５００を遠赤外線カメラ７０１に置き換え
たものである。この置き換えに伴い、第５の実施の形態
の運動物体検出装置の画像入力部４１０が熱分布入力部
７１０に変更され、画像記憶部４２０が熱分布記憶部７
２０に変更されている(図７参照)。入力側が熱分布画像
に変更された以外は第５の実施の形態と同様であり、熱
分布に基づく運動物体の追跡を可能とする。
【００５０】以上説明したように、本発明の第６の実施
の形態の運動物体検出装置は、熱分布に基づき運動物体
を追跡することが可能であるため、カメラなどの撮像装
置では困難であった暗闇における運動物体の検出・追跡
が可能である。
の形態の運動物体検出装置は、熱分布に基づき運動物体
を追跡することが可能であるため、カメラなどの撮像装
置では困難であった暗闇における運動物体の検出・追跡
が可能である。
【００５１】
【発明の効果】以上説明したように、本発明は、画像上
で見かけの動き量が大きく異なる運動物体が複数、混在
する場合でも正確にオプティカルフローを検出すること
が可能な、運動物体検出方法および装置を実現すること
ができる。
で見かけの動き量が大きく異なる運動物体が複数、混在
する場合でも正確にオプティカルフローを検出すること
が可能な、運動物体検出方法および装置を実現すること
ができる。
【図１】本発明の第１の実施の形態の運動物体検出方法
における処理の流れを示すフローチャート
における処理の流れを示すフローチャート
【図２】本発明の第１の実施の形態の運動物体検出方法
における処理の説明図
における処理の説明図
【図３】本発明の第２の実施の形態の運動物体検出方法
における処理の流れを示すフローチャート
における処理の流れを示すフローチャート
【図４】本発明の第３の実施の形態の運動物体検出装置
のブロック構成を示す図
のブロック構成を示す図
【図５】本発明の第４の実施の形態の運動物体検出方法
における処理の流れを示すフローチャート
における処理の流れを示すフローチャート
【図６】本発明の第５の実施の形態の運動物体検出装置
のブロック構成を示す図
のブロック構成を示す図
【図７】本発明の第６の実施の形態の運動物体検出装置
のブロック構成を示す図
のブロック構成を示す図
【図８】オプティカルフローの概要の説明図
【図９】速い運動物体に対し長いフレーム間隔でオプテ
ィカルフローを検出したときに発生する偽のオプティカ
ルフローの説明図
ィカルフローを検出したときに発生する偽のオプティカ
ルフローの説明図
【図１０】偽のオプティカルフローを除去する方法につ
いての説明図
いての説明図
【図１１】遅い運動物体に施す偽のオプティカルフロー
除去処理についての説明図
除去処理についての説明図
４００ 運動物体検出装置
４１０ 画像入力部
４２０ 画像記憶部
４３０ オプティカルフロー検出部
４４０ 運動物体検出部
４４１ 運動物体候補領域抽出手段
４４２ 運動物体領域判定手段
５００ 撮像装置（カメラ）
６００ 運動物体検出装置
６５０ 運動物体追跡部
６６０ 運動物体情報記憶部
６７０ オプティカルフロー検出制御部
７００ 運動物体検出装置
７０１ 遠赤外線カメラ
７１０ 熱分布入力部
７２０ 熱分布記憶部
８１０ 現画像フレームの運動物体
８２０ 数フレーム前の運動物体
８３０ オプティカルフロー
８４０ オプティカルフロー発生領域
９１０ 現画像フレームの運動物体
９２０ 数フレーム前の運動物体
９３０ 偽のオプティカルフロー
９３１ オプティカルフロー発生領域
９４０ オプティカルフロー発生領域
９４１ オプティカルフロー発生領域
１０１０ 長いフレーム間隔が開いた運動物体
１０２０ 短いフレーム間隔が開いた運動物体
１０３０ 長いフレーム間隔でのオプティカルフロー発
生領域 １０４０ 短いフレーム間隔でのオプティカルフロー発
生領域 １０５０ 偽のオプティカルフロー発生領域除去後のオ
プティカルフロー発生領域 １１１０ 長いフレーム間隔が開いた運動物体 １１２０ 短いフレーム間隔が開いた運動物体 １１３０ 長いフレーム間隔でのオプティカルフロー発
生領域 １１４０ 短いフレーム間隔でのオプティカルフロー発
生領域 １１５０ 偽のオプティカルフロー発生領域除去後のオ
プティカルフロー発生領域
生領域 １０４０ 短いフレーム間隔でのオプティカルフロー発
生領域 １０５０ 偽のオプティカルフロー発生領域除去後のオ
プティカルフロー発生領域 １１１０ 長いフレーム間隔が開いた運動物体 １１２０ 短いフレーム間隔が開いた運動物体 １１３０ 長いフレーム間隔でのオプティカルフロー発
生領域 １１４０ 短いフレーム間隔でのオプティカルフロー発
生領域 １１５０ 偽のオプティカルフロー発生領域除去後のオ
プティカルフロー発生領域
Claims (6)
- 【請求項１】 動画像を構成する第１の画像フレームと
第２の画像フレームとを用いて、画像フレーム中の運動
物体の動きであるオプティカルフローを前記第１の画像
フレームにおいて検出する第１のステップと、前記第１
の画像フレームと前記第２の画像フレームとよりも過去
の複数の画像フレーム、および前記第１の画像フレーム
を用い、前記第１の画像フレームにおけるオプティカル
フローおよび前記過去の１以上の画像フレームにおける
オプティカルフローとを検出する第２のステップと、前
記第１のステップで検出された前記第１の画像フレーム
におけるオプティカルフローの情報、前記第２のステッ
プで検出された前記第１の画像フレームにおけるオプテ
ィカルフローの情報、および前記第２のステップで検出
された前記過去の１以上の画像フレームにおけるオプテ
ィカルフローの情報とを統合して複数の運動物体のオプ
ティカルフローを個別に検出するステップとを備え、前
記第２の画像フレームは、前記第１の画像フレームより
も過去の画像フレームであることを特徴とする運動物体
検出方法。 - 【請求項２】 前記運動物体検出方法は、さらに、前記
オプティカルフローの発生している領域に隣接する領域
についての情報である隣接情報に基づいて運動物体候補
領域を抽出し、抽出された運動物体候補領域に関する所
定の情報を用いて前記運動物体を検出するステップを備
えたことを特徴とする請求項１記載の運動物体検出方
法。 - 【請求項３】 前記運動物体検出方法は、さらに、前記
運動物体の検出結果に基づいて前記画像フレーム間で運
動物体の追跡を行うステップと、前記追跡によって求ま
る前記画像フレームにおける前記運動物体の見かけの動
き量に基づいて、前記オプティカルフローを検出するフ
レーム間隔および統合するオプティカルフローの数を制
御するステップとを備えたことを特徴とする請求項２記
載の運動物体検出方法。 - 【請求項４】 所定の撮像装置からの画像信号を取り込
む画像入力手段と、前記取り込まれた画像信号を記憶す
る画像記憶手段と、前記画像記憶手段に記憶された画像
信号によって構成される画像フレームにおいて、異なる
前記画像フレーム間隔の画像フレーム間で運動物体の動
きであるオプティカルフローを検出し統合するオプティ
カルフロー検出手段と、前記オプティカルフロー検出手
段で統合されたオプティカルフローの情報に基づいて前
記運動物体を検出する運動物体検出手段とを備えたこと
を特徴とする運動物体検出装置。 - 【請求項５】 前記運動物体検出装置は、さらに、前記
オプティカルフローの発生している領域に隣接する領域
についての情報である隣接情報に基づいて運動物体候補
領域を抽出し、抽出された運動物体候補領域に関する、
サイズ、形状、位置または運動物体候補領域内のオプテ
ィカルフローの情報を含む所定の情報を用いて前記運動
物体を検出する運動物体検出手段と、前記運動物体の検
出結果に基づいて前記画像フレーム間で運動物体の追跡
を行う運動物体追跡手段と、前記追跡によって求まる前
記画像フレーム上での見かけの動き量に基づいて、前記
オプティカルフローを検出するフレーム間隔および統合
するオプティカルフローの数を制御するオプティカルフ
ロー検出制御手段とを備えたことを特徴とする請求項４
記載の運動物体検出装置。 - 【請求項６】 前記撮像装置は撮像カメラまたは遠赤外
カメラを含み、前記運動物体検出装置は、前記撮像カメ
ラからの画像信号または前記遠赤外カメラで撮像された
熱分布画像信号を入力とすることが可能なことを特徴と
する請求項４または５記載の運動物体検出装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001232667A JP3810657B2 (ja) | 2001-07-31 | 2001-07-31 | 運動物体検出方法および装置 |
| EP02016243A EP1282077A3 (en) | 2001-07-31 | 2002-07-22 | Moving object detecting method, apparatus, and computer program product |
| US10/201,442 US6956603B2 (en) | 2001-07-31 | 2002-07-23 | Moving object detecting method, apparatus and computer program product |
| CA2396233A CA2396233C (en) | 2001-07-31 | 2002-07-30 | Moving object detecting method, apparatus, and computer program product |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001232667A JP3810657B2 (ja) | 2001-07-31 | 2001-07-31 | 運動物体検出方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003044861A true JP2003044861A (ja) | 2003-02-14 |
| JP3810657B2 JP3810657B2 (ja) | 2006-08-16 |
Family
ID=19064553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001232667A Expired - Fee Related JP3810657B2 (ja) | 2001-07-31 | 2001-07-31 | 運動物体検出方法および装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6956603B2 (ja) |
| EP (1) | EP1282077A3 (ja) |
| JP (1) | JP3810657B2 (ja) |
| CA (1) | CA2396233C (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006146457A (ja) * | 2004-11-18 | 2006-06-08 | Nippon Telegr & Teleph Corp <Ntt> | 動物体輪郭抽出方法及び装置並びに動物体輪郭抽出プログラム |
| WO2009078056A1 (ja) * | 2007-12-14 | 2009-06-25 | Fujitsu Limited | 移動物検知装置及び移動物検知プログラム |
| JP2011159214A (ja) * | 2010-02-03 | 2011-08-18 | Fuji Heavy Ind Ltd | 行動検出装置 |
| JP2012089069A (ja) * | 2010-10-22 | 2012-05-10 | Olympus Imaging Corp | 追尾装置および追尾方法 |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3979894B2 (ja) * | 2002-07-22 | 2007-09-19 | 本田技研工業株式会社 | 物体検出装置及び方法 |
| US7194110B2 (en) * | 2002-12-18 | 2007-03-20 | Intel Corporation | Method and apparatus for tracking features in a video sequence |
| GB0502369D0 (en) * | 2005-02-04 | 2005-03-16 | British Telecomm | Classifying an object in a video frame |
| KR100763308B1 (ko) * | 2006-08-01 | 2007-10-04 | 삼성전자주식회사 | 휴대용 단말기의 동영상 촬영 장치 및 방법 |
| US8593506B2 (en) * | 2007-03-15 | 2013-11-26 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for forming a panoramic image of a scene having minimal aspect distortion |
| US20080263592A1 (en) * | 2007-04-18 | 2008-10-23 | Fuji Xerox Co., Ltd. | System for video control by direct manipulation of object trails |
| TWI355615B (en) * | 2007-05-11 | 2012-01-01 | Ind Tech Res Inst | Moving object detection apparatus and method by us |
| US8433175B2 (en) * | 2008-10-28 | 2013-04-30 | Yahoo! Inc. | Video comparing using fingerprint representations |
| JP4760928B2 (ja) * | 2009-02-13 | 2011-08-31 | カシオ計算機株式会社 | 撮像装置、連写速度の設定方法及びプログラム |
| EP2608713A4 (en) | 2010-08-27 | 2014-01-08 | Milwaukee Electric Tool Corp | THERMAL DETECTION SYSTEMS, METHODS AND DEVICES |
| US9883084B2 (en) | 2011-03-15 | 2018-01-30 | Milwaukee Electric Tool Corporation | Thermal imager |
| US8660307B2 (en) | 2012-03-29 | 2014-02-25 | The Nielsen Company (Us), Llc | Methods and apparatus to count people in images |
| US9092675B2 (en) | 2012-03-29 | 2015-07-28 | The Nielsen Company (Us), Llc | Methods and apparatus to count people in images |
| US9275285B2 (en) | 2012-03-29 | 2016-03-01 | The Nielsen Company (Us), Llc | Methods and apparatus to count people in images |
| US8761442B2 (en) | 2012-03-29 | 2014-06-24 | The Nielsen Company (Us), Llc | Methods and apparatus to count people in images |
| CN103514430B (zh) * | 2012-06-29 | 2016-12-21 | 华为技术有限公司 | 检测火焰的方法和装置 |
| US10794769B2 (en) | 2012-08-02 | 2020-10-06 | Milwaukee Electric Tool Corporation | Thermal detection systems, methods, and devices |
| JP6261190B2 (ja) * | 2013-05-31 | 2018-01-17 | キヤノン株式会社 | 設定装置および設定方法 |
| CN105956618B (zh) * | 2016-04-27 | 2021-12-03 | 云南昆钢集团电子信息工程有限公司 | 基于图像动静态特征的转炉炼钢吹炼状态识别系统及方法 |
| US10580140B2 (en) * | 2016-05-23 | 2020-03-03 | Intel Corporation | Method and system of real-time image segmentation for image processing |
| US10853951B2 (en) * | 2017-08-04 | 2020-12-01 | Intel Corporation | Methods and apparatus to generate temporal representations for action recognition systems |
| US10916019B2 (en) * | 2019-02-01 | 2021-02-09 | Sony Corporation | Moving object detection in image frames based on optical flow maps |
| CN111696136B (zh) * | 2020-06-09 | 2023-06-16 | 电子科技大学 | 一种基于编解码结构的目标跟踪方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6081606A (en) * | 1996-06-17 | 2000-06-27 | Sarnoff Corporation | Apparatus and a method for detecting motion within an image sequence |
| US6014181A (en) * | 1997-10-13 | 2000-01-11 | Sharp Laboratories Of America, Inc. | Adaptive step-size motion estimation based on statistical sum of absolute differences |
| US6303920B1 (en) * | 1998-11-19 | 2001-10-16 | Sarnoff Corporation | Method and apparatus for detecting salient motion using optical flow |
| WO2000070879A1 (en) * | 1999-05-13 | 2000-11-23 | Stmicroelectronics Asia Pacific Pte Ltd. | Adaptive motion estimator |
| JP2001251632A (ja) * | 1999-12-27 | 2001-09-14 | Toshiba Corp | 動きベクトル検出方法および装置並びに動きベクトル検出プログラム |
-
2001
- 2001-07-31 JP JP2001232667A patent/JP3810657B2/ja not_active Expired - Fee Related
-
2002
- 2002-07-22 EP EP02016243A patent/EP1282077A3/en not_active Withdrawn
- 2002-07-23 US US10/201,442 patent/US6956603B2/en not_active Expired - Fee Related
- 2002-07-30 CA CA2396233A patent/CA2396233C/en not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006146457A (ja) * | 2004-11-18 | 2006-06-08 | Nippon Telegr & Teleph Corp <Ntt> | 動物体輪郭抽出方法及び装置並びに動物体輪郭抽出プログラム |
| JP4490794B2 (ja) * | 2004-11-18 | 2010-06-30 | 日本電信電話株式会社 | 動物体輪郭抽出方法及び装置並びに動物体輪郭抽出プログラム |
| WO2009078056A1 (ja) * | 2007-12-14 | 2009-06-25 | Fujitsu Limited | 移動物検知装置及び移動物検知プログラム |
| US8150104B2 (en) | 2007-12-14 | 2012-04-03 | Fujitsu Limited | Moving object detection apparatus and computer readable storage medium storing moving object detection program |
| JP4957807B2 (ja) * | 2007-12-14 | 2012-06-20 | 富士通株式会社 | 移動物検知装置及び移動物検知プログラム |
| JP2011159214A (ja) * | 2010-02-03 | 2011-08-18 | Fuji Heavy Ind Ltd | 行動検出装置 |
| JP2012089069A (ja) * | 2010-10-22 | 2012-05-10 | Olympus Imaging Corp | 追尾装置および追尾方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2396233A1 (en) | 2003-01-31 |
| EP1282077A3 (en) | 2011-04-06 |
| US20030025794A1 (en) | 2003-02-06 |
| US6956603B2 (en) | 2005-10-18 |
| EP1282077A2 (en) | 2003-02-05 |
| JP3810657B2 (ja) | 2006-08-16 |
| CA2396233C (en) | 2011-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003044861A (ja) | 運動物体検出方法および装置 | |
| US8131014B2 (en) | Object-tracking computer program product, object-tracking device, and camera | |
| EP2320379B1 (en) | Image processing device, object tracking device, and image processing method | |
| US8144207B2 (en) | Computer program product for photographic subject tracking, photographic subject tracking device, and camera | |
| EP2372654A1 (en) | Object tracking apparatus, object tracking method, and control program | |
| US7030909B2 (en) | Automatic photography | |
| JPH08191411A (ja) | シーン判別方法および代表画像記録・表示装置 | |
| JP4373840B2 (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
| EP2157547B1 (en) | Object tracking | |
| JP5271227B2 (ja) | 群衆監視装置および方法ならびにプログラム | |
| JP5247569B2 (ja) | 人物追跡装置、人物追跡方法及びプログラム | |
| JP4578864B2 (ja) | 自動追尾装置及び自動追尾方法 | |
| JP2007067559A (ja) | 画像処理方法、画像処理装置、及び撮像装置の制御方法 | |
| JP2004069583A (ja) | 画像処理装置 | |
| KR101032098B1 (ko) | 열적외선을 이용한 환경독립형 교통검지시스템 | |
| JP2008026999A (ja) | 障害物検出システム、及び障害物検出方法 | |
| Wang et al. | Efficient visual tracking by probabilistic fusion of multiple cues | |
| JP2008006149A (ja) | 瞳孔検出装置、及び虹彩認証装置、並びに瞳孔検出方法 | |
| JP4124861B2 (ja) | 移動量検出装置及びその方法 | |
| JP2000030033A (ja) | 人物検出方法 | |
| JP2004295416A (ja) | 画像処理装置 | |
| JP2002027480A (ja) | 動画像処理方法および動画像処理装置 | |
| JP2004078432A (ja) | オブジェクト抽出装置、オブジェクト抽出方法および画像表示装置 | |
| JPH09327037A (ja) | 輪郭抽出方法及び画像抽出方法及び装置 | |
| JP2005063036A (ja) | 物体追跡装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050603 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050621 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050805 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060228 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060426 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060523 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060524 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100602 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100602 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110602 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120602 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120602 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130602 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |