JP2002374521A - 移動体の監視方法および装置 - Google Patents
移動体の監視方法および装置Info
- Publication number
- JP2002374521A JP2002374521A JP2001177897A JP2001177897A JP2002374521A JP 2002374521 A JP2002374521 A JP 2002374521A JP 2001177897 A JP2001177897 A JP 2001177897A JP 2001177897 A JP2001177897 A JP 2001177897A JP 2002374521 A JP2002374521 A JP 2002374521A
- Authority
- JP
- Japan
- Prior art keywords
- speed
- motion vector
- zoom
- turning
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】
【課題】 撮像装置を用いた監視装置においては、移動
体を追尾しながらそれが何であるか確認できる程度に拡
大するため、撮像装置を旋回させながらレンズをズーミ
ングする必要がある。本発明は、簡単な構成でこれを実
現することが課題である。 【解決手段】 撮像装置からの相前後する撮像データか
ら、被写体の同一点の移動量をオプティカルフローとし
て勾配法で動きベクトルを計算し、その動きベクトルか
らズーム速度と旋回速度を算出して移動体領域を抽出す
ると共に、移動体領域の動きベクトルと前記ズーム速度
及び旋回速度とから移動体の移動方向と速度を算出して
撮像装置のズーム量と旋回量を算出し、撮像装置を旋回
させながらレンズをズーミングして移動体を追尾するよ
うにした。
体を追尾しながらそれが何であるか確認できる程度に拡
大するため、撮像装置を旋回させながらレンズをズーミ
ングする必要がある。本発明は、簡単な構成でこれを実
現することが課題である。 【解決手段】 撮像装置からの相前後する撮像データか
ら、被写体の同一点の移動量をオプティカルフローとし
て勾配法で動きベクトルを計算し、その動きベクトルか
らズーム速度と旋回速度を算出して移動体領域を抽出す
ると共に、移動体領域の動きベクトルと前記ズーム速度
及び旋回速度とから移動体の移動方向と速度を算出して
撮像装置のズーム量と旋回量を算出し、撮像装置を旋回
させながらレンズをズーミングして移動体を追尾するよ
うにした。
Description
【０００１】
【発明の属する技術分野】本発明は、港湾、鉄道、空港
やプラント等の重要施設において、監視員に代わり、監
視用撮像装置の映像から侵入者などの移動体を検知し、
撮像装置を旋回・ズームさせながら追尾して記録できる
ようにした自動監視システムなどにおける移動体の監視
方法および装置に関し、さらに詳しくは、旋回・ズーム
している撮像装置の撮像データから、移動体を抽出して
追尾する技術に関する。
やプラント等の重要施設において、監視員に代わり、監
視用撮像装置の映像から侵入者などの移動体を検知し、
撮像装置を旋回・ズームさせながら追尾して記録できる
ようにした自動監視システムなどにおける移動体の監視
方法および装置に関し、さらに詳しくは、旋回・ズーム
している撮像装置の撮像データから、移動体を抽出して
追尾する技術に関する。
【０００２】
【従来の技術】監視用撮像装置で移動体を認識して追尾
する技術としては、特開平５−２２７４６３号公報や、
特開平９−２１４９４５号公報に示されたものがある。
まず特開平５−２２７４６３号公報に示されたものは、
画像データを複数のブロックに分割し、ジョイスティッ
クで座標を入力して移動体を含む複数ブロックを追跡ベ
クトル検出領域として枠で囲み、その中のブロックを少
しずつ移動させながら前の画像との明るさの差を取り、
その絶対値和が最も小さくなる位置で動きベクトルを検
出し、追尾するものである。
する技術としては、特開平５−２２７４６３号公報や、
特開平９−２１４９４５号公報に示されたものがある。
まず特開平５−２２７４６３号公報に示されたものは、
画像データを複数のブロックに分割し、ジョイスティッ
クで座標を入力して移動体を含む複数ブロックを追跡ベ
クトル検出領域として枠で囲み、その中のブロックを少
しずつ移動させながら前の画像との明るさの差を取り、
その絶対値和が最も小さくなる位置で動きベクトルを検
出し、追尾するものである。
【０００３】しかしながらこの方法では、人がジョイス
ティックを操作して追跡ベクトル検出領域の座標を入力
する必要があり、無人の監視装置には使えない。また被
写体をズーミングして拡大、縮小した場合、最初に設定
した追跡ベクトル検出領域は使えなくなり、追跡ができ
なくなる。
ティックを操作して追跡ベクトル検出領域の座標を入力
する必要があり、無人の監視装置には使えない。また被
写体をズーミングして拡大、縮小した場合、最初に設定
した追跡ベクトル検出領域は使えなくなり、追跡ができ
なくなる。
【０００４】次の特開平９−２１４９４５号公報に示さ
れたものは、まず、相前後する撮像データの中から逐次
テンプレートマッチングの手法を用いて移動体の位置を
特定し、概略動きベクトルを演算する。一方、移動体の
角（コーナー）などの特徴点を抽出し、前記概略動きベ
クトルからこの特徴点を追跡して正確な移動量や方向を
検出する。そしてこのデータから前記概略動きベクトル
を補正し、移動体のほぼ正確な位置を特定できるように
して、撮像装置の旋回やズーミング、移動体の回転、伸
縮、変形等にも対応して追尾できるようにしたものであ
る。
れたものは、まず、相前後する撮像データの中から逐次
テンプレートマッチングの手法を用いて移動体の位置を
特定し、概略動きベクトルを演算する。一方、移動体の
角（コーナー）などの特徴点を抽出し、前記概略動きベ
クトルからこの特徴点を追跡して正確な移動量や方向を
検出する。そしてこのデータから前記概略動きベクトル
を補正し、移動体のほぼ正確な位置を特定できるように
して、撮像装置の旋回やズーミング、移動体の回転、伸
縮、変形等にも対応して追尾できるようにしたものであ
る。
【０００５】しかしこの方法も、移動体の特徴点が抽出
できないと補正ができずに移動体の正確な位置を特定で
きなくなり、また逐次テンプレートマッチング法は計算
負荷が大きく、特殊なハードウェアを必要とするという
欠点があった。
できないと補正ができずに移動体の正確な位置を特定で
きなくなり、また逐次テンプレートマッチング法は計算
負荷が大きく、特殊なハードウェアを必要とするという
欠点があった。
【０００６】この他の方法としては、撮像データからオ
プティカルフローを検出し、投票法により、等速直線運
動する移動体領域のみを抽出するものがある。これにつ
いては電子情報通信学会論文誌（Ｄ−II）Ｖｏｌ．Ｊ８
０−Ｄ−II、ＮＯ．５（１９９７）「複雑変動背景下に
おける移動物体の検出」、三菱重工技報Ｖｏｌ．３６、
ＮＯ．２（１９９９）「動画像処理技術を用いた移動体
監視システムの開発」等に詳細に述べられている。
プティカルフローを検出し、投票法により、等速直線運
動する移動体領域のみを抽出するものがある。これにつ
いては電子情報通信学会論文誌（Ｄ−II）Ｖｏｌ．Ｊ８
０−Ｄ−II、ＮＯ．５（１９９７）「複雑変動背景下に
おける移動物体の検出」、三菱重工技報Ｖｏｌ．３６、
ＮＯ．２（１９９９）「動画像処理技術を用いた移動体
監視システムの開発」等に詳細に述べられている。
【０００７】これは、まず相前後する撮像データから被
写体の同一点の移動量をオプティカルフローとして検出
し、そのオプティカルフローの長さ、方向成分の頻度を
投票して移動体と背景を分離するもので、今、撮像装置
が右から左に旋回し、そこに車が右方から左方に向かっ
て撮像装置の旋回速度より速いスピードで現れたとする
と、そのオプティカルフローは図８の（Ａ）に矢印で示
したようになる。
写体の同一点の移動量をオプティカルフローとして検出
し、そのオプティカルフローの長さ、方向成分の頻度を
投票して移動体と背景を分離するもので、今、撮像装置
が右から左に旋回し、そこに車が右方から左方に向かっ
て撮像装置の旋回速度より速いスピードで現れたとする
と、そのオプティカルフローは図８の（Ａ）に矢印で示
したようになる。
【０００８】すなわちこの図８の（Ａ）において、点線
で示した８１は最初の撮像データにおける車の位置で、
８２の実線で示したものは次の撮像データにおける車の
位置であり、この場合、車のオプティカルフローは左向
きの矢印８３のようになり、背景は、画面上左から右に
流れているように見えるため、右向きの矢印８４のよう
になる。そのため、このそれぞれのオプティカルフロー
の水平速度ｕ、垂直速度ｖを、図８（Ｂ）に示した水平
速度ｕ、垂直速度ｖの平面の対応した場所に投票して頻
度を出すと、背景が８５、移動体が８６のようになり、
背景と移動体が識別できる。
で示した８１は最初の撮像データにおける車の位置で、
８２の実線で示したものは次の撮像データにおける車の
位置であり、この場合、車のオプティカルフローは左向
きの矢印８３のようになり、背景は、画面上左から右に
流れているように見えるため、右向きの矢印８４のよう
になる。そのため、このそれぞれのオプティカルフロー
の水平速度ｕ、垂直速度ｖを、図８（Ｂ）に示した水平
速度ｕ、垂直速度ｖの平面の対応した場所に投票して頻
度を出すと、背景が８５、移動体が８６のようになり、
背景と移動体が識別できる。
【０００９】この方法だと、撮像装置を旋回させても安
定して移動体と背景を区別でき、また、日照変化や波や
風に揺らぐ木々などのような外乱要因による背景変動
は、投票したときに頻度の高いところが現れないからこ
れも移動体とは区別できる。しかし、撮像装置のレンズ
をズーミングさせると、ズーミングによる画面中央から
の放射状の動きが現れ、これが旋回による動きと合わさ
って複雑なオプティカルフローとなり、移動体のみを分
離するのが難しくなって対応できなくなる。
定して移動体と背景を区別でき、また、日照変化や波や
風に揺らぐ木々などのような外乱要因による背景変動
は、投票したときに頻度の高いところが現れないからこ
れも移動体とは区別できる。しかし、撮像装置のレンズ
をズーミングさせると、ズーミングによる画面中央から
の放射状の動きが現れ、これが旋回による動きと合わさ
って複雑なオプティカルフローとなり、移動体のみを分
離するのが難しくなって対応できなくなる。
【００１０】しかし侵入者の行動を記録する場合、監視
員が人物を特定したり、その行動が十分判別できる程度
にズームし、かつ侵入者を撮像装置の中心に維持するよ
うに撮像装置を旋回させる必要がある。
員が人物を特定したり、その行動が十分判別できる程度
にズームし、かつ侵入者を撮像装置の中心に維持するよ
うに撮像装置を旋回させる必要がある。
【００１１】
【発明が解決しようとする課題】以上の事情に鑑み本発
明においては、撮像装置を旋回させながらズーミングし
ても、移動体を安定して追尾できる移動体の監視方法お
よび装置を簡単な構成で実現することが課題であり、さ
らに詳しくは、撮像データから撮像装置の旋回速度とズ
ーム速度を算出し、それによって背景と移動体を識別し
て移動体を安定に追尾できる移動体の監視方法および装
置を提供することが課題である。
明においては、撮像装置を旋回させながらズーミングし
ても、移動体を安定して追尾できる移動体の監視方法お
よび装置を簡単な構成で実現することが課題であり、さ
らに詳しくは、撮像データから撮像装置の旋回速度とズ
ーム速度を算出し、それによって背景と移動体を識別し
て移動体を安定に追尾できる移動体の監視方法および装
置を提供することが課題である。
【００１２】
【課題を解決するための手段】そして、請求項１は方法
発明であって、撮像装置を旋回及びズーミングしながら
撮像したデータから移動体を認識して追尾する移動体の
監視方法において、相前後する撮像データから、被写体
の同一点の移動量をオプティカルフローとして動きベク
トルを算出するステップと、該動きベクトルから撮像装
置のズーム速度と旋回速度を算出するステップと、該算
出したズーム速度及び旋回速度と前記動きベクトルとか
ら移動体領域を抽出するステップと、該移動体領域の動
きベクトルと前記ズーム速度及び旋回速度とから移動体
の移動方向と速度を算出して撮像装置のズーム量と旋回
速度を算出し、移動体を追尾することを特徴とする。
発明であって、撮像装置を旋回及びズーミングしながら
撮像したデータから移動体を認識して追尾する移動体の
監視方法において、相前後する撮像データから、被写体
の同一点の移動量をオプティカルフローとして動きベク
トルを算出するステップと、該動きベクトルから撮像装
置のズーム速度と旋回速度を算出するステップと、該算
出したズーム速度及び旋回速度と前記動きベクトルとか
ら移動体領域を抽出するステップと、該移動体領域の動
きベクトルと前記ズーム速度及び旋回速度とから移動体
の移動方向と速度を算出して撮像装置のズーム量と旋回
速度を算出し、移動体を追尾することを特徴とする。
【００１３】また、この請求項１の方法発明を実施する
ための装置である請求項９に記載された発明は、旋回及
びズーミングしている撮像装置の撮像データから移動体
を認識して追尾する移動体の監視装置において、相前後
する撮像データから、被写体の同一点の移動量をオプテ
ィカルフローとして動きベクトルを算出する動きベクト
ル検出部と、該動きベクトル検出部が計算した動きベク
トルから撮像装置のズーム速度と旋回速度を算出するズ
ーム量旋回量検出部と、該ズーム量旋回量検出部が算出
したズーム速度及び旋回速度と前記動きベクトルとから
移動体領域を抽出する移動体領域抽出部と、該移動体領
域抽出部が抽出した移動体領域の動きベクトルと前記ズ
ーム速度及び旋回速度とから移動体の移動方向と速度を
算出して撮像装置のズーム量と旋回速度を算出し、前記
撮像装置に旋回及びズームを指示するズーム旋回制御部
とからなり、撮像データから移動体を認識して旋回及び
ズーミングしながら追尾することを特徴とする。
ための装置である請求項９に記載された発明は、旋回及
びズーミングしている撮像装置の撮像データから移動体
を認識して追尾する移動体の監視装置において、相前後
する撮像データから、被写体の同一点の移動量をオプテ
ィカルフローとして動きベクトルを算出する動きベクト
ル検出部と、該動きベクトル検出部が計算した動きベク
トルから撮像装置のズーム速度と旋回速度を算出するズ
ーム量旋回量検出部と、該ズーム量旋回量検出部が算出
したズーム速度及び旋回速度と前記動きベクトルとから
移動体領域を抽出する移動体領域抽出部と、該移動体領
域抽出部が抽出した移動体領域の動きベクトルと前記ズ
ーム速度及び旋回速度とから移動体の移動方向と速度を
算出して撮像装置のズーム量と旋回速度を算出し、前記
撮像装置に旋回及びズームを指示するズーム旋回制御部
とからなり、撮像データから移動体を認識して旋回及び
ズーミングしながら追尾することを特徴とする。
【００１４】このように、オプティカルフローから動き
ベクトルを算出して撮像装置のズーム速度と旋回速度を
計算することで、移動体領域を確実に抽出して移動速
度、方向を計算することができ、それによってズーム、
旋回している撮像データで安定して移動体を追尾するこ
とができる。
ベクトルを算出して撮像装置のズーム速度と旋回速度を
計算することで、移動体領域を確実に抽出して移動速
度、方向を計算することができ、それによってズーム、
旋回している撮像データで安定して移動体を追尾するこ
とができる。
【００１５】しかしながらこのように構成した場合、画
像データ全体からズーム速度と旋回速度を計算している
ため、移動体が現れると誤差が生じる。それを解決する
ため請求項２に記載した発明においては、撮像装置を旋
回及びズーミングしながら撮像したデータから移動体を
認識して追尾する移動体の監視方法において、相前後す
る撮像データから、被写体の同一点の移動量をオプティ
カルフローとして動きベクトルを算出するステップと、
該動きベクトルから撮像装置のズーム速度と旋回速度を
算出するステップと、該算出したズーム速度及び旋回速
度と前記動きベクトルとから移動体領域と背景領域を分
離するステップと、分離した背景領域のみの動きベクト
ルから撮像装置のズーム速度と旋回速度を再算出するス
テップと、該再算出したズーム速度及び旋回速度と前記
移動体領域の動きベクトルとから移動体の移動方向と速
度を算出して撮像装置のズーム量と旋回速度を算出し、
移動体を追尾することを特徴とする。
像データ全体からズーム速度と旋回速度を計算している
ため、移動体が現れると誤差が生じる。それを解決する
ため請求項２に記載した発明においては、撮像装置を旋
回及びズーミングしながら撮像したデータから移動体を
認識して追尾する移動体の監視方法において、相前後す
る撮像データから、被写体の同一点の移動量をオプティ
カルフローとして動きベクトルを算出するステップと、
該動きベクトルから撮像装置のズーム速度と旋回速度を
算出するステップと、該算出したズーム速度及び旋回速
度と前記動きベクトルとから移動体領域と背景領域を分
離するステップと、分離した背景領域のみの動きベクト
ルから撮像装置のズーム速度と旋回速度を再算出するス
テップと、該再算出したズーム速度及び旋回速度と前記
移動体領域の動きベクトルとから移動体の移動方向と速
度を算出して撮像装置のズーム量と旋回速度を算出し、
移動体を追尾することを特徴とする。
【００１６】また、この請求項２の方法発明を実施する
ための装置である請求項１０に記載された発明は、旋回
及びズーミングしている撮像装置の撮像データから移動
体を認識して追尾する移動体の監視装置において、相前
後する撮像データから、被写体の同一点の移動量をオプ
ティカルフローとして動きベクトルを算出する動きベク
トル検出部と、該動きベクトル検出部が計算した動きベ
クトルから撮像装置のズーム速度と旋回速度を算出する
ズーム量旋回量検出部と、該ズーム量旋回量検出部が算
出したズーム速度及び旋回速度と前記動きベクトルとか
ら移動体領域を抽出し、残り領域を背景領域とする移動
体領域抽出部と、該移動体領域抽出部が抽出した背景領
域のみの動きベクトルから撮像装置のズーム速度と旋回
速度を再計算する動きベクトル補正部と、前記移動体領
域の動きベクトルと前記再計算したズーム速度及び旋回
速度とから移動体の移動方向と速度を算出して撮像装置
のズーム量と旋回速度を算出し、前記撮像装置にズーム
及び旋回を指示するズーム旋回制御部とからなり、撮像
データから移動体を認識して旋回及びズーミングしなが
ら追尾することを特徴とする。
ための装置である請求項１０に記載された発明は、旋回
及びズーミングしている撮像装置の撮像データから移動
体を認識して追尾する移動体の監視装置において、相前
後する撮像データから、被写体の同一点の移動量をオプ
ティカルフローとして動きベクトルを算出する動きベク
トル検出部と、該動きベクトル検出部が計算した動きベ
クトルから撮像装置のズーム速度と旋回速度を算出する
ズーム量旋回量検出部と、該ズーム量旋回量検出部が算
出したズーム速度及び旋回速度と前記動きベクトルとか
ら移動体領域を抽出し、残り領域を背景領域とする移動
体領域抽出部と、該移動体領域抽出部が抽出した背景領
域のみの動きベクトルから撮像装置のズーム速度と旋回
速度を再計算する動きベクトル補正部と、前記移動体領
域の動きベクトルと前記再計算したズーム速度及び旋回
速度とから移動体の移動方向と速度を算出して撮像装置
のズーム量と旋回速度を算出し、前記撮像装置にズーム
及び旋回を指示するズーム旋回制御部とからなり、撮像
データから移動体を認識して旋回及びズーミングしなが
ら追尾することを特徴とする。
【００１７】このように、背景領域と移動体領域を分離
した後、背景領域のみの動きベクトルから撮像装置のズ
ーム速度と旋回速度を再算出することで、より正確なズ
ーム速度と旋回速度を得ることができ、追尾を正確に行
えるようになる。
した後、背景領域のみの動きベクトルから撮像装置のズ
ーム速度と旋回速度を再算出することで、より正確なズ
ーム速度と旋回速度を得ることができ、追尾を正確に行
えるようになる。
【００１８】また、このズーム速度と旋回速度を計算で
得るのではなく、撮像装置の旋回装置の実旋回量、及び
ズームレンズの実ズーム量を検出するようにしてもよ
い。この場合は請求項３に記載したように、撮像装置を
旋回及びズーミングしながら撮像したデータから移動体
を認識して追尾する移動体の監視方法において、相前後
する撮像データから、被写体の同一点の移動量をオプテ
ィカルフローとして動きベクトルを算出するステップ
と、撮像装置の実ズーム速度と実旋回速度を検出し、該
検出した実ズーム速度及び実旋回速度と前記動きベクト
ルとから移動体領域を抽出するステップと、該移動体領
域の動きベクトルと前記実ズーム速度及び実旋回速度と
から移動体の移動方向と速度を算出し、撮像装置のズー
ム量と旋回量を再算出して移動体を追尾することを特徴
とする。
得るのではなく、撮像装置の旋回装置の実旋回量、及び
ズームレンズの実ズーム量を検出するようにしてもよ
い。この場合は請求項３に記載したように、撮像装置を
旋回及びズーミングしながら撮像したデータから移動体
を認識して追尾する移動体の監視方法において、相前後
する撮像データから、被写体の同一点の移動量をオプテ
ィカルフローとして動きベクトルを算出するステップ
と、撮像装置の実ズーム速度と実旋回速度を検出し、該
検出した実ズーム速度及び実旋回速度と前記動きベクト
ルとから移動体領域を抽出するステップと、該移動体領
域の動きベクトルと前記実ズーム速度及び実旋回速度と
から移動体の移動方向と速度を算出し、撮像装置のズー
ム量と旋回量を再算出して移動体を追尾することを特徴
とする。
【００１９】また、この請求項３の方法発明を実施する
ための装置である請求項１１に記載された発明は、旋回
及びズーミングしている撮像装置の撮像データから移動
体を認識して追尾する移動体の監視装置において、相前
後する撮像データから、被写体の同一点の移動量をオプ
ティカルフローとして動きベクトルを算出する動きベク
トル検出部と、撮像装置の実ズーム速度と実旋回速度を
検出して前記動きベクトルとから移動体領域の移動方向
と速度を算出し、撮像装置のズーム速度と旋回速度を再
算出して撮像装置に指示するズーム旋回制御部と、該ズ
ーム旋回制御部が検出した撮像装置の前記実ズーム量及
び実旋回量と前記動きベクトルとから移動体領域を抽出
して前記ズーム旋回制御部に送る移動体領域抽出部とか
らなり、撮像データから移動体を認識して旋回及びズー
ミングしながら追尾することを特徴とする。
ための装置である請求項１１に記載された発明は、旋回
及びズーミングしている撮像装置の撮像データから移動
体を認識して追尾する移動体の監視装置において、相前
後する撮像データから、被写体の同一点の移動量をオプ
ティカルフローとして動きベクトルを算出する動きベク
トル検出部と、撮像装置の実ズーム速度と実旋回速度を
検出して前記動きベクトルとから移動体領域の移動方向
と速度を算出し、撮像装置のズーム速度と旋回速度を再
算出して撮像装置に指示するズーム旋回制御部と、該ズ
ーム旋回制御部が検出した撮像装置の前記実ズーム量及
び実旋回量と前記動きベクトルとから移動体領域を抽出
して前記ズーム旋回制御部に送る移動体領域抽出部とか
らなり、撮像データから移動体を認識して旋回及びズー
ミングしながら追尾することを特徴とする。
【００２０】すなわち、このように撮像装置の実ズーム
量と実旋回量を検出することで、これらの値を別途算出
する課程を１つ省くことができ、それだけ制御装置の負
荷を少なくすることができる。
量と実旋回量を検出することで、これらの値を別途算出
する課程を１つ省くことができ、それだけ制御装置の負
荷を少なくすることができる。
【００２１】また、オプティカルフローの算出手段とし
て従来ではマッチング法が用いられているが、この方法
は前記したように計算負荷が高い。それを解決するため
請求項４に記載した発明においては、前記オプティカル
フローを、オプティカルフローのｘ成分の空間微分とｙ
成分の空間微分とから計算する勾配法で算出することを
特徴とする。
て従来ではマッチング法が用いられているが、この方法
は前記したように計算負荷が高い。それを解決するため
請求項４に記載した発明においては、前記オプティカル
フローを、オプティカルフローのｘ成分の空間微分とｙ
成分の空間微分とから計算する勾配法で算出することを
特徴とする。
【００２２】このように計算手段として勾配法を採用す
ることで、マッチング法に比べて計算負荷を少なくし、
さらに特別なハードなどを用意する必要が無くなり、経
済的に構成することができる。
ることで、マッチング法に比べて計算負荷を少なくし、
さらに特別なハードなどを用意する必要が無くなり、経
済的に構成することができる。
【００２３】またこの勾配法を実施するときは、勾配法
の推定精度が画素ピッチに制約されないことを利用し、
撮像した画像を縮小することでさらに計算負荷を軽減で
きる。これを実現するため請求項５に記載した発明にお
いては、撮像データからオプティカルフローを求める際
は撮像データを大きな縮小率で縮小し、移動体領域のオ
プティカルフローを求める際は撮像データの縮小率を小
さくして算出することを特徴とする。
の推定精度が画素ピッチに制約されないことを利用し、
撮像した画像を縮小することでさらに計算負荷を軽減で
きる。これを実現するため請求項５に記載した発明にお
いては、撮像データからオプティカルフローを求める際
は撮像データを大きな縮小率で縮小し、移動体領域のオ
プティカルフローを求める際は撮像データの縮小率を小
さくして算出することを特徴とする。
【００２４】このように撮像データを縮小することで、
オプティカルフローの推定精度を損なうことなく計算負
荷を大幅に軽減できる。
オプティカルフローの推定精度を損なうことなく計算負
荷を大幅に軽減できる。
【００２５】また、移動体領域を抽出して背景領域と分
離する方法は、請求項６または７に記載したように、移
動体領域を抽出するステップは、前記ズーム速度と旋回
速度を元に画像上の各点の予測動きベクトルを算出し、
該予測動きベクトルと前記動きベクトルとの差が閾値以
上の領域を移動体領域として抽出することを特徴とす
る。移動体領域と背景領域を分離するステップは、前記
再算出したズーム速度と旋回速度を元に画像上の各点の
予測動きベクトルを算出し、該予測動きベクトルと前記
動きベクトルとの差が閾値以下の領域を背景領域とし、
残りを移動体領域として分離することを特徴とする。
離する方法は、請求項６または７に記載したように、移
動体領域を抽出するステップは、前記ズーム速度と旋回
速度を元に画像上の各点の予測動きベクトルを算出し、
該予測動きベクトルと前記動きベクトルとの差が閾値以
上の領域を移動体領域として抽出することを特徴とす
る。移動体領域と背景領域を分離するステップは、前記
再算出したズーム速度と旋回速度を元に画像上の各点の
予測動きベクトルを算出し、該予測動きベクトルと前記
動きベクトルとの差が閾値以下の領域を背景領域とし、
残りを移動体領域として分離することを特徴とする。
【００２６】また、同じく移動体領域を抽出して背景領
域と分離する他の方法として、請求項８に記載したよう
に、移動体領域を抽出するステップ、または移動体領域
と背景領域を分離するステップは、前記動きベクトルか
らズーム速度成分を除いたベクトルの頻度を算出する投
票法で抽出することを特徴とする。
域と分離する他の方法として、請求項８に記載したよう
に、移動体領域を抽出するステップ、または移動体領域
と背景領域を分離するステップは、前記動きベクトルか
らズーム速度成分を除いたベクトルの頻度を算出する投
票法で抽出することを特徴とする。
【００２７】このようにすることで、簡単、確実に移動
体領域と背景領域を分離できる。
体領域と背景領域を分離できる。
【００２８】
【発明の実施の形態】以下、図面に基づいて本発明の実
施の形態を例示的に詳しく説明する。但しこの実施の形
態に記載されている構成部品の寸法、材質、形状、その
相対配置などは特に特定的な記載がない限りは、この発
明の範囲をそれのみに限定する趣旨ではなく単なる説明
例に過ぎない。
施の形態を例示的に詳しく説明する。但しこの実施の形
態に記載されている構成部品の寸法、材質、形状、その
相対配置などは特に特定的な記載がない限りは、この発
明の範囲をそれのみに限定する趣旨ではなく単なる説明
例に過ぎない。
【００２９】図１は本発明になる移動体の監視装置の第
１実施例であり、図２はそのフロー図、図３は、撮像装
置をズーム、旋回させた場合における撮像データ上の被
写体の動きの説明図である。図において１はズームレン
ズ２、パン・チルトを含む旋回をおこなわせる旋回装置
３を持つ撮像装置、４は撮像装置１からのデータをアナ
ログ・デジタル変換すると共に、動きベクトル検出のた
めに撮像データを複数記憶するメモリを持つ画像入力
部、５は画像入力部４に記憶された撮像データから動き
ベクトルを検出する動きベクトル検出部、６は動きベク
トル検出部５の検出結果を元に、撮像装置１のズーム量
と旋回量を検出するズーム量旋回量検出部、８は動きベ
クトル検出部５とズーム量旋回量検出部６からのデータ
を元に移動体領域を抽出する移動体領域抽出部、９は動
きベクトル検出部５、ズーム量旋回量検出部６、移動体
領域抽出部８からの信号で移動体を画面の中心に位置さ
せる旋回量を計算すると共に、移動体を適度な大きさに
拡大するズーム量を計算するズーム旋回制御部、１０は
ズーム旋回制御部９からの信号で旋回装置３のパン・チ
ルトを含む旋回を制御する旋回制御部、１１はズーム旋
回制御部９からの信号でズームレンズ２のズーミングを
制御するズーム制御部である。
１実施例であり、図２はそのフロー図、図３は、撮像装
置をズーム、旋回させた場合における撮像データ上の被
写体の動きの説明図である。図において１はズームレン
ズ２、パン・チルトを含む旋回をおこなわせる旋回装置
３を持つ撮像装置、４は撮像装置１からのデータをアナ
ログ・デジタル変換すると共に、動きベクトル検出のた
めに撮像データを複数記憶するメモリを持つ画像入力
部、５は画像入力部４に記憶された撮像データから動き
ベクトルを検出する動きベクトル検出部、６は動きベク
トル検出部５の検出結果を元に、撮像装置１のズーム量
と旋回量を検出するズーム量旋回量検出部、８は動きベ
クトル検出部５とズーム量旋回量検出部６からのデータ
を元に移動体領域を抽出する移動体領域抽出部、９は動
きベクトル検出部５、ズーム量旋回量検出部６、移動体
領域抽出部８からの信号で移動体を画面の中心に位置さ
せる旋回量を計算すると共に、移動体を適度な大きさに
拡大するズーム量を計算するズーム旋回制御部、１０は
ズーム旋回制御部９からの信号で旋回装置３のパン・チ
ルトを含む旋回を制御する旋回制御部、１１はズーム旋
回制御部９からの信号でズームレンズ２のズーミングを
制御するズーム制御部である。
【００３０】撮像装置１が撮像したデータは画像入力部
４のメモリに記憶され、動きベクトル検出部５がまず図
２のステップ２１で、相前後する撮像データから、被写
体の同一点の移動量をオプティカルフローとして動きベ
クトルを算出する。
４のメモリに記憶され、動きベクトル検出部５がまず図
２のステップ２１で、相前後する撮像データから、被写
体の同一点の移動量をオプティカルフローとして動きベ
クトルを算出する。
【００３１】オプティカルフローの算出は、マッチング
法か勾配法を基本としておこなわれているものが多い。
マッチング法は、相前後する撮像データにおける対応す
るドットの明るさの差をとり、その絶対値の和を計算す
ると共に、互いの画像の位置を少しずつずらせて同じこ
とを繰り返し、この絶対値和が最小になるずらし量を移
動量としてオプティカルフローを設定するもので、演算
方法は単純だが前記したように計算負荷が高い為、多数
のフローを実時間で求めるには特殊なハードウェアを必
要とする。
法か勾配法を基本としておこなわれているものが多い。
マッチング法は、相前後する撮像データにおける対応す
るドットの明るさの差をとり、その絶対値の和を計算す
ると共に、互いの画像の位置を少しずつずらせて同じこ
とを繰り返し、この絶対値和が最小になるずらし量を移
動量としてオプティカルフローを設定するもので、演算
方法は単純だが前記したように計算負荷が高い為、多数
のフローを実時間で求めるには特殊なハードウェアを必
要とする。
【００３２】それに対して勾配法は、時系列画像間の運
動物体の微少運動による明るさの時空間変化に対し、数
値計算でオプティカルフローを求めるもので計算負荷が
小さくて済む。今、画像中の点（ｘ、ｙ）の時刻ｔにお
ける輝度をＦ（ｘ、ｙ、ｔ）とし、ｕ（ｘ、ｙ）、ｖ
（ｘ、ｙ）がその点におけるオプティカルフローベクト
ルのｘ成分、ｙ成分であるとしたとき、時刻ｔにおける
輝度は時刻ｔ＋δｔにおける輝度と等しいと期待でき
る。すなわち、
動物体の微少運動による明るさの時空間変化に対し、数
値計算でオプティカルフローを求めるもので計算負荷が
小さくて済む。今、画像中の点（ｘ、ｙ）の時刻ｔにお
ける輝度をＦ（ｘ、ｙ、ｔ）とし、ｕ（ｘ、ｙ）、ｖ
（ｘ、ｙ）がその点におけるオプティカルフローベクト
ルのｘ成分、ｙ成分であるとしたとき、時刻ｔにおける
輝度は時刻ｔ＋δｔにおける輝度と等しいと期待でき
る。すなわち、
【数１】 が小さい時間間隔δｔに対して成り立つ。もし輝度が、
ｘ、ｙ、ｔに関してなめらかに変化するなら、式（１）
の左辺をテイラー級数に展開でき、
ｘ、ｙ、ｔに関してなめらかに変化するなら、式（１）
の左辺をテイラー級数に展開でき、
【数２】
【数３】 のように表記し、Ｆｘ、Ｆｙをそれぞれｘ方向、ｙ方向
の空間微分、Ｆｔを時間微分とすると、次式が得られ
る。
の空間微分、Ｆｔを時間微分とすると、次式が得られ
る。
【数４】 そこで、式（４）に最小二乗法を適用し、動きベクトル
（ｕ、ｖ）を推定する。
（ｕ、ｖ）を推定する。
【００３３】なお、このとき、勾配法の推定精度が画素
ピッチに制約されない点を利用し、画像を水平、垂直方
向にそれぞれ１／ｎに縮小したスケール画像Ｓｎを使っ
てフローを求め、これをｎ倍することで、さらに計算負
荷を削減することができる。すなわち、画像サイズは1
／ｎ２になるので、小さな領域のフローを求める場合に
は推定精度が問題になるが、大幅な高速化が可能とな
る。また勾配法ではフローが大きくなると推定誤差が大
きくなるが、Ｓｎ上ではフローの大きさも1／ｎとなる
ため、大きなフローについてはむしろ推定精度の向上が
期待できる。
ピッチに制約されない点を利用し、画像を水平、垂直方
向にそれぞれ１／ｎに縮小したスケール画像Ｓｎを使っ
てフローを求め、これをｎ倍することで、さらに計算負
荷を削減することができる。すなわち、画像サイズは1
／ｎ２になるので、小さな領域のフローを求める場合に
は推定精度が問題になるが、大幅な高速化が可能とな
る。また勾配法ではフローが大きくなると推定誤差が大
きくなるが、Ｓｎ上ではフローの大きさも1／ｎとなる
ため、大きなフローについてはむしろ推定精度の向上が
期待できる。
【００３４】そこで画面全体のオプティカルフローを求
める場合は、縮小スケールｎの大きな画像で求めた画像
全体の粗いオプティカルフローを利用し、移動体フロー
を求める場合は、縮小スケールの比較的小さな画像で求
めた移動体領域周辺の密なオプティカルフローを利用す
れば、計算処理がより高速化できる。
める場合は、縮小スケールｎの大きな画像で求めた画像
全体の粗いオプティカルフローを利用し、移動体フロー
を求める場合は、縮小スケールの比較的小さな画像で求
めた移動体領域周辺の密なオプティカルフローを利用す
れば、計算処理がより高速化できる。
【００３５】こうして動きベクトルが計算されると、次
のステップ２２で図１におけるズーム量旋回量検出部６
が撮像装置のズーム速度と旋回速度を算出する。最初に
ズームのみの場合について説明すると、図３（ａ）にお
ける３０のような物体を撮像してズーミングした場合、
この像は図３（ｂ）の３１のようにズーム中心Ｏから離
れながら拡大されてゆく。そのため、時刻ｔ１、ｔ
２（ｔ＞ｔ）での点Ｐ１、Ｐ２の関係は、ｍをズーム速
度、Δｔ＝ｔ２−ｔ１とすると、
のステップ２２で図１におけるズーム量旋回量検出部６
が撮像装置のズーム速度と旋回速度を算出する。最初に
ズームのみの場合について説明すると、図３（ａ）にお
ける３０のような物体を撮像してズーミングした場合、
この像は図３（ｂ）の３１のようにズーム中心Ｏから離
れながら拡大されてゆく。そのため、時刻ｔ１、ｔ
２（ｔ＞ｔ）での点Ｐ１、Ｐ２の関係は、ｍをズーム速
度、Δｔ＝ｔ２−ｔ１とすると、
【数５】
【数６】 となる。
【００３６】ここでズームに加えて旋回を考えると、背
景の動きは並進成分のみと考えて問題ないから、先の図
形３１は図３の（ｃ）に３２で示したような位置にな
る。そのため、撮像装置の旋回速度Ｖ０＝（ｕ０、
ｖ０）は、撮像装置旋回により生じる背景の画像上での
見かけの動きベクトルとなり、ｕ０、ｖ０を速度Ｖ０の
ｘ成分、ｙ成分とすると、上記（５）、（６）式は次の
ようになる。
景の動きは並進成分のみと考えて問題ないから、先の図
形３１は図３の（ｃ）に３２で示したような位置にな
る。そのため、撮像装置の旋回速度Ｖ０＝（ｕ０、
ｖ０）は、撮像装置旋回により生じる背景の画像上での
見かけの動きベクトルとなり、ｕ０、ｖ０を速度Ｖ０の
ｘ成分、ｙ成分とすると、上記（５）、（６）式は次の
ようになる。
【数７】
【数８】
【００３７】そのため、動きベクトルＶ（ｕ、ｖ）か
ら、ズーム速度ｍと旋回速度Ｖ０＝（ｕ０、ｖ０）を求
めるには、点Ｐ＝（ｘ、ｙ）の検出された動きベクトル
Ｖの誤差ｅ２が、
ら、ズーム速度ｍと旋回速度Ｖ０＝（ｕ０、ｖ０）を求
めるには、点Ｐ＝（ｘ、ｙ）の検出された動きベクトル
Ｖの誤差ｅ２が、
【数９】 となるから、全てのベクトルでズーム速度ｍ、旋回速度
Ｖ０が一定と考えられるので、
Ｖ０が一定と考えられるので、
【数１０】 としてＥを最小にするズーム速度ｍ、旋回速度Ｖ０を最
小二乗法で求めることができる。
小二乗法で求めることができる。
【００３８】こうしてズーム速度ｍ、旋回速度Ｖ０が算
出されると、先に動きベクトル検出部５が計算した動き
ベクトルを用い、次のステップ２３、２４で図１の移動
体領域抽出部８が移動体領域の抽出をおこなう。これに
はステップ２３で、先に算出したズーム速度ｍ、旋回速
度Ｖ０を用いて画面上の各点の予測動きベクトルを計算
し、次のステップ２４で、この各点の予測動きベクトル
と先に算出した動きベクトルの差を取り、その絶対値が
閾値以上の点を移動体上の点として移動体領域を特定す
る。
出されると、先に動きベクトル検出部５が計算した動き
ベクトルを用い、次のステップ２３、２４で図１の移動
体領域抽出部８が移動体領域の抽出をおこなう。これに
はステップ２３で、先に算出したズーム速度ｍ、旋回速
度Ｖ０を用いて画面上の各点の予測動きベクトルを計算
し、次のステップ２４で、この各点の予測動きベクトル
と先に算出した動きベクトルの差を取り、その絶対値が
閾値以上の点を移動体上の点として移動体領域を特定す
る。
【００３９】こうして移動体領域が特定されたら、ステ
ップ２５で移動体が有るか無いか、すなわち閾値以上の
点が有るかどうかが判断され、移動体が無い場合はステ
ップ２１に戻る。移動体が有る場合はステップ２６で、
ズーム旋回制御部９が移動体領域の動きベクトルとズー
ム速度ｍ、旋回速度Ｖ０から移動体の移動方向と速度、
及び移動体領域の中心と画面中心との偏差を算出し、ス
テップ２７で移動体を画面中央に位置させるための撮像
装置１の旋回速度と旋回方向、及び移動体が何であるか
を判別できる程度に拡大するためのズーム量を算出す
る。
ップ２５で移動体が有るか無いか、すなわち閾値以上の
点が有るかどうかが判断され、移動体が無い場合はステ
ップ２１に戻る。移動体が有る場合はステップ２６で、
ズーム旋回制御部９が移動体領域の動きベクトルとズー
ム速度ｍ、旋回速度Ｖ０から移動体の移動方向と速度、
及び移動体領域の中心と画面中心との偏差を算出し、ス
テップ２７で移動体を画面中央に位置させるための撮像
装置１の旋回速度と旋回方向、及び移動体が何であるか
を判別できる程度に拡大するためのズーム量を算出す
る。
【００４０】そしてこの旋回速度と旋回方向を旋回制御
部１０に、ズーム量をズーム制御部１１に送り、旋回装
置３にパン・チルトを含む旋回をおこなわせ、ズームレ
ンズ２にはズーミングをおこなわせる。そのため移動体
は、画面中央で、その移動体が何であるか確認できる程
度の大きさで撮像される。
部１０に、ズーム量をズーム制御部１１に送り、旋回装
置３にパン・チルトを含む旋回をおこなわせ、ズームレ
ンズ２にはズーミングをおこなわせる。そのため移動体
は、画面中央で、その移動体が何であるか確認できる程
度の大きさで撮像される。
【００４１】なお、ステップ２１で勾配法を用いてオプ
ティカルフローを算出するとき、先に説明したように撮
像画像を１／ｎに縮小して求めることで計算負荷を減少
させることができるが、この場合、ステップ２４で移動
体領域が特定された後、ステップ２６で移動体の移動方
向と移動速度を算出する前に、この特定された移動体領
域のみの動きベクトルを小さな縮小率で再計算すること
で、移動体領域の動きベクトルが正確に計算できる。
ティカルフローを算出するとき、先に説明したように撮
像画像を１／ｎに縮小して求めることで計算負荷を減少
させることができるが、この場合、ステップ２４で移動
体領域が特定された後、ステップ２６で移動体の移動方
向と移動速度を算出する前に、この特定された移動体領
域のみの動きベクトルを小さな縮小率で再計算すること
で、移動体領域の動きベクトルが正確に計算できる。
【００４２】また以上の説明は、撮像装置が旋回、及び
ズーミングしている時を例として説明してきたが、カメ
ラが静止しているところに移動体が現れた場合、ステッ
プ２１で移動体のみの動きベクトルが算出され、また、
ズームのない旋回動作のみの場合はステップ２２で旋回
速度Ｖ０のみが算出されるから、後はこれらの値を用い
て前記したステップを順次進めることで移動体の追尾が
可能になる。
ズーミングしている時を例として説明してきたが、カメ
ラが静止しているところに移動体が現れた場合、ステッ
プ２１で移動体のみの動きベクトルが算出され、また、
ズームのない旋回動作のみの場合はステップ２２で旋回
速度Ｖ０のみが算出されるから、後はこれらの値を用い
て前記したステップを順次進めることで移動体の追尾が
可能になる。
【００４３】さらに以上の説明では、移動体領域を特定
するのに、ステップ２３でズーム速度ｍ、旋回速度Ｖ０
から各点の予測動きベクトルを算出し、ステップ２４で
この予測動きベクトルと動きベクトルとの差が閾値以上
の領域を移動体領域とした。しかし移動体領域を特定す
る方法はこれだけではなく、例えばステップ２３と２４
の代わりに図２（ロ）のステップ２８と２９を用い、ま
ずステップ２８で、先にステップ２１で計算した動きベ
クトルからズーム速度ｍの成分を除き、これを図８の
（Ｂ）に示したｕ、ｖ平面に投票し、ステップ２９で頻
度の一番多かったオプティカルフローを背景とし、二番
目に多かったオプティカルフローを移動体として特定す
る方法を採ることもできる。
するのに、ステップ２３でズーム速度ｍ、旋回速度Ｖ０
から各点の予測動きベクトルを算出し、ステップ２４で
この予測動きベクトルと動きベクトルとの差が閾値以上
の領域を移動体領域とした。しかし移動体領域を特定す
る方法はこれだけではなく、例えばステップ２３と２４
の代わりに図２（ロ）のステップ２８と２９を用い、ま
ずステップ２８で、先にステップ２１で計算した動きベ
クトルからズーム速度ｍの成分を除き、これを図８の
（Ｂ）に示したｕ、ｖ平面に投票し、ステップ２９で頻
度の一番多かったオプティカルフローを背景とし、二番
目に多かったオプティカルフローを移動体として特定す
る方法を採ることもできる。
【００４４】このような構成と方法により、撮像装置が
旋回しながらズーミングしても、撮像データから旋回に
よる旋回速度Ｖ０とズーム速度ｍを計算することがで
き、その計算結果に基づいて移動体を特定して追尾をお
こなうことができる。
旋回しながらズーミングしても、撮像データから旋回に
よる旋回速度Ｖ０とズーム速度ｍを計算することがで
き、その計算結果に基づいて移動体を特定して追尾をお
こなうことができる。
【００４５】しかしながら以上の説明では、旋回速度Ｖ
０とズーム速度ｍを（１０）式で計算するとき、撮像デ
ータ全体を用いて計算していたが、こうすると画像中に
移動体が含まれていると誤差が大きくなる。そのため、
一度求めたズーム速度ｍと旋回速度Ｖ０から、撮像デー
タの各点Ｐでの動きベクトルを予測し、予測値との差の
絶対値が閾値以下の点を背景領域とし、この背景領域の
みの動きベクトルを用いて再計算することにより、ズー
ム速度ｍと旋回速度Ｖ０の計算精度を向上させることが
できる。
０とズーム速度ｍを（１０）式で計算するとき、撮像デ
ータ全体を用いて計算していたが、こうすると画像中に
移動体が含まれていると誤差が大きくなる。そのため、
一度求めたズーム速度ｍと旋回速度Ｖ０から、撮像デー
タの各点Ｐでの動きベクトルを予測し、予測値との差の
絶対値が閾値以下の点を背景領域とし、この背景領域の
みの動きベクトルを用いて再計算することにより、ズー
ム速度ｍと旋回速度Ｖ０の計算精度を向上させることが
できる。
【００４６】図４は、このようにズーム速度ｍと旋回速
度Ｖ０を再計算する場合の本発明になる監視装置の第２
実施例であり、図５はそのフロー図である。図中、図
１、図２と同一構成要素には同一番号を付した。図４中
７は、動きベクトルを再計算する動きベクトル補正部で
ある。
度Ｖ０を再計算する場合の本発明になる監視装置の第２
実施例であり、図５はそのフロー図である。図中、図
１、図２と同一構成要素には同一番号を付した。図４中
７は、動きベクトルを再計算する動きベクトル補正部で
ある。
【００４７】図４の撮像装置１が撮像したデータは、図
１と図２で説明したように図５のステップ２１で動きベ
クトル検出部５で処理され、相前後する撮像データから
被写体の同一点の移動量がオプティカルフローとして動
きベクトルが算出される。そして次のステップ２２で、
ズーム量旋回量検出部６が、撮像装置のズーム速度ｍと
旋回速度Ｖ０を算出する。そしてこれらの値を元に移動
体領域抽出部８が、ステップ２３で、先に算出したズー
ム速度ｍ、旋回速度Ｖ０を用いて画面上の各点の予測動
きベクトルを計算し、次のステップ２４で、この各点の
予測動きベクトルと先に算出した動きベクトルの差を取
り、その絶対値が閾値以上の点を移動体上の点として移
動体領域を特定し、それ以外の領域を背景領域とする。
１と図２で説明したように図５のステップ２１で動きベ
クトル検出部５で処理され、相前後する撮像データから
被写体の同一点の移動量がオプティカルフローとして動
きベクトルが算出される。そして次のステップ２２で、
ズーム量旋回量検出部６が、撮像装置のズーム速度ｍと
旋回速度Ｖ０を算出する。そしてこれらの値を元に移動
体領域抽出部８が、ステップ２３で、先に算出したズー
ム速度ｍ、旋回速度Ｖ０を用いて画面上の各点の予測動
きベクトルを計算し、次のステップ２４で、この各点の
予測動きベクトルと先に算出した動きベクトルの差を取
り、その絶対値が閾値以上の点を移動体上の点として移
動体領域を特定し、それ以外の領域を背景領域とする。
【００４８】そして、移動体がある場合は次のステップ
２５でそれが判断され、その次のステップ５０で動きベ
クトル補正部７が、まず、背景領域の動きベクトルのみ
を用いて前記（１０）式によりズーム速度ｍ、旋回速度
Ｖ０を再計算する。そしてこの再計算したズーム速度
ｍ、旋回速度Ｖ０を用い、ステップ５１でズーム旋回制
御部９が、移動体の動きベクトルから移動方向と速度、
及び移動体領域の中心と画面中心との偏差を算出する。
そしてステップ２７で、移動体の動きベクトル、再計算
したズーム速度ｍ、旋回速度Ｖ０を用い、移動体を画面
中央に位置させるための旋回速度と旋回方向、及び移動
体が何であるかを判別できる程度に拡大するためのズー
ム量を算出する。
２５でそれが判断され、その次のステップ５０で動きベ
クトル補正部７が、まず、背景領域の動きベクトルのみ
を用いて前記（１０）式によりズーム速度ｍ、旋回速度
Ｖ０を再計算する。そしてこの再計算したズーム速度
ｍ、旋回速度Ｖ０を用い、ステップ５１でズーム旋回制
御部９が、移動体の動きベクトルから移動方向と速度、
及び移動体領域の中心と画面中心との偏差を算出する。
そしてステップ２７で、移動体の動きベクトル、再計算
したズーム速度ｍ、旋回速度Ｖ０を用い、移動体を画面
中央に位置させるための旋回速度と旋回方向、及び移動
体が何であるかを判別できる程度に拡大するためのズー
ム量を算出する。
【００４９】そしてこの旋回速度と旋回方向を旋回制御
部１０に、ズーム量をズーム制御部１１に送り、旋回装
置３にパン・チルトを含む旋回をおこなわせ、ズームレ
ンズ２にはズーミングをおこなわせる。そのため移動体
は、画面中央で、その移動体が何であるか確認できる程
度の大きさで撮像される。
部１０に、ズーム量をズーム制御部１１に送り、旋回装
置３にパン・チルトを含む旋回をおこなわせ、ズームレ
ンズ２にはズーミングをおこなわせる。そのため移動体
は、画面中央で、その移動体が何であるか確認できる程
度の大きさで撮像される。
【００５０】なお、ステップ２１で勾配法を用いてオプ
ティカルフローを算出するとき、先に説明したように撮
像画像を１／ｎに縮小して求めることで計算負荷を減少
させることができるが、この場合、ステップ２４で移動
体領域が特定された後、ステップ５１で移動体の移動方
向と移動速度を算出する前に、特定された移動体領域の
みの動きベクトルを小さな縮小率で再計算することで、
移動体領域の動きベクトルが正確に計算できる。また、
移動体領域を特定する際前記したように、ステップ２３
と２４の代わりに図２（ロ）のステップ２８と２９を用
い、ステップ２８で、ステップ５１で再計算した動きベ
クトルからズーム速度ｍの成分を除き、これを図８の
（Ｂ）に示したｕ、ｖ平面に投票し、ステップ２９で頻
度の一番多かったオプティカルフローを背景とし、二番
目に多かったオプティカルフローを移動体として特定す
る方法を採ることもできる。
ティカルフローを算出するとき、先に説明したように撮
像画像を１／ｎに縮小して求めることで計算負荷を減少
させることができるが、この場合、ステップ２４で移動
体領域が特定された後、ステップ５１で移動体の移動方
向と移動速度を算出する前に、特定された移動体領域の
みの動きベクトルを小さな縮小率で再計算することで、
移動体領域の動きベクトルが正確に計算できる。また、
移動体領域を特定する際前記したように、ステップ２３
と２４の代わりに図２（ロ）のステップ２８と２９を用
い、ステップ２８で、ステップ５１で再計算した動きベ
クトルからズーム速度ｍの成分を除き、これを図８の
（Ｂ）に示したｕ、ｖ平面に投票し、ステップ２９で頻
度の一番多かったオプティカルフローを背景とし、二番
目に多かったオプティカルフローを移動体として特定す
る方法を採ることもできる。
【００５１】このようにすることで、実施例１の場合に
比してズーム速度ｍ、旋回速度Ｖ０が正確に算出でき、
移動体をより正確に追尾できる。
比してズーム速度ｍ、旋回速度Ｖ０が正確に算出でき、
移動体をより正確に追尾できる。
【００５２】図６は、ズーム速度ｍと旋回速度Ｖ０を計
算で求めるのではなく、撮像装置の実際のズーム速度と
旋回速度を検出して移動体を追尾する本発明の第３実施
例であり、図７はそのフロー図である。図中図１、図２
と同一構成要素には、同一番号を付した。図６中１２
は、動きベクトル検出部５と移動体領域抽出部８からの
信号で移動体を画面の中心に位置させると共に、適度な
大きさに拡大する旋回速度とズーム量を計算し、併せて
移動体領域抽出部８にその計算結果を知らせるズーム旋
回制御部である。
算で求めるのではなく、撮像装置の実際のズーム速度と
旋回速度を検出して移動体を追尾する本発明の第３実施
例であり、図７はそのフロー図である。図中図１、図２
と同一構成要素には、同一番号を付した。図６中１２
は、動きベクトル検出部５と移動体領域抽出部８からの
信号で移動体を画面の中心に位置させると共に、適度な
大きさに拡大する旋回速度とズーム量を計算し、併せて
移動体領域抽出部８にその計算結果を知らせるズーム旋
回制御部である。
【００５３】撮像装置１が撮像したデータは、図１と図
２で説明したようにステップ２１で動きベクトル検出部
５で処理され、相前後する撮像データから被写体の同一
点の移動量がオプティカルフローとして動きベクトルが
算出される。いま、撮像装置１が静止して監視してお
り、移動体が無いとすると、動きベクトル検出部５から
は動きベクトル０の信号が、ズーム旋回制御部１２から
はズーム量旋回量０の信号が出る。そのためステップ７
０、２３、２４でズーム速度０、旋回速度０、移動体領
域無しという結果が出され、ステップ２５で移動体が無
いとして処理がステップ２１に戻る。
２で説明したようにステップ２１で動きベクトル検出部
５で処理され、相前後する撮像データから被写体の同一
点の移動量がオプティカルフローとして動きベクトルが
算出される。いま、撮像装置１が静止して監視してお
り、移動体が無いとすると、動きベクトル検出部５から
は動きベクトル０の信号が、ズーム旋回制御部１２から
はズーム量旋回量０の信号が出る。そのためステップ７
０、２３、２４でズーム速度０、旋回速度０、移動体領
域無しという結果が出され、ステップ２５で移動体が無
いとして処理がステップ２１に戻る。
【００５４】このとき移動体が撮像装置１で捕らえられ
ると、動きベクトル検出部５がステップ２１で移動体の
オプティカルフローから動きベクトルを算出し、移動体
領域抽出部８に送る。しかし、この時点ではまだ撮像装
置１は動いていないので、ステップ７０でズーム旋回制
御部１２から移動体領域抽出部８に、ズーム速度、旋回
速度共に０という信号が送られ、移動体領域抽出部８は
ステップ２３、２４で移動体の動きベクトルのあるとこ
ろを移動体領域としてズーム旋回制御部１２に通知す
る。
ると、動きベクトル検出部５がステップ２１で移動体の
オプティカルフローから動きベクトルを算出し、移動体
領域抽出部８に送る。しかし、この時点ではまだ撮像装
置１は動いていないので、ステップ７０でズーム旋回制
御部１２から移動体領域抽出部８に、ズーム速度、旋回
速度共に０という信号が送られ、移動体領域抽出部８は
ステップ２３、２４で移動体の動きベクトルのあるとこ
ろを移動体領域としてズーム旋回制御部１２に通知す
る。
【００５５】そのためズーム旋回制御部１２は、ステッ
プ２６で移動体の動きベクトルから、移動体の移動方向
と速度、及び移動体領域の中心と画面中心との偏差を算
出し、ステップ２７で移動体を画面中央に位置させるた
めの旋回速度と旋回方向、及び移動体が何であるかを判
別できる程度に拡大するためのズーム量を算出する。
プ２６で移動体の動きベクトルから、移動体の移動方向
と速度、及び移動体領域の中心と画面中心との偏差を算
出し、ステップ２７で移動体を画面中央に位置させるた
めの旋回速度と旋回方向、及び移動体が何であるかを判
別できる程度に拡大するためのズーム量を算出する。
【００５６】そしてこの旋回速度と旋回方向を旋回制御
部１０に、ズーム量をズーム制御部１１に送り、旋回装
置３にパン・チルトを含む旋回をおこなわせ、ズームレ
ンズ２にはズーミングをおこなわせて移動体を追尾させ
る。また、この算出したズーム速度と旋回速度を移動体
領域抽出部８に知らせ、次のサイクルで使用する。
部１０に、ズーム量をズーム制御部１１に送り、旋回装
置３にパン・チルトを含む旋回をおこなわせ、ズームレ
ンズ２にはズーミングをおこなわせて移動体を追尾させ
る。また、この算出したズーム速度と旋回速度を移動体
領域抽出部８に知らせ、次のサイクルで使用する。
【００５７】こうして移動体の追尾が撮像装置１のズー
ムと旋回を伴って開始されると、前記したように撮像装
置１が撮像したデータは、ステップ２１で動きベクトル
検出部５で処理され、動きベクトルが算出される。い
ま、撮像装置１は前記したようにズームと旋回を開始し
ており、ステップ７０の実ズーム速度ｍと実旋回速度Ｖ
０はすでにわかっているから、ステップ２３、２４で移
動体領域抽出部８は、前記したように各点の予測動きベ
クトルを計算し、実際の動きベクトルとの差を取って閾
値より大きな点を移動体領域として抽出し、ズーム旋回
制御部１２に通知する。
ムと旋回を伴って開始されると、前記したように撮像装
置１が撮像したデータは、ステップ２１で動きベクトル
検出部５で処理され、動きベクトルが算出される。い
ま、撮像装置１は前記したようにズームと旋回を開始し
ており、ステップ７０の実ズーム速度ｍと実旋回速度Ｖ
０はすでにわかっているから、ステップ２３、２４で移
動体領域抽出部８は、前記したように各点の予測動きベ
クトルを計算し、実際の動きベクトルとの差を取って閾
値より大きな点を移動体領域として抽出し、ズーム旋回
制御部１２に通知する。
【００５８】そのためズーム旋回制御部１２は、ステッ
プ２６で移動体の動きベクトルから、移動体の移動方向
と速度、及び移動体領域の中心と画面中心との偏差を算
出し、ステップ２７で移動体を画面中央に位置させるた
めの旋回速度と旋回方向、及び移動体が何であるかを判
別できる程度に拡大するためのズーム量を算出し、旋回
速度と旋回方向を旋回制御部１０に、ズーム量をズーム
制御部１１に送り、旋回装置３にパン・チルトを含む旋
回をおこなわせ、ズームレンズ２にはズーミングをおこ
なわせて移動体を追尾させる。そして、以下全く同じ動
作が繰り返される。
プ２６で移動体の動きベクトルから、移動体の移動方向
と速度、及び移動体領域の中心と画面中心との偏差を算
出し、ステップ２７で移動体を画面中央に位置させるた
めの旋回速度と旋回方向、及び移動体が何であるかを判
別できる程度に拡大するためのズーム量を算出し、旋回
速度と旋回方向を旋回制御部１０に、ズーム量をズーム
制御部１１に送り、旋回装置３にパン・チルトを含む旋
回をおこなわせ、ズームレンズ２にはズーミングをおこ
なわせて移動体を追尾させる。そして、以下全く同じ動
作が繰り返される。
【００５９】なお、勾配法でオプティカルフローを算出
するとき、先に説明したように撮像画像を１／ｎに縮小
して求めることで計算負荷を減少させることができる
が、この場合、ステップ２４で移動体領域が特定された
後、ステップ２６で移動体の移動方向と移動速度を算出
する前に、この特定された移動体領域のみの動きベクト
ルを小さな縮小率で再計算することで、移動体領域の動
きベクトルが正確に計算できる。また、移動体領域を特
定する際前記したように、ステップ２３と２４の代わり
に図２（ロ）のステップ２８と２９を用い、ステップ２
８で動きベクトルからズーム速度ｍの成分を除き、これ
を図８の（Ｂ）に示したｕ、ｖ平面に投票し、ステップ
２９で頻度の一番多かったオプティカルフローを背景と
し、二番目に多かったオプティカルフローを移動体とし
て特定する方法を採ることもできる。
するとき、先に説明したように撮像画像を１／ｎに縮小
して求めることで計算負荷を減少させることができる
が、この場合、ステップ２４で移動体領域が特定された
後、ステップ２６で移動体の移動方向と移動速度を算出
する前に、この特定された移動体領域のみの動きベクト
ルを小さな縮小率で再計算することで、移動体領域の動
きベクトルが正確に計算できる。また、移動体領域を特
定する際前記したように、ステップ２３と２４の代わり
に図２（ロ）のステップ２８と２９を用い、ステップ２
８で動きベクトルからズーム速度ｍの成分を除き、これ
を図８の（Ｂ）に示したｕ、ｖ平面に投票し、ステップ
２９で頻度の一番多かったオプティカルフローを背景と
し、二番目に多かったオプティカルフローを移動体とし
て特定する方法を採ることもできる。
【００６０】また以上の説明では、撮像装置１の実ズー
ム速度ｍと実旋回速度Ｖ０は、ズーム旋回制御部１２か
ら得ると説明してきたが、撮像装置１から機械的に直接
検出しても良く、旋回制御部１０とズーム制御部１１か
ら得るようにしても良い。
ム速度ｍと実旋回速度Ｖ０は、ズーム旋回制御部１２か
ら得ると説明してきたが、撮像装置１から機械的に直接
検出しても良く、旋回制御部１０とズーム制御部１１か
ら得るようにしても良い。
【００６１】
【発明の効果】以上記載の如く請求項１、９に記載した
本発明によれば、オプティカルフローから動きベクトル
を算出して撮像装置のズーム速度と旋回速度を計算する
ことで、移動体領域を確実に抽出して移動速度、方向を
計算することができ、それによってズーム、旋回してい
る撮像データで安定して移動体を追尾することができ
る。
本発明によれば、オプティカルフローから動きベクトル
を算出して撮像装置のズーム速度と旋回速度を計算する
ことで、移動体領域を確実に抽出して移動速度、方向を
計算することができ、それによってズーム、旋回してい
る撮像データで安定して移動体を追尾することができ
る。
【００６２】また請求項２、１０に記載した発明によれ
ば、背景領域と移動体領域を分離した後、背景領域のみ
の動きベクトルから撮像装置のズーム速度と旋回速度を
再算出することで、より正確なズーム速度と旋回速度を
得ることができ、追尾を正確に行えるようになる。
ば、背景領域と移動体領域を分離した後、背景領域のみ
の動きベクトルから撮像装置のズーム速度と旋回速度を
再算出することで、より正確なズーム速度と旋回速度を
得ることができ、追尾を正確に行えるようになる。
【００６３】また請求項３、１１に記載したように、実
ズーム量と実旋回量を撮像装置から検出することで、こ
れらの値を別途算出する課程を１つ省くことができ、そ
れだけ制御装置の負荷を少なくすることができる。
ズーム量と実旋回量を撮像装置から検出することで、こ
れらの値を別途算出する課程を１つ省くことができ、そ
れだけ制御装置の負荷を少なくすることができる。
【００６４】またオプティカルフローの計算は請求項４
に記載したように、勾配法を採用することで、マッチン
グ法に比べて計算負荷を少なくでき、さらに特別なハー
ドなどを用意する必要が無くなり、経済的に構成するこ
とができる。
に記載したように、勾配法を採用することで、マッチン
グ法に比べて計算負荷を少なくでき、さらに特別なハー
ドなどを用意する必要が無くなり、経済的に構成するこ
とができる。
【００６５】さらにオプティカルフローの計算は、請求
項５に記載したように、撮像データを縮小することで、
オプティカルフローの推定精度を損なうことなく計算負
荷を大幅に軽減できる。
項５に記載したように、撮像データを縮小することで、
オプティカルフローの推定精度を損なうことなく計算負
荷を大幅に軽減できる。
【００６６】また移動体領域の抽出も、請求項６、７、
８に記載したように、ズーム速度と旋回速度から各点の
予測動きベクトルを計算して動きベクトルとの差を求め
たり、動きベクトルからズーム速度成分を除いて投票す
ることで、簡単、確実に移動体領域と背景領域を分離で
き、マッチング法を使うときのように計算処理に特別な
ハードを必要としたりせず、経済的に構成できる。
８に記載したように、ズーム速度と旋回速度から各点の
予測動きベクトルを計算して動きベクトルとの差を求め
たり、動きベクトルからズーム速度成分を除いて投票す
ることで、簡単、確実に移動体領域と背景領域を分離で
き、マッチング法を使うときのように計算処理に特別な
ハードを必要としたりせず、経済的に構成できる。
【００６７】以上、種々述べてきたように本発明は、撮
像装置を旋回させ、かつ、その移動体が何であるか確認
できる程度にズーミングしながら、安定して追尾する事
ができる移動体の監視方法および装置を簡単で安価な構
成で実現することができ、監視方法および装置として大
きな効果をもたらすものである。
像装置を旋回させ、かつ、その移動体が何であるか確認
できる程度にズーミングしながら、安定して追尾する事
ができる移動体の監視方法および装置を簡単で安価な構
成で実現することができ、監視方法および装置として大
きな効果をもたらすものである。
【図１】 本発明の第１実施例の要部構成を示すブロッ
ク図である。
ク図である。
【図２】 本発明の第１実施例のフロー図である。
【図３】 撮像装置をズームさせながら旋回させたとき
の、画面上の被写体の動きの説明図である。
の、画面上の被写体の動きの説明図である。
【図４】 本発明の第２実施例の要部構成を示すブロッ
ク図である。
ク図である。
【図５】 本発明の第２実施例のフロー図である。
【図６】 本発明の第３実施例の要部構成を示すブロッ
ク図である。
ク図である。
【図７】 本発明の第３実施例のフロー図である。
【図８】 オプティカルフローを投票して移動体を特定
する従来方法の説明図である。
する従来方法の説明図である。
１ 撮像装置 ２ ズームレンズ ３ 旋回装置 ４ 画像入力部 ５ 動きベクトル検出部 ６ ズーム量旋回量検出部 ７ 動きベクトル補正部 ８ 移動体領域抽出部 ９ ズーム旋回制御部 １０ 旋回制御部 １１ ズーム制御部 １２ ズーム旋回制御部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 日浦 誠一 愛知県小牧市大字東田中1200番地 三菱重 工業株式会社名古屋誘導推進システム製作 所内 Ｆターム(参考） 5B057 AA19 BA11 BA15 CA16 CB20 CE09 DA07 DA08 DA17 DC08 DC32 5C022 AA01 AB62 AB63 AB66 AC69 5C054 AA01 CC06 CF05 CG06 EA01 FC12 FC13 FF02 HA18 5L096 BA02 CA04 DA03 EA03 GA51 HA04 HA05 JA14 MA07
Claims (11)
- 【請求項１】 撮像装置を旋回及びズーミングしながら
撮像したデータから移動体を認識して追尾する移動体の
監視方法において、 相前後する撮像データから、被写体の同一点の移動量を
オプティカルフローとして動きベクトルを算出するステ
ップと、該動きベクトルから撮像装置のズーム速度と旋
回速度を算出するステップと、該算出したズーム速度及
び旋回速度と前記動きベクトルとから移動体領域を抽出
するステップと、該移動体領域の動きベクトルと前記ズ
ーム速度及び旋回速度とから移動体の移動方向と速度を
算出して撮像装置のズーム量と旋回速度を算出し、移動
体を追尾することを特徴とする移動体の監視方法。 - 【請求項２】 撮像装置を旋回及びズーミングしながら
撮像したデータから移動体を認識して追尾する移動体の
監視方法において、 相前後する撮像データから、被写体の同一点の移動量を
オプティカルフローとして動きベクトルを算出するステ
ップと、該動きベクトルから撮像装置のズーム速度と旋
回速度を算出するステップと、該算出したズーム速度及
び旋回速度と前記動きベクトルとから移動体領域と背景
領域を分離するステップと、分離した背景領域のみの動
きベクトルから撮像装置のズーム速度と旋回速度を再算
出するステップと、該再算出したズーム速度及び旋回速
度と前記移動体領域の動きベクトルとから移動体の移動
方向と速度を算出して撮像装置のズーム量と旋回速度を
算出し、移動体を追尾することを特徴とする移動体の監
視方法。 - 【請求項３】 撮像装置を旋回及びズーミングしながら
撮像したデータから移動体を認識して追尾する移動体の
監視方法において、 相前後する撮像データから、被写体の同一点の移動量を
オプティカルフローとして動きベクトルを算出するステ
ップと、撮像装置の実ズーム速度と実旋回速度を検出
し、該検出した実ズーム速度及び実旋回速度と前記動き
ベクトルとから移動体領域を抽出するステップと、該移
動体領域の動きベクトルと前記実ズーム速度及び実旋回
速度とから移動体の移動方向と速度を算出し、撮像装置
のズーム量と旋回量を再算出して移動体を追尾すること
を特徴とする移動体の監視方法。 - 【請求項４】 前記オプティカルフローを、オプティカ
ルフローのｘ成分の空間微分とｙ成分の空間微分とから
計算する勾配法で算出することを特徴とする請求項１ま
たは２、または３に記載した移動体の監視方法。 - 【請求項５】 撮像データからオプティカルフローを求
める際は撮像データを大きな縮小率で縮小し、移動体領
域のオプティカルフローを求める際は撮像データの縮小
率を小さくして算出することを特徴とする請求項４に記
載した移動体の監視方法。 - 【請求項６】 移動体領域を抽出するステップは、前記
ズーム速度と旋回速度を元に画像上の各点の予測動きベ
クトルを算出し、該予測動きベクトルと前記動きベクト
ルとの差が閾値以上の領域を移動体領域として抽出する
ことを特徴とする請求項１または３に記載した移動体の
監視方法。 - 【請求項７】 移動体領域と背景領域を分離するステッ
プは、前記再算出したズーム速度と旋回速度を元に画像
上の各点の予測動きベクトルを算出し、該予測動きベク
トルと前記動きベクトルとの差が閾値以下の領域を背景
領域とし、残りを移動体領域として分離することを特徴
とする請求項２に記載した移動体の監視方法。 - 【請求項８】 移動体領域を抽出するステップ、または
移動体領域と背景領域を分離するステップは、前記動き
ベクトルからズーム速度成分を除いたベクトルの頻度を
算出する投票法で抽出することを特徴とする請求項１ま
たは２、または３に記載した移動体の監視方法。 - 【請求項９】 旋回及びズーミングしている撮像装置の
撮像データから移動体を認識して追尾する移動体の監視
装置において、 相前後する撮像データから、被写体の同一点の移動量を
オプティカルフローとして動きベクトルを算出する動き
ベクトル検出部と、該動きベクトル検出部が計算した動
きベクトルから撮像装置のズーム速度と旋回速度を算出
するズーム量旋回量検出部と、該ズーム量旋回量検出部
が算出したズーム速度及び旋回速度と前記動きベクトル
とから移動体領域を抽出する移動体領域抽出部と、該移
動体領域抽出部が抽出した移動体領域の動きベクトルと
前記ズーム速度及び旋回速度とから移動体の移動方向と
速度を算出して撮像装置のズーム量と旋回速度を算出
し、前記撮像装置に旋回及びズームを指示するズーム旋
回制御部とからなり、撮像データから移動体を認識して
旋回及びズーミングしながら追尾することを特徴とする
移動体の監視装置。 - 【請求項１０】 旋回及びズーミングしている撮像装置
の撮像データから移動体を認識して追尾する移動体の監
視装置において、 相前後する撮像データから、被写体の同一点の移動量を
オプティカルフローとして動きベクトルを算出する動き
ベクトル検出部と、該動きベクトル検出部が計算した動
きベクトルから撮像装置のズーム速度と旋回速度を算出
するズーム量旋回量検出部と、該ズーム量旋回量検出部
が算出したズーム速度及び旋回速度と前記動きベクトル
とから移動体領域を抽出し、残り領域を背景領域とする
移動体領域抽出部と、該移動体領域抽出部が抽出した背
景領域のみの動きベクトルから撮像装置のズーム速度と
旋回速度を再計算する動きベクトル補正部と、前記移動
体領域の動きベクトルと前記再計算したズーム速度及び
旋回速度とから移動体の移動方向と速度を算出して撮像
装置のズーム量と旋回速度を算出し、前記撮像装置にズ
ーム及び旋回を指示するズーム旋回制御部とからなり、
撮像データから移動体を認識して旋回及びズーミングし
ながら追尾することを特徴とする移動体の監視装置。 - 【請求項１１】 旋回及びズーミングしている撮像装置
の撮像データから移動体を認識して追尾する移動体の監
視装置において、 相前後する撮像データから、被写体の同一点の移動量を
オプティカルフローとして動きベクトルを算出する動き
ベクトル検出部と、撮像装置の実ズーム速度と実旋回速
度を検出して前記動きベクトルとから移動体領域の移動
方向と速度を算出し、撮像装置のズーム速度と旋回速度
を再算出して撮像装置に指示するズーム旋回制御部と、
該ズーム旋回制御部が検出した撮像装置の前記実ズーム
量及び実旋回量と前記動きベクトルとから移動体領域を
抽出して前記ズーム旋回制御部に送る移動体領域抽出部
とからなり、撮像データから移動体を認識して旋回及び
ズーミングしながら追尾することを特徴とする移動体の
監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001177897A JP4848097B2 (ja) | 2001-06-13 | 2001-06-13 | 移動体の監視方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001177897A JP4848097B2 (ja) | 2001-06-13 | 2001-06-13 | 移動体の監視方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002374521A true JP2002374521A (ja) | 2002-12-26 |
| JP4848097B2 JP4848097B2 (ja) | 2011-12-28 |
Family
ID=19018673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001177897A Expired - Lifetime JP4848097B2 (ja) | 2001-06-13 | 2001-06-13 | 移動体の監視方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4848097B2 (ja) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007088856A1 (ja) * | 2006-01-31 | 2007-08-09 | Matsushita Electric Industrial Co., Ltd. | 自動追尾装置及び自動追尾方法 |
| JP2008072543A (ja) * | 2006-09-15 | 2008-03-27 | Fujitsu Ltd | 画像領域へのメタデータ自動付与装置，メタデータ自動付与方法およびメタデータ自動付与プログラム |
| JP2008140155A (ja) * | 2006-12-01 | 2008-06-19 | Fujitsu Ltd | 障害物検出方法、障害物検出プログラムおよび障害物検出装置 |
| JP2009031760A (ja) * | 2007-07-04 | 2009-02-12 | Sanyo Electric Co Ltd | 撮像装置及びオートフォーカス制御方法 |
| JP2009147757A (ja) * | 2007-12-14 | 2009-07-02 | Canon Inc | 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム |
| JP2010073036A (ja) * | 2008-09-19 | 2010-04-02 | Mitsubishi Motors Corp | 車両周辺監視装置 |
| JP2010124028A (ja) * | 2008-11-17 | 2010-06-03 | Hitachi Kokusai Electric Inc | 監視装置 |
| US20100214444A1 (en) * | 2009-02-23 | 2010-08-26 | Casio Computer Co., Ltd. | Image capturing apparatus, angle-of-view adjusting method and recording medium |
| US7936385B2 (en) | 2006-12-20 | 2011-05-03 | Sony Corporation | Image pickup apparatus and imaging method for automatic monitoring of an image |
| JP2012016003A (ja) * | 2010-06-30 | 2012-01-19 | Ajou Univ Industry Cooperation Foundation | 監視カメラを使用する能動的客体追跡装置及び方法 |
| US8111942B2 (en) | 2008-02-06 | 2012-02-07 | O2Micro, Inc. | System and method for optimizing camera settings |
| JP2014241592A (ja) * | 2005-01-07 | 2014-12-25 | クアルコム，インコーポレイテッド | オプティカルフローに基づく傾きセンサー |
| WO2016032119A1 (ko) * | 2014-08-29 | 2016-03-03 | 도로교통공단 | 트램용 안전운행시스템 |
| JP2017134176A (ja) * | 2016-01-26 | 2017-08-03 | キヤノン株式会社 | 撮像装置およびその制御方法、プログラム、記憶媒体 |
| KR101865173B1 (ko) * | 2017-02-03 | 2018-06-07 | (주)플레이솔루션 | 가상현실 콘텐츠의 영상 분석을 통한 모션 시뮬레이터의 운동 생성 방법 |
| CN111524166A (zh) * | 2020-04-22 | 2020-08-11 | 北京百度网讯科技有限公司 | 视频帧的处理方法和装置 |
| CN115035144A (zh) * | 2022-04-20 | 2022-09-09 | 北京航空航天大学 | 一种基于稠密光流的火箭整流罩分离角速度测量方法 |
-
2001
- 2001-06-13 JP JP2001177897A patent/JP4848097B2/ja not_active Expired - Lifetime
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014241592A (ja) * | 2005-01-07 | 2014-12-25 | クアルコム，インコーポレイテッド | オプティカルフローに基づく傾きセンサー |
| US8170277B2 (en) | 2006-01-31 | 2012-05-01 | Panasonic Corporation | Automatic tracking apparatus and automatic tracking method |
| WO2007088856A1 (ja) * | 2006-01-31 | 2007-08-09 | Matsushita Electric Industrial Co., Ltd. | 自動追尾装置及び自動追尾方法 |
| JP4607836B2 (ja) * | 2006-09-15 | 2011-01-05 | 富士通株式会社 | 画像領域へのメタデータ自動付与装置，メタデータ自動付与方法およびメタデータ自動付与プログラム |
| JP2008072543A (ja) * | 2006-09-15 | 2008-03-27 | Fujitsu Ltd | 画像領域へのメタデータ自動付与装置，メタデータ自動付与方法およびメタデータ自動付与プログラム |
| JP2008140155A (ja) * | 2006-12-01 | 2008-06-19 | Fujitsu Ltd | 障害物検出方法、障害物検出プログラムおよび障害物検出装置 |
| US7936385B2 (en) | 2006-12-20 | 2011-05-03 | Sony Corporation | Image pickup apparatus and imaging method for automatic monitoring of an image |
| JP2009031760A (ja) * | 2007-07-04 | 2009-02-12 | Sanyo Electric Co Ltd | 撮像装置及びオートフォーカス制御方法 |
| JP2009147757A (ja) * | 2007-12-14 | 2009-07-02 | Canon Inc | 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム |
| US8111942B2 (en) | 2008-02-06 | 2012-02-07 | O2Micro, Inc. | System and method for optimizing camera settings |
| JP2010073036A (ja) * | 2008-09-19 | 2010-04-02 | Mitsubishi Motors Corp | 車両周辺監視装置 |
| JP2010124028A (ja) * | 2008-11-17 | 2010-06-03 | Hitachi Kokusai Electric Inc | 監視装置 |
| CN101841653A (zh) * | 2009-02-23 | 2010-09-22 | 卡西欧计算机株式会社 | 拍摄装置以及视场角调节方法 |
| JP2010199694A (ja) * | 2009-02-23 | 2010-09-09 | Casio Computer Co Ltd | 撮像装置、画角調節方法、及び、プログラム |
| US20100214444A1 (en) * | 2009-02-23 | 2010-08-26 | Casio Computer Co., Ltd. | Image capturing apparatus, angle-of-view adjusting method and recording medium |
| US8189056B2 (en) | 2009-02-23 | 2012-05-29 | Casio Computer Co., Ltd. | Image capturing apparatus, angle-of-view adjusting method and recording medium |
| JP2012016003A (ja) * | 2010-06-30 | 2012-01-19 | Ajou Univ Industry Cooperation Foundation | 監視カメラを使用する能動的客体追跡装置及び方法 |
| WO2016032119A1 (ko) * | 2014-08-29 | 2016-03-03 | 도로교통공단 | 트램용 안전운행시스템 |
| JP2017134176A (ja) * | 2016-01-26 | 2017-08-03 | キヤノン株式会社 | 撮像装置およびその制御方法、プログラム、記憶媒体 |
| KR101865173B1 (ko) * | 2017-02-03 | 2018-06-07 | (주)플레이솔루션 | 가상현실 콘텐츠의 영상 분석을 통한 모션 시뮬레이터의 운동 생성 방법 |
| CN111524166A (zh) * | 2020-04-22 | 2020-08-11 | 北京百度网讯科技有限公司 | 视频帧的处理方法和装置 |
| JP2021174530A (ja) * | 2020-04-22 | 2021-11-01 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | ビデオフレームの処理方法及び処理装置、電子機器、記憶媒体並びにコンピュータプログラム |
| KR20210131225A (ko) * | 2020-04-22 | 2021-11-02 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 영상 프레임 처리 방법, 장치, 전자 기기, 저장 매체 및 프로그램 |
| JP7228608B2 (ja) | 2020-04-22 | 2023-02-24 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | ビデオフレームの処理方法及び処理装置、電子機器、記憶媒体並びにコンピュータプログラム |
| US11748895B2 (en) | 2020-04-22 | 2023-09-05 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for processing video frame |
| KR102607137B1 (ko) * | 2020-04-22 | 2023-11-29 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 영상 프레임 처리 방법, 장치, 전자 기기, 저장 매체 및 프로그램 |
| CN115035144A (zh) * | 2022-04-20 | 2022-09-09 | 北京航空航天大学 | 一种基于稠密光流的火箭整流罩分离角速度测量方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4848097B2 (ja) | 2011-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9886770B2 (en) | Image processing device and method, image processing system, and image processing program | |
| US6819778B2 (en) | Method and system for tracking a fast moving object | |
| JP2002374521A (ja) | 移動体の監視方法および装置 | |
| JP5242938B2 (ja) | ビデオ追跡システム及び方法 | |
| JP5810296B2 (ja) | 画像表示装置及び画像表示方法 | |
| JP3279479B2 (ja) | 映像監視方法及び装置 | |
| EP3413236B1 (en) | Control apparatus, method of controlling image sensing device, and computer-readable storage medium | |
| JP2017212581A (ja) | 追尾装置、追尾方法及びプログラム | |
| US20020024599A1 (en) | Moving object tracking apparatus | |
| JP3440916B2 (ja) | 自動追尾装置、自動追尾方法及び自動追尾プログラムを記録した記録媒体 | |
| JPH07168932A (ja) | ビデオ画像中の人間を探索する方法 | |
| JP4578864B2 (ja) | 自動追尾装置及び自動追尾方法 | |
| KR20010043423A (ko) | 카메라 신호 처리 장치 및 카메라 신호 처리 방법 | |
| JPH1169342A (ja) | 侵入物体追尾画像処理システム | |
| JPH0614698B2 (ja) | 自動追尾カメラ | |
| CN116342642A (zh) | 目标跟踪方法、装置、电子设备及可读存储介质 | |
| JP3828096B2 (ja) | 物体追跡装置 | |
| JPH11331828A (ja) | 自動追尾装置 | |
| KR20050067892A (ko) | 감시용 카메라의 제어장치 및 방법 | |
| JP2006173872A (ja) | カメラ制御装置 | |
| JPH0850696A (ja) | 走行車両のナンバー認識装置 | |
| JPH0863602A (ja) | 物体追跡装置 | |
| JP3615970B2 (ja) | 移動体の検知方法 | |
| KR101899318B1 (ko) | 계층적 얼굴객체 탐색 방법과 이를 이용한 얼굴 인식 방법 및 계층적 얼굴객체 탐색 시스템과 이를 이용한 얼굴 인식 시스템 | |
| KR101070448B1 (ko) | 표적 추적 방법 및 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080613 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101020 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110107 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110930 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111017 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4848097 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |