JP2007295175A - 撮像システム、撮影方向制御方法、及びプログラム - Google Patents

撮像システム、撮影方向制御方法、及びプログラム Download PDF

Info

Publication number
JP2007295175A
JP2007295175A JP2006119258A JP2006119258A JP2007295175A JP 2007295175 A JP2007295175 A JP 2007295175A JP 2006119258 A JP2006119258 A JP 2006119258A JP 2006119258 A JP2006119258 A JP 2006119258A JP 2007295175 A JP2007295175 A JP 2007295175A
Authority
JP
Japan
Prior art keywords
signal processing
imaging device
imaging
command
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006119258A
Other languages
English (en)
Other versions
JP4717701B2 (ja
JP2007295175A5 (ja
Inventor
Tei Hayashi
禎 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006119258A priority Critical patent/JP4717701B2/ja
Priority to US11/739,008 priority patent/US7907176B2/en
Publication of JP2007295175A publication Critical patent/JP2007295175A/ja
Publication of JP2007295175A5 publication Critical patent/JP2007295175A5/ja
Application granted granted Critical
Publication of JP4717701B2 publication Critical patent/JP4717701B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】できるだけ速い動作をしながら観察者に違和感を与えることなく観察画像を取得することを可能とする。
【解決手段】撮像システムは、角度指令入力部1、2、ローパスフィルタ3、4、サーボコントローラ5、6、ビデオカメラ7a・チルト軸駆動機構7b・パン軸駆動機構7cを有するビデオカメラ装置7を備える。ローパスフィルタ3、4は、それぞれ角度指令入力部1、2から入力された信号に対して高い周波数成分をカットする。サーボコントローラ5、6は、それぞれローパスフィルタ3、4の各出力を基にチルトアクチュエータ、パンアクチュエータに駆動指令を出力する。チルト軸駆動機構7bに対応したローパスフィルタ3のカットオフ周波数を、パン軸駆動機構7cに対応したローパスフィルタ4のカットオフ周波数より低くなるように設定する。
【選択図】図1

Description

本発明は、監視や画像追尾等に適用される撮像システム、撮影方向制御方法、及びプログラムに関する。
従来、撮影方向の遠隔操作や自動制御を目的として、2次元的に撮影方向を変更可能なパンチルト旋回機構を搭載したビデオカメラ装置が知られている。このビデオカメラ装置と位置制御コントローラを組み合わせれば、所定の方向にカメラを自動的に向け、動画を観察することができる。位置制御コントローラには、カメラの向きを指定する指令値と現在位置との偏差に基づきフィードバック制御を行うサーボ制御法、またはステッピングモータ等により所定の距離だけ送り制御を行うオープン制御法が用いられる。
また、例えば人物など所定の対象物を検知して、この対象物が画面内に収まるようカメラの向きを制御することにより自動追尾を実現することが可能である。対象物の検出法としては、画像から対象物の特徴を抽出し対象物を認識する方法や、超音波エコーや赤外線放射などを用いて対象物の位置を検知する方法が知られている。
上記のようなビデオカメラ装置は、例えば動き回る子供を追尾して画面内からはみ出ないようにする追尾ビデオカメラ装置、不審者を監視する監視システム、TVのスポーツ中継における画角の制御を行うシステムなどに用いることができる。この種のシステムは、通常、モニタ装置を備え、リアルタイムに画像を観察できるようになっている。また、記録媒体に画像を記録することにより、後からその画像を再生し観察することも可能となっている。
この種のシステムでは、画像を観察する際、カメラの動きに伴って画像が切り替わる場面が必ず存在する。このようなときに観察者に違和感を与えないようにするため、観察者の眼球の動きを検出して徐々に画像を切り変える方法が提案されている(例えば、特許文献1参照)。また、マニピュレータを遠隔操作する際の指先観察用追尾カメラの動きに伴う不快感の除去に対して、マニピュレータの動きに対して±2°の不感帯を付与することが有効であることが提案されている(例えば、非特許文献1参照)。
特開2000−221953号公報 "Automatic camera tracking for remote manipulators" proc. Of the 1984 National Topical Meeting on Robotics and Remote Handling in Hostile Environmentspp.383-391、1984
しかしながら、撮影方向が変更可能な従来のビデオカメラ装置では、撮影方向を変更する際、カメラの動きにより動画像が不自然な動きをする。このため、観察者に不快感を与える。特に追尾動作を行う場合には撮影方向の切り替えを頻繁に行うため、応答速度が数Hz以上の速い追尾を行った場合、大変不快となる。この不快感は人によっては画像酔いと呼ばれる船酔いに似た症状を引き起こすことがある。
また、人間は一般に静止視力に対して動体に対する視力(いわゆる動体視力)が劣る。即ち、図24に示すように速い動きに対しての認識能力が急激に悪化する傾向がある。ここでいう認識能力とは、例えば振動する文字列に対して何割識別できるか等の能力を相対的に表したものである。この結果、画面が速く振動していると観察能力が落ち、長時間の観察には疲労が伴うこととなる。
これに対して、上記特許文献1記載の方法では、眼球の動きを検知するための大掛かりな装置が必要であり、それを装着する観察者に対する負荷の面やコスト面で不利である。また、画像を切り替える際に画像を徐々に変化させるため中間画像を用いるが、これは合成画像であり、真に実際の状況を表している保証は何もない。この結果、観察者に違和感を与える可能性が高い。尚、上記特許文献1記載の実施例では、表示する画像が実写画像でなくアニメーションとなっている。
他方、上記非特許文献1記載の方法は、画像酔いを軽減するには一定の効果がある。しかし、観察者が追従することができない速い振動に対しては、その振動が不感帯より大きければ画面が激しく揺動して不快感を除去することはできない。また、不感帯の付与により動作が不連続となるので、駆動及び停止の境界付近ではステップ状の動きとなり、滑らかに画面が切り替わらないため、完全に違和感を払拭することはできない。更には、追尾対象の動きに関わらず常に一定の不感帯を持つため、最適化されているとはいえない。
本発明の目的は、できるだけ速い動作をしながら観察者に違和感を与えることなく観察画像を取得することを可能とするものである。
上述の目的を達成するために、本発明は、撮像装置と、前記撮像装置を第1の方向及び前記第1の方向に対して直交する第2の方向にそれぞれ回転させる駆動手段とを備えた撮像システムであって、前記撮像装置の第1の方向及び第2の方向の向きを指定する指令手段と、前記指令手段による第1の方向の指令信号の規定周波数より高い成分をカットする第1の信号処理手段と、前記指令手段による第2の方向の指令信号の規定周波数より高い成分をカットする第2の信号処理手段と、前記第1及び第2の信号処理手段の各出力を基に前記各駆動手段にそれぞれ第1の方向及び第2の方向の駆動指令を出力する制御手段とを備え、前記第1の信号処理手段のカットオフ周波数を、前記第2の信号処理手段のカットオフ周波数より低くなるように設定する。
本発明によれば、第1の方向成分の指令のカットオフ周波数を、前記第1の方向に対して直交する第2の方向成分の指令のカットオフ周波数より低くなるように設定する。従って、第1の方向が鉛直方向を含み、第2の方向が水平方向を含む場合、撮像装置の鉛直方向の動作に対しては水平方向の動作よりも動きを制限することが可能となる。即ち、一般に左右に動く物には強く上下に動く物には弱いという人間の動体視力の異方性に着目し、できるだけ速い動作をしながら観察者に違和感を与えることなく観察画像を取得することが可能となる。これにより、撮像装置により特に自動追尾を行う際に、人間が観察するのに好適な動画像を取得することが可能となる。
以下、本発明の実施の形態を図面を参照して説明する。
[第1の実施の形態]
図1は、本発明の第1の実施の形態に係る撮像システムの構成を示すブロック図である。図2は、ビデオカメラ装置の外観を示す斜視図である。
図1及び図2において、撮像システムは、チルト軸側角度指令入力部1、チルト軸側ローパスフィルタ3、チルト軸側サーボコントローラ5を備える。撮像システムは、更に、パン軸側角度指令入力部2、パン軸側ローパスフィルタ4、パン軸側サーボコントローラ6、ビデオカメラ装置7(ビデオカメラ7a、チルト軸駆動機構7b、パン軸駆動機構7c)、画像表示装置8を備える。尚、以後、各構成要素においてはチルト軸側/パン軸側を省略して表記する。
ビデオカメラ装置7は、回転軸が直交するチルトアクチュエータ及びパンアクチュエータによりそれぞれ鉛直方向及び水平方向で旋回可能であり、撮影方向を変更可能に構成されている。ビデオカメラ7aは、駆動された方向(チルト方向/パン方向)の被写体の画像を撮影する。画像表示装置8は、撮影画像を表示する。チルト軸駆動機構7bは、ビデオカメラ7aを鉛直方向(チルト方向)に回転させるチルトアクチュエータ、駆動回路、及びチルト方向のビデオカメラ7aの角度を検出するセンサを備える。
パン軸駆動機構7cは、ビデオカメラ7aを水平方向(パン方向)に回転させるパンアクチュエータ、駆動回路、及びパン方向のビデオカメラ7aの角度を検出するセンサを備える。ビデオカメラ7aで撮像した画像は、リアルタイムで、もしくは一旦記録媒体に記憶した後、画像表示装置8により観察することができる。
角度指令入力部1は、チルト方向のビデオカメラ7aの目標角度を指定する際に操作する。角度指令入力部2は、パン方向のビデオカメラ7aの目標角度を指定する際に操作する。本実施の形態では、角度指令入力部1、2をプッシュスイッチとした場合を例に挙げているが、これに限定されるものではない。角度指令入力部1、2としては、例えば、マウス、ジョイスティック、ボリュームコントローラを用いる構成としてもよい。或いは、撮像システム外部からチルト方向及びパン方向の目標角度を通信により数値入力する構成としてもよい。
ローパスフィルタ3は、角度指令入力部1から入力された信号に対して高い周波数成分をカットする。ローパスフィルタ4は、角度指令入力部2から入力された信号に対して高い周波数成分をカットする。例えば入力信号がアナログ信号の場合には、ローパスフィルタ3、4としては、コンデンサや抵抗を用いた積分型フィルタを用いる構成が考えられる。例えば入力信号がデジタル信号の場合には、ローパスフィルタ3、4としては、有限インパルス応答フィルタ(図4参照)や無限インパルス応答フィルタ(図5参照)を用いる構成が考えられる。図4及び図5については後述する。
サーボコントローラ5は、ローパスフィルタ3を介して入力されるチルト制御指令信号に基づきチルト軸駆動機構7bの制御を行う。サーボコントローラ6は、ローパスフィルタ4を介して入力されるパン制御指令信号に基づきパン軸駆動機構7cの制御を行う。サーボコントローラ5、6としては、例えば図3に示すような構成が考えられる。図3については後述する。
本実施の形態では、チルト軸駆動機構7bに対応したローパスフィルタ3の(鉛直方向成分の)カットオフ周波数fctが、パン軸駆動機構7cに対応したローパスフィルタ4の(水平方向成分の)カットオフ周波数fcpより低くなるように設定される。尚、鉛直方向成分及び水平方向成分のカットオフ周波数は、追尾対象とする被写体の状況やユーザの好みに応じて変更可能なように、少なくとも2組以上が記憶部(不図示)に記憶され、所定の操作で変更可能である。
図3は、サーボコントローラを含む位置制御及び速度制御系の構成を示すブロック図である。
図3において、サーボコントローラ5、6は、それぞれ、位置制御回路12、速度制御回路13を備える。即ち、本構成はサーボコントローラ5、6それぞれについて設けられている。サーボコントローラ5については、旋回機構14はチルト軸駆動機構7bに相当し、サーボコントローラ6については、旋回機構14はパン軸駆動機構7cに相当する。
速度センサ16は、旋回時(チルト動作時/パン動作時)のビデオカメラ7aの速度を検出する。位置センサ17は、ビデオカメラ7aの位置を検出する。位置制御回路12は、ビデオカメラ7aの目標位置と、位置センサ17により計測されるビデオカメラ7aの実際の位置との偏差に基づき、速度制御回路13に対して速度指令を発生する。
速度指令回路13は、位置制御回路12から出力された速度指令と、速度センサ16により計測されるビデオカメラ7aの実際の速度とに基づき、電圧やPWM(Pulse Width Modulation)出力などにより旋回機構14の制御を行う。積分要素15は、速度から位置への変換を表す。以上の構成により目標位置に対してビデオカメラ7aの位置を追従させることが可能となる。
図3では速度制御ループ及び位置制御ループの2重ループ構成を示しているが、目的や構成要素に応じて位置制御ループのみの構成でもよい。また、速度制御ループ及び位置制御ループに対し、マイナーループとして加速度=力ループ(DCモータの場合は電流ループ)を付加してもよい。また、図3では速度センサ16及び位置センサ17の2つのセンサを設けているが、片方のセンサを速度センサ+積分回路または位置センサ+微分回路に置き換えることも可能である。
尚、チルト軸駆動機構10及びパン軸駆動機構11の各アクチュエータにオープン駆動が可能なステッピングモータを用いる場合は、チルト軸駆動機構10及びパン軸駆動機構11にセンサは必要ない。この場合は、各サーボコントローラの代わりにパルスジェネレータを用いればよい。
図4は、有限インパルス応答フィルタの構成を示す図である。図5は、無限インパルス応答フィルタの構成を示す図である。図6は、ローパスフィルタの周波数特性を示す図である。
図4及び図5において、18〜20、31〜33は、遅延要素であり、一定のサンプリング時間の遅延を表す。21〜24、26〜29は、重み係数a0〜a3を掛ける掛け算器であり、a0+a1+a2+a3=1となるような値で規定の条件に合うように設定される。25は、掛け算器21〜24の各出力を加算する加算器である。30は、掛け算器26〜29の各出力を加算する加算器である。
図4、図5に示すような回路構成のフィルタは、重み係数が正の場合、図6に示すような低い周波数のみを通過させるローパスフィルタ特性を示す。ここで、fcは、ゲインが−3dB、即ち入力に対して出力振幅が約70%となる周波数である。上記ローパスフィルタ3、4は、共にローパスフィルタ特性を示すように設計される。
図7は、パン軸及びチルト軸のローパスフィルタの周波数特性を示す図である。
図7において、実線がパン軸のローパスフィルタ4の周波数特性を示し、fcpがそのカットオフ周波数を示す。また、点線がチルト軸のローパスフィルタ3の周波数特性を示し、fctがそのカットオフ周波数を示す。本実施の形態では、チルト軸駆動機構7bに対応したローパスフィルタ3のカットオフ周波数fctが、必ず、パン軸駆動機構7cに対応したローパスフィルタ4のカットオフ周波数fcpより低くなるように設定される。即ち、fct<fcpとなるように設定される。以下にこの効果について説明する。
図8は、動体に対する人間の認識力を示す図である。図9は、ビデオカメラを左右方向に駆動した場合に観察される画像を示す図である。図10は、ビデオカメラを上下方向に駆動した場合に観察される画像を示す図である。
図8において、実線は左右方向に動く物体に対する人間の認識力を示し、点線は上下方向に動く物体に対する人間の認識力を示す。これは、人間の動体視力は一般に左右に動く物には強く、上下に動く物には弱いため、特に上下方向に運動する物体に対する認識がしずらいことに起因する。本実施の形態では、後述するように、人間の動体視力の異方性(左右に動く物には強く上下に動く物には弱い性質)に着目してビデオカメラの駆動制御を行う。
一方、パン軸駆動機構11によりビデオカメラ7aを左右方向(水平方向)に駆動した場合は、画像表示装置8上の画像が図9に示すように動く。チルト軸駆動機構10によりビデオカメラ7aを上下方向(鉛直方向)に駆動した場合は、画像表示装置8上の画像が図10に示すように動く。特に図10に示すように画像が上下方向に速く動く場合、図9の場合と比較して人間の視覚能力が劣るためより不快に感じる。
また、「図説エルゴノミクス」(日本規格協会。292ページ、図4.4.8)に示されているように、人間の視野にも異方性があり、視野は水平方向に比較して鉛直方向が狭い。例えば瞬時に特定情報を他の情報から受容できる範囲を示す有効視野は、水平方向が±15°であるのに対して鉛直方向は+8°、−12°である。この結果、上下方向の動きに対してサッケード運動と呼ばれる眼球の高速運動や頭部運動が起こる頻度が高くなり、短期的には不快感を生じ、長時間では疲労を誘発しやすい。
一方、カメラの動き自体は早く目標位置に到達したほうがよいため、人間に対する影響が小さいカメラの水平方向(パン方向)の動作に対しては、不快にならない程度に動きを制限する方がよい。これに対し、カメラの鉛直方向(チルト方向)の動作に対しては、パン方向の動作よりも動きを制限する必要がある。
本実施の形態では、上述したように、ビデオカメラ7aに対する、鉛直方向成分即ちチルト軸の駆動指令、水平方向成分即ちパン軸の駆動指令それぞれに対応させてローパスフィルタ3、4を設ける。更に、チルト軸の駆動指令のカットオフ周波数をパン軸の駆動指令のカットオフ周波数より低くなるように高周波成分を除去し、チルトアクチュエータ及びパンアクチュエータの駆動を行う。ビデオカメラ7aにおけるパン軸方向とチルト軸方向の動きの違いを示したものが図11及び図12である。
図11は、指令値に対するパン軸方向のビデオカメラ7aの動きを示す図である。図12は、指令値に対するチルト軸方向のビデオカメラ7aの動きを示す図である。
図11において、点線は角度指令入力部2の操作に伴い発生する信号を示し、実線は指令値に対するパン軸方向のビデオカメラ7aの実際の動きを示す。また、図12において、点線は角度指令入力部1の操作に伴い発生する信号を示し、実線は指令値に対するチルト軸方向のビデオカメラ7aの実際の動きを示す。パン軸方向のビデオカメラ7aは図11のように追従性がよい。また、チルト軸方向のビデオカメラ7aの動きはより滑らかな駆動となる。こうすることにより、目標位置に対するビデオカメラ7aの追従性を可能な限り維持しながら、画像表示装置8により撮影画像を観察するときに不快感を感ずることを防ぐことができる。
以上説明したように、本実施の形態によれば、ビデオカメラの撮影方向を変更可能な撮像システムにおいて、人間の動体視力の異方性に着目し、できるだけ速い動作をしながら観察者に違和感を与えることなく観察画像を取得することが可能となる。これにより、撮像システムにより特に自動追尾を行う際に、人間が観察するのに好適な動画像を取得することが可能となる。
[第2の実施の形態]
図13は、本発明の第2の実施の形態に係る撮像システムの構成を示すブロック図である。
図13において、撮像システムは、角度指令入力部34、不感帯要素36、サーボコントローラ38、角度指令入力部35、不感帯要素37、サーボコントローラ39を備える。撮像システムは、更に、ビデオカメラ装置40(ビデオカメラ40a、チルト軸駆動機構40b、パン軸駆動機構40c)、画像表示装置41を備える。
本実施の形態は、上記第1の実施の形態に対して、不感帯要素36、37を設けた点において相違する。本実施の形態のその他の構成要素は、上記第1の実施の形態(図1)の対応するものと同一なので説明を省略する。
不感帯要素36は、位置センサ(不図示)からサーボコントローラ38に入力されるチルト軸の角度情報を取得し、取得した角度情報と角度指令入力部34から入力された指令値との差を計算する。更に、不感帯要素36は、計算した差が所定値以上になったときにサーボコントローラ38の出力をイネーブルとする。不感帯要素37は、位置センサ(不図示)からサーボコントローラ39に入力されるパン軸の角度情報を取得し、取得した角度情報と角度指令入力部35から入力された指令値との差を計算する。更に、不感帯要素37は、計算した差が所定値以上になったときにサーボコントローラ39の出力をイネーブルとする。
不感帯要素37、38の不感帯幅は、パン軸駆動機構40cに対応した不感帯要素37と比べて、チルト軸駆動機構40bに対応した不感帯要素36の方が広く設定される。一般にカメラの位置を設定する機械的な運動(手入力による角度指定など)は、1次遅れ特性や2次遅れ特性を示すことが多い。また、入力が同じ振幅の場合は、周波数が高いほど振幅が小さくなる。これを図14及び図15に基づき後述する。
本実施の形態では、チルト軸駆動機構40bに対応した(鉛直方向の)不感帯要素36の不感帯幅が、パン軸駆動機構40cに対応した(水平方向の)不感帯要素37の不感帯幅より広く設定される。尚、鉛直方向及び水平方向の不感帯幅は、追尾対象とする被写体の状況やユーザの好みに応じて変更可能なように、少なくとも2組以上が記憶部(不図示)に記憶され、所定の操作で変更可能である。
図14は、加振力が同じで周波数が異なる場合の一般的な位置決め系の応答を示す図である。図15は、不感帯による寄生振動の除去効果を示す図である。
図14及び図15において、図14に示すように点線や一点鎖線で表されるより周波数の高い振動の方が振幅が小さくなる。従って、主駆動成分より高い周波数の寄生振動は、不感帯を設けることにより、図15に示すように除去することができる。図15の点線はサーボコントローラに対する位置指令を示し、実線は不感帯を設けたときの応答を示す。点線で示す特性のうねりが寄生振動である。この結果、撮影画像を観察する時の不快感を軽減することが可能になる。また、周波数が低くなるほど振動振幅が大きい確率が高いので、不感帯の幅によりおおよそ除去する周波数成分を変えることが可能である。
本実施の形態では、チルト軸に対応した不感帯要素36の不感帯幅を、パン軸に対応した不感帯要素37の不感帯幅よりも広く設定する。即ち、鉛直方向成分の角度入力指令の不感帯幅を、水平方向成分の角度入力指令の不感帯幅より広く設定する。これにより、撮影対象の被写体に対する追従性をできるだけ犠牲にすることなく、画像を観察する時の不快感を軽減することができる。
尚、本実施の形態で示した不感帯要素と、上記第1の実施の形態で示したローパスフィルタとを併用することも可能である。この場合の構成例としては、図13の構成において2つの不感帯要素の前段(または後段)にローパスフィルタをそれぞれ接続する構成が考えられる。
以上説明したように、本実施の形態によれば、ビデオカメラの撮影方向を変更可能な撮像システムにおいて、人間の動体視力の異方性に着目し、できるだけ速い動作をしながら観察者に違和感を与えることなく観察画像を取得することが可能となる。これにより、撮像システムにより特に自動追尾を行う際に、人間が観察するのに好適な動画像を取得することが可能となる。
[第3の実施の形態]
図16は、本発明の第3の実施の形態に係る撮像システムの構成を示すブロック図である。図17は、線形近似による対象物の位置の予測法を示す図である。図18は、画像サンプリングが粗い場合の予測値の時系列変化を示す図である。図19は、画像サンプリング時に対象物検出が失敗した場合の予測値の時系列変化を示す図である。
図16において、撮像システムは、対象物検出予測部42、座標変換部43、チルト軸側ローパスフィルタ44、チルト軸側サーボコントローラ46、パン軸側ローパスフィルタ45、パン軸側サーボコントローラ47を備える。撮像システムは、更に、ビデオカメラ装置48(ビデオカメラ48a、チルト軸駆動機構48b、パン軸駆動機構48c)、画像表示装置49を備える。尚、上記各構成要素のうちチルト軸側、パン軸側を付記した構成要素については、以後、チルト軸側、パン軸側を省略して表記する。
本実施の形態は、上記第1の実施の形態に対して、対象物検出予測部42、座標変換部43を設けた点において相違する。本実施の形態のその他の構成要素は、上記第1の実施の形態(図1)の対応するものと同一なので説明を省略する。
対象物検出予測部42は、ビデオカメラ48aで撮影した画像から人物など画像上の対象物(目標物)の位置を検出し、検出データと過去のデータから対象物がどのように動くかを予測する。予測方法は、種々のものが考えられる。例えば図17に示すように、過去の時系列データ(丸印)を線形近似して外挿(データを取得していない箇所に仮想線を延ばす処理:予測)することにより、所定時間後の対象物の位置を予測することが可能である。対象物検出予測部42は、検出した対象物の予測位置を示す予測信号を座標変換部43に出力する。
座標変換部43は、対象物が画像内で所定の位置にくるように、ビデオカメラ48aにおけるチルト軸及びパン軸それぞれの座標に対応した(鉛直方向及び水平方向の)指令値に変換する。座標変換部43は、指令値をローパスフィルタ44、45に出力する。以上の処理により、人物等の対象物が画面内で所定の位置にくるようにビデオカメラ48aによる自動追尾を行うことができる。
図16に示すような構成の場合、一般に画像が更新される頻度(ビデオレート)は、サーボコントローラにおける出力値を計算する頻度に比較して1/10以下と遅い。このため、画像が更新されたときに対象物の予測位置が急激に変わってしまい、図18に示すように予測値の時系列は高周波を含む。但し、図18に示す白丸と黒丸は予測値の時系列を表し、黒丸は画像から対象物を検出した直後の点である。
また、人工的に作られたスタジオ等でなく自然環境下での対象物の追尾動作を行う場合、周辺光の条件や対象物の隠蔽等により瞬間的には対象物検出に失敗することはどうしても避けられない。例えば画像1フレームでも検出に失敗すると、次に対象物検出を回復したときに、図19に示す楕円内のように目標位置の変化が急峻になってしまう可能性が高い。但し、図19に示す白丸と黒丸は図18と同様に予測値の時系列を表し、×をつけた点は画像サンプリング時に対象物を検出できなかった直後の点である。
図18に見られるような高周波の振動や、図19に見られるような予測値の急激な変化を、そのまま高性能なサーボコントローラに入力すると、観察画像の振動となるので非常に不快である。
このため、本実施の形態では、上記寄生振動(うねり)を含む指令値に対してローパスフィルタ処理を行うことにより、ビデオカメラ48aにより取得される画像が細かく振動することを防いでいる。このとき、チルト軸側のローパスフィルタ44の方がパン側のローパスフィルタ45より低い周波数までカットするので、画像の動きがより滑らかになる。また、パン軸に関しては、人間の視覚特性が水平方向に優れるので、チルト軸より追従性を良く設定する。
また、このような設定は、人物など地上を移動する物体の追尾に用いた場合、水平方向の移動頻度が高いので好都合である。更に、手入力の場合と異なり、特に自動追尾動作を行う場合、画面上の動きは観察者の意図しない動きとなるため、違和感が発生する可能性が高い。従って、本実施の形態の撮像システムを自動追尾システムに適用することは非常に有効である。
本実施の形態では、撮像システムにローパスフィルタを用いることで自動追尾システムに適用可能とする構成を説明したが、これに限定されるものではない。上記第2の実施の形態のように不感帯幅が異なる不感帯要素を用いる構成としてもよいし、ローパスフィルタと不感帯要素の両方を用いる構成としてもよい。
以上説明したように、本実施の形態によれば、ビデオカメラの撮影方向を変更可能な撮像システムにおいて、人間の動体視力の異方性に着目し、できるだけ速い動作をしながら観察者に違和感を与えることなく観察画像を取得することが可能となる。これにより、撮像システムにより特に自動追尾を行う際に、人間が観察するのに好適な動画像を取得することが可能となる。
[第4の実施の形態]
図20は、本発明の第4の実施の形態に係る撮像システムの構成を示すブロック図である。図21は、ビデオカメラ装置等を筐体に収納した外観を示す図である。
図20及び図21において、撮像システムは、対象物検出予測部50、2次元ローパスフィルタ51、座標変換部52、サーボコントローラ53、54を備える。撮像システムは、更に、ビデオカメラ装置55(ビデオカメラ55a、チルト軸駆動機構55b、パン軸駆動機構55c)、姿勢検知センサ56、画像回転部57、画像表示装置58を備える。
本実施の形態は、上記第3の実施の形態に対して、2次元ローパスフィルタ51、姿勢検知センサ56、画像回転部57を設けた点において相違する。本実施の形態のその他の構成要素は、上記第3の実施の形態(図16)の対応するものと同一なので説明を省略する。
撮像システムの対象物検出予測部50〜画像回転部57からなるユニット59は、図21に示すように、筐体60に収納されている。筐体60内の画像回転部57と画像表示装置58とが無線或いは有線により接続される。撮像システムの筐体60は、手持ち用のストラップ60aまたは固定ネジ60b、60cを備えている。ストラップ60aを手で持つことでビデオカメラ55aの姿勢を変えたり、ビデオカメラ55aの姿勢を所定角度(例えば90°)変えた状態で固定ネジ60b、60cにより三脚等に固定したりすることが可能である。
姿勢検知センサ56は、ビデオカメラ55aの固定部位の姿勢を検知し、姿勢検知信号を2次元ローパスフィルタ51と画像回転手段57に出力する。2次元ローパスフィルタ51は、姿勢検知センサ56から出力される姿勢検知信号に基づき、対象物検知予測部50の出力信号に対して水平方向成分及び鉛直方向成分それぞれ所定のカットオフ周波数を持ったローパスフィルタ処理を施す。この場合、2次元ローパスフィルタ51において、鉛直方向成分に対するカットオフ周波数を水平方向成分に対するカットオフ周波数よりも低くなるように設定する。
上記のように処理された信号は、座標変換部52に入力され、チルトアクチュエータ、パンアクチュエータをそれぞれ制御するサーボコントローラ53、54に対する指令値となる。画像回転部57は、姿勢検知センサ56から出力される姿勢検知信号に基づき、撮影時のビデオカメラ55aの姿勢に応じて画像表示装置58に画像の水平方向及び鉛直方向が正しく表示されるように画像の回転を行う。即ち、画像回転部57は、画像表示装置58に表示される画像の鉛直方向が撮影時の鉛直方向と一致するように画像の回転を行う。
本実施の形態では、撮影時のビデオカメラ55aの姿勢に関わらず、できるだけ追尾性能を維持しながら、観察時の不快感を低減した追尾画像を撮影することができる。
次に、本実施の形態の変形例について図22に基づき説明する。
図22は、変形例に係る撮像システムの構成を示すブロック図である。
図22において、撮像システムは、対象物検出予測部62、直交分解部63、ローパスフィルタ64、65、座標変換部66、サーボコントローラ67、68を備える。撮像システムは、更に、ビデオカメラ装置69(ビデオカメラ69a、チルト軸駆動機構69b、パン軸駆動機構69c)、姿勢検知センサ70、画像回転部71、画像表示装置72を備える。
変形例は、本実施の形態に対して、直交分解部63、ローパスフィルタ64、65を設けた点において相違する。変形例のその他の構成要素は、本実施の形態(図20)の対応するものと同一なので説明を省略する。
画像回転部71により水平方向及び鉛直方向が実際の被写体と一致するように回転された画像信号を、対象物検出予測部62に入力する。このようにすることで、自然状態と処理する画像が一致するので画像からの対象物の検出や運動の予測がしやすくなるという利点がある。尚、姿勢検知センサ70の姿勢検知信号を対象物検出予測部62に直接入力し、対象物の検出や対象物の位置予測に用いる構成としても同様の効果がある。
対象物検出予測部62は、検出した対象物の予測位置を示す予測信号を直交分解部63に出力する。直交分解部63は、予測信号を水平方向成分と鉛直方向成分に分解する。対象物検出予測部62が直交座標系で対象物の検出を行えば、水平方向成分と鉛直方向成分が直交座標系に対応するため、直交分解部63を設置することは不要となる。
ローパスフィルタ64、65は、それぞれ、目標値に対応した鉛直方向成分、水平方向成分に対するローパスフィルタ処理を行う。この場合、鉛直方向成分に対するローパスフィルタ64のカットオフ周波数は、水平方向成分に対するローパスフィルタのカットオフ周波数よりも低く設定される。ローパスフィルタ64、65は、ローパスフィルタ処理した信号を座標変換部66に出力する。座標変換部66は、姿勢検知センサ70の情報に基づき、ビデオカメラ69aのチルトアクチュエータ及びパンアクチュエータの駆動座標に変換し、サーボコントローラ67、68に出力する。
本実施の形態では、ビデオカメラ69aの姿勢に関わらず、できるだけ追尾性能を維持しながら、観察時の不快感を低減した追尾画像を撮影することができる。
尚、ビデオカメラ69aのチルトアクチュエータ及びパンアクチュエータの回転軸は、平行でなければよく、必ずしも直交している必要はない。座標変換部66で予め設計された回転軸に座標分解することが可能である。
本実施の形態では、撮像システムにローパスフィルタを用いることで自動追尾システムに適用可能とする構成を説明したが、これに限定されるものではない。上記第2の実施の形態のように不感帯幅が異なる不感帯要素を用いる構成としてもよいし、ローパスフィルタと不感帯要素の両方を用いる構成としてもよい。
以上説明したように、本実施の形態によれば、ビデオカメラの撮影方向を変更可能な撮像システムにおいて、人間の動体視力の異方性に着目し、できるだけ速い動作をしながら観察者に違和感を与えることなく観察画像を取得することが可能となる。これにより、撮像システムにより特に自動追尾を行う際に、人間が観察するのに好適な動画像を取得することが可能となる。
[第5の実施の形態]
図23は、本発明の第5実施の形態に係る撮像システムの構成を示すブロック図である。
図23において、撮像システムは、角度指令入力部73、74、ローパスフィルタ75、76、サーボコントローラ77、78、ビデオカメラ装置79(ビデオカメラ79a、チルト軸駆動機構79b、パン軸駆動機構79c)、画像表示装置80を備える。撮像システムは、更に、ユーザインタフェース(UI)81、記憶部82を備える。
本実施の形態は、上記第1の実施の形態に対して、UI81、記憶部82を設けた点において相違する。本実施の形態のその他の構成要素は、上記第1の実施の形態(図1)の対応するものと同一なので説明を省略する。
ローパスフィルタ75、76は、カットオフ周波数が変更可能な可変フィルタである。可変フィルタとしては、例えば複数のフィルタを用意してセレクタで切り替える方法、図4や図5に示したようなデジタルフィルタの係数を適宜変更することにより実現する方法等が考えられる。記憶部82は、ローパスフィルタ75、76のパラメータを設定するデータを記憶する。UI81からの選択信号によりローパスフィルタ75、76のパラメータが決定される。
本実施の形態では、チルト軸に対応したローパスフィルタ75のカットオフ周波数が、パン軸に対応したローパスフィルタ76のカットオフ周波数よりも低くなるように設定するための、上記パラメータの組を少なくとも1組以上設ける。即ち、画像変化の滑らかさを重視し観察者に違和感を与えないようにする設定を少なくとも1組以上設ける。
人間の視覚能力には個人差があり、例えばスポーツ選手などは動体視力が優れているため、画面がある程度早く動いてもそれほど違和感を覚えない。また、撮影目的により、対象物に対する追従性を良くしたい場合と、画像変化の滑らかさを重視したい場合とがある。このような観察者と撮影目的により、対象物に対する追従性と画像変化の滑らかさを調整したい場合に、本実施の形態が有効である。
尚、本実施の形態では、ローパスフィルタのパラメータを変える場合を説明したが、上記第2の実施の形態に示した不感帯を変えるようなシステムにも適用できる。また、上記第3及び第4の実施の形態に、本実施の形態のような可変フィルタ或いは可変不感帯要素を応用することも可能である。自動追尾システムの場合は操作者と観察者が一致せず、画像を観察する際に違和感が発生する確率が高く、また個人差もあると思われるので、本実施の形態の構成は有用である。
以上説明したように、本実施の形態によれば、ビデオカメラの撮影方向を変更可能な撮像システムにおいて、人間の動体視力の異方性に着目し、できるだけ速い動作をしながら観察者に違和感を与えることなく観察画像を取得することが可能となる。これにより、撮像システムにより特に自動追尾を行う際に、人間が観察するのに好適な動画像を取得することが可能となる。
[他の実施の形態]
上記第1乃至第5の実施の形態では、撮像システムを適用可能な分野については特定しなかったが、各種の分野に適用することが可能である。具体例としては以下のようなものが考えられる。不審者(物)の監視。工場における目標物の追跡。被写体の画像を自動で画面内の所定の位置に配置する画像制御。遠隔操作ロボットの制御など撮影方向を変化させることによる対象物の観察及び追尾。
また、本発明の目的は、前述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、以下の処理を行うことによりも達成される。即ち、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出し実行することによりも達成される。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した各実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光磁気ディスクを用いることができる。また、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW等の光ディスク、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではなく、以下の場合も含まれる。即ち、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理により前述した各実施の形態の機能が実現される場合も含まれる。
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、次のプログラムコードの指示に基づき、以下の処理を行う場合も含まれる。即ち、その拡張機能を拡張ボードや拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理により前述した各実施の形態の機能が実現される場合も含まれる。
本発明の第1の実施の形態に係る撮像システムの構成を示すブロック図である。 ビデオカメラ装置の外観を示す斜視図である。 サーボコントローラを含む位置制御及び速度制御系の構成を示すブロック図である。 有限インパルス応答フィルタの構成を示す図である。 無限インパルス応答フィルタの構成を示す図である。 ローパスフィルタの周波数特性を示す図である。 パン軸及びチルト軸のローパスフィルタの周波数特性を示す図である。 動体に対する人間の認識力を示す図である。 ビデオカメラを左右方向に駆動した場合に観察される画像を示す図である。 ビデオカメラを上下方向に駆動した場合に観察される画像を示す図である。 指令値に対するパン軸方向のカメラの動きを示す図である。 指令値に対するチルト軸方向のカメラの動きを示す図である。 本発明の第2の実施の形態に係る撮像システムの構成を示すブロック図である。 加振力が同じで周波数が異なる場合の一般的な位置決め系の応答を示す図である。 不感帯による寄生振動の除去効果を示す図である。 本発明の第3の実施の形態に係る撮像システムの構成を示すブロック図である。 線形近似による対象物の位置の予測法を示す図である。 画像サンプリングが粗い場合の予測値の時系列変化を示す図である。 画像サンプリング時に対象物検出が失敗した場合の予測値の時系列変化を示す図である。 本発明の第4の実施の形態に係る撮像システムの構成を示すブロック図である。 ビデオカメラ装置等を筐体に収納した外観を示す図である。 変形例に係る撮像システムの構成を示すブロック図である。 本発明の第5実施の形態に係る撮像システムの構成を示すブロック図である。 人間の動体視力特性を示す図である。
符号の説明
1、2、34、35 角度指令入力部(指令手段)
3、4、44、45、51、64、65、75、76 ローパスフィルタ(信号処理手段)
5、6、38、39、46、47、53、54、67、68、77、78 サーボコントローラ(制御手段)
7、40、48、55、69、79 ビデオカメラ(撮像装置)
8、41、49、58、72、80 画像表示装置(表示手段)
36、37 不感帯要素
56、70 姿勢検知センサ(検知手段)
57、71 画像回転部(画像回転手段)

Claims (16)

  1. 撮像装置と、前記撮像装置を第1の方向及び前記第1の方向に対して直交する第2の方向にそれぞれ回転させる駆動手段とを備えた撮像システムであって、
    前記撮像装置の第1の方向及び第2の方向の向きを指定する指令手段と、
    前記指令手段による第1の方向の指令信号の規定周波数より高い成分をカットする第1の信号処理手段と、
    前記指令手段による第2の方向の指令信号の規定周波数より高い成分をカットする第2の信号処理手段と、
    前記第1及び第2の信号処理手段の各出力を基に前記各駆動手段にそれぞれ第1の方向及び第2の方向の駆動指令を出力する制御手段とを備え、
    前記第1の信号処理手段のカットオフ周波数を、前記第2の信号処理手段のカットオフ周波数より低くなるように設定することを特徴とする撮像システム。
  2. 撮像装置と、前記撮像装置を第1の方向及び前記第1の方向に対して直交する第2の方向にそれぞれ回転させる駆動手段とを備えた撮像システムであって、
    前記撮像装置の第1の方向及び第2の方向の向きを指定する指令手段と、
    前記指令手段による第1の方向の指令信号の不感帯幅が設定される第1の不感帯要素と、
    前記指令手段による第2の方向の指令信号の不感帯幅が設定される第2の不感帯要素と、
    前記第1及び第2の不感帯要素の各出力を基に前記各駆動手段にそれぞれ第1の方向及び第2の方向の駆動指令を出力する制御手段とを備え、
    前記第1の不感帯要素の不感帯幅を、前記第2の不感帯要素の不感帯幅より広く設定することを特徴とする撮像システム。
  3. 撮像装置と、前記撮像装置を第1の方向及び前記第1の方向に対して直交する第2の方向にそれぞれ回転させる駆動手段とを備えた撮像システムであって、
    前記撮像装置により撮影する対象物の動きを予測する予測手段と、
    前記予測手段の予測信号を第1の方向及び第2の方向の指令信号に変換する変換手段と、
    前記第1の方向の指令信号の規定周波数より高い成分をカットする第1の信号処理手段と、
    前記第2の方向の指令信号の規定周波数より高い成分をカットする第2の信号処理手段と、
    前記第1及び第2の信号処理手段の各出力を基に前記各駆動手段にそれぞれ第1の方向及び第2の方向の駆動指令を出力する制御手段とを備え、
    前記第1の信号処理手段のカットオフ周波数を、前記第2の信号処理手段のカットオフ周波数より低くなるように設定することを特徴とする撮像システム。
  4. 撮像装置と、前記撮像装置を第1の方向及び前記第1の方向に対して直交する第2の方向にそれぞれ回転させる駆動手段とを備えた撮像システムであって、
    前記撮像装置により撮影する対象物の動きを予測する予測手段と、
    前記撮像装置の姿勢を検知する検知手段と、
    前記検知手段による前記撮像装置の姿勢検知に基づき前記予測手段の予測信号の第1の方向成分及び第2の方向成分の規定周波数より高い成分をカットする信号処理手段と、
    前記信号処理手段の出力信号を第1の方向及び第2の方向の指令信号に変換する変換手段と、
    前記変換手段の出力を基に前記各駆動手段にそれぞれ第1の方向及び第2の方向の駆動指令を出力する制御手段とを備え、
    前記信号処理手段の第1の方向成分に対するカットオフ周波数を、第2の方向成分に対するカットオフ周波数より低くなるように設定することを特徴とする撮像システム。
  5. 撮像装置と、前記撮像装置を第1の方向及び前記第1の方向に対して直交する第2の方向にそれぞれ回転させる駆動手段とを備えた撮像システムであって、
    前記撮像装置により撮影する対象物の動きを予測する予測手段と、
    前記予測手段の予測信号を第1の方向成分及び第2の方向成分に分解する分解手段と、
    前記第1の方向の規定周波数より高い成分をカットする第1の信号処理手段と、
    前記第2の方向の規定周波数より高い成分をカットする第2の信号処理手段と、
    前記撮像装置の姿勢を検知する検知手段と、
    前記検知手段による前記撮像装置の姿勢検知に基づき前記信号処理手段の出力信号を第1の方向及び第2の方向の指令信号に変換する変換手段と、
    前記変換手段の出力を基に前記各駆動手段にそれぞれ第1の方向及び第2の方向の駆動指令を出力する制御手段とを備え、
    前記第1の信号処理手段のカットオフ周波数を、前記第2の信号処理手段のカットオフ周波数より低くなるように設定することを特徴とする撮像システム。
  6. 前記第1の方向は、鉛直方向を含み、前記第2の方向は、水平方向を含むことを特徴とする請求項1乃至5の何れかに記載の撮像システム。
  7. 前記2つのカットオフ周波数は、追尾対象とする被写体の状況又はユーザ設定に応じて、少なくとも2組以上が記憶されると共に変更可能であることを特徴とする請求項1、3乃至5の何れかに記載の撮像システム。
  8. 前記2つの不感帯幅は、追尾対象とする被写体の状況又はユーザ設定に応じて、少なくとも2組以上が記憶されると共に変更可能であることを特徴とする請求項2記載の撮像システム。
  9. 前記撮像装置により撮影される画像を表示する表示手段を更に有し、
    前記表示手段は、前記画像が前記駆動手段による前記第1の方向への駆動に応じて鉛直方向に変化するよう表示することを特徴とする請求項1乃至8の何れかに記載の撮像システム。
  10. 前記撮像装置により撮影される画像を表示する表示手段と、
    前記検知手段による前記撮像装置の姿勢検知に基づき、前記表示手段における表示画像の鉛直方向が撮影時の鉛直方向と一致するように画像の回転を行う画像回転手段と、
    を更に備えることを特徴とする請求項4又は5記載の撮像システム。
  11. 撮像装置を駆動手段により第1の方向及び前記第1の方向に対して直交する第2の方向にそれぞれ回転させることで撮影方向を変更する撮影方向制御方法であって、
    前記撮像装置の第1の方向及び第2の方向の向きを指定する指令ステップと、
    前記指令ステップによる第1の方向の指令信号の規定周波数より高い成分をカットする第1の信号処理ステップと、
    前記指令ステップによる第2の方向の指令信号の規定周波数より高い成分をカットする第2の信号処理ステップと、
    前記第1及び第2の信号処理ステップの各出力を基に前記各駆動手段にそれぞれ第1の方向及び第2の方向の駆動指令を出力する制御ステップとを備え、
    前記第1の信号処理ステップのカットオフ周波数を、前記第2の信号処理ステップのカットオフ周波数より低くなるように設定することを特徴とする撮影方向制御方法。
  12. 撮像装置を駆動手段により第1の方向及び前記第1の方向に対して直交する第2の方向にそれぞれ回転させることで撮影方向を変更する撮影方向制御方法であって、
    前記撮像装置の第1の方向及び第2の方向の向きを指定する指令ステップと、
    前記指令ステップによる第1の方向の指令信号の不感帯幅が設定される第1の不感帯ステップと、
    前記指令ステップによる第2の方向の指令信号の不感帯幅が設定される第2の不感帯ステップと、
    前記第1及び第2の不感帯ステップの各出力を基に前記各駆動手段にそれぞれ第1の方向及び第2の方向の駆動指令を出力する制御ステップとを備え、
    前記第1の不感帯要素の不感帯幅を、前記第2の不感帯要素の不感帯幅より広く設定することを特徴とする撮影方向制御方法。
  13. 撮像装置を駆動手段により第1の方向及び前記第1の方向に対して直交する第2の方向にそれぞれ回転させることで撮影方向を変更する撮影方向制御方法であって、
    前記撮像装置により撮影する対象物の動きを予測する予測ステップと、
    前記予測ステップの予測信号を第1の方向及び第2の方向の指令信号に変換する変換ステップと、
    前記第1の方向の指令信号の規定周波数より高い成分をカットする第1の信号処理ステップと、
    前記第2の方向の指令信号の規定周波数より高い成分をカットする第2の信号処理ステップと、
    前記第1及び第2の信号処理ステップの各出力を基に前記各駆動手段にそれぞれ第1の方向及び第2の方向の駆動指令を出力する制御ステップとを備え、
    前記第1の信号処理ステップのカットオフ周波数を、前記第2の信号処理ステップのカットオフ周波数より低くなるように設定することを特徴とする撮影方向制御方法。
  14. 撮像装置を駆動手段により第1の方向及び前記第1の方向に対して直交する第2の方向にそれぞれ回転させることで撮影方向を変更する撮影方向制御方法であって、
    前記撮像装置により撮影する対象物の動きを予測する予測ステップと、
    前記撮像装置の姿勢を検知する検知ステップと、
    前記検知ステップによる前記撮像装置の姿勢検知に基づき前記予測ステップの予測信号の第1の方向成分及び第2の方向成分の規定周波数より高い成分をカットする信号処理ステップと、
    前記信号処理ステップの出力信号を第1の方向及び第2の方向の指令信号に変換する変換ステップと、
    前記変換ステップの出力を基に前記各駆動手段にそれぞれ第1の方向及び第2の方向の駆動指令を出力する制御ステップとを備え、
    前記信号処理ステップの第1の方向成分に対するカットオフ周波数を、第2の方向成分に対するカットオフ周波数より低くなるように設定することを特徴とする撮影方向制御方法。
  15. 撮像装置を駆動手段により第1の方向及び前記第1の方向に対して直交する第2の方向にそれぞれ回転させることで撮影方向を変更する撮影方向制御方法であって、
    前記撮像装置により撮影する対象物の動きを予測する予測ステップと、
    前記予測ステップの予測信号を第1の方向成分及び第2の方向成分に分解する分解ステップと、
    前記第1の方向の規定周波数より高い成分をカットする第1の信号処理ステップと、
    前記第2の方向の規定周波数より高い成分をカットする第2の信号処理ステップと、
    前記撮像装置の姿勢を検知する検知ステップと、
    前記検知ステップによる前記撮像装置の姿勢検知に基づき前記信号処理ステップの出力信号を第1の方向及び第2の方向の指令信号に変換する変換ステップと、
    前記変換ステップの出力を基に前記各駆動手段にそれぞれ第1の方向及び第2の方向の駆動指令を出力する制御ステップとを備え、
    前記第1の信号処理ステップのカットオフ周波数を、前記第2の信号処理ステップのカットオフ周波数より低くなるように設定することを特徴とする撮影方向制御方法。
  16. 前記請求項11乃至15の何れかに記載の撮影方向制御方法をコンピュータに実行させるプログラム。
JP2006119258A 2006-04-24 2006-04-24 撮像システム、撮影方向制御方法、及びプログラム Expired - Fee Related JP4717701B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006119258A JP4717701B2 (ja) 2006-04-24 2006-04-24 撮像システム、撮影方向制御方法、及びプログラム
US11/739,008 US7907176B2 (en) 2006-04-24 2007-04-23 Image pickup system, method for controlling shooting direction of image pickup device, and program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006119258A JP4717701B2 (ja) 2006-04-24 2006-04-24 撮像システム、撮影方向制御方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2007295175A true JP2007295175A (ja) 2007-11-08
JP2007295175A5 JP2007295175A5 (ja) 2010-12-24
JP4717701B2 JP4717701B2 (ja) 2011-07-06

Family

ID=38660837

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006119258A Expired - Fee Related JP4717701B2 (ja) 2006-04-24 2006-04-24 撮像システム、撮影方向制御方法、及びプログラム

Country Status (2)

Country Link
US (1) US7907176B2 (ja)
JP (1) JP4717701B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010085387A (ja) * 2008-09-08 2010-04-15 Utsunomiya Univ 視覚的力表示装置並びに視覚的力理科教材及び科学玩具
JP2013223220A (ja) * 2012-04-19 2013-10-28 Canon Inc 自動追尾装置
JP2019129410A (ja) * 2018-01-24 2019-08-01 キヤノン株式会社 監視カメラ、監視カメラの制御方法、およびプログラム
US10451705B2 (en) 2015-03-26 2019-10-22 Fujifilm Corporation Tracking control device, tracking control method, tracking control program, and automatic tracking imaging system

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8054296B2 (en) * 2007-01-03 2011-11-08 Apple Inc. Storing baseline information in EEPROM
JP4404120B2 (ja) * 2007-09-04 2010-01-27 ソニー株式会社 レンズ鏡筒回転検知装置及びレンズ鏡筒回転型撮像装置
JP4760896B2 (ja) * 2008-11-04 2011-08-31 ソニー株式会社 カメラ制御装置及びカメラ制御方法
IT1395537B1 (it) * 2009-08-04 2012-09-28 Technogym Spa Metodo di monitoraggio
JPWO2011039947A1 (ja) * 2009-10-01 2013-02-21 日本電気株式会社 撮像装置、その制御方法、撮像システム、及びプログラム
JP5589548B2 (ja) * 2010-05-14 2014-09-17 株式会社リコー 撮像装置、画像処理方法、及びプログラム記憶媒体
KR20120004203A (ko) * 2010-07-06 2012-01-12 삼성전자주식회사 디스플레이 방법 및 장치
CN102073048A (zh) * 2010-11-16 2011-05-25 东北电力大学 具有逻辑判断的高压作业区矩形监测方法
JP5883024B2 (ja) 2011-11-14 2016-03-09 キヤノン株式会社 制御装置、制御方法、及びプログラム
WO2013072980A1 (ja) * 2011-11-14 2013-05-23 キヤノン株式会社 撮像装置、制御装置、制御方法、及びプログラム
JP6936081B2 (ja) * 2017-08-30 2021-09-15 パナソニック株式会社 ロボット
JP7433820B2 (ja) * 2019-09-20 2024-02-20 キヤノン株式会社 制御装置、制御方法、プログラム及び記憶媒体
EP4312434A1 (en) * 2022-07-12 2024-01-31 Canon Kabushiki Kaisha Image capturing system, control apparatus, image capturing apparatus, and display apparatus constituting the system, control method, and display method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08313950A (ja) * 1995-05-12 1996-11-29 Canon Inc 像振れ防止装置
JPH10108061A (ja) * 1996-09-27 1998-04-24 Sony Corp 画像振れ補正装置
JPH1164917A (ja) * 1997-08-15 1999-03-05 Canon Inc 画像振れ補正装置及びパンニング判定装置
JPH11266389A (ja) * 1998-03-17 1999-09-28 Canon Inc 撮像装置
JP2001285850A (ja) * 2000-03-30 2001-10-12 Nec Corp 自動追尾装置、自動追尾方法及び自動追尾プログラムを記録した記録媒体
JP2004219548A (ja) * 2003-01-10 2004-08-05 Fuji Photo Optical Co Ltd 像振れ補正装置
JP2004348303A (ja) * 2003-05-21 2004-12-09 Fujitsu Ltd 物体検出装置及びプログラム
JP2005326776A (ja) * 2004-05-17 2005-11-24 Fujinon Corp 像振れ補正装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4774589A (en) * 1986-03-03 1988-09-27 Rowland David A Optical system image stabilizer employing electromechanical torque sensors
JPH04340938A (ja) * 1991-05-17 1992-11-27 Canon Inc 画像振れ防止装置
EP0556666B1 (en) * 1992-02-06 1999-04-28 Nikon Corporation Camera with pan shot detecting device
EP0662600A4 (en) * 1993-06-10 1997-02-12 Oh Yoh Keisoku Kenkyusho Kk DEVICE FOR MEASURING THE POSITION OF A MOVABLE OBJECT.
JP2000221953A (ja) 1999-01-29 2000-08-11 Sony Corp 映像表示装置、映像処理方法及びこれらを応用した映像表示システム
JP4478422B2 (ja) * 2003-09-18 2010-06-09 キヤノン株式会社 像振れ補正装置、交換レンズおよび撮影装置
EP1553758A1 (de) * 2003-12-03 2005-07-13 Stueckler Gerd Optische Vorrichtung zur Ausgleich des Bildverwakelns mit Anzeige der durchgeführten Korrektur
US7195355B2 (en) * 2004-04-28 2007-03-27 Neurocom International, Inc. Isolating and quantifying functional impairments of the gaze stabilization system
US7486879B2 (en) * 2004-05-11 2009-02-03 Fujinon Corporation Image blur correcting device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08313950A (ja) * 1995-05-12 1996-11-29 Canon Inc 像振れ防止装置
JPH10108061A (ja) * 1996-09-27 1998-04-24 Sony Corp 画像振れ補正装置
JPH1164917A (ja) * 1997-08-15 1999-03-05 Canon Inc 画像振れ補正装置及びパンニング判定装置
JPH11266389A (ja) * 1998-03-17 1999-09-28 Canon Inc 撮像装置
JP2001285850A (ja) * 2000-03-30 2001-10-12 Nec Corp 自動追尾装置、自動追尾方法及び自動追尾プログラムを記録した記録媒体
JP2004219548A (ja) * 2003-01-10 2004-08-05 Fuji Photo Optical Co Ltd 像振れ補正装置
JP2004348303A (ja) * 2003-05-21 2004-12-09 Fujitsu Ltd 物体検出装置及びプログラム
JP2005326776A (ja) * 2004-05-17 2005-11-24 Fujinon Corp 像振れ補正装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010085387A (ja) * 2008-09-08 2010-04-15 Utsunomiya Univ 視覚的力表示装置並びに視覚的力理科教材及び科学玩具
JP2013223220A (ja) * 2012-04-19 2013-10-28 Canon Inc 自動追尾装置
US9565348B2 (en) 2012-04-19 2017-02-07 Canon Kabushiki Kaisha Automatic tracking apparatus
US10451705B2 (en) 2015-03-26 2019-10-22 Fujifilm Corporation Tracking control device, tracking control method, tracking control program, and automatic tracking imaging system
JP2019129410A (ja) * 2018-01-24 2019-08-01 キヤノン株式会社 監視カメラ、監視カメラの制御方法、およびプログラム
JP7197981B2 (ja) 2018-01-24 2022-12-28 キヤノン株式会社 カメラ、端末装置、カメラの制御方法、端末装置の制御方法、およびプログラム

Also Published As

Publication number Publication date
JP4717701B2 (ja) 2011-07-06
US7907176B2 (en) 2011-03-15
US20070257990A1 (en) 2007-11-08

Similar Documents

Publication Publication Date Title
JP4717701B2 (ja) 撮像システム、撮影方向制御方法、及びプログラム
JP6770061B2 (ja) いつでもどこからでもビデオコンテンツを再生するための方法および装置
JP4124682B2 (ja) カメラ操作装置
US5309140A (en) Feedback system for remotely operated vehicles
US20100141761A1 (en) Method and system for stabilizing video images
WO2017206072A1 (zh) 云台控制方法、装置和云台
JP2006229321A (ja) 自動追尾撮像装置及び自動追尾撮像方法、並びにプログラム
EP2642331B1 (en) Display and Control Systems
JP2013038781A (ja) 車両用包囲視野システム
KR20190013759A (ko) 연산 처리 장치 및 연산 처리 방법
EP2631728A2 (en) Methods and apparatus for dynamically simulating a remote audiovisual environment
US10771707B2 (en) Information processing device and information processing method
US7292265B2 (en) Camera apparatus, a camera system, and a method for controlling the camera system
US7298398B2 (en) Image capturing apparatus
JP2011137996A (ja) レンズ装置
WO2008014486A2 (en) Improved camera control
JP2018055096A (ja) 撮像装置
EP3253283B1 (en) Fan-driven force device
JP2012008468A (ja) 光学機器及びその制御方法
JPH10294890A (ja) 自動/手動撮影カメラシステム
US11135725B2 (en) Robot control system, robot control method and user apparatus for robot control system
CN110621384B (zh) 信息处理设备、信息处理方法和程序
JPH1066057A (ja) 遠隔監視装置
JP4866227B2 (ja) 自動追尾撮影装置
JP2010011343A (ja) 画像取得装置、画像取得方法、及び移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110322

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110330

R150 Certificate of patent or registration of utility model

Ref document number: 4717701

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees