JP2004072240A

JP2004072240A - 撮像装置とそれを用いた追尾システムおよびスキャナ

Info

Publication number: JP2004072240A
Application number: JP2002226059A
Authority: JP
Inventors: Tetsuya Katagiri; 片桐　哲也; Daisaku Horie; 保理江　大作; Satoru Hirose; 広瀬　悟
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 2002-08-02
Filing date: 2002-08-02
Publication date: 2004-03-04

Abstract

【課題】異なる複数の撮像範囲を同時に撮像可能な撮像装置を提供する。
【解決手段】対物レンズ１１２から入射した光束はビームスプリッタ１１２でふたつに分割される。第１の光束は、リレーレンズ１１３で変倍されたのちに第１イメージセンサ１１４上に結像する。第２の光束は、第２イメージセンサ１１５上にそのまま結像する。第１および第２のイメージセンサよって電子的な画像データに変換された画像データは制御回路１１６，１１７を経て出力される。
【選択図】　　　図２

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像範囲の全体と部分とを異なる倍率で同時に撮像可能な撮像装置に関する。また、該撮像装置を用いた追尾システムおよびスキャナにも関する。
【０００２】
【従来の技術とその問題点】
金融機関への不正侵入者を監視する等の目的で、動画像を取得する撮像装置を備えた監視システムが一般的に使用されている。該監視システムは、移動する侵入物体を検出し、検出した侵入物体の正体を同定できる必要がある。
【０００３】
一般に、撮像装置が備えるイメージセンサの画素数が一定の場合、撮像範囲が広くなるにしたがって取得画像の解像度が低下する。したがって、画素数が少ない低コストのイメージセンサを備えた撮像装置では、撮像範囲を広くして侵入物体を検出しやすくすると、侵入物体の正体の同定に必要な解像度が得られなくなる。あるいは、侵入物体の正体の同定に必要な解像度を得るために撮像範囲を狭くすると、侵入物体を検出しにくくなる。画素数が多いイメージセンサの使用によってこの問題は解決できるが、画素数の多いイメージセンサは高コストである。また、信号電荷の転送時間が増大して１フレームの撮像に時間がかかるという問題も生じる。
【０００４】
より具体的には、たとえば、特開平１０−１３８２１号公報には、撮像範囲への進入物体を検出し、撮像範囲の中央に侵入物体が撮像されるように撮像装置を旋回する技術が開示されている。本技術によれば、侵入物体を追尾して撮像できるので、ある程度は撮像範囲を狭くできる。しかし、撮像装置がズーミング機能を備えていないため、侵入物体を十分な高解像度で観察できないという問題がある。
【０００５】
また、特開２００１−２８５６９５号公報には、向きを制御可能かつズーミング可能な撮像装置を１台用いて、侵入物体をズームアップしつつ自動追尾する技術が開示されている。本技術によれば、侵入物体を十分な高解像度で撮影できるが、ズームアップ中は他の侵入物体を検出できない問題がある。
【０００６】
また、特開平１１−６９３４２号公報によれば、撮像範囲が広い撮像装置および向きを制御可能かつズーミング可能な撮像装置の２台の撮像装置を用いた技術が開示されている。この技術によれば、前者の撮像装置で侵入物体を検出しつつ、後者の撮像装置で侵入物体を自動追尾しズームアップして高解像度の撮像を行うことが可能である。しかし、光学系をふたつ用いるため撮像装置が大型化、高価格化するという問題がある。さらに、前者の撮像装置で得られる画像からは侵入物体の方向しかわからないため、後者の撮像装置の向きが一意的に定まらない。すなわち、侵入物体と撮像装置との距離が近い場合、侵入物体追尾精度が不充分になるという問題がある。
【０００７】
また、特開平１１−５１０３４１号公報によれば、魚眼レンズを装着した撮像装置によって、広角視野の撮像を行いつつ、擬似的なパン、チルト、ズームも可能な撮像装置が開示されている。しかし、本技術では、高解像度で撮像を行うためには画素数の多いイメージセンサが必要であるという問題がある。また、生成する画像データ量が膨大になるという問題もある。
【０００８】
一方、紙等の原稿に描かれた画像を電子的な画像データに変換するスキャナにおいて、ラインセンサにより原稿を走査する方式よりも読み取りが高速な方式として、エリアセンサを用いて原稿を撮像する方式が既に実現されている。この場合も、上記の監視システムの場合と同様に、画素数が少ない低コストのイメージセンサを備えた撮像装置を用いた場合、原稿全体を読み取るために撮像範囲を広げると解像度が低下してしまう。画素数が多いイメージセンサの使用によってこの問題は解決できるが、画素数の多いイメージセンサは高コストである。このため、撮像対象の原稿を複数の範囲に分割して各部分ごとに境界部分が若干オーバーラップするように部分画像の撮像を行い、撮像後に複数の部分画像を合成することによって全体画像を得る方法が知られている。この方法によれば、撮像範囲が狭くなるので、画素数が少ない低コストのイメージセンサを備えた撮像装置でも、高解像度の画像を取得可能である。しかし、この方法の場合、周辺部分に画像上の特徴部がないと正確につなぎ合わせることができないという問題がある。
【０００９】
具体例として、特開平１１−１９６３１７号公報および特開平１１−１９６３１８号公報によれば、複数の部分画像を撮像後に合成して全体画像を得る方法において、被写体全体の画像を同一の撮像素子を用いて別の時間に撮像し、この全体画像に基づいて部分画像の変形および位置あわせを行うことによって、像歪みを除去する技術が開示されている。本発明によれば、像歪みを効果的に除去可能であるが、全体画像および部分画像を時間的に別々に撮像する必要があるので、撮像に長時間を要するという問題がある。
【００１０】
そして、以上のような監視システムやスキャナにおける様々な問題は、比較的画素数が少ない撮像素子を用いつつ、広範囲の撮像と高い分解能の撮像とを短時間で実現することができる撮像装置が存在しないことに起因するものである。
【００１１】
【発明の目的】
本発明は従来技術における上記の問題の解決を意図しており、その第１の目的は、比較的画素数が少ない撮像素子を用いた場合であっても、広範囲の撮像と高い分解能の撮像とを短時間で実現する撮像装置を提供することである。
【００１２】
また、本発明の第２の目的は、広範囲の領域を撮像しつつ侵入物体の検出を行い、同時に監視対象の侵入物体を高解像度で撮像可能な監視システムを提供することである。
【００１３】
さらに、本発明の第３の目的は、過大なデータ量を要せずに、部分画像を正確につなぎ合わせることによって高分解能な合成画像を得ることができるスキャナを提供することである。
【００１４】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明は、撮像装置であって、撮像範囲からの入射光束を取り入れる光束取得手段と、前記入射光束を複数の光路の光束に分割する光束分割手段と、前記複数の光束のうち、第１の光束を変倍する変倍手段と、前記変倍手段によって変倍された第１の光束を使用して撮像する第１撮像手段と、前記複数の光束のうち、第２の光束を使用して撮像する第２撮像手段と、を備えることを特徴としている。
【００１５】
また、請求項２の発明は、請求項１の発明に係る撮像装置であって、前記変倍手段および前記第１撮像手段がユニットとして一体化されており、前記入射光束の光軸と垂直方向に前記ユニットを移動するユニット駆動機構をさらに備え、前記ユニット駆動機構が、前記光束取得手段と前記ユニットとの相対位置を変化させることによって、前記第１撮像手段の撮像範囲を変化させることを特徴としている。
【００１６】
また、請求項３の発明は、請求項１または請求項２の発明に係る撮像装置であって、前記変倍手段は像を拡大するリレーレンズ群を備え、前記第１撮像手段を前記入射光束の光軸方向に移動する撮像手段駆動機構をさらに備え、前記撮像手段駆動機構が前記リレーレンズ群と前記第１撮像手段との距離を変化させることによって変倍倍率を変化させることを特徴としている。
【００１７】
また、請求項４の発明は、撮像範囲に侵入した物体を追尾して撮像する追尾システムであって、請求項１ないし請求項３のいずれかに記載の撮像装置と、前記撮像装置における前記第２撮像手段の撮像範囲内に侵入した物体を検出する物体検出手段と、前記物体のうち追尾対象とする追尾対象物体を決定する追尾対象決定手段と、前記追尾対象物体が、前記撮像装置における前記第１撮像手段の撮像範囲内に含まれるように前記第１撮像手段の撮像範囲を移動させる撮像範囲移動手段と、を備えることを特徴としている。
【００１８】
また、請求項５の発明は、原稿上の画像を撮像して電子的な画像データに変換するスキャナであって、請求項１ないし請求項３のいずれかに記載の撮像装置と、前記撮像装置の前記第１撮像手段が撮像した、前記原稿の各部分画像を記憶する第１記憶手段と、前記撮像装置の前記第２撮像手段が撮像した、前記原稿の全体画像を記憶する第２記憶手段と、前記各部分画像から全体合成画像を合成する画像合成手段と、を備え、前記画像合成手段は、前記全体画像に基づいて前記各部分画像を合成することを特徴としている。
【００１９】
【発明の実施の形態】
＜１．第１の実施形態＞
＜１−１．構成＞
図１は、この発明の第１の実施形態としての監視システム１の全体構成を示す図である。監視システム１は、広範囲の領域を撮像して、その撮像範囲内に侵入してきた物体を検出可能なように構成されている。また、検出した侵入物体が撮像範囲の中央付近に撮像されるように追尾を行うことが可能である。さらに、撮像範囲の中央付近に撮像された侵入物体をより高い解像度で同時に撮像することも可能なように構成されている。
【００２０】
監視システム１は、撮像範囲から入射する光束を光学的に処理して電子的な画像データへ変換する撮像装置１１０と、撮像装置１１０を支持しパン方向への旋回およびチルト方向への俯仰を可能にする雲台１２０とを備える。また、この監視システム１には、撮像装置１１０および雲台１２０を制御するともに、撮像装置１１０によって撮像された電子的な画像データを処理する画像処理装置１３０と、電子的な画像データを視覚的に認識可能にする第１ディスプレイ１４０および第２ディスプレイ１５０と、追尾対象物体を指示する追尾対象指示手段１６０が設けられている。
【００２１】
撮像装置１１０は、相対的に狭い望遠撮像範囲ＶＴの望遠画像ＩＴと相対的に広い広角撮像範囲ＶＷの広角画像ＩＷとのふたつの画像を同時に撮像可能なように構成される。望遠画像ＩＴは、第１のディスプレイ１４０へ出力され、表示される。広角画像ＩＷは画像処理装置１３０へ出力される。画像処理装置１３０は、物体（被写体）ＯＢを検出し、物体ＯＢが検出されたことを視覚的に判別できるように広角画像ＩＷに所定の画像処理を行い、広角画像ＩＷ_ＯＵＴとして出力する。出力された広角画像ＩＷ_ＯＵＴは第２のディスプレイ１５０に表示される。
【００２２】
撮像装置１１０は、パン方向への旋回およびチルト方向への俯仰が一定角度範囲内で自在となるように雲台１２０に可動に連結されている。雲台１２０は、撮像装置１１０をパン方向へ旋回およびチルト方向へ俯仰させる旋回俯仰機構１２１を備える。旋回俯仰機構１２１は、駆動力源としてモータ等を備え、画像処理装置１３０からの制御信号Ｃを受けて駆動される。また、パン角度θ_ｐおよびチルト角度θ_ｔは、角度センサ１２２によって検出される。角度センサ１２２は、ポテンショメータや零点検出信号を出力可能なロータリーエンコーダ等で構成され、検出されたパン角度θ_ｐおよびチルト角度θ_ｔを画像処理装置１３０に出力する。
【００２３】
画像処理装置１３０は、入力された広角画像ＩＷに所定の処理を行い、物体ＯＢを検出可能なように構成される。また、追尾対象指示手段１６０から指示された追尾対象物体（図示例の場合は移動被写体ＯＢ）が常に撮像範囲の中央付近に撮像されるように、雲台１２０を制御する。
【００２４】
追尾対象指示手段１６０は、図示しない第２のディスプレイ上に設置されたタッチパネルセンサと、棒状のスタイラスとを備える。監視システム１の操作者が、スタイラスの先端で第２のディスプレイ１５０上の物体の位置に表示された検出マークＭＫ（後述）に触れると、タッチパネルセンサが触れられた位置を検出する。次に、検出された場所に表示されている物体ＯＢが追尾対象と認識され、追尾対象を指示する追尾対象指示信号ＯＳが画像処理装置１３０へ出力される。なお、追尾対象指示方法はこれに限られない。たとえば、第２のディスプレイ１５０に、マウス操作で移動可能なカーソルを表示させて、上述の検出マークＭＫの場所でマウスに設けられたマウスボタンをクリックすることにより追尾対象を決定するようにしてもよい。さらに動体画像認識を行って自動的に追尾対象を決定してもよい。
【００２５】
次に、撮像装置１１０の詳細な構成を説明する。図２は、撮像装置１１０の主要な構成を示す図である。撮像装置１１０は、撮像範囲からの光束φが入射する対物レンズ１１１と、対物レンズ１１１を通過した光束φを光路が異なるふたつの光束φ_１、φ_２に分割して分割光束群を得るビームスプリッタ１１２と、分割光束群のうち直線光束に相当する第１の光束φ_１を変倍して伝達するリレーレンズ１１３と、リレーレンズ１１３を通過した光束が結像する第１イメージセンサ１１４と、分割光束群のうち反射光束に相当する第２の光束φ_２が結像する第２イメージセンサ１１５とを備える。第１イメージセンサ１１４および第２イメージセンサ１１５は、結像した像を光量に応じた信号電荷へ光電変換して蓄積する２次元ＣＣＤ（ｃｈａｒｇｅ　ｃｏｕｐｌｅｄ　ｄｅｖｉｃｅ）である。第１イメージセンサ１１４および第２イメージセンサ１１５は、ビームスプリッタ１１２の前では光束の光軸が一致するようなアライメントで設置されている。第１イメージセンサ１１４および第２イメージセンサ１１５には、それぞれ制御回路１１６および１１７が接続される。制御回路１１６および１１７は、撮像によってＣＣＤに蓄積された信号電荷を読み取り、ＣＤＳ（ｃｏｒｒｅｌａｔｅｄ　ｄｏｕｂｌｅ　ｓａｍｐｌｉｎｇ）回路やＡＧＣ（ａｕｔｏｍａｔｉｃ　ｇａｉｎ　ｃｏｎｔｒｏｌ）回路で所定の信号処理を施した後に望遠画像ＩＴおよび広角画像ＩＷを出力する。なお、第１の実施形態に係るビームスプリッタ１１２はプリズム境界をハーフミラー状態としたキューブビームスプリッタであるが、平面ビームスプリッタや薄膜ビームスプリッタ等であってもよい。また、リレーレンズ１１３は、変倍機能を持つ光学素子であればよく、たとえば、ファイバーオプティックスプレート等であってもよい。この変倍機能により、第１イメージセンサ１１４の撮像範囲ＶＴは、第２イメージセンサ１１５の撮像範囲ＶＷよりも狭くなる。したがって、第１イメージセンサ１１４および第２イメージセンサ１１５に、同じ画素数のイメージセンサを用いた場合、第１イメージセンサ１１４では撮像範囲が狭いが高解像度の遠望画像が得られ、第２イメージセンサ１１５では撮像範囲が広い広角画像が得られる。望遠画像は広角画像の中央付近の高解像度の画像となる。
【００２６】
次に、画像処理装置１３０の構成について図３のブロック図を参照しながら説明する。画像処理装置１３０は、各種の演算処理を行うＣＰＵ１３１を備える。ＣＰＵ１３１は、信号の送受信を行うデータバス１３８を介して、画像入力Ｉ／Ｆ１３２と、旋回俯仰機構Ｉ／Ｆ１３３と、角度センサＩ／Ｆ１３４と、画像出力Ｉ／Ｆ１３５と、追尾対象指示手段Ｉ／Ｆ１３６とに接続されている。画像入力Ｉ／Ｆ１３２は、撮像装置１１０の制御回路１１７に接続され、広角画像ＩＷを取得する。旋回俯仰機構Ｉ／Ｆ１３３は、雲台１２０の旋回俯仰機構１２１に接続され、撮像装置１１０を旋回俯仰させるための制御信号Ｃを出力する。角度センサＩ／Ｆ１３４は、雲台１２０の角度センサ１２２に接続され、パン角度θ_ｐおよびチルト角度θ_ｔを取得する。画像出力Ｉ／Ｆ１３５は、第２ディスプレイ１５０に接続され、所定の画像処理が行われた広角画像ＩＷ_ＯＵＴを出力する。追尾対象指示手段Ｉ／Ｆ１３６は、追尾対象を指定する追尾対象指示手段１６０に接続され、追尾対象指示信号ＯＳを取得する。
【００２７】
さらに、ＣＰＵ１３１は、データバス１３８を介してメモリ１３７に接続される。メモリ１３７の記憶領域には、図４に示すように各種データの記憶領域が設定される。具体的には、以下の（１）〜（１１）の記憶領域が設定される。
（１）プログラムメモリ１３７ａ：ＣＰＵ１３１の動作を規定するプログラムを記憶する。
（２）ワークメモリ１３７ｂ：ＣＰＵ１３１の処理途上で一時的に記憶する必要があるデータを記憶する。
（３）角度メモリ１３７ｃ：角度センサＩ／Ｆ１３４が取得したパン角度θ_ｐおよびチルト角度θ_ｔを記憶する。
（４）物体位置メモリ１３７ｄ：検出された物体ＯＢの２次元的な画像の重心座標と、複数の物体を区別するために与えられる物体識別名ｉｄとを記憶する。
（５）追尾対象物体メモリ１３７ｅ：追尾対象物体の物体識別名ｉｄおよび重心座標を記憶する。
（６）背景画像メモリ１３７ｆ：物体ＯＢが含まれない背景画像ＩＢを記憶する。後述するように、背景画像メモリ１３７ｆには、パン角度θ_ｐおよびチルト角度θ_ｔが異なるＮ個（Ｎは２以上の整数）の背景画像ＩＢが記憶されている。
（７）背景マップメモリ１３７ｇ：背景画像メモリ１３７ｆに記憶されたＮ個の背景画像ＩＢを組み合わせて得られた背景マップＢＭを記憶する。背景マップＢＭは、一度の撮像では得られないような、さらに広い撮像範囲の画像データである。
（８）入力画像メモリ１３７ｈ：入力画像Ｉ／Ｆ１３２が取得した広角画像ＩＷを記憶する。
（９）擬似背景画像メモリ１３７ｉ：背景マップメモリ１３７ｇに記憶された背景マップＢＭから、広角画像ＩＷの撮像範囲に対応する擬似背景画像ＩＴＭＰを記憶する。
（１０）画像間演算結果画像メモリ１３７ｊ：入力画像メモリ１３７ｈと擬似背景メモリ１３７ｉとに記憶された画像間の差分データを記憶する。
（１１）２値化画像メモリ１３７ｋ：画像間演算結果メモリ１３７ｊに記憶された画像データに２値化処理を施した結果を記憶する。
【００２８】
＜１−２．動作＞
監視システム１は、広角画像ＩＷとその背景画像ＩＢとの差分から、物体ＯＢの侵入を検出する。その後に、指示された追尾対象が常に撮像範囲の中央付近に撮像されるように、撮像装置１１０の姿勢が制御される。ここで、物体ＯＢが、撮像装置１１０の初期姿勢における広角画像ＩＷの撮像範囲ＶＷを外れて移動しても追尾を可能とするために、パン角度θ_ｐおよびチルト角度θ_ｔが異なる複数の背景画像ＩＢを組み合わせて、あらかじめ背景マップＢＭを作成しておく。そして、該背景マップＢＭから、その時点で必要な擬似背景画像ＩＴＭＰを擬似的に生成するという処理を行う。
【００２９】
以下、監視システム１の動作の詳細について、図５のフローチャートを参照しながら説明する。
【００３０】
ステップＳ１０１では、物体ＯＢがない状態で、撮像可能範囲がすべて含まれるように、撮像装置１１０を所定のパン角度およびチルト角度間隔でパンおよびチルトさせながら順次広角画像ＩＷを取得する。取得されたＮ個の広角画像ＩＷは、撮像装置１１０のパン角度θ_ｐおよびチルト角度θ_ｔと対応づけられて、背景画像ＩＢとして背景画像メモリ１３７ｆに記憶される。より具体的に説明すると、撮像装置１１０の水平、垂直方向の画角がそれぞれ３０°、１０°、撮像装置１１０の旋回および俯仰が可能なパン角度θ_ｐ、チルト角度θ_ｔをそれぞれ、−３０°〜３０°、−１０°〜１０°とする。この場合、図７のように背景画像ＩＢ（０，０）、ＩＢ（１，０）、ＩＢ（２，０）、ＩＢ（０，１）、ＩＢ（１，１）、ＩＢ（２，１）の６枚の画像が順次取得される。ここで、上記の背景画像ＩＢ（０，０）〜ＩＢ（１，２）を撮像するときの撮像装置１０のパン角度、チルト角度は、それぞれ（θ_ｐ，θ_ｔ）＝（−３０°，−１０°）、（０°，−１０°）、（３０°，−１０°）、（３０°，−１０°）、（３０°，−１０°）、（３０°，−１０°）である。つまり、上述の「所定のパン角度およびチルト角度間隔」は、それぞれ３０°、２０°である。上記の背景画像ＩＢ（０，０）〜ＩＢ（１，２）は、撮像装置１１０が雲台１２０によって所望のパン角度θ_ｐおよびチルト角度θ_ｔを与えられた後に、画像入力Ｉ／Ｆ１３２によって制御回路１１７から出力された広角画像ＩＷを取得することによって得られる。また、撮像装置１１０の姿勢の制御は以下のように行われる。すなわち、角度センサ１２２から出力されるパン角度θ_ｐおよびチルト角度θ_ｔを角度センサＩ／Ｆ１３４が読み取り、所望のパン角度θ_ｐおよびチルト角度θ_ｔとの差分をＣＰＵ１３１がメモリ１３７に記憶されたプログラムによって算出する。次に、算出された差分が０となるまで、ＣＰＵ１３１に制御された旋回俯仰機構Ｉ／Ｆ１３３が制御信号Ｃを出力することによって、撮像装置１１０の姿勢は所望のパン角度θ_ｐおよびチルト角度θ_ｔとなる。
【００３１】
ステップＳ１０１終了後、次のステップＳ１０２へ移行する。
【００３２】
ステップＳ１０２では、背景画像メモリ１３７ｆに記憶されたＮ個の背景画像ＩＢを接合して、撮像可能範囲がすべて含まれる背景マップＢＭが作成され、背景マップメモリ１３７ｇに記憶される。なお、背景画像にオーバーラップ領域がある場合は、特開平６−１４１２４６号公報に開示されている方法で接合を行う。
【００３３】
ステップＳ１０２終了後、次のステップＳ１０３へ移行する。
【００３４】
ステップＳ１０３では、撮像装置１１０の姿勢の初期化を行う。すなわち、撮像装置１１０の姿勢をあらかじめ定められたパン角度θ_ｐおよびチルト角度θ_ｔとする。初期化終了後、次のステップＳ１０４へ移行する。
【００３５】
ステップＳ１０４では、画像入力Ｉ／Ｆ１３２を介して撮像装置１１０から取得した広角画像ＩＷを入力画像メモリ１３７ｈに記憶し、次のステップＳ１０５へ移行する。記憶された広角画像ＩＷの例を図９に示す。
【００３６】
ステップＳ１０５では、パン角度θ_ｐｉおよびチルト角度θ_ｔｊにおける擬似的な背景画像である擬似背景画像ＩＴＭＰを作成して、擬似背景画像メモリ１３７ｉへ記憶する。擬似背景画増ＩＴＭＰの作成方法を以下で説明する。
【００３７】
まず、パン角度θ_ｐｉおよびチルト角度θ_ｔｊから、画像位置インデックス（ｉ，ｊ）を数１および数２、または数３および数４によって算出する。
【００３８】
【数１】

【００３９】
【数２】

【００４０】
【数３】

【００４１】
【数４】

【００４２】
ただし、θ_ｐ０、θ_ｔ０はそれぞれ、ステップＳ１０１での撮像開始姿勢のパン角度、チルト角度であり、Ｔ_ｐ、Ｔ_ｔは、それぞれ隣接した背景画像ＩＢのパン角度、チルト角度の撮像間隔である。上述の例では、θ_ｐ０＝−３０°、θ_ｔ０＝−１０°、Ｔ_ｐ＝３０°、Ｔ_ｔ＝２０°、０≦ｉ≦２、０≦ｊ≦１である。ｉ，ｊは、必ずしも整数である必要はない。整数は、ステップＳ１０１で撮像された背景画像ＩＢの撮像範囲に対応する画像位置インデックスとなるが、擬似背景画像ＩＴＭＰの画像位置インデックスは整数でなくてもよい。たとえば、ｉ，ｊのいずれかが整数でない場合、図８中に一点破線で示した領域［（ｉ，ｊ）＝（０．５，０．５）］のように、対応する範囲が複数の背景画像ＩＢにまたがることになる。
【００４３】
次に、算出された画像位置インデックス（ｉ，ｊ）を用いて、背景マップＢＭから、擬似背景画像ＩＴＭＰを切り出す。具体的には、撮像開始に対応した部分から、横方向にｘ画素および縦方向にｙ画素ずらした位置の画像を切り出して擬似背景画像ＩＴＭＰとする。ここで、ｘ、ｙは、それぞれ数５、数６で与えられる。また、Ｗ、Ｈは、それぞれ背景画像ＩＷの縦、横の画素数である。
【００４４】
【数５】

【００４５】
【数６】

【００４６】
作成された擬似背景画像ＩＴＭＰの例を図１０に示す。
【００４７】
ステップＳ１０５終了後、次のステップＳ１０６へ移行する。
【００４８】
ステップＳ１０６では、入力画像メモリ１３７ｈに記憶された広角画像ＩＷおよび擬似背景画像メモリ１３７ｉに記憶された擬似背景画像ＩＴＭＰの対応する画素間で輝度値の差分を計算して、画像間演算結果画像メモリ１３７ｊに記憶する。この差分は、画像の変化であり、物体ＯＢが撮像された部分のみ、この差分値が大きくなる。逆に、物体ＯＢがなく時間的に画像に変化がない場合、ノイズを除けば、この差分値はほぼ０になる。次に、画像間演算結果画像メモリ１３７ｊに記憶された画像に２値化処理を行う。すなわち、所定の閾値に対する大小によって、画素値に０または１のいずれかの値を与える。この処理によって、物体ＯＢがより明瞭になる。この演算結果は２値化画像メモリ１３７ｋに記憶され、次のステップＳ１０７へ移行する。記憶された２値化画像データの例を図１１に示す。
【００４９】
次のステップＳ１０７では、ステップＳ１０６で得られた２値化画像の白画素（１の画素値が与えられた画素）が所定個数以上に集合した画素クラスタを検出するラベリング処理が行われる。ここで、ラベリング処理は、注目している白画素に隣接する８画素に白画素がある場合、注目している白画素と隣接した白画素とは同一領域に属すると見なして、同一のラベルを与える処理を意味する。この処理によって、画像上で黒画素によって分割されている領域は、別々の物体として認識される。
【００５０】
ステップＳ１０７終了後、次のステップＳ１０８へ移行する。
【００５１】
ステップＳ１０８では、ステップＳ１０７でラベリングされた各領域ごとに、白画素数の算出が行われる。白画素数が所定の数値以上の場合、その領域には物体が存在すると見なされて、連続番号などで表現された物体識別名ｉｄが与えられる。物体識別名ｉｄが与えられる領域が存在しなかった場合は、ステップＳ１０３へ移行する。物体識別名ｉｄが与えられる領域が存在する場合は、次のステップＳ１０９へ移行する。
【００５２】
ステップＳ１０９では、物体識別名ｉｄが割り振られた領域の重心座標（Ｘ_Ｃ，Ｙ_Ｃ）が数７および数８によって算出される。
【００５３】
【数７】

【００５４】
【数８】

【００５５】
ここで、ｐ、ｑは、画素の座標値であり、ｆ（ｐ，ｑ）は、座標（ｐ，ｑ）の画素における画素値である。ただし、座標値は、それぞれ、左下端からの横方向（ｘ軸方向）および縦方向（ｙ軸方向）への画素数で表す。さらに、数９で表される記号は、注目している物体ＯＢのみを内包し、他の物体を含まない画像内の領域Ｒ内のすべての画素についての和を取ることを示す。
【００５６】
【数９】

【００５７】
検出物体が複数ある場合は、上記の処理は複数の物体それぞれについて行われる。また、入力画像メモリ１３７ｈに記憶されている広角画像ＩＷの座標（ｐ，ｑ）の位置に物体を検出したことを示す検出マークＭＫを重畳して、広角画像ＩＷＯＵＴとして、画像出力Ｉ／Ｆ１３５を介して第２ディスプレイ１５０へ出力される。検出マークＭＫの例を図１０に示す。
【００５８】
ステップＳ１０９終了後、ステップＳ１１０へ移行する。
【００５９】
ステップＳ１１０では、追尾対象を決定する。追尾対象を決定する方法の詳細は後述する。
【００６０】
ステップＳ１１１では、ステップＳ１１０で決定された追尾対象が第２ディスプレイの中央付近に撮像されるように雲台１２０の制御を行う。ここで、パン角度θ_ｐおよびチルト角度θ_ｔの変化させるべき量Δθ_ｐおよびΔθ_ｔは数１０および数１１で表される。ここで、ΔｘおよびΔｙは、画像中心から重心までの画素数であり、それぞれ数１２および数１３で表される。ステップＳ１１１終了後、ステップＳ１０４へ移行する。
【００６１】
【数１０】

【００６２】
【数１１】

【００６３】
【数１２】

【００６４】
【数１３】

【００６５】
次に、追尾対象を決定するステップＳ１１０のサブルーチンについて、図６のフローチャートを参照しながら説明する。
【００６６】
まず、追尾対象指示手段１６０からの追尾対象指示信号ＯＳの有無で分岐処理が行われる。出力がある場合、ステップＳ１０９２へ移行する。出力がない場合、ステップＳ１０９３へ移行する。
【００６７】
ステップＳ１０９２では、追尾対象指示信号ＯＳで指示された物体を追尾対象メモリへ記憶して、本サブルーチンを終了する。
【００６８】
ステップＳ１０９３では、追尾対象メモリ１３７ｅを参照して、過去の追尾対象が記憶されているかどうかによって分岐処理が行われる。過去の追尾対象が記憶されている場合、ステップＳ１０９４へ移行する。記憶されていない場合、ステップＳ１０９５へ移行する。
【００６９】
ステップＳ１０９４では、過去の追尾対象と最も類似した物体を追跡対象メモリ１３７ｅへ記憶して、本サブルーチンを終了する。ここで、「最も類似した」とは、過去の追尾対象との間の差分が最も小さいことを意味する。
【００７０】
ステップＳ１０９５では、検出された物体が単数か複数かで分岐処理が行われる。複数の場合、ステップＳ１０９６へ移行する。単数の場合、ステップＳ１０９７へ移行する。
【００７１】
ステップＳ１０９６では、画像の中央に最も近い物体を追尾対象メモリ１３７ｅへ記憶して本サブルーチンを終了する。
【００７２】
ステップＳ１０９７では、検出された物体を追尾対象メモリ１３７ｅへ記憶して本サブルーチンを終了する。
【００７３】
上記の処理によって、追尾対象の指定がある場合はその物体を追尾し、指示がない場合は過去の追尾対象と最も類似した物体を追尾することになる。また、物体の初回検出時など、過去の追尾対象がない場合は画角の中央に最も近い物体、または検出された物体をそのまま追尾することになる。
【００７４】
広角画像ＩＷおよび望遠画像ＩＴの光軸は一致しているので、広角画像ＩＷで画角の中央付近に撮像され移動物体は、望遠画像ＩＴで高解像度で撮像されて第１ディスプレイ１４０に表示される。
【００７５】
本実施形態によれば、広範囲を撮像して物体の検出を行いながら、検出された物体を追尾するとともに、監視対象の進入物体を高解像度で同時に撮像することが可能である。したがって、特定の移動物体を高解像度で撮像中も、より広い撮像範囲の撮像を同時に行っているので、操作者が新たな進入物体に気がつきやすいという利点がある。加えて、ズーミングの待ち時間が不要となるので、高速な物体追尾が可能である。さらに、この機能を実現するために高コストの高画素数のイメージセンサを使用する必要がないのでコスト面で有利である。また、これらの機能を１台の撮像装置で実現できるため、監視システムの小型化にも有効である。
【００７６】
＜２．第２の実施形態＞
＜２−１．構成＞
図１３は、この発明の第２の実施形態としての監視システム２の全体構成を示す図である。監視システム２は、監視システム１と同様に広範囲の領域を撮像して、その撮像範囲内に侵入してきた物体ＯＢを検出可能なように構成されている。また、検出した物体ＯＢを高解像度で並行的に撮像されるように追尾を行うことが可能である。
【００７７】
監視システム２が監視システム１と異なるのは、雲台を用いて撮像装置全体のパン角度およびチルト角度を変えて撮像範囲の移動を行う代わりに、撮像装置内の光学素子のアライメントを変えることによって撮像範囲の移動を行っていることである。したがって、第２の実施形態の説明では、第１の実施形態と異なる点を説明し、同様の構成には同じ参照番号を付して重複説明は省略する。
【００７８】
監視システム２は、撮像範囲から入射する光束φを光学的に処理して電子的な画像データへ変換する撮像装置２１０と、撮像装置２１０を支持する固定された支持台２２０と、撮像装置２１０を制御するともに、撮像装置２１０によって撮像された電子的な画像データを処理する画像処理装置２３０と、電子的な画像データを視覚的に認識可能にする第１ディスプレイ１４０および第２ディスプレイ１５０と、追尾対象物体を指示する追尾対象指示手段１６０とを備える。
【００７９】
図１４は撮像装置２１０の主要な構成を示す図であり、図１５は画像処理装置２３０の主要な構成を示すブロック図である。第２の実施形態に係る撮像装置２１０および画像処理装置２３０が、第１の実施形態に係る撮像装置１１０および制御部１３０と異なるのは以下の点である。
【００８０】
（Ａ）リレーレンズ１１３および第１イメージセンサ１１４は、容器２１１によってイメージセンサユニット２１２として一体化されている。イメージセンサユニット２１２は、イメージセンサユニット駆動機構２１３と接続されており、光束φの光軸と垂直な平面内（図１４のｙｚ平面内）で駆動可能である。イメージセンサユニット駆動機構２１３は、数ｍｍ程度の精度で位置決めが可能なリニアアクチエータであり、駆動力源として圧電体等を備えている。さらに、イメージセンサユニット２１１の左右位置ｙおよび上下位置ｚは、位置センサ２１４によって検出可能である。位置センサ２１４は、零点を検出可能なリニアエンコーダ等で構成され、検出された左右位置ｙと上下位置ｚを画像処理装置２３０に出力する機能を有する。イメージセンサユニットを光束の光軸と垂直な方向へ駆動することにより、望遠画像ＩＴの撮像範囲ＶＴを動かすことができる。すなわち、第１の実施形態における雲台２０がなくても、撮像装置１１０をパン方向およびチルト方向へ回動した場合と同様の効果が望遠画像ＩＴについて得られる。なお、第２の実施形態においては、望遠画像ＩＴと広角画像ＩＷの光軸は一致しない。
【００８１】
（Ｂ）第１の実施形態に係る旋回俯仰機構Ｉ／Ｆ１３３、角度センサＩ／Ｆ１３４に代わって、イメージセンサユニット駆動機構Ｉ／Ｆ２３３、位置センサＩ／Ｆ２３４を備える。イメージセンサユニット駆動機構Ｉ／Ｆ２３３は、撮像装置２１０のイメージセンサユニット駆動機構２１３に接続され、イメージセンサユニット駆動機構２１３を制御する制御信号Ｃを出力する。位置センサＩ／Ｆ２３４は、位置センサ２１４に接続され、左右位置ｙおよび上下位置ｚを取得する。イメージセンサユニット駆動機構Ｉ／Ｆ２３３、位置センサＩ／Ｆ２３４は、データバス１３８を介して、ＣＰＵ１３１に接続され、望遠画像の撮像範囲が所望になるよう制御される。
【００８２】
（Ｃ）メモリ２３７に設定される記憶領域は、第１の実施形態と
▲１▼角度メモリ１３７ｃがなく、イメージセンサユニット２１２の左右位置ｙと上下位置ｚとを記憶する位置メモリ２３７ｃが設けられている点、
▲２▼背景画像メモリ２３７ｂに記憶される背景画像がひとつである点、
▲３▼背景マップメモリ１３７ｇ、擬似背景画像メモリ１３７ｉがない点、
で異なる。
【００８３】
＜２−２．動作＞
監視システム２は、広角画像ＩＷとその背景画像ＩＢとの差分から、侵入した物体ＯＢを検出する。その後に、指示された追跡対象が望遠画像ＩＴの撮像範囲の中央付近に撮像されるように、イメージセンサユニット２１２の位置が制御される。しかし、第１の実施形態とは異なり、背景マップＢＭは使用しない。
【００８４】
以下、監視システム２の動作の詳細について、図１７のフローチャートを参照しながら説明する。ただし、第１の実施形態と同様の動作については詳細説明を省略する。
【００８５】
ステップＳ２０１では、物体ＯＢがない状態で、広角画像ＩＷの撮像を行い、撮像結果を背景画像メモリ２３７ｂへ記憶して、次のステップＳ２０２へ移行する。
【００８６】
ステップＳ２０２では、イメージセンサユニット２１２の位置の初期化を行う。すなわち、イメージセンサユニット２１２の位置をあらかじめ定められた左右位置ｙ０、上下位置ｚ０とする。初期化終了後、次のステップＳ２０３へ移行する。
【００８７】
ステップＳ２０３では、画像入力Ｉ／Ｆ１３２を介して撮像装置２１０から取得した広角画像ＩＷを入力画像メモリ１３７ｈに記憶し、次のステップＳ２０４へ移行する。
【００８８】
ステップＳ２０４では、入力画像メモリ１３７ｈに記憶された画像および背景画像メモリ２３７ｂに記憶された画像の対応する画素間で輝度値の差分を計算して、画像間演算結果画像メモリ１３７ｊに記憶する。次に、画像間演算結果画像メモリ１３７ｊに記憶された画像に２値化処理を行って、２値化画像メモリ１３７ｋに記憶し、次のステップＳ２０５へ移行する。
【００８９】
ステップＳ２０５では、ステップＳ２０４で得られた２値化画像の各画素クラスタにラベリング処理を行ない、次のステップＳ２０６へ移行する。
【００９０】
次のステップＳ２０６では、ステップＳ２０５でラベリングされた各領域（画素クラスタ）ごとに、白画素数の算出が行われる。白画素数が所定の数値以上の場合、その領域には物体が存在すると見なされて物体識別名ｉｄが与えられる。物体識別名ｉｄが与えられる領域が存在しなかった場合は、ステップＳ２０２へ移行する。物体識別名ｉｄが与えられる領域が存在する場合は、次のステップＳ２０７へ移行する。
【００９１】
ステップＳ２０７では、物体の２次元画像の重心座標（Ｘ_Ｃ，Ｙ_Ｃ）が数７および数８によって算出される。算出方法は、第１の実施形態と同様である。また、第１の実施形態と同様に、広角画像ＩＷに検出マークＭＫを重畳して、広角画像ＩＷ_ＯＵＴとして、画像出力Ｉ／Ｆ１３５を介して第２のディスプレイ１５０へ出力する。
【００９２】
ステップＳ２０７終了後、ステップＳ２０８へ移行する。
【００９３】
ステップＳ２０８では、追尾対象が決定される。決定方法は、第１の実施形態と同様である。
【００９４】
ステップＳ２０９では、ステップＳ２０８で決定された追尾対象が望遠画像の中央付近に撮像されるようにイメージセンサユニット駆動機構２１３の制御を行う。ここで、第１イメージセンサ１１４と第２イメージセンサ１１５の光軸が一致するイメージセンサユニット２１２の左右位置ｙ、上下位置ｚをそれぞれｙ_０、ｚ_０とすると、移動後のイメージセンサユニット２１２の左右位置ｙ、上下位置ｚは、数１４および数１５で与えられる。
【００９５】
【数１４】

【００９６】
【数１５】

【００９７】
ここで、Ｚは変倍倍率である。イメージセンサユニット２１２をこのように移動させることにより、望遠画像ＩＴの中央付近に常に物体ＯＢが高解像度で撮像されることになる。
【００９８】
なお、本実施形態においては、第１イメージセンサ１１４のみを移動させ、第２イメージセンサ１１５の位置は固定されていたが、これを第１イメージセンサ１１４同様に光軸と垂直方向に可動としてもよい。この場合、広角画像ＩＷの撮像範囲ＶＷも変化させることが可能であるので、第１の実施形態のように、複数の背景画像ＩＢを組み合わせた背景マップＢＭを使用すれば、より広範囲を監視対象とすることが可能である。
【００９９】
本実施形態によれば、第１の実施形態と同様に、広範囲の領域を撮像して物体の検出を行いながら、検出された物体を追尾するとともに、監視対象の進入物体を高解像度で同時に撮像することが可能である。したがって、特定の移動物体を高解像度で撮像中も、より広い撮像範囲の撮像を同時に行っているので、操作者が新たな進入物体に気がつきやすいという利点がある。加えて、ズーミングの待ち時間が不要となるので、高速な物体追尾が可能である。さらに、この機能を実現するために高コストの高画素数のイメージセンサする必要がないのでコスト面で有利である。また、これらの機能を１台の撮像装置で実現できるため、監視システムの小型化にも有効である。
【０１００】
加えて、第１の実施形態における雲台が不要となるので、より小型に装置を構成することが可能である。
【０１０１】
＜３．第３の実施形態＞
＜３−１．構成＞
図１８は、この発明の第３の実施形態としての監視システム３の全体構成を示す図である。監視システム３は、監視システム１と同様に広範囲の領域を撮像して、その撮像範囲内に侵入してきた物体ＯＢを検出可能なように構成されている。また、検出した物体ＯＢが常に撮像範囲の中央付近に撮像されるように追尾を行うことが可能である。さらに、撮像範囲の中央付近に撮像された物体ＯＢをより高い解像度で同時に撮像することも可能なように構成されている。
【０１０２】
監視システム３が監視システム１と異なるのは、撮像装置内の光学素子のアライメントを変えることによって望遠画像ＩＴのズーミングを行うことが可能な点である。したがって、第３の実施形態の説明では、第一の実施形態と異なる点を説明し、同様の構成には同じ参照番号を付して重複説明は省略する。
【０１０３】
監視システム３は、撮像範囲から入射する光束を光学的に処理して電子的な画像データへ変換する撮像装置３１０と、撮像装置３１０を支持しパン方向への旋回およびチルト方向への俯仰を可能にする雲台１２０と、撮像装置３１０および雲台１２０を制御するともに、撮像装置３１０によって撮像された電子的な画像データを処理する画像処理装置３３０と、電子的な画像データを視覚的に認識可能にする第１ディスプレイ１４０および第２ディスプレイ１５０と、追尾対象物体を指示する追尾対象指示手段１６０とを備える。
【０１０４】
撮像装置３１０および画像処理装置３３０は、第１の実施形態で説明した構成に加えて、さらに望遠画像のズーミングが可能なように構成される。以下、撮像装置３２０および画像処理装置３３０の第１の実施形態からの変更点について説明する。
【０１０５】
図１９は撮像装置３１０の主要な構成を示す図であり、図２０は画像処理装置３３０の主要な構成を示すブロック図である。第３の実施形態に係る撮像装置３１０および画像処理装置３３０が、第１の実施形態に係る撮像装置１１０および画像処理装置１３０と異なるのは以下で説明する点である。
【０１０６】
（１）第１イメージセンサ１１４は、イメージセンサ駆動機構３１１と接続されており、光束φの光軸方向（図１９のｘ軸方向）に駆動可能である。イメージセンサ駆動機構３１１は、数ｍｍ程度の精度で位置決めが可能なリニアアクチエータであり、駆動力源として圧電体等を備えている。さらに、第１イメージセンサ１１４のリレーレンズ１１３からの距離Ｌは、距離センサ３１２によって検出可能である。距離センサ３１２は、零点を検出可能なリニアエンコーダ等で構成され、検出された距離Ｌを画像処理部３３０に出力する機能を有する。第３の実施形態のように、リレーレンズ１１３と第１イメージセンサ１１４の距離Ｌを変化させることにより、変倍倍率Ｚを変更することが可能である。
【０１０７】
（２）画像処理装置３３０は、第１の実施形態に係る画像処理装置１３０の構成に加えて、データバス１３８に接続されたイメージセンサ駆動機構Ｉ／Ｆ３３１および距離センサＩ／Ｆ３３２を備える。イメージセンサ駆動機構Ｉ／Ｆ３３１は、撮像装置３１０のイメージセンサ駆動機構３１１に接続され、駆動するための制御信号ＺＭを出力する。距離センサＩ／Ｆ３３２は、撮像装置３１０の距離センサ３１２と接続され、距離Ｌを取得する。
【０１０８】
（３）メモリ３３７には、第１の実施形態に係るメモリ１３７の記憶領域に加えて、追尾対象となる物体の大きさを記憶する物体サイズメモリ３３７ａを備える。
【０１０９】
＜３−２．動作＞
監視システム１は、第１の実施形態と同様に、広角画像ＩＷとその背景画像ＩＢとの差分から、物体ＯＢを検出する。その後に、指示された追跡対象が常に撮像範囲の中央付近に撮像されるように、撮像装置３１０の姿勢が制御される。ここで、物体ＯＢが、撮像装置３１０の初期姿勢における広角画像ＩＷの撮像範囲ＶＷを外れて移動しても追尾を可能とするために、パン角度θ_ｐおよびチルト角度θ_ｔが異なる複数の背景画像ＩＢを組み合わせて、あらかじめ背景マップＢＭを作成しておく。そして、該背景マップＢＭから必要な背景画像ＩＢを生成するという処理を行う。
【０１１０】
第３の実施形態に係る撮像システム３には、さらに、望遠画像ＩＴがより明瞭に撮像されるように、変倍倍率Ｚを変更する動作が加わる。以下、監視システム３の動作の詳細について、図２２のフローチャートを参照しながら説明する。
【０１１１】
図２２のフローチャートにおけステップＳ３０１〜Ｓ３１１は、第１の実施形態の図５のステップＳ１０１〜Ｓ１１１に対応し、同様の動作であるので、説明は省略し、ステップＳ３１１に続くステップＳ３１２から説明する。
【０１１２】
ステップＳ３１２では、追尾対象物体のサイズを算出して、物体サイズメモリ３３７ａに記憶する。
【０１１３】
まず、追尾対象物体の白画素の集合のうち、広角画像ＩＷ上で横方向（ｘ軸方向）の最左端の画素のｘ座標をＸＬ、横方向の最右端の画素のｘ座標をＸＲ、縦方向（ｙ軸方向）の最上端の画素のｙ座標をＹＵ、縦方向の最下端の画素のｙ座標をＹＬとする。このとき、差分（Ｘ_Ｃ−Ｘ_Ｌ）、（Ｘ_Ｒ−Ｘ_Ｃ）のうちの大きい方をΔＷ_ＯＢとし、差分（Ｙ_Ｃ−Ｙ_Ｌ）、（Ｙ_Ｕ−Ｙ_Ｃ）のうちの大きい方をΔＨ_ＯＢとする。ΔＷ_ＯＢおよびΔＨ_ＯＢを物体サイズメモリ３３７ａに記憶して、次のステップＳ３１３へ移行する。なお、この算出方法について、模式的に示した図が図２３である。
【０１１４】
ステップＳ３１３では、ステップＳ３１２で算出した物体サイズに基づいて、イメージセンサ駆動機構３１１を制御して、変倍倍率Ｚを決定する。第１イメージセンサ１４０が、縦Ａ画素×横Ｂ画素（たとえば、Ａ，Ｂは数百〜数千程度の値）である場合、物体ＯＢがイメージセンサ１１４の横方向にはみ出さない最大の変倍倍率Ｚ_Ｘ、および縦方向にはみ出さない最大の変倍倍率Ｚ_Ｙは、数１６および数１７で算出される。また、算出された変倍倍率が実現できない値であるときは、実現可能な最も近い変倍倍率が採用される。
【０１１５】
【数１６】

【０１１６】
【数１７】

【０１１７】
このＺ_ＸおよびＺ_Ｙのうち、小さい方が変倍倍率Ｚとして採用される。なお、変倍倍率は距離Ｌの関数であるが、この関数は光学素子の諸定数から理論的に、または実験的にあらかじめ算出しておき、メモリ２３７に記憶されたプログラムによって距離Ｌに換算される。この結果がイメージセンサ駆動機構Ｉ／Ｆ３３１を介して出力され、イメージセンサ駆動機構３１１によって距離Ｌが変化し、所望の変倍倍率Ｚが得られる。
【０１１８】
ステップＳ３１３終了後、ステップＳ３０４へ移行する。
【０１１９】
なお、第４の実施形態では変倍倍率Ｚの決定を検出物体の大きさから自動的に実施したが、これを操作者の手動操作によっても問題はない。
【０１２０】
本実施形態によれば、第１の実施形態と同様に、広範囲の領域を撮像して物体の検出を行いながら、検出された物体を追尾するとともに、監視対象の進入物体を高解像度で同時に撮像することが可能である。したがって、特定の移動物体を高解像度で撮像中も、より広い撮像範囲の撮像を同時に行っているので、操作者が新たな進入物体に気がつきやすいという利点がある。加えて、ズーミングの待ち時間が不要となるので、高速な物体追尾が可能である。さらに、この機能を実現するために高コストの高画素数のイメージセンサを使用する必要がないのでコスト面で有利である。また、これらの機能を１台の撮像装置で実現できるため、監視システムの小型化にも有効である。
【０１２１】
加えて、望遠画像の変倍倍率を変更できるので、被写体をより明瞭に観察することが可能である。
【０１２２】
＜４．第４の実施形態＞
＜４−１．構成＞
図２４は、この発明の第４の実施形態としてのスキャナシステム４の全体構成を示す斜視図である。スキャナシステム４は、紙等の原稿Ｍの全体を含む全体画像ＩＷＯを撮像するとともに、原稿Ｍを複数の部分領域に分割して各部分領域を含む範囲ごとに高解像度の部分画像ＩＰを撮像するように構成されている。また、全体画像ＩＷＯを参照しながら部分画像ＩＰを接合して原稿全体の高解像度画像が得られるように構成されている。
【０１２３】
スキャナシステム４は、原稿Ｍ（画像記録媒体）上に可視的に記録された画像を撮像して電子的な画像データへ変換するスキャナ装置４００と、スキャナ装置４００に接続され、スキャナ装置４００の制御等を行うプログラムがインストールされたコンピュータ４９０とを備える。
【０１２４】
スキャナ装置４００は、原稿Ｍを載置する原稿台４１０と、閉じた状態で原稿台４１０を遮蔽できるように開閉自在に設置された原稿押さえ４２０と、原稿台４１０に載置された原稿Ｍの撮像を行う撮像装置４３０と、撮像装置４３０およびコンピュータ４９０に接続された制御部４４０と、操作者が電源のＯＮ／ＯＦＦ等の指示をスキャナ装置に与えるための操作ボタン群４５０とを備える。原稿台４１０は、ガラス等の透光性の部材からなり、平坦な両主面を備える。原稿押さえ４２０は、原稿台４１０に載置された原稿Ｍを平坦に押さえつけ、遮光を行う。撮像装置４３０は、原稿台４１０全体を含む全体画像ＩＷＯを撮像すると同時に、複数の部分領域に分割された部分領域を含む範囲ごとに高解像度の部分画像ＩＰを撮像できるように構成される。また、撮像装置４３０は、全体画像を撮像するときの光軸が、原稿台４１０に垂直となるように設置される。
【０１２５】
次に、撮像装置４３０について図２５の断面図を参照しながら説明する。ただし、第４の実施形態に係る撮像装置４３０の構成の大部分は、第２の実施形態に係る撮像装置２１０と同様である。このため、同様の構成は同一の参照番号を付して重複説明を省略し、異なる部分のみを説明する。
【０１２６】
撮像装置４３０は、第２の実施形態に係る撮像装置２１０の構成に加えて、原稿台４１０に載置された原稿Ｍの全体に光を照射するランプ（照明手段）４３１を備える。ランプ４３１は、第１イメージセンサ１１４または第２イメージセンサ１１５が原稿Ｍを撮像中に、原稿に光を照射する。照射された光は原稿Ｍによって反射される。第１イメージセンサ１１４または第２イメージセンサ１１５がこの反射光を光電変換することにより、撮像装置４３０が原稿Ｍを撮像することが可能である。イメージセンサユニット２１２における変倍倍率Ｚは制限されないが、約２倍であるとして以下の説明を行う。
【０１２７】
撮像装置４３０の上記の構成により、第１イメージセンサ１１４では上述の部分画像ＩＰを撮像可能になり、第２イメージセンサ１１５では上述の全体画像ＩＷＯを撮像可能になる。さらに、部分画像ＩＰの撮像範囲は、イメージセンサユニット２１２をｙｚ面内で移動することにより変化させることが可能である。
【０１２８】
続いて、制御部４４０の構成を図２６のブロック図を参照しながら説明する。制御部４４０は、各種の演算処理を行うＣＰＵ４４７を備える。ＣＰＵ４４７は、信号の送受信を行うデータバス４４９を介して、ランプＩ／Ｆ４４１、部分画像入力Ｉ／Ｆ４４２と、全体画像入力Ｉ／Ｆ４４３と、イメージセンサユニット駆動機構Ｉ／Ｆ４４４と、位置センサＩ／Ｆ４４５と、データ入出力Ｉ／Ｆ４４６とに接続される。ランプＩ／Ｆ４４１は、撮像装置４３０のランプ４３１に接続され、ランプ４３１にランプ制御信号ＦＬを出力してランプ４３１を発光させる機能を持つ。部分画像入力Ｉ／Ｆ４４２は、制御部１１６に接続され部分画像ＩＰを取得する。全体画像入力Ｉ／Ｆ４４３は、制御回路１１７に接続され、全体画像ＩＷＯを取得する。イメージセンサユニット駆動機構Ｉ／Ｆ４４４は、イメージセンサユニット駆動機構２１３に接続され、イメージセンサユニット駆動機構２１３を制御する制御信号Ｃを出力する。位置センサＩ／Ｆ４４５は、位置センサ２１４に接続され、位置センサ２１４から出力された左右位置ｙおよび上下位置ｚを取得する。データ入出力Ｉ／Ｆ４４６は、コンピュータ４９０に接続され、コンピュータ４９０からの制御信号を受信し、取得した画像をコンピュータ４９０に出力する。
【０１２９】
さらに、ＣＰＵ４４７は、データバス４４９を介してメモリ４４８に接続される。メモリ４４８の記憶領域には、図２７に示すように各種データの記憶領域が設定される。具体的には、以下の（１）〜（６）の記憶領域が設定される。
（１）プログラムメモリ４４８ａ：ＣＰＵ４４７の動作を規定するプログラムを記憶する。
（２）ワークメモリ４４８ｂ：ＣＰＵ４４７の処理途上で一時的に記憶する必要があるデータを記憶する。
（３）位置メモリ４４８ｃ：位置センサ２１４の左右位置ｙおよび上下位置ｚを記憶する。
（４）全体画像メモリ４４８ｄ：原稿Ｍの全体画像ＩＷＯを記憶する。
（５）部分画像メモリ４４８ｅ：原稿Ｍのそれぞれの部分画像ＩＰを記憶する。（６）合成全体画像メモリ４４８ｆ：各部分画像を合成した合成全体画像ＩＣを記憶する。
【０１３０】
＜４−２．動作＞
スキャナシステム４の操作者がコンピュータ４９０を操作して、スキャニング開始の指示をスキャナ装置４００へ与えると、制御部４４０が撮像装置４３０を制御して撮像が開始される。
【０１３１】
まず、ランプ制御信号ＦＬがランプＩ／Ｆ４４１から出力され、ランプ４３１が発光する。続いて、全体画像入力Ｉ／Ｆ４４３によって、全体画像ＩＷＯが取得され、メモリ４４８ｄに記憶される。同時に、部分画像ＩＰの取得が以下の手順で行われる。
【０１３２】
まず、図２８のように、原稿Ｍの第１部分画像ＩＰＡに対応する領域が撮像範囲となるように、イメージセンサユニット２１２がイメージセンサユニット駆動機構２１３によって移動させられる。駆動方法は、第２の実施形態と同様である。移動完了後、部分画像入力Ｉ／Ｆ４４２によって第１部分画像ＩＰＡが取得されて、部分画像メモリ４４８ｅに記憶される。同様にして、部分領域Ｂ、Ｃ、Ｄに対応する第２部分画像ＩＰＢ、第３部分画像ＩＰＣ、第４部分画像ＩＰＤが部分画像メモリ４４８ｅに記憶される。なお、上記の例では、分割数を４としたが、イメージセンサユニット２１２の変倍倍率Ｚが変化した場合、分割数を変更する。たとえば、変倍倍率Ｚが３倍の場合、３×３＝９分割とする。また、後述する合成処理のために、各部分画像ＩＰはオーバーラップ領域ＲＯを有する。
【０１３３】
撮像終了後、ランプ制御信号ＦＬが停止して、ランプ４３１の発光が停止する。
【０１３４】
上述の全体画像ＩＷＯ、部分画像ＩＰＡ、ＩＰＢ、ＩＰＣ、ＩＰＤは、特開平１１−１９６３１７号公報の図８におけるＧ、ＧＡ、ＧＢ、ＧＣ、ＧＤ、および特開平１１−１９６３１８号公報の図５におけるＧ、ＧＡ、ＧＢ、ＧＣ、ＧＤに対応する。したがって、特開平１１−１９６３１７号公報および特開平１１−１９６３１８号公報と同様の方法で合成全体画像ＩＣを作成することができる。
【０１３５】
たとえば、まず、各部分画像ＩＰＡ、ＩＰＢ、ＩＰＣ、ＩＰＤを全体画像ＩＷＯを基準に幾何学的に変形（平行移動、回転移動、拡大／縮小等）する。より具体的には、全体画像ＩＷＯに含まれる複数の特徴点（特定の幾何学的図形やエッジ部分）が抽出され、各部分画像ＩＰＡ、ＩＰＢ、ＩＰＣ、ＩＰＤに含まれる対応する特徴点との一致度が最も大きくなるように、各部分画像ＩＰＡ、ＩＰＢ、ＩＰＣ、ＩＰＤが幾何学的に変形される。
【０１３６】
次に、上述の特徴点との一致度が最も大きくなる位置に、幾何学的に変形された各部分画像ＩＰＡ、ＩＰＢ、ＩＰＣ、ＩＰＤが配置されたのち、１枚の合成全体画像ＩＣとして合成される。
【０１３７】
上述の合成処理においては、複数の部分領域が重なったオーバーラップ領域ＲＯには、重なった複数の部分領域の画像を幾何学的に変形した画像を、所定の重み係数で加重平均した画像を用いる。オーバーラップ領域ＲＯ以外の領域は、各部分領域の画像を幾何学的に変形した画像をそのまま使用する。
【０１３８】
上記の合成処理はメモリ４４８に記憶されたプログラムに基づいてＣＰＵ４４７で行われる。
【０１３９】
作成された合成全体画像ＩＣは、データ入出力Ｉ／Ｆ４４６を介してコンピュータ４２０へ出力される。
【０１４０】
第４の実施形態によれば、全体画像と高解像度の部分画像を同時に取得できるので、高解像かつひずみの少ない合成全体画像を短時間で撮像可能となる。
【０１４１】
＜変形例＞
撮像範囲からの光束φは、３以上の光束に分割されていてもよい。この場合、それぞれの光束の倍率を相互に異なるものとしてもよく、第１光束は全体画像の撮像に使用し、それ以外の光束（第２光束、第３光束…）は異なる全体画像のうちの異なる部分領域を撮像するために使用してもよい。
【０１４２】
第２または第３の実施形態では、イメージセンサの移動は１次元または２次元であったが、これを３次元的に可動としてもよい。これにより、雲台がなくても望遠画像の撮像範囲を変更することができるとともに変倍倍率も変更可能な撮像装置を得ることが可能である。
【０１４３】
また、第４の実施形態においても、イメージセンサはｙｚ面内の２次元面内で移動可能であったが、これを３次元的に移動可能としてもよい。これにより、変倍倍率を変更することが可能となるため、用途に応じて部分領域への分割数を変更可能となる。また、原稿の大きさが変化しても明瞭な画像を取得可能となる。
【０１４４】
◎なお、上述の具体的な実施の形態には、以下の構成を備える発明が含まれている。
【０１４５】
（１）　撮像範囲に侵入した物体を追尾して撮像する追尾システムであって、
請求項１または請求項３に記載の撮像装置と、
前記撮像装置における第２撮像手段の撮像範囲内に侵入した物体を検出する物体検出手段と、
前記物体のうち追尾対象とする追尾対象物体を決定する追尾対象決定手段と、
前記撮像装置の姿勢を変化させる姿勢駆動機構と、
を備え、
前記追尾対象物体が前記撮像装置における前記第１撮像手段の撮像範囲内に含まれるように、前記姿勢駆動機構が前記撮像装置の姿勢を変化させることを特徴とする追尾システム。
【０１４６】
（２）　上記（１）に記載の追尾システムであって、
前記第２撮像手段が撮像した画像上の前記追尾対象物体の位置および前記撮像装置の撮像時の姿勢に基づいて、前記姿勢駆動機構が前記撮像装置の姿勢を変化させることを特徴とする追尾システム。
【０１４７】
（３）　撮像範囲に侵入した物体を追尾して撮像する追尾システムであって、
請求項２に記載の撮像装置と、
前記撮像装置における第２撮像手段の撮像範囲内に侵入した物体を検出する物体検出手段と、
前記物体のうち追尾対象とする追尾対象物体を決定する追尾対象決定手段と、を備え、
前記追尾対象物体が前記撮像装置における前記第１撮像手段の撮像範囲内に含まれるように、前記ユニット駆動機構が前記光束取得手段と前記ユニットとの相対位置を変化させることを特徴とする追尾システム。
【０１４８】
（４）　上記（３）に記載の追尾システムであって、
前記第２撮像手段が撮像した画像上の前記追尾対象物体の位置に基づいて、前記ユニット駆動機構が前記光束取得手段と前記ユニットとの相対位置を変化させることを特徴とする追尾システム。
【０１４９】
上記（１）および（２）の発明によれば、広範囲の領域を撮像しつつ、監視対象の物体を高解像度で撮像可能な監視システムを実現することができる。
【０１５０】
上記（３）および（４）の発明によれば、撮像装置全体の姿勢を変化させる姿勢駆動機構が不要となるので、監視システムをより小型化することが可能である。
【０１５１】
【発明の効果】
請求項１ないし請求項３の発明によれば、異なる倍率で同時に撮像を行うことが可能であって、比較的画素数が少ない撮像素子を用いた場合であっても、広範囲の撮像と高い分解能の撮像とを短時間で実現することができる。
【０１５２】
請求項２の発明によれば、撮像装置全体を回動する雲台がなくても、撮像範囲を変化させることが可能となるので、撮像装置の小型化、低コスト化を実現できる。
【０１５３】
請求項３の発明によれば、変倍倍率を変更できるので、撮像対象をより明瞭に撮像することが可能である。
【０１５４】
請求項４の発明によれば、広範囲の領域を撮像しつつ、監視対象の物体を高解像度で撮像可能な監視システムを実現することができる。
【０１５５】
請求項５の発明によれば、ひとつの撮像装置によって全体画像と高分解能の各部分画像とを取得し、その全体画像に基づいて各部分画像を合成するという構成となっているため、過大なデータ量を要せずに、部分画像を正確につなぎ合わせることが可能であり、高分解能な合成画像を得ることができる。
【図面の簡単な説明】
【図１】監視システム１の全体構成を説明する図である。
【図２】撮像装置１１０の構成を説明する断面図である。
【図３】画像処理装置１３０の構成を説明するブロック図である。
【図４】メモリ１３７の記憶領域を説明する図である。
【図５】監視システム１の動作を説明するフローチャートである。
【図６】追尾対象物体を決定する方法を説明するフローチャートである。
【図７】背景マップＢＭの作成方法を説明する図である。
【図８】擬似背景画像ＩＴＭＰの作成方法を説明する図である。
【図９】入力画像の一例を示す図である。
【図１０】擬似背景画像の一例を示す図である。
【図１１】２値化画像の一例を示す図である。
【図１２】マークＭＫの一例を示す図である。
【図１３】監視システム２の全体構成を説明する図である。
【図１４】撮像装置２１０の構成を説明する図である。
【図１５】画像処理装置２３０の構成を説明するブロック図である。
【図１６】メモリ２３７の記憶領域を説明する図である。
【図１７】監視システム２の動作を説明するフローチャートである。
【図１８】監視システム３の全体構成を説明する図である。
【図１９】撮像装置３１０の構成を説明する図である。
【図２０】画像処理装置２３０の構成を説明するブロック図である。
【図２１】メモリ３３７の記憶領域を説明する図である。
【図２２】監視システム３の動作を説明するフローチャートである。
【図２３】変倍倍率を決定するパラメータの算出方法を説明する模式図である。
【図２４】スキャナシステム４の全体構成を説明する斜視図である。
【図２５】撮像装置４３０の構成を説明する断面図である。
【図２６】制御部４４０の構成を説明するブロック図である。
【図２７】メモリ４４８の記憶領域を説明する図である。
【図２８】全体画像ＩＷＯおよび部分画像ＩＰＡ、ＩＰＢ、ＩＰＣ、ＩＰＤの撮像範囲を説明する模式図である。
【符号の説明】
１１１　対物レンズ
１１２　ビームスプリッタ
１１３　リレーレンズ
１１４　第１イメージセンサ
１１５　第２イメージセンサ
１１６、１１７　制御回路
１２１　旋回俯仰機構
１２２　角度センサ
１３２　画像入力Ｉ／Ｆ
１３３　旋回俯仰機構Ｉ／Ｆ
１３４　角度センサＩ／Ｆ
１３５　画像出力Ｉ／Ｆ
１３６　追尾物体指示手段Ｉ／Ｆ
１４０　第１ディスプレイ
１５０　第２ディスプレイ
２２０　支持台
２１１　容器
２１２　イメージセンサユニット
２１３　イメージセンサユニット駆動機構
２１４　位置センサ
２３３　イメージセンサ駆動機構Ｉ／Ｆ
２３４　位置センサＩ／Ｆ
３１１　イメージセンサ駆動機構
３１２　距離センサ
３３１　イメージセンサ駆動機構Ｉ／Ｆ
３３２　距離センサＩ／Ｆ
４００　スキャナ装置
４１０　原稿台
４２０　原稿押さえ
４３０　撮像装置
４４０　制御部
４３１　ランプ
４４１　ランプＩ／Ｆ
４４２　部分画像入力Ｉ／Ｆ
４４３　全体画像入力Ｉ／Ｆ
４４４　イメージセンサユニット駆動機構Ｉ／Ｆ
４４５　位置センサＩ／Ｆ
４４６　データ入出力Ｉ／Ｆ
４５０　操作ボタン群
４９０　コンピュータ
ＯＢ　物体
ＶＷ　広角撮像範囲
ＶＴ　望遠撮像範囲
Ｃ　制御信号
ＯＳ　追尾対象指示信号
ＩＷ　広角画像
ＩＴ　望遠画像
ＩＷＯＵＴ　広角画像
ＩＢ　背景画像
ＢＭ　背景マップ
ＩＴＭＰ　擬似背景画像
ＺＭ　制御信号
Ｒ　領域
ＭＫ　検出マーク
Ｍ　原稿
ＩＷＯ　全体画像
ＩＰ　部分画像
ＩＣ　合成全体画像
ＦＬ　ランプ制御信号
ＩＰＡ、ＩＰＢ，ＩＰＣ、ＩＰＤ　部分画像
ＲＯ　オーバーラップ領域

Claims

撮像装置であって、
撮像範囲からの入射光束を取り入れる光束取得手段と、
前記入射光束を複数の光路の光束に分割する光束分割手段と、
前記複数の光束のうち、第１の光束を変倍する変倍手段と、
前記変倍手段によって変倍された第１の光束を使用して撮像する第１撮像手段と、
前記複数の光束のうち、第２の光束を使用して撮像する第２撮像手段と、
を備えることを特徴とする撮像装置。
請求項１に記載の撮像装置であって、
前記変倍手段および前記第１撮像手段がユニットとして一体化されており、
前記入射光束の光軸と垂直方向に前記ユニットを移動するユニット駆動機構をさらに備え、
前記ユニット駆動機構が、前記光束取得手段と前記ユニットとの相対位置を変化させることによって、前記第１撮像手段の撮像範囲を変化させることを特徴とする撮像装置。
請求項１または請求項２に記載の撮像装置であって、
前記変倍手段は像を拡大するリレーレンズ群を備え、
前記第１撮像手段を前記入射光束の光軸方向に移動する撮像手段駆動機構をさらに備え、
前記撮像手段駆動機構が前記リレーレンズ群と前記第１撮像手段との距離を変化させることによって変倍倍率を変化させることを特徴とする撮像装置。
撮像範囲に侵入した物体を追尾して撮像する追尾システムであって、
請求項１ないし請求項３のいずれかに記載の撮像装置と、
前記撮像装置における前記第２撮像手段の撮像範囲内に侵入した物体を検出する物体検出手段と、
前記物体のうち追尾対象とする追尾対象物体を決定する追尾対象決定手段と、
前記追尾対象物体が、前記撮像装置における前記第１撮像手段の撮像範囲内に含まれるように前記第１撮像手段の撮像範囲を移動させる撮像範囲移動手段と、を備えることを特徴とする追尾システム。
原稿上の画像を撮像して電子的な画像データに変換するスキャナであって、
請求項１ないし請求項３のいずれかに記載の撮像装置と、
前記撮像装置の前記第１撮像手段が撮像した、前記原稿の各部分画像を記憶する第１記憶手段と、
前記撮像装置の前記第２撮像手段が撮像した、前記原稿の全体画像を記憶する第２記憶手段と、
前記各部分画像から全体合成画像を合成する画像合成手段と、
を備え、
前記画像合成手段は、前記全体画像に基づいて前記各部分画像を合成することを特徴とするスキャナ。