JP2010016659A - 撮像装置 - Google Patents

Abstract

【課題】２つのカメラを組み合わせて使用しなくても、高い感度で広角撮影と高倍率撮影を行なうことができる撮像装置を提供する。
【解決手段】本発明に係る撮像装置は、広角の撮像レンズ１０と、撮像レンズ１０を通して入射する光の光軸上に配置された第１の撮像センサ１１と、第１の撮像センサ１１と異なる位置に配置された第２の撮像センサ１４と、光を反射する反射面１３を有し、当該反射面１３を用いて、被写体からの光を第１の撮像センサ１１と第２の撮像センサ１４に選択的に入射させる反射部材１２と、被写体からの光を第１の撮像センサ１１に入射させる第１の位置と被写体からの光を第２の撮像センサ１４に入射させる第２の位置との間で反射部材１２を移動させる反射部材移動手段とを備える。
【選択図】図１

Description

本発明は、撮像装置に関する。詳しくは、広角撮影と高倍率撮影（ズーム撮影）を切り替え可能な撮像装置に関する。

監視カメラでは広角撮影が必要とされている。一つのイメージセンサで広角撮影をする方法として、魚眼レンズを用いたカメラや、球面ミラーを使った全方位カメラがある（非特許文献１）。注目領域を拡大表示させる場合、通常はデジタルズームが用いられる。ただし、デジタルズームは、倍率が高くなると解像度が低下するという問題がある。

そこで、２つのカメラを連動させて、一つは広角監視をし続け、もう一つのカメラは検出領域に対して、メカニカルにパン・チルト・ズームを行なうことで、対象物を拡大監視する方式がある。この方式では、拡大監視するカメラが光学式のズームであるため、解像度の低下が生じない。また従来では、撮影対象物の光像をハーフミラー等分光器で分割して、一方の光像を固定センサに、他方の光像を可動センサに入射する方式も知られている（特許文献１）。

シャープセミコンダクタ株式会社、製品情報、２００万画素全方位カメラ、［平成２０年５月２０日検索］、＜URL：http://www2.sharp.co.jp/docs1/ssc/products/camera/hp/cate01.html＞ 特開２００２−３３５４３５号公報

しかしながら、２つのカメラを連動させる方式では、監視カメラシステムとして構成が煩雑であり、コストが高くなる。また、分光器を用いる方式では、原理的に、分光器での光の吸収を考慮すると、各々のセンサに入射する光量が４０％程度に低下してしまう。このことは監視カメラにおいて、非常に大きな問題である。なぜなら、監視カメラでは、暗いところでの変化を捉えることが重要な性能となるからである。

本発明は、２つのカメラを組み合わせて使用するシステムよりも簡単な構成で、かつハーフミラー等の分光器を使う場合よりも高感度に、広角撮影と高倍率撮影を行なうことができる仕組みを提供することを目的とする。

本発明は、第１の撮像センサと、前記第１の撮像センサと異なる位置に配置された第２の撮像センサと、光を反射する反射面を有し、当該反射面を用いて、被写体からの光を前記第１の撮像センサと前記第２の撮像センサとに選択的に入射させる反射部材と、被写体からの光を前記第１の撮像センサに入射させる第１の位置と被写体からの光を前記第２の撮像センサに入射させる第２の位置との間で前記反射部材を移動させる反射部材移動手段とを備える撮像装置に係るものである。

この撮像装置においては、反射部材の反射面を利用して、被写体からの光を第１の撮像センサと第２の撮像センサに選択的に入射させることにより、第１の撮像センサを用いた第１の撮影モードと、第２の撮影センサを用いた第２の撮影モードで、被写体の撮影を行なうことが可能となる。また、第１の位置と第２の位置との間で反射部材移動手段により反射部材を移動させることにより、入射光量を低下させることなく、撮影モードの切り替えを行なうことが可能となる。したがって、第１の撮像センサを広角撮影に使用し、第２の撮像センサを高倍率撮影に使用することで、高い感度で広角撮影と高倍率撮影を行なうことが可能となる。

また本発明は、被写体からの光が入射する位置に配置された撮像センサと、前記撮像センサを入射光の光軸と直交する方向に移動させるセンサ移動手段と、前記撮像センサによる撮影倍率を変更するためのズームレンズと、前記撮影倍率を変更すべく前記ズームレンズを駆動するレンズ駆動手段とを備える撮像装置に係るものである。

この撮像装置においては、被写体からの光がそのまま撮像センサに入射するため、入射光量の低下が生じない。また、ズームレンズをレンズ駆動手段で駆動して、撮像センサによる撮影倍率を変更することにより、１つの撮像センサで広角撮影と高倍率撮影に対応することが可能となる。したがって、１つの撮像センサを用いて、高い感度で広角撮影と高倍率撮影を行なうことが可能となる。また、センサ移動手段で撮像センサを移動させることにより、被写体中の移動体を追尾することが可能となる。

また本発明は、被写体からの光が入射する位置に配置された第１の撮像センサと、前記第１の撮像センサと異なる位置に配置された第２の撮像センサと、前記第１の撮像センサに入射する光の光路を遮る状態に配置され、前記被写体からの光のうち、一部の光を前記第１の撮像センサ側に透過させるとともに、他の光を前記第２の撮像センサ側に反射させる光変調素子と、前記光変調素子の光透過率を変更する透過率変更手段とを備える撮像装置に係るものである。

この撮像装置においては、光変調素子の光透過率を透過率変更手段で変更することにより、被写体からの光を、第１の撮像センサ側に、より多く透過させたり、第２の撮像センサ側に、より多く反射させたりすることが可能となる。このため、第１の撮像センサを用いた第１の撮影モードでは、第２の撮像センサよりも多くの光を第１の撮像センサに入射させることが可能となる。また、第２の撮像センサを用いた第２の撮影モードでは、第１の撮像センサよりも多くの光を第２の撮像センサに入射させることが可能となる。したがって、第１の撮像センサを広角撮影に使用し、第２の撮像センサを高倍率撮影に使用することで、高い感度で広角撮影と高倍率撮影を行なうことが可能となる。

本発明に係る撮像装置によれば、２つのカメラを組み合わせて使用しなくても、高い感度で広角撮影と高倍率撮影を行なうことができる。このため、監視カメラシステムの小型化と低コスト化を図ることができる。

以下、本発明の具体的な実施の形態について図面を参照しつつ詳細に説明する。なお、本発明の技術的範囲は以下に記述する実施の形態に限定されるものではなく、発明の構成要件やその組み合わせによって得られる特定の効果を導き出せる範囲において、種々の変更や改良を加えた形態も含む。

本発明に係る撮像装置は、例えば、防犯等を目的として、屋内や屋外に設置される監視カメラシステムなどに用いられるものである。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る撮像装置の構成を示す概略図である。図１においては、被写体からの光が撮像レンズ１０を通して入射する仕組みになっている。本書で記述する「被写体」とは、撮像装置の撮像レンズ１０を向けたときに、当該撮像レンズ１０を通して撮像装置に撮像される範囲に含まれるすべてのものをいう。撮像レンズ１０は、レンズの種類を標準、広角、望遠の３つに分けると、広角レンズに該当するものである。撮像レンズ１０としては、できるだけ広い範囲を対象にして監視撮影を行えるように、例えば画角が９０度〜１８０度程度の魚眼レンズを用いる。

撮像レンズ１０を通して入射する光の光軸上には第１の撮像センサ１１が配置されている。第１の撮像センサ１１は、例えばＣＣＤ(Charge Coupled Device)イメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子を用いて構成されるものである。第１の撮像センサ１１の受光面には、光電変換機能を有する多数の画素が所定の配列（例えば、マトリクス状の配列）で二次元的に配置されている。第１の撮像センサ１１の受光面は、入射光の光軸上で撮像レンズ１０と対向する状態に配置されている。撮像レンズ１０と第１の撮像センサ１１は、入射光の光軸上に、共に固定された状態で設けられている。このため、撮像レンズ１０から第１の撮像センサ１１に至る光路長は一定となっている。撮像レンズ１０から第１の撮像センサ１１に至る光路の途中には反射部材１２が配置されている。反射部材１２の一方の面は、光を反射する反射面１３となっている。本発明の第１の実施の形態においては、反射部材１２の反射面１３が、光を全反射する鏡面となっている。

反射部材１２は、反射面１３での光の反射を利用して、被写体からの光を第１の撮像センサ１１と後述する第２の撮像センサ１４に選択的に入射させるものである。反射部材１２は、撮像レンズ１０から第１の撮像センサ１１に至る光路から離間した第１の位置（図中、実線で示す位置）と、当該光路を遮る第２の位置（図中、破線で示す位置）との間で、後述する反射部材移動手段により、移動可能に支持されている。反射部材１２の移動は、板状をなす反射部材１２の一辺部を中心とした回転動作により行なわれる。

反射部材１２を第１の位置に配置した状態では、反射部材１２の反射面１３が入射光の光軸（撮像レンズ１０から第１の撮像センサ１１に至る光路）と平行に配置される。このため、第１の位置に反射部材１２を配置した状態では、被写体からの光が撮像レンズ１０を通して第１の撮像センサ１１に入射することになる。

一方、反射部材１２を第２の位置に配置した状態では、反射部材１２の反射面１３が入射光の光軸に対して所定の傾斜角度（図例では斜め４５度の角度）で傾いて配置される。図例では第１の位置で反射部材１２が水平な姿勢に配置され、第２の位置ではそこから４５度傾いた姿勢になっている。このため、第２の位置に反射部材１２を配置した状態では、撮像レンズ１０を通して入射した被写体の光が反射部材１２の反射面１３で直角に折れ曲がるように反射される。ただし、反射部材１２による光の反射角度は、直角に限らず、鋭角であっても、鈍角であってもよい。その理由は後段で記述する。

反射部材１２と対向する位置には第２の撮像センサ１４が配置されている。第２の撮像センサ１４は、例えば上記第１の撮像センサ１１と同様に、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子を用いて構成されるものである。第２の撮像センサ１４の受光面には、光電変換機能を有する多数の画素が所定の配列（例えば、マトリクス状の配列）で二次元的に配置されている。第２の撮像センサ１４の受光面は、反射部材１２によって反射される反射光の光軸上で後述するズームレンズ１５と対向する状態に配置されている。ただし、イメージセンサの特性は、第１の撮像センサ１１と第２の撮像センサ１４で変えた方が好ましい。具体的には、イメージセンサの解像度特性に関しては、第２の撮像センサ１４を第１の撮像センサ１１よりも高解像度とすることが好ましい。また、イメージセンサの感度特性に関しては、第２の撮像センサ１４を第１の撮像センサ１１よりも高感度とすることが望ましい。このようにすることによって、撮像レンズ１０を通して第１の撮像センサ１１で広角に広い領域を監視した後に、第２の撮像センサ１４で部分的に監視をする際に、暗所でも鮮明な画像出力が得られるようになる。

第２の撮像センサ１４は、第１の撮像センサ１１と異なる位置に配置されるものである。ここでは一例として、第１の撮像センサ１１と９０度向きを変えた位置に第２の撮像センサ１４が配置されている。すなわち、図１においては、第１の撮像センサ１１が垂直な向きで配置され、第２の撮像センサ１４は水平な向きで配置されている。第２の撮像センサ１４は、撮像レンズ１０から第１の撮像センサ１１に至る光路を間に挟んで、第１の位置に配置された反射部材１２の反射面１３と対向（対面）する状態に配置されている。第２の撮像センサ１４は、反射部材１２を第２の位置に配置した場合に、当該反射部材１２の反射面１３で反射（全反射）される反射光の光軸上に配置されている。

このため、反射部材１２が第１の位置に存在するときは、被写体からの光が第１の撮像センサ１１に入射することになり、反射部材１２が第２の位置に存在するときは、被写体からの光が第２の撮像センサ１４に入射することになる。ちなみに、反射部材１２による光の反射角度を鋭角又は鈍角とした場合は、それに応じて第２の撮像センサ１４を配置する位置を変えればよい。また、撮像レンズ１０を通して入射する光の光軸に対して、ある角度で傾けた反射部材１２の反射面１３で反射させた光を第１の撮像センサ１１に入射させ、それと別の角度で傾けた反射部材１２の反射面１３で反射させた光を第２の撮像センサ１４に入射させてもよい。

第２の撮像センサ１４の前段部分（光の入射側）にはズームレンズ１５が配置されている。ズームレンズ１５は、後述するレンズ駆動手段により、第２の撮像センサ１４と接近離間する方向に移動可能に設けられている。このため、ズームレンズ１５を移動させると、第２の撮像センサ１４とズームレンズ１５の間の焦点距離が変化する。したがって、ズームレンズ１５は、光学ズームの機能を実現するものとなる。ズームレンズ１５のズーム倍率は、レンズ構成に応じた所定の範囲内で、連続的にかつ任意の倍率に可変となっている。このズームレンズ１５の介在により、第２の位置に配置された反射部材１２の反射面１３で反射された光は、ズームレンズ１５を通して第２の撮像センサ１４に入射することになる。このため、同じ撮像レンズ１０を通して入射する光を受光するセンサ同士であっても、第１の撮像センサ１１は、第２の撮像センサ１４よりも被写体を広角に撮影し、第２の撮像センサ１４は、第１の撮像センサ１１よりも被写体を高倍率に撮影するものとなる。

第２の撮像センサ１４は、後述するセンサ移動手段によりにより、上記ズームレンズ１５を通して第２の撮像センサ１４に入射する光の光軸と直交する方向に移動可能に支持されている。センサ移動手段は、入射光軸に直交する平面内で、第２の撮像センサ１４をＸ方向及びＹ方向（直交二軸方向）に移動させるもので、例えばＸ−Ｙステージ機構を用いて構成される。第２の撮像センサ１４の撮影範囲は、センサ移動手段で第２の撮像センサ１４を移動させることにより、第１の撮像センサ１１の撮影範囲と同等に設定されている。

図２は本発明の第１の実施の形態に係る撮像装置の構成を示す機能ブロック図である。図２において、第１の撮像センサ１１から出力されるデジタルの画像信号と、第２の撮像センサ１４から出力されるデジタルの画像信号は、それぞれ個別にＤＳＰ（デジタル・シグナル・プロセッサ）１６に入力される構成となっている。ＤＳＰ１６は、各々の撮像センサ１１，１４から出力される画像信号を取り込んで信号処理するとともに、当該信号処理によって生成された画像信号（例えば、ＲＥＣ６５６等の映像信号）を外部機器（例えば、モニターなど）に出力するものである。また、ＤＳＰ１６は、予め与えられた制御用のアルゴリズムにしたがって、反射部材移動手段１７、センサ移動手段１８及びレンズ移動手段１９の駆動を個別に制御するものである。

図３は本発明の第１の実施の形態に係る撮像装置の撮影中のアルゴリズムを示すフローチャートである。このアルゴリズムは、ＤＳＰ１６によって実行されるものである。撮像装置の撮影モードには、第１の撮影モードと、第２の撮影モードがある。第１の撮影モードは、広角撮影モードであり、第２の撮影モードは、高倍率撮影モードである。広角撮影モードは、高倍率撮影モードよりも広い画角で撮影するモードである。高倍率撮影モードは、広角撮影モードよりも高い撮影倍率で撮影するモードである。高倍率撮影モードは、ズームレンズのズーム機能を用いて行なわれる。

まず、ＤＳＰ１６は、広角撮影モードで撮影を開始する。広角撮影モードでは、反射部材１２を第１の位置に配置した状態で、第１の撮像センサ１１を用いた広角撮影を行なうとともに、この広角撮影によって生成される画像信号を図示しない外部機器に出力する（ステップＳ１）。ここでは、外部機器として、モニターに画像信号を出力するものとする。

次に、ＤＳＰ１６は、第１の撮像センサ１１から出力される画像信号を時系列で順に取り込みつつ、第１のタイミングで取り込んだフレーム（一画面分の画像信号）とその次の第２のタイミングで取り込んだフレームの差分を求める（ステップＳ２）。フレームの差分は、新たなフレームを取り込むたびに求めることとする。

次に、ＤＳＰ１６は、上記ステップＳ２で求めたフレーム差分が予め設定された閾値以上であるかどうかを判定する（ステップＳ３）。本発明の第１の実施の形態では、第１の撮像センサ１１で広角撮影している被写体の中に移動物体が存在したときに、フレーム差分が閾値以上となる。閾値は、移動物体の存在を検出のために設定されるものである。閾値は、広角監視に無用な動きを検出しないように、例えば被写体に含まれる樹木の枝葉の僅かな揺れなどによって生じるフレーム差分よりも大きな値で設定される。

次に、ＤＳＰ１６は、上記ステップＳ３において、フレーム差分が閾値未満であれば、上記ステップＳ１に戻って広角撮影を継続させる。また、フレーム差分が閾値以上である場合は、被写体中に存在する移動物体の座標位置と当該移動物体の大きさ（面積）を演算する（ステップＳ４）。移動物体の座標位置は、例えば、第１の撮像センサ１１で撮影される被写体の撮影範囲に二次元の座標系（ＸＹ座標系）を設定し、この座標系の中で移動物体が存在する位置（Ｘ座標値、Ｙ座標値）を演算することにより求める。移動物体の大きさは、例えば、第１の撮像センサ１１で広角撮影に寄与する全画素数のうち、フレーム差分が生じた部分の画素数を計数することにより求める。

次に、ＤＳＰ１６は、上記ステップＳ４で求めた移動物体の座標位置に応じてセンサ移動手段１８を駆動することにより、第２の撮像センサ１４の撮影範囲の中心に移動物体が位置するように、第２の撮像センサ１４を移動させる（ステップＳ５）。第２の撮像センサ１４の移動は、予め設定された初期位置から開始する。ただし、移動物体の座標位置によっては、第２の撮像センサ１４を初期位置に配置したままにすることもあり得る。

次に、ＤＳＰ１６は、上記ステップＳ４で求めた移動物体の大きさに応じてレンズ移動手段１９を駆動することにより、移動物体の撮影サイズが所定サイズとなるように、ズームレンズ１５のズーム倍率（撮影倍率）を設定する（ステップＳ６）。ズーム倍率の設定方法としては、撮影の対象物となる移動物体の大きさに対して適当なのり白を持たせて、モニターの画面一杯に移動体を表示するようにＤＳＰ１６で計算する。当然ながら、小さい移動体を撮影する場合は高倍率となり、大きい移動体を撮影する場合は低倍率となる。また、ズーム倍率の設定は、予め設定された初期倍率からの変更によって行なう。ただし、移動物体の大きさによっては、ズーム倍率を初期倍率のままにすることもあり得る。移動物体の撮影サイズとは、撮像センサを用いて撮影される被写体の中に占める移動物体のサイズをいう。このため、同じ大きさの移動物体であっても、撮像センサで撮影するときの画角が広いほど（広角撮影になるほど）、移動物体の撮影サイズが小さくなる。

次に、ＤＳＰ１６は、反射部材移動手段１７を駆動することにより、反射部材１２を第１の位置から第２の位置へと移動させる（ステップＳ７）。これにより、撮像装置の撮像モードが、第１の撮像センサ１１を用いた広角撮影モードから、第２の撮像センサ１４を用いた高倍率撮影モードに切り替わる。反射部材１２の移動は瞬時に行なうことが望ましい。図４（Ａ）は第１の撮像センサ１１を用いて広角撮影モードを実行する場合の画角と表示サイズを示し、図４（Ｂ）は第２の撮像センサ１４を用いて高倍率撮影モードを実行する場合の画角と表示サイズを示している。図示のように同じ大きさの移動物体２０であっても、第１の撮像センサ１１で撮影される移動物体２０の撮影サイズと、第２の撮像センサ１４で撮影される移動物体２０の撮影サイズは、画角の違いによって変わる。

次に、ＤＳＰ１６は、第２の撮像センサ１４を用いて移動物体の追尾を開始する（ステップＳ８）。移動物体の追尾中は、被写体中の移動物体の撮影サイズが所定サイズとなるように、レンズ移動手段１９を適宜駆動して、第２の撮像センサ１４による撮影倍率を動的に変化させる。また、移動物体の追尾中は、第２の撮像センサ１４の撮影範囲の中心に移動物体が位置するように（移動物体を追尾するように）、センサ移動手段１８を適宜駆動して、第２の撮像センサ１４を移動させる。具体的には、図５に示すように、第２の撮像センサ１４で撮影される被写体の中で移動物体２０がＭ１矢視方向に移動した場合に、それに連動させて第２の撮像センサ１４をＭ２矢視方向に移動させる。これにより、移動物体２０の移動前と移動後で、第２の撮像センサ１４の撮影範囲の中心に移動物体２０をとらえることができる。

次に、ＤＳＰ１６は、高倍率撮影モードでの移動物体の追尾中に第２の撮像センサ１４から出力される画像信号を処理してモニターに出力する（ステップＳ９）。このとき、モニターの画面には、第１の撮像センサ１１を用いて撮影された被写体の中からフレーム差分によって検出された移動物体が背景と一緒に表示されることになる。

次に、ＤＳＰ１６は、第２の撮像センサ１４で追尾している移動物体の座標位置が予め設定された所定時間内に変化したかどうかを判定する（ステップＳ１０）。そして、所定時間内に移動物体の座標位置が変化した場合は、上記ステップＳ８に戻って移動物体の追尾を継続する。これに対して、所定時間が過ぎても移動物体の座標位置が変化しなかった場合は、反射部材移動手段１７を駆動することにより、反射部材１２を第２の位置から第１の位置へと移動させた後（ステップＳ１１）、上記ステップＳ１に戻る。これにより、撮像装置の撮像モードが、第２の撮像センサ１４を用いた高倍率撮影モードから、第１の撮像センサ１１を用いた広角撮影モードに切り替わる。したがって、この時点で第２の撮像センサ１４を用いた移動物体の追尾が終了し、再び広角撮影による監視状態に入る。

以降は、移動物体の検出状態に応じて、第１の撮像センサ１１を用いた広角撮影と、第２の撮像センサ１４を用いた高倍率撮影が繰り返されることになる。このため、移動物体の広角監視と、移動物体のズーム監視を適宜切り替えて行なうことができる。

なお、高倍率撮影モードで移動物体の座標位置が所定時間を超えて変化しない状況としては、具体的に次のような３つのケースが考えられる。第１のケースは、撮像センサの撮影範囲に存在する移動物体が長時間にわたって停止している場合である。第２のケースは、移動物体の動きが速いために、撮像センサでの追尾が間に合わずに見失ってしまった場合である。第３のケースは、移動物体が撮像センサの撮影範囲を超えて移動した場合である。

移動物体の追尾が終了した段階では、第２の撮像センサ１４の移動位置をセンサ移動手段１８の駆動により初期位置に戻すとともに、ズームレンズ１５のズーム倍率をレンズ移動手段１９の駆動により初期倍率に戻しておくことが望ましい。このように第２の撮像センサ１４の移動位置とズームレンズ１５のズーム倍率を初期状態に戻しておけば、高倍率撮影モードでの移動物体の追尾を常に同じ動作状態から開始することができる。

本発明の第１の実施の形態に係る撮像装置においては、被写体からの光を反射部材１２の反射面１３を利用して第１の撮像センサ１１と第２の撮像センサ１４に選択的に入射させる仕組みになっている。このため、第１の撮像センサ１１と第２の撮像センサ１４の双方に対して、被写体からの光を１００％又はそれに近い比率で入射させることができる。したがって、暗所で撮影する場合の感度を高めることができる。また、従来のように２つのカメラを組み合わせて使用するシステムでは、カメラの台数に応じて、光学系や信号処理系が２つ必要になるが、本発明の第１の実施の形態に係る撮像装置では、光学系や信号処理系が１つで済む。このため、システム構成を簡素化することができる。したがって、システムの小型化、低コスト化を図るうえで有利になる。また、第１の撮像センサ１１を用いた広角撮影においては、動き検出、顔検出などの処理を組み込むことにより、単純なフレーム差分だけではなく、高度な検出処理を実装することが可能である。

ところで、広角撮影モードで撮影された画像をモニターに表示する場合は、第１の撮像センサ１１を用いて撮影された画像をそのままモニター画面に表示すればよい。これに対して、高倍率撮影モードで撮影された画像をモニターの画面に表示する場合は、第２の撮像センサ１４を用いて撮影された画像をそのままモニター画面に表示しても、移動物体が監視エリアのどこに存在しているのか把握できない。なぜなら、第２の撮像センサ１４の移動による追尾動作や、ズームレンズ１５のズーム倍率の動的な変化により、移動物体は常にモニター画面に大きく映し出され、限られた領域の背景だけで移動物体の位置を特定することが困難となるためである。

そこで、本発明の第１の実施の形態においては、高倍率撮影モード時のモニター画面への画像の表示方式として、二画面表示方式、好ましくは、二画面表示方式の一つであるpicture in picture方式を採用することとする。二画面表示方式とは、二つの画面を並べて又は重ねて同時に表示する方式である。picture in picture方式とは、相対的に大きい親画面の上に、相対的に小さい子画面を重ねて表示する方式である。その場合、親画面は、モニターの画面全体に表示し、子画面は、親画面の四隅のいずれか一つに重ねて表示することが望ましい。

図６はpicture in picture方式を採用した場合の表示例を示す図である。なお、図６においては、被写体に含まれる背景の部分を省略して移動物体２０のみ表示している。図６（Ａ）に示す表示画面では、広角撮影モードで第１の撮像センサ１１により得られる移動物体２０-1の画像を表示している。図６（Ｂ）に示す表示画面では、高倍率撮影モードで第２の撮像センサ１４により得られる移動物体２０-2の画像を含む親画面の左下隅に、広角撮影モードで第１の撮像センサ１１により得られる移動物体２０-1の画像を含む子画面を表示している。図６（Ｃ）に示す表示画面では、上記同様に親画面の左下隅に子画面を表示している。ただし、図６（Ｂ）と図６（Ｃ）では、子画面に表示された移動物体２０-1の位置が異なっている。これは、追尾中に移動物体２０の動きに合わせて第２の撮像センサ１４をセンサ移動手段１８の駆動により移動させたときに、その移動量及び移動方向に応じて、子画面内で移動物体２０-1の表示位置を変えているためである。

広角撮影モードを行なう場合は、反射部材１２を第１の位置に移動させることで、第１の撮像センサ１１を用いた広角撮影を可能としている。また、高倍率撮影モードを行なう場合は、反射部材１２を第２の位置に移動させることで、第２の撮像センサ１４を用いた高倍率撮影を可能としている。このため、高倍率撮影を行なっているときは広角撮影が行なわれず、逆に、広角撮影を行っているときは高倍率撮影が行われない。つまり、２つのセンサ１１，１４を同時に使用して、広角撮影と高倍率撮影を同時に行なうことはできない仕組みになっている。このため、子画面に表示される移動物体の画像は、高倍率撮影モードに切り替える前（反射部材１２を第１の位置から第２の位置に移動させる前）に、第１の撮像センサ１１を用いて撮影されたものとなる。監視撮影においては、親画面に表示される移動物体２０-2の画像は、高倍率モード時に第２の撮像センサ１４を用いて撮影される移動物体の画像（実像）とする必要がある。これに対して、子画面に表示される移動物体２０-1の画像は、広角撮影モード時に第１の撮像センサ１１を用いて撮影された移動物体の画像としてもよいし、単なる抽象的なマーク等の画像としてもよい。

このような表示方式を採用すれば、移動物体の追尾中に、第２の撮像センサ１４によって得られる移動物体の詳細画像をリアルタイムに把握することができると共に、移動物体が監視エリアのどこに存在しているかをセンサの切り替えなしで把握することができる。

（第２の実施の形態）
図７は本発明の第２の実施の形態に係る撮像装置の構成を示す概略図である。図７においては、被写体からの光が撮像レンズ２１を通して入射する仕組みになっている。撮像レンズ２１としては、例えば、画角が１２０度の広角レンズを用いる。

撮像レンズ２１を通して入射する光の光軸上には撮像センサ２２が配置されている。撮像センサ２２は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子を用いて構成されるものである。撮像センサ２２の受光面には、光電変換機能を有する多数の画素が所定の配列（例えば、マトリクス状の配列）で二次元的に配置されている。撮像センサ２２の受光面は、入射光の光軸上で撮像レンズ２１と対向する状態に配置されている。撮像レンズ２１と撮像センサ２２は、入射光の光軸上に、共に固定された状態で設けられている。このため、撮像レンズ２１から撮像センサ２２に至る光路長は一定となっている。

撮像レンズ２１から撮像センサ２２に至る光路の途中にはズームレンズ２３が配置されている。撮像レンズ２１とズームレンズ２３の光学中心位置は互いに一致している。ズームレンズ２３は、後述するレンズ駆動手段により、撮像センサ２２と接近離間する方向に移動可能に設けられている。このため、ズームレンズ２３を移動させると、撮像センサ２２とズームレンズ２３の間の焦点距離が変化する。したがって、ズームレンズ２３は、光学ズームの機能を実現するものとなる。ズームレンズ２３のズーム倍率は、レンズ構成に応じた所定の範囲内で、連続的にかつ任意の倍率に可変となっている。このズームレンズ２３の介在により、被写体からの光は撮像レンズ２１とズームレンズ２３を順に通して撮像センサ２２に入射することになる。

撮像センサ２２は、後述するセンサ移動手段によりにより、上記ズームレンズ２３を通して撮像センサ２２に入射する光の光軸と直交する方向に移動可能に支持されている。センサ移動手段は、入射光軸に直交する平面内で、撮像センサ２２をＸ方向及びＹ方向（直交二軸方向）に移動させるもので、例えばＸ−Ｙステージ機構を用いて構成される。

図８は本発明の第２の実施の形態に係る撮像装置の構成を示す機能ブロック図である。図８において、撮像センサ２２から出力されるデジタルの画像信号は、ＤＳＰ（デジタル・シグナル・プロセッサ）２４に入力される構成となっている。ＤＳＰ２４は、撮像センサ２２から出力される画像信号を取り込んで信号処理するとともに、当該信号処理によって生成された画像信号（例えば、ＲＥＣ６５６等の映像信号）を外部機器（例えば、モニターなど）に出力するものである。また、ＤＳＰ２４は、予め与えられた制御用のアルゴリズムにしたがって、センサ移動手段２５及びレンズ移動手段２６の駆動を個別に制御するものである。

図９は本発明の第２の実施の形態に係る撮像装置の撮影中のアルゴリズムを示すフローチャートである。このアルゴリズムは、ＤＳＰ２４によって実行されるものである。

まず、ＤＳＰ２４は、広角撮影モードで撮影を開始する。広角撮影モードでは、ズームレンズ１５を用いた撮像センサ２２の撮影倍率（ズーム倍率）を１倍に設定し、撮像レンズ２１を通して１２０度の広角撮影を行なうとともに、この広角撮影によって生成される画像信号を図示しない外部機器に出力する（ステップＳ２１）。また、広角撮影モードでは、撮像センサ２２を予め設定された初期位置に移動させた状態で撮影を開始する。ここでは、外部機器として、モニターに画像信号を出力するものとする。

次に、ＤＳＰ２４は、撮像センサ２２から出力される画像信号を時系列で順に取り込みつつ、第１のタイミングで取り込んだフレーム（一画面分の画像信号）とその次の第２のタイミングで取り込んだフレームの差分を求める（ステップＳ２２）。フレームの差分は、新たなフレームを取り込むたびに求めることとする。

次に、ＤＳＰ２４は、上記ステップＳ２２で求めたフレーム差分が予め設定された閾値以上であるかどうかを判定する（ステップＳ２３）。本発明の第２の実施の形態では、撮像センサ２２で広角撮影している被写体の中に移動物体が存在したときに、フレーム差分が閾値以上となる。閾値は、移動物体の存在を検出のために設定されるものである。閾値は、広角監視に無用な動きを検出しないように、例えば被写体に含まれる樹木の枝葉の僅かな揺れなどによって生じるフレーム差分よりも大きな値で設定される。

次に、ＤＳＰ２４は、上記ステップＳ２３において、フレーム差分が閾値未満であれば、上記ステップＳ２１に戻って広角撮影を継続させる。また、フレーム差分が閾値以上である場合は、被写体中に存在する移動物体の座標位置と当該移動物体の大きさ（面積）を演算する（ステップＳ２４）。移動物体の座標位置は、例えば、撮像センサ２２で撮影される被写体の撮影範囲に二次元の座標系（ＸＹ座標系）を設定し、この座標系の中で移動物体が存在する位置（Ｘ座標値、Ｙ座標値）を演算することにより求める。移動物体の大きさは、例えば、撮像センサ２２で広角撮影に寄与する全画素数のうち、フレーム差分が生じた部分の画素数を計数することにより求める。

次に、ＤＳＰ２４は、上記ステップＳ２４で求めた移動物体の座標位置に応じてセンサ移動手段２５を駆動することにより、撮像センサ２２の撮影範囲の中心に移動物体が位置するように、撮像センサ２２を移動させる（ステップＳ２５）。撮像センサ２２の移動は、予め設定された初期位置から開始する。ただし、移動物体の座標位置によっては、撮像センサ２２を初期位置に配置したままにすることもあり得る。

次に、ＤＳＰ２４は、上記ステップＳ２４で求めた移動物体の大きさに応じてレンズ移動手段２６を駆動することにより、移動物体の撮影サイズが所定サイズとなるように、ズームレンズ２３のズーム倍率（撮影倍率）を設定する（ステップＳ２６）。ズーム倍率の設定方法としては、上記第１の実施の形態と同様に、撮影の対象物となる移動物体の大きさに対して適当なのり白を持たせて、モニターの画面一杯に移動体を表示するようにＤＳＰ２４で計算する。当然ながら、小さい移動体を撮影する場合は高倍率となり、大きい移動体を撮影する場合は低倍率となる。また、ズーム倍率の設定は、予め設定された初期倍率からの変更によって行なう。ここで設定されるズーム倍率（撮影倍率）は、初期倍率（本形態では１倍）よりも高い倍率となる。このため、ズーム倍率が変更された段階で、撮像装置の撮影モードが、広角撮影モードから高倍率撮影モードに切り替わることになる。

次に、ＤＳＰ２４は、撮像センサ２２を用いて移動物体の追尾を開始する（ステップＳ２７）。移動物体の追尾中は、被写体中の移動物体の撮影サイズが所定サイズとなるように、レンズ移動手段２６を適宜駆動して、撮像センサ２２による撮影倍率を動的に変化させる。また、移動物体の追尾中は、撮像センサ２２の撮影範囲の中心に移動物体が位置するように（移動物体を追尾するように）、センサ移動手段２５を適宜駆動して、撮像センサ２２を移動させる。

次に、ＤＳＰ２４は、高倍率撮影モードでの移動物体の追尾中に撮像センサ２２から出力される画像信号を処理してモニターに出力する（ステップＳ２８）。このとき、モニターの画面には、フレーム差分によって検出された移動物体が背景と一緒に表示されることになる。この場合も、上記第１の実施の形態と同様に、二画面表示方式（picture in picture方式）を採用することが可能である。

次に、ＤＳＰ２４は、撮像センサ２２で追尾している移動物体の座標位置が予め設定された所定時間内に変化したかどうかを判定する（ステップＳ２９）。そして、所定時間内に移動物体の座標位置が変化した場合は、上記ステップＳ２７に戻って移動物体の追尾を継続する。これに対して、所定時間が過ぎても移動物体の座標位置が変化しなかった場合は、センサ移動手段２５を駆動することにより、撮像センサ２２を初期位置に戻す（ステップＳ３０）。次いで、レンズ移動手段２６を駆動することにより、撮像センサ２２による撮影倍率を初期倍率に戻す（ステップＳ３１）。ステップＳ３０とステップＳ３１は、どちらを先に行なってもよいし、同時進行で行なってもよい。その後、上記ステップＳ２１に戻る。これにより、撮像装置の撮像モードが、高倍率撮影モードから広角撮影モードに切り替わる。

以降は、移動物体の検出状態に応じて、撮影倍率に初期倍率を適用した広角撮影と、撮影倍率に初期倍率よりも高い倍率を適用した高倍率撮影が繰り返されることになる。このため、移動物体の広角監視と、移動物体のズーム監視を適宜切り替えて行なうことができる。

本発明の第２の実施の形態に係る撮像装置においては、被写体からの光を撮像レンズ２１とズームレンズ２３を通して撮像センサ２２に入射させる仕組みになっている。このため、被写体からの光を１００％又はそれに近い比率で撮像センサ２２に入射させることができる。このため、暗所で撮影する場合の感度を高めることができる。また、上記第１の実施の形態と比較すると、１つの撮像センサで、広角撮影と高倍率撮影に対応することができる。このため、光学系の簡素化とセンサ個数の削減により、システムの小型化、低コスト化を図ることができる。

（第３の実施の形態）
図１０は本発明の第３の実施の形態に係る撮像装置の構成を示す概略図である。図１０においては、被写体からの光が撮像レンズ３０を通して入射する仕組みになっている。撮像レンズ３０としては、例えば画角が１２０度の広角レンズを用いる。

撮像レンズ３０を通して入射する光の光軸上には第１の撮像センサ３１が配置されている。第１の撮像センサ３１は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子を用いて構成されるものである。第１の撮像センサ３１の受光面には、光電変換機能を有する多数の画素が所定の配列（例えば、マトリクス状の配列）で二次元的に配置されている。第１の撮像センサ１３の受光面は、入射光の光軸上で撮像レンズ３０と対向する状態に配置されている。撮像レンズ３０と第１の撮像センサ３１は、入射光の光軸上に、共に固定された状態で設けられている。このため、撮像レンズ３０から第１の撮像センサ３１に至る光路長は一定となっている。

撮像レンズ３０から第１の撮像センサ３１に至る光路の途中には、板状の光変調素子３２が配置されている。光変調素子３２は、撮像レンズ３０を通して第１の撮像センサ３１に入射する光の光路を遮る状態に配置されている。光変調素子３２は、被写体からの光のうち、一部の光を透過し、他の光を反射するものである。光変調素子３２としては、例えば液晶パネルを用いる。液晶パネルは、光透過性を有する２枚の基板（一般的には透明なガラス基板）の間に液晶を封入したもので、液晶に電圧を印加することで光の透過率が変化する特性を有する。なお、光変調素子３２は、光の透過率と反射率の相対的な比率を変えられるものであれば、液晶パネル以外の光学素子を用いて構成してもよい。光変調素子３２の光透過率は、後述する透過率可変手段により、所定の範囲で変更可能となっている。光変調素子３２の光透過率を高くすると、当該光変調素子３２の光反射率が低くなり、逆に、光変調素子３２の光透過率を低くすると、当該光変調素子３２の光反射率が高くなる。このため、光変調素子３２の光透過率を変更するということは、相対的に光変調素子３２の光反射率を変更するということでもある。

光変調素子３２は、撮像レンズ３０を通して入射する光の光軸に対して所定の傾斜角度（図例では斜め４５度の角度）で傾いた状態に配置されている。このため、撮像レンズ３０を通して光変調素子３２に入射した光のうち、当該光変調素子３２で反射される光は、当該光変調素子３２の傾斜角度に応じて折れ曲がる。ここでは一例として、光変調素子３２が入射光の光軸に対して４５度の角度で傾いて配置されているため、光変調素子３２で反射される光は直角に折り曲がることになる。

光変調素子３２で反射される光の光軸上には、第２の撮像センサ３４が配置されている。第２の撮像センサ３４は、例えば上記第１の撮像センサ３１と同様に、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子を用いて構成されるものである。第２の撮像センサ３４の受光面には、光電変換機能を有する多数の画素が所定の配列（例えば、マトリクス状の配列）で二次元的に配置されている。第２の撮像センサ３４の受光面は、光変調素子３２によって反射される反射光の光軸上で後述するズームレンズ３５と対向する状態に配置されている。イメージセンサの特性は、第１の撮像センサ３１と第２の撮像センサ３４で変えた方が好ましい。具体的には、イメージセンサの解像度特性に関しては、第２の撮像センサ３４を第１の撮像センサ３１よりも高解像度とすることが好ましい。また、イメージセンサの感度特性に関しては、第２の撮像センサ３４を第１の撮像センサ３１よりも高感度とすることが望ましい。このようにすることによって、撮像レンズ３０を通して第１の撮像センサ３１で広角に広い領域を監視した後に、第２の撮像センサ３４で部分的に監視をする際に、暗所でも鮮明な画像出力が得られるようになる。第２の撮像センサ３４は、第１の撮像センサ３１と異なる位置に配置されるものである。ここでは一例として、第１の撮像センサ１１と９０度向きを変えた位置に第２の撮像センサ３４が配置されている。すなわち、図１０においては、第１の撮像センサ３１が垂直な向きで配置され、第２の撮像センサ３４は水平な向きで配置されている。

第２の撮像センサ３４の前段部分（光の入射側）にはズームレンズ３５が配置されている。ズームレンズ３５は、後述するレンズ駆動手段により、第２の撮像センサ３４と接近離間する方向に移動可能に設けられている。このため、ズームレンズ３５を移動させると、第２の撮像センサ３４とズームレンズ３５の間の焦点距離が変化する。したがって、ズームレンズ３５は、光学ズームの機能を実現するものとなる。ズームレンズ３５のズーム倍率は、レンズ構成に応じた所定の範囲内で、連続的にかつ任意の倍率に可変となっている。このズームレンズ３５の介在により、光変調素子３２で反射された光は、ズームレンズ３５を通して第２の撮像センサ３４に入射することになる。このため、同じ撮像レンズ１０を通して入射する光を受光するセンサ同士であっても、第１の撮像センサ３１は、第２の撮像センサ３４よりも被写体を広角に撮影し、第２の撮像センサ３４は、第１の撮像センサ３１よりも被写体を高倍率に撮影するものとなる。

第２の撮像センサ３４は、後述するセンサ移動手段によりにより、上記ズームレンズ３５を通して第２の撮像センサ３４に入射する光の光軸と直交する方向に移動可能に支持されている。センサ移動手段は、入射光軸に直交する平面内で、第２の撮像センサ３４をＸ方向及びＹ方向（直交二軸方向）に移動させるもので、例えばＸ−Ｙステージ機構を用いて構成される。第２の撮像センサ３４の撮影範囲は、センサ移動手段で第２の撮像センサ３４を移動させることにより、第１の撮像センサ３１の撮影範囲と同等に設定されている。

図１１は本発明の第３の実施の形態に係る撮像装置の構成を示す機能ブロック図である。図１１において、第１の撮像センサ３１から出力されるデジタルの画像信号と、第２の撮像センサ３４から出力されるデジタルの画像信号は、それぞれ個別にＤＳＰ（デジタル・シグナル・プロセッサ）３６に入力される構成となっている。ＤＳＰ３６は、各々の撮像センサ３１，３４から出力される画像信号を取り込んで信号処理するとともに、当該信号処理によって生成された画像信号（例えば、ＲＥＣ６５６等の映像信号）を外部機器（例えば、モニターなど）に出力するものである。また、ＤＳＰ３６は、予め与えられた制御用のアルゴリズムにしたがって、透過率可変手段３７、センサ移動手段３８及びレンズ移動手段３９の駆動を個別に制御するものである。

透過率可変手段３７は、光変調素子３２の光透過率を変更するものである。透過率可変手段３７は、電気的な操作によって光変調素子３２の光透過率を変更する。例えば、光変調素子３２を液晶パネルで構成した場合は、当該液晶パネルの液晶に印加する電圧を操作（制御）することにより、光変調素子３２の光透過率を変更する。このように電気的な操作によって光変調素子３２の光透過率を変更する構成とすれば、機械的な操作に比較して、光透過率の変更を素早く行なうことができる。ここでは一例として、透過率可変手段３７で変更可能な光変調素子３２の光透過率の最大値を８０％、最小値を２０％とする。

図１２は本発明の第３の実施の形態に係る撮像装置の撮影中のアルゴリズムを示すフローチャートである。このアルゴリズムは、ＤＳＰ３６によって実行されるものである。

まず、ＤＳＰ３６は、広角撮影モードで撮影を開始する。広角撮影モードでは、光変調素子３２の光反射率を最大値に設定した状態で、第１の撮像センサ３１を用いた広角撮影を行なうとともに、この広角撮影によって生成される画像信号を図示しない外部機器に出力する（ステップＳ４１）。この場合は、撮像レンズ３０を通して入射する被写体からの光の多くが、第１の撮像センサ３１に入射することになる。ここでは、外部機器として、モニターに画像信号を出力するものとする。

次に、ＤＳＰ３６は、第１の撮像センサ３１から出力される画像信号を時系列で順に取り込みつつ、第１のタイミングで取り込んだフレーム（一画面分の画像信号）とその次の第２のタイミングで取り込んだフレームの差分を求める（ステップＳ４２）。フレームの差分は、新たなフレームを取り込むたびに求めることとする。

次に、ＤＳＰ３６は、上記ステップＳ４２で求めたフレーム差分が予め設定された閾値以上であるかどうかを判定する（ステップＳ４３）。本発明の第３の実施の形態では、第１の撮像センサ３１で広角撮影している被写体の中に移動物体が存在したときに、フレーム差分が閾値以上となる。閾値は、移動物体の存在を検出のために設定されるものである。閾値は、広角監視に無用な動きを検出しないように、例えば被写体に含まれる樹木の枝葉の僅かな揺れなどによって生じるフレーム差分よりも大きな値で設定される。

次に、ＤＳＰ３６は、上記ステップＳ４３において、フレーム差分が閾値未満であれば、上記ステップＳ４１に戻って広角撮影を継続させる。また、フレーム差分が閾値以上である場合は、被写体中に存在する移動物体の座標位置と当該移動物体の大きさ（面積）を演算する（ステップＳ４４）。移動物体の座標位置は、例えば、第１の撮像センサ３１で撮影される被写体の撮影範囲に二次元の座標系（ＸＹ座標系）を設定し、この座標系の中で移動物体が存在する位置（Ｘ座標値、Ｙ座標値）を演算することにより求める。移動物体の大きさは、例えば、第１の撮像センサ３１で広角撮影に寄与する全画素数のうち、フレーム差分が生じた部分の画素数を計数することにより求める。

次に、ＤＳＰ３６は、上記ステップＳ４４で求めた移動物体の座標位置に応じてセンサ移動手段３８を駆動することにより、第２の撮像センサ３４の撮影範囲の中心に移動物体が位置するように、第２の撮像センサ３４を移動させる（ステップＳ４５）。第２の撮像センサ３４の移動は、予め設定された初期位置から開始する。ただし、移動物体の座標位置によっては、第２の撮像センサ３４を初期位置に配置したままにすることもあり得る。

次に、ＤＳＰ３６は、上記ステップＳ４４で求めた移動物体の大きさに応じてレンズ移動手段３９を駆動することにより、第２の撮像センサ３４の撮影範囲で移動物体の撮影サイズが所定サイズとなるように、ズームレンズ３５のズーム倍率を設定する（ステップＳ４６）。ズーム倍率の設定方法としては、上記第１の実施の形態と同様に、撮影の対象物となる移動物体の大きさに対して適当なのり白を持たせて、モニターの画面一杯に移動体を表示するようにＤＳＰ３６で計算する。

次に、ＤＳＰ３６は、透過率可変手段３７を駆動することにより、光変調素子３２の光透過率を最大値から最小値に変更する（ステップＳ４７）。このとき、光変調素子３２の光透過率が８０％から２０％に変更されると、それに応じて光変調素子３２の光反射率が高くなる。このため、撮像レンズ３０を通して入射する被写体からの光の多くが、光変調素子３２で反射され、ズームレンズ３５を通して第２の撮像センサ３４に入射するようになる。これにより、撮像装置の撮像モードが、第１の撮像センサ３１を用いた広角撮影モードから、第２の撮像センサ３４を用いた高倍率撮影モードに切り替わる。

ここで、図１３に示すように、時刻ｔ０で撮影を開始する場合は、時刻ｔ０で光変調素子３２の光透過率を最大値に設定するとともに、第１の撮像センサ３１の出力をオン状態、第２の撮像センサ３４の出力をオフ状態とする。その後、移動物体の検出に伴って、時刻ｔ１で光変調素子３２の光透過率を最小値に設定するとともに、第１の撮像センサ３１の出力をオフ状態、第２の撮像センサ３４の出力をオン状態とする。これにより、第１の撮像センサ３１と第２の撮像センサ３４の両方から間欠的（交互）に画像信号を出力させることが可能となる。

次に、ＤＳＰ３６は、第２の撮像センサ３４を用いて移動物体の追尾を開始する（ステップＳ４８）。移動物体の追尾中は、被写体中の移動物体の撮影サイズが所定サイズとなるように、レンズ移動手段３９を適宜駆動して、第２の撮像センサ３４による撮影倍率を動的に変化させる。また、移動物体の追尾中は、第２の撮像センサ３４の撮影範囲の中心に移動物体が位置するように（移動物体を追尾するように）、センサ移動手段３８を適宜駆動して、第２の撮像センサ３４を移動させる。

次に、ＤＳＰ３６は、高倍率撮影モードでの移動物体の追尾中に第２の撮像センサ３４から出力される画像信号を処理してモニターに出力する（ステップＳ４９）。このとき、モニターの画面には、第１の撮像センサ３１を用いて撮影された被写体の中からフレーム差分によって検出された移動物体が背景と一緒に表示されることになる。この場合も、上記第１の実施の形態と同様に、二画面表示方式（picture in picture方式）を採用することが可能である。

次に、ＤＳＰ３６は、第２の撮像センサ３４で追尾している移動物体の座標位置が予め設定された所定時間内に変化したかどうかを判定する（ステップＳ５０）。そして、所定時間内に移動物体の座標位置が変化した場合は、上記ステップＳ４８に戻って移動物体の追尾を継続する。これに対して、所定時間が過ぎても移動物体の座標位置が変化しなかった場合は、透過率可変手段３７を駆動することにより、光変調素子３２の光反射率を最小値から最大値に変更した後（ステップＳ５１）、上記ステップＳ４１に戻る。これにより、撮像装置の撮像モードが、第２の撮像センサ３４を用いた高倍率撮影モードから、第１の撮像センサ３１を用いた広角撮影モードに切り替わる。したがって、この時点で第２の撮像センサ３４を用いた移動物体の追尾が終了し、再び広角撮影による監視状態に入る。

以降は、移動物体の検出状態に応じて、第１の撮像センサ３１を用いた広角撮影と、第２の撮像センサ３４を用いた高倍率撮影が繰り返されることになる。このため、移動物体の広角監視と、移動物体のズーム監視を適宜切り替えて行なうことができる。

移動物体の追尾が終了した段階では、第２の撮像センサ３４の移動位置をセンサ移動手段３８の駆動により初期位置に戻すとともに、ズームレンズ３５のズーム倍率をレンズ移動手段３９の駆動により初期倍率に戻しておくことが望ましい。このように第２の撮像センサ３４の移動位置とズームレンズ１３のズーム倍率を初期状態に戻しておけば、高倍率撮影モードでの移動物体の追尾を常に同じ動作状態から開始することができる。

本発明の第３の実施の形態に係る撮像装置においては、広角撮影モードでは光変調素子３２の光透過率を最大値に設定し、高倍率撮像モードでは光変調素子３２の光透過率を最小値に設定することにより、第１の撮像センサ３１を用いた広角撮影と、第２の撮像センサ３４を用いた高倍率撮影（ズーム撮影）を行なう仕組みになっている。このため、広角撮影モードでは、第１の撮像センサ３１に対して、より多くの光を入射させることができる。また、高倍率撮影モードでは、第２の撮像センサ３４に対して、より多くの光を入射させることができる。このため、光透過率又は光反射率が一定となるハーフミラー等の光学素子を用いて被写体の光を分光する場合に比較して、暗所で撮影する場合の感度を高めることができる。また、従来のように２つのカメラを組み合わせて使用するシステムでは、カメラの台数に応じて、光学系や信号処理系が２つ必要になるが、本発明の第３の実施の形態に係る撮像装置では、光学系や信号処理系が１つで済む。このため、システム構成を簡素化することができる。したがって、システムの小型化、低コスト化を図るうえで有利になる。また、第１の撮像センサ３１を用いた広角撮影においては、動き検出、顔検出などの処理を組み込むことにより、単純なフレーム差分だけではなく、高度な検出処理を実装することが可能である。

さらに、本発明の第３の実施の形態に係る撮像装置においては、撮像レンズ３０を通して入射する被写体からの光のうち、一部の光が光変調素子３２を透過して第１の撮像センサ３１に入射し、他の光が光変調素子３２で反射して第２の撮像センサ３４に入射する。つまり、第１の撮像センサ３１と第２の撮像センサ３４に同時に光を入射させることができる。このため、各々の撮像センサ３１，３４から出力される画像信号をＤＳＰ３６で並列処理する構成とすれば、第１の撮像センサ３１を用いて広角撮影を行ない、これと並行して、第２の撮像センサ３４を用いて高倍率撮影を行なうことができる。広角撮影と高倍率撮影を同時に行なうことにより、高速に動く移動物体への追尾性能を向上させることができる。ただし、撮影モードによって各々の撮像センサ３１，３４に入射する光量の割合が大きく変化するため、一方の撮像センサによる撮影感度が低くなる。したがって、暗所の撮影では感度不足になることも懸念されるが、昼間の屋外などのように十分な照度がある場合は、広角撮影とズーム撮影での同時監視が十分に可能である。

なお、上記各実施の形態においては、各々の撮像センサから出力される画像信号をＤＳＰで処理するとともに、当該ＤＳＰで反射部材の移動制御やセンサ、レンズ等の移動制御、さらには透過率の可変制御を行なう構成を例示したが、本発明はこれに限らない。例えば、上記第１の実施の形態に係る撮像装置の他の構成として、図１４に示す構成を採用してもよい。図示した装置構成においては、第１の撮像センサ１１から出力される画像信号を第１のカメラ信号処理部１１１で処理し、第２の撮像センサ１４から出力される画像信号を第２のカメラ信号処理部１１４で処理する構成となっている。そして、各々のカメラ信号処理部１１１，１１４で処理された画像信号をＣＰＵ（中央演算処理装置）１１２に取り込み、このＣＰＵ１１２が反射部材移動手段１７、センサ移動手段１８及びレンズ駆動手段１９の駆動を個別に制御する構成となっている。

また、上記第２の実施の形態に係る撮像装置の他の構成として、図１５に示す構成を採用してもよい。図示した装置構成においては、撮像センサ２２から出力される画像信号をカメラ信号処理部１２２で処理する構成となっている。そして、カメラ信号処理部で処理された画像信号をＣＰＵ１２３に取り込み、このＣＰＵ１２３がセンサ移動手段２５及びレンズ駆動手段２６の駆動を個別に制御する構成となっている。

また、上記第３の実施の形態に係る撮像装置の他の構成として、図１６に示す構成を採用してもよい。図示した装置構成においては、第１の撮像センサ３１から出力される画像信号を第１のカメラ信号処理部１３１で処理し、第２の撮像センサ３４から出力される画像信号を第２のカメラ信号処理部１３４で処理する構成となっている。そして、各々のカメラ信号処理部１３１，１３４で処理された画像信号をＣＰＵ１３２に取り込み、このＣＰＵ１３２が透過率可変手段３７、センサ移動手段３８及びレンズ駆動手段３９の駆動を個別に制御する構成となっている。

本発明の第１の実施の形態に係る撮像装置の構成を示す概略図である。 本発明の第１の実施の形態に係る撮像装置の構成を示す機能ブロック図である。 本発明の第１の実施の形態に係る撮像装置の撮影中のアルゴリズムを示すフローチャートである。 撮影モードを説明する図である。 移動物体の追尾中の動作状態を説明する図である。 画像の表示方式としてpicture in picture方式を採用した場合の表示例を示す図である。 本発明の第２の実施の形態に係る撮像装置の構成を示す概略図である。 本発明の第２の実施の形態に係る撮像装置の構成を示す機能ブロック図である。 本発明の第２の実施の形態に係る撮像装置の撮影中のアルゴリズムを示すフローチャートである。 本発明の第３の実施の形態に係る撮像装置の構成を示す概略図である。 本発明の第３の実施の形態に係る撮像装置の構成を示す機能ブロック図である。 本発明の第３の実施の形態に係る撮像装置の撮影中のアルゴリズムを示すフローチャートである。 図１２のアルゴリズムに基づく撮像装置の動作タイムチャートである。 本発明の第１の実施の形態に係る撮像装置の他の構成を示す機能ブロック図である。 本発明の第２の実施の形態に係る撮像装置の他の構成を示す機能ブロック図である。 本発明の第３の実施の形態に係る撮像装置の他の構成を示す機能ブロック図である。

符号の説明

１０…撮像レンズ、１１…第１の撮像センサ、１２…反射部材、１３…反射面、１４…第２の撮像センサ、１５…ズームレンズ、１６…ＤＳＰ、１７…反射部材移動手段、１８…センサ移動手段、１９…レンズ移動手段、２０…移動物体、２１…撮像レンズ、２２…撮像センサ、２３…ズームレンズ、２４…ＤＳＰ、２５…センサ移動手段、２６…レンズ移動手段、３０…撮像レンズ、３１…第１の撮像センサ、３２…光変調素子、３４…第２の撮像センサ、３５…ズームレンズ、３６…ＤＳＰ、３７…透過率可変手段、３８…センサ移動手段、３９…レンズ駆動手段

Claims (14)

1. 第１の撮像センサと、
   前記第１の撮像センサと異なる位置に配置された第２の撮像センサと、
   光を反射する反射面を有し、当該反射面を用いて、被写体からの光を前記第１の撮像センサと前記第２の撮像センサとに選択的に入射させる反射部材と、
   被写体からの光を前記第１の撮像センサに入射させる第１の位置と被写体からの光を前記第２の撮像センサに入射させる第２の位置との間で前記反射部材を移動させる反射部材移動手段と
   を備える撮像装置。
2. 前記第１の撮像センサは、前記第２の撮像センサよりも被写体を広角に撮影し、
   前記第２の撮像センサは、前記第１の撮像センサよりも被写体を高倍率に撮影し、
   前記反射部材移動手段は、第１の撮影モードでは前記反射部材を前記第１の位置に移動させ、第２の撮影モードでは前記反射部材を前記第２の位置に移動させる
   請求項１記載の撮像装置。
3. 前記反射部材の反射面は、光を全反射する鏡面である
   請求項１又は２記載の撮像装置。
4. 前記第２の撮像センサによる撮影倍率を変更するためのズームレンズと、
   前記撮影倍率を変更すべく前記ズームレンズを駆動するレンズ駆動手段とを備え、
   前記レンズ駆動手段は、前記第２の撮影モードにおいて被写体中の移動物体の撮影サイズが所定サイズとなるように前記撮影倍率を動的に変化させる
   請求項２記載の撮像装置。
5. 前記第２の撮像センサを入射光の光軸と直交する方向に移動させるセンサ移動手段を備え、
   前記センサ移動手段は、前記第２の撮影モードにおいて被写体中の移動物体を追尾するように前記第２の撮像センサを移動させる
   請求項２又は４記載の撮像装置。
6. 被写体からの光が入射する位置に配置された撮像センサと、
   前記撮像センサを入射光の光軸と直交する方向に移動させるセンサ移動手段と、
   前記撮像センサによる撮影倍率を変更するためのズームレンズと、
   前記撮影倍率を変更すべく前記ズームレンズを駆動するレンズ駆動手段と
   を備える撮像装置。
7. 前記レンズ駆動手段は、第１の撮影モードでは前記撮像センサによる撮影倍率を予め設定された第１の倍率値とし、第２の撮影モードでは前記撮像センサによる撮影倍率を前記第１の倍率値よりも高い第２の倍率値とするように駆動する
   請求項６記載の撮像装置。
8. 前記センサ移動手段は、前記第１の撮影モードでは予め設定された初期位置に前記撮像センサを移動させ、前記第２の撮影モードでは被写体中の移動物体を追尾するように前記撮像センサを移動させる
   請求項７記載の撮像装置。
9. 前記レンズ駆動手段は、前記第２の撮影モードにおいて被写体中の移動物体の撮影サイズが所定サイズとなるように前記第２の倍率値を動的に変化させる
   請求項７又は８記載の撮像装置。
10. 被写体からの光が入射する位置に配置された第１の撮像センサと、
    前記第１の撮像センサと異なる位置に配置された第２の撮像センサと、
    前記第１の撮像センサに入射する光の光路を遮る状態に配置され、前記被写体からの光のうち、一部の光を前記第１の撮像センサ側に透過させるとともに、他の光を前記第２の撮像センサ側に反射させる光変調素子と、
    前記光変調素子の光透過率を変更する透過率変更手段と
    を備える撮像装置。
11. 前記第１の撮像センサは、前記第２の撮像センサよりも被写体を広角に撮影し、
    前記第２の撮像センサは、前記第１の撮像センサよりも被写体を高倍率に撮影し、
    前記透過率変更手段は、第１の撮影モードでは前記光変調素子の光透過率を第１の透過率値に設定し、第２の撮影モードでは前記光変調素子の光透過率を前記第１の透過率値よりも低い第２の透過率値に設定する
    請求項１０記載の撮像装置。
12. 前記第１の透過率値は、前記透過率変更手段で変更可能な光透過率の最大値であり、前記第２の透過率値は、前記透過率変更手段で変更可能な光透過率の最小値である
    請求項１１記載の撮像装置。
13. 前記第２の撮像センサによる撮影倍率を変更するためのズームレンズと、
    前記撮影倍率を変更すべく前記ズームレンズを駆動するレンズ駆動手段とを備え、
    前記レンズ駆動手段は、前記第２の撮影モードにおいて被写体中の移動物体の撮影サイズが所定サイズとなるように前記撮影倍率を動的に変化させる
    請求項１１記載の撮像装置。
14. 前記第２の撮像センサを入射光の光軸と直交する方向に移動させるセンサ移動手段を備え、
    前記センサ移動手段は、前記第２の撮影モードにおいて被写体中の移動物体を追尾するように前記第２の撮像センサを移動させる
    請求項１１又は１３記載の撮像装置。

Images