JP2011101139A - 撮像装置及びネットワークカメラシステム - Google Patents

Abstract

【課題】簡易な構成で、超解像処理で得られる高解像度画像の品質を向上させることができるようにする。
【解決手段】被写体からの光を光電変換して画素信号を出力する撮像素子３１と、この撮像素子の受光面上で結像する光像と撮像素子との相対的な円運動を行わせる光学的シフト機構３５と、この光学的シフト機構による円運動を指定の周期で行わせるシフト制御部１４と、撮像素子による撮像を指定の周期で行わせる駆動回路３３とを有し、光学的シフト機構の円運動周期を撮像素子の撮像周期の非整数倍に設定して、光学的シフト機構による円運動を１方向に一定速度で連続して行わせながら撮像素子に撮像を行わせるようにする。
【選択図】図２

Description

本発明は、撮像素子の受光面上で結像する光像と撮像素子とを相対的に微小変位させながら撮像を行う、いわゆる画素ずらしによって取得した複数の原画像から超解像処理により高解像度画像を生成するのに適した撮像装置及びネットワークカメラシステムに関するものである。

撮像装置には、画素がマトリクス状に配置された２次元イメージセンサが採用されており、この２次元イメージセンサでは、解像度が画素の大きさや画素数に依存する。一方、撮像素子の受光面上で結像する光像と撮像素子とを相対的に微小変位させながら撮像を行う、いわゆる画素ずらしによって取得した複数の原画像から、撮像素子の本来の解像度より高い解像度の画像を生成する手法が従来から知られている。

このような画素ずらしによる高解像度化の手法においては、光像と撮像素子とを相対的に微小変位させるシフト機構が必要であり、例えば、ピエゾ素子などからなるアクチュエータで撮像素子を微小変位させる技術が知られている（特許文献１参照）。また、撮像光学系と撮像素子との間に撮像光学系の光軸に対して傾斜するように平行平板を配置し、この平行平板を光軸周りに回転させて、撮像素子の受光面上の光像の位置をずらす技術が知られている（特許文献２・３参照）。

また、画素ずらしによって取得した複数の原画像から高解像度画像を生成する画像処理法として、低解像度画像の画素値を高解像度画像の画素にマッピングするイメージシフト処理や、ＭＬ(Maximum-likelihood)法、ＭＡＰ(Maximum A Posterior)法や、ＰＯＣＳ(Projection On to Convex Sets)法などを用いた超解像処理の技術が知られている（特許文献１参照）。

特開２００８−３０６４９２号公報 特開２０００−１２５１７０号公報 特開２０００−２７８６１４号公報

しかるに、超解像処理の技術では、処理に用いる低解像度の原画像の枚数を増やし、撮像位置が微小に異なる原画像を多数用いることで、得られる高解像度画像の品質（実質的な解像度）を向上させることができる利点を有している。

一方、平行平板を回転させる技術では、簡易な構成で画素ずらしを行うことができるため、低コスト化を図ることができる利点があるが、前記の従来の技術では、撮像が平行平板を静止させた状態で行われ、所要の角度まで平行平板を回転させる動作と停止操作とを繰り返しながら、撮像位置の異なる画像を取得するようにしているため、制御が複雑化する難点があり、さらに画素のずらし量を小さく設定するのに限界があるため、超解像処理の技術を用いても高解像度画像の品質向上をあまり期待できないという問題があった。

本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、簡易な構成で、超解像処理で得られる高解像度画像の品質を向上させることができるように構成された撮像装置及びネットワークカメラシステムを提供することにある。

本発明の撮像装置は、被写体からの光を光電変換して画素信号を出力する撮像素子と、この撮像素子の受光面上で結像する光像と前記撮像素子との相対的な円運動を行わせるシフト手段と、このシフト手段による円運動を指定の周期で行わせるシフト制御手段と、前記撮像素子による撮像を指定の周期で行わせる撮像制御手段とを有し、前記シフト手段の円運動周期を前記撮像素子の撮像周期の非整数倍に設定して、前記シフト手段による円運動を１方向に一定速度で連続して行わせながら前記撮像素子に撮像を行わせるようにした構成とする。

また、本発明のネットワークカメラシステムは、撮像装置と画像処理装置とがネットワークを介して相互に接続されたネットワークカメラシステムであって、前記撮像装置は、被写体からの光を光電変換して画素信号を出力する撮像素子と、この撮像素子の受光面上で結像する光像と前記撮像素子との相対的な円運動を行わせるシフト手段と、このシフト手段による円運動を指定の周期で行わせるシフト制御手段と、前記撮像素子による撮像を指定の周期で行わせる撮像制御手段と、前記撮像素子での撮像により順次生成するフレーム画像を前記画像処理装置に送信する送信手段とを有し、前記画像処理装置は、前記撮像装置から送信されるフレーム画像を受信する受信手段と、この受信手段で受信した複数のフレーム画像から高解像度画像を生成する超解像処理手段とを有し、前記撮像装置において、前記シフト手段の円運動周期を前記撮像素子の撮像周期の非整数倍に設定して、前記シフト手段による円運動を１方向に一定速度で連続して行わせながら前記撮像素子に撮像を行わせるようにした構成とする。

本発明によれば、円運動周期を撮像周期の非整数倍に設定することにより、円運動を繰り返すことで、多数の異なる位置での撮像（サンプリング）が可能となるため、撮像位置が異なる画像を多数生成することができるので、超解像処理で得られる高解像度画像の品質を向上させることができる。そして、円運動を１方向に一定速度で連続して行わせればよいため、制御が簡単になり、構成の簡素化を図ることができる。

本発明によるネットワークカメラシステムの全体構成図 図１に示した撮像装置及び画像処理装置の概略構成を示すブロック図 図１に示した撮像装置及び画像処理装置における処理状況を示す模式図 図２に示した撮像装置の撮像部を示す断面図 図４に示した撮像部の光学的シフト機構を示す平面図 図４に示した撮像素子への光の入射状況を示す断面図 光像に対する画素の相対的な円運動の状況を示す模式図 光像に対する画素の相対的な円運動の状況を示す模式図 撮像とこれにより生成する画像の状況を示す模式図 撮像周期と円運動周期との比率の一例での撮像基準位置の状況を示す模式図 撮像周期と円運動周期との比率の別例での撮像基準位置の状況を示す模式図 図１１に続く、撮像基準位置の状況を示す模式図

上記課題を解決するためになされた第１の発明は、被写体からの光を光電変換して画素信号を出力する撮像素子と、この撮像素子の受光面上で結像する光像と前記撮像素子との相対的な円運動を行わせるシフト手段と、このシフト手段による円運動を指定の周期で行わせるシフト制御手段と、前記撮像素子による撮像を指定の周期で行わせる撮像制御手段とを有し、前記シフト手段の円運動周期を前記撮像素子の撮像周期の非整数倍に設定して、前記シフト手段による円運動を１方向に一定速度で連続して行わせながら前記撮像素子に撮像を行わせるようにした構成とする。

これによると、円運動周期を撮像周期の非整数倍に設定することにより、円運動を繰り返すことで、多数の異なる位置での撮像（サンプリング）が可能となるため、撮像位置が異なる画像を多数生成することができるので、超解像処理で得られる高解像度画像の品質を向上させることができる。そして、円運動を１方向に一定速度で連続して行わせればよいため、制御が簡単になり、構成の簡素化を図ることができる。

前記課題を解決するためになされた第２の発明は、前記第１の発明において、前記撮像素子は、ベイヤ配列にしたがって画素が配列された単板式のものであり、前記シフト手段による円運動の直径が前記撮像素子の画素ピッチの２倍に設定された構成とする。

これによると、Ｒ画素及びＢ画素が配置されていない領域にもＲ画素及びＢ画素を移動させることができるため、撮像位置に偏りがなくなり、超解像処理で得られる高解像度画像を高品質なものとすることができる。さらにＧ画素については、もともと画素数が多いことに加え、千鳥配置されたＧ画素が周辺領域を走査する状態となるため、光像を網羅的にサンプリングすることが可能となる。

前記課題を解決するためになされた第３の発明は、前記第１または第２の発明において、前記シフト手段による円運動の２回目で撮像位置が原位置に復帰するように、前記円運動周期と前記撮像周期との比率が設定された構成とする。

これによると、円運動の２回目の撮像位置が、円運動の１回目で隣接する２つの撮像位置の中心位置になり、撮像位置が偏ることなく均等に分散された状態となるため、超解像処理との適合性に優れた画像を生成することができる。

前記課題を解決するためになされた第４の発明は、撮像装置と画像処理装置とがネットワークを介して相互に接続されたネットワークカメラシステムであって、前記撮像装置は、被写体からの光を光電変換して画素信号を出力する撮像素子と、この撮像素子の受光面上で結像する光像と前記撮像素子との相対的な円運動を行わせるシフト手段と、このシフト手段による円運動を指定の周期で行わせるシフト制御手段と、前記撮像素子による撮像を指定の周期で行わせる撮像制御手段と、前記撮像素子での撮像により順次生成するフレーム画像を前記画像処理装置に送信する送信手段とを有し、前記画像処理装置は、前記撮像装置から送信されるフレーム画像を受信する受信手段と、この受信手段で受信した複数のフレーム画像から高解像度画像を生成する超解像処理手段とを有し、前記撮像装置において、前記シフト手段の円運動周期を前記撮像素子の撮像周期の非整数倍に設定して、前記シフト手段による円運動を１方向に一定速度で連続して行わせながら前記撮像素子に撮像を行わせるようにした構成とする。

これによると、円運動周期を撮像周期の非整数倍に設定することにより、円運動を繰り返すことで、多数の異なる位置での撮像（サンプリング）が可能となるため、撮像位置が異なる画像を多数生成することができるので、超解像処理で得られる高解像度画像の品質を向上させることができる。そして、円運動を１方向に一定速度で連続して行わせればよいため、制御が簡単になり、構成の簡素化を図ることができる。

前記課題を解決するためになされた第５の発明は、前記第４の発明において、前記超解像処理手段は、前記シフト手段による円運動の１回のみで生成されるフレーム画像から高解像度画像を生成する第１の処理モードと、円運動の複数回で生成されるフレーム画像から高解像度画像を生成する第２の処理モードとを有する構成とする。

これによると、シフト手段の円運動周期や撮像素子の撮像周期を変更することなく、処理モードを切り替えて、品質の異なる高解像度画像を得ることができ、利便性が向上する。

ここで、第１の処理モードでは超解像処理に用いるフレーム画像の枚数が少ないため、超解像処理で得られる高解像度画像の品質が低くなるが、超解像処理手段での演算負荷が軽減されるため、例えば超解像処理で得られる高解像度画像を用いて動画を再生する場合に適している。一方、第２の処理モードでは超解像処理に用いるフレーム画像の枚数が多くなるため、超解像処理で得られる高解像度画像の品質を高めることができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

図１は、本発明によるネットワークカメラシステムの全体構成図である。図１に示すように、本発明が適用されるネットワークカメラシステムは、少なくとも１台の撮像装置（ネットワークカメラ）１と、画像処理装置（ホスト装置）２とで構成される。撮像装置１と画像処理装置２とは、インターネットを介して接続され、撮像装置１で生成した撮像データが、例えば遠隔地に存する画像処理装置２に送信されて、画像処理装置２で映像が表示される。また、撮像装置１を制御する各種のコマンド信号が画像処理装置２から撮像装置１に送信される。

なお、撮像データは、例えばＴＣＰ（ＵＤＰ）／ＩＰといった、いわゆるインターネットプロトコルを利用して撮像装置から画像処理装置に送信されるが、撮像データを、例えば暗号化、カプセル化してＶＰＮ（Vertual Private Network）を利用して送信してもよく、専用回線によって撮像装置１と画像処理装置２が１対１の関係で接続される、いわゆるＣＣＴＶ（Closed Circuit TV）と称されるネットワークカメラシステムとしてもよい。

図２は、図１に示した撮像装置及び画像処理装置の概略構成を示すブロック図である。図２に示すように、撮像装置１は、撮像部１１と、画像処理部１２と、データ圧縮送信部（送信手段）１３と、シフト制御部（シフト制御手段）１４とを備えている。撮像部１１は、被写体からの光を光電変換してアナログの画素信号を出力する撮像素子３１を備えている。この撮像素子３１は、２次元ＣＭＯＳイメージセンサである。なお、これに替えて２次元ＣＣＤイメージセンサを用いてもよい。

撮像素子３１から出力されるアナログ信号はＡ／Ｄ変換器３２でディジタル信号に変換され、このディジタル信号は画像処理部１２に入力され、ここで色補正、デモザイク処理、階調補正（γ補正）、ＹＣ分離処理等を施されて画像データに変換される。この画像データは、データ圧縮送信部１３において例えばＨ．２６４やＭＰＥＧ４等の圧縮処理を施された上で画像処理装置２に送信される。

また、撮像部１１は、後に詳述するが、撮像素子３１の受光面上で結像する光像と撮像素子３１とを相対的に微小変位させる光学的シフト機構（シフト手段）３５を備えており、特にここでは、光像を微小変位させる光学部材を磁気により回転力で回転駆動する磁気駆動部３６が設けられている。この光学的シフト機構３５は、シフト制御部１４により制御される。光学的シフト機構３５の回転部分には図示しない着磁部が設けられており、磁気センサ３７は着磁部の位置情報を検出してシフト制御部１４に出力する。シフト制御部１４は、この位置情報に基づいて磁気駆動部３６を制御して回転力を発生させる。

画像処理装置２は、データ受信復号部（受信手段）２１と、表示部２２と、記憶部２３と、超解像処理部（超解像処理手段）２４と、周期設定部２５と、入力部２６とを備えている。なお、この画像処理装置２は、パソコンやワークステーション等の情報処理装置に所要のアプリケーションソフトウェアを導入することで構成する他、ＣＣＴＶレコーダなど専用の装置であってもよい。

画像処理装置２では、撮像装置１から送信された圧縮画像データが、データ受信復号部２１にて受信されて復号された後、ＲＧＢの画像データに変換されて、リアルタイムに表示部２２に表示される。さらに、ＲＧＢの画像データは、ハードディスクドライブ装置等からなる記憶部２３に送られて、ここに一時的に蓄積され、必要に応じて記憶部２３から読み出して表示部２２で再生することができる。

また、例えば交通事故の検証の用途等で高解像度画像の必要が生じた場合には、記憶部２３から画像データを読み出して超解像処理部２４にて超解像処理を施して高解像度画像（静止画像）を生成し、その高解像度画像を表示部２２に表示させることができる。

また、入力部２６は、後に詳述するが、ユーザからの撮像周期の入力を受け付けて、これを周期設定部２５に送る。周期設定部２５は、入力部２６から送られてきた撮像周期に基づいて円運動周期を決定し、円運動周期に関するコマンド信号を撮像装置１に送信する。撮像装置１のシフト制御部１４では、円運動周期に関するコマンド信号に基づいて、指定された円運動周期に対応する回転速度で光学的シフト機構３５を動作させる。

図３は、撮像装置１及び画像処理装置２における処理状況を示す模式図である。図３に示すように、撮像素子３１は、駆動回路（撮像制御手段）３３によって駆動され、駆動回路３３が生成するタイミング信号に応じて一定の周期（以下、撮像周期）で撮像（サンプリング）が行われる。例えばフレームレートを３０frame/secとして１秒あたり３０枚のフレーム画像を生成する場合、撮像周期は３０ｍｓ程度に設定される。

画像処理装置２の超解像処理部２４では、時間的に連続する複数のフレーム画像から高解像度画像を生成する超解像処理が行われる。この超解像処理では、まず、記憶部２３に蓄積されたフレーム画像がコマ送りで静止画として表示され、その中からユーザにより基準画像が指定され、その基準画像となるフレーム画像とその前後の複数のフレーム画像が記憶部２３から読み出されて超解像処理部２４に送られて超解像処理が行われる。

超解像処理は、例えば、ＭＬ（Maximum-likelihood）法、ＭＡＰ（Maximum A Posterior）法や、ＰＯＣＳ（Projection On to Convex Sets）法などが採用され、アプリケーションソフトウェアをＣＰＵで実行することで実現される。一般に超解像処理は演算量が多いため、処理の一部をＧＰＵ（Graphics Processing Unit）や、専用ハードウェアを用いて行なうようにしてもよい。

ここで、ＭＬ法とは、高解像度画像から推定された低解像度画像の画素値と、実際に観測された画素値との二乗誤差を評価関数とし、この評価関数を最小化するような高解像度画像を推定画像とする方法である。つまり、ＭＬ法とは、最尤推定の原理に基づく超解像処理方法である。また、ＭＡＰ法とは、二乗誤差に高解像度画像の確率情報を付加した評価関数を最小化するような高解像度画像を推定する方法である。つまり、ＭＡＰ法とは、高解像度画像に対するある先見情報を利用して、事後確率を最大化する最適化問題として高解像度画像を推定する超解像処理方法である。ＰＯＣＳ法とは、高解像度画像と低解像度画像との画素値に関して連立方程式を作成し、その方程式を逐次的に解くことにより、高解像度画像を得る超解像処理方法である。

これらの超解像処理は、まず、高解像度画像を仮定し、そして仮定した高解像度画像から、カメラモデルから得られる点広がり関数（ＰＳＦ関数）に基づき、全ての低解像度画像の画素について、その画素値を推定し、その推定値と観測された画素値(観測値)との差が小さくなるような高解像度画像を探索するという処理を有している。そのため、これらの超解像処理は、再構成型超解像処理と呼ばれている。なお、時間的に連続する複数のフレーム間に及ぶ画像情報を利用する超解像処理は、特にフレーム間再構成型超解像処理と呼称されることもある。一方で、１つのフレーム内で再構成型超解像処理を行なう場合は、フレーム内再構成型超解像と呼称される。本実施形態では、フレーム間再構成型超解像を採用している。

なおここでは、画像処理装置２において超解像処理によって高解像度化された静止画像を再生するものとしているが、画像処理装置２の処理能力が十分に高ければ、超解像処理で得られた高解像度画像をフレーム画像として動画を再生することも可能である。

図４は、撮像装置１の撮像部１１を示す断面図である。図４に示すように、撮像装置１の撮像部１１は、撮像素子３１を備えたセンサモジュール４１と、被写体からの光を撮像素子３１の受光面上で結像させるレンズユニット４２と、撮像素子３１の受光面上で結像される光像を変位させる光学的シフト機構３５とを有している。レンズユニット４２はレンズホルダ４５を介して基板４６に支持されている。センサモジュール４１及び光学的シフト機構３５も基板４６に支持されている。なお、基板４６には、必要に応じてその他電気部品等が搭載される。

光学的シフト機構３５は、センサモジュール４１とレンズユニット４２との間に配置された光学部材５１と、光学部材５１を一体的に保持する内周リング５２と、玉軸受け５３を介して内周リング５２を回転自在に保持する外周リング５４と、光学部材５１及び内周リング５２を磁気による回転力で回転駆動させる磁気駆動部３６とを有している。

光学部材５１は、レンズユニット４２の光軸に対して所定角度傾斜した平行平板５７を備えている。内周リング５２及び外周リング５４は、光軸を中心とした円環状をなし、基板４６に固定された外周リング５４に対して、内周リング５２が光軸周りに回転可能となっている。磁気駆動部３６は、内周リング５２に固定された状態でこれと同軸的に設けられた着磁部５８と、この着磁部５８に対向配置された磁気発生部５９とで構成される。

センサモジュール４１とレンズユニット４２との間の隙間Ｄには、光学部材５１のみが配置され、光学部材５１を保持する内周リング５２やこれを回転駆動する磁気駆動部３６は隙間Ｄの外側に配置されている。例えばレンズユニット４２に多群のレンズを備えたものを用いた場合、一般的に隙間Ｄが非常に狭くなり（例えば約３ｍｍ）、また、撮影範囲が広角になるのに応じて隙間Ｄがさらに狭くなるが、光学部材５１のみであれば隙間Ｄに支障なく配置することができる。

図５は、撮像部１１の光学的シフト機構を示す平面図である。図５に示すように、着磁部５８は、Ｎ極及びＳ極に着磁された８つの磁極を備える１つのラバーマグネット（ゴムマグネット）を周方向に配置したものである。ラバーマグネットはゴム材に微小な磁性体粒子を分散混合したものであり、磁性体粒子としては例えばフェライト、サマリウムコバルト、ネオジウム等が用いられる。磁気発生部５９は、電磁鋼帯を複数積層してなるステータコア６０に導線を巻回して磁気コイル６１が形成されたものであり、ステータコア６０が着磁部５８に対向配置されており、磁気コイル６１に電流を流すことで発生する磁界により生じる吸引力及び反発力で着磁部５８を所定の方向に回転させ、これに応じて内周リング５２と平行平板５７を備えた光学部材５１とが光軸周りに回転する。なお、上述したラバーマグネットに替えてプラスティックマグネット（プラマグ）を採用してもよい。プラマグは金型成形にて製造することができ、一般に寸法精度が高いことから、着磁部５８と磁気発生部５９の離間距離をより接近させることができ、回転力を効率よく発生させることが可能である。

また、内周リング５２の回転位置を検出する磁気センサ３７が、着磁部５８に対向して設けられている。この磁気センサ３７はホール素子等で構成されている。磁気センサ３７は着磁部５８が発生する磁力を検出することで、着磁部５８に設けられた磁極であるＮ極とＳ極の位置情報を出力する。表現を変えると、磁気センサ３７はＮ極とＳ極の１組が磁気センサ３７に対して相対的に移動すると、これを１周期とする正弦波を出力する。すなわち、磁気センサ３７は着磁部５８に設けられた磁極の位相情報を出力することになる。

このように構成された光学的シフト機構３５はシフト制御部１４により制御される。上述の位相情報がシフト制御部１４に設けられたＣＰＵ６３のアナログポート（図示せず）に入力されると、ＣＰＵ６３はその内部で位相情報をＡ／Ｄ変換してディジタル値に変換する。磁気発生部５９と磁気センサ３７の位置関係は予め分かっているから（一般には、磁気発生部５９と磁気センサ３７は内周リング５２の中心に対して９０゜、１８０゜又は２７０゜の位置関係となるように配置される）、ＣＰＵ６３は磁気発生部５９に対する着磁部５８の磁極の位置（位相）に応じてコイル６１に流す駆動電流を暫定的に決定する。

さらにＣＰＵ６３は、例えば１０ms程度の単位時間における上述した位相の変化量を検出することができる。また、磁気センサ３７が正弦波のみならず、磁極の１組に対して１／４周期遅れた余弦波も出力する構成とすれば、これらの比（正接）から正確に（より厳密には、磁気発生部５９と着磁部５８の離間距離の変動に影響を受けずに）単位時間当たりの位相の変化量を算出することができる。この位相の変化量は“距離”の次元を有するが、これを単位時間で除することで内周リング５２の回転速度（周速度）が計算できる。

ＣＰＵ６３は計算によって得た回転速度に基づき、いわゆるＰＩ制御（比例積分制御）等の公知の手法を用いて上述の暫定的に決定した駆動電流値を修正し、内周リングが予め定めた一定速度で回転するような駆動電流値を決定し、制御信号として出力する。制御信号はＤＡ変換部６４にてアナログレベル信号に変換されてドライバ６５に渡され、ドライバ６５から磁気発生部５９に対して駆動信号が出力される。これにより、内周リング５２及び光学部材５１は１方向に一定速度で連続回転する。

もちろん、ＰＩ制御の演算において、Ｐ（比例）演算で基準値として用いる速度目標値を変更することによって、これとは異なる一定速度で回転させることが可能である。これによって周期設定部２５から指示された速度（図２参照）で回転制御が実行される。

なお、図５に示すように、着磁部５８と磁気発生部５９の離間距離は、着磁部５８の外周に沿って一定ではなく、意図的に遠近を持たせてある。これによって着磁部５８に作用する力の合成ベクトルが周方向成分を持つため、内周リング５２の回転方向が一意に定まる。

また、図５では単一の磁気発生部５９を設けているが、光学的シフト機構３５が要求するトルク特性に応じて磁気発生部５９の数を増加してもよい。また、図５に示す構成ではラバーマグネットの磁極と磁気発生部５９の位置関係によって回転中にトルクが変動し、いわゆるコギング（トルクリップル）が発生しやすい。コギングによる速度変動が超解像効果を抑制する場合は、２つの磁気発生部５９を設け、双方が対向する磁極の関係を調整すればよい。

具体的には、図５の構成に加えて第２の磁気発生部を着磁部５８の外周に沿ってさらに設け、Ｎ極とＳ極の１組を磁極の１周期としたとき、磁気発生部５９が対向する磁極に対して、第２の磁気発生部が対向する磁極の位相が１／４周期だけずれる位置に配置することで、各磁気発生部５９によるトルクリップルを略相殺することが可能である。

図６は、撮像素子への光の入射状況を示す断面図であり、図６（Ａ）は入射した光の光路が最も右側にシフトした状態を示し、図６（Ｂ）は図６（Ａ）の状態から平行平板５７が１８０゜回転した状態を示している。なお、図６（Ｂ）の状態から、平衡平板がさらに１８０゜回転すると、図６（Ａ）の状態に復帰する。

図６に示すように、光学部材５１の平行平板５７は、レンズユニット４２の光軸に対して傾斜しているため、レンズユニット４２を経て入射する光を屈折させ、撮像素子３１の受光面に入射する光の位置が平行平板５７の回転位置に応じて変化し、光学的シフト機構３５により光学部材５１を回転させると、撮像素子３１の受光面上で結像する光像が、光学部材５１の回転速度に応じた周期（以下、円運動周期）で円を描くように移動し、これにより撮像素子３１に対して光像を相対的に微小変位させることができる。

具体的には、本実施形態では平行平板５７として厚み＝０．１ｍｍ、屈折率＝１．４９のアクリル板を採用している。そして平行平板５７を光軸に垂直な平面に対して３．２degの傾斜角を持たせて配置している。これによって平行平板５７に入射した光は、入射角を保ったまま（すなわち平行に）約３．７５μｍシフトして出射され、平行平板５７が回転することによって、撮像素子３１上に結像される光像は直径７．５μｍの円軌道を描いて運動する。

図７、図８は、光像に対する画素の相対的な円運動の状況を示す模式図である。図７に示すように、撮像素子３１は、入射光のうちＲ（Red）成分を受光するＲ画素と、Ｂ（Blue）成分を受光するＢ画素と、Ｇ（Green）成分を受光するＧ画素の各画素がいわゆるベイヤ配列に基づいて配列された、いわゆる単板式の撮像素子である。このベイヤ配列では、Ｇ画素が全画素数の１／２の画素数で千鳥状（チェッカフラッグ状）に配置され、Ｒ画素及びＢ画素が各全画素数の１／４ずつの画素数でＧ画素の配置位置を除く位置に分散配置されている。なお、図中のＸ軸は主走査方向、Ｙ軸は副走査方向をそれぞれ示す。以下、同様である。

撮像素子３１はいわゆるＱｕａｄ ＶＧＡ（1280×960画素）の画素構成を備え、センササイズは１／３インチ、隣接画素との間隔である画素ピッチは主走査方向、副走査方向ともに３．７５μｍである。上述したように、円軌道の直径は７．５μｍであるから、シフト手段（平行平板５７）による円運動の直径は撮像素子３１の画素ピッチの２倍に設定されていることになる。

なおここでは、図６に示したように、固定された撮像素子３１の画素に対して光像が変位するものであるが、以下の説明では、便宜上、光像に対する画素の相対的な移動を、静止した光像に対して画素が移動するように図示して説明する。また、各画素は、概ね光学サイズとして示される範囲の光を受光するが、以下の説明では、便宜上、各画素の中心位置のみを図示して説明する。

ここで、図７（Ｂ）に示すように、例えば円運動の直径を画素ピッチの√２倍の長さに設定すると、Ｒ画素の移動範囲から外れてＲの色情報が完全に欠落する領域が発生する。また、これと同様にＢ画素の移動範囲から外れてＢの色情報が完全に欠落する領域が発生する。ちなみに、従来のように、円運動の直径を、画素ピッチの√２／２倍の長さに設定すると、Ｒの色情報が完全に欠落する領域がさらに大きくなり、ベイヤ配列を持つ一般的な単板式カラーイメージセンサで撮像した低解像度画像を超解像処理に供しても高精細な高解像度画像の再現を行なうことはできない。

これに対して、図７（Ａ）に示すように、円運動の直径を画素ピッチの２倍の長さに設定すると、図８（Ａ）、（Ｃ）に示すように、Ｒ画素及びＢ画素のない領域にもＲ画素及びＢ画素を移動させることができるため、撮像位置に偏りがなくなり、超解像処理で得られる高解像度画像を高品質なものとすることができる。さらに図８（Ｂ）に示すように、Ｇ画素については、もともと画素数が多い（全体の１／２）ことに加え、千鳥配置されたＧ画素が周辺領域を走査する状態となるため、光像を網羅的にサンプリングすることが可能となる。

一方、逆に円運動の直径を画素ピッチの２倍より大きくした場合、Ｒ画素やＢ画素が撮像できない領域が帯状に発生することはない。しかしながら、円運動の角速度を一定としたとき円運動の直径を大きくすると、光像の変位速度（すなわち周速度）が増大する。この場合は同一の撮像期間（撮像素子３１で電荷蓄積が行なわれる期間）が与えられた場合に、より大きな距離だけ光像が移動することとなり積分効果が大きくなる、つまり画像がブレてしまうため高周波成分が失われ、超解像処理の効果を抑制する要因となる。

次に、撮像（サンプリング）について説明する。図９は、撮像と撮像により生成する画像の状況を示す模式図である。ここでは、図９に示すように、光像に対する画素の相対的な円運動を１方向に一定速度で連続して行わせながら撮像が行われ、撮像位置が少しずつずれたフレーム画像Ｆ１・Ｆ２・・・が順次生成される。図示する撮像基準位置Ｐ１・Ｐ２・・・は、撮像のタイミングを示すものであり、各々で１枚のフレーム画像が生成される。特にここでは、撮像開始時の画素の中心位置を撮像基準位置として示しており、各撮像基準位置で電荷蓄積が開始され、直後の撮像基準位置の手前で電荷蓄積が完了して画素信号が出力される。

なお、超解像処理で適切な高解像化を行うには、全ての画素において均一に変位した状態とすることが望ましく、各画素ライン間で電荷蓄積タイミングに時間差が生じるのは妥当でないため、ここでは全ての画素のシャッタ動作を同じタイミングで行わせるグローバルシャッタ方式が採用される。

また、画素が１回の円運動を行う間に数多くの撮像（サンプリング）を行うことで、超解像処理で得られる高解像度画像の品質を高めることができ、特にここでは、円運動周期を撮像周期の非整数倍に設定する。このようにすると、円運動を繰り返すことで、多数の異なる位置での撮像が可能となるため、撮像位置が微小に異なる画像を多数生成することができるので、超解像処理で得られる高解像度画像の品質を向上させることができる。これに対して、円運動周期を撮像周期の整数倍とすると、円運動を繰り返しても撮像基準位置に変化がなく、１回の円運動で設定可能な撮像基準位置の数に限定される。

以下、円運動周期と撮像周期との比率を具体的に定めて、撮像基準位置の例について図１０、１１、１２を用いて説明する。図１０は、撮像周期と円運動周期との比率の一例での撮像基準位置の状況を示す模式図である。図１１、図１２は、撮像周期と円運動周期との比率の別例での撮像基準位置の状況を示す模式図である。なお、図１０〜図１２では、画素ピッチを１として図示している。

図１０に示す例では、円運動周期を撮像周期の７．５倍に設定している。ここで、撮像周期を例えば３０ms（約３０frame/s）とすると、円運動周期は２２５msとなる（＝３０ms×７．５）。この場合、円運動の２回目で撮像基準位置が原位置に復帰し、円運動が２回行われる間に１５回の撮像（サンプリング）が行われる。各撮像基準位置は４８deg（＝３６０deg／７．５）の相対角度をもって離間している。なお、超解像効果は画像にブレ（積分効果）があると抑制されるため、撮像素子３１における電荷蓄積期間（シャッタ速度）の選定は重要である。この観点からすれば、シャッタ速度は可能な限り高速にすべきである。しかし、一方でシャッタ速度を高速にすると感度不足となりやすいため、被写体の光量に応じてシャッタ速度優先でゲインを補償するのが望ましい。本実施形態ではシャッタ速度を１／２５０sec（４ms）に設定している。撮像周期＝３０msに対してシャッタ速度をこの程度にすると、超解像処理における画像のブレによる悪影響は目視上観測されなかった。

円運動の１回目では、図１０（Ａ）に示すように、撮像基準位置Ｐ１〜Ｐ８で撮像が行われ、円運動の２回目では、図１０（Ｂ）に示すように、撮像基準位置Ｐ９〜Ｐ１５で撮像が行われ、各撮像基準位置Ｐ９〜Ｐ１５は、円運動の１回目における隣り合う撮像基準位置（例えばＰ１とＰ２）の中間位置となる。円運動の１回目と２回目とを合わせると、図１０（Ｃ）に示すように、各撮像基準位置Ｐ１〜Ｐ１５が２４degの相対角度をもって離間する。

ここで、円運動の１回目の撮像基準位置Ｐ１〜Ｐ８での撮像で得られた８枚の画像に基づいて超解像処理を行う第１の処理モードと、円運動の１回目と２回目とを合わせた撮像基準位置Ｐ１〜Ｐ１５での撮像で得られた１５枚の画像に基づいて超解像処理を行う第２の処理モードとの２つの処理モードを選択することができる。

第１の処理モードでは、本来の１画素の範囲内に、Ｘ軸・Ｙ軸の両方向で位置の異なる２つの撮像基準位置が設定されるため、Ｘ軸・Ｙ軸のそれぞれの方向について撮像素子３１の本来の解像度のほぼ２倍の解像度で高解像度化を行うことができる。一方、第２の処理モードでは、本来の１画素の範囲内に、Ｘ軸・Ｙ軸の両方向で位置の異なる４つの撮像基準位置が設定されるため、Ｘ軸・Ｙ軸のそれぞれの方向について撮像素子３１の本来の解像度のほぼ４倍の解像度で高解像度化を行うことができる。

特に、この第２の処理モードでは、円運動の２回目で設定される撮像基準位置Ｐ９〜Ｐ１５の各々が、円運動の１回目で設定される撮像基準位置Ｐ１〜Ｐ８の互いに隣り合うもの同士の中心位置になり、撮像基準位置が偏ることなく均等に分散された状態となるため、超解像処理との適合性に優れた画像を生成することができる。

また、撮像装置１で撮像が行われている最中に撮像装置１で超解像処理を行うことも可能であり、この場合、第２の処理モードでは、円運動が２回行われて１５枚の画像が揃う度に１回の超解像処理を行えばよい。

一方、第１の処理モードでは、撮像基準位置を順次シフトさせながら８枚の画像が揃う度に超解像処理を行うとよい。具体的には、１回目で、撮像基準位置Ｐ１〜Ｐ８での撮像で得られた８枚の画像を用いて超解像処理を行い、２回目で、撮像基準位置Ｐ９〜Ｐ１５・Ｐ１での撮像で得られた８枚の画像を用いて超解像処理を行い、以降、３回目では撮像基準位置Ｐ２〜Ｐ９、４回目では撮像基準位置Ｐ１０〜Ｐ１５・Ｐ１・Ｐ２というように撮像基準位置を１つずつずらすようにする。

このように２つの処理モードを設定することができ、両モードでは、円運動周期（光学的シフト機構３５の回転速度）や撮像周期を変化させる必要がないため、制御が容易である。

なお、各モードでの超解像処理に用いる最初の画像は原位置Ｐ１の撮像で得られた画像に限定する必要がなく、第１の処理モードでは、任意の位置から１回の円運動が行われる間に撮像された８枚の画像を用いて超解像処理を行い、第２の処理モードでは、任意の位置から２回の円運動が行われる間に撮像された１５枚の画像を用いて超解像処理を行うようにしてもよい。

このような処理は、図３に示したように、画像処理装置２の記憶部２３に蓄積されたフレーム画像を用いて超解像処理を行う場合にも、また撮像装置１での撮像の最中に超解像処理を行う場合にも適用することができ、特に後者の場合には、処理モードの切り替えに伴って撮像開始位置を原位置Ｐ１に戻す操作が必要でないため、直ちに処理モードを切り替えて解像度が異なる高解像度画像を生成することが可能になる。

図２に示したように、撮像周期は、画像処理装置２において入力部２６を用いてユーザにより指定され、周期設定部２５にて、指定された撮像周期に基づいて円運動周期が決定され、ここで決定された円運動周期に関するコマンド信号が撮像装置１に送信される。撮像装置１のシフト制御部１４では、画像処理装置２から取得した円運動周期に関するコマンド信号に基づいて、指定された円運動周期に対応する回転速度で光学的シフト機構３５を動作させる。

また、ユーザは処理モード（第１の処理モードと第２の処理モード）を指定することができ、図３に示したように、画像処理装置２の記憶部２３に蓄積されたフレーム画像を用いて超解像処理を行う場合には、基準画像と共に処理モードをユーザに指定させ、ここで指定された処理モードに応じた数のフレーム画像を、基準画像として指定されたフレーム画像を基準にして読み出して超解像処理を行なわせればよい。

図１１、図１２に示す例では、円運動周期を撮像周期の７．２倍に設定している。この場合、円運動の５回目で撮像基準位置が原位置に復帰し、円運動が５回行われる間に３６回の撮像（サンプリング）が行われる。各撮像基準位置は５０deg（＝３６０deg／７．２）の相対角度をもって離間している。

円運動の１回目では、図１１（Ａ）に示すように、撮像基準位置Ｐ１〜Ｐ８で撮像が行われる。２〜５回目では、１回目の撮像基準位置Ｐ１・Ｐ２間に着目して説明すると、図１１（Ｂ）に示す２回目で、撮像基準位置Ｐ１・Ｐ２間に新たな撮像基準位置Ｐｓ＿２が追加され、以下同様にして、図１１（Ｃ）に示す３回目でＰｓ＿３が、図１２（Ａ）に示す４回目でＰｓ＿４が、図１２（Ｂ）に示す５回目でＰｓ＿５が撮像基準位置Ｐ１・Ｐ２間に追加される。

このようにして、円運動の１回目において隣接する２つの撮像基準位置の間に、円運動を繰り返す毎に１つの撮像基準位置が追加され、円運動の１〜５回目の撮像基準位置を合わせると、図１２（Ｃ）に示すように、本来の１画素の範囲内に、Ｘ軸・Ｙ軸の両方向で位置の異なる９つの撮像基準位置が設定され、撮像位置を微小にずらして９回の撮像が行われたことになり、Ｘ軸・Ｙ軸のそれぞれの方向について撮像素子の本来の解像度のほぼ１０倍の解像度で高解像度化を行うことができる。

また、さほど高解像度化が要求されない場合は、前記の図１０の例と同様に、１回の円運動で設定された８つの撮像基準位置の撮像で得られた８枚の画像に基づいて超解像処理を行えば良く、より高い解像度が要求される場合には、２回、３回、４回と円運動の回数を多くすればよい。

ところで、図１０に示した例では円運動周期を撮像周期の７．５倍に設定し、図１１・図１２に示した例では円運動周期を撮像周期の７．２倍に設定したが、本発明はこれに限定されるものではない。

ここで、Ｒｓ＝円運動周期／撮像周期として、Ｆｎ（Ｒｓ）を次式のように定める。
Ｆｎ（Ｒｓ）＝Ｒｓ−ｉｎｔ（Ｒｓ） （式１）
なお、ｉｎｔは、“（）”内の値を越えない最大の整数を返す関数を意味する。以下同様である。

このＦｎ（Ｒｓ）は、次式のように、撮像基準位置が最初の位置に復帰するまでの光像の円運動の回数Ｎｒの逆数である。
Ｎｒ＝１／Ｆｎ（Ｒｓ） （式２）

また、第１の処理モード、すなわち１回の円運動のみで撮像された画像に基づいて超解像処理を行う場合の撮像回数Ｓ１は、次式のようになる。
Ｓ１＝ｉｎｔ（Ｒｓ）＋１ （式３）
一方、第２の処理モード、すなわち２回の円運動で撮像された画像に基づいて超解像処理を行う場合の撮像回数Ｓ２は、次式のようになる。
Ｓ２＝Ｒｓ×Ｎｒ （式４）

前記の図１０に示した例では、撮像周期に対する円運動周期の比率Ｒｓ＝７．５としたから、式１によりＦｎ（Ｒｓ）＝７．５−ｉｎｔ（７．５）＝０．５となり、また式２によりＮｒ＝１／０．５＝２となり、円運動の２回で撮像基準位置が原位置に復帰する。また、第１の処理モード及び第２の処理モードでの撮像回数Ｓ１、Ｓ２については、式３によりＳ１＝７＋１＝８となり、式４によりＳ２＝７．５×２＝１５となる。

また、図１１・図１２に示した例では、撮像周期に対する円運動周期の比率Ｒｓ＝７．２としたから、式１によりＦｎ（Ｒｓ）＝７．２−ｉｎｔ（７．２）＝０．２となり、また式２によりＮｒ＝１／０．２＝５となり、円運動の５回で撮像基準位置が原位置に復帰する。また、第１の処理モード及び第２の処理モードでの撮像回数Ｓ１・Ｓ２については、式３によりＳ１＝７＋１＝８となり、式４によりＳ２＝７．２×５＝３６となる。

このように撮像周期に対する円運動周期の比率Ｒｓを７．５あるいは１０．５のように小数点部が０．５となるように設定すると、２回の円運動で撮像基準位置が原位置に復帰し、比率Ｒｓを７．２あるいは１０．２のように小数点部が０．２となるように設定すると、５回の円運動で撮像基準位置が原位置に復帰する。また、Ｒｓを７．１や８．１のように小数点部が０．１となるように設定すると、１０回の円運動で撮像基準位置が原位置に復帰し、Ｒｓの小数点部を小さくすることで、撮像基準位置が原位置に復帰するまでの円運動の回数が多くなり、位置の異なる撮像基準位置を数多く設定することができ、高解像度化を図ることができる。

また、撮像周期に対する円運動周期の比率Ｒｓの整数部を大きくすることで、円運動の１回あたりの撮像回数が多くなり、高解像度化を図ることができる。なお、実用上、Ｘ軸・Ｙ軸のそれぞれの方向について２倍以上の解像度の向上を図ることが望ましく、前記のようにベイヤ配列が採用された撮像素子３１で、画素ピッチの２倍の範囲で光学的シフトを行なう場合を前提とすると、Ｒｓ≧４．５とするのが好ましい。

なお、以上の例は、いずれも円運動の周期と撮像周期が、共通の約数を持つ場合であったが、これらを「互いに素」の関係にしても良く、このようにすると極めて細密に撮像を行うことができる。

ところで、本発明では、撮像周期に対する円運動周期の比率Ｒｓに応じて解像度が定まるため、円運動周期及び撮像周期のいずれか一方を一定として他方を増減することで解像度を調整することができる。例えば、撮像周期を短くすることで、円運動の１回あたりの撮像回数を増やして、解像度を高めることができる。ただし、撮像周期は、被写体照度や環境の明るさに応じて調整する必要があり、一般的に被写体が暗ければ撮像周期を長くして撮像素子３１での電荷蓄積時間を長く確保する措置が取られることが多く、撮像周期の適正範囲が限定される。このため、撮像周期を予め決定した上で、撮像周期に対する円運動周期の比率Ｒｓが所要の値となるように円運動周期を設定するとよい。例えば撮像周期を短くすることができない場合には、円運動周期を長く設定する、すなわち光学的シフト機構３５による光学部材５１の回転速度を低く設定すればよい。

また、被写体照度が低くなると一般にＳＮＲ（Signal Noise Ratio）が低下する。超解像処理、特にフレーム間再構成型の超解像処理では、時間的に連続する複数のフレーム画像を畳み込んで（すなわち合成して）高解像度画像を生成するため、用いるフレーム画像が多いほど、ＳＮＲの観点からは有利となる。このため、被写体照度が低下した場合は、撮像周期を長くして事実上の感度アップを図り、さらに円運動周期を長くして円運動の１回あたりのサンプリング（撮像）の回数を増加することでＳＮＲの向上を図ることができる。具体的には、撮像周期に対する円運動周期の比率Ｒｓを例えば１０．５のように設定すればよい。

また、本発明では、光学的シフト機構３５による画素ずらしにより画像全体が一律にシフトするため、一般的に圧縮率の観点では不利になるが、フレーム間の予測誤差を伝送する画像圧縮手法において圧縮率に影響するのは基本的にエッジ部であり、画像の平坦部では影響は殆どない。よって通常の利用シーンではＭＰＥＧ４等による圧縮が施されたとしても、圧縮率は大きく増大することがない。従って、本発明を適用するにあたり、敢えて高速なネットワーク回線を使用する必要はない。

以上のように、本発明では、円運動周期を撮像周期の非整数倍にするという単純な構成によって、画素ずらしの状態を様々に制御することができ、特に均一に分散した多点での撮像が可能となるため、超解像処理に適した原画像を簡単に得ることができる。そして、撮像周期に対する円運動周期の比率を調整することで、超解像処理で得られる高解像度画像の解像度を自由に制御することができる。

なお、前記の例では、光学的シフト機構３５において、撮像素子３１の受光面上で結像する光像と撮像素子３１とを相対的に円運動させるために、撮像素子３１が固定された状態で、平行平板５７を備えた光学部材５１に円運動を行わせるものとしたが、これとは逆に、光像が固定された状態で、撮像素子に円運動を行わせる構成としてもよい。

また、前記の例では、磁気による回転力で円運動を行わせる構成としたが、ピエゾ素子や超磁歪素子を用いた１軸型（直動型）のアクチュエータで円運動を行わせる構成も可能である。例えば、撮像素子に１軸型のアクチュエータで円運動を行わせる構成の場合、Ｘ軸方向及びＹ軸方向の２つのアクチュエータを撮像素子に連結し、Ｘ軸方向について正弦波を、Ｙ軸方向について余弦波をベースとして、それぞれのアクチュエータを独立して駆動すれば、これらのアクチュエータによって変位される撮像素子は、光像に対して円運動を行なうこととなり、正弦波及び余弦波の周期を制御すれば、円運動周期を変更することができる。さらに、Ｘ軸及びＹ軸についてそれぞれ変位のベースとなる正弦波の振幅や位相等を互いに調整することで、光像は撮像素子の表面で、ｘ＝Ａｃｏｓ（ａｔ）、ｙ＝Ｂｓｉｎ（ｂｔ＋δ）として規定される、いわゆるリサジュー曲線を描くこととなる。このリサジュー曲線を適用することで、撮像位置の分散性をより高めることができる。そしてリサジュー曲線の繰返し周期を撮像周期の非整数倍にすることによって、本発明の作用・効果がそのまま反映されることは言うまでもない。

本発明にかかる撮像装置及びネットワークカメラシステムは、簡易な構成で、超解像処理で得られる高解像度画像の品質を向上させることができる効果を有し、撮像素子の受光面上で結像する光像と撮像素子とを相対的に微小変位させながら撮像を行う、いわゆる画素ずらしによって取得した複数の原画像から超解像処理により高解像度画像を生成するのに適した撮像装置及びネットワークカメラシステムなどとして有用である。

１ 撮像装置
２ 画像処理装置
１１ 撮像部
１２ 画像処理部
１３ データ圧縮送信部（送信手段）
１４ シフト制御部（シフト制御手段）
２１ データ受信復号部（受信手段）
２２ 表示部
２３ 記憶部
２４ 超解像処理部（超解像処理手段）
２５ 周期設定部
２６ 入力部
３１ 撮像素子
３３ 駆動回路（撮像制御手段）
３５ 光学的シフト機構（シフト手段）
３６ 磁気駆動部
３７ 磁気センサ
４１ センサモジュール
４２ レンズユニット
５１ 光学部材
５７ 平行平板
５８ 着磁部
５９ 磁気発生部

Claims (5)

1. 被写体からの光を光電変換して画素信号を出力する撮像素子と、
   この撮像素子の受光面上で結像する光像と前記撮像素子との相対的な円運動を行わせるシフト手段と、
   このシフト手段による円運動を指定の周期で行わせるシフト制御手段と、
   前記撮像素子による撮像を指定の周期で行わせる撮像制御手段とを有し、
   前記シフト手段の円運動周期を前記撮像素子の撮像周期の非整数倍に設定して、前記シフト手段による円運動を１方向に一定速度で連続して行わせながら前記撮像素子に撮像を行わせるようにしたことを特徴とする撮像装置。
2. 前記撮像素子は、ベイヤ配列にしたがって画素が配列された単板式のものであり、
   前記シフト手段による円運動の直径が前記撮像素子の画素ピッチの２倍に設定されたことを特徴とする請求項１に記載の撮像装置。
3. 前記シフト手段による円運動の２回目で撮像位置が原位置に復帰するように、前記円運動周期と前記撮像周期との比率が設定されたことを特徴とする請求項１若しくは請求項２に記載の撮像装置。
4. 撮像装置と画像処理装置とがネットワークを介して相互に接続されたネットワークカメラシステムであって、
   前記撮像装置は、
   被写体からの光を光電変換して画素信号を出力する撮像素子と、
   この撮像素子の受光面上で結像する光像と前記撮像素子との相対的な円運動を行わせるシフト手段と、
   このシフト手段による円運動を指定の周期で行わせるシフト制御手段と、
   前記撮像素子による撮像を指定の周期で行わせる撮像制御手段と、
   前記撮像素子での撮像により順次生成するフレーム画像を前記画像処理装置に送信する送信手段とを有し、
   前記画像処理装置は、
   前記撮像装置から送信されるフレーム画像を受信する受信手段と、
   この受信手段で受信した複数のフレーム画像から高解像度画像を生成する超解像処理手段とを有し、
   前記撮像装置において、前記シフト手段の円運動周期を前記撮像素子の撮像周期の非整数倍に設定して、前記シフト手段による円運動を１方向に一定速度で連続して行わせながら前記撮像素子に撮像を行わせるようにしたことを特徴とするネットワークカメラシステム。
5. 前記超解像処理手段は、前記シフト手段による円運動の１回のみで生成されるフレーム画像から高解像度画像を生成する第１の処理モードと、円運動の複数回で生成されるフレーム画像から高解像度画像を生成する第２の処理モードとを有することを特徴とする請求項４に記載のネットワークカメラシステム。

Images