JP2009163551A - 画像処理システムおよびこれに用いるカメラと録画再生装置 - Google Patents

Abstract

【課題】ｎ台のカメラ（ｎは２以上の整数）からのｎ枚の画像フレームを入力として、ｎ倍の高解像度化処理をより効果的に実現すること。
【解決手段】位置推定部２１は、入力したｎ枚の画像フレームのうち、基準となる画像フレームと他の画像フレームとのサンプリング位相差θを推定する。位相差調整部２２は、推定したサンプリング位相差θがθｍ＝（２π×（ｍ−１））／ｎ（ｍ＝２〜ｎ）となるように、カメラ１２のカメラ方向制御部１３に対して撮影方向を調整する制御信号１０２を送る。高解像度化処理部３０は、複数の画像データとサンプリング位相差の情報を用いて、画像フレームの解像度をｎ倍に高解像度化する。
【選択図】図１

Description

本発明は、監視画像などを高解像度化する画像処理システムに関し、特に複数のカメラからの画像を好適に合成することにより効果的に高解像度化を行う技術に関する。

最近の監視システムにおいては、監視カメラによる撮影画像をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増やして表示することが一般的に行われている。その際、一般的に知られているｓｉｎｃ関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やす手法もあるが、これだけでは解像度を上げることはできない。

そこで、非特許文献１に記載されているように、入力された時間軸上の複数の画像フレーム（以下、フレームと略記）を合成して１枚のフレームとすることにより、高解像度化しながら画素数を増やす技術（同文献では「超解像処理」と呼んでいる）が提案されている。ここでは、主に単一の映像入力を元に解像度を高める方法について記述されている。

一方特許文献１には、異なる空間−時間解像度を持つ複数の入力源の結合によって、空間または時間解像度を高めるシステムおよび方法が提案されている。そして図７には、低空間解像度ビデオカメラと高空間解像度スチルカメラからのデータを結合して、空間解像度がビデオ源に比較して向上し、時間解像度が静止画像源より高い画像を形成することが記載されている。

青木伸「複数のデジタル画像データによる超解像処理」Ｒｉｃｏｈ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ，Ｎｏ．２４，Ｎｏｖｅｍｂｅｒ，１９９８ 特表２００５−５１５６７５号公報

上記の非特許文献１に提案される高解像度化技術（超解像処理）の課題について説明する。図１２は、上記高解像度化技術（超解像処理）の概要を示す図である。この処理は、（１）位置推定、（２）広帯域補間、（３）加重和の３段階処理からなる。

同図（ａ）に示すように、異なる時間軸上のフレーム＃１、フレーム＃２、フレーム＃３が入力され、これらを合成して出力フレーム＃０を得ることを想定する。簡単のため、まず被写体が水平方向に移動（矢印２０１）した場合に、水平線２０２の上の１次元の信号処理によって高解像度化することを考える。このとき、同図（ｂ）と同図（ｄ）に示すように、フレーム＃２とフレーム＃１では、被写体の移動（２０１）の量に応じて信号波形の位置ずれが生じる。そこで（１）の位置推定によってこの位置ずれ量を求め、同図（ｃ）に示すように、位置ずれが無くなるようにフレーム＃２を動き補償（矢印２０３）するとともに、各フレームの画素２０４のサンプリング位相２０５，２０６の間の位相差θ（２０７）を求める。この位相差θ（２０７）に基づき、（２）広帯域補間および（３）加重和を行うことにより、同図（ｅ）に示すように、元の画素２０４のちょうど中間（位相差θ＝π）の位置に新規画素２０８を生成して、高解像度化した出力フレーム＃０を実現する。ここで、（２）の広帯域補間は、ナイキスト周波数の２倍の通過帯域を持つ一般的なローパスフィルタにより実現できる。（３）の加重和は、サンプリング位相に応じた折返し成分を打ち消し、原信号の高周波成分を復元するものである。

なお、実際には被写体の動きが平行移動だけでなく、回転や拡大・縮小などの動きを伴うことも考えられるが、フレーム間の時間間隔が微小な場合や被写体の動きが遅い場合には、これらの動きも局所的な平行移動に近似して考えることができる。

上記高解像度化技術（超解像処理）によって１次元方向の２倍の高解像度化を行う場合、上記（３）の加重和を行うために、少なくとも３枚のフレーム画像の信号を用いる必要があった。以下、その理由を説明する。

図１３は、従来の加重和の処理を説明する図である。１次元の周波数領域で、各成分の周波数スペクトルを示す。同図において、周波数軸からの距離が信号強度を表し、周波数軸を中心とした回転角が位相を表す。

上記（２）の広帯域補間では、ナイキスト周波数の２倍の帯域（周波数０〜サンプリング周波数ｆｓまでの帯域）を透過する広帯域ローパスフィルタによって画素補間することで、原信号と同じ成分（以下、原成分）と、サンプリング位相に応じた折返し成分の和が得られる。ここで、３枚のフレーム画像の信号に対して上記（２）の広帯域補間の処理を行うと、同図（ａ）に示すように、各フレームの原成分＃１ａ，＃２ａ，＃３ａの位相はすべて一致し、折返し成分＃１ｂ，＃２ｂ，＃３ｂの位相は各フレームのサンプリング位相の差θに応じて回転することが知られている。それぞれの位相関係をわかりやすくするために、各フレームの原成分＃１ａ，＃２ａ，＃３ａの位相関係を同図（ｂ）に示し、各フレームの折返し成分＃１ｂ，＃２ｂ，＃３ｂの位相関係を同図（ｃ）に示す。

ここで、３枚のフレーム画像の信号に対して、乗算する係数を適切に選択して上記（３）の加重和を行うことにより、各フレームの折返し成分＃１ａ，＃２ａ，＃３ａを互いに打ち消して除去し、原成分＃１ａ，＃２ａ，＃３ａだけを抽出する。その際、各フレームの折返し成分＃１ｂ，＃２ｂ，＃３ｂのベクトル和を０にすること、すなわち、Ｒｅ軸（実軸）の成分とＩｍ軸（虚軸）の成分を両方ともに０とすることが必要で、そのためには少なくとも３つの折返し成分が必要となる。従って、２倍の高解像度化を実現するために、すなわち１個の折返し成分を除去するために、少なくとも３枚のフレーム画像の信号を用いる必要があった。

同様に、ｎ倍（ｎは２以上の整数）の高解像度化を実現するために、すなわち（ｎ−１）個の折返し成分を除去するために、少なくとも（２ｎ−１）枚のフレーム画像の信号を用いる必要があった。

従って従来技術は、フレームメモリや信号処理回路の規模が大きくなって経済的でないとともに、時間的に離れた数多くのフレーム画像の位置推定を正確に行う必要があるため技術的困難性を伴った。

また、非特許文献１に示される方法は、フレーム間の被写体の時間的な動きを利用するものであることから、静止する被写体を撮影した場合や、高解像度化するために十分な画像フレームが確保できない場合には適用が困難となる。そのため、例えば２４時間監視の監視システム等において、録画容量の関係から記録映像のフレームレートが１〜２ｆｐｓ程度に低く設定されるような場合には、高解像度化したい被写体が映ったフレーム数が少なくなり、高解像度化処理が困難になる。

一方、特許文献１に示される方法では、複数の入力源（複数のカメラ画像）を結合することで空間的あるいは時間的に画像の解像度を高めるものであり、静止する被写体を撮影する場合にも適用できる。しかしながら、非特許文献１の場合と同様に、２倍の高解像度化を実現するためには少なくとも３台のカメラ画像の信号を必要とし、ｎ倍（ｎは２以上の整数）の高解像度化を実現するためには少なくとも（２ｎ−１）台のカメラ画像の信号を必要とすることに変わりはない。よって、フレームメモリや信号処理回路の規模が大きくなって経済的でないとともに、空間的に離れた数多くのフレーム画像の位置推定を正確に行う必要があるため技術的困難性を伴ってくる。

さらに特許文献１では、複数の入力源（カメラ）の設置位置まで考慮されていない。そのため、入力源の設置位置の関係が不適当であると、画像の合成（折返し成分の除去）が良好になされず、解像度を高める効果が十分に発揮されない場合が生じる。

本発明はこのような課題に鑑み、その目的とするところは、ｎ台のカメラ（ｎは２以上の整数）からのｎ枚の画像フレームを入力として、ｎ倍の高解像度化処理をより効果的に実現することにある。

本発明は、複数のカメラから入力した画像を合成して画像の高解像度化を行う画像処理システムであって、ｎ台（ｎは２以上の整数）のカメラからｎ枚の画像フレームを入力するカメラ入力部と、入力したｎ枚の画像フレームのうち、基準となる画像フレーム上の画像データと他の画像フレーム上の対応する各画像データを用いてサンプリング位相差を推定する位置推定部と、位置推定部で推定したサンプリング位相差が所定の値となるように、カメラのカメラ方向制御部に対して撮影方向を調整する制御信号を送る位相差調整部と、複数の画像データとサンプリング位相差の情報を用いて、基準となる画像フレームの解像度をｎ倍に高解像度化する高解像度化処理部とを備える。

ここに前記高解像度化処理部は、サンプリング位相差の情報を用いて各画像フレームの画像データを動き補償するとともに画素数をｎ倍に増やして高密度化する動き補償・アップレート部と、高密度化した各画像フレームの画像データを所定量だけ位相シフトする位相シフト部と、サンプリング位相差の情報を用いて加算用の係数を決定する係数決定部と、位相シフト部が位相シフトする前後の各画像データに上記係数を乗じて加算することにより（ｎ−１）個の折返し成分を除去して出力する折返し成分除去部とを有する。

また前記位相差調整部は、基準となるカメラをカメラ１としてカメラｎまでｎ台のカメラを設置する場合、カメラ１とカメラｍとの位相差θｍが、ほぼ、θｍ＝（２π×（ｍ−１））／ｎ（ここでｍ＝２〜ｎの整数）となるように各カメラの撮影方向を調整する。

本発明によれば、ｎ台のカメラからのｎ枚の画像フレームを用いてｎ倍の高解像度化を実現するとともに、劣化のない高画質の画像を得ることができる。

図１は、本発明による画像処理システムの一実施例を示す構成図である。ここでは、簡単のために、２台のカメラから入力した画像データを合成して２倍の高解像度化処理を行う場合を示す。

カメラ１（１１）とカメラ２（１２）は、同一被写体を撮影してそれぞれ撮影画像のフレーム＃１とフレーム＃２を出力する。フレーム＃１とフレーム＃２は時間的には同一のものであるが、被写体の画面内の位置はカメラ方向制御部１３により、所定量だけずらしている。ストレージ装置５０は、ハードディスクなどの大容量記憶媒体を有し、各カメラからのフレーム＃１とフレーム＃２の画像データを蓄積する録画再生装置である。

フレーム＃１とフレーム＃２の画像データは、カメラ制御部２０に送られる。位置推定部２１は、カメラ１から入力されたフレーム＃１内の処理対象の画素のサンプリング位相（標本化位置）を基準として、カメラ２から入力されたフレーム＃２内の対応する画素の位置を推定し、サンプリング位相差θ（１０１）を求める。モード切替スイッチ２３は、画像表示モード（端子ａ）と位相差調整モード（端子ｂ）を切り替えて選択する。

画像表示モードの場合は、フレーム＃１、フレーム＃２および位相差θは、高解像度化処理部３０へ送られる。高解像度化処理部３０は、フレーム＃１、フレーム＃２の画像データおよび位相差θの情報を用いて、高解像度化処理（超解像処理）を行う。

位相差調整モードであれば、位相差θ（１０１）の情報は位相差調整部２２に送られる。位相差調整部２２では、入力した位相差θの情報を高解像度化処理部３０へ送ると共に、位相差θが高解像度化処理に適した目標値（π）に十分近いかどうか（すなわちπを中心とした目標範囲に入っているかどうか）を判定する。位相差θが目標値でない（目標範囲に入っていない）と判定した場合、カメラ方向制御部１３にカメラ方向制御要求１０２を発行する。カメラ方向制御部１３は、位相差調整部２２からの要求に従ってカメラ２の撮影方向を制御する。なお、カメラ方向制御部１３はカメラ２に組み込まれている。

位相差調整部２２は、位相差θが目標値（π）に十分近い場合、あるいは目標範囲（例えば、７π／８〜９π／８の範囲）内の値である場合には、そのカメラ位置を維持する。位相差θが目標値（π）、あるいは目標範囲から外れている場合には、カメラ方向制御部１３に対し位相差θを「より小さくせよ」または「より大きくせよ」との制御要求を送る。カメラ方向制御部１３は、カメラ２の撮影方向を、要求された方向に機械的に微小量だけ移動させる。そして再度位相差θを求め、目標範囲に入ればその状態を維持する。目標範囲から外れていれば再度カメラ２の方向の調整を行う。これを繰り返すことで、位相差θを目標範囲内に引き込むことができる。

ここで位相差θ（１０１）は、高解像度化処理によって増加する画素データの位置がどこにくるかを意味している。すなわち、本実施例ではフレーム＃１の各画素の中間位置（位相π）に新規画素を生成して解像度を２倍するものであるが、フレーム＃２が最初から新規画素に近い位置の情報を持っていれば、最も効果的に高解像度化を行うことができる。この位置が中間位置（π）からずれると、その分演算時の誤差（ノイズ）が混入して、合成後の画質を劣化させる原因となる。

そこで本実施例では、高解像度化時の画質劣化を防止するために、位相差調整部２２は位相差θがπに近くなるように調整を行う。このようにカメラ方向を調整することで、それぞれのカメラが出力するフレームが新規画素に近い位置の情報を持つようになる。

位相差調整部２２によって調整した結果、位相差θが高解像化処理に適した値（π）に十分近いと判定されると、位相差調整モードから画像表示モードに切り替える。高解像度化処理部３０へは、フレーム＃１と、調整後のフレーム＃２および調整後の位相差θ（１０１）が出力される。

ストレージ装置５０には、フレーム＃１とフレーム＃２の画像データが蓄積されるが、位相差調整モードの期間においては録画を中断させ、位相差調整が終了したら録画を再開させる。ハードディスクであれば、上書き処理で対応が可能である。このようにすれば、ストレージ装置５０に保存される画像データは、フレーム＃１とフレーム＃２の位相差θは高解像化処理に適した値（π）に十分近いものとすることができる。よって、これを再生して高解像度化すれば、高画質な画像を得ることができる。

位置推定部２１は、フレーム＃１の処理対象の画素を基準に、フレーム＃２上の対応する画素の位置を推定してサンプリング位相差θ（１０１）を求める。位置推定のために、まずフレーム＃１をブロックに分割して、処理対象ブロックを設定する。この処理対象ブロックと比較して、フレーム＃２の中で画像が最も類似している領域（処理対象ブロックと同一サイズの領域）を探索する。探索処理では、両者間での類似度として、例えば対応する位置での画素値の差分絶対値の和を算出し、算出値が最小となる領域を最も類似した領域として決定する。これをフレーム＃２の対応する領域としてその位置を推定し、フレーム＃１の処理対象ブロックとの位置差およびサンプリング位相差θ（１０１）を求める。位置推定では、探索処理を小数画素単位で行う。例えば位置差を１／１６画素単位で求めれば、位相差θをπ／８の精度で求めることができる。

図２は、高解像度化処理部３０の構成を示す図である。高解像度化処理部３０は、動き補償・アップレート部３１と、位相シフト部３４と、折返し成分除去部３９で構成する。

動き補償・アップレート部３１には、フレーム＃１、フレーム＃２および位相差θ（１０１）が入力する。アップレート器３２，３３は、位相差θの情報を用いてフレーム＃２を動き補償してフレーム＃１と位置を合わせるとともに、フレーム＃１とフレーム＃２の画素数をそれぞれ２倍に増して高密度化する。

位相シフト部３４では、この高密度化したフレーム＃１，＃２の位相を所定量だけシフトする。ここでは、データの位相をπ／２だけシフトするπ／２位相シフト器３６，３８を用いている。その結果、密度化したフレーム＃１，＃２はフレーム＃１ｓ，＃２ｓとなる。また、π／２位相シフト器３６，３８で生じる遅延を補償するために、遅延器３５，３７を設け、高密度化したフレーム＃１とフレーム＃２の信号を遅延させる。

折返し成分除去部３９では、遅延器３５，３７とπ／２位相シフト器３６，３８からの各出力信号＃１，＃１ｓ，＃２，＃２ｓに係数を乗じて加算する。すなわち、係数決定器４０は位相差θ（１０１）をもとに係数Ｃ０，Ｃ１，Ｃ２，Ｃ３を生成し、乗算器４１，４２，４３，４４はこれらの係数を各信号に乗じ、加算器４５にてこれらを加算する。その結果、折返し成分を除去した出力フレーム＃０が得られる。

このように本実施例の画像処理システムでは、複数のカメラ入力からなる画像データを合成して高解像度化を行う際に、画像データのサンプリング位相差が高解像度化処理に適した値になるようにカメラの設置位置を調整する手段を設けた。また、入力した画像データの位相を所定量だけシフトする手段を設けて、折返し成分を除去する構成とした。

図３は、折返し成分除去部３９の動作を説明する図である。遅延器３５，３７とπ／２位相シフト器３６，３８からの各出力信号＃１，＃２，＃１ｓ，＃２ｓを１次元の周波数領域で示す。

同図（ａ）において、遅延器３５，３７から出力されたアップレート後のフレーム＃１とフレーム＃２の信号は、それぞれ、原成分＃１ａ，＃２ａと、元のサンプリング周波数ｆｓから折り返された折返し成分＃１ｂ，＃２ｂを加えた信号となる。このとき、折返し成分＃２ｂは上述の位相差θ（１０１）だけ位相が回転している。一方、π／２位相シフト器３６，３８から出力されたアップレート後のフレーム＃１ｓとフレーム＃２ｓの信号は、それぞれ、π／２位相シフト後の原成分＃１ｓａ，＃２ｓａと、π／２位相シフト後の折返し成分＃１ｓｂ，＃２ｓｂを加えた信号となる。同図（ｂ）および同図（ｃ）は、同図（ａ）に示した各成分の位相関係をわかりやすくするために、原成分と折返し成分をそれぞれ抜き出して示したものである。

これらの成分を加算するときの条件は、同図（ｂ）に示す４つの原成分のベクトル和をとったときに、Ｒｅ軸の成分を１とし、Ｉｍ軸の成分を０とするとともに、同図（ｃ）に示す４つの折返し成分のベクトル和をとったときに、Ｒｅ軸とＩｍ軸の両方の成分を０とすることである。これを満足するように、各成分に乗算する係数を決定する。その結果、折返し成分を打ち消してキャンセルし、原成分だけを抽出することができる。すなわち本実施例では、π／２位相シフト器３６，３８を設けてπ／２位相シフト後の成分を演算に取り込むことにより、入力する画像信号が２枚のフレーム画像だけであっても、１次元方向の２倍の高解像度化行う画像信号処理装置を実現できる。

さらに本実施例では、入力する２枚のフレーム画像の位相差θはほぼπになるように調整されている。よって折返し成分の位相関係は、同図（ｄ）に示すようになる。この場合、フレーム＃１の折返し成分＃１ｂとフレーム＃２の折返し成分＃２ｂとは逆位相になる。また、π／２位相シフト後のフレーム＃１の折返し成分＃１ｓｂとπ／２位相シフト後のフレーム＃２の折返し成分＃２ｓｂとは逆位相になる。その結果、これらは単純な加算処理により、折返し成分をほぼ完全に打ち消すことができる。言い換えれば、折返し成分除去部３９の演算処理時のノイズ混入の影響を最小とし、最良の画質を伴って高解像度化を実現することができる。

図４は、本実施例における画像フレームの合成の概念図である。すなわち、従来は図１２に示すように時間的に異なる複数（３枚以上）のフレーム＃１，＃２，＃３を用いて高解像度化処理を行っていたのに対し、本実施例では、図４に示すように同じ時間の２台のカメラ１１，１２が出力するフレーム＃１，＃２を合成することで高解像度化処理を実現する。そのために、入力した画像データの位相を所定量（π／２）だけシフトする手段を用いることにより折返し成分を除去することができる。また、画像データのサンプリング位相差が高解像度化処理に適した値（π）になるように一方のカメラの設置位置を調整することで、画質向上を同時に実現する。

以下、高解像度化処理部３０の他の部分の動作について説明する。
図５は、アップレート器３２，３３の伝送特性（周波数−利得特性）を示す図である。横軸は周波数を、縦軸は利得（入力信号振幅に対する出力信号振幅の比の値）を表す。アップレート器３２，３３では、元の信号のサンプリング周波数ｆｓに対して２倍の周波数２ｆｓを新しいサンプリング周波数とすることで、元の画素間隔のちょうど中間の位置に新しい画素のサンリング点（＝ゼロ点）を挿入し、画素数を２倍にして高密度化する。また、周波数−ｆｓ〜＋ｆｓの間において全て利得２．０の通過帯域とするフィルタをかける。このとき同図に示すように、デジタル信号の対称性により２ｆｓの整数倍の周波数ごとに繰り返す特性となる。

図６は、アップレート器３２，３３の具体例を示す図である。ここでは、図５に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ｃｋ（ただし、ｋは整数）は一般的に知られているｓｉｎｃ関数となり、位相差θを考慮して、
Ｃｋ＝２ｓｉｎ（πｋ−θ）／（πｋ−θ）
とすればよい。なお、アップレート器３２では、位相差θを０とおき、
Ｃｋ＝２ｓｉｎ（πｋ）／（πｋ）
とすればよい。また、位相差θを、整数画素単位（２π）の位相差＋小数画素単位の位相差で表すことにより、整数画素単位の位相差の補償については単純な画素シフトにより実現し、小数画素単位の位相差の補償については上記アップレート器３２，３３のフィルタを用いてもよい。

図７は、π／２位相シフト器３６，３８の伝送特性を示す図である。（ａ）は、横軸は周波数を縦軸は利得（周波数−利得特性）を表す。元の信号のサンプリング周波数ｆｓに対して２倍の周波数２ｆｓを新しいサンプリング周波数として、周波数−ｆｓ〜＋ｆｓの間の０を除く周波数成分をすべて利得１．０の通過帯域とする。また（ｂ）は、横軸は周波数を縦軸は位相差（周波数−位相特性）を表す。ここで、周波数０〜ｆｓの間では位相をπ／２だけ遅らせ、０〜−ｆｓの間では位相をπ／２だけ進ませる。このとき同図に示すように、デジタル信号の対称性により２ｆｓの整数倍の周波数ごとに繰り返す特性となる。

図８は、π／２位相シフト器３６，３８をヒルベルト変換器で構成した例を示す。これは、図７に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ｃｋは、ｍを整数とするとき、
Ｃｋ＝０（ただしｋ＝２ｍ）、
Ｃｋ＝−２／（πｋ）（ただしｋ＝２ｍ＋１）
とすればよい。

なお、π／２位相シフト器３６，３８は、微分器を用いることも可能である。この場合、正弦波を表す一般式ｃｏｓ（ωｔ＋α）をｔで微分して１／ωを乗じると、
ｄ（ｃｏｓ（ωｔ＋α））／ｄｔ＊（１／ω）
＝−ｓｉｎ（ωｔ＋α）＝ｃｏｓ（ωｔ＋α＋π／２）
となり、π／２位相シフトの機能を実現できる。すなわち、対象とする画素の値と隣接画素の値との差分をとったのちに、１／ωの周波数−振幅特性を持ったフィルタをかけることによってπ／２位相シフトの機能を実現してもよい。

なお、アップレート器３２，３３およびπ／２位相シフト器３６，３８は、理想的な特性を得るためには無限大のタップ数を必要とするが、タップ数を有限個で打ち切って簡略化しても実用上問題ない。このとき、一般的な窓関数（例えばハニング窓関数やハミング窓関数など）を用いてもよい。簡略化したヒルベルト変換器の各タップの係数を、Ｃ０を中心として左右点対称の値、すなわちＣ（−ｋ）＝−Ｃｋ（ｋは整数）とすれば、位相を所定量だけシフトすることができる。

図９は、係数決定器４０の動作と係数の具体例を示す図である。
（ａ）は、２枚のフレーム画像だけを用いて、１次元方向の２倍の高解像度化行うための条件を示す。すなわち、図３（ｂ）に示した４つの原成分＃１ａ，＃２ａ，＃１ｓａ，＃２ｓａのベクトル和をとったときに、Ｒｅ軸の成分を１としＩｍ軸の成分を０とすること、図３（ｃ）に示した４つの折返し成分＃１ｂ，＃２ｂ，＃１ｓｂ，＃２ｓｂのベクトル和をとったときに、Ｒｅ軸とＩｍ軸の両方の成分を０とするように、各成分に乗算する係数を決定する。

ここで各係数は、図１に示す遅延器３５の出力＃１（＃１ａと＃１ｂの和）に対する係数をＣ０、π／２位相シフト器３６の出力＃１ｓ（＃１ｓａと＃１ｓｂの和）に対する係数をＣ１、遅延器３７の出力＃２（＃２ａと＃２ｂの和）に対する係数をＣ２、π／２位相シフト器３８の出力＃２ｓ（＃２ｓａと＃２ｓｂの和）に対する係数をＣ３とする。

上記（ａ）の条件を満たすためには、各成分の位相関係から（ｂ）に示す連立方程式が導かれ、これを解くと（ｃ）に示す解が得られる。係数決定器４０は、このようにして得た係数Ｃ０、Ｃ１、Ｃ２、Ｃ３を出力すればよい。

（ｄ）はその一例として、位相差θを０〜２πまでπ／８ごとに変化させたときの係数Ｃ０、Ｃ１、Ｃ２、Ｃ３の値を示す。これは、もとのフレーム＃２の信号を、１／１６画素の精度で位置推定し、フレーム＃１に対して動き補償した場合に相当する。

ここで位相差θが０に近い場合には、Ｃ１およびＣ３の値が大きくなる。ここにＣ１およびＣ３は、フレーム＃１およびフレーム＃２のπ／２位相シフト成分＃１ｓ，＃２ｓにかかる係数である。よって、新規画素を構成するために位相シフト成分＃１ｓ，＃２ｓを主として利用することを意味し、演算時（位相シフト時）のノイズ等の影響により加算後の画像データに誤差が混入しやすい。

これに対し本実施例では、位相差調整部２２は、位相差θがπに近くなるようにカメラの設置位置を調整する。位相差θがπあるいはπの近傍（７π／８〜９π／８）の場合には、係数Ｃ１およびＣ３が０あるいは極めて小さな値となる。ここにＣ１およびＣ３は、π／２位相シフト成分＃１ｓ，＃２ｓにかかる係数であるから、新規画素を構成するのに、位相シフト成分ではなく元画像の成分を主として利用していることを意味する。よって、演算時のノイズ等の影響を受けず加算後の画像データの誤差が少ない。またこの場合には、位相シフト部３４の構成が不要になることにより、その分高解像度化処理部３０を簡略化することができる。

本実施例において、ユーザはカメラの設置位置の調整を次のように行う。
図１０は、ユーザがカメラの位置調整を指示する画面の一例である。モニタ画面６０にはカメラからの撮影画像が表示されている。ユーザは画面内の「設定」ボタンを押し下げると、カメラ位置調整を促す画面６１が表示される。そこで「開始」ボタンを押し下げることにより、カメラの位置調整動作が開始される。すなわち、図１においてモード切替スイッチ２３を位置調整モード（ｂ）へ切り替える。調整の結果位相差θが目標値（π）に達すれば、位相差調整部２２はそこで調整動作を終了し、自動的に画像表示モード（ａ）に切り替える。

図１１は、カメラの位置調整においてユーザが画面内の注目点を指定する画面の一例である。カメラの位置調整の結果、画面内のあらゆる点で位相差θが目標値（π）になるとは限らない。それは設置した複数のカメラの画角は完全には一致しないから、位相差θの値は画面内で均一にはならないからである。そこでユーザは、画面６０内で優先的に高解像度化したい位置（注目点）をカーソル６２などで指定（クリック）する。位置推定部２１は、ユーザにより指定された画面内位置（例えば指定された位置を含むブロック）の画像について位相差θの算出を行う。そして位相差調整部２２は、位相差θが目標値（π）になるようにカメラの設置位置を調整する。これにより、ユーザが注目する画像部分（例えば人物）について優先的に高解像度化することができる。

この場合、指定した注目点に一般に良く知られるゾーンプレートのような幾何学模様をもつ立体を設置してカメラの位置調整を行えば、注目点における高解像度化の効果を目視で確認することが可能である。

以上述べたように本実施例によれば、２台のカメラからの２枚のフレーム画像を用いて、１次元方向に２倍の高解像度化を行うことができる。その際、２枚のフレーム画像の位相差θをほぼπになるように調整することで、画像処理時のノイズの影響を最小化し、高画質の画像を得ることができる。

従来技術においては、単一のカメラ入力による時間軸上の前後のフレームを用いた高解像度化処理では、入力画像が静止画の場合や低フレームレートの場合には十分なフレーム数が確保できないため、高解像度化処理を実行することが困難であった。これに対し本実施例の複数のカメラ入力を用いる方式では、静止画やフレームレートが低い場合においても高解像度化処理が可能になる。

なお、上記実施例では、２台のカメラからの２枚のフレーム画像を用いて１次元方向に２倍の高解像度化を行うものであったが、同様に、ｎ台のカメラからのｎ枚のフレーム画像を用いて、１次元方向にｎ倍の高解像度化を行うことも可能である。

この場合の加算時の係数決定は、図９（ａ）に示したように、原成分の和のＲｅ軸＝１、原成分の和のＩｍ軸＝０、の条件とともに、元のサンプリング周波数ｆｓの１〜（ｎ−１）倍の周波数からそれぞれ折り返された（ｎ−１）個の折返し成分のベクトル和をそれぞれ０と置いて、連立方程式を解けばよい。

またカメラ間の位相差θは、基準となるカメラをカメラ１としてカメラｎまでｎ台のカメラを設置する場合、カメラ１とカメラｍとの位相差θｍが、ほぼ、
θｍ＝（２π×（ｍ−１））／ｎ（ここでｍ＝２〜ｎの整数）
となるようにそれぞれのカメラの方向を調整することで、２台のカメラの場合と同様に高解像度化の効果を高めることができる。

なお、上記実施例では水平方向の高解像度化を例に挙げて説明したが、同様に、垂直方向や斜め方向の高解像度化も可能である。例えば、本実施例の高解像度化処理をインタレース−プログレッシブ走査変換（Ｉ−Ｐ変換）に適用することにより、２枚のフィールド画像から１枚のフレーム画像を生成することができる。すなわち、フィールド画像を「走査線数が１／２のフレーム画像」と見なして本実施例を適用することにより、静止画・動画に関わらず、画像１枚あたりの走査線数を２倍（すなわち、垂直方向の解像度を２倍）にした出力画像を得ることができる。また、水平・垂直方向を組み合わせた２次元の高解像度化にも容易に拡張可能である。

また、本実施例で使用する複数のカメラは、それぞれのカメラの方向を調整することが可能であることを条件に、できるだけ近接して設置することが望ましい。それは、各カメラからの画像の位相差が画面内で均一化するからである。複数のカメラを用いた画像処理装置として、被写体の距離を知ることができるステレオカメラ（立体カメラ）がある。ステレオカメラの場合、カメラ間の距離は人間の眼間距離程度に設定される。すなわち、本実施例の画像処理システムにおけるカメラ配置とステレオカメラにおけるカメラ配置とは類似している。よって、本実施例の画像処理システムとステレオカメラとは、内部の画像処理を切り替えるだけで相互に利用可能である。

本発明による画像処理システムの一実施例を示す構成図。 高解像度化処理部３０の構成を示す図。 折返し成分除去部３９の動作を説明する図。 本実施例における画像フレームの合成の概念図。 アップレート器３２，３３の伝送特性を示す図。 アップレート器３２，３３の具体例を示す図。 π／２位相シフト器３６，３８の伝送特性を示す図。 π／２位相シフト器３６，３８をヒルベルト変換器で構成した例。 係数決定器４０の動作と係数の具体例を示す図。 ユーザがカメラの位置調整を指示する画面の一例。 ユーザが画面内の注目点を指定する画面の一例。 従来の高解像度化技術（超解像処理）の概要を示す図。 従来の加重和の処理を説明する図。

符号の説明

１１，１２…カメラ１，２
１３…カメラ方向制御部
２０…カメラ制御部
２１…位置推定部
２２…位相差調整部
３０…高解像度化処理部
３１…動き補償・アップレート部
３２，３３…アップレート器
３４…位相シフト部
３５，３７…遅延器
３６，３８…π／２位相シフト器
３９…折返し成分除去部
４０…係数決定器
４１，４２，４３，４４…乗算器
４５…加算器
５０…ストレージ装置。

Claims (5)

1. 複数のカメラから入力した画像を合成して画像の高解像度化を行う画像処理システムにおいて、
   ｎ台（ｎは２以上の整数）のカメラからｎ枚の画像フレームを入力するカメラ入力部と、
   入力したｎ枚の画像フレームのうち、基準となる画像フレーム上の画像データと他の画像フレーム上の対応する各画像データを用いてサンプリング位相差を推定する位置推定部と、
   該位置推定部で推定したサンプリング位相差が所定の値となるように、上記カメラのカメラ方向制御部に対して撮影方向を調整する制御信号を送る位相差調整部と、
   上記複数の画像データと上記サンプリング位相差の情報を用いて、基準となる画像フレームの解像度をｎ倍に高解像度化する高解像度化処理部と、
   を備えることを特徴とする画像処理システム。
2. 請求項１に記載の画像処理システムにおいて、
   前記高解像度化処理部は、
   前記サンプリング位相差の情報を用いて各画像フレームの画像データを動き補償するとともに画素数をｎ倍に増やして高密度化する動き補償・アップレート部と、
   高密度化した各画像フレームの画像データを所定量だけ位相シフトする位相シフト部と、
   前記サンプリング位相差の情報を用いて加算用の係数を決定する係数決定部と、
   上記位相シフト部が位相シフトする前後の各画像データに上記係数を乗じて加算することにより（ｎ−１）個の折返し成分を除去して出力する折返し成分除去部と、
   を有することを特徴とする画像処理システム。
3. 請求項１または２に記載の画像処理システムにおいて、
   基準となるカメラをカメラ１としてカメラｎまでｎ台のカメラを設置する場合、
   前記位相差調整部は、カメラ１とカメラｍとの位相差θｍが、ほぼ、
   θｍ＝（２π×（ｍ−１））／ｎ（ここでｍ＝２〜ｎの整数）
   となるように各カメラの撮影方向を調整することを特徴とする画像処理システム。
4. 複数の画像を合成して画像の高解像度化を行う画像処理システムに画像フレームを供給するカメラであって、
   上記画像処理システムから送られた制御信号に基づき当該カメラの撮影方向を移動させることで、当該カメラの画像フレームと他のカメラの画像フレームとのサンプリング位相差が所定の値となるように調整するカメラ方向制御部を備えることを特徴とするカメラ。
5. 複数のカメラからの画像を合成して画像の高解像度化を行う画像処理システムに用いる録画再生装置であって、
   複数のカメラからの画像フレームのサンプリング位相差が所定の値となるように調整する位相差調整モードの期間においては上記画像フレームの録画を中断し、
   位相差調整が終了したら上記画像フレームの録画を再開させることを特徴とする録画再生装置。

Images