JP2000244803A - 画像信号処理装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 静止した被写体の撮影時間を長くし、Ｓ／Ｎ
も解像度も向上し、さらにＣＣＤ撮像素子の画素数を大
幅に上回る静止画を生成する。 【解決手段】 レンズ群１を介して入射された被写体の
像がシャッタ１０が押されている間、フィールド毎／フ
レーム毎にＣＣＤ撮像素子２へ供給される。レンズ群１
は、シスコン９によって、制御される。角速度センサ１
１では、縦横の角速度センサで光軸の方向の変化が検出
される。検出された変化分は、光軸制御部１２におい
て、レンズ群１に含まれる光軸可変素子を用いて光軸の
方向を制御するための信号が生成される。画像処理回路
３では、画像信号の円筒変換が行われ、基準画像信号と
現画像信号との位置合わせをしながら、撮影された複数
の画像信号がリアルタイムで順次加算される。また、円
筒変換された画像は、円筒から平面へ逆変換され、圧縮
回路５へ供給される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、複数の画像信号
から１枚の静止画を生成することができる画像信号処理
装置および方法に関する。

【０００２】

【従来の技術】現在、静止画モードを有するカメラ一体
型ディジタルＶＴＲおよびディジタルスチルカメラ（以
下、これらを総称してディジタルカメラと略する）を用
いて静止画の撮影を行う場合、動いている被写体の一瞬
をフリーズして撮影し、記録するようにできている。

【０００３】

【発明が解決しようとする課題】しかしながら、動画の
被写体を撮影するときと同様に、静止した被写体を撮影
するときにもほんの一瞬の光しか利用していない。その
ため、ディジタルカメラで撮影された静止画は、Ｓ／Ｎ
も解像度も不十分であった。

【０００４】したがって、この発明の目的は、静止した
被写体の撮影時間を長くすることによって、Ｓ／Ｎも解
像度もより良くなり、さらにＣＣＤ撮像素子の画素数を
大幅に上回る静止画を生成することができる画像信号処
理装置および方法を提供することにある。

【０００５】

【課題を解決するための手段】請求項１に記載の発明
は、シャッタを押している間、画像を順次撮像する撮像
素子と、撮像された画像を平面から円筒へ変換する円筒
変換手段と、円筒変換された画像中、基準画像と、基準
画像に対して所定の範囲内の位置ずれを有する画像との
間で、１／ｍ画素の精度で位置ずれを検出する位置ずれ
検出手段と、検出された位置ずれに応じて画像を補正す
る位置ずれ補正手段と、位置ずれが補正された画像を加
算する加算手段と、シャッタを離すと、加算された画像
を加算した枚数で除算し、平均化する平均化手段と、平
均化された画像を円筒から平面へ変換する逆変換手段と
からなることを特徴とする画像信号処理装置である。

【０００６】請求項５に記載の発明は、シャッタを押し
ている間、画像を順次撮像する撮像素子と、複数の画像
を撮影する時の画角が比較的小さい範囲の場合に、複数
の画像の光軸方向の変換を行う光軸変換手段と、光軸変
換された画像中、基準画像と、基準画像に対して所定の
範囲内の位置ずれを有する画像との間で、１／ｍ画素の
精度で位置ずれを検出する位置ずれ検出手段と、検出さ
れた位置ずれに応じて画像を補正する位置ずれ補正手段
と、光軸方向へ変換された画像を加算する加算手段と、
シャッタを離すと、加算された画像を加算した枚数で除
算し、平均化する平均化手段とからなることを特徴とす
る画像信号処理装置である。

【０００７】請求項１６に記載の発明は、シャッタを押
している間、撮像素子で画像を順次撮像するステップ
と、撮像された画像を平面から円筒へ変換するステップ
と、円筒変換された画像中、基準画像と、基準画像に対
して所定の範囲内の位置ずれを有する画像との間で、１
／ｍ画素の精度で位置ずれを検出するステップと、検出
した位置ずれを補正するステップと、円筒へ変換された
画像を加算するステップと、シャッタを離すと、加算さ
れた画像を加算した枚数で除算し、平均化するステップ
と、平均化された画像を円筒から平面へ変換するステッ
プとからなることを特徴とする画像信号処理方法であ
る。

【０００８】請求項１７に記載の発明は、シャッタを押
している間、撮像素子で画像を順次撮像するステップ
と、複数の画像を撮影する時の画角が比較的小さい範囲
の場合に、複数の画像の光軸方向の変換を行うステップ
と、光軸変換された画像中、基準画像と、基準画像に対
して所定の範囲内の位置ずれを有する画像との間で、１
／ｍ画素の精度で位置ずれを検出するステップと、検出
した位置ずれを補正するステップと、光軸方向へ変換さ
れた画像を加算するステップと、シャッタを離すと、加
算された画像を加算した枚数で除算し、平均化するステ
ップとからなることを特徴とする画像信号処理方法であ
る。

【０００９】積極的に手持ちのディジタルカメラの向き
を上下左右に動かしながら静止した被写体を撮影すると
きに、そのディジタルカメラの動く速さと同じ速さで逆
方向に光軸の方向を補正するように光軸可変素子を駆動
させ、複数枚の画像信号を撮影する。撮影された画像信
号Ｐ１と、その次のフレームで撮影され、画像信号Ｐ１
とは異なる画像信号Ｐ２とを１／ｍ画素の精度で位置合
わせするために、平面から円筒へ変換する円筒変換を施
し、ｍ倍に拡大し、位置検出回路によって、画像信号Ｐ
１に対して画像信号Ｐ２の位置が検出される。その検出
結果から画素ずらし補間、画像変形、円筒変換、さらに
ｎ枚の画像信号の画素単位の位置合わせが行われる。合
成されたｎ枚の画像信号は、平均化のためｎで割られた
後、円筒から平面へ変換され、さらに高域強調フィルタ
が施される。これらの画像処理がリアルタイムで施され
る。

【００１０】

【発明の実施の形態】以下、この発明の実施形態につい
て図面を参照して説明する。図１は、この発明が適用さ
れた第１の実施形態の全体的構成を示す。１で示すレン
ズ群を介して入射された被写体の像がシャッタ１０が押
されている間、ＣＣＤ撮像素子２へ供給される。レンズ
群１は、シスコン（システムコントローラ）９によっ
て、ズーム制御およびフォーカス制御が行われる。角速
度センサ１１では、縦と横の角速度センサで光軸の方向
の変化が検出される。検出された変化分は、シスコン９
に含まれる光軸制御部１２へ供給される。光軸制御部１
２では、レンズ群１に含まれる光軸可変素子、例えばア
クティブプリズムまたはシフトレンズなどを用いて光軸
の方向を制御するための信号が生成され、出力される。

【００１１】ＣＣＤ撮像素子２では、被写体からの入射
光が電荷として蓄積される。ＣＣＤ撮像素子２は、シス
コン９によって、電子シャッタのオン／オフが制御され
る。これによって、ＣＣＤ撮像素子２の電子シャッタが
駆動され、供給された被写体の像が取り込まれる。取り
込まれた被写体の像は、Ａ／Ｄ変換器（図示せず）によ
りディジタル化され、ディジタル撮像信号（以下、画像
信号と称する）として、画像処理回路３へ供給される。
画像処理回路３へ供給された画像信号は、一旦画像メモ
リ４に記憶される。

【００１２】画像処理回路３では、後述するように、画
像メモリ４に記憶された複数の画像信号が位置合わせを
しながらリアルタイムで順次加算される。この画像処理
回路３は、シスコン９によって制御される。画像処理回
路３で合成された合成画像信号は、圧縮回路５へ供給さ
れる。圧縮回路５へ供給された合成画像信号は、一旦画
像メモリ４へ供給される。

【００１３】画像メモリ４に記憶された合成画像信号
は、圧縮回路５によって圧縮処理が施される。一例とし
て、静止画として記憶された合成画像信号に対してＪＰ
ＥＧ（Joint Photographic Experts Group）が施され
る。生成された圧縮画像信号に対して、シスコン９から
供給されるサブデータが付加される。このサブデータ
は、例えば日付、時刻、フォーカス状態、シャッタ速
度、絞りの状態、総枚数、何枚目、光軸の方向、・・・
等の画像信号が撮影されたときの情報である。

【００１４】サブデータが付加された圧縮画像信号は、
記録媒体６に供給される。記録媒体６に供給された圧縮
画像信号とサブデータは、シスコン９の制御に従って記
録される。この記録媒体６の一例として、磁気テープ、
磁気ディスク、光磁気ディスクまたは半導体メモリなど
の中から適宜選択された記録媒体が用いられる。

【００１５】操作キー系からの指定に応じたシスコン９
の制御によって、記録媒体６から圧縮画像信号が読み出
される。読み出された圧縮画像信号は、伸張回路７を介
して一旦画像メモリ４へ記憶され、伸張回路７によっ
て、伸張処理が施される。すなわち、この伸張回路７で
は、ＪＰＥＧの復号がなされる。さらに、圧縮画像信号
から分離されたサブデータがシスコン９へ供給される。
供給されたサブデータから日付、時刻、フォーカス状
態、シャッタ速度、絞りの状態、総枚数、何枚目、光軸
の方向、・・・等の情報が読み取られる。伸張された画
像信号は、伸張回路７から表示回路８へ供給される。

【００１６】上述した画像メモリ４は、複数の画像信号
に対して画像処理を施す場合、合成画像信号に対して圧
縮を施す場合、および圧縮画像信号を伸張する場合に用
いられる。このとき、画像処理が施される領域と、圧縮
が施される領域と、伸張が施される領域とをアドレスに
よって分けるようにしても良いし、記憶された信号に画
像処理用のフラグ、圧縮用のフラグまたは伸張用のフラ
グを付けるようにしても良い。また、画像処理用のメモ
リ、圧縮用のメモリおよび伸張用のメモリを別々に設け
るようにしても良い。

【００１７】ここで、上述した画像処理回路３を図２を
用いて説明する。ＣＣＤ撮像素子２から供給される画像
信号は、入力端子２１から入力される。入力された画像
信号は、入力画像メモリ２２へ供給される。入力画像メ
モリ２２には、撮影された現画像信号が記憶される。そ
して、バッファメモリ２３には、後述するように１フレ
ームの基準となる画像信号（以下、基準画像信号と称す
る）が記憶される。一例として、入力画像メモリ２２お
よびバッファメモリ２３は、８ビットのＶＧＡ（Video
Graphics Array）規格の容量である。

【００１８】位置検出回路２４では、１フレームの基準
画像信号に対して現画像信号はどのような位置にある
か、さらにどのような幾何学的な変形を受けているかが
調べられる。この位置検出回路２４は、拡大補間回路２
５、２７、ブロック毎の位置検出回路２６および処理演
算回路２８から構成される。

【００１９】この一例では、バッファメモリ２３には、
基準画像信号が記憶される。この基準画像信号として、
まず１枚目の画像信号が選ばれる。そして、その基準画
像信号と現画像信号とが比較される。基準画像信号と現
画像信号との位置が３０％ほど離れると、その３０％ほ
ど離れた現画像信号が基準画像信号として記憶される。
すなわち、現画像信号が基準画像信号から３０％ほど離
れるまで、その基準画像信号は、位置検出のための基準
画像信号として用いられ、現画像信号が基準画像信号か
ら３０％ほど離れると、その現画像信号が基準画像信号
として位置検出に用いられる。このように、基準画像信
号と３０％離れた現画像信号が撮影される度にその現画
像信号が基準画像信号として記憶される。そして、その
基準画像信号に対する現画像信号の位置が検出される。

【００２０】現画像信号は、拡大補間回路２５へ供給さ
れ、基準画像信号は、拡大補間回路２７へ供給される。
拡大補間回路２５および２７では、供給された画像信号
に対して平面から円筒へ変換する円筒変換が施され、円
筒変換が施された画像信号が１倍〜８倍へ拡大される。
また、小さいブロック毎に処理を行うので、拡大補間回
路２７は、ブロックサイズだけあれば良く、拡大補間回
路２５は、サーチ範囲を必要とするため拡大補間回路２
７より広いサイズが必要である。この拡大補間回路２５
および２７では、供給された画像信号を円筒変換した
後、拡大を行うようにしているが、画像信号を拡大した
後、円筒変換を行うようにしても良い。拡大された現画
像信号および基準画像信号は、ブロック毎の位置検出回
路２６へ供給される。

【００２１】ブロック毎の位置検出回路２６では、１画
素の１／１〜１／８の精度でブロック毎の位置が検出さ
れる。このとき、角速度センサ１１で検出される縦と横
の光軸の方向の変化が位置検出回路２６へ供給される
と、さらに精度の良い位置検出が行われる。また、ある
ブロック内の画像が平坦な場合、位置検出が不可能であ
る。よって、ブロックのバリアンスＶａを計算し、バリ
アンスが小さいときには、そのブロックを位置検出に使
用しないようにする。バリアンスＶａの計算は、 Ｖａ＝Σ（ｙi ² ）／Ｋ−（Σ（ｙi ／Ｋ））² 但し、ｙi ：輝度値、Ｋ：ブロック内の画素数とする。

【００２２】処理演算回路２８では、ブロック番号をｉ
とし、ブロック毎に縦横の平行移動成分が求められる。
求められた縦方向の平行移動成分をｙ〔ｉ〕とし、横方
向の平行移動成分をｘ〔ｉ〕とする。多くのブロックに
ついて、ｘ〔ｉ〕およびｙ〔ｉ〕からそれぞれ同じ値を
得た場合、画面全体が平行移動したものと見做される。
この処理演算回路２８で検出された位置データは、１画
素を超える整数成分と、１画素未満の小数成分とを持っ
ている。検出された位置データの整数成分は、出力画像
メモリ３３へ供給され、小数成分は、画素ずらし補間回
路３０へ供給される。また、処理演算回路２８で検出さ
れた画像変形係数は、画像変形回路３１へ供給される。

【００２３】画素ずらし補間回路３０では、供給された
小数成分に応じてバッファメモリ２３から順次撮影され
た画像信号が供給され、その画像信号に対して画素ずら
し補間が施される。例えば、位置検出回路２４で３．７
画素分水平方向にずれていると判断された場合、この画
素ずらし補間回路３０には、位置検出回路２４から小数
成分の０．７が供給される。そこで、画素ずらし補間回
路３０では、加重平均によって、画素Ａから画素Ｂの方
向へ０．７画素ずれた位置に画素Ｃが生成される。この
一例では、 Ａ×（１−０．７）＋Ｂ×０．７＝Ｃ から画素Ｃが生成される。このようにして、供給された
画像信号に対して０．７画素ずらしが施され、０．７画
素ずらされた画像信号が新たに生成される。新たに生成
された画像信号は、画素ずらし補間回路３０から画像変
形回路３１へ供給される。

【００２４】画像変形回路３１では、供給された画像変
形係数に応じて、画素ずらし補間が施された画像信号に
対して画像変形、例えば回転、伸縮および台形歪みなど
が施される。また、この画像変形回路３１では、供給さ
れた画像信号に対して平面から円筒へ変換する円筒変換
が行われる。このように画像変形が施された画像信号
は、画像変形回路３１から加算回路３２へ供給される。

【００２５】加算回路３２では、出力画像メモリ３３か
らの画像信号と、画像変形回路３１からの画像信号との
加算が行われる。加算された画像信号は、出力画像メモ
リ３３に供給される。

【００２６】出力画像メモリ３３では、位置検出回路２
４から供給される整数成分のずれを補正するように、画
像信号が書き込まれる。例えば、位置検出回路２４で
３．７画素分水平方向にずれていると判断された場合、
この出力画像メモリ３３には、位置検出回路２４から整
数成分の３が供給される。その整数成分の３のずれを補
正するように、出力画像メモリ３３では、水平方向へ３
画素ずれた位置となるように、画像信号が書き込まれ
る。すなわち、画素ずらし補間回路３０で０．７画素ず
らされ、この出力画像メモリ３３で３画素ずらされる。
これによって、水平方向に３．７画素ずれている次のフ
レームの画像信号と、記憶している画像信号との位置合
わせが行われる。位置合わせが行われた記憶している画
像信号と、次のフレームの画像信号とは、上述したよう
に加算回路３２で加算される。また、この出力画像メモ
リ３３の縦横サイズは、ＣＣＤ撮像素子２の画素数の数
倍から数十倍となる。一例として、その上限は、水平方
向に±１８０度、垂直方向に±９０度とする。

【００２７】この一例では、２秒で６０枚の画像信号の
加算が可能であり、加算される枚数が６４枚以下の場
合、出力画像メモリ３３は、１４ビットのＶＧＡ規格に
合った容量である。全ての画像信号が加算された合成画
像信号は、出力画像メモリ３３から加算回路３２および
除算回路３４へ供給される。

【００２８】除算回路３４では、ｎ枚加算された合成画
像信号をｎで割り、合成画像信号が平均化される。この
とき、上下左右にディジタルカメラを動かしながら撮影
しているので、出力画像メモリ３３に加算される合成画
像信号は、ＣＣＤ撮像素子２の画像サイズを超える。手
持ちで適当に動かしながら撮影するため、出力画像メモ
リ３３の中で加算される枚数がそれぞれ異なる。このた
め、最後に全体を枚数で除算するとき、画素単位で異な
る枚数で割ることになる。よって、ｎの値は、アドレス
によってそれぞれ異なるので、画素毎にｎの値を記憶す
るメモリが必要である。平均化された合成画像信号は、
除算回路３４から逆変換回路３５およびスイッチ回路３
６の一方の入力端子へ供給される。

【００２９】逆変換回路３５では、供給された合成画像
信号に対して円筒から平面へ変換する逆変換が施され
る。逆変換され、平面に変換された合成画像信号が逆変
換回路３５からスイッチ回路３６の他方の入力端子へ供
給される。スイッチ回路３６では、円筒から平面へ変換
する逆変換を施した合成画像信号か、逆変換を施してい
ない合成画像信号かが選択される。

【００３０】この一実施形態では、仕上がった合成画像
信号の画角が１０度以下となり非常に小さいことが予め
分かっているとき、上述の拡大補間回路２５、２７およ
び画像変形回路３１で施される円筒変換を施す必要がな
いので、逆変換回路３５で逆変換も行う必要がない。よ
って、このような場合、スイッチ回路３６では、除算回
路３４から供給される逆変換を施していない合成画像信
号が選択される。

【００３１】また、仕上がり合成画像信号の画角が約６
０度以下となり小さいことが予め分かっているとき、拡
大補間回路２５、２７および画像変形回路３１におい
て、施される円筒変換と、逆変換回路３５において、円
筒から平面に変換する逆変換とを行う代わりに、拡大補
間回路２５、２７および画像変形回路３１において、供
給される画像信号に対して直接後述する光軸方向の変換
（以下、光軸変換と称する）を行うようにしても良い。
よって、このような場合、スイッチ回路３６では、除算
回路３４から供給される逆変換を施していない合成画像
信号が選択される。

【００３２】さらに、仕上がり合成画像信号の画角が約
１２０度以上で、円筒から平面への逆変換ができないと
き、拡大補間回路２５、２７および画像変形回路３１に
おいて、円筒変換された状態のまま、高域強調フィルタ
３７へ供給される。ただし、縦軸、すなわち緯度（−９
０度〜＋９０度）から高さへの変換だけは行う。これに
よってより見やすい画像に仕上げることができる。よっ
て、このような場合、スイッチ回路３６では、除算回路
３４から供給される逆変換を施していない合成画像信号
が選択される。

【００３３】このようにして、スイッチ回路３６で選択
された合成画像信号は、高域強調フィルタ３７へ供給さ
れる。高域強調フィルタ３７では、供給された合成画像
信号がより鮮明な合成画像信号に仕上げられ、Ｓ／Ｎの
良い静止画が得られる。一例として、高域強調フィルタ
３７は、ＨＢＦ（ハイブーストフィルタ）から構成され
る。鮮明に仕上げられた合成画像信号は、出力端子３８
を介して圧縮回路５へ供給される。

【００３４】このように、位置合わせを行う画像信号
は、静止画であり互いに相関を有する。また、複数の画
像信号のノイズは、ランダムであって相関がない。従っ
て、複数の画像信号を加算し、平均化することによっ
て、ノイズがキャンセルされるので、Ｓ／Ｎが向上す
る。画素ずらし補間を行うときに、さらに複数の画像信
号を合成するときに、元の画像信号の画素と異なる位置
の画素の情報を持つので、解像度が向上する。

【００３５】この実施形態では、入力画像メモリ２２に
現画像信号を記憶し、バッファメモリ２３に基準画像信
号を記憶するようにしているが、入力画像メモリ２２お
よびバッファメモリ２３に、時間的に隣り合う２枚の画
像信号を記憶するようにしても良い。その場合、時間的
に隣り合う２枚の画像信号を用いて位置検出が行われ、
加算される。ただし、このとき誤差が累積する。また、
撮影された全ての画像信号が１枚目に撮影された画像信
号の範囲（１００％）を超えないことが予め分かってい
る場合、その１枚目の画像信号を基準画像信号として、
全ての画像信号の位置検出を行うようにしても良い。

【００３６】上述した入力画像メモリ２２およびバッフ
ァメモリ２３の画像サイズは、どちらも入力画像の１枚
分＋αとしても良い。例えば、α＝０．２の場合、水平
画素が７６４となり、垂直画素が５７６となる。入力画
像メモリ２２およびバッファメモリ２３の画像信号のビ
ット数は、どちらも入力画像と同じで良い。例えば、８
ビット×３色で良い。

【００３７】また、出力画像メモリ３３の画像サイズ
は、入力画像の１枚分としても良い。出力画像メモリ３
３の画像信号のビット数は、加算する画像信号の枚数に
依存し、枚数が２倍になる毎に１ビット増加する。例え
ば、加算する画像信号の枚数が１６枚なら１２ビット×
３色となり、６４枚なら１４ビット×３色となるので、
１６ビット×３色のビット数があれば、２５６枚の画像
信号を加算することができる。加算する画像信号の枚数
は、除算の都合から２のべき乗が良い。

【００３８】このとき、静止した被写体に向けて手持ち
でディジタルカメラの向きを上下左右に動かしながら撮
影する。一例として、１２枚の画像信号が撮影されてい
た場合、図３に示すように、出力画像メモリ３３に、１
枚目の画像信号、２枚目の画像信号、３枚目の画像信
号、・・・、および１２枚目の画像信号が加算され、記
憶される。図３Ａは、出力画像メモリ３３のサイズであ
り、図３Ｂは、ＣＣＤ撮像素子２から出力されるサイズ
である。また、１、２、３、・・・、および１２の数字
は、順次撮影された画像信号の順番を示す。この図３か
ら、上下左右にディジタルカメラを手持ちで動かしなが
ら撮影したので、画像の位置が少しずつ異なっているこ
とが分かる。

【００３９】光軸制御部１２からの信号に応じて光軸可
変素子は制御され、ディジタルカメラと被写体の相対位
置を一定に保持する。すなわち、ディジタルカメラが移
動している方向と逆の方向に光軸可変素子が駆動され
る。このアクティブプリズムまたはシフトレンズを制御
する期間は、１フィールドまたは１フレームとし、毎フ
ィールドまたは毎フレーム所定の方向にリセットする。
以下、説明を容易とするために、１フレームで説明す
る。

【００４０】リセットするタイミングは、ＣＣＤ撮像素
子２の露光が無効となる期間に行う。このように、光軸
可変素子を動作させることにより、シャッタ速度が速く
なくても画素振れを抑えることができる。

【００４１】ここで、タイミングチャートを図４に示
す。図４Ａに示すように、シャッタ１０が押されている
間、図４Ｂに示すように、ＣＣＤ撮像素子２から静止画
となる画像信号が毎フレーム連続的に出力される。図４
Ｃに示すように、出力された画像信号Ｐ１は、入力画像
メモリ２２に記憶される。そして、図４Ｄに示すよう
に、次のフレームで画像信号Ｐ１は、バッファメモリ２
３に記憶される。

【００４２】そして、入力画像メモリ２２に画像信号Ｐ
２が記憶され、バッファメモリ２３に画像信号Ｐ１が記
憶されているときに、位置検出回路２４では、画像信号
Ｐ２に対して画像信号Ｐ１の位置が検出される。図４Ｅ
に示すように、位置検出の検出結果は、整数成分、小数
成分および画像変形係数からなり、上述したように整数
成分は出力画像メモリ３３へ供給され、小数成分は画素
ずらし補間回路３０へ供給され、画像変形係数は画像変
形回路３１へ供給される。

【００４３】図４Ｆに示すように、その検出結果に基づ
いて、画素ずらし補間回路３０および画像変形回路３１
において、画像信号に処理が施される。そして、図４Ｇ
に示すように、出力画像メモリ３３に、処理が施された
画像が記憶される。このとき、上述したように位置検出
の検出結果の整数成分に基づいて出力画像メモリ３３へ
の画像信号の書き込みを制御することによって、位置合
わせが行われ、複数の画像信号が合成される。

【００４４】シャッタ１０を離すと、新しい画像を取り
込むことを止め、出力画像メモリ３３の値を加算された
枚数で割り、円筒から平面へ変換する逆変換が施され
る。逆変換が施された画像信号は、図４Ｈに示すよう
に、高域強調フィルタ３７を通過し、Ｓ／Ｎの良く、画
素数の多い合成画像信号が生成される。

【００４５】ここで、この発明が適用された第２の実施
形態の全体的構成を図５に示す。この第２の実施形態
は、画像処理をソフトウェアで行う一例である。上述し
た第１の実施形態と同様のブロックには、同じ符号を付
し、その説明を省略する。スイッチ回路４１では、シス
コン９に含まれる画像処理回路４４から出力される合成
画像信号と、ＣＣＤ撮像素子２からの画像信号とから何
れか１つが選択される。スイッチ回路４１で選択された
合成画像信号または画像信号は、圧縮回路５およびスイ
ッチ回路４２へ供給される。

【００４６】スイッチ回路４２では、伸張回路７で再生
される合成画像信号または画像信号と、スイッチ回路４
１を介して供給される合成画像信号または画像信号とか
ら何れか１つが選択される。選択された合成画像信号ま
たは画像信号は、出力端子４３を介して外部のモニタに
出力されると共に、表示回路８に供給される。

【００４７】また、伸張回路７から出力される複数の画
像信号は、画像処理部４４およびデータ変換回路４５へ
供給される。画像処理部４４では、上述した画像処理回
路３と同じような画像処理がソフトウェアにて施され
る。データ変換回路４５では、出力端子４６を介して外
部のパソコン（パーソナルコンピュータ）へ出力して、
パソコンで受け取れるように画像信号が変換される。

【００４８】このように、ｎ枚の画像信号が撮影と同時
に全て記録媒体６に記録される。シスコン９で画像処理
を行う場合、上述した図２の画像処理回路のブロック図
に示すハードウェアの場合と同様の処理を行い、処理が
終了した画像信号が再び記録媒体６の別の領域に記録さ
れる。外部のパソコンで画像処理を行う場合、全ての画
像信号をパソコンに転送し、ハードウェアの場合と同様
の処理を行い、その結果がパソコンのハードディスクな
どに記録される。

【００４９】ここで、画像信号を平面から円筒へ変換す
る円筒変換について説明する。例えば、三脚などで固定
されたディジタルカメラを回転させて大きな壁一面に描
かれている壁画を複数に分けて撮影する場合、ディジタ
ルカメラの正面の被写体を円筒変換の基準とすると、正
面以外の被写体は、ディジタルカメラとの光路差が異な
る。光路差が異なる被写体をディジタルカメラで撮影し
た場合、撮影された画像に、その異なる光路差に応じた
回転、伸縮および／または台形歪などの変形が生じる。

【００５０】そこで、上述した拡大補間回路２５および
２７において、円筒変換の基準となる画像と同一面とな
るように、供給された画像信号に対して円筒変換が施さ
れる。円筒変換を施すことによって、光路差により生じ
る画像の回転、伸縮および／または台形歪などの変形が
補正される。すなわち、光路差が等しくされた画像信号
が生成される。また、ディジタルカメラの正面の被写体
を撮影した円筒変換の基準となる画像でも、画像の中心
とその画像の四隅とを比較すると、光路差が生じるた
め、円筒変換が施される。

【００５１】よって、基準画像信号と現画像信号との位
置検出を行う場合、画像信号に対して円筒変換を施す。
このディジタルカメラでは、図６Ｂに示すようにＬ（ｍ
ｍ）の距離のｈ−ｖ平面がＬ_H ×Ｌ_V のサイズで撮れる
ようになっている。この光線を半径Ｌ（ｍｍ）の円筒面
に投影し、この円筒面を単に平面状に拡げたものをｘ−
ｙ平面とする（図６Ａ）。これを整数tmax×vmaxの網目
状の画素（ｔ，ｖ）に投影する（図６Ｃ）。

【００５２】ｔ、ｖを決めるとそれに対応するｘ、ｙ
は、 ｘ＝（ｔ−（tmax−１）／２）・（２・θ_H ／tmax） （１） ｙ＝（ｖ−（vmax−１）／２）・（２・Ｌ_V ／vmax） （２） となる。

【００５３】経度Ｐ１を図６Ｂのように決めると、 Ｐ１＝π／２−ｘ （３） となる。

【００５４】緯度Ｑ１は、 Ｑ１＝ｔａｎ^-1（ｙ／Ｌ） （４） となる。

【００５５】式（１）、式（２）、式（３）、式（４）
は、任意の画素（ｔ，ｖ）に対応する方向（Ｐ１，Ｑ
１）を求める方法を示している。一方、（Ｐ１，Ｑ１）
の方向がｈ−ｖ平面と交わる座標（ｈ４，ｖ４）は、 ｈ４＝Ｌ／ｔａｎ（Ｐ１） ｖ４＝Ｌ・ｔａｎ（Ｑ１）／ｓｉｎ（Ｐ１） である。

【００５６】この座標（ｈ４，ｖ４）とＣＣＤ撮像素子
の画素（ｉ，ｊ）との関係は、 ｉ＝（ｈ４・tmax／Ｌ_H ＋tmax−１）／２ ｊ＝（ｖ４・vmax／Ｌ_V ＋vmax−１）／２ となる。

【００５７】これらの式は、方向（Ｐ１，Ｑ１）に対応
するＣＣＤ撮像素子上の座標を実数に拡張した点（ｉ，
ｊ）を求める式である。整数（ｔ，ｖ）を与えて方向
（Ｐ１，Ｑ１）を求め、さらに実数（ｉ，ｊ）が求まっ
たら、次はその点を囲む整数の何点かから補間演算を行
い、この値を円筒座標の点（ｔ，ｖ）のデータとする。
また、上述したように、仕上がった合成画像信号が広く
て平面への逆変換ができないときも、円筒変換は必要で
ある。しかしながら、それほど広くなく、必ず平面に戻
すことが分かっている場合、平面から円筒へ変換する円
筒変換と、その逆に円筒から平面へ変換する逆変換とい
うように変換を２回行う必要は無く、１回の変換で行う
ことができる。その一例として、光軸変換を説明する。

【００５８】図７に示すように、ディジタルカメラの視
点を原点Ｏにとり、ｘ、ｙ、ｚの座標系を図のように決
める。焦点距離ｆ〔ｍ〕の位置に画像平面Ｇがある。画
像上の点Ｐは、被写体平面Ｈ上の点Ｑが投影される。被
写体平面Ｈ上の点Ｃは、被写体の中心であり、どこでも
良いがｚ軸上に配置する。

【００５９】撮影された画像について、 ｄｘ：ｘ方向の画素サイズ〔ｍ／pixel 〕 ｄｙ：ｙ方向の画素サイズ〔ｍ／pixel 〕 ξ’：ｘ方向の位置〔pixel 〕 η’：ｙ方向の位置〔pixel 〕 となる。

【００６０】また、変換された画像について、 ｅｘ：ｘ方向の画素サイズ〔ｍ／pixel 〕 ｅｙ：ｙ方向の画素サイズ〔ｍ／pixel 〕 ξ’：ｘ方向の位置〔pixel 〕 η’：ｙ方向の位置〔pixel 〕 となる。

【００６１】画像上の点Ｐは、次のように表すことがで
きる。

【００６２】

【数１】

【００６３】点Ｐに対応する被写体上の点Ｑを

【００６４】

【数２】

【００６５】とすると、点Ｐおよび点Ｑは一直線上にあ
るので、

【００６６】

【数３】

【００６７】ｚ座標から ｋ＝−ｆ／ｚｑ ξ、ηについて解くと、

【００６８】

【数４】

【００６９】変換後の画像上の位置ξ’およびη’から
点Ｑを求めるには、

【００７０】

【数５】

【００７１】Ｒは、ディジタルカメラの姿勢を表すの行
列であり、

【００７２】

【数６】

【００７３】ここで、θ、φ、ρはパン角、チルト角、
ロール角である。そこで、逆行列を求めると、

【００７４】

【数７】

【００７５】となる。

【００７６】以上の理論に基づいて作ったＣ言語による
光軸変換のプログラムの一例を図８および図９に示す。
この光軸変換のプログラムは、右へｐａ〔deg 〕パン
し、上へｑａ〔deg 〕チルトし、反時計回りにｒａ〔de
g 〕ロールして撮影した画像を、正面を向いて撮影した
画像信号と同一平面上に変換するものである。図１０
は、正面で撮影したＧ１平面の画像信号と、右へｐａ
〔deg 〕パンして撮影したＧ２平面の画像信号とを同一
平面上に変換する一例を説明するための略線図である。

【００７７】格子模様の壁面を持つ直方体の部屋の内部
を、一箇所からいろいろな方向にディジタルカメラを向
けて撮影した一例を図１１に示す。またこのときの水平
画角は、５２〔degpp 〕である。図１１Ａは、ディジタ
ルカメラで正面を撮影した画像信号である。図１１Ｂ
は、図１１Ａに示す正面からディジタルカメラを左へ２
０度パンして撮影した画像信号である。図１１Ｃは、図
１１Ａに示す正面からディジタルカメラを上へ２０度チ
ルトして撮影した画像信号である。図１１Ｄは、図１１
Ａに示す正面からディジタルカメラを時計回りに２０度
ロールして撮影した画像信号である。図１１Ｅは、図１
１Ａに示す正面からディジタルカメラを左へ２０度パン
し、上へ２０度チルトして撮影した画像信号である。図
１１Ｆは、図１１Ａに示す正面からディジタルカメラを
左へ２０度パンし、上へ２０度チルトし、時計回りに２
０度ロールして撮影した画像信号である。

【００７８】上述した図８および図９に示す光軸変換の
プログラムで図１１Ａに示す正面の画像信号と同一平面
に変換した一例を図１２に示す。図１２Ａは、図１１Ｂ
に示す画像信号を光軸変換した画像信号である。図１２
Ｂは、図１１Ｃに示す画像信号を光軸変換した画像信号
である。図１２Ｃは、図１１Ｄに示す画像信号を光軸変
換した画像信号である。図１２Ｄは、図１１Ｅに示す画
像信号を光軸変換した画像信号である。図１２Ｅは、図
１１Ｆに示す画像信号を光軸変換した画像信号である。
また、この図１２に示す画像信号は、出力画像のサイズ
を１２０％に制限しているため、四角形になっていな
い。

【００７９】このように、上述した拡大補間回路２５お
よび２７において、円筒変換または光軸変換を行うこと
によって、光路差による歪みを補正できるので、位置検
出を正しく行うことができる。

【００８０】ここで、上述した実施形態で用いられる光
軸可変素子の一例としてアクティブプリズムを図１３に
示し、簡単に説明する。このアクティブプリズムは、前
面ガラス５１と後面ガラス５２の間を蛇腹５３でつない
だものである。この２枚のガラスの間に高屈折率ｎの液
体５４が封入されている。２枚のガラスには、それぞれ
縦と横に、回転軸を設け、自由に動作するようにしたも
のである。このアクティブプリズムを光軸可変素子とし
て使用することによって、光軸が縦と横に曲げられる。

【００８１】このときの液体５４は、 (1) 前面ガラス５１および後面ガラス５２と屈折率ｎが
近い物質 (2) カメラの動作温度範囲で凍結などの異常が生じない
物質 (3) 万一破損し、液体５４が流出しても人体には無害な
物質 この３つの条件を満たす必要がある。

【００８２】このアクティブプリズムの動作を簡単に説
明する。前面ガラス５１は、例えば水平の軸で保持さ
れ、後面ガラス５２は、例えば垂直の軸で保持され、そ
れぞれ軸のまわりを独立に回転できる。その回転軸に
は、可動コイルが取り付けられる。コイルに流れる電流
によって回転角（頂角）が決められる。例えば、手振れ
によって、カメラが上を向いたとき、図１３Ａに示すア
クティブプリズムの状態から図１３Ｂに示すアクティブ
プリズムの状態へ変化する。

【００８３】具体的には、図１３Ａに示すように、２枚
のガラス板が平行なときには、アクティブプリズムに入
射した光線は直進する。ここで、手振れが発生し、２枚
のガラス板が平行位置からある角度だけ回転したとする
と、アクティブプリズム内部の屈折率ｎにより、入射し
た光線が出射するときには、図１３Ｂに示すように、屈
折する。

【００８４】さらに、光軸可変素子の一例としてシフト
レンズを図１４に示し、簡単に説明する。この図１４
は、複数のレンズからなるレンズ群１の中に光軸可変素
子となるシフトレンズを設けた一例である。通常、シフ
トレンズは、図１４中に点線で示す位置Ｐ１に配置され
る。位置Ａ１の被写体は、位置Ｐ１のシフトレンズを介
してＣＣＤ撮像素子２上の位置Ａ１’に投射される。被
写体がＣＣＤ撮像素子２上の位置Ａ１’に投射されてい
るときに、例えばディジタルカメラが下を向いたとき、
被写体はＣＣＤ撮像素子２上の位置Ａ２’に投射され
る。すなわち、ディジタルカメラから見た場合、被写体
が位置Ａ１から位置Ａ２に移動したようになる。このよ
うなとき、ディジタルカメラの移動を角速度センサ１１
によって検出し、検出された移動量に応じてシフトレン
ズを実線で示す位置Ｐ２へ移動させる。シフトレンズを
位置Ｐ２へ移動させることによって、ディジタルカメラ
が下を向く前と同じ位置Ａ１’に位置Ａ２の被写体が投
射される。このシフトレンズを用いて手振れ補正を行う
ことができる。

【００８５】

【発明の効果】この発明に依れば、静止した被写体に向
けて手持ちでディジタルカメラの向きを上下左右に動か
しながら撮影するだけで広い画角、例えば天井や床も含
む静止画が高解像度でしかも手振れの影響もなく得るこ
とができる。このとき、円筒変換して基準画像信号と現
画像信号との位置を検出するので、より正確に位置ずれ
を検出することができる。

【図面の簡単な説明】

【図１】この発明が適用されるカメラ一体型ディジタル
ＶＴＲの第１の実施形態を示すブロック図である。

【図２】この発明が適用される画像処理回路の一例のブ
ロック図である。

【図３】この発明のディジタルカメラが撮影する画像信
号を説明するための略線図である。

【図４】この発明を説明するためのタイミングチャート
である。

【図５】この発明が適用されるカメラ一体型ディジタル
ＶＴＲの第２の実施形態を示すブロック図である。

【図６】この発明に適用される円筒変換の説明に用いら
れる略線図である。

【図７】この発明に適用される光軸変換の説明に用いら
れる略線図である。

【図８】この発明に適用される光軸変換のアルゴリズム
の一例である。

【図９】この発明に適用される光軸変換のアルゴリズム
の一例である。

【図１０】この発明に適用される光軸変換の説明に用い
られる略線図である。

【図１１】この発明に適用される光軸変換の説明に用い
られる略線図である。

【図１２】この発明に適用される光軸変換の説明に用い
られる略線図である。

【図１３】この発明に適用される光軸可変素子の第１の
例を説明するための略線図である。

【図１４】この発明に適用される光軸可変素子の第１の
例を説明するための略線図である。

【符号の説明】

１・・・レンズ群、２・・・ＣＣＤ撮像素子、３・・・
画像処理回路、４・・・画像メモリ、５・・・圧縮回
路、６・・・記録媒体、７・・・伸張回路、８・・・表
示回路、９・・・シスコン、１０・・・シャッタ、１１
・・・角速度センサ、１２・・・光軸制御部

Claims (17)

【特許請求の範囲】
1. 【請求項１】 シャッタを押している間、画像を順次撮
   像する撮像素子と、 撮像された上記画像を平面から円筒へ変換する円筒変換
   手段と、 円筒変換された上記画像中、基準画像と、上記基準画像
   に対して所定の範囲内の位置ずれを有する画像との間
   で、１／ｍ画素の精度で位置ずれを検出する位置ずれ検
   出手段と、 検出された上記位置ずれに応じて上記画像を補正する位
   置ずれ補正手段と、 位置ずれが補正された上記画像を加算する加算手段と、 上記シャッタを離すと、上記加算された画像を加算した
   枚数で除算し、平均化する平均化手段と、 平均化された上記画像を円筒から平面へ変換する逆変換
   手段とからなることを特徴とする画像信号処理装置。
2. 【請求項２】 請求項１において、 加算された上記画像の画角が第１の所定値より非常に小
   さい場合、上記円筒変換手段の処理および上記逆変換手
   段の処理を行わないようにしたことを特徴とする画像信
   号処理装置。
3. 【請求項３】 請求項１において、 加算された上記画像の画角が第２の所定値より大きい場
   合、上記逆変換手段の処理を行わないようにしたことを
   特徴とする画像信号処理装置。
4. 【請求項４】 請求項３において、 上記円筒変換手段では、縦軸を緯度から高さへの変換を
   行うようにしたことを特徴とする画像信号処理装置。
5. 【請求項５】 シャッタを押している間、画像を順次撮
   像する撮像素子と、 複数の画像を撮影する時の画角が比較的小さい範囲の場
   合に、上記複数の画像の光軸方向の変換を行う光軸変換
   手段と、 光軸変換された上記画像中、基準画像と、上記基準画像
   に対して所定の範囲内の位置ずれを有する画像との間
   で、１／ｍ画素の精度で位置ずれを検出する位置ずれ検
   出手段と、 検出された上記位置ずれに応じて上記画像を補正する位
   置ずれ補正手段と、 上記光軸方向へ変換された上記画像を加算する加算手段
   と、 上記シャッタを離すと、上記加算された画像を加算した
   枚数で除算し、平均化する平均化手段とからなることを
   特徴とする画像信号処理装置。
6. 【請求項６】 請求項１または５において、 さらに、上記画像に高域強調を施す高域強調手段を有す
   ることを特徴とする画像信号処理装置。
7. 【請求項７】 請求項１または５において、 さらに、上記画像を圧縮する圧縮手段と、 圧縮された上記画像を記録する記録媒体と、 上記記録媒体から読み出した上記画像を伸張する伸張手
   段とを有することを特徴とする画像信号処理装置。
8. 【請求項８】 請求項７において、 上記撮像素子で撮像された上記画像および上記加算手段
   で加算された上記画像を上記記録媒体に記録するように
   したことを特徴とする画像信号処理装置。
9. 【請求項９】 請求項７において、 上記加算手段でリアルタイムに加算された上記画像のみ
   を上記記録媒体に記録するようにしたことを特徴とする
   画像信号処理装置。
10. 【請求項１０】 請求項１または５において、 さらに、光軸の方向を変化させる光軸可変手段と、 角速度センサの出力を積分する積分手段とを有し、 上記積分手段の積分結果に応じて上記光軸可変素子を逆
    方向に制御するようにしたことを特徴とする画像信号処
    理装置。
11. 【請求項１１】 請求項１０において、 上記積分手段は、毎フィールド一定値または毎フレーム
    一定値にリセットされるようにしたことを特徴とする画
    像信号処理装置。
12. 【請求項１２】 請求項１１において、 上記リセットは、上記撮像素子の露光が無効とされる期
    間に行うようにしたことを特徴とする画像信号処理装
    置。
13. 【請求項１３】 請求項１または５において、 上記ｍは、１以上の整数としたことを特徴とする画像信
    号処理装置。
14. 【請求項１４】 請求項１または５において、 さらに、上記撮像素子で撮像された上記画像を外部の画
    像処理装置へ転送する転送手段を有することを特徴とす
    る画像信号処理装置。
15. 【請求項１５】 請求項１または５において、 上記所定の範囲となる画像が撮像された場合、撮像され
    た上記画像を基準画像として記憶するようにしたこと特
    徴とする画像信号処理装置。
16. 【請求項１６】 シャッタを押している間、撮像素子で
    画像を順次撮像するステップと、 撮像された上記画像を平面から円筒へ変換するステップ
    と、 円筒変換された上記画像中、基準画像と、上記基準画像
    に対して所定の範囲内の位置ずれを有する画像との間
    で、１／ｍ画素の精度で位置ずれを検出するステップ
    と、 検出した上記位置ずれを補正するステップと、 上記円筒へ変換された上記画像を加算するステップと、 上記シャッタを離すと、上記加算された画像を加算した
    枚数で除算し、平均化するステップと、 平均化された上記画像を円筒から平面へ変換するステッ
    プとからなることを特徴とする画像信号処理方法。
17. 【請求項１７】 シャッタを押している間、撮像素子で
    画像を順次撮像するステップと、 複数の画像を撮影する時の画角が比較的小さい範囲の場
    合に、上記複数の画像の光軸方向の変換を行うステップ
    と、 光軸変換された上記画像中、基準画像と、上記基準画像
    に対して所定の範囲内の位置ずれを有する画像との間
    で、１／ｍ画素の精度で位置ずれを検出するステップ
    と、 検出した上記位置ずれを補正するステップと、 上記光軸方向へ変換された上記画像を加算するステップ
    と、 上記シャッタを離すと、上記加算された画像を加算した
    枚数で除算し、平均化するステップとからなることを特
    徴とする画像信号処理方法。