JP2002057927A

JP2002057927A - 画像補間方法、画像合成方法、撮像システム及び画像処理装置

Info

Publication number: JP2002057927A
Application number: JP2000240238A
Authority: JP
Inventors: Teruhiko Ueyama; 輝彦植山; Yoshihiro Ishida; 良弘石田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-08-08
Filing date: 2000-08-08
Publication date: 2002-02-22

Abstract

(57)【要約】【課題】ズーム倍率を変化させて撮影した複数画像を
合成する際、撮影する画像のズーム倍率を合成に適する
ように制御すること。【解決手段】ズーム倍率を変更可能なズームレンズを
有する撮像装置を用い、撮影する画像の枚数を決定する
工程（Ｓ３０１）と、基準ズーム倍率を決定する工程
（Ｓ３０２）と、基準ズーム倍率で撮影を行う第１の撮
影工程（Ｓ３０５）と、ズームレンズを所定量駆動して
ズーム倍率を変更する第１の倍率変更工程（Ｓ３０７）
と、変更後のズーム倍率で撮影を行う第２の撮影工程
（Ｓ３０５）と、ズームレンズを所定量駆動してズーム
倍率を変更する第２の倍率変更工程（Ｓ３０７）と、前
記第２の撮影工程及び前記第２の倍率変更工程とを、上
記決定した枚数の画像の撮影が終了するまで繰り返す反
復工程（Ｓ３０９）と、前記撮影した複数画像を合成す
る合成工程（Ｓ３１０）とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ズーム倍率を変え
て複数枚画像を撮影する際の、カメラのズーム倍率の決
定方法及び撮影した画像のシェーディング補正に関する
ものである。

【０００２】

【従来の技術】現在、デジタルカメラやデジタルビデオ
カメラなどのデジタル画像入力装置においては、撮像素
子の高画素化が進み、高解像度画像の需要が高まってい
る。そこで、撮像素子が持つ画素数以上の高解像度画像
を得る手法として、従来から画素ずらし法が検討されて
きた。これは、２枚目以降の画像撮影時に、撮像素子と
撮影対象物の光学像との相対位置を、１枚目の画像撮影
時の相対位置から光軸について半画素または１画素未満
の幅でずらして撮影し、撮影して得られた複数画像を１
枚の画像に合成することで高解像度化を行う手法であ
る。しかし、画素をずらして撮影するためには、光学系
又は撮像素子、カメラ本体などを高精度かつ微細に移動
させる装置が必要となり、有効な手法とはいえ、コスト
面などの点においても問題があった。

【０００３】そこで出願人は、比較的低いコストで高解
像度画像を作成する一手法として、ズーム倍率を変えて
撮影された複数枚の画像を合成する手法を特願平第１１
−３３８２３４、特願平第１１−３５８０２８で提案し
てきた。

【０００４】具体的には、まず、カメラを固定した状態
でズーム倍率の異なる画像フレームを複数枚撮影し、な
んらかの方法で各フレーム間の相対倍率値を検出する。
そして、最も撮影倍率が大きいフレームを基軸にして、
共通画像領域が重なるように各画像を適切なサイズに拡
大縮小して合成することで、高精細画像を生成するとい
うものである。

【０００５】上記手法において、各画像を高精度に合成
する際に重要となる処理手順を説明する。基軸となる画
像（以下、「基軸画像」と呼ぶ。）を任意の大きさに拡
大し、他の画像は拡大した基軸画像に写っている対象と
同じ大きさになるように、それぞれ拡大する。そして、
拡大した基軸画像の画素間の画素を予め決められた条件
を基に他の画像の画素を利用することで補間する。

【０００６】しかし、各画像の拡大率を決定するために
は、各画像間の相対倍率値を把握する必要がある。

【０００７】このため、上記の処理を効率良く行うため
に、コンピュータ制御可能なカメラ（以下、インタラク
ティブカメラ）を利用する手法が提案されている。イン
タラクティブカメラとは、コンピュータとの親和性の高
い撮像装置のことであり、コンピュータと接続すること
で、撮像装置内の様々なパラメータ（例えば、ズームレ
ンズ位置、フォーカスレンズ位置、露出状態等）を読み
出したり、制御する事が可能である。

【０００８】このインタラクティブカメラのズーム中心
（ズーム倍率を変化させても画像上で変動しない点）お
よびズームパラメータと倍率値との関係（ズーム倍率特
性）を、なんらかの方法であらかじめ把握しておき、こ
の情報を使用することによって、ユーザがほぼ任意のズ
ーム倍率で画像を撮影することが可能となる。これによ
り撮影した画像間の相対倍率を容易に算出できると共
に、それぞれの画像についても拡大倍率を決定すること
が容易になる。

【０００９】以下、上記手法の概念的な説明を図１５及
び図１６（ａ）を参照して行う。

【００１０】図１５には、あるズーム倍率ｚ₁およびｚ₂
で撮像された２枚の画像Ｉ_z1(x,y)、Ｉ_z2(x,y)が示され
ており、ここでｚ₁＜ｚ₂という関係が成り立っているも
のとする。

【００１１】またこのようなズーム倍率の異なる二枚の
画像を合成する様子を図１６（ａ）に示す。

【００１２】すなわち、ズーム倍率の高い画像Ｉ_z2(x,
y)を基軸にし、ズーム倍率の低い画像Ｉ_z1(x,y)を既存
の画素補間法（例えば、最近隣補間法、双線形内挿補間
法など）を用いてｚ₂／ｚ₁倍して合成する。

【００１３】これは、中心に焦点が合った高精細な画像
の特性に近く、低解像度撮像素子を用いながら、高解像
度撮像素子を用いて撮像したのと同等の画像が得られる
ことを意味している。

【００１４】

【発明が解決しようとする課題】しかし、ズーム倍率を
変えて撮影された複数枚の画像を合成する際、基軸画像
と比較して、ズーム倍率が低過ぎる画像を拡大すると、
拡大した１画素のアパーチャは大きくなり、基軸画像の
対応する画素の周辺画素の情報を多く含んでしまい、合
成するデータとして適当ではない場合があった。

【００１５】また、カメラレンズ等の光学系では中心軸
を通過する光量に比べて、周辺部を通過する光量の減衰
が大きいため、一様な明るさの情景を撮像しても周辺部
が暗い画像が得られる。この現象はシェーディングと呼
ばれ、撮像する際のズーム倍率値によって変動するズー
ムレンズ位置と、被写体までの距離によって変動するフ
ォーカスレンズ位置と、撮像環境下での光量に応じて変
動する絞りなどの露出状態に強く依存する。

【００１６】このシェーディングを図示したのが、図１
６（ｂ）である。なお、同図では説明の簡略化のため１
次元で示している。

【００１７】このように一般的な撮像光学系において
は、画角の中心付近から周辺に離れて行くに従い輝度値
が減衰して行くが、その割合はズーム倍率が高く、絞り
が開放に近いほど大きくなることが知られている。

【００１８】従って、このような状態で撮像した画像に
対して、前述した合成手法を用いて高精細画像を生成し
たとしても、シェーディングによって貼り合わせた画像
間に境界線や濃淡むらが生じるという問題があった。

【００１９】従来のシェーディング補正では、ホワイト
ボードのような単一色の対象物を撮影し、撮影した画像
からシェーディング補正用の正規化データテーブルを作
成して、画像のシェーディング補正を行っていた。しか
し、前述したように、シェーディング条件は、撮影する
際のズーム倍率や撮影距離、絞り量によっても変化する
ため、これら全てに対応するシェーディング補正データ
テーブルを保持しておくことは、メモリ量の観点から現
実的でないことは明らかであった。

【００２０】本発明は上記問題点を鑑みてなされたもの
であり、ズーム倍率を変化させて撮影した複数画像を合
成する際、補間する画素の情報ができるだけ多く含まれ
るように、撮影する画像のズーム倍率を適切に制御する
ことを第１の目的とする。

【００２１】また、画像合成処理の際に撮像した条件に
応じてシェーディング補正を行うことにより、適切なシ
ェーディング補正を行うために必要なデータの保持用メ
モリ量を低減し、濃淡むらのない高精細画像を生成する
ことを第２の目的とする。

【００２２】

【課題を解決するための手段】上記第１の目的を達成す
るため、ズーム倍率を変更可能なズームレンズを有する
撮像装置を用いた本発明の画像補間方法は、撮影する画
像の枚数を決定する第１の決定工程と、基準ズーム倍率
を決定する第２の決定工程と、前記基準ズーム倍率で撮
影を行う第１の撮影工程と、前記基準ズーム倍率から、
前記ズームレンズを所定量駆動してズーム倍率を変更す
る第１の倍率変更工程と、変更後のズーム倍率で撮影を
行う第２の撮影工程と、前記第２の撮影工程で用いたズ
ーム倍率から、前記ズームレンズを所定量駆動してズー
ム倍率を変更する第２の倍率変更工程と、前記第２の撮
影工程及び前記第２の倍率変更工程とを、前記第１の決
定工程で決定した枚数の画像の撮影が終了するまで繰り
返す反復工程と、前記撮影した複数画像を合成する合成
工程とを有する。

【００２３】また、ズーム倍率を変更可能なズームレン
ズを有する撮像装置を用いた本発明の撮像システムは、
撮影する画像の枚数を設定する枚数設定手段と、基準ズ
ーム倍率を設定する基準ズーム設定手段と、前記基準ズ
ーム倍率となるように前記ズームレンズを駆動すると共
に、ズーム倍率を変更する制御手段と、前記制御手段に
より変更された異なるズーム倍率で、前記枚数設定手段
で設定された枚数の撮影を行う撮影手段と、前記撮影手
段により撮影された異なるズーム倍率の複数枚の画像を
記憶する記憶手段と、前記記憶手段に記憶された複数枚
の画像を合成する合成手段とを有し、前記制御手段は、
前記撮影手段による各撮影後、前記ズームレンズを所定
量駆動してズーム倍率を変更する。

【００２４】また、ズーム倍率を変更可能なズームレン
ズを有する撮像装置を制御する本発明の画像処理装置
は、撮影する画像の枚数を設定する枚数設定手段と、基
準ズーム倍率を設定する基準ズーム設定手段と、前記基
準ズーム設定手段により設定した基準ズーム倍率を、前
記ズームレンズの位置情報に変換して出力すると共に、
前記位置情報を所定量ずつ変更して出力する制御手段
と、前記制御手段から出力される位置情報を前記撮像装
置に出力する出力手段と、前記撮影装置により撮影され
た画像を入力する入力手段と、前記入力手段から入力し
た複数枚の画像を記憶する記憶手段と、前記記憶手段に
記憶された複数枚の画像を合成する合成手段とを有す
る。

【００２５】本発明の好適な一様態によれば、前記所定
量は、前記ズームレンズを駆動可能な最小単位である。

【００２６】また、本発明の好適な別の一様態によれ
ば、前記所定量は、ズーム倍率が小さいほど大きく。

【００２７】また、本発明の好適な一様態によれば、前
記所定量は、テーブル化して予め保持されている。

【００２８】また、本発明の好適な一様態によれば、ズ
ーム倍率と前記ズームレンズの位置情報とは関連づけて
テーブル化し、予め保持されている。好ましくは、前記
第１及び第２の倍率変更工程では、前記所定量を前記位
置情報に基づいて取得し、前記制御手段は前記所定量を
前記位置情報に基づいて取得する。

【００２９】前記撮像装置は前記ズームレンズを駆動す
るためのモータを更に有し、前記所定量は、前記ズーム
レンズを駆動するためのモータに供給されるパルス数で
ある。

【００３０】また、前記第２の撮影工程では、前記第１
の撮影工程におけるフォーカスレンズの位置と、前記変
更後のズーム倍率とに基づいて、前記フォーカスレンズ
を駆動する工程を更に有し、前記撮像システムは前記基
準ズーム倍率で撮影時のフォーカスレンズの位置と、前
記制御手段による変更後のズーム倍率とに基づいて、前
記フォーカスレンズを制御する手段を更に有し、前記画
像処理装置は、前記基準ズーム倍率で撮影時の前記撮像
装置のフォーカスレンズの位置と、前記制御手段による
変更後のズームレンズの位置情報とに基づいて、前記フ
ォーカスレンズを制御する為の位置情報を得る手段を更
に有する。

【００３１】また、好ましくは、前記フォーカスレンズ
の駆動量は、ズーム倍率に関連づけてテーブル化して予
め保持されている。

【００３２】また、本発明の好適な一様態によれば、前
記撮像装置は前記フォーカスレンズを駆動するためのモ
ータを更に有し、前記フォーカスレンズの駆動量は、前
記フォーカスレンズを駆動するための前記モータに供給
されるパルス数である。

【００３３】また、上記第２の目的を達成するために、
異なるズーム倍率で撮影した複数枚の画像を合成する本
発明の画像合成方法は、シェーディング補正情報を異な
る撮影条件毎に作成する補正情報作成工程と、前記複数
枚の画像を撮像した撮像装置からそれぞれの画像の撮影
条件を読み込む読み込み工程と、それぞれの画像につい
て、それぞれの画像の撮影条件に基づいて前記シェーデ
ィング補正情報から最適な補正情報を供給する情報供給
工程と、前記供給されたシェーディング補正情報に基づ
いて、それぞれの画像のシェーディング補正を行う補正
工程と、前記シェーディング補正された複数枚の画像を
合成して１枚の画像を生成する合成工程とを有し、前記
補正情報作成工程では、一定輝度を有する被写体を撮影
条件毎に撮影し、得られた画像データを関数近似してシ
ェーディング補正情報を作成する。

【００３４】また、異なるズーム倍率で撮影した複数枚
の画像を合成する本発明の画像処理装置は、シェーディ
ング補正情報を異なる撮影条件毎に作成する補正情報作
成手段と、前記複数枚の画像を撮像した撮像装置からそ
れぞれの画像の撮影条件を読み込む読み込み手段と、そ
れぞれの画像について、それぞれの画像の撮影条件に基
づいて前記シェーディング補正情報から最適な補正情報
を供給する情報供給手段と、前記供給されたシェーディ
ング補正情報に基づいて、それぞれの画像のシェーディ
ング補正を行う補正手段と、前記シェーディング補正さ
れた複数枚の画像を合成して１枚の画像を生成する合成
手段とを有し、前記補正情報作成手段は、一定輝度を有
する被写体を撮影条件毎に撮影し、得られた画像データ
を関数近似してシェーディング補正情報を作成する。

【００３５】また、本発明の好適な一様態によれば、前
記補正情報作成工程では前記画像データを曲面を示す関
数に近似し、また、前記補正情報作成手段は前記画像デ
ータを曲面を示す関数に近似し、前記関数のパラメータ
をシェーディング補正情報として取得しする。好ましく
は、前記曲面は、双曲面である。

【００３６】また、本発明の好適な別の一様態によれ
ば、前記補正情報作成工程では前記画像データを曲線を
示す関数に近似し、また、前記補正情報作成手段は前記
画像データを曲線を示す関数に近似し、前記関数のパラ
メータをシェーディング補正情報として取得する。好ま
しくは、前記曲線は、双曲線である。

【００３７】また、本発明の好適な一様態によれば、前
記撮影条件はズーム倍率を含み、前記補正情報作成工程
では複数の異なるズーム倍率値毎にシェーディング補正
情報を作成し、前記補正情報作成手段は複数の異なるズ
ーム倍率値毎にシェーディング補正情報を作成する。

【００３８】また、本発明の好適な一様態によれば、前
記撮影条件はフォーカスレンズの状態を更に含み、前記
補正情報作成工程では、更に複数の異なるフォーカスレ
ンズの状態毎にシェーディング補正情報を作成し、更に
複数の異なるフォーカスレンズの状態毎にシェーディン
グ補正情報を作成する。

【００３９】また、本発明の好適な一様態によれば、前
記撮影条件は絞りの状態を更に含み、前記補正情報作成
工程では、更に複数の異なる絞りの状態毎にシェーディ
ング補正情報を作成し、前記補正情報作成手段では、更
に複数の異なる絞りの状態毎にシェーディング補正情報
を作成する。

【００４０】また、本発明の好適な一様態によれば、前
記情報供給工程では、前記補正情報作成工程で作成され
たシェーディング補正情報のうち、最も撮影条件が近似
しているものを選択して供給し、また、前記情報供給手
段は、前記補正情報作成手段が作成したシェーディング
補正情報のうち、最も撮影条件が近似しているものを選
択して供給する。

【００４１】また、本発明の好適な一様態によれば、前
記情報供給工程では、それぞれの画像について前記補正
条件作成工程で作成されたシェーディング補正情報から
撮影条件が近似しているものを２種類選択し、選択した
２種類の補正情報を補間して、それぞれの画像の撮影条
件に近似した補正情報を生成して供給し、前記情報供給
手段は、それぞれの画像について前記補正条件作成手段
で作成されたシェーディング補正情報から撮影条件が近
似しているものを２種類選択し、選択した２種類の補正
情報を補間して、それぞれの画像の撮影条件に近似した
補正情報を生成して供給する。

【００４２】また、本発明の好適な一様態によれば、前
記補正情報作成工程では、撮影条件毎に白色基準板を撮
像し、撮像して得られた画像の各画素の輝度値を、当該
画像の最大輝度値で除すことによりシェーディング補正
情報を作成し、前記補正工程では、前記供給された補正
情報の逆数を前記複数枚の画像に掛け、また、前記補正
情報作成手段は、撮影条件毎に白色基準板を撮像し、撮
像して得られた画像の各画素の輝度値を、当該画像の最
大輝度値で除すことによりシェーディング補正情報を作
成し、前記補正手段は、前記供給された補正情報の逆数
を前記複数枚の画像に掛ける。

【００４３】上記構成によれば、あらかじめ、ズームレ
ンズ位置、フォーカスレンズ位置および露出状態などに
よって変化するシェーディング特性を把握し、これらの
情報を関数近似した状態で保持しておき、これらの情報
を用いることで、少ないメモリ量で画像統合処理の際に
指像した条件に応じて適切なシェーディング補正を行う
ことが可能となり、濃淡むらのない高精細画像を生成す
ることが可能となる。

【００４４】

【発明の実施の形態】以下、添付図面を参照して本発明
の好適な実施の形態を詳細に説明する。

【００４５】図１は、実施の形態における撮像システム
の撮像装置の概略構成を示すブロック図である。

【００４６】同図において、１０１はスチルカメラやビ
デオカメラなどの撮像装置、１０２は撮像装置の様々な
パラメータを制御することが可能なコンピュータであ
る。

【００４７】撮像装置１０１において、１０３はズーム
機能を有する撮像レンズであり、変倍のためのズームレ
ンズ１０４と合焦のためのフォーカスレンズ１０５とを
具備する。撮像レンズ１０３は、被写体の光学像をＣＣ
Ｄ等の撮像素子１０６の撮像面に結像し、撮像素子１０
６は、その光学像を示す電気信号をカメラプロセス部１
０７に出力する。

【００４８】カメラプロセス部１０７は、撮像素子１０
６の出力に周知の処理（ゲイン補正、γ補正及び色バラ
ンス調整など）を施し、所定形式のビデオ信号を出力す
る。

【００４９】合焦制御部１０８は、カメラプロセス部１
０７より出力される映像信号の内、あらかじめ設定され
ているか、もしくはユーザが任意に設定した合焦検出対
象領域内の映像信号を用いて、その映像信号に含まれる
高周波成分が極大となるように、フォーカスレンズモー
タ（ステッピングモータ）１０８を制御してフォーカス
レンズ１０５の位置を光軸方向に移動・調整することに
より、被写体に自動的に合焦させる。この際、距離計測
部１１３が撮像装置から被写体までの距離（以下、「被
写体距離」と呼ぶ。）を、ステッピングモータの駆動情
報を基に算出するといった周知の方法により計測するこ
とも可能である。

【００５０】また、フォーカスレンズ１０５の位置は、
ユーザが外部コンピュータ１０２を介して任意の位置に
設定することも可能である。

【００５１】ズーム制御部１０９は、ユーザが外部コン
ピュータ１０２を介して設定した任意のズーム倍率値に
柏当する位置にズームレンズ１０４を移動させるよう、
ズームレンズモータ（ステッピングモータ）１１０を制
御する。

【００５２】これらのフォーカスレンズ１０５およびズ
ームレンズ１０４の位置、ズーム中心位置、また被写体
までの距離、さらには露出状態といったカメラパラメー
タは、バスインターフェース１１６を介して撮像装置１
０１に接続されたコンピュータ１０２によって読み出す
ことが可能である。

【００５３】図２は、本実施の形態において種々の処理
を行うコンピュータの概略構成図である。

【００５４】２０１は中央演算装置（ＣＰＵ）、２０２
はＲＯＭ、２０３は主記憶装置であるＤＲＡＭ、２０４
はハードディスク等の二次記憶装置である。またユーザ
インターフェースとして、ディスプレイ２０８、マウス
２０９、キーボード２１０が接続されている。

【００５５】また、２０５は撮像装置１０１から入力さ
れた映像信号（静止画像でも、ＮＴＳＣ方式等による動
画像でもよい）をディジタル信号に変換するための映像
キャプチャボードである。撮像装置１０１を制御するた
めのコマンドの転送、および種々のカメラパラメータの
読み出しはバスインターフェース２０７を介して行われ
る。

【００５６】また、２０６はネットワークと接続するた
めのインターフェース、２１１は処理結果等を出力する
ためのプリンタである。

【００５７】本実施の形態においては、カメラを固定し
た状態でズーム倍率の異なる画像フレームを複数枚撮影
し、その内の１フレームを基軸画像として、その他の画
像フレームと基軸画像との共通画像領域が重なるように
大きさを変えて合成することにより高精細画像を生成す
る。しかし、基軸画像に比べ比較的低解像度な（すなわ
ち、ズーム倍率が低い）画像を用いて統合しようとする
場合、基軸画像と低解像度画像に写されている被写体の
大きさが同じになるように低解像度画像の画素を拡大す
ると、図３（ａ）に示すように１画素の大きさが基軸画
像の画素よりも非常に大きくなってしまう。このため、
補間しようとする画素の情報に加えて、かなりの割合で
その周りの画素の情報を含んでしまうために、補間画素
として適さない。

【００５８】従って、図３（ｂ）に示すように解像度が
高く、補間すべき基軸画像の各画素の情報が、その周辺
の画素の情報よりも多く含まれる画素を画像の合成に使
用することが好ましいが、画像合成に使用する画像の枚
数が少なければ、画像の外側ほど画像合成に使用できる
画素の密度が減ってしまう。このため、基軸画像の解像
度に近い画像をより多くの枚数を用いることが望まし
い。

【００５９】そこで、以上のことを踏まえ、より多くの
画像を基軸画像に近いズーム倍率で撮影できるようにズ
ーム倍率を設定する。本発明はズーム可制御なカメラに
おいて、上記レンズ位置設定情報に基づいた、適切に制
御可能なズームパルス値の最小分解能となる値をもちい
て、ズーム倍率が異なる画像を合成するのに適したズー
ム倍率と撮影枚数を決定する。

【００６０】以下、上記画像合成処理について図４のフ
ローチャートを参照して説明する。

【００６１】まず、ステップＳ３００において、撮影し
た画像の枚数を示す変数ｎを０に初期化し、ステップＳ
３０１で、撮影枚数Ｎを入力する。次に、ステップＳ３
０２で、基軸画像となる画像のズーム倍率を任意に設定
する。一般に使用されている撮像装置のレンズの多く
は、ステッピングモータに供給されるパルス値に代表さ
れるような位置情報を用いて、ユーザが設定したズーム
倍率となるようにズームレンズやフォーカスレンズの位
置を制御している。従って、ステップＳ３０３では、指
定したズーム倍率に対応するズームレンズ駆動用モータ
へ供給するズームパルス値Ｐをレンズ位置設定情報から
得る。このレンズ位置制御に関するレンズ位置設定情報
はＲＯＭ２０２に予め保存されており、起動時に主記憶
装置２０３に読みこまれる。

【００６２】なお、ズームパルス値Ｐとは、所定条件に
おけるズームレンズ１０４の位置を基準位置（０）とし
た場合に、その基準位置から、任意のズーム倍率になる
ようにズームレンズ１０４を動かす為に必要なパルス数
を示すものである。本実施の形態ではズームレンズ駆動
用モータ１１０はステッピングモータであり、１パルス
につき１ステップ分、ズームレンズ１０４を動かしてい
る。

【００６３】図５は、被写体距離Ｌが１ｍの場合におけ
る、ズームレンズを駆動する為のズームパルス値と、フ
ォーカスレンズを駆動するためのフォーカスパルス値と
の関係（カム軌跡）例を示すグラフであり、レンズ位置
設定情報として保存されるデータの基となるものであ
る。ズーム倍率を変更する際、ズーミングしても合焦状
態が変化しないようにフォーカスレンズ位置も変更する
必要があるため、図５に示すようにズームパルス値とフ
ォーカスパルス値とを関連づけた情報を得、サンプリン
グし、レンズ位置情報として記憶している。なお、レン
ズの駆動系などに存在する遊びなどの精度上、適切にレ
ンズ位置を制御できる最小パルス単位が存在するため、
図５に示すような情報は、被写体距離毎に、適切にレン
ズ位置を制御できる最小パルス単位毎にサンプリングさ
れ、図６に示すようにテーブル化されて、保持される。

【００６４】ステップＳ３０４では、主記憶装置２０３
に読みこまれたレンズ位置設定情報を基に、フォーカス
レンズ位置を制御し、ステップＳ３０５では、設定され
た各種撮影パラメータを基に画像撮影を行う。

【００６５】ステップＳ３０６では、撮影した画像に対
して、シェーディング補正を施す。シェーディング特性
はズーム倍率（ズームレンズ位置）、被写体までの距離
（フォーカスレンズ位置）、絞りの状態等に依存して変
化するため、これらの条件に適したシェーディング補正
を行う必要がある。ここで行われるシェーディング補正
処理については、詳細に後述する。

【００６６】１画像の撮影が終了すると、ステップＳ３
０７で直前に撮影した画像のズームパルス値から最小パ
ルス単位（ｓ）だけズームパルス数Ｐを減らす。例え
ば、現在のズーム倍率が１．２３で、ズームパルス値Ｐ
が３００であるとすると、ここから最小パルス単位（図
６に示す例では２０）を引いたパルス値、すなわち３０
０−２０＝２８０（ズーム倍率１．２１）が設定され、
この値が次の撮影で用いられることになる。

【００６７】ステップＳ３０８では撮影した画像の枚数
ｎをカウントする。ステップＳ３０９ではステップＳ３
０８でカウントした撮影枚数ｎが、撮影する全枚数Ｎよ
りも大きいときはステップＳ３１０に進んで画像合成処
理を行い、Ｎ以下の時は、ステップＳ３０３に戻って、
撮影枚数がＮを越えるまでステップＳ３０３〜Ｓ３０９
の処理を繰り返す。なお、ステップＳ３０７の処理はス
テップＳ３０９の後、ステップＳ３０３に戻る前に行っ
てもよい。

【００６８】次に、ステップＳ３１０で行われる画像合
成処理について説明する。

【００６９】まずズーム倍率を変化させて撮影された複
数枚の画像（図８（ａ））の被写体が、それぞれ基軸画
像に写っている被写体と同じ大きさとなるように拡大し
て（図８（ｂ））合成を行う。合成した画像は、ディス
プレイ２０８に表示されたり、プリンタ２１１から印刷
されたり、２次記憶装置などのメモリに記憶される。

【００７０】次に、図４のステップＳ３０６で行われる
シェーディング補正処理について詳しく説明する。始め
に処理の概要を説明し、次に処理の詳細を説明する。

【００７１】まず、あらかじめ撮像装置１０１であるカ
メラのシェーディング特性を把握する必要がある。

【００７２】前述したように、シェーディング特性はズ
ーム倍率（ズームレンズ位置）、被写体までの距離（フ
ォーカスレンズ位置）、絞りの状態等に依存して変化す
る。

【００７３】そこで、本実施の形態においてはその中で
もズーム倍率に注目し、いくつかの任意のズーム倍率に
おいて、あらかじめ関数近似されたシェーディング補正
情報を作成しておく（図９のステップＳ９１０〜Ｓ９１
８）。なお、このシェーディング補正情報作成処理は各
撮像装置に対して一度行えばよい。

【００７４】任意の条件で撮影した画像に対してシェー
ディング補正を施す際には、撮影した際に撮像装置１０
１内部から読み出したズームレンズ位置を基に算出した
ズーム倍率に応じて、上記シェーディング補正情報の中
から最適な関数近似された補正情報（以下、単に「補正
情報」と呼ぶ。）を選択し（図１０のステップＳ９０
１）、この情報を基に補正を行う（ステップＳ９０
２）。

【００７５】以下、上記処理の詳細について説明する。

【００７６】まず、前処理であるシェーディング補正情
報作成法について図９を参照して説明する。

【００７７】ステップＳ９１０ではまず撮像装置１０１
から任意の距離にホワイトボードを設置し、ホワイトボ
ードに均一光量の光が照射されるように照明条件等を調
節する。

【００７８】次にステップＳ９１１において、次式
（１）で示されるような補正情報を作成するズーム倍率
値ｚ_nを決定する。ｚ_n＝ｚ₀＋ｎ・ｚ_STEP （０≦ｎ≦Ｎ−１） …（１）

【００７９】ここで、ｚ₀は補正テーブルの作成を開始
するズーム倍率値、Ｎは用意する補正情報の数、ｚ_STEP
は補正情報を作成するズーム倍率間隔である。これらの
値は、撮像装置の性能およびコンピュータの記憶能力に
応じて、ユーザが任意に設定することができる。図１１
は、この式（１）の概念を図に表したものである。

【００８０】ステップＳ９１２において、式（１）のｎ
を０に初期化し、ステップＳ９１３でズームレンズ１０
４を制御して、ステップＳ９１４で設定されているズー
ム倍率値ｚ_nで合焦を確認後にホワイトボードを撮影
し、画像Ｉ_zn(x,y)を得る。なお、ｘおよびｙは撮像し
た画像内でのｘ座標およびｙ座標を示しており、ｘ軸方
向の画像の最大座標をＸ、ｙ軸方向の画像の最大座標を
Ｙとすると、それぞれ０≦ｘ≦Ｘ−１、０≦ｙ≦Ｙ−１
を満たしている。

【００８１】次にステップＳ９１５において、得られた
画像Ｉ_zn(x,y)を次式（２）を用いて正規化し、正規化
画像Ｔ_zn(x,y)を得る。 T_zn(x,y)=I_zn(x,y)/Max{I_zn(x,y)} …（２）

【００８２】ここでＭａｘ｛I_zn(x,y)｝は、画像Ｉ
_zn(x,y)内での最大画素値を表している。

【００８３】こうして得られた正規化画像の画素値を関
数近似して、ズーム倍率値ｚ_ｎで撮影された画像に対す
る補正情報を得、ステップＳ９１６で記憶する。

【００８４】ここで、正規化画像を画素値を用いて関数
近似する方法について説明する。

【００８５】まず、図１２（ａ）に示す正規化画像T
_zn(x,y)の画素値分布を、例えばｘ軸方向に垂直な面で
切り取ってみると、それぞれの画素値の状態は図１２の
（ｂ）、（ｃ）、（ｄ）に示すように、正規化画像の中
心部分に行くほど画素値が大きくなっている様子が確認
できる。ｘ軸方向でも同じことが言える。この状態は図
１３（ｂ）に示すように双曲面状に画素値変化している
と見なすことができるため、双曲面で近似する。まず、
この双曲面を

【００８６】

【００８７】で表し、正規化画像上の任意の点ｐ（ｘ
ｉ，ｙｉ，ｚｉ）における実際の画素値と、上式で得ら
れる画素値の値ｐ’（ｘｉ’，ｙｉ’，ｚｉ’）を既知
の最小二乗法などの未知係数算出方法を基に関数近似を
行う。このようにズーム倍率ごとに関数近似された補正
情報をシェーディング補正情報として保持するため、大
きな画像の合成やズーム倍率値を細かく分けてシェーデ
ィング補正情報を持つ場合には、従来の正規化画像をそ
のまま補正テーブルとして持つよりも非常に少ないメモ
リ量で済む。

【００８８】上記ステップＳ９１３からステップＳ９１
６の処理は、ステップＳ９１７におけるｎ＝ｎ＋１の処
理及びステップＳ９１８の判断によりｎ＝Ｎ−１となる
まで繰り返され、作成した補正テーブルは２次記憶装置
２０４に保存される。

【００８９】ここで、補正する画像の大きさがＸ×Ｙ画
素とした時の画素位置を（ｘ，ｙ）（但し０≦ｘ≦Ｘ−
１、０≦ｙ≦Ｙ−１）とすると、これらを入力してシェ
ーディング補正値を出力する関数として、ズーム倍率ｚ
ごとにＶ_z（ｘ，ｙ）として表し、これを補正情報とす
る。

【００９０】以上の処理でシェーディング補正情報を
得、この補正情報に基づいて実際に撮影した画像に対し
てシェーディング補正を行う。以下、シェーディング補
正方法について図１０を参照して説明する。

【００９１】まず、ステップＳ９０１において、ユーザ
は撮影したい任意のズーム倍率値ｚをコンピュータ１０
２を介して設定し、ステップＳ９０２で画像Ｉ_z(x,y)を
撮影する。なお、ユーザが撮像装置１０１のズーミング
レンズ１０４を直接制御することによりズーム倍率を変
更した場合には、撮影した際に撮像装置１０１から読み
出したズームレンズ位置を基に、ズーム倍率値ｚを算出
する。

【００９２】次に、ステップＳ３０３では、画像Ｉ_z(x,
y)にシェーディング補正を施すために最適な補正情報Ｖ
_z'(x,y)を選択する。

【００９３】本実施の形態において、ｚ’は次式（４）
によって求める。

【００９４】

【００９５】上式は、任意に設定したズーム倍率値ｚ
を、補正情報を作成した際のズーム倍率間隔ｚ_STEPで量
子化したことに相当しており、ズーム倍率値が最も近い
値で作成された補正情報を選択していることに等しい。

【００９６】以上の方法によって選択した補正情報Ｖ_z'
(x,y)を用い、次式（５）に従ってシェーディング補正
を行う。

【００９７】

【００９８】すなわち、撮像した画像Ｉ_z(x,y)に対して
選択した補正情報Ｖ_z'(x,y)の逆数を掛けることで、シ
ェーディング補正が施された画像Ｉ’_z(x,y)を得ること
ができる。

【００９９】具体的には前記図１０におけるステップＳ
９０２において、生成画像の画素位置をラスター走査順
に従って、上式にｘ，ｙの値を順次生成しながら与える
ことにより、各画素位置に対して上述のようなシェーデ
ィング補正を実行する。

【０１００】ステップＳ９０３ではこのようにしてシェ
ーディング補正された画像Ｉ’_z(x,y)をＤＲＡＭ２０３
に一時保存し、図４のステップＳ３０７にリターンす
る。

【０１０１】上記の通り本実施の形態によれば、補間す
る画素について、より密にサンプリングが行える他、合
成する画像の周辺部分においても、最小限のアパーチャ
径の中からより多くの画素を選択し補間することが可能
となる。

【０１０２】また上記シェーディング補正により、従来
法に比して大幅に保持すべき補正情報を削減し、少ない
メモリ量でシェーディング補正を行うことが可能とな
る。

【０１０３】なお、図６に示す例ではカメラレンズのカ
ム軌跡に関して、適切にレンズ位置を制御できる最小パ
ルス単位（例えば２０）でサンプリングされた情報を各
被写体距離ごとにテーブル化してＲＯＭ２０２上に記憶
しているが、データ量を削減する目的で、１つ飛ばし又
は２つ飛ばしといった間引きにより、サンプリング間隔
を大きくしたテーブルと間引き間隔の情報とをＲＯＭ２
０２上に記憶しておくようにしてもよい。この場合、実
施の形態で示す適切にレンズ位置を制御できる最小パル
ス単位となる位置のカム軌跡情報の中で、上記データ量
削減目的で間引かれたデータを公知の比例配分などの方
法で補間し、テーブルを再生することで、レンズ位置を
制御することができる。

【０１０４】また、図６に示すテーブルのサンプリング
された間の情報を、公知の比例配分などの何らかの方法
で補間して、最小パルス単位未満のパルス間隔でレンズ
位置を制御することにより、任意のパルス値間隔を設定
してズームレンズのレンズ位置を制御してもよい。

【０１０５】また、ズーム倍率が低い場合には、画角が
広いためにズームレンズ１０４の位置が多少動いてもズ
ーム倍率がさほど変化せず、逆に、ズーム倍率が高く、
画角が狭い場合には、ズームレンズ１０４の位置が少し
動いても、大きくズーム倍率が変化するため、ズーム倍
率が低い場合はパルス値の変化幅を大きくし、逆にズー
ム倍率が高い場合は、パルス値の変化幅を小さくするよ
うにしてもよい。

【０１０６】その場合、例えば図７に示すようにズーム
パルス値の大きさでグループ分けを行い、それぞれのグ
ループごとにズーム制御用パルス値間隔を設定して、こ
の設定条件に従ってズーム倍率を制御する。なお、初め
に任意のズームパルス値を与えてズーム倍率を設定し、
その後ズーム倍率を制御する際には、パルス値間隔は各
グループに設定されたズーム制御用パルス間隔に従っ
て、ズーム倍率を設定してもよい。

【０１０７】更に、最小パルス単位よりも小さい設定可
能な最小単位（例えば１パルス）毎にカム軌跡情報をあ
らかじめテーブル化してＲＯＭ２０２に保持し、この情
報を基にズームレンズ１０４を制御するようにしても良
い。この場合、保持すべき情報量は増えるが、補間処理
などの演算を行わなくて済む。

【０１０８】なお、図１のフォーカスレンズ制御用モー
タ１０８やズームレンズ制御用モータ１１０としてステ
ッピングモータを用いてそれぞれのレンズを駆動し制御
してるが、本発明はこれに限るものではなく、例えば、
ロータリエンコーダ付きのサーボモータやＤＣモータな
どの制御可能なモータを用いても良い。

【０１０９】また、ズーム倍率を変化させて撮影する
際、ズーミングの方向について特に定義していないが、
ズームレンズのテレ側からワイド側方向とワイド側から
テレ側方向へのズーミングでは誤差が含まれることがあ
り、実際に撮影された画像の撮影倍率が同一であるとは
限らない。そこで、双方向で撮影を行い、それぞれの方
向にズーム倍率を変更しながら撮影した画像の相対倍率
を撮影実験などのなんらかの方法であらかじめ把握して
おき、この情報を画像処理装置の内部または外部の記憶
装置に保持しておく。そして画像合成処理を行う際に、
撮影方向に対応する相対倍率情報を読み出すことによ
り、双方向間でズーム倍率の誤差を軽減することができ
る。

【０１１０】また、上記実施の形態では、任意のズーム
倍率で撮影した画像に対してシェーディング補正を施す
際に、ズーム倍率ごとに関数近似された補正情報を保持
していたが、シェーディング補正情報を関数データとし
て持つのではなく、双曲面の関数と各ズーム倍率値にお
ける関数の係数のみを補正情報として保持し、シェーデ
ィング補正時に双曲面の関数に係数を代入して補正値を
算出しても良い。

【０１１１】更に、上記例では正規化画像を双曲面で関
数近似していたが、双曲面では正規化画像を忠実に近似
することは難しい。そこで、更に高精度に正規化画像を
近似する手法として、図１２の正規化画像の画素値分布
を例えばｘ軸方向にサンプリングして垂直な面で切り取
った時、それぞれの画素値の状態は（ｂ）、（ｃ）、
（ｄ）に示すように画素値分布が双曲線状になっている
様子が確認できる。そこで、あるズーム倍率値の正規化
画像を例えばｘ軸方向に対してサンプリングを行い、画
素値分布状態を双曲線で近似する。

【０１１２】この時のｘ軸方向のサンプリング位置の情
報は、ＲＯＭ２０２に記憶しておく。

【０１１３】画素値をｌで表した場合に、図１３（ｃ）
に示す双曲線による近似モデルのように、まずこの双曲
線を

【０１１４】

【０１１５】（０≦ｙ≦Ｙ−１、０≦ｌ≦２２５）また、ｘ軸方向のサンプリング点の間にある正規化画像
情報に関しては、その前後のサンプリング点の位置情報
を基にして公知の比例配分などの方法を用いて補間する
ことで、シェーディング補正を行う。

【０１１６】この時、補正情報のメモリ量は上記の手法
と比較して大きくなるが、補正精度の向上が図れる。

【０１１７】また、上記例では、任意のズーム倍率値で
撮影した画像に対してシェーディング補正を施す際に、
あらかじめ用意しておいた補正情報の中から、最もズー
ム倍率値が近い補正テーブルを選択していた。この方式
では、より精度の高いシェーディング補正を行うために
は、補正情報作成間隔Ｚ_STEPを小さな値に設定し、より
多くの補正情報を作成・記憶しておく必要があるが、処
理量およびメモリ効率の観点からコスト高になることは
容易に想像できる。

【０１１８】そこで、限られた数だけ用意した補正情報
から、任意のズーム倍率値における補正情報を公知の比
例配分などの方法により補間して算出しても良い。

【０１１９】また、シェーディング状態が変動する要因
としてズーム倍率値のみに注目し、代表値として選んだ
いくつかのズーム倍率値において作成した補正情報を用
いて、シェーディング補正を行う方法について説明し
た。

【０１２０】しかし、シェーディングが変動する要因は
ズーム倍率値のみでなく、カメラから被写体までの距離
に応じて変動するフォーカスレンズや周囲の照明環境に
よって変動する絞り等の露出状態にも強く依存する。こ
のため、ズーム倍率値のみに注目して作成した補正情報
ではこれらの要因によって変化したシェーディングを精
度良く補正することが出来ないという問題がある。

【０１２１】そこで、図１４に示すように、カメラ間距
離および絞りの状態をも考慮した補正情報を作成しても
よい。同図に示すように、被写体距離、絞りの状態さら
にズーム倍率のそれぞれにおいてユーザが任意に代表値
を設定し、それらのあらゆる組み合わせを考慮した補正
情報を任意の撮像装置について作成・記憶しておき、上
記と同様な方法を用いて最適な補正情報を選択・作成す
ることで、様々な要因によって変動したシェーディング
を精度良く補正することが可能となる。

【０１２２】また、上記例では、ズーム倍率の異なる状
態で撮影された複数枚の画像それぞれに対して独立にシ
ェーディング補正を行うことで、それらを統合した際に
境界線や濃淡むらが少ない画像を出力することが可能と
なった。しかし本実施例では、従来技術として特願平第
１１−３５８０２８号に示すような、一方の画像の画素
値に対して、他方の画像のシェーディング状態に合わせ
るような処理を施し、境界線や濃淡むらが発生せず、見
かけ上シェーディング補正が行われたような統合画像を
生成する手法と組み合わせることで、あらゆるズーム倍
率、フォーカスレンズ位置および絞り値で撮影された画
像に対して、境界線や濃淡むらが極めて少ない合成画像
を生成することが可能となる。

【０１２３】更に、上記実施例では、双曲面や双曲線を
用いた正規化画像の関数近似を行って補正情報を作成し
ているが、球面や更に高い次元数の関数を用いて、正規
化画像の関数近似を行っても良い。

【０１２４】

【他の実施形態】本発明は、複数の機器（例えばホスト
コンピュータ、インタフェイス機器、カメラヘッドな
ど）から構成されるシステムに適用しても、一つの機器
からなる装置（例えば、ビデオカメラ、デジタルスチル
カメラなど）に適用してもよい。

【０１２５】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納された
プログラムコードを読み出し実行することによっても、
達成されることは言うまでもない。この場合、記憶媒体
から読み出されたプログラムコード自体が前述した実施
形態の機能を実現することになり、そのプログラムコー
ドを記憶した記憶媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実
行することにより、前述した実施形態の機能が実現され
るだけでなく、そのプログラムコードの指示に基づき、
コンピュータ上で稼働しているオペレーティングシステ
ム（ＯＳ）などが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。

【０１２６】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【０１２７】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明した図４および/または図９
及び図１０に示すフローチャートに対応するプログラム
コードが格納されることになる。

【０１２８】

【発明の効果】上記の通り本発明によれば、ズーム倍率
を変化させて撮影した複数画像を合成する際、補間する
画素の情報ができるだけ多く含まれるように、撮影する
画像のズーム倍率を適切に制御することができる。

【０１２９】また、画像合成処理の際に撮像した条件に
応じてシェーディング補正を行うことにより、適切なシ
ェーディング補正を行うために必要なデータの保持用メ
モリ量を低減し、濃淡むらのない高精細画像を生成する
ことができる。

【図面の簡単な説明】

【図１】本発明の実施の形態における撮像装置の構成を
示すブロック図である。

【図２】本発明の実施の形態におけるコンピュータのハ
ードウェア構成を示すブロック図である。

【図３】画像合成時の画素サイズの比較を示す図であ
る。

【図４】本発明の実施の形態における画像合成処理を示
すフローチャートである。

【図５】本発明の実施の形態におけるズームレンズ及び
フォーカスレンズのカム軌跡の一例を示す図である。

【図６】本発明の実施の形態におけるテーブル化された
カム軌跡の一例を示す図である。

【図７】本発明の実施の形態におけるテーブル化された
カム軌跡の別の例を示す図である。

【図８】ズーム倍率を変化させて撮影した画像の合成を
説明する図である。

【図９】本発明の実施の形態におけるシェーディング補
正情報を取得する処理を示すフローチャートである。

【図１０】本発明の実施の形態におけるシェーディング
補正処理を示すフローチャートである。

【図１１】本発明の実施の形態における補正情報作成の
概念を示す図である。

【図１２】本発明の実施の形態における正規化画像の画
素値変化例を示す図である。

【図１３】本発明の実施の形態における正規化画像の関
数近似モデルの例を示す図である。

【図１４】本発明の実施の形態における補正テーブル作
成の別の例を示す図である。

【図１５】ズーム倍率が異なる状態で撮影された画像の
例を示す図である。

【図１６】ズーム倍率が異なる複数枚の画像の合成処理
およびその際のシェーディング状態を示す図である。

【符号の説明】

１０１撮像装置１０２外部コンピュータ１０３撮像レンズ１０４ズームレンズ１０５フォーカスレンズ１０６撮像素子１０７カメラプロセス部１０８フォーカスレンズ駆動用モータ１０９合焦制御部１１０ズームレンズ駆動用モータ１１１ズーム制御部１１２フォーカスレンズ位置設定・読み出し部１１３被写体距離計測部１１４ズームレンズ位置設定・読み出し部１１５全体制御部１１６バスインターフェース２０１ＣＰＵ２０２ＲＯＭ２０３主記憶装置（ＤＲＡＭ）２０４２次記憶装置（ハードディスク）２０５映像キャプチャボード２０６ネットワークインターフェース２０７バスインターフェース２０８ディスプレイ２０９マウス２１０キーボード２１１プリンタ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 5/262 Ｈ０４Ｎ 5/262 Ｆターム(参考） 2H044 DA02 DB03 DC01 DE06 5C021 PA66 PA67 PA71 PA80 XA67 XB07 5C022 AB23 AB51 AB66 AC00 AC54 AC74 5C023 AA01 AA02 AA07 BA01 BA11 DA02 EA03 EA06

Claims

【特許請求の範囲】

【請求項１】ズーム倍率を変更可能なズームレンズを
有する撮像装置を用いた画像補間方法であって、撮影する画像の枚数を決定する第１の決定工程と、基準ズーム倍率を決定する第２の決定工程と、前記基準ズーム倍率で撮影を行う第１の撮影工程と、前記基準ズーム倍率から、前記ズームレンズを所定量駆
動してズーム倍率を変更する第１の倍率変更工程と、変更後のズーム倍率で撮影を行う第２の撮影工程と、前記第２の撮影工程で用いたズーム倍率から、前記ズー
ムレンズを所定量駆動してズーム倍率を変更する第２の
倍率変更工程と、前記第２の撮影工程及び前記第２の倍率変更工程とを、
前記第１の決定工程で決定した枚数の画像の撮影が終了
するまで繰り返す反復工程と、前記撮影した複数画像を合成する合成工程とを有するこ
とを特徴とする画像補間方法。
【請求項２】前記所定量は、前記ズームレンズを駆動
可能な最小単位であることを特徴とする請求項１に記載
の画像補間方法。
【請求項３】前記所定量は、ズーム倍率が小さいほど
大きくなることを特徴とする請求項１に記載の画像補間
方法。
【請求項４】前記所定量は、テーブル化して予め保持
されていることを特徴とする請求項１乃至３のいずれか
に記載の画像補間方法。
【請求項５】ズーム倍率と前記ズームレンズの位置情
報とを関連づけてテーブル化し、予め保持しており、前
記第１及び第２の倍率変更工程では、前記所定量を前記
位置情報に基づいて取得することを特徴とする請求項１
乃至３のいずれかに記載の画像補間方法。
【請求項６】前記所定量は、前記ズームレンズを駆動
するためのモータに供給されるパルス数であることを特
徴とする請求項１乃至４のいずれかに記載の画像補間方
法。
【請求項７】前記第２の撮影工程では、前記第１の撮
影工程におけるフォーカスレンズの位置と、前記変更後
のズーム倍率とに基づいて、前記フォーカスレンズを駆
動する工程を更に有することを特徴とする請求項１乃至
６のいずれかに記載の画像補間方法。
【請求項８】前記フォーカスレンズの駆動量は、ズー
ム倍率に関連づけてテーブル化して予め保持されている
ことを特徴とする請求項７に記載の画像補間方法。
【請求項９】前記フォーカスレンズの駆動量は、前記
フォーカスレンズを駆動するためのモータに供給される
パルス数であることを特徴とする請求項７または８に記
載の画像補間方法。
【請求項１０】ズーム倍率を変更可能なズームレンズ
を有する撮像装置を用いた撮像システムであって、撮影する画像の枚数を設定する枚数設定手段と、基準ズーム倍率を設定する基準ズーム設定手段と、前記基準ズーム倍率となるように前記ズームレンズを駆
動すると共に、ズーム倍率を変更する制御手段と、前記制御手段により変更された異なるズーム倍率で、前
記枚数設定手段で設定された枚数の撮影を行う撮影手段
と、前記撮影手段により撮影された異なるズーム倍率の複数
枚の画像を記憶する記憶手段と、前記記憶手段に記憶された複数枚の画像を合成する合成
手段とを有し、前記制御手段は、前記撮影手段による各撮影後、前記ズ
ームレンズを所定量駆動してズーム倍率を変更すること
を特徴とする撮像システム。
【請求項１１】前記所定量は、前記ズームレンズを駆
動可能な最小単位であることを特徴とする請求項１０に
記載の撮像システム。
【請求項１２】前記所定量は、ズーム倍率が小さいほ
ど大きくなることを特徴とする請求項１０に記載の撮像
システム。
【請求項１３】前記所定量は、テーブル化して予め保
持されていることを特徴とする請求項１０乃至１２のい
ずれかに記載の撮像システム。
【請求項１４】ズーム倍率と前記ズームレンズの位置
情報とを関連づけてテーブル化し、予め保持しており、
前記制御手段は前記所定量を前記位置情報に基づいて取
得することを特徴とする請求項１０乃至１２のいずれか
に記載の撮像システム。
【請求項１５】前記ズームレンズを駆動するためのモ
ータを更に有し、前記所定量は、前記モータに供給されるパルス数である
ことを特徴とする請求項１０乃至１３のいずれかに記載
の撮像システム。
【請求項１６】前記基準ズーム倍率で撮影時のフォー
カスレンズの位置と、前記制御手段による変更後のズー
ム倍率とに基づいて、前記フォーカスレンズを制御する
手段を更に有することを特徴とする請求項１０乃至１５
のいずれかに記載の撮像システム。
【請求項１７】前記フォーカスレンズの駆動量は、ズ
ーム倍率に関連づけてテーブル化して予め保持されてい
ることを特徴とする請求項１６に記載の撮像システム。
【請求項１８】前記フォーカスレンズを駆動するため
のモータを更に有し、前記フォーカスレンズの駆動量は、前記モータに供給さ
れるパルス数であることを特徴とする請求項１６または
１７に記載の撮像システム。
【請求項１９】ズーム倍率を変更可能なズームレンズ
を有する撮像装置を制御する画像処理装置であって、撮影する画像の枚数を設定する枚数設定手段と、基準ズーム倍率を設定する基準ズーム設定手段と、前記基準ズーム設定手段により設定した基準ズーム倍率
を、前記ズームレンズの位置情報に変換して出力すると
共に、前記位置情報を所定量ずつ変更して出力する制御
手段と、前記制御手段から出力される位置情報を前記撮像装置に
出力する出力手段と、前記撮影装置により撮影された画像を入力する入力手段
と、前記入力手段から入力した複数枚の画像を記憶する記憶
手段と、前記記憶手段に記憶された複数枚の画像を合成する合成
手段とを有することを特徴とする画像処理装置。
【請求項２０】前記所定量は、前記ズームレンズを駆
動可能な最小単位であることを特徴とする請求項１９に
記載の画像処理装置。
【請求項２１】前記所定量は、ズーム倍率が小さいほ
ど大きくなることを特徴とする請求項１９に記載の画像
処理装置。
【請求項２２】前記所定量は、テーブル化して予め保
持されていることを特徴とする請求項１９乃至２１のい
ずれかに記載の画像処理装置。
【請求項２３】ズーム倍率と前記ズームレンズの位置
情報とを関連づけてテーブル化し、予め保持されている
ことを特徴とする請求項１９乃至２１のいずれかに記載
の画像処理装置。
【請求項２４】前記撮像装置は前記ズームレンズを駆
動するためのモータを更に有し、前記所定量は、前記モータに供給されるパルス数である
ことを特徴とする請求項１９乃至２２のいずれかに記載
の画像処理装置。
【請求項２５】前記基準ズーム倍率で撮影時の前記撮
像装置のフォーカスレンズの位置と、前記制御手段によ
る変更後のズームレンズの位置情報とに基づいて、前記
フォーカスレンズを制御する為の位置情報を得る手段を
更に有することを特徴とする請求項１９乃至２４のいず
れかに記載の画像処理装置。
【請求項２６】前記フォーカスレンズの位置情報は、
前記ズームレンズの位置情報に関連づけてテーブル化し
て予め保持されていることを特徴とする請求項２５に記
載の画像処理装置。
【請求項２７】前記フォーカスレンズを駆動するため
のモータを更に有し、前記フォーカスレンズの位置情報は、前記モータに供給
されるパルス数であることを特徴とする請求項２５また
は２６に記載の画像処理装置。
【請求項２８】請求項１乃至９のいずれかに記載の画
像補間方法を実現するためのプログラムコードを保持す
る記憶媒体。
【請求項２９】請求項１乃至９のいずれかに記載の画
像補間方法を実現するためのプログラムコードを有する
プログラム。
【請求項３０】コンピュータ装置が実行可能なプログ
ラムであって、前記プログラムを実行したコンピュータ
装置を、請求項１９乃至２７のいずれかに記載の画像処
理装置として機能させることを特徴とするプログラム。
【請求項３１】異なるズーム倍率で撮影した複数枚の
画像を合成する画像合成方法であって、シェーディング補正情報を異なる撮影条件毎に作成する
補正情報作成工程と、前記複数枚の画像を撮像した撮像装置からそれぞれの画
像の撮影条件を読み込む読み込み工程と、それぞれの画像について、それぞれの画像の撮影条件に
基づいて前記シェーディング補正情報から最適な補正情
報を供給する情報供給工程と、前記供給されたシェーディング補正情報に基づいて、そ
れぞれの画像のシェーディング補正を行う補正工程と、前記シェーディング補正された複数枚の画像を合成して
１枚の画像を生成する合成工程とを有し、前記補正情報作成工程では、一定輝度を有する被写体を
撮影条件毎に撮影し、得られた画像データを関数近似し
てシェーディング補正情報を作成することを特徴とする
画像合成方法。
【請求項３２】前記補正情報作成工程では、前記画像
データを曲面を示す関数に近似し、前記関数のパラメー
タをシェーディング補正情報として取得することを特徴
とする請求項３１に記載の画像合成方法。
【請求項３３】前記曲面は、双曲面であることを特徴
とする請求項３２に記載の画像合成方法。
【請求項３４】前記補正情報作成工程では、前記画像
データを曲線を示す関数に近似し、前記関数のパラメー
タをシェーディング補正情報として取得することを特徴
とする請求項３１に記載の画像合成方法。
【請求項３５】前記曲線は、双曲線であることを特徴
とする請求項３４に記載の画像合成方法。
【請求項３６】前記撮影条件はズーム倍率を含み、前
記補正情報作成工程では複数の異なるズーム倍率値毎に
シェーディング補正情報を作成することを特徴とする請
求項３１乃至３５のいずれかに記載の画像合成方法。
【請求項３７】前記撮影条件はフォーカスレンズの状
態を更に含み、前記補正情報作成工程では、更に複数の
異なるフォーカスレンズの状態毎にシェーディング補正
情報を作成することを特徴とする請求項３６に記載の画
像合成方法。
【請求項３８】前記撮影条件は絞りの状態を更に含
み、前記補正情報作成工程では、更に複数の異なる絞り
の状態毎にシェーディング補正情報を作成することを特
徴とする請求項３６または３７に記載の画像合成方法。
【請求項３９】前記情報供給工程では、前記補正情報
作成工程で作成されたシェーディング補正情報のうち、
最も撮影条件が近似しているものを選択し、供給するこ
とを特徴とする請求項３１乃至３８のいずれかに記載の
画像合成方法。
【請求項４０】前記情報供給工程では、それぞれの画像について前記補正条件作成工程で作成さ
れたシェーディング補正情報から撮影条件が近似してい
るものを２種類選択し、選択した２種類の補正情報を補間して、それぞれの画像
の撮影条件に近似した補正情報を生成して供給すること
を特徴とする請求項３１乃至３８のいずれかに記載の画
像合成方法。
【請求項４１】前記補正情報作成工程では、撮影条件
毎に白色基準板を撮像し、撮像して得られた画像の各画
素の輝度値を、当該画像の最大輝度値で除すことにより
シェーディング補正情報を作成し、前記補正工程では、前記供給された補正情報の逆数を前
記複数枚の画像に掛けることを特徴とする請求項３１乃
至４０のいずれかに記載の画像合成方法。
【請求項４２】異なるズーム倍率で撮影した複数枚の
画像を合成する画像処理装置であって、シェーディング補正情報を異なる撮影条件毎に作成する
補正情報作成手段と、前記複数枚の画像を撮像した撮像装置からそれぞれの画
像の撮影条件を読み込む読み込み手段と、それぞれの画像について、それぞれの画像の撮影条件に
基づいて前記シェーディング補正情報から最適な補正情
報を供給する情報供給手段と、前記供給されたシェーディング補正情報に基づいて、そ
れぞれの画像のシェーディング補正を行う補正手段と、前記シェーディング補正された複数枚の画像を合成して
１枚の画像を生成する合成手段とを有し、前記補正情報作成手段は、一定輝度を有する被写体を撮
影条件毎に撮影し、得られた画像データを関数近似して
シェーディング補正情報を作成することを特徴とする画
像処理装置。
【請求項４３】前記補正情報作成手段は、前記画像デ
ータを曲面を示す関数に近似し、前記関数のパラメータ
をシェーディング補正情報として取得することを特徴と
する請求項４２に記載の画像処理装置。
【請求項４４】前記曲面は、双曲面であることを特徴
とする請求項４３に記載の画像処理装置。
【請求項４５】前記補正情報作成手段は、前記画像デ
ータを曲線を示す関数に近似し、前記関数のパラメータ
をシェーディング補正情報として取得することを特徴と
する請求項４２に記載の画像処理装置。
【請求項４６】前記曲線は、双曲線であることを特徴
とする請求項４５に記載の画像処理装置。
【請求項４７】前記撮影条件はズーム倍率を含み、前
記補正情報作成手段は複数の異なるズーム倍率値毎にシ
ェーディング補正情報を作成することを特徴とする請求
項４２乃至４６のいずれかに記載の画像処理装置。
【請求項４８】前記撮影条件はフォーカスレンズの状
態を更に含み、前記補正情報作成手段では、更に複数の
異なるフォーカスレンズの状態毎にシェーディング補正
情報を作成することを特徴とする請求項４７に記載の画
像処理装置。
【請求項４９】前記撮影条件は絞りの状態を更に含
み、前記補正情報作成手段では、更に複数の異なる絞り
の状態毎にシェーディング補正情報を作成することを特
徴とする請求項４７または４８に記載の画像処理装置。
【請求項５０】前記情報供給手段は、前記補正情報作
成手段が作成したシェーディング補正情報のうち、最も
撮影条件が近似しているものを選択し、供給することを
特徴とする請求項４２乃至４９のいずれかに記載の画像
処理装置。
【請求項５１】前記情報供給手段は、それぞれの画像について前記補正条件作成手段で作成さ
れたシェーディング補正情報から撮影条件が近似してい
るものを２種類選択し、選択した２種類の補正情報を補間して、それぞれの画像
の撮影条件に近似した補正情報を生成して供給すること
を特徴とする請求項４２乃至４９のいずれかに記載の画
像処理装置。
【請求項５２】前記補正情報作成手段は、撮影条件毎
に白色基準板を撮像し、撮像して得られた画像の各画素
の輝度値を、当該画像の最大輝度値で除すことによりシ
ェーディング補正情報を作成し、前記補正手段は、前記供給された補正情報の逆数を前記
複数枚の画像に掛けることを特徴とする請求項４２乃至
５１のいずれかに記載の画像処理装置。
【請求項５３】請求項３１乃至４１のいずれかに記載
の画像合成方法を実現するためのプログラムコードを保
持する記憶媒体。
【請求項５４】請求項３１乃至４１のいずれかに記載
の画像合成方法を実現するためのプログラムコードを有
するプログラム。
【請求項５５】コンピュータ装置が実行可能なプログ
ラムであって、前記プログラムを実行したコンピュータ
装置を、請求項４２乃至５２のいずれかに記載の画像処
理装置として機能させることを特徴とするプログラム。