JP2001157104A

JP2001157104A - 画像処理装置及びその制御方法並びにその制御に供するメモリ媒体

Info

Publication number: JP2001157104A
Application number: JP33823499A
Authority: JP
Inventors: Kiyoshi Umeda; 清梅田; Yoshihiro Ishida; 良弘石田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-11-29
Filing date: 1999-11-29
Publication date: 2001-06-08

Abstract

(57)【要約】【課題】簡単な方法で、複数の画像を統合して１つの高
品質の画像を得る。【解決手段】撮像レンズの変倍レンズの位置（ズーム倍
率）を変更しながら、変更の都度、テストチャートを撮
影し、その結果に基づいて、変倍レンズの位置とズーム
倍率との関係を示すズーム倍率特性を取得し（Ｓ３１
０；Ｓ３１０〜Ｓ３１６）、その後、ズーム倍率特性に
従って正確に制御される複数のズーム倍率で被写体を撮
影し、撮影した複数の画像を統合して１枚の高精細な画
像を生成する（Ｓ３０２〜Ｓ３０９）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像レンズを制御
する機能を有する画像処理装置及びその制御方法並びに
その制御に供するメモリ媒体に関する。

【０００２】

【従来の技術】現在、ハイビジョンに代表されるように
映像メディアは高解像度化へ向かっており、高品質な画
像を容易に生成するための技術が必要とされている。

【０００３】画像を高精細化するための方法として、倍
率を変化させながら撮影した動画像シーケンスを構成す
る複数のフレームを統合する方法である。

【０００４】

【発明が解決しようとする課題】しかし、汎用電動ズー
ムレンズシステムは、全体の焦点距離が多くの場合は未
知であることから、変倍レンズの位置とズーム倍率との
対応関係が不明である。従って、変倍用レンズの位置を
変化させながら動画像シーケンスを撮影したとしても、
各フレームのズーム倍率が不明であるため、動画シーケ
ンスを構成する複数の画像を統合することが困難であっ
た。

【０００５】本発明は、上記の背景に鑑みてなされたも
のであり、簡単な方法で、複数の画像を統合して１つの
高品質の画像を得ることを目的とする。

【０００６】

【課題を解決するための手段】本発明の第１の側面に係
る画像処理装置は、撮像レンズを制御する機能を有する
画像処理装置であって、前記撮像レンズに関連する情報
を取得する取得手段と、前記取得手段が取得した情報に
基づいて前記撮像レンズを制御しながら撮像手段に複数
枚の画像を撮像させる制御手段と、前記撮像手段によっ
て撮像された複数枚の画像を処理して１枚の画像を生成
する画像処理手段とを備えることを特徴とする。

【０００７】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記制御手段は、前記撮像レンズに関
連する情報に基づいて前記撮像レンズの状態を変更しな
がら、変更の都度、前記撮像手段に画像を撮像させるこ
とが好ましい。

【０００８】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記撮像レンズは、焦点距離を変更す
るための変倍レンズを含み、前記制御手段は、前記撮像
レンズに関連する情報に基づいて前記変倍レンズの位置
を変更しながら、変更の都度、前記撮像手段に画像を撮
像させることが好ましい。

【０００９】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記取得手段は、前記撮像レンズに関
連する情報として、前記変倍レンズの位置とズーム倍率
との関係を示すズーム倍率特性情報を取得することが好
ましい。

【００１０】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記制御手段は、撮像の際の前記撮像
レンズのズーム倍率を決定し、該ズーム倍率が得られる
ように前記ズーム倍率特性情報に基づいて前記変倍レン
ズの位置を調整することが好ましい。

【００１１】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記取得手段は、前記撮像レンズに関
連する情報として、被写体距離をパラメータとした、前
記変倍レンズの位置とズーム倍率との関係を示すズーム
倍率特性情報を取得することが好ましい。

【００１２】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記制御手段は、撮像の際の前記撮像
レンズのズーム倍率を決定し、前記ズーム倍率特性情報
を参照することにより、該ズーム倍率と被写体距離に対
応する前記変倍レンズの位置を決定し、その決定結果に
従って前記変倍レンズの位置を調整することが好まし
い。

【００１３】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記画像処理手段は、前記撮像手段に
よって撮像された複数枚の画像を各画像に対応する撮像
情報に基づいて処理して１枚の画像を生成することが好
ましい。

【００１４】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記画像処理手段は、前記撮像手段に
よって撮像された複数枚の画像を各画像に対応する撮像
情報に基づいて処理して１枚の画像を生成することが好
ましい。

【００１５】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記撮像情報は、撮像時の前記撮像レ
ンズの状態を示す情報を含むことが好ましい。

【００１６】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記撮像情報は、撮像時の前記撮像レ
ンズのズーム倍率に関連する情報を含むことが好まし
い。

【００１７】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記制御手段は、前記撮像レンズのズ
ーム倍率を変更しながら、各ズーム倍率で前記撮像手段
に被写体を撮像させ、前記画像処理手段は、前記撮像手
段によって撮像された複数枚の画像を、各画像中の被写
体の大きさが同一になるように、夫々撮像時のズーム倍
率に対応する変倍率で変倍し、変倍後の複数の画像を統
合して１枚の画像を生成することが好ましい。

【００１８】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記取得手段は、前記撮像レンズに関
連する情報としてズーム中心を示すズーム中心情報を取
得し、前記画像処理手段は、前記変倍後の複数の画像を
統合する際に該複数の画像のズーム中心を一致させるこ
とが好ましい。

【００１９】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記ズーム倍率に関連する情報は、前
記変倍レンズの位置に関する情報であり、前記画像処理
手段は、前記取得手段が取得した前記撮像レンズに関す
る情報に基づいて、前記変倍レンズに位置に関する情報
から前記撮像レンズのズーム倍率を得ることが好まし
い。

【００２０】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記撮像手段による撮像に係る画像を
保存する画像保存手段を更に備え、前記撮像情報は、該
画像と関連付けて前記画像保存手段に保存されることが
好ましい。

【００２１】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記取得手段が取得した前記撮像レン
ズに関する情報を保存するレンズ情報保存手段を更に備
えることが好ましい。

【００２２】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記取得手段は、被写体の撮像に先立
って、前記撮像レンズに関する情報を取得し、前記レン
ズ情報保存手段に保存させることが好ましい。

【００２３】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記取得手段は、前記撮像手段により
テストチャートを撮像した画像に基づいて前記撮像レン
ズに関する情報を取得することが好ましい。

【００２４】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記取得手段は、前記撮像レンズに関
する情報として、前記撮像レンズの特性を示す特性曲線
を取得し、該特性曲線上の代表点を示す情報を前記レン
ズ情報保存手段に保存させることが好ましい。

【００２５】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記取得手段は、前記撮像レンズに関
する情報として、前記撮像レンズの特性を示す特性曲線
を取得し、該特性曲線上を多項式で近似するための係数
を前記レンズ情報保存手段に保存させることが好まし
い。

【００２６】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記画像処理手段は、前記変倍後の複
数の画像を統合した後に画素と画素との間の画素を補間
し、その際に被補間画素の画素値を該被補間画素に最も
近い画素の画素値とすることが好ましい。

【００２７】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記画像処理手段は、前記変倍後の複
数の画像を統合した後に画素と画素との間の画素を補間
し、その際に被補間画素の画素値を周辺の画素の画素値
に基づいて決定することが好ましい。

【００２８】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記画像処理手段は、前記変倍後の複
数の画像を統合した後に画素と画素との間に画素を補間
し、その際に、被補間画素の画素値を、複数の近隣画素
と前記被補間画素との位置関係に基づいて決定すること
が好ましい。

【００２９】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記画像処理手段は、前記変倍後の複
数の画像を統合した後に画素と画素との間に画素を補間
し、その際に、被補間画素の画素値を、複数の近隣画素
と前記被補間画素との位置関係に応じて該複数の近隣画
素の各々に重み付けを行い、重み付けを行った複数の近
隣画素に基づいて決定することが好ましい。

【００３０】本発明の第１の側面に係る画像処理装置に
おいて、例えば、前記撮像レンズ及び前記撮像手段を含
む撮像装置と通信する通信手段を更に備え、前記取得手
段は、前記通信手段を介して前記撮像装置から前記撮像
レンズに関する情報を取得し、前記制御手段は、前記通
信手段を介して前記撮像装置を制御し、前記画像処理手
段は、前記通信手段を介して前記撮像装置から送られて
くる画像を処理することが好ましい。

【００３１】本発明の第２の側面に係る画像処理装置の
制御方法は、撮像レンズを制御する機能を有する画像処
理装置の制御方法であって、前記撮像レンズに関連する
情報を取得する取得工程と、前記取得工程で取得した情
報に基づいて前記撮像レンズを制御しながら撮像手段に
複数枚の画像を撮像させる制御工程と、前記撮像工程で
撮像された複数枚の画像を処理して１枚の画像を生成す
る画像処理工程とを含むことを特徴とする。

【００３２】本発明の第３の側面に係るメモリ媒体は、
撮像レンズを制御する機能を有する画像処理装置の制御
プログラムを格納したメモリ媒体であって、該制御プロ
グラムは、前記撮像レンズに関連する情報を取得する取
得工程と、前記取得工程で取得した情報に基づいて前記
撮像レンズを制御しながら撮像手段に複数枚の画像を撮
像させる制御工程と、前記撮像工程で撮像された複数枚
の画像を処理して１枚の画像を生成する画像処理工程と
を含むことを特徴とする。

【００３３】

【発明の実施の形態】以下、本発明の好適な実施の形態
を説明する。

【００３４】本発明の好適な実施の形態として、コンピ
ュータと該コンピュータによって制御可能な撮像装置
（例えば、インタラクティブカメラ）を有するシステム
について説明する。ここで、インタラクティブカメラと
は、コンピュータとの親和性の強い撮像装置のことであ
り、コンピュータと接続することにより、撮像装置内の
様々なパラメータ（例えば、変倍レンズの位置、フォー
カスレンズの位置、被写体距離、露出情報等）を読み出
したり、撮像装置を制御することが可能である。

【００３５】このシステムでは、撮影に先立って撮像装
置のパラメータのキャリブレーションを行うことによ
り、例えば、変倍レンズの位置とズーム倍率との関係、
及びズーム中心位置を示す情報を取得し、これらの情報
を記憶する。

【００３６】これらの情報を利用することにより、画像
を撮影する際のズーム倍率を正確に制御することがで
き、ズーム倍率が異なる複数枚の画像の統合処理の際
に、大量の演算を実行することなく、画素を配置すべき
位置を決定することができる。

【００３７】画素を配置すべき位置の決定後に補間処理
を行うことにより、一般に注目個所である画像の中央付
近を高精細化することができる。

【００３８】以下、添付図面に沿って本発明の好適な実
施の形態を具体的に説明する。

【００３９】［第１の実施の形態］図１は、本発明に好
適な実施の形態に係る画像処理システムの概略構成を示
す図である。このシステムは、撮像装置１０１と、該撮
像装置１０１を制御するコンピュータ１０２とを備え
る。

【００４０】撮像装置１０１は、ズーム機能（変倍機
能）を有する撮像レンズ１０３を備えている。撮像レン
ズ１０３は、交換可能なタイプであってもよいし、撮像
装置１０１に固定されたタイプであってもよい。撮像レ
ンズ１０３は、大雑把には、変倍のための変倍レンズ１
０４と、焦点を調整するためのフォーカスレンズ１０５
とを有する。撮像レンズ１０３は、被写体の光学像をＣ
ＣＤ等の撮像素子１０６の撮像面上に形成し、撮像素子
１０６は、その光学像を電気信号に変換してカメラプロ
セス部１０７に出力する。

【００４１】カメラプロセス部１０７は、撮像素子１０
６から出力される信号に周知の処理（例えば、ゲイン補
正、γ補正、色バランス調整等）を施して、所定形式の
映像信号を出力する。

【００４２】合焦制御部１０８は、カメラプロセス部１
０７より出力される映像信号に係る画像中の予め設定さ
れた合焦検出対象領域内又はユーザが任意に設定した合
焦検出対象領域内の映像信号に含まれる高周波成分が極
大となるように、フォーカスレンズ１０５を不図示のフ
ォーカスレンズモータ（ここでは、ステッピングモー
タ）によって光軸方向に移動させることにより、被写体
像を撮像素子１０６の撮像面上に合焦させる。距離計測
部１１２は、当該撮像装置から被写体までの距離（以
下、被写体距離）を、例えばステッピングモータの駆動
情報を基づいて算出する。

【００４３】なお、ユーザがコンピュータ１０２を介し
てフォーカスレンズ１０５を任意の位置に設定する機能
を設けてもよい。

【００４４】ズーム制御部１０９は、コンピュータ１０
２からの指令に基づいて、変倍レンズ１０４を任意の位
置に移動させるように、不図示の変倍レンズモータ（ス
テッピングモータ）を制御する。

【００４５】これらのフォーカスレンズ１０５及び変倍
レンズ１０４の位置、被写体距離、露出情報等のカメラ
パラメータは、バスインターフェース１１４を介して撮
像装置１０１からコンピュータ１０２に読み出すことが
できる。

【００４６】図２は、高精細画像を生成する処理を実行
するコンピュータ１０２の概略構成図である。

【００４７】２０１は中央演算装置（ＣＰＵ）、２０２
はＲＯＭ、２０３はＤＲＡＭ等の主記憶装置、２０４は
ハードディスク等の二次記憶装置である。

【００４８】コンピュータ１０２には、ユーザインター
フェースとして、ディスプレイ２０８、マウス２０９、
キーボード２１０が接続されている。

【００４９】２０５は、撮像装置１０１から入力された
映像信号（ＮＴＳＣ等）をディジタル信号に変換するた
めのキャプチャボード、２０７は、撮像装置１０１を制
御するために撮像装置１０１にコマンドを転送し、ま
た、種々のカメラパラメータを撮像装置１０１から読み
出すためのバスインターフェース２０７である。

【００５０】２０６は、ネットワークと接続するための
インターフェース、２１１は、画像処理の結果等を可視
画像として出力するためのプリンタである。

【００５１】図３は、コンピュータ１０２によって実行
される高精細画像の生成処理のアルゴリズムを示すフロ
ーチャートである。この処理は、例えば、２次記憶装置
２０４に格納された制御プログラムに従って制御され
る。また、この制御プログラムは、例えば、分離可能な
メモリ媒体（例えば、フロッピーディスク、ＣＤ−ＲＯ
Ｍ）等に格納して流通させることができ、該メモリ媒体
をコンピュータ１０２に接続することによりコンピュー
タ１０２に提供され得る。

【００５２】まず、ステップＳ３０１では、前処理とし
て、撮像装置１０１の撮像レンズ（ズームレンズ）１０
２の特性を示す情報を取得するために、キャリブレーシ
ョンを実行する。

【００５３】一般のズームレンズの多くは、ズーム倍率
を変更した際に撮像画面上で動かない点（以下、ズーム
中心）が、撮像画面の中心（以下、画像中心）と異なっ
ている。また、一般のズームレンズの多くは、ステッピ
ングモータのパルス値に代表されるような位置情報に応
じて変倍レンズの位置を変化させるが、各位置における
焦点距離が不明であるため、変倍レンズ（焦点距離を変
更するためのレンズ）の位置情報とズーム倍率（又は焦
点距離）との関係（以下、ズーム倍率特性）が未知であ
る。

【００５４】そこで、この実施の形態では、撮像レンズ
（ズームレンズ）１０３のズーム倍率特性を得るため
に、予め撮像レンズ（ズームレンズ）１０３のキャリブ
レーションを行う。

【００５５】なお、この明細書で、ズームレンズという
ときは、バリフォーカスレンズを含むものとする。

【００５６】ステップＳ３１０〜Ｓ３１６は、ステップ
Ｓ３０１の処理の１つの具体例である。まず、ステップ
Ｓ３１０では、撮像装置１０１から所定距離の位置に、
図４に示すようなテストチャートを光軸と垂直になるよ
うに設置するようにユーザに促す。次いで、ステップＳ
３１１では、任意の位置に変倍レンズ１０４を移動させ
て、ステップＳ３１２で、フォーカスレンズ１０５を調
整してテストチャートの画像を撮像素子１０６の撮像面
上に合焦させ、その後、そのテストチャートを撮影す
る。ステップＳ３１３では、変倍レンズ１０４の位置を
変えて更にステップＳ３１１及びＳ３１２の処理を繰り
返して実行するか否かを判断し、該処理を繰り返す場合
にはステップＳ３１１に戻る。

【００５７】ステップＳ３１４では、複数回の撮影（ス
テップＳ３１２）により得られるテストチャート画像を
処理して、テストチャート画像内の特定点（図４では、
４つの十字の各交点）の軌跡を求め、ステップＳ３１５
では、各軌跡を延長した線が交わる１点をズーム中心と
する。

【００５８】ステップＳ３１６では、例えば、各テスト
チャート画像に順次注目しながら、注目テストチャート
画像中における各十字点の移動距離と基準距離（例え
ば、ワイド端時のテストチャート画像における十字点と
テレ端時のテストチャート画像における十字点との距
離）との比率を求めることにより、ズーム倍率特性を求
める。

【００５９】以上のキャリブレーションにより、例え
ば、図５に示すようなズーム中心（Ｘcenter，Ｙcente
r）及び図６に示すようなズーム倍率特性が得られる。
これらのデータは、例えば、コンピュータ１０２中の主
記憶装置２０３又は２次記憶装置２０４に保存される。
この際、ズーム倍率特性に関しては、例えば、図６に示
すような特性曲線上の代表的な数点についてのみ保存
し、他の倍率を実現するための変倍レンズ１０４の位置
は、それらの値から周知の補間法によって求めることが
できる。なお、ズーム倍率特性の代わりに、変倍レンズ
１０３の位置と撮像レンズ１０２の焦点距離（ワイド端
の焦点距離にズーム倍率を掛けた値）との関係を示す焦
点距離特性を採用していもよい。

【００６０】図７は、コンピュータ１０２の主記憶装置
２０３又は２次記憶装置２０４に保存されるズーム中心
（Ｘcenter，Ｙcenter）及びズーム倍率特性のデータフ
ォーマットの一例を示す図である。なお、これらのデー
タは、撮像装置毎に固有であるため、撮像装置を最初に
使用する際にキャリブレーションを実行して取得し、図
７に示すように、データの先頭に当該撮像装置の製品コ
ードを記録することにより管理してもよい。ここで、使
用する撮像装置１０２について、既にズーム中心（Ｘce
nter，Ｙcenter）及びズーム倍率特性がコンピュータ１
０２中に保存されている場合は、ステップＳ３０１をス
キップすればよい。

【００６１】撮像レンズ（ズームレンズ）１０３のキャ
リブレーションが終了したら、ステップＳ３０２で、ユ
ーザは、所望の拡大率を図２のキーボード２１０やマウ
ス２０９等のユーザインタフェースを介してコンピュー
タ１０２に入力する。

【００６２】なお、ここでは、一例として、ズーム倍率
１倍（ワイド端）で撮影した画像を８倍に拡大する場合
（画素数を縦横方向に夫々８倍にする場合）について説
明する。また、撮像装置１０２の撮像レンズ１０３のズ
ーム倍率は１〜３倍の範囲で設定可能（即ち、ズーム比
が３倍）であるものとする。

【００６３】ステップＳ３０３では、撮像すべき画像の
枚数とズーム倍率（或いは、ズーム倍率のみを複数個）
を設定する。これらの値は、ユーザが目的に応じて、拡
大率を指定する場合と同様の方法を用いて、任意に設定
することができる。ただし、ここでは、説明の簡単化の
ため、１、２、３倍のズーム倍率で３枚の画像を撮影す
るこものとする。

【００６４】この実施の形態では、ステップＳ３０３で
設定したズーム倍率のうち最もワイド側のズーム倍率
（ここでは、１倍、即ちワイド端）で撮影した画像をス
テップＳ３０２で設定した拡大率で拡大すると共に、他
のズーム倍率で撮影した画像を変倍し、これらの画像を
統合し、統合した画像の画素間を補間することにより、
最終的な画像を生成する。

【００６５】ステップＳ３０４〜Ｓ３０６では、撮像装
置が三脚等の固定具で固定された状態で、設定された複
数のズーム倍率で被写体を撮影する。即ち、ステップＳ
３０４では、コンピュータ１０２（ＣＰＵ２０１）は、
前処理で得た図７に示すデータを参照しながら、ユーザ
が設定した倍率（ここでは、１倍、２倍、３倍）のズー
ム倍率に対応する変倍レンズ１０４の位置を補間・内挿
法によって算出し（図７に示すデータ中に当該倍率に対
応するデータが存在する場合には該データをそのまま使
用する）、算出値をバスインターフェース２０７及び１
１４を介して撮像装置１０１に転送する。

【００６６】これに応答して、撮像装置１０１内の全体
制御部１１３は、コンピュータ１０２から受信した算出
値（変倍ズームの位置）をズームレンズ位置設定・読出
部１１１に転送し、ズーム制御部１０９は、その値に応
じて不図示のモータを駆動して変倍レンズ１０４の位置
を制御する。

【００６７】ステップＳ３０５では、撮像装置１０１の
全体制御部１１３は、コンピュータ１０２からの制御の
下で、フォーカスレンズ１０５を調整して焦点を合わ
せ、被写体を撮影し、その映像信号（ＮＴＳＣ等）をコ
ンピュータ１０２に転送する。コンピュータ１０２は、
撮像装置１０１から出力された映像信号を映像キャプチ
ャボード２０５を用いて取り込み、主記憶装置２０３上
に確保したメモリ領域（以下、フレームメモリと呼ぶ）
に一時的に保存する。

【００６８】また、これと同時に、コンピュータ１０２
は、撮像装置１０１から変倍レンズ１０４及びフォーカ
スレンズ１０５の位置、露出情報並びに被写体距離等の
カメラパラメータをバスインタフェース１１４及び２０
７を介して撮像装置１０１から読み出す。主記憶装置２
０３に一時的に保存された画像は、カメラパラメータ
（付加情報）と共に２次記憶装置（ハードディスク等）
２０４に保存される。図８は、２次記憶装置２０４に保
存される付加情報付き撮像画像のフォーマットの一例を
示す図である。

【００６９】ステップＳ３０６では、設定された倍率で
の被写体の撮影が全て終了したか否かを判断し、未だ終
了していなければステップＳ３０４に戻り、撮影が完了
していればステップＳ３０７に進む。この例では、１、
２、３倍のズーム倍率で被写体を３回撮影した後に、ス
テップＳ３０７に進む。

【００７０】ステップＳ３０７では、統合処理を行う。
統合処理では、まず、各ズーム倍率で撮影した画像を拡
大した際の画素位置を算出する。具体的には、次の通り
である。

【００７１】ステップＳ３０２で設定された画像の拡大
率Ｚ０倍とし、ステップＳ３０４〜Ｓ３０６でＮ枚撮影
した画像（この例では、ズーム倍率１倍、２倍、３倍の
３枚の画像、即ちＮ＝３）のズーム倍率をＺn（ｎ：１
〜Ｎ）とする。ここで、ズーム倍率は、画像（データ）
に付随するカメラパラメータに含まれる変倍レンズの位
置情報（図８参照）とズーム倍率特性（図６、図７参
照）に基づいて取得することができる。

【００７２】この処理では、図９に示すように、図７に
示すズーム中心（Xcenter,Ycenter）を原点とする座標
系で各撮影画像を表現することにより各撮影画像のズー
ム中心を一致させる。

【００７３】撮影画像ｎ内の座標（ｘｎ，ｙｎ）にある
画素は、拡大後の画像では座標（Ｚ０・ｘｎ／Ｚｎ，Ｚ
０・ｙｎ／Ｚｎ）に配置される。図１０は、ズーム倍率
１倍で撮影した画像を縦横に夫々８倍（Ｚ０＝８）に拡
大するために、ズーム倍率１倍、２倍、３倍で撮影した
画像を統合する処理の一例を示す図である。図１０にお
いて、白丸は、ズーム倍率１倍（Ｚ１＝１）で撮影した
画像の画素、三角は、ズーム倍率２倍（Ｚ２＝２）で撮
影した画像の画素、星印は、ズーム倍率３倍（Ｚ３＝
３）で撮影した画像の画素を示している。また、斜線を
付した丸印は、ズーム中心を示している。なお、撮影画
像のサイズは、説明の簡単化のため、縦５×横７画素と
している。

【００７４】統合処理（ステップＳ３０７）が終了する
と、ステップＳ３０８において、格子点上の画素の画素
値を決定する補間処理を実行する。この実施の形態で
は、内挿補間すべき画素の値を、画像の統合によって配
置された画素のうち最も近い画素の値とする最近隣内挿
補間法（nearest neighbor interpolation）を用いる。
この際、異なったズーム倍率での撮影に係る画素が重な
っている場合が生じ得るが、その場合は、最も高いズー
ム倍率での撮影に係る画素の値を選択する。

【００７５】図１１は、最近隣内挿補間処理を行った結
果の一例を示す図である。図１１において、文字Ｐの次
の大文字の数字は、画素値を示す。以上の処理によれ
ば、画像の中央領域を重点的に高精細化した画像を得る
ことができる。

【００７６】ステップＳ３０９では、ステップＳ３０８
の補間処理で得られた画像を出力装置（例えば、ディス
プレイ２０８、記憶装置２０３又は２０４、プリンタ２
１１）に出力し、又は、ネットワークインターフェース
２０６を介して他の装置に出力する。

【００７７】［第２の実施の形態］この実施の形態で
は、ステップＳ３０８の補間処理に双線形内挿法（bi-l
inear interpolation）を適用する。他の処理は、第１
の実施の形態と同様である。

【００７８】図１２は、双線形内挿法の原理を説明する
ための図である。図１２において、白丸は、ズーム倍率
１倍（Ｚ１＝１）で撮影した画像の画素、三角は、ズー
ム倍率２倍（Ｚ２＝２）で撮影した画像の画素、星印
は、ズーム倍率３倍（Ｚ３＝３）で撮影した画像の画
素、四角は、被補間画素（補間すべき画素）を示してい
る。

【００７９】この補間処理では、被補間画素を、その周
囲の４つの近隣画素を用いて内挿補間を行う。ここで、
近隣画素を選択する際は以下のルールに従う。

【００８０】被補間画素を原点と仮定し、各象限毎に
１つ、被補間画素の最も近隣に位置する画素を選択す
る。

【００８１】統合によって画素が重なっている格子点
については、最もズーム倍率での撮影に係る画素の値を
選択する。

【００８２】以上のルールを図１２に示す例に適用する
と、直線で結ばれた４つの画素が近隣画素として選択さ
れる。

【００８３】被補間画素の画素値は、選択された４つの
近隣画素の画素値Ｐn（ｎ：１〜４）と距離情報Ｄn
（ｎ：１〜６）を（１）式に代入することで、求めるこ
とができる。

【００８４】

【数１】・・・（１）式図１３は、近隣画素値の選択に関する他の例を説明する
ための図である。図１３（ａ）に示すように、被補間画
素を含む垂直或いは水平ライン上に画素値が存在する場
合には、それらの画素がどちら象限に含まれるかを判断
しなければならない。そこで、図１３（ｂ）に示す条件
を取り入れる。すなわち、被補間画素を中心にして周辺
画素を時計周りの方向に微小に回転させた時に属する象
限に該周辺画素が属するものとし、４つ象限の各々から
近隣画素を選択する。

【００８５】この定義に従うと、図１３（ａ）に示す例
における近隣画素は、直線で結ばれた４つの画素とな
る。そして、該近隣画素の画素値と距離情報に従って、
（１）式に基づいて内挿補間を行う。

【００８６】また、上述した条件を満たすことができな
い画像端の画素については、図１４に示すように、最も
近隣の２点から（２）式を用いて内挿補間処理を行う。

【００８７】

【数２】・・・（２）式［第３の実施の形態］この実施の形態では、ステップＳ
３０８の補間処理の際に、被補間画素と補間の際に参照
する近隣画素との距離に応じて重み付けを行う。他の処
理は、第１又は第２の実施の形態と同様である。

【００８８】図１５は、この実施の形態における補間処
理の原理を説明するための図である。図１５において、
白丸は、ズーム倍率１倍（Ｚ１＝１）で撮影した画像の
画素、三角は、ズーム倍率２倍（Ｚ２＝２）で撮影した
画像の画素、星印は、ズーム倍率３倍（Ｚ３＝３）で撮
影した画像の画素、四角は、被補間画素（補間すべき画
素）を示している。なお、図１５は、第２の実施の形態
に従って、補間の際に参照する近隣画素を選択した例で
あり、実線で結ばれた画素が近接画素として選択され
る。

【００８９】被補間画素の画素値Ｐは、選択された４つ
の近隣画素の画素値Ｐnと、被補間画素からの距離Ｄnを
用いて、（３）式により算出する。

【００９０】

【数３】・・・（３）式なお、上式においてＷnは重み係数であり、

【００９１】

【数４】・・・（４）式を満たしている。

【００９２】［第４の実施の形態］上述の第１〜３の実
施の形態では、撮影に先立って撮像レンズ１０３のキャ
リブレーションを行うことによって撮像装置１０１のズ
ーム倍率特性を測定する。この方法によれば、高精細の
画像を得ることができる。

【００９３】しかし、第１〜第３の実施の形態で測定さ
れるズーム倍率特性は、キャリブレーションの実行時の
撮像装置１０１とテストチャートとの距離（被写体距
離）が等しい場合には正確であるが、そうでない場合
は、ズーム倍率特性が不正確になり、設定されるズーム
倍率に誤差が含まれる場合がある。この誤差が顕著にな
ると、複数の画像を統合する際にその誤差の影響が現れ
て高品位の画像を得ることができない。この現象は、合
焦させるためにフォーカスレンズが被写体距離に応じて
移動することにより撮像レンズ１０３のレンズ系全体の
焦点距離が変化することに起因する。

【００９４】よって、この実施の形態では、複数の被写
体距離におけるズーム倍率特性を取得することによって
上述の問題を解決する。

【００９５】図１６は、この実施の形態においてコンピ
ュータ１０２によって実行される高精細画像の生成処理
のアルゴリズムを示すフローチャートである。なお、図
３に示すステップと同様の処理を実行するステップには
同一の符号が付されている。

【００９６】この実施の形態では、ズームレンズ（撮像
レンズ）のキャリブレーション処理（ステップＳ３０
１；ステップＳ３１０〜Ｓ３１６）にステップＳ１８０
２を追加することにより、テストチャートと撮像装置１
０１との距離（テストチャート距離）をパラメータとし
て、ズーム倍率特性を複数個取得する。

【００９７】図１７は、この実施の形態のキャリブレー
ション処理（Ｓ３１０〜Ｓ３１６、Ｓ１８０２）により
得られる、テストチャート距離をパラメータとしたズー
ム倍率特性の一例である。なお、図１７は、テストチャ
ート距離が１ｍ、２ｍ、３ｍにおける３つのズーム倍率
特性である。ここで、コンピュータ１０２中の主記憶装
置２０３又は２次記憶装置２０４に保存するズーム倍率
特性を、例えば、図１７に示すような特性曲線上の代表
的な数点についてのみとし、他の倍率を実現するための
変倍レンズ１０４の位置は、それらの値から周知の補間
法によって求めることができる。

【００９８】図１８は、コンピュータ１０２の主記憶装
置２０３又は２次記憶装置２０４に保存されるズーム中
心（Ｘcenter，Ｙcenter）及びズーム倍率特性のデータ
フォーマットの一例を示す図である。

【００９９】この実施の形態では、撮影に先立って、ス
テップＳ１８０１において、被写体距離を測定する。被
写体距離は、図１に示す撮像装置１０１内の被写体距離
計測部１１２が、変倍レンズ１０４とフォーカスレンズ
１０５の駆動情報に基づいて算出した値を、コンピュー
タ１０２が読み出すことによって取得することもできる
し、コンピュータ１０２が撮像装置１０１から変倍レン
ズ１０４とフォーカスレンズ１０５の位置情報を読み出
して、これらの情報に基づいてコンピュータ１０２が算
出することにより取得することもできるし、変倍レンズ
１０４とフォーカスレンズ１０５の位置情報を用いない
距離計測方法（例えば、赤外線を用いた三角測量法等の
アクティブ方式）によって撮像装置１０１内で算出した
距離情報を読み出すことにより取得することもできる
し、他の方式で取得することもできる。

【０１００】ステップＳ３０４では、コンピュータ１０
２は、取得した被写体距離情報に基づいて、予めコンピ
ュータ１０２の主記憶装置２０３又は２次記憶装置２０
４に保存した複数のテストチャート距離についてのズー
ム倍率特性に基づいて、該被写体距離及び所望のズーム
倍率に対応する変倍レンズ１０４の位置を算出し、変倍
レンズ１０４を駆動する。ここで、被写体距離に対応す
る変倍レンズ１０４の位置を決定する際に、被写体距離
に最も近いテストチャート距離についてのズーム倍率特
性を参照してもよいし、複数のズーム倍率特性に基づい
て、被写体距離に適合したズーム倍率特性を近似して生
成してもよい。

【０１０１】［第５の実施の形態］第１〜３の実施の形
態では、ズーム倍率特性をデータとして保持する形式と
して、代表点のみを保持しておき、保持していないズー
ム倍率に対応する変倍レンズ１０４の位置は、周知の補
間法によって算出する形式を挙げた。

【０１０２】しかし、この方法では、補間処理によって
生じる誤差が顕著になると、複数の画像を統合する際に
その誤差の影響が現れて高品位の画像を得ることができ
ない可能性がある。

【０１０３】以上の問題を解決するために、この実施の
形態では、撮像装置１０１のズーム倍率特性曲線を
（５）式に示す多次元多項式によって近似する。

【０１０４】

【数５】・・・（５）式上式において、ｙはパルス値に代表されるような変倍レ
ンズ１０４の位置情報ｘに対するズーム倍率を表し、Ｎ
は多項式の次元数を表している。

【０１０５】また、この実施の形態では、ステップＳ３
０１において、（５）式中の係数ａｋを図１９に示すよ
うなフォーマットで、コンピュータ１０２中の主記憶装
置２０３又は２次記憶装置２０４に保存する。

【０１０６】この実施の形態では、任意のズーム倍率を
実現するために、変倍レンズ１０４を駆動するステッピ
ングモータのパルス値を、多次元多項式を使用して求め
るが、その他の処理は第１〜第３の実施の形態と同様で
ある。

【０１０７】［第６の実施の形態］この実施の形態は、
第５の実施の形態で説明した多次元多項式によるズーム
倍率特性の近似を第４の実施の形態に適用したものであ
る。

【０１０８】すなわち、この実施の形態では、複数の被
写体距離についてズーム倍率特性を夫々取得し、（６）
式に示す多項式によって近似する。

【０１０９】

【数６】・・・（６）式（６）式において、ｙはパルス値に代表されるような変
倍レンズ１０４の位置情報ｘに対するズーム倍率を表
し、Ｎは多項式の次元数を表し、添字Ｄは被写体距離を
表している。

【０１１０】また、この実施の形態では、ステップＳ３
０１において、（６）式中の次の係数

【０１１１】

【数７】を図２０に示すようなフォーマットで、コンピュータ１
０２中の主記憶装置２０３又は２次記憶装置２０４に保
存する。

【０１１２】［第７の実施の形態］この実施の形態は、
第１の実施の形態における画像の生成処理を変更したも
のである。なお、特に言及しない事項に関しては第１の
実施の形態に従う。

【０１１３】図２１は、この実施の形態においてコンピ
ュータ１０２によって実行される高精細画像の生成処理
のアルゴリズムを示すフローチャートである。図３に示
すステップと同様の処理を実行するステップには同一の
符号が付されている。

【０１１４】まず、ステップＳ３０１では、前処理とし
て、前処理として、撮像装置１０１の撮像レンズ（ズー
ムレンズ）１０２の特性を示す情報を取得するために、
キャリブレーションを実行する。

【０１１５】ステップＳ３１０〜Ｓ３１６は、ステップ
Ｓ３０１の処理の１つの具体例である。まず、ステップ
Ｓ３１０では、撮像装置１０１から所定距離の位置に、
図４に示すようなテストチャートを光軸と垂直になるよ
うに設置するようにユーザに促す。次いで、ステップＳ
３１１では、任意の位置に変倍レンズ１０４を移動させ
て、ステップＳ３１２で、フォーカスレンズ１０５を調
整してテストチャートの画像を撮像素子１０６の撮像面
上に合焦させ、その後、そのテストチャートを撮影す
る。ステップＳ３１３では、変倍レンズ１０４の位置を
変えて更にステップＳ３１１及びＳ３１２の処理を繰り
返して実行するか否かを判断し、該処理を繰り返す場合
にはステップＳ３１１に戻る。

【０１１６】ステップＳ３１４では、複数回の撮影（ス
テップＳ３１２）により得られるテストチャート画像を
処理して、テストチャート画像内の特定点（図４では、
４つの十字の各交点）の軌跡を求め、ステップＳ３１５
では、各軌跡を延長した線が交わる１点をズーム中心と
する。

【０１１７】ステップＳ３１６では、例えば、各テスト
チャート画像に順次注目しながら、注目テストチャート
画像中における各十字点の移動距離と基準距離（例え
ば、ワイド端時のテストチャート画像における十字点と
テレ端時のテストチャート画像における十字点との距
離）との比率を求めることにより、ズーム倍率特性を求
める。

【０１１８】以上のキャリブレーションにより、例え
ば、図５に示すようなズーム中心（Ｘcenter，Ｙcente
r）及び図６に示すようなズーム倍率特性が得られる。
これらのデータは、例えば、コンピュータ１０２中の主
記憶装置２０３又は２次記憶装置２０４に保存される。
この際、ズーム倍率特性に関しては、例えば、図６に示
すような特性曲線上の代表的な数点についてのみ保存
し、他の倍率を実現するための変倍レンズ１０４の位置
は、それらの値から周知の補間法によって求めることが
できる。

【０１１９】図７は、コンピュータ１０２の主記憶装置
２０３又は２次記憶装置２０４に保存されるズーム中心
（Ｘcenter，Ｙcenter）及びズーム倍率特性のデータフ
ォーマットの一例を示す図である。なお、これらのデー
タは、撮像装置毎に固有であるため、撮像装置を最初に
使用する際にキャリブレーションを実行して取得し、図
７に示すように、データの先頭に当該撮像装置の製品コ
ードを記録することにより管理してもよい。ここで、使
用する撮像装置１０２について、既にズーム中心（Ｘce
nter，Ｙcenter）及びズーム倍率特性がコンピュータ１
０２中に保存されている場合は、ステップＳ３０１をス
キップすればよい。

【０１２０】ステップＳ３０１に次いで、ステップＳ３
０３では、撮像すべき画像の枚数とズーム倍率（或い
は、ズーム倍率のみを複数個）を設定する。ただし、こ
こでは、説明の簡単化のため、１倍、ａ倍、ｂ倍、ｃ倍
（１＜ａ＜ｂ＜ｃとする）のズーム倍率で４枚の画像を
撮影することとする。

【０１２１】この実施の形態では、ステップＳ３０３で
設定したズーム倍率のうち最もテレ側のズーム倍率で撮
影した画像を基準とし、該基準画像中の被写体像に他の
ズーム倍率で撮影した画像の被写体像が重なるように該
他のズーム倍率で撮影した画像を変倍し、その後、各画
像のズーム中心を一致させて重ね合わせることにより統
合する。即ち、第１の実施の形態では、最終的な画像サ
イズ（縦横の画素数）をステップＳ３０２で拡大率を設
定することにより指定するが（最もワイド側で撮影した
画像が設定された拡大率で拡大される）、この実施の形
態では、ステップＳ３０３で指定したズーム倍率のうち
最もテレ側のズーム倍率を基準として、最終的な画像サ
イズ（縦横の画素数）が決定される。ただし、いずれの
実施の形態においても、最終的な画像に反映される画角
は、最もワイド側で撮影した画像によって決定される。

【０１２２】ステップＳ３０４〜Ｓ３０６では、撮像装
置が三脚等の固定具で固定された状態で、設定された複
数のズーム倍率で被写体を撮影する。即ち、ステップＳ
３０４では、コンピュータ１０２（ＣＰＵ２０１）は、
前処理で得た図７に示すデータを参照しながら、ユーザ
が設定した倍率（ここでは、１倍、ａ倍、ｂ倍、ｃ倍）
のズーム倍率に対応する変倍レンズ１０４の位置を補間
・内挿法によって算出し（図７に示すデータ中に当該倍
率に対応するデータが存在する場合には該データをその
まま使用する）、算出値をバスインターフェース２０７
及び１１４を介して撮像装置１０１に転送する。

【０１２３】撮像装置１０１内の全体制御部１１３は、
コンピュータ１０２から受信した算出値（変倍ズームの
位置）をズームレンズ位置設定・読出部１１１に転送
し、ズーム制御部１０９は、その値に応じて不図示のモ
ータを駆動し、変倍レンズ１０４の位置を制御する。

【０１２４】ステップＳ３０５では、撮像装置１０１の
全体制御部１１３は、コンピュータ１０２からの制御の
下で、フォーカスレンズ１０５を調整して焦点を合わ
せ、テストチャートを撮影し、その映像信号（ＮＴＳＣ
等）をコンピュータ１０２に転送する。コンピュータ１
０２は、撮像装置１０１から出力された映像信号を映像
キャプチャボード２０５を用いて取り込み、主記憶装置
２０３上に確保したメモリ領域（フレームメモリ）に一
時的に保存する。

【０１２５】また、これと同時に、コンピュータ１０２
は、撮像装置１０１から変倍レンズ１０４フォーカスレ
ンズ１０５の位置、露出情報並びに被写体距離等のカメ
ラパラメータをバスインタフェース１１４及び２０７を
介して撮像装置１０１から読み出す。主記憶装置２０３
に一時的に保存された画像は、カメラパラメータ（付加
情報）と共に２次記憶装置（ハードディスク等）２０４
に保存される。図８は、２次記憶装置２０４に保存され
る付加情報付き撮像画像のフォーマットの一例を示す図
である。

【０１２６】ステップＳ３０６では、設定された倍率で
の被写体の撮影が全て終了したか否かを判断し、未だ終
了していなければステップＳ３０４に戻り、撮影が完了
していればステップＳ３０７ａに進む。この例では、
１、ａ、ｂ、ｃ倍のズーム倍率で被写体を４回撮影した
後に、ステップＳ３０７ａに進む。

【０１２７】図２２は、ステップＳ３０４〜Ｓ３０６
で、ズーム倍率を変更しながら撮影した画像を模式的に
示す図である。具体的には、図２２（ａ）は、１倍のズ
ーム倍率で撮影した画像、図２２（ｂ）は、ａ倍のズー
ム倍率で撮影した画像、図２２（ｃ）は、ｂ倍のズーム
倍率で撮影した画像、図２２（ｄ）は、ｃ倍のズーム倍
率で撮影した画像である。

【０１２８】ステップＳ３０７ａでは、コンピュータ１
０２は、最も高いズーム倍率、即ち、最もテレ側で撮影
した画像を基準として、この基準画像中の被写体の大き
さが他のズーム倍率で撮影した画像中の被写体の大きさ
と同一になるように、該他のズーム倍率で撮影した画像
を変倍する。即ち、図２２（ａ）〜（ｄ）に示す例で
は、図２２（ｄ）に示す画像を基準画像とし、基準画像
中の被写体（文字「Ａ」の一部）の大きさに、図２２
（ａ）〜（ｃ）に示す画像中の被写体（文字「Ａ」の全
部又は一部）の大きさが一致するように、図２２（ａ）
〜（ｃ）に示す画像を変倍する。より具体的には、図２
２（ａ）に示す画像をｃ倍、図２２（ｂ）に示す画像を
ｃ／ａ倍、図２２（ｃ）に示す画像ｃ／ｂ倍する。ここ
で、変倍の際に要する補間処理には、例えば、最近接補
間法、双線形内挿補間法、３次畳み込み補間法等を適用
することができる。

【０１２９】ステップＳ３０７ｂでは、図７に示すデー
タのズーム中心（Xcenter,Ycenter）を参照して、各画
像（例えば、図２２（ａ）〜（ｄ））のズーム中心を一
致させて、それらの画像を統合する。図２３は、図２２
（ａ）〜（ｄ）に示す画像群を統合した例を示す図であ
る。以上の処理により、画像の中央領域を重点的に高精
細化した画像を得ることができる。

【０１３０】ステップＳ３０９では、ステップＳ３０７
ｂで得られた画像を出力装置（例えば、ディスプレイ２
０８、記憶装置２０３又は２０４、プリンタ２１１）に
出力し、又は、ネットワークインターフェース２０６を
介して他の装置に出力する。

【０１３１】［第８の実施の形態］上述の第７の実施の
形態では、撮影に先立って撮像レンズ１０３のキャリブ
レーションを行うことによって撮像装置１０１のズーム
倍率特性を測定する。この方法によれば、高精細の画像
を得ることができる。

【０１３２】しかし、測定したズーム倍率特性は、キャ
リブレーションの実行時の撮像装置１０１とテストチャ
ートとの距離（被写体距離）とが等しい場合には正確で
あるが、そうでない場合は、ズーム倍率特性が不正確に
なり、設定されるズーム倍率に誤差が含まれる場合があ
る。この誤差が顕著になると、複数の画像を統合させる
際にその誤差の影響が現れて高品位の画像を得ることが
できない。この現象は、合焦させるためにフォーカスレ
ンズが被写体距離に応じて移動することにより撮像レン
ズ１０３のレンズ系全体の焦点距離が変化することに起
因する。

【０１３３】よって、この実施の形態では、複数の被写
体距離におけるズーム倍率特性を取得することによって
上述の問題を解決する。

【０１３４】図２４は、この実施の形態においてコンピ
ュータ１０２によって実行される高精細画像の生成処理
のアルゴリズムを示すフローチャートである。なお、図
２１に示すステップと同様の処理を実行するステップに
は同一の符号が付されている。

【０１３５】この実施の形態では、ズームレンズ（撮像
レンズ）のキャリブレーション処理（ステップＳ３０
１；ステップＳ３１０〜Ｓ３１６）にステップＳ２００
２を追加することにより、テストチャートと撮像装置１
０１との距離（テストチャート距離）をパラメータとし
て、ズーム倍率特性を複数個取得する。

【０１３６】図１７は、この実施の形態のキャリブレー
ション処理（Ｓ３１０〜Ｓ３１６、Ｓ１８０２）により
得られる、テストチャート距離をパラメータとしたズー
ム倍率特性の一例である。なお、図１７は、テストチャ
ート距離が１ｍ、２ｍ、３ｍにおける３つのズーム倍率
特性である。ここで、コンピュータ１０２中の主記憶装
置２０３又は２次記憶装置２０４に保存するズーム倍率
特性を、例えば、図１７に示すような特性曲線上の代表
的な数点についてのみとし、他の倍率を実現するための
変倍レンズ１０４の位置は、それらの値から周知の補間
法によって求めることができる。

【０１３７】図１８は、コンピュータ１０２の主記憶装
置２０３又は２次記憶装置２０４に保存されるズーム中
心（Ｘcenter，Ｙcenter）及びズーム倍率特性のデータ
フォーマットの一例を示す図である。

【０１３８】この実施の形態では、撮影に先立って、ス
テップＳ２００１において、被写体距離を測定する。被
写体距離は、図１に示す撮像装置１０１内の被写体距離
計測部１１２が、変倍レンズ１０４とフォーカスレンズ
１０５の駆動情報に基づいて算出した値を、コンピュー
タ１０２が読み出すことによって取得することもできる
し、コンピュータ１０２が撮像装置１０１から変倍レン
ズ１０４とフォーカスレンズ１０５の位置情報を読み出
して、これらの情報に基づいてコンピュータ１０２が算
出することにより取得することもできるし、変倍レンズ
１０４とフォーカスレンズ１０５の位置情報を用いない
距離計測方法（例えば、赤外線を用いた三角測量法等の
アクティブ方式）によって撮像装置１０１内で算出した
距離情報を読み出すことにより取得することもできる
し、他の方式で取得することもできる。

【０１３９】ステップＳ３０４では、コンピュータ１０
２は、取得した被写体距離情報に基づいて、予めコンピ
ュータ１０２の主記憶装置２０３又は２次記憶装置２０
４に保存した複数のテストチャート距離についてのズー
ム倍率特性に基づいて、該被写体距離及び所望のズーム
倍率に対応する変倍レンズ１０４の位置を算出し、変倍
レンズ１０４を駆動する。ここで、被写体距離に対応す
る変倍レンズ１０４の位置を決定する際に、被写体距離
に最も近いテストチャート距離についてのズーム倍率特
性を参照してもよいし、複数のズーム倍率特性に基づい
て、被写体距離に適合したズーム倍率特性を近似して生
成してもよい。

【０１４０】［第９の実施の形態］第７の実施の形態で
は、ズーム倍率特性をデータとして保持する形式とし
て、代表点のみを保持しておき、保持していないズーム
倍率に対応する変倍レンズ１０４の位置は、周知の補間
法によって算出する形式を挙げた。

【０１４１】しかし、この方法では、補間処理によって
生じる誤差が顕著になると、複数の画像を統合する際に
その誤差の影響が現れて高品位の画像を得ることができ
ない可能性がある。

【０１４２】以上の問題を解決するために、この実施の
形態では、撮像装置１０１のズーム倍率特性曲線を前述
の（５）式に示す多次元多項式によって近似する。

【０１４３】また、この実施の形態では、ステップＳ３
０１において、（５）式中の係数ａｋを図１９に示すよ
うなフォーマットで、コンピュータ１０２中の主記憶装
置２０３又は２次記憶装置２０４に保存する。

【０１４４】この実施の形態では、任意のズーム倍率を
実現するために、変倍レンズ１０４を駆動するステッピ
ングモータのパルス値を、多次元多項式を使用して求め
るが、その他の処理は第１〜第３の実施の形態と同様で
ある。。

【０１４５】［第１０の実施の形態］この実施の形態
は、第９の実施の形態で説明した多次元多項式によるズ
ーム倍率特性の近似を第８の実施の形態に適用したもの
である。

【０１４６】すなわち、この実施の形態では、複数の被
写体距離についてズーム倍率特性を夫々取得し、前述の
（６）式に示す多項式によって近似する。

【０１４７】（６）式において、ｙはパルス値に代表さ
れるような変倍レンズ１０４の位置情報ｘに対するズー
ム倍率を表し、Ｎは多項式の次元数を表し、添字Ｄは被
写体距離を表している。

【０１４８】また、この実施の形態では、ステップＳ３
０１において、（５）式中の次の係数

【０１４９】

【数８】を図２０に示すようなフォーマットで、コンピュータ１
０２中の主記憶装置２０３又は２次記憶装置２０４に保
存する。

【０１５０】［その他の実施の形態］上記の各実施の形
態では、撮像装置１０１とコンピュータ１０２とは別体
をなすが、コンピュータ１０２の機能を撮像装置１０１
に組み込んでもよい。この場合、撮像装置単体で上記の
実施の形態のような高精細な画像を簡単な方法で生成す
ることができる。また、この場合、生成した画像は、撮
像装置に接続されたメモリ媒体に格納することもできる
し、外部装置に転送することもできる。

【０１５１】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはCPUやMPU）が記憶媒体に格納されたプログ
ラムコードを読み出し実行することによっても、達成さ
れることは言うまでもない。この場合、記憶媒体から読
み出されたプログラムコード自体が前述した実施形態の
機能を実現することになり、そのプログラムコードを記
憶した記憶媒体は本発明を構成することになる。また、
コンピュータが読み出したプログラムコードを実行する
ことにより、前述した実施形態の機能が実現されるだけ
でなく、そのプログラムコードの指示に基づき、コンピ
ュータ上で稼働しているオペレーティングシステム(OS)
などが実際の処理の一部または全部を行い、その処理に
よって前述した実施形態の機能が実現される場合も含ま
れることは言うまでもない。

【０１５２】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【０１５３】［実施の形態の効果］上記の実施の形態に
よれば、撮影に先立って撮像装置の特性、特に撮像レン
ズの特性を調査することにより、その調査結果に基づい
て撮像レンズの倍率を正確に調整することができる。

【０１５４】また、上記の実施の形態によれば、撮影レ
ンズの倍率を正確に調整しながら、複数の倍率で被写体
を撮影し、撮影画像を統合することができるため、簡単
に高精細な画像を得ることができる。

【０１５５】

【発明の効果】本発明によれば、簡単な方法で、複数の
画像を統合して１つの高品質の画像を得ることができ
る、

【図面の簡単な説明】

【図１】本発明に好適な実施の形態に係る画像処理シス
テムの概略構成を示す図である。

【図２】高精細画像を生成する処理を実行するコンピュ
ータの概略構成図である。

【図３】コンピュータによって実行される高精細画像の
生成処理のアルゴリズムを示すフローチャートである。

【図４】テストチャートを示す図である。

【図５】画像中心とズーム中心との関係を示す図であ
る。

【図６】ズーム倍率特性を示す図である。

【図７】コンピュータのメモリ（例えば、ＤＲＡＭ、ハ
ードディスク等）に保存されるズーム中心（Ｘcenter，
Ｙcenter）及びズーム倍率特性のデータフォーマットの
一例を示す図である。

【図８】２次記憶装置に保存される付加情報付き撮像画
像のフォーマットの一例を示す図である。

【図９】ズーム中心を原点とした座標系を示す図であ
る。

【図１０】ズーム倍率１倍で撮影した画像を縦横に夫々
８倍に拡大するために、ズーム倍率１倍、２倍、３倍で
撮影した画像を統合する処理の一例を示す図である。

【図１１】最近隣内挿補間処理を行った結果の一例を示
す図である。

【図１２】双線形内挿法の原理を説明するための図であ
る。

【図１３】近隣画素値の選択に関する他の例を説明する
ための図である。

【図１４】近隣画素値の選択に関する更に他の例を説明
するための図である。

【図１５】他の補間処理の原理を説明するための図であ
る。

【図１６】コンピュータによって実行される高精細画像
の生成処理のアルゴリズムを示すフローチャートであ
る。

【図１７】テストチャート距離をパラメータとしたズー
ム倍率特性の一例である。

【図１８】コンピュータのメモリ（例えば、ＤＲＡＭ、
ハードディスク等）に保存されるズーム中心（Ｘcente
r，Ｙcenter）及びズーム倍率特性のデータフォーマッ
トの一例を示す図である。

【図１９】コンピュータのメモリ（例えば、ＤＲＡＭ、
ハードディスク等）に保存されるズーム中心（Ｘcente
r，Ｙcenter）及びズーム倍率特性のデータフォーマッ
トの一例を示す図である。

【図２０】コンピュータのメモリ（例えば、ＤＲＡＭ、
ハードディスク等）に保存されるズーム中心（Ｘcente
r，Ｙcenter）及びズーム倍率特性のデータフォーマッ
トの一例を示す図である。

【図２１】コンピュータによって実行される高精細画像
の生成処理のアルゴリズムを示すフローチャートであ
る。

【図２２】ズーム倍率を変更しながら撮影した画像を模
式的に示す図である。

【図２３】図２２（ａ）〜（ｄ）に示す画像群を統合し
た例を示す図である。

【図２４】コンピュータによって実行される高精細画像
の生成処理のアルゴリズムを示すフローチャートであ
る。

【符号の説明】

１０１撮像装置１０２外部コンピュータ１０３撮像レンズ（ズームレンズ）１０４変倍レンズレンズ１０５フォーカスレンズ１０６撮像素子１０７カメラプロセス部１０８合焦制御部１０９ズーム制御部１１０フォーカスレンズ位置設定読出部１１１変倍レンズ位置設定読出部１１２被写体距離計測部１１３全体制御部１１４バスインターフェース２０１ＣＰＵ２０２ＲＯＭ２０３主記憶装置（ＤＲＡＭ）２０４２次記憶装置（ハードディスク）２０５映像キャプチャボード２０６ネットワークインターフェース２０７バスインターフェース２０８ディスプレイ２０９マウス２１０キーボード２１１プリンタ

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B057 CD06 CE10 5C022 AB31 AB66 AB68 AC54 AC69 5C023 AA11 AA37 BA12 CA01 DA04 DA08

Claims

【特許請求の範囲】

【請求項１】撮像レンズを制御する機能を有する画像
処理装置であって、前記撮像レンズに関連する情報を取得する取得手段と、前記取得手段が取得した情報に基づいて前記撮像レンズ
を制御しながら撮像手段に複数枚の画像を撮像させる制
御手段と、前記撮像手段によって撮像された複数枚の画像を処理し
て１枚の画像を生成する画像処理手段と、を備えることを特徴とする画像処理装置。
【請求項２】前記制御手段は、前記撮像レンズに関連
する情報に基づいて前記撮像レンズの状態を変更しなが
ら、変更の都度、前記撮像手段に画像を撮像させること
を特徴とする請求項１に記載の画像処理装置。
【請求項３】前記撮像レンズは、焦点距離を変更する
ための変倍レンズを含み、前記制御手段は、前記撮像レ
ンズに関連する情報に基づいて前記変倍レンズの位置を
変更しながら、変更の都度、前記撮像手段に画像を撮像
させることを特徴とする請求項２に記載の画像処理装
置。
【請求項４】前記取得手段は、前記撮像レンズに関連
する情報として、前記変倍レンズの位置とズーム倍率と
の関係を示すズーム倍率特性情報を取得することを特徴
とする請求項３に記載の画像処理装置。
【請求項５】前記制御手段は、撮像の際の前記撮像レ
ンズのズーム倍率を決定し、該ズーム倍率が得られるよ
うに前記ズーム倍率特性情報に基づいて前記変倍レンズ
の位置を調整することを特徴とする請求項４に記載の画
像処理装置。
【請求項６】前記取得手段は、前記撮像レンズに関連
する情報として、被写体距離をパラメータとした、前記
変倍レンズの位置とズーム倍率との関係を示すズーム倍
率特性情報を取得することを特徴とする請求項３に記載
の画像処理装置。
【請求項７】前記制御手段は、撮像の際の前記撮像レ
ンズのズーム倍率を決定し、前記ズーム倍率特性情報を
参照することにより、該ズーム倍率と被写体距離に対応
する前記変倍レンズの位置を決定し、その決定結果に従
って前記変倍レンズの位置を調整することを特徴とする
請求項６に記載の画像処理装置。
【請求項８】前記画像処理手段は、前記撮像手段によ
って撮像された複数枚の画像を各画像に対応する撮像情
報に基づいて処理して１枚の画像を生成することを特徴
とする請求項１又は請求項２に記載の画像処理装置。
【請求項９】前記画像処理手段は、前記撮像手段によ
って撮像された複数枚の画像を各画像に対応する撮像情
報に基づいて処理して１枚の画像を生成することを特徴
とする請求項３乃至請求項７のいずれか１項に記載の画
像処理装置。
【請求項１０】前記撮像情報は、撮像時の前記撮像レ
ンズの状態を示す情報を含むことを特徴とする請求項９
に記載の画像処理装置。
【請求項１１】前記撮像情報は、撮像時の前記撮像レ
ンズのズーム倍率に関連する情報を含むことを特徴とす
る請求項９に記載の画像処理装置。
【請求項１２】前記制御手段は、前記撮像レンズのズ
ーム倍率を変更しながら、各ズーム倍率で前記撮像手段
に被写体を撮像させ、前記画像処理手段は、前記撮像手段によって撮像された
複数枚の画像を、各画像中の被写体の大きさが同一にな
るように、夫々撮像時のズーム倍率に対応する変倍率で
変倍し、変倍後の複数の画像を統合して１枚の画像を生
成することを特徴とする請求項１１に記載の画像処理装
置。
【請求項１３】前記取得手段は、前記撮像レンズに関
連する情報としてズーム中心を示すズーム中心情報を取
得し、前記画像処理手段は、前記変倍後の複数の画像を統合す
る際に該複数の画像のズーム中心を一致させることを特
徴とする請求項１２に記載の画像処理装置。
【請求項１４】前記ズーム倍率に関連する情報は、前
記変倍レンズの位置に関する情報であり、前記画像処理
手段は、前記取得手段が取得した前記撮像レンズに関す
る情報に基づいて、前記変倍レンズに位置に関する情報
から前記撮像レンズのズーム倍率を得ることを特徴とす
る請求項１１乃至請求項１３のいずれか１項に記載の画
像処理装置。
【請求項１５】前記撮像手段による撮像に係る画像を
保存する画像保存手段を更に備え、前記撮像情報は、該
画像と関連付けて前記画像保存手段に保存されることを
特徴とする請求項８乃至請求項１４のいずれか１項に記
載の画像処理装置。
【請求項１６】前記取得手段が取得した前記撮像レン
ズに関する情報を保存するレンズ情報保存手段を更に備
えることを特徴とする請求項１乃至請求項１５のいずれ
か１項に記載の画像処理装置。
【請求項１７】前記取得手段は、被写体の撮像に先立
って、前記撮像レンズに関する情報を取得し、前記レン
ズ情報保存手段に保存させることを特徴とする請求項１
６に記載の画像処理装置。
【請求項１８】前記取得手段は、前記撮像手段により
テストチャートを撮像した画像に基づいて前記撮像レン
ズに関する情報を取得することを特徴とする請求項１６
又は請求項１７に記載の画像処理装置。
【請求項１９】前記取得手段は、前記撮像レンズに関
する情報として、前記撮像レンズの特性を示す特性曲線
を取得し、該特性曲線上の代表点を示す情報を前記レン
ズ情報保存手段に保存させることを特徴とする請求項１
６乃至請求項１８のいずれか１項に記載の画像処理装
置。
【請求項２０】前記取得手段は、前記撮像レンズに関
する情報として、前記撮像レンズの特性を示す特性曲線
を取得し、該特性曲線上を多項式で近似するための係数
を前記レンズ情報保存手段に保存させることを特徴とす
る請求項１６乃至請求項１８のいずれか１項に記載の画
像処理装置。
【請求項２１】前記画像処理手段は、前記変倍後の複
数の画像を統合した後に画素と画素との間の画素を補間
し、その際に被補間画素の画素値を該被補間画素に最も
近い画素の画素値とすることを特徴とする請求項１２に
記載の画像処理装置。
【請求項２２】前記画像処理手段は、前記変倍後の複
数の画像を統合した後に画素と画素との間の画素を補間
し、その際に被補間画素の画素値を周辺の画素の画素値
に基づいて決定することを特徴とする請求項１２に記載
の画像処理装置。
【請求項２３】前記画像処理手段は、前記変倍後の複
数の画像を統合した後に画素と画素との間に画素を補間
し、その際に、被補間画素の画素値を、複数の近隣画素
と前記被補間画素との位置関係に基づいて決定すること
を特徴とする請求項１２に記載の画像処理装置。
【請求項２４】前記画像処理手段は、前記変倍後の複
数の画像を統合した後に画素と画素との間に画素を補間
し、その際に、被補間画素の画素値を、複数の近隣画素
と前記被補間画素との位置関係に応じて該複数の近隣画
素の各々に重み付けを行い、重み付けを行った複数の近
隣画素に基づいて決定することを特徴とする請求項１２
に記載の画像処理装置。
【請求項２５】前記撮像レンズ及び前記撮像手段を含
む撮像装置と通信する通信手段を更に備え、前記取得手
段は、前記通信手段を介して前記撮像装置から前記撮像
レンズに関する情報を取得し、前記制御手段は、前記通
信手段を介して前記撮像装置を制御し、前記画像処理手
段は、前記通信手段を介して前記撮像装置から送られて
くる画像を処理することを特徴とする請求項１乃至請求
項２４のいずれか１項に記載の画像処理装置。
【請求項２６】撮像レンズを制御する機能を有する画
像処理装置の制御方法であって、前記撮像レンズに関連する情報を取得する取得工程と、前記取得工程で取得した情報に基づいて前記撮像レンズ
を制御しながら撮像手段に複数枚の画像を撮像させる制
御工程と、前記撮像工程で撮像された複数枚の画像を処理して１枚
の画像を生成する画像処理工程と、を含むことを特徴とする画像処理装置の制御方法。
【請求項２７】撮像レンズを制御する機能を有する画
像処理装置の制御プログラムを格納したメモリ媒体であ
って、該制御プログラムは、前記撮像レンズに関連する情報を取得する取得工程と、前記取得工程で取得した情報に基づいて前記撮像レンズ
を制御しながら撮像手段に複数枚の画像を撮像させる制
御工程と、前記撮像工程で撮像された複数枚の画像を処理して１枚
の画像を生成する画像処理工程と、を含むことを特徴とするメモリ媒体。