JP2002094860A - 画像処理装置及び画像処理方法並びにメモリ媒体 - Google Patents

画像処理装置及び画像処理方法並びにメモリ媒体

Info

Publication number
JP2002094860A
JP2002094860A JP2000275482A JP2000275482A JP2002094860A JP 2002094860 A JP2002094860 A JP 2002094860A JP 2000275482 A JP2000275482 A JP 2000275482A JP 2000275482 A JP2000275482 A JP 2000275482A JP 2002094860 A JP2002094860 A JP 2002094860A
Authority
JP
Japan
Prior art keywords
image
aberration
images
image processing
imaging lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000275482A
Other languages
English (en)
Inventor
Teruhiko Ueyama
輝彦 植山
Yoshihiro Ishida
良弘 石田
Kiyoshi Umeda
清 梅田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000275482A priority Critical patent/JP2002094860A/ja
Publication of JP2002094860A publication Critical patent/JP2002094860A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Circuits (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)

Abstract

(57)【要約】 【課題】複数の画像を合成して1つの高品位の画像を得
る。 【解決手段】ズームレンズを使って互いに異なる倍率で
撮像された複数の画像に含まれる該ズームレンズの歪曲
収差の影響を補正し(S305)、それらの画像の位置
合わせ及びズーム倍率補正をし(S307、S30
8)、それらを合成して1枚の画像を生成する(S30
9)。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理装置及び
画像処理方法並びにメモリ媒体に係り、特に、複数の画
像を合成する画像処理装置及び画像処理方法並びに該画
像処理を実行するプログラムを格納したメモリ媒体に関
する。
【0002】
【従来の技術】現在、デジタルカメラやデジタルビデオ
カメラ等の撮像装置においては、撮像素子の高画素化が
進み、高解像度画像の需要が高まっている。撮像素子が
持つ画素数以上の高解像度画像を得る手法として、従来
から画素ずらし法が検討されてきた。これは撮像素子の
画素格子を半画素又は1画素未満の幅でずらして複数回
の撮影を行い、これによって得られる複数の画像を合成
して高解像度化を行う手法である。しかし、画素をずら
して撮影するためには、光学系又は撮像素子、カメラ本
体等を高精度かつ微量に移動させる装置が必要となり、
有効な手法とはいえ、コスト面などの点において問題が
あった。
【0003】高解像度画像を得る方法として、上記の
他、互いに異なるズーム倍率で撮影された複数の画像を
合成する手法がある。この方法では、カメラを固定した
状態で互いに異なるズーム倍率で複数回の撮影を行い、
なんらかの方法で各フレーム間の相対倍率値を検出す
る。そして、最も撮影倍率が大きいフレームを基軸にし
て共通画像領域が重なるように、各画像を適切なサイズ
に拡大縮小して合成することで、高精細画像を生成す
る。以下、この方法の概念を図3(a)、図3(b)、
図4(a)を参照して説明する。
【0004】図3(a)、図3(b)には、あるズーム
倍率Z1およびZ2で撮像された2枚の画像Iz1(x,y)、I
Z2(x,y)が示されており、Z1<Z2という関係が成り立っ
ているものとする。
【0005】図4(a)には、このような互いに異なる
ズーム倍率で撮像された2枚の画像を合成する手法が示
されている。図4(a)に示すように、この方法では、
ズーム倍率の高い画像IZ2(x,y)を基軸としてズーム倍率
の低い画像IZ1(x,y)を既存の画素補間法(最近隣画素
補間法、双線形内挿補間法等)を用いてZ2/Z1倍し、こ
れを画像IZ2(x,y)と合成する。
【0006】この方法によって生成される画像は、画面
の中心に焦点が合った高精細な画像の特性に近く、ま
た、低解像度撮像素子を用いながら高解像度撮像素子を
用いて撮像した高精細な画像に近い。
【0007】
【発明が解決しようとする課題】しかし、撮像レンズ等
の光学系では、一般にズームレンズのワイド端やテレ端
付近ほど、撮像された画像に歪みが生じる傾向がある。
この現象を撮像レンズの歪曲収差による。また、レンズ
の中心軸を通過する光量に比べて、周辺部を通過する光
量の減衰が大きいため、一様な明るさの情景を撮像して
も周辺部が暗い画像が得られる。この現象はシェーディ
ング(Shading)と呼ばれ、撮像する際のズーム倍率値
によって定まる変倍レンズの位置と、被写体までの距離
によって定まるフォーカスレンズの位置と、撮像環境下
での光量に応じて変動する絞り(Iris)などの露出状態
とに強く依存する。図12には、代表的な歪曲収差が示
されており、図4(b)には、代表的なシェーディング
状態が示されている。
【0008】このように一般的な撮像レンズでは、ズー
ム端に近づくほど像の歪みが大きくなる傾向があり、ま
た、画角の中心付近から周辺に離れるにつれて画素値が
減少する。その割合は、絞りが開放に近いほど大きくな
ることが知られている。
【0009】そこで、ズーム倍率を変化させて撮像した
複数の画像を合成して高精細画像を生成する方法では、
合成すべき各画像について歪曲収差の影響やシェーディ
ングを補正すべきである。
【0010】本発明は、上記の背景に鑑みてなされたも
のであり、複数の画像を合成して1つの高品位の画像を
得ることを目的とする。
【0011】
【課題を解決するための手段】本発明の第1の側面に係
る画像処理装置は、複数の画像を合成する画像処理装置
であって、焦点距離を変更可能な撮像レンズを使って互
いに異なる倍率で撮像された複数の画像に含まれる該撮
像レンズの収差の影響を補正する収差補正手段と、収差
の影響が補正された複数の画像を合成して1つの画像を
生成する画像合成手段とを備えることを特徴とする。
【0012】ここで、前記収差補正手段は、撮像時の前
記撮像レンズの状態、例えば、該撮像レンズの倍率に応
じて、画像に含まれる収差の影響を補正することが好ま
しい。
【0013】前記収差補正手段は、収差補正情報を記憶
する記憶手段を有し、該収差補正情報に基づいて、画像
に含まれる収差の影響を補正することが好ましい。前記
収差補正情報は、前記撮像レンズの代表的な状態、例え
ば、代表的な倍率における収差を補正するための情報で
あることが好ましい。
【0014】前記収差は、例えば歪曲収差を含む。
【0015】前記画像合成手段は、収差の影響が補正さ
れた複数の画像中の被写体の大きさが同一になるように
該複数の画像を変倍し、変倍後の複数の画像を合成して
1つの画像を生成することが好ましい。
【0016】前記画像処理装置は、前記撮像レンズを使
って互いに異なる倍率で撮像された複数の画像のシェー
ディングを補正するシェーディング補正手段を更に備
え、前記画像合成手段は、収差の影響及びシェーディン
グが補正された複数の画像を合成して1つの画像を生成
することが好ましい。
【0017】前記シェーディング補正手段は、撮像時の
前記撮像レンズの状態に応じて、例えば、撮像時の前記
撮像レンズの倍率及び絞り、並びに被写体距離の少なく
とも1つに応じて、画像のシェーディングを補正するこ
とが好ましい。
【0018】前記画像処理装置は、前記撮像レンズを有
する撮像装置を制御して、互いに異なる倍率で複数回の
撮像を実行させ、撮像された複数の画像を該撮像装置か
ら受け取る制御手段を更に備えることが好ましい。
【0019】前記制御手段は、前記撮像レンズの特性を
取得する取得手段を有し、該撮像レンズの特性に基づい
て該撮像レンズを制御することが好ましい。
【0020】本発明の第2の側面に係る画像処理方法
は、複数の画像を合成する画像処理方法であって、焦点
距離を変更可能な撮像レンズを使って互いに異なる倍率
で撮像された複数の画像に含まれる該撮像レンズの収差
の影響を補正する収差補正工程と、収差の影響が補正さ
れた複数の画像を合成して1つの画像を生成する画像合
成工程とを含むことを特徴とする。
【0021】本発明の第3の側面に係るメモリ媒体は、
複数の画像を合成する画像処理を実行するプログラムを
格納したメモリ媒体であって、該プログラムは、焦点距
離を変更可能な撮像レンズを使って互いに異なる倍率で
撮像された複数の画像に含まれる該撮像レンズの収差の
影響を補正する収差補正工程と、収差の影響が補正され
た複数の画像を合成して1つの画像を生成する画像合成
工程とを含むことを特徴とする。
【0022】
【発明の実施の形態】以下、本発明の好適な実施の形態
を説明する。
【0023】本発明の好適な実施の形態として、コンピ
ュータと該コンピュータによって制御可能な撮像装置
(例えば、インタラクティブカメラ)を有するシステム
について説明する。ここで、インタラクティブカメラと
は、コンピュータとの親和性の強い撮像装置のことであ
り、コンピュータと接続することにより、撮像装置内の
様々なパラメータ(例えば、変倍レンズの位置、フォー
カスレンズの位置、被写体距離、露出情報等)を読み出
したり、撮像装置を制御したりする事が可能である。
【0024】このシステムでは、撮像装置のレンズ特性
を電子的に補正するために必要な情報を、例えば次のよ
うな方法によって予め取得して、メモリに保持してお
く。
【0025】(1)使用する撮像レンズのズーム中心位
置を撮影実験などにより取得する。
【0026】(2)使用する撮像レンズの歪曲収差を代
表的ないくつかのズーム倍率について把握し、これに基
づいて歪曲収差補正情報を得る。
【0027】(3)使用するカメラレンズの変倍レンズ
の位置、フォーカスレンズの位置及び露出制御によって
変化するシェーディング特性を予め把握して、これに基
づいてシェーディング補正情報を得る。
【0028】そして、まず、上記(2)及び(3)の情
報に基づいて、異なるズーム倍率で撮像された複数の画
像を補正し、更に、各画像におけるズーム倍率と上記
(1)の情報を初期値として、複数の画像中の被写体の
大きさが同一になるように各画像を変倍して合成する。
このとき、それぞれのパラメータ値を微小変化させなが
ら、相関値に代表される類似度を示す値を計算し、この
値が最大となるズーム中心位置及びズーム倍率値を求め
ることで、複数の画像を正確に位置合わせしながら合成
することができる。
【0029】[第1の実施の形態]図1は、本発明の好
適な実施の形態に係る画像処理システムの概略構成を示
す図である。このシステムは、撮像装置101と、該撮
像装置101を制御するコンピュータ102とを備え、
コンピュータ102は、撮像装置101の様々なパラメ
ータを制御する機能を有する。
【0030】撮像装置101は、ズーム機能(変倍機
能)を有する撮像レンズ103を備えている。撮像レン
ズ103は、交換可能なタイプであってもよいし、撮像
装置101に固定されたタイプであってもよい。撮像レ
ンズ103は、大雑把には、変倍のための変倍レンズ1
04と、焦点を調整するためのフォーカスレンズ105
とを具備する。撮像レンズ103は、被写体の光学像を
CCD等の撮像素子106の撮像面上に形成し、撮像素
子106は、その光学像を電気信号に変換してカメラプ
ロセス部107に出力する。
【0031】カメラプロセス部107は、撮像素子10
6の出力に周知の処理(例えば、ゲイン補正、γ補正、
色バランス調整等)を施して、所定形式の映像信号を出
力する。
【0032】合焦制御部109は、カメラプロセス部1
07より出力される映像信号に係る画像中の予め設定さ
れた合焦検出対象領域又はユーザが任意に設定した合焦
検出対象領域内の映像信号に含まれる高周波成分が極大
となるように、フォーカスレンズ105をフォーカスレ
ンズ駆動用モータ(ここでは、ステッピングモータ)1
08によって光軸方向に移動・調整することにより、被
写体像を撮像素子106の撮像面上に合焦させる。被写
体距離計測部113は、撮像装置101から被写体まで
の距離(以下、被写体距離)を周知の方法(例えば、ス
テッピングモータの駆動情報に基づいて算出)により計
測することができる。
【0033】なお、フォーカスレンズ105の位置は、
ユーザがコンピュータ102を介して任意の位置に設定
することも可能である。
【0034】ズーム制御部111は、ユーザがコンピュ
ータ102を介して設定した任意のズーム倍率値に相当
する位置に変倍レンズ104を移動させるように、変倍
レンズ駆動用モータ(ステッピングモータ)110を制
御する。
【0035】これらのフォーカスレンズ103及び変倍
レンズ104の位置、被写体距離、露出情報等のカメラ
パラメータは、バスインターフェース116を介して撮
像装置101からコンピュータ102に読み出すことが
可能である。
【0036】図2は、高精細画像を生成する処理を実行
するコンピュータの概略構成図である。
【0037】201は中央演算装置(CPU)、202はR
OM、203はDRAM等の主記憶装置、204はハードディ
スク等の二次記憶装置である。
【0038】コンピュータ102には、ユーザインター
フェースとして、ディスプレイ208、マウス209、
キーボード210が接続されている。
【0039】205は、撮像装置101から入力された
映像信号(NTSC等)をディジタル信号に変換するための
キャプチャボード、207は、撮像装置101を制御す
るために撮像装置101にコマンドを転送し、また、種
々のカメラパラメータを撮像装置101から読み出すた
めのバスインターフェース207である。
【0040】206は、ネットワークと接続するための
インターフェース、211は、処理の結果等を可視画像
として出力するためのプリンタである。
【0041】図5は、コンピュータ102によって実行
される高精細画像の生成処理のアルゴリズムを示すフロ
ーチャートである。この処理は、例えば、2次記憶装置
204に格納された制御プログラムに従って制御され
る。また、この制御プログラムは、例えば、分離可能な
メモリ媒体(例えば、フロッピー(登録商標)ディス
ク、CD−ROM)等に格納して流通させることがで
き、該メモリ媒体をコンピュータ102に接続すること
によりコンピュータ102に提供され得る。
【0042】この実施の形態では、高精細画像の生成に
先立って、予め撮像装置101の撮像レンズ103につ
いて、レンズ位置設定情報501、シェーディング補正
テーブル502、歪曲収差補正情報503、ズーム中心
補正情報504を取得する。
【0043】レンズ位置設定情報501は、撮像レンズ
103の設定条件(例えば,ズーム倍率、焦点位置)が
与えられたときに、これに基づいてコンピュータ102
等が変倍レンズ104やフォーカスレンズ105を制御
するために必要なカム軌跡等を示す情報である。レンズ
位置設定情報501は、例えば、撮像装置101又は撮
像レンズ103内の不揮発性メモリ等に記憶しておき、
これをコンピュータ102が読み出すことにより取得す
ることができる。
【0044】シェーディング補正テーブル群502は、
撮像レンズ103のシェーディング特性を補正するため
の情報である。前述したように、シェーディング特性
は、撮像レンズ103のズーム倍率値(変倍レンズ10
4の位置)、被写体距離(フォーカスレンズ105の位
置)、絞りの状態等に依存する。そこで、この実施の形
態では、それらのパラメータのうちズーム倍率値に注目
し、いくつかの任意のズーム倍率について予めシェーデ
ィング補正テーブル群502を作成する。
【0045】以下、図11を参照しながらシェーディン
グ補正テーブル群の作成方法の一例を説明する。この例
では、まず、ステップS401で、撮像装置101から
任意の距離にホワイトボードを設置し、ホワイトボード
上が均一の光量となるように照明条件等を調節する。
【0046】次に、ステップS402で、コンピュータ
102は、次式に従ってシェーディング補正テーブル群
を作成する際の複数のズーム倍率Znを決定する。
【0047】 Zn=Z0+n・zSTEP (0≦n≦N-1) ・・・(1.1) ここで、Z0は、シェーディング補正テーブル群の作成を
開始するズーム倍率値、Nは、作成するシェ−ディング
補正テーブルの数、zSTEPはシェーディング補正テーブ
ル群を作成するズーム倍率間隔である。これらの値は、
例えば、撮像装置101の撮像レンズ103の性能及び
コンピュータ102の記憶能力等に応じて、ユーザが任
意に設定することができる。
【0048】次に、ステップS404で、コンピュータ
102により、決定されたズーム倍率値Znになるように
変倍レンズ104を制御して、ステップS405で、コ
ンピュータ102からの命令により撮像装置101にホ
ワイトボードを撮影させて画像Izn(x,y)を得る。ここ
で、x及びyは撮像した画像内でのx座標及びy座標であ
り、それぞれ0≦x≦X-1、0≦y≦Y-1を満たしている。な
お、X及びYは画像のキャプチャサイズを示している。
【0049】次に、ステップS406で、コンピュータ
102は、得られた画像Izn(x,y)を次式に従って正規化
し、正規化画像Tzn(x,y)を得る。
【0050】
【数1】
【0051】・・・(1.2) ここで、Max{Izn(x,y)}は、画像Izn(x,y)内での最大輝
度値を表している。このようにして得られた正規化画像
が、ズーム倍率値Znで撮影された画像に対するシェーデ
ィング補正テーブルとなる。
【0052】ステップS407では、得られた正規化画
像をシェーディング補正テーブルとして2次記憶装置2
04に保存する。
【0053】ステップS404〜S407は、n=N-1と
なるまでnをインクリメントしながら繰り返される。
【0054】歪曲収差補正情報503は、撮像装置10
1の撮像レンズ103の歪曲収差を補正するための情報
である。前述したように、歪曲収差特性はズーム倍率値
(変倍レンズ104の位置)に依存して変化する。そこ
で、この実施の形態では、公知のレンズ歪曲収差補正方
法(例えば、T.IEE Japan,Vol.188-C,No.4,’98 カメラ
の動き情報を用いた動き補償の改良 佐藤、杉浦)を適
用して、いくつかのズーム倍率値について関数近似され
た歪曲収差補正情報503を生成する。
【0055】歪曲収差は、レンズ面が曲面でありなが
ら、画像が取り込まれる撮像面が平面であることに起因
する。代表的な歪曲収差として、たる型収差や糸巻き型
収差が挙げられる。これらの収差モデルが図12に示さ
れている。これらの収差は画像の中心では小さく、周辺
部に離れるほど大きくなる傾向がある。そこで、歪画像
(x',y')を原画像(x,y)から次式により近似することがで
きる。ここで、係数k1,k 2は実験により実際の画像から
得られる値を代入して求めることができる。
【0056】x'={1+k1(x2+y2)}x y'={1+k2(x2+y2)}y・・・ (1.3) ズーム中心補正情報504は、ズーム中心(ズーム倍率
を変更した際に撮像画像上で動かない点)を補正するた
めの情報である。ズーム中心の位置を求める手法には既
知の手段が数多く提案されており、以下は、その一例で
ある。 (a)撮像装置から所定距離の位置に図8に示すような
テストチャートを光軸と垂直になるように設置する。 (b)任意の位置に変倍レンズを制御し、合焦を確認後
に撮影する。この操作を任意の回数繰り返す。 (c)画像処理によりテストチャート内の特定点(図8
においては十字の交点)の軌跡を求め、全ての直線が交
わる1点をズーム中心とする。
【0057】ここで、十字点が移動する距離と基準距離
(例えば、ワイド端で撮影されたテストチャート画像に
おける十字点とテレ端で撮影されたテストチャート画像
における十字点との距離)との比率を求めることで、ズ
ーム倍率特性も同時に求めることができる。
【0058】上記のレンズ位置設定情報501、シェー
ディング補正テーブル502、歪曲収差補正情報50
3、ズーム中心補正情報504を取得するための処理
は、1つの撮像装置101(レンズ交換タイプの撮像装
置である場合は、該撮像装置に取付けられた撮像レン
ズ)について1度実施すればよい。
【0059】次に、図5を参照しながら本発明の好適な
実施の形態に係る高精細画像の生成処理の流れを説明す
る。ステップS301では、コンピュータ102は、ユ
ーザに撮影枚数Nを入力させ、ステップS302では、
コンピュータ102は、ユーザに撮影枚数Nに対応する
N個のズーム倍率を入力させる。
【0060】ステップS303では、コンピュータ10
2は、ステップS302で入力されたN個のズーム倍率
のそれぞれで撮像装置101に被写体を撮像する。これ
により、互いに異なるズーム倍率で撮像されたN枚の画
像が得られる。ここで、変倍レンズ104の位置は、ユ
ーザによって設定されたズーム倍率が得られるようにレ
ンズ位置設定情報501に基づいてコンピュータ101
によって制御される。
【0061】ステップS304では、コンピュータ10
2は、撮像されたN枚の画像に対して、シェーディング
補正テーブル502を用いてシェーディング補正を施
す。この処理を、ズーム倍率をz、撮像された画像Iz(x,
y)として説明する。
【0062】まず、画像Iz(x,y)にシェーディング補正
を施すために最適なシェーディング補正テーブルTz'(x,
y)をシェーディング補正テーブル群502の中から選択
する。
【0063】ここで、z’は、次式により求めることが
できる。
【0064】
【数2】
【0065】・・・(1.4) 上式は、任意に設定されたズーム倍率値z'を、シェーデ
ィング補正テーブル群を作成した際のズーム倍率間隔z
STEPで量子化することに相当し、このz'により定まるシ
ェーディング補正テーブルTz'(x,y)を選択することは、
撮影に係るズーム倍率値に最も近いズーム倍率値につい
て作成されたシェーディング補正テーブルを選択するこ
とを意味する。
【0066】次いで、選択されたシェーディング補正テ
ーブルTz'(x,y)を用いて、次式に従ってシェーディング
補正を行う。
【0067】
【数3】
【0068】・・・(1.5) すなわち、撮像した画像Iz(x,y)に対して、選択された
シェーディング補正テーブルTz'(x,y)の逆数を掛けるこ
とで、シェーディング補正が施された画像I'z(x,y)を得
ることができる。
【0069】以上のシェーディング補正は、撮像された
N枚の画像のそれぞれについて実施される。このような
シェーディング補正を実施することにより、互いに異な
るズーム倍率で撮影されたN枚の画像を合成しても、境
界線や濃淡むらの少ない画像を生成することができる。
【0070】ステップS305では、シェーディング補
正がなされたN枚の画像のそれぞれについて、歪曲収差
補正情報503を用いて歪曲収差を補正する。ここで、
歪曲収差補正情報503は、代表的なズーム倍率につい
てのみ準備されているので、撮像に係るズーム倍率に対
応する歪曲収差補正情報を歪曲収差補正情報503に基
づいて補間等により生成し、その歪曲収差補正情報に基
づいて歪曲収差を補正する。
【0071】ステップS306では、コンピュータ10
2は、シェーディング及び歪曲収差が補正されたN枚の
画像をそれぞれ変倍する。具体的には、この実施の形態
では、図6に示すように、N枚の画像のうち最も高いズ
ーム倍率で撮像された画像(最も解像度が高い画像)を
ユーザから指定された倍率(n倍)に従って変倍してこ
れを基準画像とし、他のズーム倍率で撮像された画像に
ついては、被写体の大きさが基準画像と同一になるよう
に変倍する。ここで、N枚の画像のそれぞれを、図9に
示すように、ズーム中心を原点とする座標系で表現して
変倍を実行することにより、変倍後のN枚の画像のズー
ム中心を一致させることができる。
【0072】ステップS307及びS308では、後の
統合処理(合成処理)を正確に行うために、N枚の変倍
画像のそれぞれの位置(x座標、y座標)や変倍率を微
小変化させながら、N枚の変倍画像間の類似度(例え
ば、相関値等で表現される)を計算し、最も高い類似度
が得られるN枚の変倍画像の位置関係及び変倍率を決定
する、位置合わせ処理及びズーム倍率補正処理を実行す
る。
【0073】ステップS309では、上記の処理によっ
て生成されたN枚の画像を合成する。図10は、ズーム
倍率1倍、2倍、3倍で撮像された画像を変倍率1倍で
変倍して合成した状態を示す図である。
【0074】ステップS310では、合成された画像に
おける各格子(画素)の画素値を補間処理によって決定
する。この実施の形態では、内挿補間すべき画素を、合
成によって配置された画素のうち最も近い画素の値とす
る最近隣内挿補間法(nearest neighbor interpolatio
n)を適用する。この際、異なったズーム倍率での撮影
に係る画素が重なっている場合が生じ得るが、その場合
は、最も高いズーム倍率での撮影に係る画素の値を用い
る。
【0075】上記の実施の形態では、N枚の画像の全て
にシェーディング補正を施すが、これに代えて、N枚の
画像のいずれか1つの画像(好適には、シェーディング
特性が最も良好なズーム倍率で撮像された画像)を基準
画像とし、他の画像を基準画像のシェーディング特性に
一致するように補正してもよいし、N枚の画像のいずれ
か1つの画像に対してシェーディング補正を施し、これ
を基準画像として、他の画像を基準画像の輝度値に一致
するように補正してもよい。
【0076】以上のように、この実施の形態によれば、
ズーム倍率の違いによる歪曲収差の違いやシェーディン
グ特性の違いによる画質の低下が少ない高精細な画像を
生成することができる。
【0077】[第2の実施の形態]第1の実施の形態で
は、シェーディング補正を行なう際に、任意のズーム倍
率値で撮影された画像に対して、予め準備されたシェー
ディング補正テーブル群の中から、最もズーム倍率値が
近いシェーディング補正テーブルを選択して、これを用
いてシェーディング補正を行う。この場合、高精度にシ
ェーディング補正を行なうためには、シェーディング補
正テーブル群を作成するズーム倍率の間隔zS TEPを小さ
な値に設定し、多数のシェーディング補正テーブルを作
成し記憶しておく必要がある。しかし、この場合、メモ
リ効率などの観点からコスト高になることは容易に想像
できる。そこで、撮像に係るズーム倍率値の両側のズー
ム倍率値についての2つのシェーディング補正テーブル
に基づいて、当該撮像に係るズーム倍率値についてのシ
ェーディング補正テーブルを比例配分等の手法を用いて
推定補間することにより作成し、これを用いてシェーデ
ィング補正を行うことが好ましい。これにより、シェー
ディング補正テーブルを記憶するためのメモリ量を小さ
く抑えつつ、高精度なシェーディング補正を行なうこと
ができる。
【0078】[第3の実施の形態]第1及び第2の実施
の形態では、ズーム倍率のみを考慮してシェーディング
補正テーブルを作成するが、シェーディング状態は被写
体距離や絞り状態によっても変化する。そこで、この実
施の形態では、被写体距離や絞り状態をも考慮してシェ
ーディング補正テーブルを作成する。ここで、第2の実
施の形態のように、撮像に係るズーム倍率、被写体距
離、絞り状態に対応するシェーディング補正テーブルが
存在しない場合には、存在するシェーディング補正テー
ブルに基づいて比例配分等の手法を用いて必要なシェー
ディング補正テーブルを推定補間することにより作成
し、これを用いてシェーディング補正を行うことが好ま
しい。
【0079】[第4の実施の形態]この実施の形態で
は、ズーム倍率、被写体距離、絞り状態の各パラメータ
についてシェーディング補正テーブルを任意の間隔で作
成し、これらのシェーディング補正テーブルを双曲面等
の関数で近似し、その関数をシェーディング補正情報と
して記憶する。これにより、任意の条件で撮影された画
像に対応可能なシェーディング補正情報を少ないメモリ
量で保持することができる。
【0080】[第5の実施の形態]第1の実施の形態で
は、ズーム倍率が異なる状態で撮影された複数枚の画像
を変倍して統合し、補間すべき格子点の位置の画素値を
最近隣内挿法を用いる。この手法は画素補間に複雑な演
算を必要としないため、処理アルゴリズムが簡単である
という利点がある。しかし、補間される画素の誤差が大
きい。
【0081】そこで、この実施の形態では、被補間画素
の4近傍画素に注目して、被補間画素値を双線形内挿補
間法によって決定する。これにより、高品質の変倍画像
を生成することができる。
【0082】[第6の実施の形態]第1の実施の形態で
は、複数の画像の統合(合成)を正確に行うために、各
画像間で、位置(x座標、y座標)や拡大率をそれぞれ
微小変化させて相関値などに代表される類似度を計算
し、位置合わせ処理やズーム倍率補正を行う。しかし、
この方法では、計算量が膨大となる。そこで、この実施
の形態では、位置合わせ処理及びズーム倍率補正処理の
いずれか一方を先に補正し、この補正値を用いて他方の
補正を行ない、これにより計算量を減らして処理の高速
化を図る。
【0083】[その他]上記の各実施の形態では、撮像
レンズの収差として歪曲収差のみに着目しているが、他
の収差についても同様の手法により補正することができ
る。
【0084】上記の各実施の形態では、撮像装置101
とコンピュータ102とは別体をなすが、コンピュータ
102の機能を撮像装置101に組み込んでもよい。こ
の場合、撮像装置単体で上記の各実施の形態のような高
精細な画像を簡単な方法で生成することができる。ま
た、この場合、生成した画像は、撮像装置に接続された
メモリ媒体に格納することもできるし、外部装置に転送
することもできる。
【0085】本発明は、前述した実施形態の機能を実現
するソフトウェアのプログラムコードを記録した記憶媒
体を、システムあるいは装置に供給し、そのシステムあ
るいは装置のコンピュータ(またはCPUやMPU)が
記憶媒体に格納されたプログラムコードを読み出し実行
することによっても達成できる。
【0086】この場合、記憶媒体から読み出されたプロ
グラムコード自体が前述した実施形態の機能を実現する
ことになり、そのプログラムコードを記憶した記憶媒体
は本発明を構成することになる。
【0087】プログラムコードを供給するための記憶媒
体としては、例えばフロッピーディスク、ハードディス
ク、光ディスク、光磁気ディスク、CD―ROM、CD
−R、磁気テープ、不揮発性のメモリカード、ROM等
を用いることができる。
【0088】また、コンピュータが読み出したプログラ
ムコードを実行することにより、前述した実施形態の機
能が実現されるだけでなく、そのプログラムコードの指
示に基づき、コンピュータ上で稼動しているOS(オペ
レーティングシステム)などが実際の処理の一部または
全部を行い、その処理によって前述した実施形態の機能
が実現される場合も含まれる。さらに、記憶媒体から読
み出されたプログラムコードが、コンピュータに挿入さ
れた拡張ボードや機能拡張ユニットに備わるメモリに書
き込まれた後、そのプログラムコードの指示に基づき、
その機能拡張ボードや機能拡張ユニットに備わるCPU
等が実際の処理の一部または全部を行い、その処理によ
って前述した実施形態の機能が実現される。
【0089】
【発明の効果】本発明によれば、複数の画像を合成して
1つの高品位の画像を得ることができる。
【図面の簡単な説明】
【図1】本発明の好適な実施の形態に係る画像処理シス
テムの概略構成を示す図である。
【図2】高精細画像を生成する処理を実行するコンピュ
ータの概略構成図である。
【図3】互いに異なるズーム倍率で撮影された画像の例
を示す図である。
【図4】互いに異なるズーム倍率で撮影された複数枚の
画像の合成処理及び各画像のシェーディング状態を示す
図である。
【図5】コンピュータによって実行される高精細画像の
生成処理のアルゴリズムを示すフローチャートである。
【図6】互いに異なるズーム倍率で撮影された画像の合
成を模式的に示す図である。
【図7】複数の画像のシェーディング状態を一致させる
処理を概念的に示す図である。
【図8】テストチャートの一例を示す図である。
【図9】ズーム中心を原点とした座標系を示す図であ
る。
【図10】複数の画像を合成した一例を示す図である。
【図11】シェーディング補正テーブルの作成処理の流
れを示す図である。
【図12】レンズの歪曲収差の代表例を示す図である。
【符号の説明】
101 カメラ部 102 コンピュータ 103 撮像レンズ 104 変倍レンズ 105 フォーカスレンズ 106 撮像素子 107 カメラプロセス部 108 フォーカスレンズ駆動用モータ 109 合焦制御部 110 変倍レンズ駆動用モータ 111 ズーム制御部 112 フォーカスレンズ位置設定読み出し部 113 被写体距離計測部 114 ズームレンズ位置設定読み出し部 115 全体制御部 116 バスインターフェース 201 CPU 202 ROM 203 主記憶(DRAM) 204 2次記憶装置(ハードディスク) 205 映像キャプチャボード 206 ネットワークインターフェース 207 バスインターフェース 208 ディスプレイ 209 マウス 210 キーボード 211 プリンタ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/232 H04N 5/232 Z 5/243 5/243 5/262 5/262 (72)発明者 梅田 清 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内 Fターム(参考) 5B047 AB04 BB04 CB10 DA01 DA04 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB02 CB08 CB12 CB16 CC01 CD05 CD06 CD12 CE08 5C021 PA66 PA80 XA67 5C022 AB51 AB66 AB68 5C023 AA02 AA11 AA37 BA11 DA04 EA03

Claims (27)

    【特許請求の範囲】
  1. 【請求項1】 複数の画像を合成する画像処理装置であ
    って、 焦点距離を変更可能な撮像レンズを使って互いに異なる
    倍率で撮像された複数の画像に含まれる該撮像レンズの
    収差の影響を補正する収差補正手段と、 収差の影響が補正された複数の画像を合成して1つの画
    像を生成する画像合成手段と、 を備えることを特徴とする画像処理装置。
  2. 【請求項2】 前記収差補正手段は、撮像時の前記撮像
    レンズの状態に応じて、画像に含まれる収差の影響を補
    正することを特徴とする請求項1に記載の画像処理装
    置。
  3. 【請求項3】 前記収差補正手段は、撮像時の前記撮像
    レンズの倍率に応じて、画像に含まれる収差の影響を補
    正することを特徴とする請求項1に記載の画像処理装
    置。
  4. 【請求項4】 前記収差補正手段は、収差補正情報を記
    憶する記憶手段を有し、該収差補正情報に基づいて、画
    像に含まれる収差の影響を補正することを特徴とする請
    求項1に記載の画像処理装置。
  5. 【請求項5】 前記収差補正情報は、前記撮像レンズの
    代表的な状態における収差を補正するための情報である
    ことを特徴とする請求項4に記載の画像処理装置。
  6. 【請求項6】 前記収差補正情報は、前記撮像レンズの
    代表的な倍率における収差を補正するための情報である
    ことを特徴とする請求項4に記載の画像処理装置。
  7. 【請求項7】 前記収差は、歪曲収差を含むことを特徴
    とする請求項1乃至請求項6のいずれか1項に記載の画
    像処理装置。
  8. 【請求項8】 前記画像合成手段は、収差の影響が補正
    された複数の画像中の被写体の大きさが同一になるよう
    に該複数の画像を変倍し、変倍後の複数の画像を合成し
    て1つの画像を生成することを特徴とする請求項1乃至
    請求項7のいずれか1項に記載の画像処理装置。
  9. 【請求項9】 前記撮像レンズを使って互いに異なる倍
    率で撮像された複数の画像のシェーディングを補正する
    シェーディング補正手段を更に備え、前記画像合成手段
    は、収差の影響及びシェーディングが補正された複数の
    画像を合成して1つの画像を生成することを特徴とする
    請求項1乃至請求項8のいずれか1項に記載の画像処理
    装置。
  10. 【請求項10】 前記シェーディング補正手段は、撮像
    時の前記撮像レンズの状態に応じて、画像のシェーディ
    ングを補正することを特徴とする請求項9に記載の画像
    処理装置。
  11. 【請求項11】 前記シェーディング補正手段は、撮像
    時の前記撮像レンズの倍率及び絞り、並びに被写体距離
    の少なくとも1つに応じて、画像のシェーディングを補
    正することを特徴とする請求項9に記載の画像処理装
    置。
  12. 【請求項12】 前記撮像レンズを有する撮像装置を制
    御して、互いに異なる倍率で複数回の撮像を実行させ、
    撮像された複数の画像を該撮像装置から受け取る制御手
    段を更に備えることを特徴とする請求項1乃至請求項1
    1のいずれか1項に記載の画像処理装置。
  13. 【請求項13】 前記制御手段は、前記撮像レンズの特
    性を取得する取得手段を有し、該撮像レンズの特性に基
    づいて該撮像レンズを制御することを特徴とする請求項
    12に記載の画像処理装置。
  14. 【請求項14】 複数の画像を合成する画像処理方法で
    あって、 焦点距離を変更可能な撮像レンズを使って互いに異なる
    倍率で撮像された複数の画像に含まれる該撮像レンズの
    収差の影響を補正する収差補正工程と、 収差の影響が補正された複数の画像を合成して1つの画
    像を生成する画像合成工程と、 を含むことを特徴とする画像処理方法。
  15. 【請求項15】 前記収差補正工程では、撮像時の前記
    撮像レンズの状態に応じて、画像に含まれる収差の影響
    を補正することを特徴とする請求項14に記載の画像処
    理方法。
  16. 【請求項16】 前記収差補正工程では、撮像時の前記
    撮像レンズの倍率に応じて、画像に含まれる収差の影響
    を補正することを特徴とする請求項14に記載の画像処
    理方法。
  17. 【請求項17】 前記収差補正工程では、予め記憶され
    た収差補正情報に基づいて、画像に含まれる収差の影響
    を補正することを特徴とする請求項14に記載の画像処
    理方法。
  18. 【請求項18】 前記収差補正情報は、前記撮像レンズ
    の代表的な状態における収差を補正するための情報であ
    ることを特徴とする請求項17に記載の画像処理方法。
  19. 【請求項19】 前記収差補正情報は、前記撮像レンズ
    の代表的な倍率における収差を補正するための情報であ
    ることを特徴とする請求項17に記載の画像処理方法。
  20. 【請求項20】 前記収差は、歪曲収差を含むことを特
    徴とする請求項14乃至請求項19のいずれか1項に記
    載の画像処理方法。
  21. 【請求項21】 前記画像合成工程では、収差の影響が
    補正された複数の画像中の被写体の大きさが同一になる
    ように該複数の画像を変倍し、変倍後の複数の画像を合
    成して1つの画像を生成することを特徴とする請求項1
    4乃至請求項20のいずれか1項に記載の画像処理方
    法。
  22. 【請求項22】 前記撮像レンズを使って互いに異なる
    倍率で撮像された複数の画像のシェーディングを補正す
    るシェーディング補正工程を更に含み、前記画像合成工
    程では、収差の影響及びシェーディングが補正された複
    数の画像を合成して1つの画像を生成することを特徴と
    する請求項14乃至請求項21のいずれか1項に記載の
    画像処理方法。
  23. 【請求項23】 前記シェーディング補正工程では、撮
    像時の前記撮像レンズの状態に応じて、画像のシェーデ
    ィングを補正することを特徴とする請求項22に記載の
    画像処理方法。
  24. 【請求項24】 前記シェーディング補正工程では、撮
    像時の前記撮像レンズの倍率及び絞り、並びに被写体距
    離の少なくとも1つに応じて、画像のシェーディングを
    補正することを特徴とする請求項22に記載の画像処理
    方法。
  25. 【請求項25】 前記撮像レンズを有する撮像装置を制
    御して、互いに異なる倍率で複数回の撮像を実行させ、
    撮像された複数の画像を該撮像装置から受け取る制御工
    程を更に含むことを特徴とする請求項14乃至請求項2
    4のいずれか1項に記載の画像処理方法。
  26. 【請求項26】 前記制御工程は、前記撮像レンズの特
    性を取得する取得工程を含み、該撮像レンズの特性に基
    づいて該撮像レンズを制御することを特徴とする請求項
    25に記載の画像処理方法。
  27. 【請求項27】 複数の画像を合成する画像処理を実行
    するプログラムを格納したメモリ媒体であって、該プロ
    グラムは、 焦点距離を変更可能な撮像レンズを使って互いに異なる
    倍率で撮像された複数の画像に含まれる該撮像レンズの
    収差の影響を補正する収差補正工程と、 収差の影響が補正された複数の画像を合成して1つの画
    像を生成する画像合成工程と、 を含むことを特徴とするメモリ媒体。
JP2000275482A 2000-09-11 2000-09-11 画像処理装置及び画像処理方法並びにメモリ媒体 Withdrawn JP2002094860A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000275482A JP2002094860A (ja) 2000-09-11 2000-09-11 画像処理装置及び画像処理方法並びにメモリ媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000275482A JP2002094860A (ja) 2000-09-11 2000-09-11 画像処理装置及び画像処理方法並びにメモリ媒体

Publications (1)

Publication Number Publication Date
JP2002094860A true JP2002094860A (ja) 2002-03-29

Family

ID=18761095

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000275482A Withdrawn JP2002094860A (ja) 2000-09-11 2000-09-11 画像処理装置及び画像処理方法並びにメモリ媒体

Country Status (1)

Country Link
JP (1) JP2002094860A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005043891A1 (ja) * 2003-10-31 2005-05-12 Mitsubishi Denki Kabushiki Kaisha 画像補正方法および撮像装置
WO2007018008A1 (ja) * 2005-08-08 2007-02-15 Matsushita Electric Industrial Co., Ltd. 画像合成装置および画像合成方法
JP2008271240A (ja) * 2007-04-20 2008-11-06 Fujifilm Corp 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP2010141814A (ja) * 2008-12-15 2010-06-24 Nikon Corp 画像処理装置、撮像装置、プログラムおよび画像処理方法
US8106976B2 (en) 2005-11-09 2012-01-31 Sharp Kabushiki Kaisha Peripheral light amount correction apparatus, peripheral light amount correction method, electronic information device, control program and readable recording medium
WO2013094273A1 (ja) * 2011-12-22 2013-06-27 オリンパス株式会社 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
US20130286254A1 (en) * 2012-04-27 2013-10-31 Canon Kabushiki Kaisha Image capturing apparatus, control method, and recording medium
JP2013247435A (ja) * 2012-05-24 2013-12-09 Sigma Corp 撮像装置
JP2017110915A (ja) * 2015-12-14 2017-06-22 東レエンジニアリング株式会社 立体形状物の検査装置
CN113099143A (zh) * 2021-03-29 2021-07-09 南昌欧菲光电技术有限公司 一种图像处理方法、装置、电子设备及存储介质

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8478066B2 (en) 2003-10-31 2013-07-02 Mitsubishi Denki Kabushiki Kaisha Image-correction method and image pickup apparatus
JPWO2005043891A1 (ja) * 2003-10-31 2007-05-10 三菱電機株式会社 画像補正方法および撮像装置
WO2005043891A1 (ja) * 2003-10-31 2005-05-12 Mitsubishi Denki Kabushiki Kaisha 画像補正方法および撮像装置
WO2007018008A1 (ja) * 2005-08-08 2007-02-15 Matsushita Electric Industrial Co., Ltd. 画像合成装置および画像合成方法
JPWO2007018008A1 (ja) * 2005-08-08 2009-02-19 パナソニック株式会社 画像合成装置および画像合成方法
US7764397B2 (en) 2005-08-08 2010-07-27 Panasonic Corporation Image synthesizing apparatus and image synthesizing method
US8106976B2 (en) 2005-11-09 2012-01-31 Sharp Kabushiki Kaisha Peripheral light amount correction apparatus, peripheral light amount correction method, electronic information device, control program and readable recording medium
JP2008271240A (ja) * 2007-04-20 2008-11-06 Fujifilm Corp 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP4678603B2 (ja) * 2007-04-20 2011-04-27 富士フイルム株式会社 撮像装置及び撮像方法
US8023000B2 (en) 2007-04-20 2011-09-20 Fujifilm Corporation Image pickup apparatus, image processing apparatus, image pickup method, and image processing method
JP2010141814A (ja) * 2008-12-15 2010-06-24 Nikon Corp 画像処理装置、撮像装置、プログラムおよび画像処理方法
WO2013094273A1 (ja) * 2011-12-22 2013-06-27 オリンパス株式会社 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
JP2013132027A (ja) * 2011-12-22 2013-07-04 Olympus Corp 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
CN104011580A (zh) * 2011-12-22 2014-08-27 奥林巴斯株式会社 图像处理装置、摄像装置、显微镜系统、图像处理方法以及图像处理程序
US20130286254A1 (en) * 2012-04-27 2013-10-31 Canon Kabushiki Kaisha Image capturing apparatus, control method, and recording medium
JP2013232780A (ja) * 2012-04-27 2013-11-14 Canon Inc 撮像装置、制御方法、及びプログラム
US9241109B2 (en) * 2012-04-27 2016-01-19 Canon Kabushiki Kaisha Image capturing apparatus, control method, and recording medium for moving image generation
JP2013247435A (ja) * 2012-05-24 2013-12-09 Sigma Corp 撮像装置
JP2017110915A (ja) * 2015-12-14 2017-06-22 東レエンジニアリング株式会社 立体形状物の検査装置
WO2017104271A1 (ja) * 2015-12-14 2017-06-22 東レエンジニアリング株式会社 立体形状物の検査装置
US10712285B2 (en) 2015-12-14 2020-07-14 Toray Engineering Co., Ltd. Three-dimensional object inspecting device
CN113099143A (zh) * 2021-03-29 2021-07-09 南昌欧菲光电技术有限公司 一种图像处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
JP4513906B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
US7529424B2 (en) Correction of optical distortion by image processing
US8466989B2 (en) Camera having image correction function, apparatus and image correction method
US8031232B2 (en) Image pickup apparatus including a first image formation system and a second image formation system, method for capturing image, and method for designing image pickup apparatus
JP5036599B2 (ja) 撮像装置
JP2004064796A (ja) 電子撮像デバイス
JPH08116490A (ja) 画像処理装置
JP5453573B2 (ja) 撮像装置、撮像方法およびプログラム
WO2008041522A1 (fr) Dispositif de traitement d'image, programme de traitement d'image, procédé de production d'image et support d'enregistrement
JP6266131B2 (ja) 画像処理装置及び方法、並びに撮像装置、並びにプログラム及び記録媒体
TW200401942A (en) Apparatus and method for improved-resolution digital zoom in a portable electronic imaging device
JP2018107526A (ja) 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム
JP2006270918A (ja) 画像補正方法、撮影装置、画像補正装置およびプログラム並びに記録媒体
US8913173B2 (en) Imaging apparatus and imaging method
TWI626500B (zh) 攝影裝置、透鏡單元以及訊號處理裝置
JP2002094860A (ja) 画像処理装置及び画像処理方法並びにメモリ媒体
JP3984346B2 (ja) 撮像装置及び画像合成方法
JPH11242737A (ja) 画像処理方法及び装置並びに情報記録媒体
US20150145958A1 (en) Multi-lens image capturing apparatus
KR101626447B1 (ko) 렌즈 왜곡과 색수차를 보정하는 장치, 방법, 및 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 매체
JP4169464B2 (ja) 画像処理方法と画像処理装置及びコンピュータ読み取り可能な記録媒体
JP2001177738A (ja) 画像合成方法及び画像処理装置
JPH11196299A (ja) 撮像装置
JPH11196317A (ja) 撮像装置
CN114697533A (zh) 图像处理方法、装置、计算机可读存储介质及智能电视

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20071204