JP2002094765A - 画像処理装置及び画像処理方法並びにメモリ媒体 - Google Patents

画像処理装置及び画像処理方法並びにメモリ媒体

Info

Publication number
JP2002094765A
JP2002094765A JP2000275483A JP2000275483A JP2002094765A JP 2002094765 A JP2002094765 A JP 2002094765A JP 2000275483 A JP2000275483 A JP 2000275483A JP 2000275483 A JP2000275483 A JP 2000275483A JP 2002094765 A JP2002094765 A JP 2002094765A
Authority
JP
Japan
Prior art keywords
pixel
image
interpolated
interpolation
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000275483A
Other languages
English (en)
Inventor
Teruhiko Ueyama
輝彦 植山
Yoshihiro Ishida
良弘 石田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000275483A priority Critical patent/JP2002094765A/ja
Publication of JP2002094765A publication Critical patent/JP2002094765A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

(57)【要約】 【課題】互いに異なる倍率で撮像された複数の画像を合
成する処理において、処理の高速化と画像の高品位化を
図る。 【解決手段】異なる倍率で撮像された複数の画像を被写
体の大きさが同一になるように各々変倍して合成した
後、補間処理を実行する。この補間処理は、被補間画素
と、合成された画像中の画素のうち該被補間画素の近隣
の画素との距離Ｄに応じて定められる補間規則（Ｓ４０
５、Ｓ４０６）に従って行う。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像処理装置及び
画像処理方法並びにメモリ媒体に係り、特に、複数の画
像を処理して１つの画像を生成する画像処理装置及び画
像処理方法に関する。
【０００２】
【従来の技術】現在、デジタルカメラやデジタルビデオ
カメラ等の撮像装置においては、撮像素子の高画素化が
進み、高解像度画像の需要が高まっている。撮像素子が
持つ画素数以上の高解像度画像を得る手法として、従来
から画素ずらし法が検討されてきた。これは撮像素子の
画素格子を半画素又は１画素未満の幅でずらして複数回
の撮影を行い、これによって得られる複数の画像を合成
して高解像度画像を得る方法である。しかし、画素をず
らして撮影するためには、光学系又は撮像素子、カメラ
本体等を高精度かつ微量に移動させる装置が必要とな
り、有効な手法とはいえ、コスト面などの点において問
題があった。
【０００３】高解像度画像を得る方法として、上記の
他、互いに異なるズーム倍率で撮影された複数の画像を
合成する手法がある。この方法では、カメラを固定した
状態で互いに異なるズーム倍率で複数回の撮影を行い、
なんらかの方法で各フレーム間の相対倍率値を検出す
る。そして、最も撮影倍率が大きいフレームを基軸にし
て共通画像領域が重なるように、各画像を適切なサイズ
に拡大縮小して合成することで、高精細画像を生成す
る。
【０００４】
【発明が解決しようとする課題】上記の方法を実現する
ために重要な技術の１つとして、複数の画像を合成した
後に画素を補間する技術が挙げられる。一般に、高品位
の最終画像を得るためには高度な補間処理を要し、処理
時間が長大になる。
【０００５】本発明は、上記の背景に鑑みてなされたも
のであり、高速に高品位の画像を生成することを目的と
する。
【０００６】
【課題を解決するための手段】本発明の第１の側面に係
る画像処理装置は、複数の画像を処理して１つの画像を
生成する画像処理装置であって、異なる倍率で撮像され
た複数の画像を被写体の大きさが同一になるように各々
変倍して合成する合成手段と、合成された画像に補間処
理を施す補間手段とを備え、前記補間手段は、被補間画
素と、合成された画像中の画素のうち該被補間画素の近
隣の画素との距離に応じた補間規則に従って該被補間画
素の値を決定することを特徴とする。
【０００７】ここで、前記補間手段は、被補間画素と、
合成された画像中の画素のうち該被補間画素の最近隣の
画素との距離に応じた補間規則に従って該被補間画素の
値を決定することが好ましい。
【０００８】前記補間手段が選択する補間規則には、例
えば、被補間画素の値を、前記合成された画像中の画素
のうち該被補間画素の最近隣の１つの画素に基づいて決
定する規則、及び／又は、被補間画素の値を、前記合成
された画像中の画素のうち該被補間画素の近隣の複数の
画素に基づいて決定する規則が含まれることが好まし
い。
【０００９】より具体的には、前記補間手段が選択する
補間規則には、透過型双線形内挿補間法及び最近隣内挿
補間法が含まれることが好ましい。
【００１０】前記補間手段は、被補間画素と合成された
画像中の画素のうち該被補間画素の近隣の画素との距離
と所定の閾値距離とを比較する比較手段と、前記比較手
段による比較結果に基づいて補間規則を決定する規則決
定手段とを有することが好ましい。
【００１１】前記補間手段は、前記閾値距離を変更する
閾値変更手段を有することが好ましい。前記閾値変更手
段は、前記合成手段による画像の変倍率、及び／又は、
被補間画素の位置（例えば、合成された画像の中心と被
補間画素との距離）に応じて前記閾値距離を変更するこ
とが好ましい。
【００１２】本発明の第２の側面に係る画像処理方法
は、複数の画像を処理して１つの画像を生成する画像処
理方法であって、異なる倍率で撮像された複数の画像を
被写体の大きさが同一になるように各々変倍して合成す
る合成工程と、合成された画像に補間処理を施す補間工
程とを含み、前記補間工程では、被補間画素と、合成さ
れた画像中の画素のうち該被補間画素の近隣の画素との
距離に応じた補間規則に従って該被補間画素の値を決定
することを特徴とする。
【００１３】本発明の第３の側面に係るメモリ媒体は、
複数の画像を処理して１つの画像を生成する画像処理プ
ログラムを格納したメモリ媒体であって、該プログラム
は、異なる倍率で撮像された複数の画像を被写体の大き
さが同一になるように各々変倍して合成する合成工程
と、合成された画像に補間処理を施す補間工程とを含
み、前記補間工程では、被補間画素と、合成された画像
中の画素のうち該被補間画素の近隣の画素との距離に応
じた補間規則に従って該被補間画素の値を決定すること
を特徴とする。
【００１４】
【発明の実施の形態】以下、本発明の好適な実施の形態
を説明する。
【００１５】［第１の実施の形態］図1は、本発明の好
適な実施の形態に係る画像処理システムの概略構成を示
す図である。このシステムは、撮像装置１０１と、該撮
像装置１０１を制御するコンピュータ１０２とを備え
る。
【００１６】撮像装置１０１は、ズーム機能（変倍機
能）を有する撮像レンズ１０３を備えている。撮像レン
ズ１０３は、交換可能なタイプであってもよいし、撮像
装置１０１に固定されたタイプであってもよい。撮像レ
ンズ１０３は、大雑把には、変倍のための変倍レンズ１
０４と、焦点を調整するためのフォーカスレンズ１０５
とを有する。撮像レンズ１０３は、被写体の光学像をＣ
ＣＤ等の撮像素子１０６の撮像面に形成し、撮像素子１
０６は、その光学像を電気信号に変換してカメラプロセ
ス部１０７に出力する。
【００１７】カメラプロセス部１０７は、撮像素子１０
６から出力される信号に周知の処理（例えば、ゲイン補
正、γ補正、色バランス調整等）を施して、所定形式の
映像信号を出力する。
【００１８】合焦制御部１０８は、カメラプロセス部１
０７より出力される映像信号に係る画像中の予め設定さ
れた合焦検出対象領域又はユーザが任意に設定した合焦
検出対象領域内の映像信号に含まれる高周波成分が極大
となるように、フォーカスレンズ１０５を不図示のフォ
ーカスレンズモータ（ここでは、ステッピングモータ）
によって光軸方向に移動させることにより、被写体像を
撮像素子１０６の撮像面上に合焦させる。距離計測部１
１２は、撮像装置１０１から被写体までの距離（以下、
被写体距離）を、例えばステッピングモータの駆動情報
に基づいて算出する。
【００１９】なお、ユーザが外部コンピュータ１０２を
介してフォーカスレンズ１０５の位置を任意の位置に設
定する機能を設けてもよい。
【００２０】ズーム制御部１０９は、コンピュータ１０
２からの指令に基づいて、変倍レンズ１０４を任意の位
置に移動させるように、不図示の変倍レンズモータ（ス
テッピングモータ）を制御する。
【００２１】これらのフォーカスレンズ１０５及び変倍
レンズ１０４の位置、被写体距離、露出情報等のカメラ
パラメータは、バスインターフェース１１４を介して撮
像装置１０１からコンピュータ１０２に読み出すことが
できる。
【００２２】図２は、高精細画像を生成する処理を実行
するコンピュータ１０２の概略構成図である。
【００２３】２０１は中央演算装置（ＣＰＵ）、２０２
はＲＯＭ、２０３はＤＲＡＭ等の主記憶装置、２０４は
ハードディスク等の二次記憶装置である。
【００２４】コンピュータ１０２には、ユーザインター
フェースとして、ディスプレイ２０８、マウス２０９、
キーボード２１０が接続されている。
【００２５】２０５は、撮像装置１０１から入力された
映像信号（NTSC等）をディジタル信号に変換するための
キャプチャボード、２０７は、撮像装置１０１を制御す
るためにコマンドを転送し、また、種々のカメラパラメ
ータを撮像装置１０１から読み出すためのバスインター
フェースである。
【００２６】２０６は、ネットワークと接続するための
インターフェース、２１１は、画像処理の結果等を可視
画像として出力するためのプリンタである。
【００２７】図３は、コンピュータ１０２によって実行
される高精細画像生成処理のアルゴリズムを示すフロー
チャートである。この処理は、例えば、2次記憶装置２
０４に格納された制御プログラムに従って制御される。
また、この制御プログラムは、例えば、分離可能なメモ
リ媒体（例えば、フロッピー（登録商標）ディスク、Ｃ
Ｄ−ＲＯＭ等）に格納して流通させることができ、該メ
モリ媒体をコンピュータ１０２に接続することによりコ
ンピュータ１０２に提供され得る。
【００２８】まず、ステップＳ３０１では、前処理とし
て、撮像装置１０１の撮像レンズ（ズームレンズ）１０
３の特性を示す情報を取得するために、キャリブレーシ
ョンを実行する。
【００２９】一般のズームレンズの多くは、ズーム倍率
を変更した際に撮像画面上で動かない点（以下、ズーム
中心）が、撮像画面の中心（以下、画像中心）と異なっ
ている。また、一般のズームレンズの多くは、ステッピ
ングモータのパルス値に代表されるような位置情報に応
じて変倍レンズの位置を変化させるが、各位置における
焦点距離が不明であるため、変倍レンズの位置情報とズ
ーム倍率（又は焦点距離）との関係（以下、ズーム倍率
特性）が未知である。
【００３０】そこで、この実施の形態では、撮像レンズ
（ズームレンズ）１０３のズーム倍率特性を得るため
に、予め撮像レンズ（ズームレンズ）１０３のキャリブ
レーションを行う。
【００３１】なお、この明細書で、ズームレンズという
ときは、バリフォーカスレンズを含むものとする。
【００３２】ステップＳ３１０〜３１６は、ステップＳ
３０１の処理の１つの具体例である。まず、ステップＳ
３１０では、撮像装置１０１から所定距離の位置に、図
４に示すようなテストチャートを光軸と垂直になるよう
に設置するようにユーザに促す。次いで、ステップＳ３
１１では、任意の位置に変倍レンズ１０４を移動させ
て、ステップＳ３１２で、フォーカスレンズ１０５を調
整してテストチャートの画像を撮像素子１０６の撮像面
上に合焦させ、その後、そのテストチャートを撮影す
る。ステップＳ３１３では、変倍レンズ１０４の位置を
代えて更にステップＳ３１１及びＳ３１２の処理を繰り
返して実行するか否かを判断し、該処理を繰り返す場合
にはステップＳ３１１に戻る。
【００３３】ステップＳ３１４では、複数回の撮影（ス
テップＳ３１２）により得られるテストチャート画像を
処理して、テストチャート画像内の特定点（図４では、
４つの十字の各交点）の軌跡を求め、ステップＳ３１５
では、各軌跡を延長した線が交わる１点をズーム中心と
する。
【００３４】ステップＳ３１６では、例えば、各テスト
チャート画像に順次注目しながら、注目テストチャート
画像中における各十字点の移動距離と基準距離（例え
ば、ワイド端時のテストチャート画像における十字点と
テレ端時のテストチャート画像における十字点との距
離）との比率を求めることにより、ズーム倍率特性を求
める。
【００３５】以上のキャリブレーションにより、例え
ば、図５に示すようなズーム中心（Ｘcenter，Ｙcente
r）及び図６に示すようなズーム倍率特性が得られる。
これらのデータは、例えば、コンピュータ１０２中の主
記憶装置２０３又は２次記憶装置２０４に保存される。
この際、ズーム倍率特性に関しては、例えば、図６に示
すような特性曲線上の代表的な数点についてのみ保存
し、他の倍率を実現するための変倍レンズ１０４の位置
は、それらの値から周知の補間法によって求めることが
できる。なお、ズーム倍率特性の代わりに、変倍レンズ
１０３の位置と撮像レンズ１０２の焦点距離（ワイド端
の焦点距離にズーム倍率を掛けた値）との関係を示す焦
点距離特性を採用していもよい。
【００３６】図７は、コンピュータ１０２の主記憶装置
２０３又は２次記憶装置２０４に保存されるズーム中心
（Ｘcenter，Ｙcenter）及びズーム倍率特性のデータフ
ォーマットの一例を示す図である。なお、これらのデー
タは、撮像装置毎に固有であるため、撮像装置を最初に
使用する際にキャリブレーションを実行して取得し、図
７に示すように、データの先頭に当該撮像装置の製品コ
ードを記録することにより管理してもよい。ここで、使
用する撮像装置１０２について、既にズーム中心（Ｘce
nter，Ｙcenter）及びズーム倍率特性がコンピュータ１
０２中に保存されている場合は、ステップＳ３０１をス
キップすればよい。
【００３７】撮像レンズ（ズームレンズ）１０３のキャ
リブレーションが終了したら、ステップＳ３０２で、ユ
ーザは、所望の拡大率を図２のキーボード２１０やマウ
ス２０９等のユーザインターフェースを介してコンピュ
ータ１０２に入力する。
【００３８】なお、ここでは、一例として、ズーム倍率
１倍（ワイド端）で撮影した画像を８倍に拡大（変倍）
する場合（画素数を縦横方向に夫々８倍にする場合）に
ついて説明する。また、撮像装置１０２の撮像レンズ１
０３のズーム倍率は１〜３倍の範囲で設定可能（即ち、
ズーム比が３倍）であるものとする。
【００３９】ステップＳ３０３では、撮像すべき画像の
枚数とズーム倍率（或いは、ズーム倍率のみを複数個）
を設定する。これらの値は、ユーザが目的に応じて、拡
大率を指定する場合と同様の方法を用いて、任意に設定
することができる。ただし、ここでは、説明の簡単化の
ため、１、２、３倍のズーム倍率で３枚の画像を撮影す
るものとする。
【００４０】この実施の形態では、ステップＳ３０３で
設定したズーム倍率のうち最もワイド側のズーム倍率
（ここでは、１倍、即ちワイド端）で撮影した画像をス
テップＳ３０２で設定した拡大率で拡大すると共に、他
のズーム倍率で撮影した画像を変倍し、これらの画像を
合成し、合成した画像の画素間を補間することにより、
最終的な画像を生成する。
【００４１】ステップＳ３０４〜Ｓ３０６では、撮像装
置が三脚等の固定具で固定された状態で、設定された複
数のズーム倍率で被写体を撮影する。即ち、ステップＳ
３０４では、コンピュータ１０２（ＣＰＵ２０１）は、
前処理で得た図７に示すデータを参照しながら、ユーザ
が設定した倍率（ここでは、１倍、２倍、３倍）のズー
ム倍率に対応する変倍レンズ１０４の位置を補間・内挿
法によって算出し（図７に示すデータ中に当該倍率に対
応するデータが存在する場合には該データをそのまま使
用する）、算出値をバスインターフェース２０７及び１
１４を介して撮像装置１０１に転送する。
【００４２】これに応答して、撮像装置１０１内の全体
制御部１１３は、コンピュータ１０２から受信した算出
値（変倍ズームの位置）を変倍レンズ位置設定・読出部
１１１に転送し、ズーム制御部１０９は、その値に応じ
て不図示のモータを駆動して変倍レンズ１０４の位置を
制御する。
【００４３】ステップＳ３０５では、撮像装置１０１の
全体制御部１１３は、コンピュータ１０２からの制御の
下で、フォーカスレンズ１０５を調整して焦点を合わ
せ、被写体を撮影し、その映像信号（ＮＴＳＣ等）をコ
ンピュータ１０２に転送する。コンピュータ１０２は、
撮像装置１０１から出力された映像信号を映像キャプチ
ャボード２０５を用いて取り込み、主記憶装置２０３上
に確保したメモリ領域（以下、フレームメモリと呼ぶ）
に一時的に保存する。
【００４４】また、これと同時に、コンピュータ１０２
は、撮像装置１０１から変倍レンズ１０４及びフォーカ
スレンズ１０５の位置、露出情報並びに被写体距離等の
カメラパラメータをバスインターフェース１１４及び２
０７を介して撮像装置１０１から読み出す。主記憶装置
２０３に一時的に保存された画像は、カメラパラメータ
（付加情報）と共に２次記憶装置（ハードディスク等）
２０４に保存される。図８は、２次記憶装置２０４に保
存される付加情報付き撮像画像のフォーマットの一例を
示す図である。
【００４５】ステップＳ３０６では、設定された倍率で
の被写体の撮影が全て終了したか否かを判断し、未だ終
了していなければステップＳ３０４に戻り、撮影が完了
していればステップＳ３０７に進む。この例では、１、
２、３倍のズーム倍率で被写体を３回撮影した後に、ス
テップＳ３０７に進む。
【００４６】ステップＳ３０７では、合成処理を行う。
合成処理では、まず、各ズーム倍率で撮影した画像を変
倍した際の画素位置を算出する。具体的には、次の通り
である。
【００４７】ステップＳ３０２で設定された画像の拡大
率Ｚ０倍とし、ステップＳ３０４〜Ｓ３０６でＮ枚撮影
した画像（この例では、ズーム倍率１倍、２倍、３倍の
３枚の画像、即ちＮ＝３）のズーム倍率をＺn（ｎ：１
〜Ｎ）とする。ここで、ズーム倍率は、画像（データ）
に付随するカメラパラメータに含まれる変倍レンズの位
置情報（図８参照）とズーム倍率特性（図６、図７参
照）に基づいて取得することができる。
【００４８】この処理では、図９に示すように、図７に
示すズーム中心（Xcenter,Ycenter）を原点とする座標
系で各撮影画像を表現することにより各撮影画像のズー
ム中心を一致させる。
【００４９】撮影画像ｎ内の座標（ｘｎ，ｙｎ）にある
画素は、拡大（変倍）後の画像では座標（Ｚ０・ｘｎ／
Ｚｎ，Ｚ０・ｙｎ／Ｚｎ）に配置される。図１０は、ズ
ーム倍率１倍で撮影した画像を縦横に夫々８倍（Ｚ０＝
８）に拡大するために、ズーム倍率１倍、２倍、３倍で
撮影した画像を合成する処理の一例を示す図である。図
１０において、白丸は、ズーム倍率１倍（Ｚ１＝１）で
撮影した画像の画素、三角は、ズーム倍率２倍（Ｚ２＝
２）で撮影した画像の画素、星印は、ズーム倍率３倍
（Ｚ３＝３）で撮影した画像の画素を示している。ま
た、斜線を付した丸印は、ズーム中心を示している。な
お、撮影画像のサイズは、説明の簡単化のため、縦５×
横７画素としている。
【００５０】合成処理（ステップＳ３０７）が終了する
と、ステップＳ３０８において、格子点上の画素の画素
値を決定する補間処理を実行する。この実施の形態で
は、内挿補間すべき画素の値を、少なくとも２つの補間
方法、例えば、透過型双線形内挿補間法及び最近隣内挿
補間法（nearest neighbor interpolation）を選択的に
適用して決定する。ここで、最近隣内挿補間法とは、内
挿補間すべき画素の値を、画像の合成によって配置され
た画素のうち最も近い画素の値とする方法である。
【００５１】透過型双線形内挿補間法については、図１
２〜図１４に示す例に従って説明する。図１２〜図１４
において、ハッチングが付された被補間画素をその４つ
の近隣画素を用いて内挿補間する。ここで、近隣画素を
選択する際のルールは、例えば以下の通りである。 （１）被補間画素を原点とし、各象限毎に１つ、最も近
隣の画素を選択する。 （２）合成によって画素が重なっている格子点について
は、よりズーム倍率が大きい画像の画素値を選択する。
【００５２】以上のルールを図１２に示す例に適用する
と、図１２において直線で結ばれた４つの画素が、近隣
画素として選択される。なお、図１２では、左上の画素
については○（ズーム倍率１倍）ではなく、△（ズーム
倍率２倍）が選択されている。
【００５３】被補間画素の値は、選択された４つの近隣
画素値Pn(n:1〜4)と距離情報Dn(n:1〜4)を、例えば以下
の式に代入することで決定される。
【００５４】
【数１】
【００５５】・・・（１） また、図１３（ａ）の例のように、被補間画素が存在す
る垂直ライン或いは水平ライン上に近隣画素が存在する
場合には、それらの近隣画素がどの象限に含まれるかを
判断しなければならない。
【００５６】そこで、例えば図１３（ｂ）に示すような
ルールを追加する。すなわち、被補間画素を中心にして
時計周りに近隣画素を回転させた時に当該近隣画素が属
する象限に当該近隣画素が属するものとする。このルー
ルに基づくと、図１３（ａ）に例では、直線で結ばれた
４つの近隣画素が選択される。これらの近隣画素の画素
値と距離情報に基づいて、（１）式に従って被補間画素
の画素値を決定することができる。
【００５７】また、上述のルールを適用することができ
ない画像端の画素については、図１４に示すように、最
も近隣の２点から以下の式を用いて内挿補間処理を行
う。
【００５８】
【数２】
【００５９】・・・（２） さらに、被補間画素と補間に用いる近隣画素までの距離
に応じて重み付けを行う手法も有効である。以下、この
方法について説明する。
【００６０】図１５に示す例では、上記のルールに従う
と、実線で結ばれた４つの近隣画素が選択される。被補
間画素の画素値Ｐは、選択された４つの近隣画素の画素
値Ｐｎと、被補間画素からの距離Ｄｎを用いて、以下の
式により算出する。
【００６１】
【数３】
【００６２】・・・（３） なお、上式においてＷｎは重み係数であり、
【００６３】
【数４】 ・・・（４） を満たしている。
【００６４】では、少なくとも２つの補間方法を選択的
に適用する補間処理（ステップＳ３０８）の一例とし
て、最近隣内装補間法及び透過型双線形内挿補間法を選
択的に適用する補間処理について、図１６を参照しなが
ら説明する。
【００６５】まず、ステップＳ４０１において被補間点
を定め、ステップＳ４０２においてその近隣の画素４点
を上記のルールに従って定める。
【００６６】ステップＳ４０３では、被補間画素と４つ
の近隣画素との各距離Ｄを求め、この距離が最も小さい
近隣画素を最近隣画素とする。
【００６７】ステップＳ４０４では、閾値距離をＳと
し、閾値距離Ｓ内の距離に最近隣画素が存在するか否か
を判定し、存在すれば、ステップＳ４０６において、上
記の最近隣内挿補間法により、当該最近隣画素の画素値
を被補間点の画素値とする。一方、閾値距離Ｓ内に最近
隣画素が存在しないと判定された場合は、ステップＳ４
０５において上記の透過型双線形内挿補間法を適用し
て、ステップＳ４０２で決定された４点の画素の画素値
に基づいて被補間点の画素値を決定する。この際、
（４）式に示すように、画素間の距離に応じた重み付け
を行ってもよい。図１７は、図１６に示す補間処理を模
式的に示す図である。
【００６８】ステップＳ４０７では、合成された画像中
の全ての被補間点の補間が終了したか否かを判断し、被
補間点が残っている場合には、ステップＳ４０２に戻っ
て上記の処理を繰り返す。
【００６９】このような補間処理を経て生成された最終
画像は、ステップＳ３０９において、図２に示すディス
プレイ２０８に表示され、又は、記憶装置２０４に保存
され、又は、ネットワークインターフェース２０６を介
してネットワークに配信され得る。
【００７０】以上のように、被補間画素と、合成された
画像中の画素のうち被補間画素の近隣の画素との距離に
応じて補間方法（補間規則）を決定し、該補間方法に従
って補間処理を行うことにより、高品位の画像を高速に
生成することができる。特に、補間方法として、透過型
双線形内挿補間法及び最近隣内挿補間法を採用すること
により、前記距離が短い場合には演算量の負担が軽い最
近隣内挿補間法により被補間画素の画素値を高速且つ精
度よく決定し、前記距離が長い場合には精度の高い透過
型双線形内挿補間法により被補間画素の画素値を精度よ
く決定することができ、全体として、高品位の画像を高
速に生成することができる。
【００７１】［第２の実施の形態］第１の実施の形態で
は、常に同一の閾値距離を基準として補間方法を選択す
るが、この実施の形態では、画像の拡大率に応じて閾値
距離を変化させる。
【００７２】即ち、この実施の形態では、画像の拡大率
Ｋ０のときの閾値距離Ｓ０を基準として、画像の拡大率
Ｋのときの閾値距離Ｓを、例えば以下の式に従って決定
する。
【００７３】
【数５】
【００７４】・・・（５） ここで、（５）式の代わりに、例えば、拡大率Ｋに応じ
て閾値距離Ｓを段階的に決定してもよい。
【００７５】図１８には、画像の拡大率に応じて閾値距
離を定める方法の一例が示されている。
【００７６】［第３の実施の形態］第１及び第２の実施
の形態では、画像内において中心部分と周辺部分で同一
の閾値距離を基準として画素間補間を行なうが、この実
施の形態では、画像内の被補間点の位置を考慮して閾値
距離を決定する。
【００７７】複数の画像を合成した場合、その画素密度
は中心付近に比較して周辺部では疎である。そこで、こ
の実施の形態では、中心付近の被補間点は閾値距離を小
さくし、中心から離れて周辺部になるほど閾値距離を大
きくする。
【００７８】例えば、ズーム中心位置を(a,b)とし、被
補間点の位置を(A,B)とすると、ズーム中心からの距離
Ｌは、
【００７９】
【数６】 ・・・（６） である。
【００８０】この実施の形態では、ズーム中心からの距
離Ｌ０のときの閾値距離Ｓ０を基準として、ズーム中心
と被補間点との距離Ｌのときの閾値距離Ｓを、例えば以
下の式に従って決定する。
【００８１】
【数７】
【００８２】・・・（７） ここで、式（７）の代わりに、例えば、距離Ｌに応じて
閾値距離Ｓを段階的に決定してもよい。
【００８３】図１９には、ズーム中心位置と被補間点と
の距離に応じて閾値距離を決定する方法の一例が示され
ている。
【００８４】［第４の実施の形態］この実施の形態で
は、画像の拡大率と画像内の補間点の位置の双方を考慮
して閾値距離を決定する。
【００８５】この実施の形態では、画像の拡大率Ｋ０、
ズーム中心からの距離Ｌ０のときの閾値距離Ｓ０を基準
として、画像の拡大率Ｋ、ズーム中心から被補間点まで
の距離Ｌのときの閾値距離Ｓを、例えば以下の式に従っ
て決定する。
【００８６】
【数８】
【００８７】・・・（８） ここで、式（８）の代わりに、例えば、拡大率Ｋ及び距
離Ｌの値に応じて閾値距離Ｓを段階的に決定してもよ
い。
【００８８】［その他の実施の形態］上記の各実施の形
態では、撮像装置１０１とコンピュータ１０２とは別体
をなすが、コンピュータ１０２の機能を撮像装置１０１
に組み込んでもよい。この場合、撮像装置単体で上記の
実施の形態のような高精細な画像を簡単な方法で生成す
ることができる。また、この場合、生成した画像は、撮
像装置に接続されたメモリ媒体に格納することもできる
し、外部装置に転送することもできる。
【００８９】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはCPUやMPU）が記憶媒体に格納されたプログ
ラムコードを読み出し実行することによっても、達成さ
れることは言うまでもない。この場合、記憶媒体から読
み出されたプログラムコード自体が前述した実施形態の
機能を実現することになり、そのプログラムコードを記
憶した記憶媒体は本発明を構成することになる。また、
コンピュータが読み出したプログラムコードを実行する
ことにより、前述した実施形態の機能が実現されるだけ
でなく、そのプログラムコードの指示に基づき、コンピ
ュータ上で稼働しているオペレーティングシステム(OS)
などが実際の処理の一部または全部を行い、その処理に
よって前述した実施形態の機能が実現される場合も含ま
れることは言うまでもない。
【００９０】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【００９１】
【発明の効果】本発明によれば、高速に高品位の画像を
生成することができる。
【図面の簡単な説明】
【図1】本発明の好適な実施の形態に係る画像処理シス
テムの概略構成を示す図である。
【図2】高精細画像を生成する処理を実行するコンピュ
ータの概略構成図である。
【図3】コンピュータによって実行される高精細画像の
生成処理のアルゴリズムを示すフローチャートである。
【図4】テストチャートを示す図である。
【図5】画像中心とズーム中心との関係を示す図であ
る。
【図6】ズーム倍率特性を示す図である。
【図7】コンピュータのメモリ（例えば、ＤＲＡＭ、ハ
ードディスク等）に保存されるズーム中心(Xcenter,Yce
nter)及びズーム倍率特性のデータフォーマットの一例
を示す図である。
【図8】２次記憶装置に保存される付加情報付きの撮像
画像のフォーマットの一例を示す図である。
【図9】ズーム中心を原点とした座標系を示す図であ
る。
【図10】ズーム倍率１倍で撮像した画像を縦横に夫々８
倍に拡大するために、ズーム倍率１倍、２倍、３倍で撮
像した画像を合成する処理の一例を示す図である。
【図11】補間方法を模式的に示す図である。
【図12】補間方法の一例を模式的に示す図である。
【図13】補間方法の一例を模式的に示す図である。
【図14】補間方法の一例を模式的に示す図である。
【図15】補間方法の一例を模式的に示す図である。
【図16】第１の実施の形態に係る補間処理の流れを示す
図である。
【図17】第１の実施の形態に係る補間処理を模式的に示
す図である。
【図18】第２の実施の形態に係る閾値距離の決定方法を
示す図である。
【図19】第３の実施の形態に係る閾値距離の決定方法を
示す図である。
【符号の説明】
101 カメラ部 102 コンピュータ 103 撮像レンズ 104 変倍レンズ 105 フォーカスレンズ 106 撮像素子 107 カメラプロセス部 108 合焦制御部 109 ズーム制御部 110 フォーカスレンズ位置設定読み出し部 111 変倍レンズ位置設定読み出し部 112 被写体距離計測部 113 全体制御部 114 バスインターフェース 201 CPU 202 ROM 203 主記憶装置（DRAM） 204 2次記憶装置（ハードディスク） 205 映像キャプチャボード 206 ネットワークインターフェース 207 バスインターフェース 208 ディスプレイ 209 マウス 210 キーボード 211 プリンタ
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC02 CD05 CD06 CE01 CE08 5C076 AA19 AA21 AA22 BA06 BB04 BB13 CB01

Claims (25)

    【特許請求の範囲】
  1. 【請求項１】 複数の画像を処理して１つの画像を生成
    する画像処理装置であって、 異なる倍率で撮像された複数の画像を被写体の大きさが
    同一になるように各々変倍して合成する合成手段と、 合成された画像に補間処理を施す補間手段と、 を備え、前記補間手段は、被補間画素と、合成された画
    像中の画素のうち該被補間画素の近隣の画素との距離に
    応じた補間規則に従って該被補間画素の値を決定するこ
    とを特徴とする画像処理装置。
  2. 【請求項２】 前記補間手段は、被補間画素と、合成さ
    れた画像中の画素のうち該被補間画素の最近隣の画素と
    の距離に応じた補間規則に従って該被補間画素の値を決
    定することを特徴とする請求項１に記載の画像処理装
    置。
  3. 【請求項３】 前記補間手段が選択する補間規則には、
    被補間画素の値を、前記合成された画像中の画素のうち
    該被補間画素の最近隣の１つの画素に基づいて決定する
    規則が含まれることを特徴とする請求項１又は請求項２
    に記載の画像処理装置。
  4. 【請求項４】 前記補間手段が選択する補間規則には、
    被補間画素の値を、前記合成された画像中の画素のうち
    該被補間画素の近隣の複数の画素に基づいて決定する規
    則が含まれることを特徴とする請求項１乃至請求項３の
    いずれか1項に記載の画像処理装置。
  5. 【請求項５】 前記補間手段が選択する補間規則には、
    透過型双線形内挿補間法及び最近隣内挿補間法が含まれ
    ることを特徴とする請求項１又は請求項２に記載の画像
    処理装置。
  6. 【請求項６】 前記補間手段は、 被補間画素と合成された画像中の画素のうち該被補間画
    素の近隣の画素との距離と所定の閾値距離とを比較する
    比較手段と、 前記比較手段による比較結果に基づいて補間規則を決定
    する規則決定手段と、を有することを特徴とする請求項
    １乃至請求項５のいずれか1項に記載の画像処理装置。
  7. 【請求項７】 前記補間手段は、前記閾値距離を変更す
    る閾値変更手段を有することを特徴とする請求項６に記
    載の画像処理装置。
  8. 【請求項８】 前記閾値変更手段は、前記合成手段によ
    る画像の変倍率に応じて前記閾値距離を変更することを
    特徴とする請求項７に記載の画像処理装置。
  9. 【請求項９】 前記閾値変更手段は、被補間画素の位置
    に応じて前記閾値距離を変更することを特徴とする請求
    項７に記載の画像処理装置。
  10. 【請求項１０】 前記閾値変更手段は、合成された画像
    の中心と被補間画素との距離に応じて前記閾値距離を変
    更することを特徴とする請求項７に記載の画像処理装
    置。
  11. 【請求項１１】 前記閾値変更手段は、前記画像合成手
    段による画像の変倍率及び被補間画素の位置に応じて前
    記閾値距離を変更することを特徴とする請求項７に記載
    の画像処理装置。
  12. 【請求項１２】 前記閾値変更手段は、前記画像合成手
    段による画像の変倍率及び合成された画像の中心と被補
    間画素との距離に応じて前記閾値距離を変更することを
    特徴とする請求項７に記載の画像処理装置。
  13. 【請求項１３】 複数の画像を処理して１つの画像を生
    成する画像処理方法であって、 異なる倍率で撮像された複数の画像を被写体の大きさが
    同一になるように各々変倍して合成する合成工程と、 合成された画像に補間処理を施す補間工程と、 を含み、前記補間工程では、被補間画素と、合成された
    画像中の画素のうち該被補間画素の近隣の画素との距離
    に応じた補間規則に従って該被補間画素の値を決定する
    ことを特徴とする画像処理方法。
  14. 【請求項１４】 前記補間工程は、被補間画素と、合成
    された画像中の画素のうち該被補間画素の最近隣の画素
    との距離に応じた補間規則に従って該被補間画素の値を
    決定することを特徴とする請求項１３に記載の画像処理
    方法。
  15. 【請求項１５】 前記補間工程で選択される補間規則に
    は、被補間画素の値を、前記合成された画像中の画素の
    うち該被補間画素の最近隣の１つの画素に基づいて決定
    する規則が含まれることを特徴とする請求項１３又は請
    求項１４に記載の画像処理方法。
  16. 【請求項１６】 前記補間工程で選択される補間規則に
    は、被補間画素の値を、前記合成された画像中の画素の
    うち該被補間画素の近隣の複数の画素に基づいて決定す
    る規則が含まれることを特徴とする請求項１３乃至請求
    項１５のいずれか1項に記載の画像処理方法。
  17. 【請求項１７】 前記補間工程で選択される補間規則に
    は、透過型双線形内挿補間法及び最近隣内挿補間法が含
    まれることを特徴とする請求項１３又は請求項１４に記
    載の画像処理方法。
  18. 【請求項１８】 前記補間工程は、 被補間画素と合成された画像中の画素のうち該被補間画
    素の近隣の画素との距離と所定の閾値距離とを比較する
    比較工程と、 前記比較工程における比較結果に基づいて補間規則を決
    定する規則決定工程と、 を含むことを特徴とする請求項１３乃至請求項１７のい
    ずれか1項に記載の画像処理方法。
  19. 【請求項１９】 前記補間工程は、前記閾値距離を変更
    する閾値変更工程を含むことを特徴とする請求項１８に
    記載の画像処理方法。
  20. 【請求項２０】 前記閾値変更工程では、前記合成工程
    における画像の変倍率に応じて前記閾値距離を変更する
    ことを特徴とする請求項１９に記載の画像処理装置。
  21. 【請求項２１】 前記閾値変更工程では、被補間画素の
    位置に応じて前記閾値距離を変更することを特徴とする
    請求項１９に記載の画像処理方法。
  22. 【請求項２２】 前記閾値変更工程では、合成された画
    像の中心と被補間画素との距離に応じて前記閾値距離を
    変更することを特徴とする請求項１９に記載の画像処理
    方法。
  23. 【請求項２３】 前記閾値変更工程では、前記画像合成
    工程における画像の変倍率及び被補間画素の位置に応じ
    て前記閾値距離を変更することを特徴とする請求項１９
    に記載の画像処理方法。
  24. 【請求項２４】 前記閾値変更工程では、前記画像合成
    工程における画像の変倍率及び合成された画像の中心と
    被補間画素との距離に応じて前記閾値距離を変更するこ
    とを特徴とする請求項１９に記載の画像処理方法。
  25. 【請求項２５】 複数の画像を処理して１つの画像を生
    成する画像処理プログラムを格納したメモリ媒体であっ
    て、該プログラムは、 異なる倍率で撮像された複数の画像を被写体の大きさが
    同一になるように各々変倍して合成する合成工程と、 合成された画像に補間処理を施す補間工程と、 を含み、前記補間工程では、被補間画素と、合成された
    画像中の画素のうち該被補間画素の近隣の画素との距離
    に応じた補間規則に従って該被補間画素の値を決定す
    る、 ことを特徴とするメモリ媒体。
JP2000275483A 2000-09-11 2000-09-11 画像処理装置及び画像処理方法並びにメモリ媒体 Withdrawn JP2002094765A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000275483A JP2002094765A (ja) 2000-09-11 2000-09-11 画像処理装置及び画像処理方法並びにメモリ媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000275483A JP2002094765A (ja) 2000-09-11 2000-09-11 画像処理装置及び画像処理方法並びにメモリ媒体

Publications (1)

Publication Number Publication Date
JP2002094765A true JP2002094765A (ja) 2002-03-29

Family

ID=18761096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000275483A Withdrawn JP2002094765A (ja) 2000-09-11 2000-09-11 画像処理装置及び画像処理方法並びにメモリ媒体

Country Status (1)

Country Link
JP (1) JP2002094765A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007159045A (ja) * 2005-12-08 2007-06-21 Nagasaki Univ 画像データ処理方法及び装置
JP2008287431A (ja) * 2007-05-16 2008-11-27 Panasonic Electric Works Co Ltd 画像歪み補正装置
US20100085468A1 (en) * 2008-10-06 2010-04-08 Park Byung-Kwan Apparatus and method of capturing image
US10977780B2 (en) 2017-09-28 2021-04-13 Canon Kabushiki Kaisha Image processing device, control method thereof, and imaging device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007159045A (ja) * 2005-12-08 2007-06-21 Nagasaki Univ 画像データ処理方法及び装置
JP2008287431A (ja) * 2007-05-16 2008-11-27 Panasonic Electric Works Co Ltd 画像歪み補正装置
US20100085468A1 (en) * 2008-10-06 2010-04-08 Park Byung-Kwan Apparatus and method of capturing image
US8947578B2 (en) * 2008-10-06 2015-02-03 Samsung Electronics Co., Ltd. Apparatus and method of capturing image
US10977780B2 (en) 2017-09-28 2021-04-13 Canon Kabushiki Kaisha Image processing device, control method thereof, and imaging device

Similar Documents

Publication Publication Date Title
US9262807B2 (en) Method and system for correcting a distorted input image
US9280810B2 (en) Method and system for correcting a distorted input image
JP5385740B2 (ja) 撮像装置及び画像データの補正方法
JP4935440B2 (ja) 画像処理装置およびカメラ装置
JP2009010730A (ja) 画像処理方法と該画像処理方法を用いた撮像装置
KR20070061382A (ko) 카메라 시스템, 카메라 제어 장치, 파노라마 화상 작성방법 및 컴퓨터 프로그램
JP6041651B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2008079026A (ja) 画像処理装置、画像処理方法、及び、プログラム
JPWO2005024723A1 (ja) 画像合成システム、画像合成方法及びプログラム
JP5195592B2 (ja) 映像処理装置
JP2011166300A (ja) 撮像装置及び画像処理方法
JP2000244814A (ja) 画像合成装置、画像合成方法が記録された記録媒体
JPH09294225A (ja) 画像歪み補正用パラメータ決定方法及び撮像装置
JP2008072390A (ja) 画像処理装置、画像処理方法、及びプログラム
JPH11242737A (ja) 画像処理方法及び装置並びに情報記録媒体
JP2001186533A (ja) 画像処理装置
JP6278668B2 (ja) 複眼撮像装置
JP2017143354A (ja) 画像処理装置及び画像処理方法
JP2002094860A (ja) 画像処理装置及び画像処理方法並びにメモリ媒体
JP2002094765A (ja) 画像処理装置及び画像処理方法並びにメモリ媒体
JP6777208B2 (ja) プログラム
JP6320165B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP2001177738A (ja) 画像合成方法及び画像処理装置
JP3861641B2 (ja) 画像合成装置、画像合成方法及びプログラム
JP2001157104A (ja) 画像処理装置及びその制御方法並びにその制御に供するメモリ媒体

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20071204