JP2009147830A - 画像処理装置、画像処理システム、画像処理装置の制御方法、画像処理装置制御プログラム、該プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

画像処理装置、画像処理システム、画像処理装置の制御方法、画像処理装置制御プログラム、該プログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP2009147830A
JP2009147830A JP2007325271A JP2007325271A JP2009147830A JP 2009147830 A JP2009147830 A JP 2009147830A JP 2007325271 A JP2007325271 A JP 2007325271A JP 2007325271 A JP2007325271 A JP 2007325271A JP 2009147830 A JP2009147830 A JP 2009147830A
Authority
JP
Japan
Prior art keywords
image data
resolution
captured image
captured
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007325271A
Other languages
English (en)
Other versions
JP4355744B2 (ja
Inventor
Shuhei Yamamoto
修平 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2007325271A priority Critical patent/JP4355744B2/ja
Priority to CN200880121068.8A priority patent/CN101896934B/zh
Priority to PCT/JP2008/072977 priority patent/WO2009078437A1/ja
Publication of JP2009147830A publication Critical patent/JP2009147830A/ja
Application granted granted Critical
Publication of JP4355744B2 publication Critical patent/JP4355744B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Abstract

【課題】撮像画像データに含まれる不適正露光画素の高解像度画像データに対する影響を軽減する。
【解決手段】本発明の超解像処理部２５は、差分画像データを生成する差分画像生成部３３と、上記差分画像データに基づいて評価値を算出すると共に、該評価値が予め定めた閾値以上である場合に、該評価値が小さくなるように上記高解像度画像データを更新する画像更新部３７と、撮像画像データから不適正露光画素を含む第１領域を抽出する領域抽出部３５と、上記差分画像データの上記第１領域に対応する画素に重み付けを行う重み付け差分画像生成部３６とを備え、上記画像更新部３７は、上記重み付けを行った複数の差分画像データを用いて上記高解像度画像データを更新するので、撮像画像データの中に不適正露光画素が含まれている場合であっても、撮像対象の形状や色彩が正確に反映された高精度な高解像度画像データを生成することができる。
【選択図】図１

Description

本発明は、複数の低解像度画像データから１つの高解像度画像データを生成する画像処理装置等に関するものである。
エリアセンサ等の撮像装置で撮像された画像の解像度は、当該撮像装置が有する撮像素子の密度に依存している。撮像装置のユーザは、より解像度の高い画像を撮像できる撮像装置を求めており、カメラメーカ各社は、解像度に対するユーザの要求に応じるために、撮像素子密度の高い高解像度カメラを次々と発売している。
しかしながら、撮像素子の高密度化にも限界はあり、また高密度化することにより撮像装置の製造コストが増大するという問題もある。そこで、同一の撮像対象に対して、少しずつ撮像位置をずらしながら複数回の撮像を行い、撮像された複数の撮像画像データを合成して、該撮像画像データよりも解像度の高い高解像度画像データを生成する高解像度化技術が従来から用いられている。
画像の高解像度化技術は、一般的にイメージシフト処理と超解像処理との二種類に分けられる。イメージシフト処理では、同一の撮像対象について少しずつ撮像位置をずらしながら複数回の撮像を行う。そして、複数の撮像画像データのそれぞれに含まれる画素と、高解像度画像データの画素との位置の対応を求め、撮像画像データの各画素の輝度値を高解像度画像データの各画素にマッピングすることにより、複数の撮像画像データを反映させた高解像度画像データを生成する。
なお、イメージシフト処理では、撮像画像データの全画素を高解像度画像データの画素にマッピングする必要があるため、撮像画像データの撮像位置及び撮像枚数は固定とする必要がある。したがって、イメージシフト処理では、低い計算コストで高解像度画像データを生成できるという利点を有している反面、解像度を飛躍的に向上させることは難しいという難点も有している。
一方、超解像処理では、まずイメージシフト処理と同様に、同一の撮像対象について少しずつ撮像位置をずらしながら複数回の撮像を行う。そして、超解像処理では、高解像度画像データを推定し、推定した高解像度画像と、上記複数回の撮像にて得られた複数の撮像画像データとの差が小さくなるように上記仮定した高解像度画像データを更新する。
このような方式の超解像処理は、再構成型超解像処理と呼ばれている。再構成型超解像処理としては、例えばＭＬ（Maximum-likelihood）法、ＭＡＰ（Maximum A Posterior）法や、ＰＯＣＳ（Projection On to Convex Set）法等が一般に知られており、下記の非特許文献１及び特許文献１にも開示されている。
再構成型超解像処理では、使用する低解像度画像データ（撮像画像データ）の枚数に制限がないため、解像度を飛躍的に向上させることができる。その反面、再構成型超解像処理では、高解像度画像データの更新に繰り返し演算が用いられるので、イメージシフト処理と比べて、一般に計算コストが高くなる。
以下では、超解像処理についてより詳細に説明する。超解像処理（再構成型）は、生成される高解像度画像に対して定義される評価関数の最適化問題として定式化される。つまり、超解像処理は、「推定された撮像画像データ（高解像度画像データ）」と「観測された撮像画像データ（撮像画像データ）」との二乗誤差に基づく評価関数（誤差項）の最適化問題に帰着される。なお、超解像処理は、未知数の非常に大きな最適化計算であるため、その評価関数の最適化には例えば最急降下法などの繰返し計算法がよく利用される。
また、高解像度画像データの特性が既知である場合には、その高解像度画像データの特性に基づく評価関数（拘束項）を評価関数（誤差項）に付加してもよい。例えば、高解像度画像データのエッジ成分が小さいことが予めわかっている場合には、高解像度画像データにラプラシアンフィルタを乗じた画像データに基づく評価関数（拘束項）を付加すればよい。これにより、高解像度画像データのエッジ成分が小さいということを超解像処理に反映させることができるので、高解像度化の精度を向上させることができる。
ここで、従来の超解像処理方法における処理の流れについて図２２に基づいて説明する。図２２は、従来の超解像処理方法の一例を示すフローチャートである。ここでは、撮像位置を少しずつずらしながら同一の撮像対象を撮像したｍ枚の撮像画像データから、１枚の高解像度画像データを生成することを想定している（ｍは正数）。なお、ｍは、撮像画像データを何倍に高解像度化するかに応じて決定される。具体的には、撮像画像データをｘ倍に高解像度化する場合には、少なくともｘ２枚の撮像画像データが必要となる。
撮像対象の撮像方法について、図２３に基づいて説明する。図２３は、超解像処理に用いる撮像画像データの撮像方法の一例を示す図である。なお、同図では簡単のため、９枚の撮像画像データを用いて１枚の高解像度画像データを生成する例、すなわちｍ＝９であり、撮像画像データを３倍に高解像度化する例を示している。また、各撮像画像データは、図示のように縦５画素、横５画素の２５画素で構成されていることを想定している。
撮像画像データを３倍に高解像度化する場合には、撮像画像データの１画素の１／３ピッチで撮像位置を移動させながら、各撮像位置にて１回ずつ撮像を行う。これにより、図示のような、撮像画像データの１画素の１／３ピッチずつ撮像位置のずれた９枚の撮像画像データが取得される。同図では、各撮像画像データの撮像位置を１〜９の数字で示している。すなわち、各画素に付された数字は撮像位置を示している。例えば、同図の左上に記載されている撮像画像データの各画素には、１という数字が付されており、これは、同図の左上に記載されている撮像画像データの各画素が、撮像位置１で撮像されたことを示している。
なお、撮像対象の形状及び色彩を正確に反映させた高解像度画像データを生成するためには、各撮像画像データを同一の撮像条件にて撮像する必要がある。ここで、撮像条件とは、露光時間（シャッタースピード）、照明強度、撮像感度、使用するフィルタ、及びアイリスの少なくとも１つを指す。同図の例では、このような撮像条件を各撮像位置にて同一にしており、同図ではこの撮像条件をａで示している。すなわち、各画素に付された英字は撮像条件を示している。
ここで、フローチャートの説明に戻る。従来の超解像処理方法では、上記のようにして撮像された１枚目からｍ枚目までのｍ枚の撮像画像データｙｍを取得する（Ｓ１０１）。なお、ｙｍは、上記１枚目からｍ枚目までのｍ枚の撮像画像データをベクトルとして表現したものであり、下記の数式（１）で表される。
なお、画像データのベクトル表現とは、上記数式（１）のように画像データの構成要素を一列に並べた１行のベクトルとして表現したものを指す。例えば、画像データを構成する要素のサイズが横Ｗ×縦Ｈである場合には、当該画像データは、１行×（Ｗ×Ｈ）列のベクトルとして表現される。
ここで、上述のように、超解像処理は、「推定された撮像画像データ（高解像度画像データ）」と「観測された撮像画像データ（撮像画像データ）」との二乗誤差に基づく評価関数（誤差項）の最適化問題に帰着される。すなわち、超解像処理を行うためには、複数の撮像画像データと、当該複数の撮像画像データから推定される高解像度画像データとが必要である。
しかしながら、撮像画像データｙｍを取得した段階では、撮像画像データｙｍから推定される高解像度画像データを取得することはできない。そこで、次のステップでは初期高解像度画像データｈを取得する（Ｓ１０２）。初期高解像度画像データｈは、撮像画像データよりも解像度が高い（画像を構成する画素数が多い）画像データである。なお、ｈは、高解像度画像データをベクトルとして表現したものである。
ここで、初期高解像度画像データについて図２４に基づいて説明する。図２４は、初期高解像度画像データの一例を示す図である。なお、同図では、図２３の例の撮像画像データと同様に、縦５画素、横５画素の２５画素で構成されている撮像画像データを３倍に高解像度化する例を示している。
縦５×横５の２５画素で構成されている撮像画像データを３倍に高解像度化する場合には、縦５×３画素、横５×３画素の計２２５画素を有する高解像度画像データが生成されることになる。そこで、縦５×３画素、横５×３画素の画像データをベクトルとして表したデータを、初期高解像度画像データｈとして予め用意しておく。なお、撮像画像データを３倍に高解像度化する場合には、高解像度画像データの各画素のサイズは、撮像画像データの各画素のサイズの１／３倍になる。
なお、初期高解像度画像データは、超解像処理によって撮像画像データとの差異が小さくなるように更新されるので、高解像度画像データの初期値、すなわち初期高解像度画像データの各画素の輝度値は、どのような値であってもよい。例えば、画像の全面が均一の灰色画像や黒画像、または白画像を初期高解像度画像データとして用いることができる。また、撮像画像データの中から選択した任意の１枚を初期高解像度画像データとして用いてもよい。
ここで、図２３と図２４とを比較すれば分かるように、初期高解像度画像データｈと撮像画像データｙｍとでは、各画素のサイズ及び画素数が異なり、また撮像対象の撮像位置も異なっているので、高解像度画像データｈと撮像画像データｙｍとの差分を直接に計算することはできない。そこで、Ｓ１０１及びＳ１０２にて撮像画像データｙｍ及び高解像度画像データｈを取得すると、高解像度画像データｈを撮像画像データｙｍに位置合わせすると共に低解像度化して、ｍ枚の擬似低解像度画像データＢｍｈを生成する（Ｓ１０３）。
なお、Ｂｍは、高解像度画像データｈを撮像画像データｙｍに位置合わせすると共に低解像度化する行列である。Ｂｍは、下記の数式（２）に示すように、Ｍ１〜ＭｍとＣとの積で表される行列である。そして、行列Ｍ１〜Ｍｍは、高解像度画像データｈを撮像画像データｙｍの撮像位置に位置合わせした後、撮像画像データｙｍの各画素位置に相当する画素の輝度値をサンプリングする処理を示す行列である。また、Ｃは、観測モデル（撮像装置のカメラモデル）においてボケの原因となる点広がり関数（ＰＳＦ：Point Spread Function）を用いたコンボリューション（畳み込んで画像をぼかす処理）を表す行列である。
擬似低解像度画像データは、例えば図２５のようになる。図２５は、擬似低解像度画像データの一例を示す図である。なお、同図では、図２４の高解像度画像データを図２３の撮像画像データに位置合わせして生成された擬似低解像度画像データの例を示している。図示のように、擬似低解像度画像データは、撮像画像データ撮像位置１〜９のそれぞれに対応する９枚の画像データより成る。
次に、上記Ｓ１０３にて生成した擬似低解像度画像データＢｍｈと撮像画像データｙｍとの差分を計算し、差分画像データＸｍを算出する（Ｓ１０４）。この差分画像データＸｍが「推定された撮像画像データ（高解像度画像データ）」と「観測された撮像画像データ（撮像画像データ）」との誤差である。
続いて、上記算出した差分画像データＸｍを評価関数に代入して、高解像度化の精度（高解像度画像データと撮像画像データとが相違している程度）を示す評価値Ｅを求める（Ｓ１０５）。評価関数としては、公知の様々なものを適用することができるが、例えば下記の数式（３）に示す評価関数を用いることによって、評価値Ｅを求めることができる。
上記数式（３）は、ＭＡＰ法と呼ばれる超解像処理手法にて使用される評価関数である。数式（３）は、誤差項と拘束項とから成る数式であり、数式（３）の右辺におけるＢｍｈ−ｙｍすなわち差分画像データＸｍが誤差項である。そして、数式（３）の右辺におけるｗ、Ｌ、及びｈの文字が含まれている項が拘束項である。なお、Ｌは高解像度画像データｈの事前確率情報を表す行列であり、ｗは拘束項の強さを表すパラメータである。このような拘束項を評価関数に組み込むことにより、高解像度画像データの事前確率情報を反映させて、より高精度な超解像処理を行うことができる。
この数式（３）に差分画像データＸｍを代入して得られる値が評価値Ｅである。高解像度画像データｈが撮像画像データｙｍを正確に反映させているほど誤差項の値が小さくなり、それに伴って評価値Ｅも小さくなる。したがって、超解像処理は、評価値Ｅを最小化する高解像度画像データｈを探索する処理であるということができる。
次に、上記算出した評価値Ｅの値と、予め設定した閾値とを比較する（Ｓ１０６）。そして、評価値Ｅの値が上記閾値よりも小さい場合（Ｓ１０６でＹＥＳ）には、当該評価値Ｅの算出に用いた高解像度画像データｈを、超解像処理の結果として得られた最終的な高解像度画像データｈとして超解像処理を終了する。
なお、上記閾値は、要求される高解像度化の精度に応じて適宜変更することができる。例えば、より高い精度の高解像度化が要求される場合には、上記閾値を小さく設定すればよく、高解像度化精度は余り要求されないが、迅速な処理速度が要求される場合には、上記閾値を大きく設定すればよい。すなわち、上記閾値は、超解像処理の精度を決定するための値であり、超解像処理に要求される様々な条件に合わせて適宜設定することができる。
一方、評価値Ｅの値が上記閾値以上である場合（Ｓ１０６でＮＯ）には、評価値Ｅの値が小さくなるように繰り返し演算を行って、高解像度画像データｈを更新する（Ｓ１０７）。例えば、下記の数式（４）を用いることによって、高解像度画像データｈを更新することができる。
数式（４）は、最急降下法にて用いられる数式である。数式（４）によれば、高解像度画像データｈｋから、差分画像データに予め定めた重みβを掛け合わせた値を引くことにより、新規の高解像度画像データｈｋ＋１が生成されるようになっている。この演算を繰り返すことによって、評価値Ｅの値がより小さくなる高解像度画像データｈが生成される。なお、繰り返し演算には、最急降下法に限らず公知の繰り返し演算手法を適用することができる。
このようにして更新された高解像度画像データｈは、再度Ｓ１０３にて擬似的に低解像度化され、Ｓ１０４及びＳ１０５にて評価値Ｅの算出に用いられる。そして、Ｓ１０６にて再度評価値と閾値との比較が行われる。すなわち、超解像処理では、評価値Ｅの値が閾値よりも小さくなるまでＳ１０３〜Ｓ１０７の処理が繰り返し行われる。そして、評価値Ｅの値が閾値よりも小さくなったときの高解像度画像データｈを、超解像処理の結果として得られた最終的な高解像度画像データｈとして超解像処理を終了する。これにより、所望の倍率及び所望の精度で高解像度化された高解像度画像データｈを得ることができる。
以上のように、超解像処理やイメージシフト処理によって、複数の低解像度画像データから高解像度画像データを生成することができ、これにより、撮像装置の解像度を超える、精細な画像データを生成することが可能になる。
杉本茂樹、奥富正敏、"画像の超解像度化処理"、日本ロボット学会誌、2005年、Vol.23、No.3、p.305-309 特開２００６−１２７２４１号公報（２００６年５月１８日公開）
ところで、撮像素子は人の目に比べて、一度に捉えることのできる光の範囲（ダイナミックレンジ）が狭くなっている。そのため、広いダイナミックレンジを持つ撮像対象を撮像した場合に、撮像画像データに白とびや黒つぶれが生じることがある。そして、白とびや黒つぶれが発生した箇所は撮像対象の色彩や形状を表すデータとはならない。
したがって、超解像処理やイメージシフト処理に用いる複数の低解像度画像データ（撮像画像データ）の中に、白とびや黒つぶれが生じたものが含まれている場合には、撮像対象の形状や色彩が高解像度画像データに正確に反映されず、そのため高解像度化処理の精度が低下するという問題が生じる。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、超解像処理に用いる複数の低解像度画像データ（撮像画像データ）の中に、白とびや黒つぶれが生じたものが含まれている場合であっても、撮像対象の形状や色彩が正確に反映された高精度な高解像度画像データを生成することのできる画像処理装置等を実現することにある。
本発明に係る画像処理装置は、上記課題を解決するために、撮像対象を、高解像度化倍率に応じた数の低解像度の撮像画像データに基づいて高解像度化した高解像度画像データを生成する画像処理装置であって、上記高解像度画像データを、上記複数の撮像画像データの一つに対して位置合わせし、上記撮像画像データと同じ解像度に変換し、当該撮像画像データを撮像した撮像装置のカメラモデルから得られる点広がり関数を乗じて擬似低解像度画像データを生成し、該擬似低解像度画像データと当該撮像画像データとの差分を取る処理を、上記複数の撮像画像データのそれぞれに対して行って、複数の差分画像データを生成する差分画像生成手段と、上記差分画像生成手段が生成した上記複数の差分画像データに基づいて、上記高解像度画像データと上記複数の撮像画像データとの誤差を示す評価値を算出すると共に、該評価値が予め定めた閾値以上である場合に、該評価値が小さくなるように上記高解像度画像データを更新する画像更新手段とを備えていると共に、上記複数の撮像画像データの各画素について、その輝度値が予め定めた正常範囲内であるか否かを判断する適正露光画素判断手段と、上記複数の撮像画像データの一つと対応する一つの差分画像データにおいて、上記適正露光画素判断手段が上記複数の撮像画像データの一つにおいて正常範囲内ではないと判断した画素に対応する位置に存在する対象画素の上記評価値に対する寄与が小さくなるように、上記対象画素に重み付けを行う処理を、上記複数の差分画像データのそれぞれに対して行う重み付け差分画像生成手段とをさらに備え、上記画像更新手段は、上記重み付け差分画像生成手段が重み付けを行った上記複数の差分画像データを用いて上記高解像度画像データを更新することを特徴としている。
また、本発明に係る画像処理装置の制御方法は、上記課題を解決するために、撮像対象を、高解像度化倍率に応じた数の低解像度の撮像画像データに基づいて高解像度化した高解像度画像データを生成する画像処理装置の制御方法であって、上記高解像度画像データを、上記複数の撮像画像データの一つに対して位置合わせし、上記撮像画像データと同じ解像度に変換し、当該撮像画像データを撮像した撮像装置のカメラモデルから得られる点広がり関数を乗じて擬似低解像度画像データを生成し、該擬似低解像度画像データと当該撮像画像データとの差分を取る処理を、上記複数の撮像画像データのそれぞれに対して行って、複数の差分画像データを生成する差分画像生成ステップと、上記差分画像生成ステップにて生成した上記複数の差分画像データに基づいて、上記高解像度画像データと上記複数の撮像画像データとの誤差を示す評価値を算出すると共に、該評価値が予め定めた閾値以上である場合に、該評価値が小さくなるように上記高解像度画像データを更新する画像更新ステップとを含み、上記複数の撮像画像データの各画素について、その輝度値が予め定めた正常範囲内であるか否かを判断する適正露光画素判断ステップと、上記複数の撮像画像データの一つと対応する一つの差分画像データにおいて、上記適正露光画素判断ステップにて上記複数の撮像画像データの一つにおいて正常範囲内ではないと判断した画素に対応する位置に存在する対象画素の上記評価値に対する寄与が小さくなるように、上記対象画素に重み付けを行う処理を、上記複数の差分画像データのそれぞれに対して行う重み付け差分画像生成ステップとさらに含み、上記画像更新ステップでは、上記重み付け差分画像生成ステップにて重み付けを行った上記複数の差分画像データを用いて上記高解像度画像データを更新することを特徴としている。
上記の構成によれば、１枚の高解像度画像データを生成するために用いられる複数枚の撮像画像データのそれぞれについて、各画素が予め定めた正常範囲内であるか否かが判断される。なお、正常範囲とは、当該画素が適正露光されているとみなすことのできる輝度値の範囲（ダイナミックレンジ）である。
また、上記の構成によれば、差分画像データの画素のうち、撮像画像データにおいて正常範囲内ではないと判断された画素に対応する位置に存在する対象画素が、評価値に与える寄与が小さくなるように重み付けが行われる。そして、重み付けを行った差分画像データを用いて高解像度画像データの更新が行われる。
なお、差分画像データは、撮像画像データと擬似低解像度画像データの差分を示すデータであるから、上記対象画素には、撮像画像データにおいて正常範囲内ではないと判断された画素の輝度値が反映されている。すなわち、上記対象画素の輝度値は、不適正露光の画素の画素値が反映されているため、撮像対象の形状及び色彩を正確に示すデータではない。そのため、このようなデータが含まれる差分画像データを用いて高解像度画像データの更新を行う場合には、撮像対象の形状及び色彩が正確に反映されない、精度の低い高解像度画像データが生成されてしまう。
そこで、上記の構成によれば、正常範囲内ではないと判断された画素に対応する位置に存在する対象画素が、評価値に与える寄与が小さくなるように重み付けが行われるようにしている。これにより、不適正露光画素に由来するデータが高解像度画像データの更新に与える影響を軽減することができる。
したがって、上記の構成によれば、撮像画像データの中に、白とびや黒つぶれが生じた不適正露光画素が含まれている場合であっても、撮像対象の形状や色彩が正確に反映された高精度な高解像度画像データを生成することができる。
また、上記画像処理装置では、上記複数の撮像画像データには、異なる撮像条件にて撮像された撮像画像データが含まれており、上記適正露光画素判断手段が、輝度値が予め定めた正常範囲内であるか否かを判断した後に、上記異なる撮像条件から選択された１つの撮像条件にて、上記一組の撮像画像データの全てが撮像されたものとみなすことができるように、各撮像画像データの各画素の輝度値を補正する撮像画像補正手段を備えていることが好ましい。
従来の超解像処理では、１枚の高解像度画像データを生成するために使用する複数枚の撮像画像データを全て同じ撮像条件で撮像していたが、上記のように補正を行うことにより、異なる撮像条件にて撮像された撮像画像データを用いて高解像度画像データを生成することができる。なお、撮像条件とは、露光時間（シャッタースピード）、使用する撮像装置、照明強度、撮像感度、使用するフィルタ、及びアイリスの少なくとも１つである。
ここで、上記の構成によれば、高解像度画像データが更新されると、該更新された高解像度画像データから、擬似低解像度画像データが生成される。このとき、高解像度画像データにおいて、擬似低解像度画像データの１画素に相当する領域に含まれる各画素の輝度値データは、擬似低解像度画像データの１画素の輝度値データとして統合される。
したがって、高解像度画像データにおいて、擬似低解像度画像データの１画素に相当する領域に、異なる撮像条件にて撮像された撮像画像データに由来する画素が含まれている場合には、これらの画素の輝度値が統合されることになる。すなわち、擬似低解像度画像データの各画素には、異なる撮像条件にて撮像された撮像画像データに由来する画素の輝度値が反映されることになるので、生成される高解像度画像データのダイナミックレンジも拡大する。
また、本発明に係る画像処理装置の制御方法は、上記課題を解決するために、撮像対象を、高解像度化倍率に応じた数の低解像度の撮像画像データに基づいて高解像度化した高解像度画像データを生成する画像処理装置であって、上記高解像度化倍率に応じた数の撮像画像データを一組とする複数組の撮像画像セットに基づいて上記高解像度画像データを生成するようになっており、上記各撮像画像セットに含まれる撮像画像データは、同一の撮像条件にて撮像されたものであり、異なる撮像画像セットに含まれる撮像画像データは、互いに異なる撮像条件にて撮像されたものであり、上記複数組の撮像画像セットに含まれる各撮像画像データの各画素について、その輝度値が予め定めた正常範囲内であるか否かを判断する適正露光画素判断手段と、上記適正露光画素判断手段が、輝度値が予め定めた正常範囲内であるか否かを判断した後に、上記異なる撮像条件から選択された１つの撮像条件にて、上記複数組の撮像画像セットに含まれる撮像画像データの全てが撮像されたものとみなすことができるように、各撮像画像データの各画素の輝度値を補正する撮像画像補正手段と、上記複数組の撮像画像セットから選択した一組に含まれる各撮像画像データの画素において、上記適正露光画素判断手段が上記正常範囲内ではないと判断した置換対象画素の輝度値を、他の撮像画像セットにおいて上記置換対象画素と対応する位置の画素であって、上記適正露光画素判断手段が上記正常範囲内であると判断した置換候補画素が存在する場合に、上記置換対象画素の輝度値を上記置換候補画素の輝度値で置き換えて、一組の合成撮像画像データを生成する画像合成手段と、上記高解像度画像データを、上記一組の合成撮像画像データに含まれる合成撮像画像データの一つに対して位置合わせし、当該合成撮像画像データと同じ解像度に変換し、さらに上記複数の撮像画像データを撮像した撮像装置のカメラモデルから得られる点広がり関数を乗じて生成した擬似低解像度画像データと、当該合成撮像画像データとの差分を取って、差分画像データを生成する処理を、上記一組の合成撮像画像データに含まれる合成撮像画像データのそれぞれに対して行って、一組の差分画像データを生成する差分画像生成手段と、上記差分画像生成手段が生成した上記一組の差分画像データに基づいて、上記高解像度画像データと上記一組の合成撮像画像データとの誤差を示す評価値を算出すると共に、該評価値が予め定めた閾値以上である場合に、該評価値が小さくなるように上記高解像度画像データを更新する画像更新手段とを備え、上記適正露光画素判断手段は、上記一組の合成撮像画像データに含まれる各合成撮像画像データの画素について、その輝度値が予め定めた正常範囲内であるか否かをさらに判断し、上記適正露光画素判断手段が上記一組の合成撮像画像データにおいて、正常範囲内ではないと判断した上記合成撮像画像データの画素に対応する位置に存在する差分画像データの画素の、上記評価値に対する寄与が小さくなるように、上記差分画像生成手段が生成した一組の差分画像データの各画素に重み付けを行う重み付け差分画像生成手段とを備え、上記画像更新手段は、上記重み付け差分画像生成手段が重み付けを行った上記複数の差分画像データを用いて上記高解像度画像データを更新することを特徴としている。
上記の構成によれば、撮像条件の異なる複数の撮像画像セットの合成が行われ、合成撮像画像データが生成される。また、合成撮像画像データは、上記複数の撮像画像セットから選択された一つの撮像画像セットに含まれる各撮像画像データに、置換対象画素（不適正露光画素）が含まれており、該置換対象画素に置換候補画素（他の撮像画像セットの撮像画像データに含まれる画素であって、上記置換対象画素に対応する位置の適正露光画素）が存在する場合には、上記置換対象画素の輝度値と上記置換候補画素の輝度値を置き換えて生成される。
すなわち、上記一組の合成撮像画像データは、上記選択された一つの撮像画像セットに含まれる各撮像画像データに含まれる不適正露光画素が、選択されていない撮像画像セットに含まれる各撮像画像データに含まれる適正露光画素で置き換えられて生成された撮像画像セットということになる。
なお、上記の構成によれば、異なる撮像条件から選択された１つの撮像条件にて、上記複数組の撮像画像セットに含まれる撮像画像データの全てが撮像されたものとみなすことができるように、各撮像画像データの各画素の輝度値を補正しているので、上記のような置き換えを行って生成された合成撮像画像データを用いて高解像度画像データを生成することができる。上記輝度値の補正と、上記輝度値の置き換えを行うことにより、合成撮像画像データのダイナミックレンジは、上記各撮像画像セットと比べて拡大される。
したがって、上記一組の合成撮像画像データでは、撮像対象の形状及び色彩が正確に反映されている画素の割合が上記各撮像画像セットと比べて増加するので、上記一組の合成撮像画像データを用いて高解像度画像データを生成することにより、高精度な高解像度画像データを生成することができる。
なお、複数の撮像画像セットから選択された一つの撮像画像セットに含まれる各撮像画像データに、置換対象画素（不適正露光画素）が含まれている場合であって、上記置換候補画素が存在しない場合も考えられる。
そこで、上記の構成によれば、生成した一組の合成撮像画像データの画素について、その輝度値が予め定めた正常範囲内であるか否かをさらに判断している。そして、該判断結果に基づいて、差分画像データに重み付けを行っている。
したがって、上記の構成によれば、複数の撮像画像セットから選択された一つの撮像画像セットに含まれる各撮像画像データに、置換対象画素（不適正露光画素）が含まれている場合であって、上記置換候補画素が存在しない場合であっても、不適正露光画素の影響を軽減して高精度な高解像度画像データを生成することができる。
また、上記画像処理装置と、上記撮像装置と含む画像処理システムであれば、撮像装置にて複数の撮像画像データの撮像を行い、上記画像処理装置にて該撮像された複数の撮像画像データを用いて高解像度画像データを生成することができると共に、撮像画像データの中に、白とびや黒つぶれが生じた不適正露光画素が含まれている場合であっても、撮像対象の形状や色彩が正確に反映された高精度な高解像度画像データを生成することができる。
なお、上記画像処理装置及び撮像制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置及び撮像制御装置の各手段として動作させることにより、上記画像処理装置及び撮像制御装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
以上のように、本発明に係る画像処理装置は、高解像度画像データを、複数の撮像画像データの一つに対して位置合わせし、上記撮像画像データと同じ解像度に変換し、当該撮像画像データを撮像した撮像装置のカメラモデルから得られる点広がり関数を乗じて擬似低解像度画像データを生成し、該擬似低解像度画像データと当該撮像画像データとの差分を取る処理を、上記複数の撮像画像データのそれぞれに対して行って、複数の差分画像データを生成する差分画像生成手段と、上記差分画像生成手段が生成した上記複数の差分画像データに基づいて、上記高解像度画像データと上記複数の撮像画像データとの誤差を示す評価値を算出すると共に、該評価値が予め定めた閾値以上である場合に、該評価値が小さくなるように上記高解像度画像データを更新する画像更新手段とを備えていると共に、上記複数の撮像画像データの各画素について、その輝度値が予め定めた正常範囲内であるか否かを判断する適正露光画素判断手段と、上記複数の撮像画像データの一つと対応する一つの差分画像データにおいて、上記適正露光画素判断手段が上記複数の撮像画像データの一つにおいて正常範囲内ではないと判断した画素に対応する位置に存在する対象画素の上記評価値に対する寄与が小さくなるように、上記対象画素に重み付けを行う処理を、上記複数の差分画像データのそれぞれに対して行う重み付け差分画像生成手段とをさらに備え、上記画像更新手段は、上記重み付け差分画像生成手段が重み付けを行った上記複数の差分画像データを用いて上記高解像度画像データを更新する構成である。
また、本発明に係る画像処理装置の制御方法は、以上のように、高解像度画像データを、複数の撮像画像データの一つに対して位置合わせし、上記撮像画像データと同じ解像度に変換し、当該撮像画像データを撮像した撮像装置のカメラモデルから得られる点広がり関数を乗じて擬似低解像度画像データを生成し、該擬似低解像度画像データと当該撮像画像データとの差分を取る処理を、上記複数の撮像画像データのそれぞれに対して行って、複数の差分画像データを生成する差分画像生成ステップと、上記差分画像生成ステップにて生成した上記複数の差分画像データに基づいて、上記高解像度画像データと上記複数の撮像画像データとの誤差を示す評価値を算出すると共に、該評価値が予め定めた閾値以上である場合に、該評価値が小さくなるように上記高解像度画像データを更新する画像更新ステップとを含み、上記複数の撮像画像データの各画素について、その輝度値が予め定めた正常範囲内であるか否かを判断する適正露光画素判断ステップと、上記複数の撮像画像データの一つと対応する一つの差分画像データにおいて、上記適正露光画素判断ステップにて上記複数の撮像画像データの一つにおいて正常範囲内ではないと判断した画素に対応する位置に存在する対象画素の上記評価値に対する寄与が小さくなるように、上記対象画素に重み付けを行う処理を、上記複数の差分画像データのそれぞれに対して行う重み付け差分画像生成ステップとさらに含み、上記画像更新ステップでは、上記重み付け差分画像生成ステップにて重み付けを行った上記複数の差分画像データを用いて上記高解像度画像データを更新する構成である。
したがって、撮像画像データの中に、白とびや黒つぶれが生じたものが含まれている場合であっても、撮像対象の形状や色彩が正確に反映された高精度な高解像度画像データを生成することができるという効果を奏する。
〔画像処理システム１の構成〕
本発明の一実施形態について図１から図１３に基づいて説明すると以下の通りである。まず、本実施形態の画像処理システム１の構成について、図２に基づいて説明する。図２は、画像処理システム１の要部構成を示すブロック図である。図示のように、画像処理システム１は、撮像装置２と制御装置３とを含む構成である。
撮像装置２は、制御装置３の指示に従って撮像を行う装置であり、図示のように、レンズ１１、撮像素子１２、及びアクチュエータ１３を備えている。すなわち、撮像装置２では、撮像対象に反射した光を、レンズ１１を介して撮像装置２内の撮像素子１２に光学的に結像させるようになっている。そして、撮像素子１２が、光学的に結像した撮像対象の像を空間的に離散化させてサンプリングし、画像信号に変換することにより、撮像対象の像が画像データとして取得されるようになっている。
撮像素子１２としては、例えばＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary mental-oxide semiconductor）等を用いることができる。なお、ここでは撮像装置２は、マトリクス状に配列した複数の撮像素子１２にて撮像を行うエリアセンサであることを想定している。
アクチュエータ１３は、撮像対象と撮像素子１２との相対位置を変化させるものである。アクチュエータ１３は撮像装置２の筐体の内壁に固定されており、撮像素子１２はアクチュエータ１３によって支持されている。すなわち、アクチュエータ１３は、撮像対象とレンズ１１とを結ぶ光軸に対して垂直な平面において撮像素子１２を２次元的に移動させることによって、撮像対象と撮像素子１２との相対位置を変化させるようになっている。
つまり、アクチュエータ１３が、撮像対象と撮像素子１２との相対位置を変化させることにより、撮像装置２が撮像対象を撮像する撮像位置（撮像領域の撮像対象上の位置）が変化するようになっている。なお、アクチュエータ１３は、撮像素子１２を２次元のみならず、回転を含む３次元で移動させるものであってもよい。
アクチュエータ１３としては、例えばピエゾアクチュエータやステッピングモータ等を使用することができる。アクチュエータ１３は、撮像対象と撮像素子１２との相対位置を変化させることができるものであればよく、特に限定されないが、ここではピエゾアクチュエータを用いるものとする。
制御装置３は、撮像装置２の動作制御を行うと共に、撮像装置２が取得した撮像対象の画像データ（以下、撮像画像データと呼ぶ）に超解像処理を施して、高解像度画像データを生成する。制御装置３にて実行される超解像処理によれば、撮像画像データに白とびや黒つぶれが発生している場合であっても精度の高い高解像度画像データを生成することができる。また、制御装置３にて実行される超解像処理によれば、従来の超解像処理と比べて広いダイナミックレンジを有する高解像度画像データが生成される。
図示のように、制御装置３は、撮像制御部２１、撮像条件保存部２２、低解像度画像保存部２３、高解像度画像保存部２４、及び超解像処理部２５を備えており、これらの構成により、上記のような制御装置３の機能が実現されている。
撮像制御部２１は、図示のように、アクチュエータ制御部２６及び撮像タイミング制御部２７を備えている。アクチュエータ制御部２６は、アクチュエータ１３を移動させることによって撮像装置２の撮像位置を制御する。具体的には、アクチュエータ制御部２６は、アクチュエータ１３の移動開始及び停止のタイミング、移動速度、及び移動距離等の制御を行う。
撮像タイミング制御部２７は、撮像装置２の撮像開始及び停止のタイミングを制御する。具体的には、撮像タイミング制御部２７は、アクチュエータ制御部２６から送られてくる、撮像装置２の現在の撮像位置を示す情報と、撮像条件保存部２２に格納されている撮像条件とに基づいて撮像装置２へ制御信号を送ることにより、各撮像位置における撮像時間、すなわち露光時間を制御する。
ここで、撮像制御部２１の制御によって撮像される撮像画像データについて、図３に基づいて説明する。図３は、撮像素子１２と高解像度画像データの画素との位置関係を説明する図である。同図では、「ａ」の文字が記載され、マトリクス状に配列した矩形のそれぞれが高解像度画像データの画素を示しており、太線の矩形Ａが撮像素子１２の１つを示している。すなわち、矩形Ａに含まれる領域は、撮像画像データにおいて１つの画素として表される。
同図（ａ）〜（ｄ）に示すように、矩形Ａの一辺の長さは、高解像度画像データの画素の２倍である。すなわち、同図では、撮像画像データの解像度を２倍にする場合の撮像位置（撮像画像データの画素の位置）と高解像度画像データの画素との位置関係を示している。
図示のように、撮像位置は、高解像度画像データの１画素分の幅ずつ移動される。そして、各撮像位置で取得した撮像対象の輝度値データは、撮像位置に含まれる高解像度画像データの画素のうち、最も左上に位置する画素（図示の例では他の画素と色を変えて示している）の輝度値データとして高解像度画像データに反映される。このようにして撮像を行うことにより、高解像度画像データの各画素の輝度値を推定するために必要な一組の撮像画像データを取得することができる。
画像処理システム１では、撮像タイミング制御部２７の指示によって、ある撮像位置にて撮像が行われると、撮像装置２は、撮像された撮像画像データと、撮像時の撮像位置と、撮像条件（例えば露光時間）とを対応付けて低解像度画像保存部２３に格納する。そして、アクチュエータ制御部２６は、撮像位置を高解像度画像データの画素の幅だけずらし、再度撮像タイミング制御部２７の指示によって撮像が行われる。
この繰り返しによって、撮像対象の全体の画像が撮像される。そして、上記撮像によって生成された撮像画像データが、その撮像位置及び撮像条件と対応付けられた撮像画像データ２８として低解像度画像保存部２３に格納される。なお、以下では、１枚の高解像度画像データの生成に必要な撮像画像データの枚数をｍ（ｍは正数）とし、１枚の高解像度画像データに対応するｍ枚一組の撮像画像データを撮像画像セットとして説明を行う。
詳細については後述するが、画像処理システム１では、露光時間の異なる複数の撮像画像セットを用いることによって、超解像処理にて生成される高解像度画像データのダイナミックレンジを拡大させることができる。ここでは、撮像画像セットの数をｎ（ｎは正数）とする。したがって、画像処理システム１では、超解像処理を行うために、ｍ×ｎ枚の撮像画像データが使用される。
高解像度画像保存部２４は、低解像度画像保存部２３に格納されているｍ×ｎ枚の撮像画像データを用いて超解像処理を行うことによって生成された高解像度画像データ２９を格納する。なお、上記従来の超解像処理と同様に、超解像処理を行うためには初期高解像度画像データを用いる必要があるため、超解像処理を行う前に、予め高解像度画像保存部２４に初期高解像度画像データを格納しておく。
初期高解像度画像データは、超解像処理にて生成したい解像度の画像であればよく、特に限定されない。例えば、撮像画像データの解像度を２倍にする場合には、各画素のサイズが撮像画像データの１／２となる全面が均一の黒画像や白画像、または灰色画像を初期高解像度画像データとして用いることができる。
また、撮像画像データの中から選択した任意の１枚に対して補間処理を行い、画素数を増加させたものを初期高解像度画像データとして用いてもよい。このように、高解像度画像データを撮像画像データから生成した場合には、超解像処理を行う前の段階で、撮像画像データが高解像度画像データに反映されることになる。その結果、超解像処理における繰り返し演算の回数を減らすことが可能になり、短時間で高精度な高解像度画像データを生成することが可能になる。
なお、上記補間処理方法としては、例えばｍ枚の撮像画像データから選択した任意の１枚の撮像画像データにおいて、撮像対象のある位置を撮像した画素の輝度値を、高解像度画像データにおいて、撮像対象の上記と同じ位置に対応する画素の輝度値に設定する方法が挙げられる。
なお、高解像度画像データは、撮像画像データよりも解像度が高いデータであるから、撮像画像データの１画素は、高解像度画像データの複数画素に対応する。例えば、撮像画像データの解像度を３倍にする場合には、撮像画像データの１画素を高解像度画像データの３×３の画素とすればよい。
また、上記補間処理方法では、撮像画像データの１つの画素に対応する、高解像度画像データの複数の画素における輝度値を全て同じ輝度値とするので、処理が簡単である反面、撮像画像データが高解像度画像データに正確に反映され難いという難点もある。そこで、撮像画像データの１つの画素に対応する、高解像度画像データの複数の画素における輝度値を、上記撮像画像データの１つの画素に隣接する画素の輝度値に応じて変化させるようにしてもよい。
例えば、撮像画像データの解像度を３倍にする場合には、ｍ枚の撮像画像データから選択した任意の１枚の撮像画像データにおいて、撮像対象のある位置を撮像した画素の輝度値を、撮像対象の上記と同じ位置に対応する３×３の９つの画素の中心に位置する画素の輝度値とすればよい。そして、高解像度画像データにおいて、上記３×３の９つの画素の中心に位置する画素の周囲８画素の輝度値を、撮像画像データにおいて、撮像対象の上記と同じ位置を撮像した画素に隣接する画素の輝度値を利用して決定すればよい。
上記方法によれば、撮像画像データがより正確に反映された高解像度画像データが得られるので、超解像処理における繰り返し演算の回数をさらに減らすことが可能になり、短時間で高精度な高解像度画像データを生成することが可能になる。
また、撮像画像データを複数用いることにより、撮像画像データがさらに正確に反映された高解像度画像データを得ることができる。例えば、一組の撮像画像セットの各画素における輝度値を、高解像度画像データにマッピングすることにより、撮像画像データがさらに正確に反映された高解像度画像データを得ることができる。なお、一組の撮像画像セットを用いたマッピングによって高解像度画像データを生成する上記の処理が、いわゆるイメージシフト処理である。
さらに、撮像対象の形状及び色彩の少なくとも一方が予め分かっている場合には、撮像対象の形状及び色彩の少なくとも一方を示す画像データであり、所望の解像度（画素数）を有する画像データである設計データを初期高解像度画像データとして用いることもできる。設計データを用いることにより、撮像対象の設計値を高解像度画像データに反映させることができるので、超解像処理における繰り返し演算の回数をさらに減らすことが可能になり、短時間で高精度な高解像度画像データを生成することが可能になる。
超解像処理部２５は、撮像画像保存部に格納された撮像画像データを高解像度化して高解像度画像データを生成する超解像処理を行う。具体的には、超解像処理部２５は、撮像画像保存部に格納された撮像画像データと、高解像度画像保存部２４に格納された高解像度画像データ２９とに基づいて、新規の高解像度画像データを生成し、生成した高解像度画像データを高解像度画像保存部２４に格納する。なお、超解像処理部２５が実行する超解像処理の詳細については後に詳しく説明する。
〔超解像処理部２５の構成〕
続いて、超解像処理部２５の詳細な構成について図１に基づいて説明する。図１は、超解像処理部２５の要部構成を示すブロック図である。図示のように、超解像処理部２５は、正規化部３１、画像合成部３２、差分画像生成部（差分画像生成手段）３３、擬似低解像度画像生成部３４、領域抽出部（適正露光画素判断手段）３５、重み付け差分画像生成部（重み付け差分画像生成手段）３６、及び画像更新部（画像更新手段）３７を備えている。
正規化部３１は、撮像画像セットの中に、異なる撮像条件にて撮像されたものが含まれている場合に、上記撮像画像セットに含まれる全ての撮像画像データが、上記異なる撮像条件の１つの撮像条件にて撮像されたものとみなすことができるように、各撮像画像データの各画素の輝度値を補正する。これにより、異なる撮像条件で撮像された撮像画像データを含む撮像画像セットを用いて超解像処理を行うことが可能になる。
例えば、撮像画像データＡ，Ｂ，Ｃがあり、各撮像画像データの露光時間がそれぞれａ，ｂ，ｃ（ａ＜ｂ＜ｃ）である場合を考える。この場合に、露光時間ａを基準にすると、撮像画像データＢ及びＣの輝度値を例えば下記の数式（５）にて表すことができる。
すなわち、露光時間がｂの撮像画像データＢは、露光時間がａの撮像画像データＡに対して、露光時間がｂ／ａ倍になっているので、輝度値もｂ／ａ倍になっていると予想される。同様に、露光時間がｃの撮像画像データＣは、露光時間がａの撮像画像データＡに対して、露光時間がｃ／ａ倍になっているので、輝度値もｃ／ａ倍になっていると予想される。
したがって、露光時間がａの撮像画像データＡを基準にした場合には、露光時間がｂの撮像画像データの輝度値をａ／ｂ倍に補正し、露光時間がｃ秒の撮像画像データの輝度値をａ／ｃ倍に補正することによって、撮像画像データＡ〜Ｃの輝度値を全て同等とすることができる。なお、基準とする露光時間は、撮像画像データＡ〜Ｃの中から任意のものを選択することができる。
なお、正規化の方法は、上記の例に限られない。例えば、撮像画像データの輝度値の平均値を求め、該求めた平均値に基づいて、各撮像画像データの輝度値が同程度となるように補正を行うことによって正規化を行ってもよい。また、露光時間以外にも、使用する撮像装置、照明強度、撮像感度、使用するフィルタ、及びアイリス等の撮像条件が異なっている場合にも、超解像処理に用いる全ての撮像画像データが、上記異なる撮像条件の１つの撮像条件にて撮像されたものとみなすことができるように、各撮像画像データの各画素の輝度値を補正（正規化）する。
また、詳細については後述するが、超解像処理部２５では、撮像条件の異なる複数組の撮像画像セットを合成して合成撮像画像データを生成する。ここで、撮像条件の異なる撮像画像データを合成するためには、各撮像画像データの撮像条件が同じであるとみなすことができるように補正を行う必要がある。そこで、正規化部３１は、撮像条件の異なる複数の撮像画像セットについても輝度値の正規化を行う。
画像合成部３２は、正規化部３１が正規化した、撮像条件の異なる複数組の撮像画像セットを合成して合成撮像画像データを生成する。画像合成部３２が撮像画像データを合成することにより、撮像画像のセット数は１となる。したがって、合成撮像画像データの枚数はｍ枚ということになる。
合成撮像画像データは、複数の異なる撮像条件で撮像された撮像画像データを反映しているので、合成撮像画像データを用いて超解像処理を行うことにより、生成される高解像度画像データのダイナミックレンジを拡大させることができる。なお、合成撮像画像データの生成方法については後述する。
差分画像生成部３３は、撮像画像データと擬似低解像度画像データとの差分を差分画像データとして算出し、算出した差分画像データを重み付け差分画像生成部３６に送る。なお、撮像画像セットが複数の場合（ｎ≧２）には、差分画像生成部３３は、画像合成部３２が生成した合成撮像画像データと擬似低解像度画像データとの差分を差分画像データとして算出する。また、擬似低解像度画像データは、擬似低解像度画像生成部３４が生成したものを用いる。
擬似低解像度画像生成部３４は、高解像度画像保存部２４に格納されている高解像度画像データを読み出し、読み出した高解像度画像データの解像度が撮像画像データと同じ解像度となるように低解像度化する。また、擬似低解像度画像生成部３４は、高解像度画像データに対してＰＳＦによる変換を行い、撮像画像データのそれぞれに位置合わせされた複数（ｍ枚）の擬似低解像度画像データを生成する。擬似低解像度画像データは、差分画像生成部３３に送られて、差分画像データの生成に用いられる。
領域抽出部３５は、撮像画像データにおける超解像処理に不適な不適正露光領域を検出する。不適正露光領域とは、撮像装置２の有効なダイナミックレンジの範囲外の輝度値を有する領域であり、黒つぶれや白とびが発生している可能性が高い領域である。このような領域が含まれている撮像画像データを超解像処理に用いると、超解像処理の精度が低下したり、繰り返し演算に要する処理時間が長くなったりするという問題が生じる。
具体的には、領域抽出部３５は、ｍ×ｎ枚の撮像画像データのそれぞれについて、輝度値が予め定めた正常範囲から外れている第１領域を抽出し、抽出した領域の各撮像画像データ上の位置を記憶する。また、ここでは、撮像画像データにおいて、上記抽出された第１領域以外の領域を第２領域と呼ぶ。すなわち、領域抽出部３５が第１領域を抽出することにより、各撮像画像データは、正常範囲外の輝度値を有する第１領域と、正常範囲内の輝度値を有する第２領域とに分けられる。
なお、上記正常範囲は、適正露光とみなすことのできる輝度値の上限値と下限値とで規定される輝度値の範囲である。上限値を越えた輝度値を示す領域は、白とびなどのハレーションが発生していると考えられる領域であり、下限値より小さい輝度値を示す領域は、黒くつぶれた状態となっていると考えられる領域である。したがって、上記正常範囲内の輝度値を有する第２領域は、撮像装置２の有効なダイナミックレンジの範囲内での撮像によって得られた輝度値を有する領域ということになる。
例えば、撮像画像データの輝度値範囲が０〜２５５までの２５６階調である場合には、１０〜２４５までの輝度値範囲を正常範囲、すなわち第２領域とすればよい。そして、白とびが発生していると予想される０〜９までの輝度値範囲と、黒つぶれが発生していると予想される２４６〜２５５までの輝度値範囲を正常範囲外、すなわち第１領域とすればよい。無論、上記の数値範囲は一例であり、領域抽出に用いる数値範囲は、必要に応じて適宜変更することができる。
また、領域抽出は、画素単位で行ってもよいし、複数の画素を１ブロックとするブロック単位で行ってもよい。例えばｘ×ｙ画素の領域（ｘ、ｙは正数）を１ブロックとして撮像画像データを複数のブロックに分割し、各ブロックに含まれる画素の輝度値の平均値に基づいて各ブロックが第１領域に分類されるか否かを判断するようにしてもよい。
そして、領域抽出部３５が、上記抽出した領域を記憶する記憶方法は、各撮像画像データの全画素について、第１領域か第２領域かが示されているものであればよいが、以下のように記憶しておくことにより、後続の処理を高速化することが可能になる。
すなわち、領域抽出部３５は、ｍ×ｎ枚の撮像画像データと同じサイズのメモリ空間Ｚｍｎを設定する。そして、撮像画像データにおいて第１領域であると判断された画素に対応する上記メモリ空間Ｚｍｎ上の画素位置には１をセットし、第２領域であると判断された画素に対応する上記メモリ空間Ｚｍｎ上の画素位置には２５５をセットする。これにより、メモリ空間Ｚｍｎでは、白とびまたは黒つぶれしている画素の位置には１の値が格納され、ダイナミックレンジ内の画素の位置には２５５の値が格納される。
ここでは、領域抽出部３５が上記のようにして生成したデータを抽出領域データＺｍｎと呼ぶ。抽出領域データＺｍｎは、重み付け差分画像生成部３６にて差分画像データの重み付けに用いられると共に、画像合成部３２にて画像合成に用いられる。
すなわち、画像合成部３２では、撮像位置が同じで露光時間が異なる撮像画像データを１つの画像データに統合するときに、抽出領域データＺｍｎを参照することにより、合成撮像画像データに含まれる第１領域が少なくなるように統合を行う。そして、複数組の撮像画像セットを用いる場合には、画像合成部３２が合成撮像画像データを生成したときに、領域抽出部３５は、抽出領域データＺｍｎを、合成撮像画像データの各画素が第１領域に属するか第２領域に属するかを示す抽出領域データＺｍに更新する。
具体的には、画像合成部３２は、抽出領域データＺｍｎを参照して、撮像位置が同じで露光時間が異なる撮像画像データの各画素が第１領域に属するか第２領域に属するかを判定する。そして、同一位置の画素において、第１領域に属する画素と第２領域に属する画素とが検出された場合には、画像合成部３２は合成撮像画像データにおける上記位置の画素の輝度値として、第２領域に属する画素の輝度値を採用する。また、画像合成部３２は、上記位置の画素値を第２領域として抽出領域データＺｍを更新する。
なお、同一位置の画素において、第２領域に属する画素が複数検出された場合には、例えば最も露光時間が長い画素の輝度値を採用すればよい。また、同一位置の画素において、第１領域に属する画素のみが検出された場合には、いずれか１つの画素の輝度値を採用する。したがって、例えば最も露光時間の長い撮像画像セットを基準とし、この撮像画像セットに含まれる画素のうち、第１領域に属する画素を、他の撮像画像セットの同じ位置の画素であって、第２領域に属する画素の輝度値と置き換えるようにすればよい。
これにより、ｍ×ｎ枚の正規化後撮像画像データがｍ枚の合成撮像画像データに統合されると共に、ｍ×ｎ枚の正規化後撮像画像データに基づいて生成された抽出領域データＺｍｎがｍ枚の合成撮像画像データに対応する抽出領域データＺｍに更新される。なお、抽出領域データＺｍでは抽出領域データＺｍｎと同様に、第１領域の画素の位置には１の値が格納され、第２領域の画素の位置には２５５の値が格納される。
このような合成処理により生成された合成撮像画像データには、複数の露光時間で撮像された撮像画像データが反映されているので、撮像画像データと比べてダイナミックレンジが拡大されている。したがって、上記合成撮像画像データを用いて超解像処理を行うことにより、撮像画像データを用いて超解像処理を行う場合と比べて、ダイナミックレンジの広い高解像度画像データを生成することができる。
さらに、このような合成処理により生成された合成撮像画像データでは、可能であれば、第１領域の画素の輝度値が、他の撮像画像データにおいて位置が同じである第２領域の画素の輝度値に置き換えられている。したがって、上記合成撮像画像データを用いて超解像処理を行うことにより、撮像画像データを用いて超解像処理を行う場合と比べて、超解像処理に有用なデータの割合が高くなるので、超解像処理の精度を向上することができ、また超解像処理の演算時間も短縮することができる。
ここで、撮像画像データの合成の具体例について図４に基づいて説明する。図４は、撮像画像データの合成方法の一例を示す図である。なお、同図では、ａ〜ｃの３通りの露光時間（ａ＜ｂ＜ｃ）にて、１〜ｍまでのｍ種類の異なる撮像位置でそれぞれ撮像を行い、ｍ枚１組の撮像画像セットを３組取得した例を示している。ここでは、簡単のためＰ１〜Ｐ４の４つの領域についてのみ説明を行うが、撮像画像データの各画素についても同様の処理が行われる。
図示のように、Ｐ１〜Ｐ３は、何れも撮像画像データ上における位置が同じである。このように、異なる撮像画像セットに含まれており、かつ撮像位置が同じ撮像画像データにおいて、撮像画像データにおける位置が同じ（撮像対象の同じ位置を撮像した）画素について合成が行われる。そして、合成撮像画像データでは、Ｐ１〜Ｐ３と同じ位置のＰ４にＰ１〜Ｐ３の画素を合成した結果が反映される。すなわち、Ｐ１〜Ｐ３は、合成対象の領域であり、画素Ｐ４は合成後の領域である。
例えば、Ｐ１及びＰ２が第２領域に属しており、Ｐ３が第１領域に属している場合には、第２領域に属する画素のうち、最も露光時間の長いＰ２の輝度値が、Ｐ４の輝度値として採用される。すなわち、合成対象の画素のうち、１つでも第２領域に属している画素があれば、合成後は第２領域となる。なお、Ｐ１〜Ｐ３の全てが第１領域である場合には、Ｐ１〜Ｐ３の何れかの輝度値を合成後の画素の輝度値とすればよい。
重み付け差分画像生成部３６は、領域抽出部３５が生成した抽出領域データＺｍに基づいて、差分画像生成部３３が算出した差分画像データに対して、第１画像領域と第２画像領域に対応する重み付けを行い、重み付け差分画像データを生成する。重み付け差分画像生成部３６が重み付けを行うことにより、正常範囲外の輝度値を有する第１領域が超解像処理に与える影響が低減されるので、撮像画像データに白とびや黒つぶれが発生している場合であっても、高精度な超解像処理を行うことができる。そして、重み付け差分画像生成部３６は、上記生成した重み付け差分画像データを画像更新部３７に送る。
なお、重み付けは、超解像処理に対する第１画像領域の寄与が第２画像領域の寄与に対して小さくなるように行われるものであればよく、特に限定されない。ここでは、抽出領域データＺｍにおいて、第１領域の画素の位置には１の値が格納され、第２領域の画素の位置には２５５の値が格納されるようになっている。そこで、抽出領域データＺｍに１／２５５を乗じた値を重みとして、上記差分画像データに乗じる。
これにより、差分画像データにおいて、合成画像データにて第１領域となっている領域の画素の輝度値が１／２５５となる。一方、差分画像データにおいて、合成画像データにて第２領域となっている領域の画素の輝度値について補正は行われない。したがって、上記構成によれば、合成画像データにて第１領域となっている領域の画素の寄与を、合成画像データにて第２領域となっている領域の画素の寄与に比べて十分に低くすることができる。
なお、ここでは、差分画像データに抽出領域データＺｍを乗じることによって重み付けを行う例について説明したが、抽出領域データＺｍや抽出領域データＺｍｎを用いずに重み付けを行うこともできる。例えば、重み付け差分画像生成部３６が、正規化後撮像画像データ、または撮像画像データの各画素位置の輝度値を参照して、差分画像データの各画素の輝度値が、第１領域の画素に基づいて算出されたものであるか第２領域の画素に基づいて算出されたものであるかの判定を行い、該判定結果に基づいて重みを付与するようにしてもよい。
また、ここでは、第１領域と第２領域との２つの領域に関して重み付けを行う例を説明したが、３以上の領域に分割してもよい。例えば、撮像装置２の有効ダイナミックレンジ範囲において入射光量と出力が線形でない場合には、３以上の領域に分割し、各領域に応じた重みを付与することが好ましい。
具体例を挙げれば、輝度値が０〜２５５までの２５６階調である場合には、輝度値が０〜２の範囲の重みを０とし、輝度値が３〜７の範囲及び、輝度値が２４８〜２５２の範囲の重みを第２領域の重みの１／４とし、輝度値が２５３〜２５５の範囲の重みを０とすればよい。このように、輝度値が有効ダイナミックレンジに近い領域ほど、超解像処理への寄与が大きくなるように、段階的に重み付けを行うことにより、撮像画像データを正確に反映させた高精度な高解像度画像データを生成することができる。
画像更新部３７は、上記重み付け差分画像データを用いて高解像度画像データの更新を行う。そして、画像更新部３７は、更新後の高解像度画像データを高解像度画像保存部２４に格納する。
〔超解像処理の流れ〕
次に、画像処理システム１において実行される超解像処理について、図５に基づいて説明する。図５は、画像処理システム１において実行される超解像処理の一例を示すフローチャートである。
まず、制御装置３の撮像制御部２１は、撮像装置２に撮像対象の撮像を指示する。指示を受けた撮像制御部２１は、撮像条件保存部２２から撮像条件を読み出し、該読み出した撮像条件に従って撮像対象の撮像を行う（Ｓ１）。具体的には、撮像制御部２１は、同一の撮像対象について、撮像位置を少しずつずらしながらｍ種類の異なる撮像位置にて撮像を実行させる。そして、撮像制御部２１は、露光時間の変更を行い、露光時間の変更後の撮像条件にて、再度上記ｍ種類の異なる撮像位置にて撮像を実行させる。このようにして撮像された、ｍ枚×ｎセットの撮像画像データが低解像度画像保存部２３に格納される。
上記のようにして得られるｍ枚×ｎセットの撮像画像データは、例えば図６のようになる。図６は、撮像画像セットの一例を示す図である。なお、ここでは、図２３の従来例と同様に、９枚の撮像画像データを用いて１枚の高解像度画像データを生成する例、すなわちｍ＝９であり、撮像画像データを３倍に高解像度化する例を示している。また、各撮像画像データは、図示のように縦５画素、横５画素の２５画素で構成されていることを想定している。そして、図示のように、互いに異なる露光時間にて撮像された３組の撮像画像セットを使用することを想定している。
すなわち、図示の撮像画像セット１は、撮像位置１から撮像位置９までの９つの撮像位置にて、露光時間ａで撮像された撮像画像データの組である。同様に、撮像画像セット２は、撮像位置１から撮像位置９までの９つの撮像位置にて、露光時間ｂで撮像された撮像画像データの組であり、撮像画像セット３は、撮像位置１から撮像位置９までの９つの撮像位置にて、露光時間ｃで撮像された撮像画像データの組である。なお、露光時間は、ａ＜ｂ＜ｃである。
また、撮像位置は、撮像画像データの１画素幅の１／３ピッチで位置ずれしている。すなわち、撮像位置２は、撮像位置１から、図中右向きに、撮像画像データの１画素幅の１／３だけ移動した位置であり、撮像位置４は、撮像位置１から、図中下向きに、撮像画像データの１画素幅の１／３だけ移動した位置である。
このように、撮像画像データの１画素幅の１／３ピッチで撮像位置をずらして撮像を行うことにより、撮像画像データの１画素につき、９回の撮像が行われることになる。これにより、撮像画像データの３倍の解像度、すなわち９倍の画素数を有する高解像度画像データの各画素値を求めることができる。すなわち、ｘ倍に高解像度化を行う場合には、撮像画像データの１画素幅の１／ｘピッチで撮像位置をずらして撮像を行えばよい。
図示のように、３通りの露光時間で撮像を行い、３組の撮像画像セットを取得した場合には、撮像位置１〜９のそれぞれについて、３通りの露光時間で撮像された撮像画像データが生成される。なお、ここでは、簡単のため、撮像条件として露光時間のみを変更する例について説明するが、露光時間以外の撮像条件も変更してもかまわない。また、１組の撮像画像セットに含まれる撮像画像データ間で撮像条件が異なっていてもかまわない。さらに、ここでは複数組の撮像画像セットを用いて超解像処理を行う例を説明するが、少なくとも１組の撮像画像セットがあれば超解像処理を行うことができる。
ここでフローチャートの説明に戻る。ｍ枚×ｎセットの撮像が終了し、ｍ×ｎ枚の撮像画像データｙｍｎが低解像度画像保存部２３に格納されると、領域抽出部３５及び正規化部３１は、上記格納されたｍ×ｎ枚の撮像画像データｙｍｎを取得すると共に、撮像条件保存部２２から上記ｍ×ｎ枚の撮像画像データｙｍｎの撮像に用いられた撮像条件を読み出す（Ｓ２）。
領域抽出部３５は、撮像画像データｙｍｎを取得すると、ｍ×ｎ枚の撮像画像データｙｍｎのそれぞれから、撮像画像データｙｍｎの輝度値分布に基づいて、白とび領域や黒つぶれ領域等の不適正露光領域を特定し、これを第１領域として抽出する（Ｓ３）。そして、領域抽出部３５は、ｍ×ｎ枚の正規化した撮像画像データの各画素が第１領域に属するか、第２領域に属するかを示す抽出領域データＺｍｎを生成する。
例えば、図６に示すような２５画素×９枚×３セットの撮像画像データを用いる場合には、領域抽出部３５は、２５画素×９枚×３セット＝６７５画素分のデータ領域を有する抽出領域データＺｍｎを設定する。そして、設定した抽出領域データＺｍｎの各画素位置について、当該画素位置に対応する撮像画像データの画素が第１領域であれば、１の値を格納し、当該画素位置に対応する撮像画像データの画素が第２領域であれば、２５５の値を格納する。
一方、正規化部３１は、上記取得した撮像条件から、各撮像画像データｙｍｎの露光時間を取得し、該取得した露光時間に基づいて撮像画像データｙｍｎを正規化する（Ｓ４）。そして、正規化部３１は、正規化によって生成した撮像画像データｙｍｎを画像合成部３２に送る。
例えば、図６の例では、撮像画像セット１〜３でそれぞれ撮像条件（露光時間）が異なっているので、各撮像画像セットが同一の露光時間で撮像されたものとみなすことができるように正規化が行われる。具体的には、正規化部３１は、露光時間がａの撮像画像データＡを基準にした場合には、露光時間がｂの撮像画像データの輝度値をａ／ｂ倍に補正し、露光時間がｃ秒の撮像画像データの輝度値をａ／ｃ倍に補正する。すなわち、正規化部３１は、撮像画像セット２に含まれる画素１ｂ〜９ｂのそれぞれの輝度値をａ／ｂ倍に補正し、撮像画像セット３に含まれる画素１ｃ〜９ｃのそれぞれの輝度値をａ／ｃ倍に補正する。なお、１つの撮像画像セット内に撮像条件の異なる撮像画像データが含まれている場合には、正規化部３１は、これらのデータについても正規化を行う。なお、正規化を行うタイミングはこの例に限られない。正規化は、後述の差分画像データの生成までに行われればよい。
ここで、正規化部３１は、撮像画像データｙｍｎの正規化が終了すると、撮像画像セット数ｎが１であるか否かを確認する（Ｓ５）。撮像セット数ｎが１ではない場合（Ｓ５でＹＥＳ）、すなわち複数セットの撮像が行われている場合には、正規化部３１は、画像合成部３２に正規化後の撮像画像データｙｍｎを送る。一方、撮像セット数ｎが１である場合（Ｓ５でＮＯ）には、正規化部３１は、差分画像生成部３３に正規化後の撮像画像データｙｍｎを送る。
画像合成部３２は、撮像画像データｙｍｎを受け取ると、各撮像画像セットにおいて、同じ撮像位置で撮像された撮像画像データを合成してｍ枚１セットの合成撮像画像データｙｍを生成し、該生成したｍ枚の合成撮像画像データｙｍを差分画像生成部３３に送る。また、画像合成部３２は、領域抽出部３５に指示して、ｍ×ｎ枚の撮像画像データｙｍｎに対応する抽出領域データＺｍｎを、ｍ枚の合成撮像画像データｙｍに対応する抽出領域データＺｍに更新させる。
例えば、図６の撮像画像セット１〜３の合成を行う場合には、撮像位置１〜９のそれぞれで撮像された撮像画像データが合成されて、合成撮像画像データｙｍが生成される。合成撮像画像データｙｍは、例えば図７のようになる。図７は、合成撮像画像データｙｍの一例を示す図である。
同図では、露光時間ａで撮像した撮像画像データでは、該撮像画像データを構成する全２５画素が第２領域（適正露光）に設定されていることを想定している。また、より露光時間の長い、露光時間ｂで撮像した撮像画像データでは、該撮像画像データを構成する画素のうち、中央に位置する１つの画素が第１領域（露光過多）に設定されており、他の２４の画素が第１領域に設定されていることを想定している。そして、さらに露光時間の長い露光時間ｃで撮像した撮像画像データでは、該撮像画像データを構成する画素のうち、最も外側の１６画素が第２領域に設定されており、中央部の９画素が第１領域（露光過多）に設定されていることを想定している。
この場合には、中央に位置する１つの画素は、露光時間ａで撮像した撮像画像データでのみ第２領域に設定されているので、この画素の輝度値としては、露光時間ａで撮像した撮像画像データの輝度値ａ１〜ａ９が適用される。また、中央に位置する１つの画素を囲む８つの画素は、露光時間ａで撮像した撮像画像データ及び露光時間ｂで撮像した撮像画像データの両方で第２領域に設定されているので、より露光時間の長い露光時間ｂで撮像した撮像画像データの輝度値ｂ１〜ｂ９が適用される。そして、最も外側の１６画素は、全ての撮像画像データにおいて第２領域に設定されているので、露光時間の最も長い露光時間ｃで撮像した撮像画像データの輝度値ｃ１〜ｃ９が適用される。このようにして、図示のような、９枚の合成撮像画像データが生成される。
このように、合成撮像画像データは、複数の撮像条件（例えば露光時間）で撮像された撮像画像データに含まれる各画素の輝度値データのうち、有効なデータ、すなわち第２領域の輝度値データを組み合わせて構成されている。これにより、合成撮像画像データのダイナミックレンジは、撮像画像データよりも拡大されることになる。
ここで、画像処理システム１は、合成撮像画像データを用いて超解像処理を行うが、合成撮像画像データを用いてイメージシフト処理を行うようにしてもよい。合成撮像画像データを用いてイメージシフト処理を行う場合には、撮像画像データを用いてイメージシフト処理を行う場合と比べて、ダイナミックレンジの広い高解像度画像データを生成することができる。なお、イメージシフト処理は、合成撮像画像データの各画素の輝度値を、高解像度画像データの各画素にマッピングすることによって行われる。
ここで、マッピングの方法について説明する。上記のように、マッピングは、合成撮像画像データの各画素の輝度値を、高解像度画像データの各画素に適用することによって行われる。図７のように、５×５画素の合成撮像画像データを９枚用いる場合には、３倍の高解像度化が行われることになるので、高解像度画像データは、縦５×３画素×横５×３画素を有する画像データとなる。したがって、図示の例では、縦１５×横１５の各画素の輝度値に、合成撮像画像データの各画素の輝度値を適用することによって行われる。
具体的には、高解像度画像データの最も左上の画素の輝度値として、図７の最も左上の合成撮像画像データにおいて、最も左上に位置する画素の輝度値（ｃ１）が適用される。同様に、高解像度画像データの最上列の左から２番目の画素の輝度値として、図７の最上列の左から２番目の合成撮像画像データにおいて、最も左上に位置する画素の輝度値（ｃ２）が適用される。
以上のような処理を行い、９枚の合成撮像画像データの全画素を高解像度画像データにマッピングすることにより、図８に示す高解像度画像データが得られる。図８は、図７の合成撮像画像データをイメージシフト処理に供することで生成された高解像度画像データを示す図である。なお、図７と図８とでは、各画素の大きさが同じ程度となっているが、実際には高解像度画像データの各画素は、合成撮像画像データの各画素の１／３のサイズになっている。
ここで、図７の例では、全ての合成撮像画像データの全画素が第２領域となったことを想定しているが、同一の撮像位置で撮像された全ての撮像画像データにおいて、第１領域に設定されている画素が含まれている場合も考えられる。このような画素が含まれている場合には、高精度な超解像処理を行うことは困難となる。そこで、超解像処理部２５では、合成を行った後に、抽出領域データＺｍｎを、ｍ枚の合成撮像画像データｙｍに対応する抽出領域データＺｍに更新し、該抽出領域データＺｍを用いて、第１領域となっている画素の超解像処理における寄与を低下させるために重み付けを行う。
画像合成部３２が合成撮像画像データｙｍの生成を終了した後、または撮像セット数が１である場合（Ｓ５でＮＯ）には、擬似低解像度画像生成部３４は、高解像度画像保存部２４に格納されている初期高解像度画像データｈを取得する（Ｓ７）。
続いて、擬似低解像度画像生成部３４は、上記取得した初期高解像度画像データｈを、ｍ枚の撮像画像データのそれぞれと位置合わせすると共に、光学的劣化要因やダウンサンプリング等の要因を考慮して低解像度化を行い、擬似低解像度画像データを生成する（Ｓ８）。
具体的には、擬似低解像度画像生成部３４は、初期高解像度画像データｈにＢｍを乗じて、擬似低解像度画像データＢｍｈを生成する。なお、初期高解像度画像データｈは１枚であるが、擬似低解像度画像データＢｍｈは、撮像画像データのそれぞれに位置合わせされているので、擬似低解像度画像データＢｍｈの枚数はｍ枚になる（図２５参照）。そして、擬似低解像度画像生成部３４は、上記生成した擬似低解像度画像データＢｍｈを差分画像生成部３３に送る。
差分画像生成部３３は、擬似低解像度画像データＢｍｈを受け取ると、受け取った擬似低解像度画像データＢｍｈから、画像合成部３２が生成した合成撮像画像データｙｍを引いて、ｍ枚の差分画像データＸｍを算出する（Ｓ９）。そして、差分画像生成部３３は、該算出したｍ枚の差分画像データＸｍを重み付け差分画像生成部３６に送る。なお、撮像画像データが１セットのみである場合には、差分画像生成部３３は、擬似低解像度画像データＢｍｈから撮像画像データｙｍを引いて、ｍ枚の差分画像データＸｍを算出する。
重み付け差分画像生成部３６は、差分画像データＸｍを受け取ると、領域抽出部３５が生成した抽出領域データＺｍに基づいて重み付けを行う（Ｓ１０）。具体的には、差分画像生成部３３は、差分画像データＸｍにαＺｍを乗じることによって、差分画像データＸｍの各画素の輝度値を補正した重み付け差分画像データＸｍαＺｍを生成し、該生成した重み付け差分画像データＸｍαＺｍを画像更新部３７に送る。なお、αは抽出領域データＺｍに乗じる重みであり、αの値は必要に応じて適宜設定することができる。
例えば、ここでは、抽出領域データＺｍにおいて、第１領域の画素の輝度値を１とし、第２領域の画素の輝度値を２５５とすることを想定しているので、αの値を１／２５５に設定すればよい。これにより、重み付け差分画像データＸｍαＺｍにおける第１領域の画素の輝度値が全て１以下の値に補正される一方、第２領域の画素の輝度値は差分画像データＸｍと同じになる。したがって、第１領域に属する画素の輝度値の寄与を第２領域の画素と比べて低くすることができ、これにより超解像処理の精度を向上させることができる。
重み付け差分画像データＸｍαＺｍを受け取った画像更新部３７は、該受け取った重み付け差分画像データＸｍαＺｍを評価関数に代入して、評価値Ｅを算出する。なお、評価関数は、例えば〔背景技術〕で示した従来の超解像処理と同様に数式（３）を用いればよい。そして、画像更新部３７は、上記算出した評価値Ｅと予め設定した閾値と比較する（Ｓ１２）。なお、上記従来の超解像処理と同様に、上記閾値は、要求される高解像度化の精度に応じて適宜変更することができる。
評価値Ｅの値が上記閾値よりも小さい場合（Ｓ１２でＹＥＳ）には、画像更新部３７は、超解像処理を終了する。そして、このときに高解像度画像保存部２４に格納されている高解像度画像データｈが、超解像処理の結果となる高解像度画像データということになる。
一方、評価値Ｅの値が上記閾値以上である場合（Ｓ１２でＮＯ）には、画像更新部３７は、評価値Ｅの値が小さくなるように、当該評価値Ｅの算出に用いた高解像度画像データｈを更新する（Ｓ１３）。画像更新部３７は、例えば上記従来の超解像処理と同様に、上記数式（４）を用いることによって、高解像度画像データｈを更新することができる。
そして、画像更新部３７は、更新した高解像度画像データｈを高解像度画像保存部２４に格納する。高解像度画像保存部２４に新規に高解像度画像データｈが格納されると、低解像度画像生成部がこれを擬似的に低解像度化して擬似低解像度画像データＢｍｈを生成する（Ｓ８）。
このように、超解像処理部２５では、評価値Ｅの値が上記閾値よりも小さくなるまでＳ８〜Ｓ１３までの処理が繰り返される。これにより、所望の倍率で高解像度化がなされた所望の精度の高解像度画像データｈを得ることができる。
ここで、上述のように、高解像度画像データｈから擬似低解像度画像データＢｍｈを生成するときには、ＰＳＦの畳み込み処理が行われる。このＰＳＦの畳み込み処理により、重み付けによって輝度値の値が十分小さい値に補正された画素の輝度値は、当該画素の周囲に位置する画素の輝度値の影響によって補間更新される。したがって、白とびや黒つぶれが発生した第１領域の画素の画素値についても、Ｓ８〜Ｓ１３までの処理が繰り返されることによって撮像対象の形状及び色彩を反映させた値に近づいてゆく。
また、ＰＳＦの畳み込み処理は、繰り返し演算を行うときに差分画像データ（上記の例では重み付け差分画像データ）に対しても行われる。すなわち、ここでは、数式（４）を用いて高解像度画像データの更新を行うことを想定している。数式（４）では、数式（３）の評価関数Ｅの偏微分を取っているので、偏微分後の数式（４）は、下記の数式（６）のように表される。
上記のように、数式（６）では、差分画像データ（Ｂｍｈ−ｙｍ）にＢｍが乗じられているので、差分画像データ（Ｂｍｈ−ｙｍ）は、この繰り返し演算によってＰＳＦの畳み込み処理を受けることになる。これにより、高解像度画像データを更新するときに、差分画像データの各画素は、その周囲に位置する画素の影響によって補間更新される。
すなわち、上記のように重み付けを行った場合には、高解像度画像データの画素において、撮像画像データの不適正露光画素が反映される画素についても、その周囲の正常露光画素の輝度値によって補間更新される。したがって、上記の構成によれば、重み付けを行わない場合と比べて、撮像対象の形状及び色彩を正確に反映させた高解像度画像データを生成することができる。
なお、上記のフローチャートは、本発明の超解像処理の一例を示すものであり、本発明は、この例に限定されない。例えば撮像画像セットを１組のみ用いる場合には、図５のフローチャートにおけるＳ５及びＳ６の処理は省略してもよい。また、超解像処理に用いる全ての撮像画像データを同じ撮像条件で撮像した場合には、Ｓ４の正規化処理は省略してもよい。
〔具体例〕
続いて、本発明の超解像処理方法について、具体例を挙げて説明する。ここでは、図９に示すような形状及び色彩を有する撮像対象の撮像を行うことを想定している。図９は、撮像対象の一例を示す図である。
図示のように、ここでは、撮像対象が互いに階調が異なる６つの円形の領域が２行３列に等間隔で配列した画像であることを想定している。また、図示のように、６つの円形の領域は、同図の右側に位置するものほど階調が低くなっており、上側に配列した３つの円形領域の方が下側に配列した３つの円形領域よりも階調が低くなっている。無論、撮像対象の形状及び色彩は、どのようなものであってもよく、図示の例に限られない。
この撮像対象を、１〜ｍまでのｍ箇所の互いに異なる撮像位置にて撮像することにより、ｍ枚１セットの撮像画像セットを取得することができる。そして、さらに撮像条件を変えて、上記１〜ｍまでのｍ箇所の互いに異なる撮像位置にて撮像することにより、ｎセットの撮像画像セットを取得することができる。なお、ここでは簡単のため、撮像条件として露光時間のみを変更する例について説明する。
ｍ枚×ｎセットの撮像画像データは、例えば１０に示すような撮像画像データとなる。図１０は、撮像画像データの一例を示す図である。図示のように、同一撮像画像セットに含まれるｍ枚の撮像画像データは、異なる撮像位置にて撮像されたため、撮像画像データに写り込んでいる撮像対象の像も互いに異なっている。また、図示のように、撮像装置２の解像度が十分でないため、撮像画像データは、撮像対象の像がぼやけた画像データとなっている。なお、図１０では、各撮像画像データの撮像位置がずれていることを示すため、位置ずれを誇張して記載しているが、実際には、撮像位置のずれは、最大で撮像画像データの１画素分の幅となる。
さらに、ここではｎセットの撮像を行うので、図示のように、同じ撮像位置にて撮像した撮像画像データがそれぞれｎ枚ずつ得られる。同じ撮像位置で撮像したｎ枚の撮像画像データは、露光時間がそれぞれ異なっているので、撮像画像データの輝度値も露光時間に応じて異なっている。すなわち、露光時間が長い撮像条件にて撮像された撮像画像データほど撮像画像データの輝度値は大きくなっている。
ここで、図１０にＤ１及びＤ３で示す領域は白とびしており、Ｄ２及びＤ４で示す領域は黒つぶれしている。これは、露光時間等の条件によって露光過多または露光不足となることにより発生するものである。領域Ｄ１〜Ｄ４には、図９に示す撮像対象とは異なる色が表示されている。すなわち、領域Ｄ１〜Ｄ４は、撮像対象の形状及び色彩を正確に反映しておらず、このような領域の輝度値データを用いて超解像処理を行ってしまうと、超解像処理の精度が低下してしまう。
また、本発明の超解像処理では、撮像画像データの正規化を行う。正規化を行うことによって、例えば図１１に示すような画像データが得られる。図１１は、正規化した撮像画像データの一例を示す図である。図示のように、正規化を行うことによって、各セットの撮像画像データの輝度値が同程度になっている。このように正規化を行うことにより、超解像処理に使用する全ての撮像画像データを同一の撮像条件で撮像したものとみなすことができ、これにより様々な撮像条件で撮像して得られた撮像画像データを用いて超解像処理を行うことが可能になる。
そして、正規化を行った後の、同一撮像位置の撮像画像データについて、画像の合成が行われ、合成撮像画像データが生成される。なお、本例のように、撮像画像データに対して正規化を行うようにしてもよいし、撮像画像データの合成を行った後に、合成撮像画像データに対して正規化を行うようにしてもよい。
続いて、本例で使用する初期高解像度画像データについて説明する。上述のように、様々な画像データを初期高解像度画像データとして使用することができるが、例えば図１２（ａ）〜（ｄ）に示すような画像データを使用することができる。図１２（ａ）〜（ｄ）は、初期高解像度画像データの一例を示す図である。
すなわち、同図（ａ）に示すような、画像データの全面が白色の白色画像を初期高解像度画像データとして使用することができる。同様に、画像データの全面が黒色の黒色画像を初期高解像度画像データとして使用することができる。また、同図（ｂ）に示すように、画像データの全面が白色と黒色の中間階調の灰色画像を初期高解像度画像データとして用いてもよい。
さらに、同図（ｃ）に示すように、撮像画像データから選択した任意の画像データに補間処理を施したものを初期高解像度画像データとして用いることもできる。また、ここでは撮像対象の形状及び色彩が図９に示すものであることが予めわかっているので、同図（ｄ）に示すような、撮像対象の形状及び色彩を示す設計データを初期高解像度画像データとして用いることもできる。
なお、超解像処理では、高解像度画像データと撮像画像データとの差異が小さくなるように、高解像度画像データを順次更新してゆくので、初期高解像度画像データと撮像画像データとの差異が小さいほど、超解像処理は短時間で終了する。したがって、図１２（ａ）〜（ｄ）に示す初期高解像度画像データの中では、同図（ａ）や（ｂ）に示すものよりも、同図（ｃ）や（ｄ）に示すものを用いた方が超解像処理の処理時間及び演算量を少なく抑えることができる。
図１２（ｃ）または図１２（ｄ）に示す画像データを初期高解像度画像データとして用いた場合には、擬似低解像度画像データは、例えば図１３に示すようなデータとなる。図１３は、擬似低解像度画像データの一例を示す図である。図示のように、擬似低解像度画像データは、ｍ枚の撮像画像データのそれぞれと同じ撮像位置のｍ枚の画像データで構成されており、各画像データの解像度（画素サイズ）は撮像画像データと同じである（図２５参照）。
なお、図１２（ａ）や図１２（ｂ）に示すような初期高解像度画像データの擬似低解像度化を行う場合には、図１３のような画像データは生成されず、全面が均一で解像度（画素数）が撮像画像データと等しい、黒色画像や白色画像、または灰色画像等が生成される。
このようにして生成した擬似低解像度画像データと合成撮像画像データとの差分から差分画像データを生成し、差分画像データに重み付けを行って重み付け差分画像データを生成する。そして、この重み付け差分画像データを用いて繰り返し演算を行うことにより、初期高解像度画像データは順次更新されて、所望の精度の高解像度画像データが生成される。
〔参考例〕
上記画像処理システム１の構成によれば、露光時間が異なる複数の撮像画像データを正規化し、合成して超解像処理を行っているので、ダイナミックレンジの拡大された高解像度画像データを生成することができる。
また、画像処理システム１の構成によれば、白とびや黒つぶれが発生している可能性の高い第１領域の寄与が、有効ダイナミックレンジ内の輝度値を有する第２領域の寄与よりも小さくなるように重み付けが行われるので、高精度な高解像度画像データを少ない演算量で短時間に生成することが可能になる。
しかしながら、画像処理システム１では、露光時間が異なる複数の撮像画像セットを用いているので、撮像に要する時間が長くなるという問題がある。すなわち、超解像処理において解像度をＮ倍にする場合には、Ｎ２回の撮像を行う必要があるので、複数の露光時間で撮像を行う場合には、撮像時間の増加が著しい。
例えば、解像度を３倍にする場合には、９回の撮像を行う必要がある。この場合に、露光時間を１００ミリ秒に設定すると、９００ミリ秒で撮像は終了する。しかしながら、露光時間を１００ミリ秒、２００ミリ秒、３００ミリ秒の３通りに設定した場合には、撮像終了までに最短でも５４００ミリ秒の時間を要する。
なお、画像処理にてダイナミックレンジの拡大を行うことは、従来から行われている。例えば、“多重絞りカラー画像の解析”（浅田尚紀、松山隆司、望月孝俊、情報処理学会論文誌、1991年10月、Vol.32、No.10、p.1338-1348）や、特開平０２−１７４４７０号公報（１９９０年７月５日公開）、及び特開２００７−４９２２８号公報（２００７年２月２２日公開）には、露光時間の異なる複数の画像を用いて合成処理を行うことにより、ダイナミックレンジを拡張することが記載されている。
上記の文献で記載されている方法によれば、ダイナミックレンジを拡大する対象となる撮像対象を、短時間露光及び長時間露光の２種類の露光時間で撮像する。そして、２種類の露光時間で撮像した各画像について、白とび画素、黒つぶれ画素等の不適正露光領域を検出し、それらの領域を短時間露光画像、もしくは長時間露光画像で置き換えるようにしている。
例えば、特開平０２−１７４４７０号公報では、長時間露光画像と短時間露光画像とを交互に出力する構成としている。すなわち、短時間露光画像出力時に、その輝度値が所定値以下の画素に関しては黒つぶれがあると判断し、メモリに記憶されている長時間露光画像信号に切り替える。同様に、長時間露光画像出力時に、その輝度値が所定値以上の画素に関しては白とびがあると判断し、メモリに記憶されている短時間露光信号に切り替える。
なお、上記従来の方法によれば、置き換える対象となる画素は撮像位置が同じである必要がある。すなわち、上記従来の方法によれば、画素レベルで撮像位置が一致した一組の画像を用いる必要がある。撮像位置がずれた画像データで上記従来の方法を用いた場合には、画素の置き換えを行った箇所が、置き換えを行っていない箇所と不連続になってしまうからである。
したがって、撮像位置をずらしながら撮像を行う超解像処理においては、上記従来のダイナミックレンジ拡張方法を適用することは考えられていなかった。また、上述ように、超解像処理において、複数組の撮像画像セットを合成した合成撮像画像データを用いることによって、高解像度画像データダイナミックレンジを拡張することができるが、撮像に時間がかかるという難点もある。
そこで、本参考例では、撮像に要する時間を増加させずにダイナミックレンジの拡大された高解像度画像データを生成する例について図１４〜図２１に基づいて説明する。より詳細には、本参考例では、撮像対象の撮像を行うときに、撮像位置に応じて露光時間を変更しながら撮像を行うことにより、撮像位置毎に異なる露光時間で撮像された撮像画像データを取得する。
そして、このようにして撮像された撮像画像データを用いて超解像処理またはイメージシフト処理を行うことによって、ダイナミックレンジの拡大された高解像度画像データを生成することができる。すなわち、本参考例に記載の発明は、主に撮像方法に特色がある。
図１４は、本参考例の撮像方法を説明する図である。なお、同図では、縦５×横５の２５画素からなる撮像画像データを３倍に高解像度化する例を示している。３倍に高解像度化する場合には、図６の例と同様に、撮像画像データは９枚必要になる。また、この場合には、図６の例と同様に、９枚の撮像画像データの撮像位置は、撮像画像データ１画素の幅の１／３ピッチでずれている。
ここで、図６の例と比較すればわかるように、図１４の撮像画像データは、同図の最上段及び最下段の露光時間がａであるのに対し、同図の２段目の露光時間はｂとなっている。すなわち、本参考例の撮像方法によれば、１枚の高解像度画像データを生成するための撮像画像セットの中に、複数の異なる露光時間にて撮像された撮像画像データが含まれている。なお、ここでは簡単のため撮像条件として露光時間のみを変更する例について説明する。
このような撮像画像セットは、図２に示す画像処理システムにて取得することができる。すなわち、アクチュエータ制御部２６は、アクチュエータ１３を駆動して撮像素子１２を予め定めた撮像位置に移動させる。そして、この撮像位置において、撮像タイミング制御部２７は、露光時間ａだけ撮像対象を撮像させる。これにより、図１４の最上段の一番左に示す撮像画像データが撮像される。
撮像が終了すると、アクチュエータ制御部２６は、アクチュエータ１３を駆動して、図１４における右向きに像画像データの１画素幅の１／３だけ撮像領域が移動するように、撮像素子１２を移動させる。そして、移動が終了すると、撮像タイミング制御部２７は、上記の場合と同様に、露光時間ａだけ撮像対象を撮像させる。これにより、１画素幅の１／３だけ移動した撮像位置においても露光時間ａで撮像が行われることになり、図１４の最上段の中央に示す撮像画像データが撮像される。同様に、さらに１画素幅の１／３だけ移動させた撮像位置においても露光時間ａで撮像が行われ、図１４の最上段の一番右に示す撮像画像データが撮像される。
ここで、図１４の最上段に記載されている３枚の撮像画像データの撮像が終了すると、アクチュエータ制御部２６は、アクチュエータ１３を駆動して、図１４における下向きに像画像データの１画素幅の１／３だけ撮像領域が移動するように、撮像素子１２を移動させる。そして、移動が終了すると、撮像タイミング制御部２７は、露光時間ｂだけ撮像対象を撮像させる。これにより、図１４の２段目の一番右に示す撮像画像データが撮像される。すなわち、図１４の最上段の撮像画像データは、露光時間ａで撮像が行われていたが、図１４の２段目の撮像画像データでは、露光時間がｂに変わっている。
以下同様に、１画素幅の１／３ピッチで撮像位置を移動させながら露光時間ｂで撮像を行い、図１４の２段目の中央、及び一番左に記載の撮像画像データを取得する。そして、アクチュエータ制御部２６は、アクチュエータ１３を駆動して、図１４における下向きに撮像画像データの１画素幅の１／３だけ撮像領域が移動するように、撮像素子１２を移動させる。ここでは、撮像タイミング制御部２７は、再び露光時間をａに戻して撮像を実行させる。そして、上記と同様にして、撮像画像データ１画素幅の１／３ピッチで撮像位置を図１４の右向き移動させながら露光時間ｂで撮像を行い、図１４の最下段に記載されている３枚の撮像画像データを取得する。
このように、本発明の撮像方法によれば、高解像度画像データを生成するための１組の撮像画像セット内に、複数の露光時間（撮像条件）で撮像された撮像画像データが含まれることになる。例えば、図１４の例では、撮像画像セットに含まれる９枚の撮像画像データのうち、６枚が露光時間ａで撮像されたものであり、３枚が露光時間ｂで撮像されたものである。
このような複数の露光時間（撮像条件）にて撮像された撮像画像データを用いることによって、１種類の露光時間で撮像された撮像画像データのみを用いる場合と比べて、ダイナミックレンジの拡大された高解像度画像データを生成することができる。なお、高解像度画像データは、イメージシフト処理にて生成されるものであってもよいし、再構成型の超解像処理にて生成されるものであってもよい。
ここでは、まずイメージシフト処理にてダイナミックレンジの拡大された高解像度画像データを生成する例について説明する。上述のように、イメージシフト処理は、撮像画像データの各画素の輝度値を高解像度画像データの各画素位置にマッピングすることによって行われる。
例えば、図１４の９枚の撮像画像データを用いてイメージシフト処理を行った場合には、図１５に示す高解像度画像データが生成される。図１５は、図１４の撮像画像データを用いてイメージシフト処理を行うことにより生成される高解像度画像データを示す図である。
図示のように、図１４の９枚の撮像画像データを用いてイメージシフト処理を行った場合には、高解像度画像データの最上行の各画素には、露光時間ａで撮像された撮像画像データの輝度値がマッピングされる。そして、上から２行目には、露光時間ｂで撮像された撮像画像データの輝度値がマッピングされ、上から３行目及び４行目には、露光時間ａで撮像された撮像画像データの輝度値がマッピングされる。以下同様に、高解像度画像データの各行に、露光時間ｂ、露光時間ａ、露光時間ａ、露光時間ｂの順で撮像画像データの輝度値がマッピングされる。
ここで、上記のようにして生成された高解像度画像データの各画素について、その輝度値が正常範囲内か否かを判別する。すなわち、ここでは高解像度画像データの各画素が正常露光の第２領域であるか、不適正露光の第１領域であるかを判別する。判別の方法は、上記実施形態で説明した通りであるから、ここではその説明を省略する。
続いて、上記判別処理において不適正露光画素と判定された画素について補間処理を行う。補間処理は、上記不適正露光画素に隣接する画素（例えば当該不適正露光画素の上下左右の４方向、または上下左右斜めの８方向に隣接する画素）のうち、上記判別処理において正常露光画素であると判定された画素の輝度値の平均値または中間値で上記不適正露光画素の輝度値を置き換えることで行われる。
このように補間処理を行うことによって、例えば露光時間ｂまたは露光時間ａのいずれか一方で撮像された撮像画像データに白とびや黒つぶれが発生していた場合であっても、正常露光画素によって補間更新される。すなわち、補間処理を行うことによって高解像度画像データのダイナミックレンジが拡大される。
そして、上記補間処理後の高解像度画像データの画素には、互いに異なる撮像条件（例えば露光時間）にて撮像された撮像画像データに由来する画素が含まれているので、各画素の正規化を行う。正規化の方法は、上記実施形態で説明した通りである。これにより、ダイナミックレンジの拡大された高解像度画像データが生成される。
次に、超解像処理にてダイナミックレンジの拡大された高解像度画像データを生成する例について説明する。上記実施形態の超解像処理部２５によれば、本参考例の超解像処理を実行することができる。つまり、本参考例の超解像処理は、図１に示す超解像処理部２５にて、図５のフローチャートに記載の処理を行うことによって実行される。
すなわち、図５のフローチャートにおける撮像画像データとして、上記の撮像方法にて取得した一組の撮像画像セットを用いて超解像処理を行うことにより、複数組の撮像画像セットを用いることなく、ダイナミックレンジの拡大された高解像度画像データを生成することができる。なお、本参考例では、撮像画像セットを一組のみ用いるので、図５のフローチャートにおけるＳ５及びＳ６の処理は行われない。
ここで、図５のフローチャートでは、Ｓ１３にて更新された高解像度画像データが、撮像画像データに位置合わせされると共に低解像度化されて、擬似低解像度画像データが生成される（Ｓ８）。このとき、高解像度画像データの各画素は、ＰＳＦによりダウンサンプリングされる。例えば、図１５の高解像度画像データを擬似低解像度化した場合には、縦３×横３画素の領域に含まれる９つの画素の画素値が、擬似低解像度画像データの１画素の輝度値となる。
その結果、高解像度画像データの各画素は、低解像度化の際に、当該画素の周囲に位置する画素の輝度値によって補間更新される。これにより、高解像度画像データの画素の中に、重み付けによって寄与が低下された画素が含まれている場合であって、当該画素の周囲に正常に露光された画素が配置している場合には、この画素は周囲の画素の画素値によって更新される。
したがって、擬似低解像度画像データの１画素に対応する領域に含まれる、高解像度画像データの複数画素には、各撮像条件で撮像した撮像画像データに由来する画素が均等に含まれていることが好ましい。例えば、図１５の例では、高解像度画像データの縦３×横３画素の領域（擬似低解像度画像データの１画素に対応する領域）に含まれる９つの画素のそれぞれには、露光時間ａで撮像した撮像画像データに由来する画素が６つと、露光時間ｂで撮像した撮像画像データに由来する画素が３つ含まれている。
これにより、例えば露光時間ｂで撮像した撮像画像データが白とびしていた場合であっても、露光時間ａで撮像した撮像画像データが正常露光で撮像されたものであれば、露光時間ｂで撮像した撮像画像データに由来する画素の画素値は、擬似低解像度画像データの生成時に露光時間ａで撮像した撮像画像データに由来する画素の画素値によって補間更新される。そして、これにより、ダイナミックレンジの拡大された高解像度画像データが生成される。
なお、図１４の撮像方法にて撮像を行った場合には、図１５に示すように、露光時間ａで撮像した撮像画像データに由来する画素と、露光時間ｂで撮像した撮像画像データに由来する画素とがストライプ状に配列する。この場合に、例えば、露光時間ａまたはｂの何れか一方で撮像された撮像画像データの広い領域で露光不良が生じたときには、図１５に示すように、高解像度画像データの各画素の左右方向に隣接する画素の露光時間が等しくなることから、十分な補間更新が行われにくくなるということも考えられる。
また、図１４の撮像方法にて撮像を行った場合には、図１５に示すように、露光時間ａで撮像した撮像画像データに由来する画素の方が、露光時間ｂで撮像した撮像画像データに由来する画素よりも数が多くなる。したがって、露光時間ａで撮像した撮像画像データの広い領域で露光不良が生じた場合には、十分な補間更新が行われにくくなるということも考えられる。
そこで、図１６に示すような撮像画像データを用いることによって、上記の問題点を解決することができる。図１６は、本参考例の上記とは別の撮像方法を説明する図である。図１６に示す撮像画像データの撮像方法は、図１４の例とほぼ同様であるが、露光時間を変更するタイミングが異なっている。
すなわち、図１６の例では、撮像位置が上下方向または左右方向に隣接する撮像画像データの露光時間（撮像条件）がそれぞれ異なるように撮像されている。このようにして撮像された撮像画像データの各画素値を高解像度画像データの画素位置にマッピングすることにより、図１７に示す高解像度画像データが生成される。
なお、再構成型の超解像処理では、マッピング処理を行うことはないが、撮像画像データの各画素は、マッピング処理を行った場合と同じ位置に反映される。したがって、図１６の撮像画像セットを用いて超解像処理を行った場合には、図１７に示すような高解像度画像データが生成される。
図１７は、図１６の撮像画像データから生成される高解像度画像データを示す図である。図示のように、図１７の例では露光時間ａで撮像した撮像画像データに由来する画素と、露光時間ｂで撮像した撮像画像データに由来する画素とが、同図の左右方向及び上下方向に交互に現れる。
ここで、図１５の例では、上下方向及び斜め方向では異なる露光時間で撮像された撮像画像データに由来する各画素が交互に配列されているが、左右方向には同じ露光時間で撮像された撮像画像データに由来する画素のみが配列されている。そのため、左右方向の隣接画素間での補間処理が十分に行われないおそれがあった。
これに対し、図１７の例では、上下方向、左右方向、斜め方向の何れの方向においても、異なる露光時間で撮像された撮像画像データに由来する各画素が交互に配列する。したがって、この配列によれば、隣接画素間での補間処理が十分に行われ、その結果、図１５の例と比べてより高精度な高解像度画像データを生成することが可能となる。
また、図１５の例では、高解像度画像データの縦３×横３画素の領域（擬似低解像度画像データの１画素に対応する領域）に含まれる９つの画素のそれぞれには、露光時間ａで撮像した撮像画像データに由来する画素が６つと、露光時間ｂで撮像した撮像画像データに由来する画素が３つ含まれていた。すなわち、図１５の例では、露光時間ａで撮像した撮像画像データに由来する画素の割合が高く、そのためａで撮像した撮像画像データに由来する画素の影響が大きくなっている。
これに対し、図１７の例では、高解像度画像データの縦３×横３画素の領域（擬似低解像度画像データの１画素に対応する領域）に含まれる９つの画素のそれぞれには、露光時間ａで撮像した撮像画像データに由来する画素が５つと、露光時間ｂで撮像した撮像画像データに由来する画素が４つ含まれている。
すなわち、図１７の例では、高解像度画像データにおいて、擬似低解像度画像データの１画素に対応する領域に含まれる、露光時間の異なる撮像画像データに由来する画素の数の差が図１５の例よりも小さくなっている。これにより、一方の露光時間で撮像した撮像画像データの広い領域で露光不良が生じた場合であっても、十分な補間更新が行われるため、ダイナミックレンジの拡大された高解像度画像データを精度よく生成することができる。
ところで、図１４〜図１７の例では、９枚の撮像画像データを用いる場合に、ａ及びｂの２種類の露光時間で撮像を行っている。そのため、高解像度画像データにおいて、露光時間ａで撮像した撮像画像データに由来する画素と、露光時間ｂで撮像した撮像画像データに由来する画素とを等しくすることはできず、何れかの露光時間で撮像した撮像画像データの影響が他方の露光時間で撮像した撮像画像データの影響よりも大きくなってしまう。
そこで、９枚の撮像画像データを用いる場合には、３種類または９種類の露光時間で撮像を行えばよい。これにより、高解像度画像データにおける、各露光時間で撮像した撮像画像データに由来する画素の数を等しくすることができる。図１８は、３種類の露光時間で撮像する場合の撮像方法を説明する図である。なお、図１８においても、図１４や図１６と同様に、縦５×横５の２５画素からなる撮像画像データを３倍に高解像度化する例を示している。
図示のように、３種類の露光時間で撮像する場合も、撮像位置の移動方法は、図１４や図１６の場合と同様である。ただし、図１８の例では、最上段の３枚の撮像画像データと、２段目の３枚の撮像画像データと、最下段の３枚の撮像画像データとが、それぞれ異なる露光時間で撮像されている。すなわち、図１８の例では、最上段の３枚の撮像画像データは、露光時間ａで撮像され、２段目の３枚の撮像画像データは、露光時間ｂで撮像され、最下段の３枚の撮像画像データは、露光時間ｃで撮像されている。
そして、図１８の例の撮像画像データを用いることによって、図１９に示す高解像度画像データを得ることができる。図１９は、図１８の撮像画像データから生成される高解像度画像データを示す図である。
図示のように、高解像度画像データの縦３×横３画素の領域（擬似低解像度画像データの１画素に対応する領域）に含まれる９つの画素のそれぞれには、露光時間ａ〜ｃで撮像した撮像画像データに由来する画素が３つずつ含まれている。これにより、高解像度画像データにおける、露光時間ａ〜ｃで撮像した撮像画像データに由来する画素の寄与を等しくすることができる。その結果、例えば何れかの露光時間で撮像した撮像画像データの広い領域で露光不良が生じた場合であっても、十分な補間更新が行われるため、ダイナミックレンジの拡大された高解像度画像データを精度よく生成することができる。
ここで、図示のように、図１９の例では、上下方向及び斜め方向には、各露光時間で撮像した撮像画像データに由来する画素が交互に配列しているが、左右方向には同一の露光時間で撮像した撮像画像データに由来する画素のみが配列している。したがって、図１９の例では、図１５の例と同様に、左右方向の隣接画素間での補間処理が十分に行われないおそれがある。
そこで、例えば図２０に示す撮像方法にて撮像を行えばよい。図２０は、上記とはさらに異なる撮像方法を説明する図である。なお、図２０においても、図１８と同様に、３種類の露光時間にて撮像を行い、９枚の撮像画像データを取得する例を示している。また、各撮像画像データは、縦５×横５の２５画素からなり、この撮像画像データを３倍に高解像度化することを想定している。
図示のように、図２０の例においても、撮像位置の移動方法は、図１４や図１６、及び図１８の場合と同様である。ただし、図２０の例では、最上段から最下段までの各段における３枚の撮像画像データが、それぞれ異なる露光時間で撮像されている。そして、図２０の例では、最左列から最右列までの各列における３枚の撮像画像データが、それぞれ異なる露光時間となっている。すなわち、図２０の例では、最上段の最左列、２段目の２列目、及び３段目の最右列の撮像画像データは露光時間ａで撮像され、最上段の２列目、２段目の最右列、及び３段目の最左列の撮像画像データは露光時間ｂで撮像され、最上段の最右列、２段目の最左列、及び３段目の２列目、の撮像画像データは露光時間ｃで撮像されている。
そして、図２０の例の撮像画像データを用いることによって、図２１に示す高解像度画像データを得ることができる。図２１は、図２０の撮像画像データから生成される高解像度画像データを示す図である。
図示のように、高解像度画像データの縦３×横３画素の領域（擬似低解像度画像データの１画素に対応する領域）に含まれる９つの画素のそれぞれには、露光時間ａ〜ｃで撮像した撮像画像データに由来する画素が３つずつ含まれている。これにより、高解像度画像データにおける、露光時間ａ〜ｃで撮像した撮像画像データに由来する画素の寄与を等しくすることができる。その結果、例えば何れかの露光時間で撮像した撮像画像データの広い領域で露光不良が生じた場合であっても、十分な補間更新が行われるため、ダイナミックレンジの拡大された高解像度画像データを精度よく生成することができる。
また、図示のように、図２１の例では、上下方向、及び左右方向には、各露光時間で撮像した撮像画像データに由来する画素が交互に配列している。したがって、図２１の例では、上下方向、及び左右方向にて補間処理が十分に行われる。その結果、図２１の例では、ダイナミックレンジの拡大された高解像度画像データを精度よく生成することができる。
なお、図２１の例では、斜め方向には同一の露光時間で撮像した撮像画像データに由来する画素のみが配列しているが、図２１の例の配列は、左右方向に同一の露光時間で撮像した撮像画像データに由来する画素のみが配列する図１９の例よりも好ましい。これは、超解像処理で用いられるＰＳＦはガウス分布を持つ点広がり関数のため、畳み込み処理時の注目画素の近傍にできるだけ多くの正常値がある方が好ましいためである。また、イメージシフトを行う場合の補間処理においても、注目画素の上下左右に位置する４画素を用いる場合があるので、上記のように注目画素の上下左右に同じ露光時間で撮像した撮像画像データに由来する画素が配列しないようにすることが好ましい。
以上のように、本参考例の撮像方法によれば、一組の撮像画像データを用いた場合であってもダイナミックレンジの拡張された高解像度画像データを生成することができる。無論、上述の方法は本参考例の撮像方法の一例を示すものであり、本参考例の撮像方法はこの例に限られない。
すなわち、上述の例では、縦５×横５の２５画素からなる撮像画像データを３倍に高解像度化する例を示したが、撮像画像データの画素数、及び高解像度化の倍率は、必要に応じて適宜変更することができる。また、上述の例では、撮像条件として露光時間のみ変化させる例を示したが、使用する撮像装置、照明強度、撮像感度、使用するフィルタ、及びアイリス等の撮像条件の少なくとも１つを変化させるようにしてもよい。
上述のように、本参考例の撮像方法では、一組の撮像画像セットに、少なくとも１枚の他の撮像画像データと撮像条件が異なる撮像画像データが含まれていれば、ダイナミックレンジを拡張することができる。
そして、高解像度画像データにおいて、撮像画像データの１画素に対応する領域に含まれる、互いに異なる撮像条件で撮像された撮像画像データに由来する画素の配置を調整することによって、より精度の高い高解像度画像データを生成することが可能になる。
すなわち、本参考例の撮像方法では、高解像度画像データにおいて、撮像画像データの１画素に対応する領域に含まれる複数の画素において、互いに異なる撮像条件で撮像された撮像画像データに由来する画素の画素数の差が最小となるように、各撮像画像データの撮像条件を制御することが好ましい。
例えば、図１５の例では、高解像度画像データにおいて、撮像画像データの１画素に対応する領域には、露光時間ａで撮像された撮像画像データに由来する画素が６個、露光時間ｂで撮像された撮像画像データに由来する画素が３個含まれている。これに対して、図１７の例では、高解像度画像データにおいて、撮像画像データの１画素に対応する領域には、露光時間ａで撮像された撮像画像データに由来する画素が５個、露光時間ｂで撮像された撮像画像データに由来する画素が４個含まれている。
すなわち、図１７の例では、互いに異なる撮像条件で撮像された撮像画像データに由来する画素の画素数の差が最小されている。したがって、図１７の例の高解像度画像データが生成される図１６の撮像方法が、図１５の例の高解像度画像データが生成される図１４の撮像方法よりも好ましいということになる。
また、本参考例の撮像方法では、高解像度画像データにおいて、撮像画像データの１画素に対応する領域に含まれる、同じ撮像条件にて撮像された撮像画像データに由来する画素において、上記各領域内において縦方向または横方向に連続して配列される画素の数が最小化されるように撮像条件を制御することが好ましい。
上述のように、本参考例の撮像方法で生成された撮像画像データを（再構成型）超解像処理に用いた場合には、擬似低解像度画像データを生成する際に、撮像画像データの１画素に対応する領域に含まれる、異なる撮像画像データに由来する画素が補間更新される。したがって、高解像度画像データに含まれる、異なる撮像条件で撮像された撮像画像データに由来する画素は、当該高解像度画像データの全面に均一に配列していることが好ましい。
言い換えれば、高解像度画像データに含まれる、異なる撮像条件で撮像された撮像画像データに由来する画素は、当該高解像度画像データにおいて、水平方向、垂直方向、斜め方向に均一に分布しており、また異なる撮像条件で撮像された撮像画像データに由来する画素の分布密度の差が小さいことが好ましい。
例えば、図１５の例では、高解像度画像データにおいて、露光時間ａで撮像された撮像画像データに由来する画素、及び露光時間ｂで撮像された撮像画像データに由来する画素が同図の横方向に１５個連続して配列している。これに対して、図１７の例では、露光時間ａで撮像された撮像画像データに由来する画素、及び露光時間ｂで撮像された撮像画像データに由来する画素が同図の横方向に連続して配列している個数は最大で２個になっている。
すなわち、図１７の例では、横方向に連続して配列される画素の数が最小化されている。したがって、図１７の例の高解像度画像データが生成される図１６の撮像方法が、図１５の例の高解像度画像データが生成される図１４の撮像方法よりも好ましいということになる。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
最後に、制御装置３の各ブロック、特に撮像制御部２１及び超解像処理部２５は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
すなわち、制御装置３は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである制御装置３の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記制御装置３に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
また、制御装置３を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
上述のように、撮像条件の異なる複数の撮像画像セットについて、撮像条件に応じた輝度値の補正を行い、さらにこれらを合成することにより、撮像画像データと比べてダイナミックレンジが拡大された合成撮像画像データを得ることができる。そして、この合成撮像画像データを用いて高解像度画像データを生成することにより、ダイナミックレンジが拡大された高解像度画像データが生成される。
しかしながら、撮像条件の異なる複数の撮像画像セットを用いる場合には、撮像する撮像画像データの枚数が増加するため、撮像に要する時間が長くなってしまうという問題を生じる。
そこで、上記参考例に係る発明の撮像制御装置は、上記課題を解決するために、撮像対象を、高解像度化倍率に応じた数の低解像度の撮像画像データに基づいて高解像度化した高解像度画像データを生成するために、上記撮像対象を撮像する撮像装置の制御を行う撮像制御装置であって、上記高解像度画像データにおいて、上記撮像画像データの１画素に対応する領域のそれぞれに、互いに異なる撮像条件にて撮像された撮像画像データに由来する高解像度画像データの画素が含まれるように上記各撮像画像データの撮像条件を制御する撮像条件制御手段を備えていることを特徴としている。
また、上記参考例に係る発明の撮像制御装置の制御方法は、上記課題を解決するために、撮像対象を、高解像度化倍率に応じた数の低解像度の撮像画像データに基づいて高解像度化した高解像度画像データを生成するために、上記撮像対象を撮像する撮像装置の制御を行う撮像制御装置の制御方法であって、上記高解像度画像データにおいて、上記撮像画像データの１画素に対応する領域のそれぞれに、互いに異なる撮像条件にて撮像された撮像画像データに由来する高解像度画像データの画素が含まれるように上記各撮像画像データの撮像条件を制御する撮像条件制御ステップを含むことを特徴としている。
上記の構成によれば、高解像度画像データにおいて、撮像画像データの１画素に対応する領域のそれぞれに、互いに異なる撮像条件にて撮像された撮像画像データに由来する高解像度画像データの画素が含まれるように各撮像画像データの撮像条件が制御される。なお、撮像条件とは、露光時間（シャッタースピード）、使用する撮像装置、照明強度、撮像感度、使用するフィルタ、及びアイリスの少なくとも１つである。
したがって、上記の構成にて撮像された、高解像度化倍率に応じた数の低解像度の撮像画像データを用いて高解像度画像を生成した場合には、撮像画像データの１画素に対応する領域のそれぞれに、互いに異なる撮像条件にて撮像された撮像画像データに由来する高解像度画像データの画素が含まれる高解像度画像データが生成される。
この高解像度画像データは、互いに異なる撮像条件にて撮像された撮像画像データを反映しているので、同じ撮像条件で撮像した撮像画像データを用いて高解像度画像データを生成する場合と比べて、ダイナミックレンジが拡大されている。
したがって、上記の構成によれば、所望の高解像度倍率の高解像度画像データを生成するために必要な撮像画像データを増やすことなく、ダイナミックレンジの拡張された高解像度画像データを生成することができる。
また、上記撮像条件制御手段は、上記各領域に含まれる同じ撮像条件にて撮像された撮像画像データに由来する画素において、上記各領域内において縦方向または横方向に連続して配列される画素の数が最小化されるように上記各撮像画像データの撮像条件を制御することが好ましい。
ここで、ある撮像条件にて撮像された撮像画像データの広い領域で不適正露光画素が発生した場合に、上記撮像条件にて撮像された撮像画像データに由来する画素が、各領域内において縦方向または横方向に連続して配列されていると、高解像度画像データにおいて、不適正露光画素が目立ちやすい。
例えば、露光過多による白とびが広い領域で発生した撮像画像データに由来する画素が、各領域内において縦方向または横方向に連続して配列されていると、高解像度画像データにおいて、縦方向または横方向に白い筋が視認される。
そこで、上記の構成によれば、同じ撮像条件にて撮像された撮像画像データに由来する画素が、各領域内において縦方向または横方向に連続して配列される画素の数を最小化するようにしている。これにより、特定の撮像条件にて撮像された撮像画像データの広い領域で不適正露光画素が発生した場合であっても、高解像度画像データにおいて、不適正露光画素に由来する画素が目立ち難くなる。
また、上記の撮像制御装置の制御に基づいて撮像された撮像画像データを用いて超解像処理を行った場合には、高解像度画像データにおいて、撮像画像データの１画素に対応する領域に含まれる複数の画素が補間更新される。これにより、不適正露光画素に由来する画素の輝度値が、該画素に隣接する正常露光画素の輝度値によって適正な値に更新されるので、高精度な高解像度画像データを生成することができる。
また、上記撮像条件制御手段は、上記各領域に含まれる互いに異なる撮像条件にて撮像された撮像画像データに由来する画素の画素数の差が最小となるように上記各撮像画像データの撮像条件を制御することが好ましい。
ここで、ある撮像条件にて撮像された撮像画像データの広い領域で不適正露光画素が発生した場合であって、上記撮像条件にて撮像された撮像画像データに由来する画素の各領域内に占める割合が高い場合には、高解像度画像データにおいて不適正露光画素が目立ちやすい。
そこで、上記の構成によれば、互いに異なる撮像条件にて撮像された撮像画像データに由来する画素の画素数の差を最小にしている。これにより、特定の撮像条件にて撮像された撮像画像データの広い領域で不適正露光画素が発生した場合であっても、高解像度画像データにおいて、不適正露光画素に由来する画素が目立ち難くなる。
また、上記の撮像制御装置の制御に基づいて撮像された撮像画像データを用いて超解像処理を行った場合には、高解像度画像データにおいて、撮像画像データの１画素に対応する領域に含まれる複数の画素が補間更新される。これにより、不適正露光画素に由来する画素の輝度値が、該画素に隣接する正常露光画素の輝度値によって適正な値に更新されるので、高精度な高解像度画像データを生成することができる。
また、上記撮像制御装置の制御により撮像された一組の撮像画像データの全てが、上記異なる撮像条件から選択された１つの撮像条件にて撮像されたものとみなすことができるように、各撮像画像データの各画素の輝度値を補正する撮像画像補正手段と、上記撮像画像補正手段が補正を行った一組の撮像画像データを用いて超解像処理を行う超解像処理手段とを備えている画像処理装置であれば、所望の高解像度倍率の高解像度画像データを生成するために必要な撮像画像データを増やすことなく、ダイナミックレンジの拡張された高解像度画像データを生成することができる。
これは、超解像処理を行う際に、撮像画像データの１画素に対応する領域のそれぞれに、互いに異なる撮像条件にて撮像された撮像画像データに由来する高解像度画像データの画素が、擬似低解像度画像データを生成するときに１画素に統合されることによる。
すなわち、互いに異なる撮像条件にて撮像された撮像画像データに由来する高解像度画像データの画素の輝度値が、擬似低下像度画像データの１つの画素として統合されて、高解像度画像データの更新に用いられることにより、更新後の高解像度画像データには、互いに異なる撮像条件にて撮像された撮像画像データの輝度値が反映される。その結果、高解像度画像データのダイナミックレンジが拡大される。
また、上記撮像制御装置の制御により撮像された一組の撮像画像データの各画素を、上記高解像度画像データの各画素位置にマッピングして高解像度画像データを生成するマッピング手段と、上記マッピング手段が生成した高解像度画像データの各画素について、その輝度値が予め定めた正常範囲内であるか否かを判断する適正露光画素判断手段と、上記高解像度画像データにおいて上記適正露光画素判断手段が正常範囲内ではないと判断した画素の輝度値を、該画素に隣接する画素のうち、上記適正露光画素判断手段が正常範囲内であると判断した画素の輝度値に基づいて補間する補間手段と、上記マッピング手段が生成した高解像度画像データの全画素が、上記異なる撮像条件から選択された１つの撮像条件にて撮像されたものとみなすことができるように、上記高解像度画像データの各画素の輝度値を補正する撮像画像補正手段とを備えていることを特徴とする画像処理装置であれば、所望の高解像度倍率の高解像度画像データを生成するために必要な撮像画像データを増やすことなく、ダイナミックレンジの拡張された高解像度画像データを生成することができる。
本発明によれば、ダイナミックレンジの拡大された高解像度画像データを生成することができるので、静止画像または動画像の高解像度化を行う装置に好適に適用できる。
本発明の実施形態を示すものであり、超解像処理部の要部構成を示すブロック図である。 本発明の実施形態を示すものであり、画像処理システムの要部構成を示すブロック図である。 撮像素子と高解像度画像データの画素との位置関係を説明する図である。 本発明の実施形態を示すものであり、撮像画像データの合成方法の一例を示す図である。 上記画像処理システムにおいて実行される超解像処理の一例を示すフローチャートである。 上記画像処理システムにおいて使用される撮像画像セットの一例を示す図である。 上記撮像画像セットに含まれる撮像画像データを合成して生成される合成撮像画像データの一例を示す図である。 上記合成撮像画像データをイメージシフト処理に供することで生成された高解像度画像データを示す図である。 上記画像処理システムにて用いられる撮像対象の一例を示す図である。 上記撮像対象を撮像して得られる撮像画像データの一例を示す図である。 上記撮像画像データを正規化した状態の一例を示す図である。 同図（ａ）〜（ｄ）は、上記画像処理システムにて用いられる初期高解像度画像データの一例を示す図である。 上記画像処理システムにて生成される擬似低解像度画像データの一例を示す図である。 本発明の参考例における撮像方法を説明する図である。 上記撮像方法にて撮像された撮像画像データを用いてイメージシフト処理を行うことにより生成される高解像度画像データを示す図である。 本発明の参考例における、上記とは別の撮像方法を示す図である。 上記撮像方法にて撮像された撮像画像データから生成される高解像度画像データを示す図である。 本発明の参考例において、３種類の露光時間で撮像する場合の撮像方法を説明する図である。 上記撮像方法にて撮像された撮像画像データから生成される高解像度画像データを示す図である。 本発明の参考例における、上記とはさらに異なる撮像方法を説明する図である。 上記撮像方法にて撮像された撮像画像データから生成される高解像度画像データを示す図である。 従来の超解像処理方法の一例を示すフローチャートである。 超解像処理に用いる撮像画像データの撮像方法の一例を示す図である。 超解像処理に用いる初期高解像度画像データの一例を示す図である。 超解像処理に用いる擬似低解像度画像データの一例を示す図である。
１ 画像処理システム
２ 撮像装置
３ 制御装置
２１ 撮像制御部
２５ 超解像処理部
３１ 正規化部
３２ 画像合成部
３３ 差分画像生成部（差分画像生成手段）
３４ 擬似低解像度画像生成部
３５ 領域抽出部（適正露光画素判断手段）
３６ 重み付け差分画像生成部（重み付け差分画像生成手段）
３７ 画像更新部（画像更新手段）

Claims (15)

  1. 撮像対象を、高解像度化倍率に応じた数の低解像度の撮像画像データに基づいて高解像度化した高解像度画像データを生成する画像処理装置であって、
    上記高解像度画像データを、上記複数の撮像画像データの一つに対して位置合わせし、上記撮像画像データと同じ解像度に変換し、当該撮像画像データを撮像した撮像装置のカメラモデルから得られる点広がり関数を乗じて擬似低解像度画像データを生成し（処理順番）、該擬似低解像度画像データと当該撮像画像データとの差分を取る処理を、上記複数の撮像画像データのそれぞれに対して行って、複数の差分画像データを生成する差分画像生成手段と、
    上記差分画像生成手段が生成した上記複数の差分画像データに基づいて、上記高解像度画像データと上記複数の撮像画像データとの誤差を示す評価値を算出すると共に、該評価値が予め定めた閾値以上である場合に、該評価値が小さくなるように上記高解像度画像データを更新する画像更新手段とを備えていると共に、
    上記複数の撮像画像データの各画素について、その輝度値が予め定めた正常範囲内であるか否かを判断する適正露光画素判断手段と、
    上記複数の撮像画像データの一つと対応する一つの差分画像データにおいて、上記適正露光画素判断手段が上記複数の撮像画像データの一つにおいて正常範囲内ではないと判断した画素に対応する位置に存在する対象画素の上記評価値に対する寄与が小さくなるように、上記対象画素に重み付けを行う処理を、上記複数の差分画像データのそれぞれに対して行う重み付け差分画像生成手段とをさらに備え、
    上記画像更新手段は、上記重み付け差分画像生成手段が重み付けを行った上記複数の差分画像データを用いて上記高解像度画像データを更新することを特徴とする画像処理装置。
  2. 上記複数の撮像画像データには、異なる撮像条件にて撮像された撮像画像データが含まれており、
    上記適正露光画素判断手段が、輝度値が予め定めた正常範囲内であるか否かを判断した後に、上記異なる撮像条件から選択された１つの撮像条件にて、上記一組の撮像画像データの全てが撮像されたものとみなすことができるように、各撮像画像データの各画素の輝度値を補正する撮像画像補正手段を備えていることを特徴とする請求項１に記載の画像処理装置。
  3. 撮像対象を、高解像度化倍率に応じた数の低解像度の撮像画像データに基づいて高解像度化した高解像度画像データを生成する画像処理装置であって、
    上記高解像度化倍率に応じた数の撮像画像データを一組とする複数組の撮像画像セットに基づいて上記高解像度画像データを生成するようになっており、上記各撮像画像セットに含まれる撮像画像データは、同一の撮像条件にて撮像されたものであり、異なる撮像画像セットに含まれる撮像画像データは、互いに異なる撮像条件にて撮像されたものであり、
    上記複数組の撮像画像セットに含まれる各撮像画像データの各画素について、その輝度値が予め定めた正常範囲内であるか否かを判断する適正露光画素判断手段と、
    上記適正露光画素判断手段が、輝度値が予め定めた正常範囲内であるか否かを判断した後に、上記異なる撮像条件から選択された１つの撮像条件にて、上記複数組の撮像画像セットに含まれる撮像画像データの全てが撮像されたものとみなすことができるように、各撮像画像データの各画素の輝度値を補正する撮像画像補正手段と、
    上記複数組の撮像画像セットから選択した一組に含まれる各撮像画像データの画素において、上記適正露光画素判断手段が上記正常範囲内ではないと判断した置換対象画素の輝度値を、他の撮像画像セットにおいて上記置換対象画素と対応する位置の画素であって、上記適正露光画素判断手段が上記正常範囲内であると判断した置換候補画素が存在する場合に、上記置換対象画素の輝度値を上記置換候補画素の輝度値で置き換えて、一組の合成撮像画像データを生成する画像合成手段と、
    上記高解像度画像データを、上記一組の合成撮像画像データに含まれる合成撮像画像データの一つに対して位置合わせし、当該合成撮像画像データと同じ解像度に変換し、さらに上記複数の撮像画像データを撮像した撮像装置のカメラモデルから得られる点広がり関数を乗じて生成した擬似低解像度画像データと、当該合成撮像画像データとの差分を取って、差分画像データを生成する処理を、上記一組の合成撮像画像データに含まれる合成撮像画像データのそれぞれに対して行って、一組の差分画像データを生成する差分画像生成手段と、
    上記差分画像生成手段が生成した上記一組の差分画像データに基づいて、上記高解像度画像データと上記一組の合成撮像画像データとの誤差を示す評価値を算出すると共に、該評価値が予め定めた閾値以上である場合に、該評価値が小さくなるように上記高解像度画像データを更新する画像更新手段とを備え、
    上記適正露光画素判断手段は、上記一組の合成撮像画像データに含まれる各合成撮像画像データの画素について、その輝度値が予め定めた正常範囲内であるか否かをさらに判断し、
    上記適正露光画素判断手段が上記一組の合成撮像画像データにおいて、正常範囲内ではないと判断した上記合成撮像画像データの画素に対応する位置に存在する差分画像データの画素の、上記評価値に対する寄与が小さくなるように、上記差分画像生成手段が生成した一組の差分画像データの各画素に重み付けを行う重み付け差分画像生成手段とを備え、
    上記画像更新手段は、上記重み付け差分画像生成手段が重み付けを行った上記複数の差分画像データを用いて上記高解像度画像データを更新することを特徴とする画像処理装置。
  4. 請求項１から３の何れか１項に記載の画像処理装置と、上記撮像装置とを含む画像処理システム。
  5. 撮像対象を、高解像度化倍率に応じた数の低解像度の撮像画像データに基づいて高解像度化した高解像度画像データを生成する画像処理装置の制御方法であって、
    上記高解像度画像データを、上記複数の撮像画像データの一つに対して位置合わせし、上記撮像画像データと同じ解像度に変換し、当該撮像画像データを撮像した撮像装置のカメラモデルから得られる点広がり関数を乗じて擬似低解像度画像データを生成し、該擬似低解像度画像データと当該撮像画像データとの差分を取る処理を、上記複数の撮像画像データのそれぞれに対して行って、複数の差分画像データを生成する差分画像生成ステップと、
    上記差分画像生成ステップにて生成した上記複数の差分画像データに基づいて、上記高解像度画像データと上記複数の撮像画像データとの誤差を示す評価値を算出すると共に、該評価値が予め定めた閾値以上である場合に、該評価値が小さくなるように上記高解像度画像データを更新する画像更新ステップとを含み、
    上記複数の撮像画像データの各画素について、その輝度値が予め定めた正常範囲内であるか否かを判断する適正露光画素判断ステップと、
    上記複数の撮像画像データの一つと対応する一つの差分画像データにおいて、上記適正露光画素判断ステップにて上記複数の撮像画像データの一つにおいて正常範囲内ではないと判断した画素に対応する位置に存在する対象画素の上記評価値に対する寄与が小さくなるように、上記対象画素に重み付けを行う処理を、上記複数の差分画像データのそれぞれに対して行う重み付け差分画像生成ステップとさらに含み、
    上記画像更新ステップでは、上記重み付け差分画像生成ステップにて重み付けを行った上記複数の差分画像データを用いて上記高解像度画像データを更新することを特徴とする画像処理装置の制御方法。
  6. 請求項１から３の何れか１項に記載の画像処理装置を動作させるための画像処理装置制御プログラムであって、
    コンピュータを上記各手段として機能させるための画像処理装置制御プログラム。
  7. 請求項６に記載の画像処理装置制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
  8. 撮像対象を、高解像度化倍率に応じた数の低解像度の撮像画像データに基づいて高解像度化した高解像度画像データを生成するために、上記撮像対象を撮像する撮像装置の制御を行う撮像制御装置であって、
    上記高解像度画像データにおいて、上記撮像画像データの１画素に対応する領域のそれぞれに、互いに異なる撮像条件にて撮像された撮像画像データに由来する高解像度画像データの画素が含まれるように上記各撮像画像データの撮像条件を制御する撮像条件制御手段を備えていることを特徴とする撮像制御装置。
  9. 上記撮像条件制御手段は、上記各領域に含まれる同じ撮像条件にて撮像された撮像画像データに由来する画素において、上記各領域内において縦方向または横方向に連続して配列される画素の数が最小化されるように上記各撮像画像データの撮像条件を制御することを特徴とする請求項８に記載の撮像制御装置。
  10. 上記撮像条件制御手段は、上記各領域に含まれる互いに異なる撮像条件にて撮像された撮像画像データに由来する画素の画素数の差が最小となるように上記各撮像画像データの撮像条件を制御することを特徴とする請求項８または９に記載の撮像制御装置。
  11. 請求項８から１０の何れか１項に記載の撮像制御装置の制御により撮像された一組の撮像画像データの全てが、上記異なる撮像条件から選択された１つの撮像条件にて撮像されたものとみなすことができるように、各撮像画像データの各画素の輝度値を補正する撮像画像補正手段と、
    上記撮像画像補正手段が補正を行った一組の撮像画像データを用いて超解像処理を行う超解像処理手段とを備えていることを特徴とする画像処理装置。
  12. 請求項８から１０の何れか１項に記載の撮像制御装置の制御により撮像された一組の撮像画像データの各画素を、上記高解像度画像データの各画素位置にマッピングして高解像度画像データを生成するマッピング手段と、
    上記マッピング手段が生成した高解像度画像データの各画素について、その輝度値が予め定めた正常範囲内であるか否かを判断する適正露光画素判断手段と、
    上記高解像度画像データにおいて上記適正露光画素判断手段が正常範囲内ではないと判断した画素の輝度値を、該画素に隣接する画素のうち、上記適正露光画素判断手段が正常範囲内であると判断した画素の輝度値に基づいて補間する補間手段と、
    上記マッピング手段が生成した高解像度画像データの全画素が、上記異なる撮像条件から選択された１つの撮像条件にて撮像されたものとみなすことができるように、上記高解像度画像データの各画素の輝度値を補正する撮像画像補正手段とを備えていることを特徴とする画像処理装置。
  13. 撮像対象を、高解像度化倍率に応じた数の低解像度の撮像画像データに基づいて高解像度化した高解像度画像データを生成するために、上記撮像対象を撮像する撮像装置の制御を行う撮像制御装置の制御方法であって、
    上記高解像度画像データにおいて、上記撮像画像データの１画素に対応する領域のそれぞれに、互いに異なる撮像条件にて撮像された撮像画像データに由来する高解像度画像データの画素が含まれるように上記各撮像画像データの撮像条件を制御する撮像条件制御ステップを含むことを特徴とする撮像制御装置の制御方法。
  14. 請求項８から１０の何れか１項に記載の撮像制御装置を動作させるための画像処理装置制御プログラムであって、
    コンピュータを上記各手段として機能させるための撮像制御装置制御プログラム。
  15. 請求項１４に記載の撮像制御装置制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2007325271A 2007-12-17 2007-12-17 画像処理装置 Active JP4355744B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007325271A JP4355744B2 (ja) 2007-12-17 2007-12-17 画像処理装置
CN200880121068.8A CN101896934B (zh) 2007-12-17 2008-12-17 图像处理装置以及拍摄控制装置
PCT/JP2008/072977 WO2009078437A1 (ja) 2007-12-17 2008-12-17 画像処理装置及び撮像制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007325271A JP4355744B2 (ja) 2007-12-17 2007-12-17 画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009065044A Division JP2009171599A (ja) 2009-03-17 2009-03-17 撮像制御装置、画像処理装置、撮像制御装置の制御方法、撮像制御装置制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2009147830A true JP2009147830A (ja) 2009-07-02
JP4355744B2 JP4355744B2 (ja) 2009-11-04

Family

ID=40795550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007325271A Active JP4355744B2 (ja) 2007-12-17 2007-12-17 画像処理装置

Country Status (3)

Country Link
JP (1) JP4355744B2 (ja)
CN (1) CN101896934B (ja)
WO (1) WO2009078437A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012003469A (ja) * 2010-06-16 2012-01-05 Nikon Corp 画像処理プログラム、画像処理装置および撮像装置
JP2012019337A (ja) * 2010-07-07 2012-01-26 Olympus Corp 画像処理装置及び方法並びにプログラム
US8654205B2 (en) 2009-12-17 2014-02-18 Nikon Corporation Medium storing image processing program and imaging apparatus
JP5587322B2 (ja) * 2009-08-24 2014-09-10 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5837572B2 (ja) * 2011-03-28 2015-12-24 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム及び記録媒体
US10810717B2 (en) 2017-08-31 2020-10-20 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and image processing system

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5060643B1 (ja) * 2011-08-31 2012-10-31 株式会社東芝 画像処理装置および画像処理方法
US9961271B2 (en) * 2013-11-26 2018-05-01 Nikon Corporation Electronic device, imaging device, and imaging element
US9674430B1 (en) * 2016-03-09 2017-06-06 Hand Held Products, Inc. Imaging device for producing high resolution images using subpixel shifts and method of using same
JP6553826B1 (ja) * 2017-11-10 2019-07-31 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN113487477B (zh) * 2021-06-24 2023-12-01 Tcl华星光电技术有限公司 超分辨率图像重构方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3530652B2 (ja) * 1995-09-26 2004-05-24 キヤノン株式会社 画像合成方法及び画像合成装置
KR100504594B1 (ko) * 2003-06-27 2005-08-30 주식회사 성진씨앤씨 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법
JP4818031B2 (ja) * 2005-10-27 2011-11-16 キヤノン株式会社 画像処理装置及び画像処理方法
CN100413316C (zh) * 2006-02-14 2008-08-20 华为技术有限公司 一种视频图像超分辨率重构方法
CN100481937C (zh) * 2006-05-12 2009-04-22 北京理工大学 一种高动态、超分辨率图像重建装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5587322B2 (ja) * 2009-08-24 2014-09-10 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US8654205B2 (en) 2009-12-17 2014-02-18 Nikon Corporation Medium storing image processing program and imaging apparatus
JP2012003469A (ja) * 2010-06-16 2012-01-05 Nikon Corp 画像処理プログラム、画像処理装置および撮像装置
JP2012019337A (ja) * 2010-07-07 2012-01-26 Olympus Corp 画像処理装置及び方法並びにプログラム
JP5837572B2 (ja) * 2011-03-28 2015-12-24 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム及び記録媒体
US10810717B2 (en) 2017-08-31 2020-10-20 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and image processing system

Also Published As

Publication number Publication date
CN101896934B (zh) 2012-06-13
WO2009078437A1 (ja) 2009-06-25
CN101896934A (zh) 2010-11-24
JP4355744B2 (ja) 2009-11-04

Similar Documents

Publication Publication Date Title
JP4355744B2 (ja) 画像処理装置
JP5016715B2 (ja) 画像のダイナミック・レンジを改善するためのマルチ露光パターン
KR101609491B1 (ko) 화상 합성 장치, 화상 합성 방법 및 기록 매체
JP5756099B2 (ja) 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム
JP5408053B2 (ja) 画像処理装置、画像処理方法
CN102629976B (zh) 图像处理设备和图像处理设备的控制方法
JP5672796B2 (ja) 画像処理装置、画像処理方法
JP4494505B1 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体
KR20100064369A (ko) 영상 처리 방법 및 장치
JP2011086275A (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2009194896A (ja) 画像処理装置及び方法並びに撮像装置
JP2009181508A (ja) 画像処理装置、検査システム、画像処理方法、画像処理プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP5527781B2 (ja) 画質を向上させる方法
JP7297406B2 (ja) 制御装置、撮像装置、制御方法およびプログラム
JP2013162347A (ja) 画像処理装置、画像処理方法、プログラム、および装置
JP5212046B2 (ja) デジタルカメラおよび画像処理装置並びに画像処理プログラム
JP5882702B2 (ja) 撮像装置
JP2011233058A (ja) 撮像装置、画像処理装置、および画像処理方法
JP7057079B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5042954B2 (ja) 画像生成装置、画像生成方法、画像生成プログラム、および該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2009200743A (ja) 画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置
JP2008294524A (ja) 画像処理装置および画像処理方法
JP2014147047A (ja) 画像処理装置、方法、及びプログラム、並びに撮像装置
JP2009171599A (ja) 撮像制御装置、画像処理装置、撮像制御装置の制御方法、撮像制御装置制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2009237650A (ja) 画像処理装置及び撮像装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090707

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090803

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4355744

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120807

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120807

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130807

Year of fee payment: 4

SG99 Written request for registration of restore

Free format text: JAPANESE INTERMEDIATE CODE: R316G99

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350