JP2012015781A - 画像処理装置、画像処理方法、および、プログラム - Google Patents

画像処理装置、画像処理方法、および、プログラム Download PDF

Info

Publication number
JP2012015781A
JP2012015781A JP2010150142A JP2010150142A JP2012015781A JP 2012015781 A JP2012015781 A JP 2012015781A JP 2010150142 A JP2010150142 A JP 2010150142A JP 2010150142 A JP2010150142 A JP 2010150142A JP 2012015781 A JP2012015781 A JP 2012015781A
Authority
JP
Japan
Prior art keywords
aberration
correction amount
aberration correction
concentric
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010150142A
Other languages
English (en)
Other versions
JP5505135B2 (ja
Inventor
Kenichi Nishio
研一 西尾
Hyong-Myong Kang
亨明 姜
Hiromasa Kinoshita
弘征 木下
Tsukasa Hashino
司 橋野
Takuya Kato
卓也 加藤
Gentaro Irisawa
元太郎 入澤
Atsuo Minato
篤郎 湊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010150142A priority Critical patent/JP5505135B2/ja
Priority to US13/096,438 priority patent/US8730357B2/en
Priority to EP11167223.4A priority patent/EP2424248A3/en
Priority to CN201110145887XA priority patent/CN102316326A/zh
Publication of JP2012015781A publication Critical patent/JP2012015781A/ja
Application granted granted Critical
Publication of JP5505135B2 publication Critical patent/JP5505135B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611Correction of chromatic aberration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

【課題】できるだけ少ない補正データ量と計算量により、レンズの個体ばらつきなどに起因して点対称性が崩れた収差発生パターンにも対応した倍率色収差補正が行えるようにする。
【解決手段】同心円状収差補正量算出部213は、レンズ制御情報、処理対象色および像高に基づいて同心円状収差補正データテーブル240から補正データ241を選択し同心円状収差補正量を算出する。均一収差補正量算出部214は、レンズ制御情報、処理対象色に基づいて均一収差補正データテーブル250から補正データ251を選択し均一収差補正量を算出する。色ずれ先画素値算出部215は、同心円状収差補正量および均一収差補正量に基づいて処理対象画素が対応する色ずれ先画素の画素値を算出する。画素値補正部216は、処理対象画素の画素値を算出された色ずれ先画素の画素値に書き換える。
【選択図】図8

Description

本発明は、画像処理装置に関し、特に、倍率色収差を補正するための画像処理を行う画像処理装置、および、その処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
レンズを通過した光は倍率色収差を生じることが知られている。倍率色収差は、レンズの屈折率が光の波長によって異なることに応じて、光の色によって像の倍率が異なることにより生じる。例えば白色の点光源を撮像した場合には、その撮像画像において、光軸に対応する位置を中心としてここから虹色に色づきながら放射方向に伸びていく状態が観察される。
このような倍率色収差は、撮像画像において色のにじみとして現れることから、その画像品質を低下させる要因となるため補正が必要になる。この倍率色収差を補正するための手法として例えば1つには、レンズ自体について光の波長による屈折率の差ができるだけ小さい材質のものを採用することが行われている。また、レンズの組合せを最適化して色消し効果を利用し、倍率色収差を補正することも行われている。しかし、このようなレンズ自体の性能や、その組合せ構造などにより補正を図ろうとする手法では、レンズのコストが高くなる。このため、例えばコストダウンが重視される傾向にある民生機器としては、レンズのコストが高くなり好ましくない。
そこで、従来から、撮像装置において撮像画像信号に対する信号処理によって倍率色収差を補正する機能を与えることが行われている。例えば、1つめの従来技術としては、入力画像について、例えば画像を8つの動径方向に沿った領域に分割し、この分割領域ごとに動径方向におけるエッジを検出する。次に、検出されたエッジ部分における色のずれ量を求め、さらにこのずれ量から、例えば異なる色画像面の倍率差をエッジ部分ごとに算出する。そして、この最も出現頻度が高い倍率差に基づいて、倍率色収差により処理対象画素から変位した位置の画素値を求め、この画素値を処理対象画素の画素値とするものである(例えば、特許文献1参照)。
また、2つめの従来技術として、8つの分割領域ごとに算出した倍率差を利用して、上下左右4方向の倍率差を算出する。そして、上下左右方向に沿って4つに分割した画面ごとに色ずれの変位ベクトルを求めるという手法も知られている(例えば、特許文献1参照)。
また、3つめの従来技術として次のような倍率色収差補正の構成も知られている。すなわち、画素位置ごとの移動量を予め算出し、これらの移動量のデータをさらにレンズパラメータごとに対応させて補正データとして撮像装置に記憶させておく。そして、補正処理時においては、補正データを利用して処理対象として選択した画素ごとに補正量を求める。次に、この補正量に基づいて倍率色収差により処理対象画素から変位した位置の画素値を求め、この画素値を処理対象画素の画素値とするものである(例えば、特許文献2参照)。
特開2006−20275号公報(図1) 特開2006−135805号公報(図1)
実際の倍率色収差は、撮像装置におけるレンズ光学系の取り付け誤差などが原因で同心円状に現れるとは限らない。倍率色収差は、理論的には光軸を中心に同心円状に発生し、光軸からの距離に相当する像高が同じ位置では倍率の変化量も同じとなる。しかし、実際においては、正確な同心円状ではなく、その中心が偏倚していくような状態の倍率色収差のパターンが現れる場合がある。すなわち、同心円としての点対称性が保たれずに、同じ像高であっても動径方向に応じて倍率の変化量が異なるようにして倍率色収差が現れる。
特に、近年においては、撮像装置の小型軽量化を促進するために、撮像光学系を形成するレンズも小型化される傾向にある。このために、レンズの曲率誤差、屈折率誤差やレンズの位置精度誤差(偏芯)などが大きくなり、上記のようにして点対称性が崩れた倍率色収差が生じやすい状況となっている。
先に説明した1つめの従来技術では、撮像画像の中心と光軸とが一致しているうえで、点対称に倍率色収差が現れるものであることを前提にしている。このために、上記のようにして点対称性が保たれていない状態で発生する倍率色収差に対応することは難しい。
これに対して、2つめの従来技術であれば、撮像画像の中心と光軸が一致していない倍率色収差にも対応可能ではある。しかし、例えば8つの分割領域ごとに倍率差を算出した結果から、さらに上下左右の4方向の倍率差を算出し、変位ベクトルまで求める必要があり、計算量が相当に増加することになる。
この点からすれば、3つめの従来技術では、予め記憶した補正データを利用することで、計算量としては少なくて済む。ただし、補正データとして、全画素についての水平移動量および垂直移動量のデータを、レンズパラメータごとに対応させて記憶しておく必要があり、倍率色収差補正のために記憶すべきデータ量が大きいという点では不利となる。また、補正データが予め一律に定められていることから、レンズの個体ばらつきに対応することが難しいという点では、1つめの従来技術と同様である。ただし、例えば製造時において撮像装置ごとに倍率色収差の発生量を測定し、この測定結果から求めた補正データを記憶させるようにすれば、レンズの個体ばらつきには対応できる。しかし、このような作業を製造時に行うことは量産性の低下につながるものであり現実的ではなく、実際には、或る基準を設けたうえで求めた補正データを、例えば同じ機種の撮像装置に対して記憶させるというものにならざるを得ない。また、仮にこのようにして、撮像装置ごとに倍率色収差の発生量の測定結果に基づく補正データを記憶させてレンズ個体ばらつきに対応させたとしても、データ量が大きくなる問題は解決されない。
このようにして、1つ目の従来技術ではレンズの個体ばらつきに対応する倍率色収差補正は難しい。しかし、2つ目または3つ目の従来技術によりレンズの個体ばらつきに対応しようとすれば、計算量または記憶すべき補正データ量が増加せざるを得ない。
本発明はこのような状況に鑑みてなされたものであり、少ない補正データ量と計算量により、レンズの個体ばらつきにより点対称性が崩れた収差発生パターンに対応した倍率色収差補正が行えるようにすることを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第1の側面は、画像の中心から同心円状の色ずれを生じる倍率色収差の成分である同心円状収差に対する同心円状収差補正量を入力画像信号における処理対象画素について算出する同心円状収差補正量算出部と、画像全体において色ずれの方向と色ずれの量が均一に発生する倍率色収差の成分である均一収差に対する均一収差補正量を上記処理対象画素について算出する均一収差補正量算出部と、算出された上記同心円状収差補正量と上記均一収差補正量とに基づいて、上記処理対象画素の画素値を補正する画素値補正部とを具備する画像処理装置である。これにより、レンズの個体ばらつきなどに起因して発生する中心が偏倚した状態の倍率色収差について同心円状収差成分に対する補正と均一成分に対する補正とにより補正するという作用をもたらす。
また、この第1の側面において、光の色と像高との組合せを少なくとも含む同心円状収差条件ごとに対応する上記同心円状収差補正量を同心円状収差補正量データとして保持する同心円状収差補正データ保持部と、光の色を少なくとも含む均一収差条件ごとに対応する上記均一収差補正量を均一収差補正量データとして保持する均一収差補正データ保持部をさらに具備し、上記同心円状収差補正量算出部は、上記処理対象画素が対応する上記同心円状収差条件に対応する上記同心円状収差補正量データを選択し、当該選択された上記同心円状収差補正量データを利用して上記同心円状収差補正量を算出し、上記均一収差補正量算出部は、上記処理対象画素が対応する上記均一収差条件に対応する上記均一収差補正量データを選択し、当該選択された上記均一収差補正量データを利用して上記均一収差補正量を算出するようにしてもよい。これにより、予め記憶された同心円状収差補正量データと均一収差補正量データとを利用して倍率色収差のための画素補正を行うという作用をもたらす。
また、この第1の側面において、上記同心円状収差補正量データは、上記同心円状収差条件に対応して発生する像高方向の色ずれ量に対応する補正量を示し、上記均一収差補正量データは、上記均一収差条件に対応して発生する色ずれの量および色ずれの方向に対応する補正量を示すものとされてもよい。これにより、像高方向のみに対応する色ずれ量から成る同心円状収差補正量データを保持し、均一収差条件ごとの色ずれの量および色ずれの方向から成る同心円状収差補正量データを保持するという作用をもたらす。
また、この第1の側面において、上記均一収差補正量データは、撮像画像の中心部分を通過する仮想の垂直線を含む所定の領域を対象として測定した水平方向の色ずれ量に対応して求められた水平方向補正量と、上記撮像画像の中心部分を通過する仮想の水平線を含む所定の領域を対象として測定した垂直方向の色ずれ量に対応して求められた垂直方向補正量とから成るものとしてもよい。これにより、撮像画像において同心円状収差を生じていない領域を利用して、均一収差補正量データが示す色ずれ量および色ずれ方向を測定するという作用をもたらす。
また、この第1の側面において、上記同心円状収差補正量データは、光の色、像高、および、上記入力画像信号の元となる画像を撮像していたときの所定のレンズ制御情報を組み合せた上記同心円状収差条件に対応する補正量を示し、上記均一収差補正量データは、光の色、および、上記入力画像信号の画像を撮像していたときの所定のレンズ制御情報を組み合わせた上記均一収差条件に対応して発生する補正量を示すものとされてよい。これにより、レンズ制御の状態に応じた同心円状収差補正量データと均一収差補正量データとに基づいて倍率色収差のための画素補正を行うという作用をもたらす。
また、この第1の側面において、上記レンズ制御情報は、レンズ部における1以上の所定の可動部位ごとの制御状態を示す情報とされてよい。これにより、例えばレンズ部における絞り制御、フォーカス制御、および、ズーム制御などに応じた同心円状収差補正量データと均一収差補正量データとに基づいて倍率色収差のための画素補正を行うという作用をもたらす。
また、この第1の側面において、上記同心円状収差補正量データは、レンズの特性に基づくシミュレーションにより算出されるものとしてもよい。これにより、シミュレーションにより均一収差補正量データを得るという作用をもたらす。
また、この第1の側面において、上記入力画像信号から上記均一収差に対応するエッジを検出する均一収差成分対応エッジ検出部と、上記画素値補正部によって上記均一収差補正量に基づいた画素値の補正が行われた後の上記入力画像信号から上記同心円状収差に対応するエッジを検出する同心円状収差成分対応エッジ検出部とをさらに具備し、上記均一収差補正量算出部は、上記均一収差成分対応エッジ検出部によって検出されたエッジごとにおいて均一収差によって発生している色ずれ量に基づいて上記処理対象画素についての均一収差補正量を算出し、上記同心円状収差補正量算出部は、上記同心円状収差成分対応エッジ検出部によって検出されたエッジごとにおいて同心円状収差によって発生している色ずれ量に基づいて上記処理対象画素についての同心円状収差補正量を算出し、上記画素値補正部は、上記均一収差補正量に基づいて補正を行った後の上記処理対象画素の画素値を上記同心円状収差補正量に基づいて補正するようにしてもよい。これにより、撮像をもととして生成された入力画像信号のエッジを検出した結果に基づいて同心円状収差補正量と均一収差補正量を算出し、画素値の補正を行うという作用をもたらす。
また、この第1の側面において、上記均一収差成分対応エッジ検出部は、上記入力画像信号の画像における水平の動径方向の画像部分近傍において垂直方向のエッジを検出し、上記入力画像信号の画像における垂直の動径方向の画像部分近傍において水平方向のエッジを検出し、上記同心円状収差成分対応エッジ検出部は、上記入力画像信号の画像における少なくとも1つの所定の動径方向ごとの画像部分近傍において動径方向のエッジを検出するようにしてもよい。これにより、撮像をもととして生成された入力画像信号から均一収差に対応するエッジと、同心円状収差に対応するエッジとをそれぞれ検出するという作用を有する。
また、この第1の側面において、上記均一収差成分対応エッジ検出部および上記同心円状収差成分対応エッジ検出部の各々は、検出したエッジごとにその画素値の変化方向の種別を検出し、上記均一収差補正量算出部は、上記均一収差成分対応エッジ検出部により検出された変化方向の種別の統計結果を利用して上記均一収差補正量を算出し、上記同心円状収差補正量算出部は、上記同心円状収差成分対応エッジ検出部により検出されたエッジごとの変化方向の種別の統計結果を利用して上記同心円状収差補正量を算出してもよい。これにより、立ち上がりエッジと立ち下がりエッジとのそれぞれにおいて発生する収差の状態の相違に対応した画素値の補正を行うという作用をもたらす。
また、この第1の側面において、光の色と像高との組合せを少なくとも含む同心円状収差条件ごとに対応する上記同心円状収差補正量を同心円状収差補正量データとして保持する同心円状収差補正データ保持部と、上記前記入力画像信号から前記均一収差に対応するエッジを検出する均一収差成分対応エッジ検出部とをさらに具備し、上記同心円状収差補正量算出部は、上記処理対象画素が対応する上記同心円状収差条件に対応する上記同心円状収差補正量データを選択し、当該選択された上記同心円状収差補正量データを利用して上記同心円状収差補正量を算出し、上記均一収差補正量算出部は、上記均一収差成分対応エッジ検出部によって検出されたエッジごとにおいて均一収差によって発生している色ずれ量に基づいて上記処理対象画素についての均一収差補正量を算出することとしてもよい。これにより、倍率色収差補正として、予め記憶された同心円状収差補正量データを利用して同心円状収差成分に対する補正を行い、撮像をもととする入力画像信号のエッジを検出した結果から算出される補正量により均一収差成分に対する補正を行うという作用をもたらす。
本発明によれば、少ない補正データ量と計算量により、レンズの個体ばらつきにより点対称性が崩れた収差発生パターンに対応した適切な倍率色収差補正が可能になるという効果を奏し得る。
本発明の実施の形態におけるビデオカメラ100の構成例を示す図である。 本発明の実施の形態におけるカメラ信号処理部200の構成例を示す図である。 倍率色収差の基本的な発生パターンを説明するための図である。 レンズの個体ばらつきに応じて生じる実際の倍率色収差の発生パターンを説明するための図である。 本発明の実施の形態における倍率色収差を形成する同心円状収差成分と均一収差成分とを説明するための図である。 均一収差成分の発生を説明するための図である。 均一収差成分の発生を説明するための図である。 本発明の第1の実施の形態における倍率色収差補正部210の構成例を示す図である。 同心円状収差補正データテーブル240の構造例を示す図である。 均一収差補正データテーブル250の構造例を示す図である。 均一収差補正データテーブル250の補正データ251を取得する際に用いるチャート画像の例を示す図である。 均一収差補正データテーブル250の補正データ251を取得する際に用いるチャート画像の例を示す図である。 倍率色収差補正部210が実行する処理手順例を示す図である。 倍率色収差補正部210が実行する処理手順例を示す図である。 本発明の第2の実施の形態における倍率色収差補正部210Aの構成例を示す図である。 倍率色収差補正部210Aが実行する処理手順例を示す図である。 倍率色収差補正部210Aが実行する処理手順例を示す図である。 倍率色収差補正部210Aが実行する同心円状収差補正量算出のための処理手順例を示す図である。 倍率色収差補正部210Aが実行する均一収差補正量算出のための処理手順例を示す図である。 本発明の第2の実施の形態において色信号補間部221が実行する補間G信号算出処理の一例を説明するための図である。 本発明の第2の実施の形態において均一収差成分対応エッジ検出部224が実行するエッジ検出処理例を示す図である。 本発明の第2の実施の形態における差分絶対値和算出部226による差分絶対値和の算出結果例を示す図である。 本発明の第2の実施の形態において同心円状収差成分対応エッジ検出部228が実行するエッジ検出処理例を示す図である。 本発明の第2の実施の形態において収差倍率頻度情報生成部230により作成されるヒストグラムの例を示す図である。 光軸上における線像強度分布の例を示す図である。 光軸上以外の位置における線像強度分布の例を示す図である。 画像中における立ち上がりエッジと立ち下がりエッジに対する補正結果例を示す図である。 本発明の第3の実施の形態における倍率色収差補正部210Bの構成例を示す図である。 倍率色収差補正部210Bが実行する処理手順例を示す図である。 本発明の第1の実施の形態における同心円状収差補正データテーブル240の補正データ241を取得する手法についての変形例を説明するための図である。
以下、本発明を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(倍率色収差補正処理:補正データテーブルを用いて補正量を求める例)
2.第2の実施の形態(倍率色収差補正処理:撮像画像信号から補正量を求める例)
3.第3の実施の形態(倍率色収差補正処理:補正データテーブルを用いて同心円状収差補正量を求め、撮像画像信号から均一収差補正量を求める例)
4.変形例
<1.第1の実施の形態>
[ビデオカメラの構成例]
図1は、本発明の実施の形態が具現化される画像処理装置の一例としてのビデオカメラ100の構成例を示す図である。このビデオカメラ100は、光学レンズ部101、カメラ制御部102、光電変換部103、カメラ信号処理部200、画像信号処理部104、画像入出力部105、表示部106、音声処理部107、音声入出力部108、操作入力部109、通信部110を備える。また、CPU(Central Processing Unit)111、RAM112(Random Access Memory)、ROM(Read Only Memory)113、メディアドライブ115、電源部114を備える。
光学レンズ部101は、内部に、被写体を撮像するためのレンズ群、絞り調整機構、フォーカス調整機構、ズーム機構、シャッター機構、および、手ぶれ補正機構などを備える。カメラ制御部102は、CPU111からの制御信号を受けて、光学レンズ部101に供給する制御信号を生成する。そして、生成した制御信号を光学レンズ部101に供給して、ズーム制御、フォーカス制御、シャッター制御、および、露出制御などの制御を行う。
光電変換部103は撮像素子により構成され、その結像面に、光学レンズ部101を通じた像が結像される。なお、撮像素子には、CCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサなどを採用できる。この光電変換部103はその結像面に結像されている被写体像を画像信号に変換し、カメラ信号処理部200に供給する。
カメラ信号処理部200に入力される画像信号は、例えばデモザイクなどの色補間処理が施される前のRAW画像データといわれる形式のものとなる。カメラ信号処理部200は、RAWデータ形式の画像信号に対して上記の色補間処理や各種補正などの所要の画像信号処理を施す部位である。本発明の実施の形態においては、このカメラ信号処理部200により倍率色収差補正のための画像信号処理が実行される。カメラ信号処理部200による処理が施された画像信号は画像信号処理部104に供給される。
画像信号処理部104は、供給された画像信号について、例えば主としては表示や記録再生に関連した画像信号処理を実行する部位である。例えば画像信号処理部104は、入力される画像信号について、MPEG(Moving Picture Experts Group)等の圧縮方式による画像圧縮処理を実行可能とされている。
また、画像信号処理部104は、所定形式の画像信号を生成して画像入出力部105から外部に出力させることができる。また、画像入出力部105は、外部から所定形式の画像信号を入力可能ともされている。画像信号処理部104は、この画像入出力部105から入力された画像信号を画像信号処理部104によりサイズ変換などを行って表示部106に表示させることができる。また、画像信号処理部104は、画像入出力部105が入力した画像信号を記録用画像データに変換して、例えばCPU111経由でメディアドライブ115に供給することもできる。
また、ビデオカメラ100は、音声処理部107及び音声入出力部108を備えることで、音声信号の入出力が可能とされている。音声入出力部108は音声信号の入出力が行われる部位である。まず、音声入出力部108から入力した音声信号は音声信号を音声処理部107にて、所要の音声信号処理が施される。例えば、所定の音声圧縮符号化方式による圧縮処理などを行う。また、音声入出力部108は、音声処理部107から供給される所定形式の音声信号を外部に出力させることもできる。
この場合のCPU111は、画像信号処理部104から供給される圧縮画像信号と音声処理部107から供給される圧縮画像信号データとにより、所定形式の画像音声ファイルを形成可能とされている。ここでの画像音声ファイルとは、例えば動画に対して音声が同期して再生される形式の動画ファイルなどである。
上記画像音声ファイルのデータは、例えばCPU111の制御によって書込みデータとしてメディアドライブ115に供給される。メディアドライブ115は、CPU111との連携により、メディア(記憶媒体)116に対して例えば物理層レベルでのデータの書込み、読出しを実行可能なように構成される。なお、このメディア116としては、例えば、磁気ディスク、光ディスク、光磁気ディスク、および、半導体メモリなどとされる。このメディア116は、例えばビデオカメラ100に固定的に内蔵されるものであってもよい。また、ビデオカメラ100に対して装脱可能な、所定の規格に従ったリムーバブル形式のものとされてもよい。
メディアドライブ115は、ファイルの記録などのために記録データが転送されてくるのに応じては、この記録データを制御対象として選択されているメディア116に対して書き込む処理を行う。なお、メディア116に記録されたデータは例えば所定のファイルシステム方式によってファイル単位で管理される。
また、例えばメディア116に記録されているファイルの再生として、画像音声ファイルを再生するときには、CPU111及びメディアドライブ115は、指定された画像音声ファイルが記録されているメディアにアクセスして読出しを行う。このようにして読み出される画像音声ファイルは、例えばCPU111の処理により、圧縮画像信号データと圧縮音声信号データとに分離される。そのうえで、圧縮画像信号データについては画像信号処理部104に受け渡し、圧縮音声信号については、音声処理部107に受け渡す。
この場合の画像信号処理部104及び音声処理部107は、それぞれ、上記のようにして転送されてきた圧縮音声信号データと圧縮画像信号データについて、復調処理を含む所要の再生信号処理を実行する。これにより、圧縮ビデオデータを再生した画像を表示部106にて表示させることができる。また、この画像の再生時間に同期して、圧縮音声信号データを再生して得られる音声信号を、音声入出力部108に含まれるとされるスピーカにより音声として出力させたり、ヘッドフォン端子から出力させることができる。
CPU111は、プログラムを実行することでビデオカメラ100についての各種制御処理を実行する。RAM112は、CPU111がプログラムに従った処理を実行するときの作業領域(ワークメモリ)として使用されるものである。ROM113は、CPU111が実行する各種プログラムのほか、CPU111が処理を実行するのに使用する各種設定情報などが記憶される部位である。
この場合の操作入力部109は、ビデオカメラ100に備えられる各種操作子を一括して示しているものとされる。例えば、この操作入力部109における操作子としては、撮像画像の記録開始、停止に応じて操作される記録ボタン、撮像モードなどを選択する操作子、各種パラメータの変更を行うための操作子などが含まれる。
通信部110は、CPU111の制御に応じて、所定のデータ通信方式により外部デバイスと通信を行うための部位である。この通信部110が対応するデータ通信方式としては、有線、無線を問わず特に限定されるべきものではなく、また、対応するデータ通信方式の数も限定されるべきものでない。現状であれば、データ通信方式としては、有線ではEthernet(登録商標)などのネットワークを挙げることができる。また、USB(Universal Serial Bus)、IEEE(Institute of Electrical and Electronic Engineers)1394などのデータインターフェース規格を挙げることができる。また、無線であれば、Bluetooth(登録商標)などのデバイス間近距離無線通信、IEEE802.11a/b/gなどの無線LAN(Local Area Network)規格を挙げることができる。
電源部114は、ビデオカメラ100における各種のハードウェアデバイスに対して動作電源を供給するもので、例えばバッテリや電源アダプタからの電力供給を受けて動作する電源回路などを備えて構成される。
なお、本発明の実施の形態は、上記図1に示されるビデオカメラ100のほかに、例えばデジタルスチルカメラにより具現化することも可能である。
[カメラ信号処理部の構成例]
図2は、上記図1において示されるカメラ信号処理部200の構成例を示している。この図に示すカメラ信号処理部200は、前段信号処理部201、倍率色収差補正部210、および、後段信号処理部202を備える。
前段信号処理部201は、例えば入力されるRAW画像データ形式の画像信号に対して黒レベル補正、ゲイン補正などの補正処理を実行する部位である。倍率色収差補正部210は、上記前段信号処理部201における処理を経たRAW画像データ形式の画像信号を補正対象画像信号として入力して倍率色収差補正のための画像信号処理を実行する部位である。なお、倍率色収差補正部210が実行する倍率色収差補正のための画像信号処理については後述する。後段信号処理部202は、上記倍率色収差補正部210における処理を経た収差補正画像信号を入力して、色変換、色補間処理、および、ガンマ補正などの画像信号処理を実行する部位である。
[倍率色収差について]
倍率色収差は、レンズの屈折率が光の波長によって異なることに起因して、光の色によって像の倍率が異なることにより色ずれが生じる現象をいう。図3は、撮像画像の画像面300に現れる倍率色収差の状態を模式的に示している。図3(a)は画像面300に現れる倍率色収差の状態として、その色ずれの大きさを等高線により示している。また、図3(b)は、図3(a)と同じ倍率色収差の発生の状態について、色ずれの大きさと方向をベクトルにより示している。なお、これらの図では、画像面300の中心C(画像面300の垂直方向および水平方向の中央をそれぞれ通過する直線の交点)とレンズの光軸Lとが一致した状態を示している。これらの図に示されるように、倍率色収差は、本来は光軸を中心として同心円状により色ずれが生じるものとなる。また、色ずれの量は、例えば光軸からの像高が高くなるのに応じて増加していくものとなる。
上記図3に示されるように、レンズの光軸Lと画像面300の中心Cとが一致しており、かつ、レンズの光軸Lを中心とする同心円、すなわち点対称となるようにして色ずれが生じている。しかし、実際の撮像装置にあっては、撮像光学系におけるレンズの取り付け誤差などにより、レンズの光軸Lと画像面300の中心Cがずれたり色ずれ量の点対称性が失われたりするなど、色ずれのパターンが偏倚した状態の倍率色収差を生じる場合がある。
図4(a)および図4(b)は、上記のようにして色ずれパターンが偏倚した倍率色収差の発生状態についての一例を示している。この図に示される倍率色収差としては、まず、画像の中心Cから光軸Lが外れた状態となっている。これは、例えば画像面300において中心Cから等距離にある画像位置の間で像高が異なってくることを意味する。そのうえで、例えば、図4(a)から分かるように、光軸Lを中心としてずれ量を示す等高線は、その同心円形状が崩れている。すなわち、倍率色収差による色ずれ量の点対称性が失われている。本発明の実施の形態では、例えば図4に示されるようにして色ずれパターンが偏倚した状態にも対応して倍率色収差を補正する。以降、この点についての説明を行っていく。
[本発明の実施の形態における倍率色収差の表現手法]
まず、本発明の実施の形態においては、倍率色収差について次のようにして近似表現することとした。図5(a)には、図4(b)と同様にして、色ずれパターンが偏倚した状態の倍率色収差が発生している画像面300において、その色ずれの量および方向をベクトルにより示したものである。本発明の実施の形態では、この図5(a)に示される色ずれパターンが偏倚した倍率色収差について、図5(b)の画像面300に示す収差成分と、図5(c)の画像面300に示す収差成分とに分離されるものであるとして近似表現する。
図5(b)に示す収差成分は、図示するようにして、画像面300の中心Cと光軸Lとが一致した状態のもとで、色ずれ量が光軸Lを中心として点対称となるようにして現れる収差の成分である。また、その色ずれ量は、像高(光軸Lからの距離)が高くなるのに応じて例えば増加していくようにして変化する。これは、取り付け誤差などの個体ばらつき要因を排除してレンズの特性のみに依存して現れる収差成分であるとしてみることができる。なお、本願明細書においては、以降、この図5(b)に示す収差については、「同心円状収差」と称することとする。
また、図5(c)に示す収差成分は、画像面300の全体において色ずれのベクトルが同じとなるようにして現れる収差の成分である。すなわち、画像面300のどの部分においても色ずれ量が等しく、かつ、色ずれの方向も同じとなる収差成分である。これは、光軸Lの位置であるとか像高には依存することなく画面全体において均一に現れる収差成分であるとみることができる。この収差成分は、例えば取り付け誤差などのばらつき要因の存在に応じて現れる収差成分となる。なお、本願明細書においては、以降、この図5(c)に示す収差については、「均一収差」と称することとする。
[均一収差成分が発生することについての説明]
倍率色収差は、本来は、レンズの中央と縁とで厚みに差があることにより像高に応じて色ずれ量が変化することにより発生するものである。しかしながら、先に述べたように、色ずれのパターンが偏倚した状態の倍率色収差では、単純に同心円状収差成分のみに対する補正を行ったのでは十分な補正効果は得られない。そこで、本願発明者らは、色ずれのパターンが偏倚した状態の倍率色収差は、上記図5(b)の同心円状収差に加えて図5(c)に示した均一収差成分が発生していることにより生じたものであるとの想定に立ち、試験を行った。すなわち、同心円状収差成分に対する補正と均一収差成分に対する補正とを併用する構成により倍率色収差補正を行う試験を行った。この試験の結果、例えば実用に耐えるだけの十分な補正効果が得られることが確認された。
上記した均一収差成分の発生については、次のようにして説明することができる。この点について、図6および図7を参照して説明する。レンズのばらつき要因となる取り付け誤差は、例えばレンズの光軸が平面方向において本来の位置からずれる偏芯の要素と、レンズの光軸が本来の角度に対してずれることによる傾きの要素とがあるものとして考えることができる。
まず、図6を参照してレンズの偏芯に対応した均一収差成分の発生に関して説明する。ここで、波線で示されるレンズ101aの位置は、例えば偏芯が存在していない正しい位置状態に対応している。この状態において、物体高y0に対応して得られるG(緑)光、R(赤)光の像高をそれぞれy、yとする。このときレンズ101aのG光、R光のそれぞれについての横倍率βg、βrは、近軸領域で近似すると、以下の式により表される。
βg=y/y
βr=y/y
また、上式から、G光とR光それぞれの像高y、yは、次式により表すことができる。
=y・βg
=y・βr
次に、上式に示される2つの式の差分を求めることで、偏芯が存在していない状態での、G光に対するR光の色ずれ量(倍率色収差量)Δyは、次式のようにして求めることができる。
Δy=y−y=y(βr−βg)
上式は、物体高yについての関数になっている。物体高y0の変化に応じては像高yg、yrも変化する。したがって上式は、偏芯が存在していない状態での色ずれ量は、像高からの距離に応じて変化することを示している。
次に、レンズ101aを波線で示す位置から実線で示す位置に移動させ、移動量Δshiftによる偏芯を与えた状態を想定する。このとき、G光の結像位置が偏芯前の状態と同じになる物体高y01は、先の像高y、yを表した式に基づいて、次式のようにして求められる。
−Δshift=(y01)・βg
01=(y−Δshift)/βg
また、このときのR光の結像位置yr1は、先の像高y、yを表した式および上式から、次式により求められる。
r1−Δshift=y01・βr
r1=βr(y−Δshift)/βg+Δshift
よって偏芯後におけるG光に対するR光の色ずれ量Δyは、次式のようにして表される。
Δy=yr1−y
=(y・(βr−βg)/βg)−(βr・Δshift)/βg+Δshift
=(βr−βg)・y+((βg−βr)/βg)・Δshift
上式もまた、先の偏芯前の色ずれ量Δy1の算出式と同様に、物体高y0の関数となっており、したがって偏芯後の色ずれ量Δy2も、像高に依存して変化することが示されている。
そして、偏芯前と偏芯後とでの色ずれ量について差分、すなわち色ずれ変化量は、次式のようにして表すことができる。
Δy−Δy=((βg−βr)/βg)・Δshift
ここで、上式における右辺においては、物体高y0を係数とする項は消去されている。すなわち、上式によっては、偏芯前と偏芯後とでの色ずれの変化量は、像高に依存して変化するのではなく、偏芯量(Δshift)のみに依存して変化するものであることが示されている。そして、このことは、レンズの偏芯に応じては、画面全体において一様に同じ色ずれ方向および同じ色ずれ量で色ずれが発生することを示している。すなわち、均一収差成分が発生することを示している。
次に、図7を参照して、レンズの傾きに対応した均一収差成分の発生に関して説明する。ここでも、波線で示されるレンズ101aの位置は、例えば傾きを生じていない正しい位置状態に対応している。この状態においては、G光に対するR光の色ずれ量Δy1は、先の色ずれ量Δy1の算出式により表されるものとなる。
次に、レンズ101aを波線で示す位置状態での光軸に対して角度θが与えられた方向に光軸が向くようにして傾きを与えた状態を想定する。このとき、G光の結像位置が偏芯前の状態と同じになる物体高y01は、レンズ101aから像面までの距離をsとして、先の像高y、yを表した式に基づいて次式のようにして求められる。
01=(ycosθ−s・sinθ)/βg
また、このときのR光の結像位置yr1は、先の像高yg、yrを表した式および上式から、次式により求められる。
r1・cosθ−s・sinθ=(βr/βg)・(ycosθ−s・sinθ)
r1=(βr/βg)・y+((βg−βr)/βg)・(s・tanθ)
したがって、傾き後におけるG光に対するR光の色ずれ量であるΔyは、次式のようにして表される。
Δy=yr1−y
=(βr−βg)・y+((βg−βr)/βg)・(s・tanθ)
上式も物体高y0の関数となっており、したがって、傾き後の色ずれ量Δy2についても像高に依存して変化することが分かる。
そのうえで、傾き前と傾き後とでの色ずれの変化量は、次式のようにして表すことができる。
Δy−Δy=((βg−βr)/βg)・(s・tanθ)
上式もまた、物体高y0を係数とする項は消去されており、したがって、色ずれの変化量は、像高に依存して変化するのではなく、光軸の傾き角度θのみに依存して変化するものであることが示されている。すなわち、レンズの傾きに応じても、均一収差成分が発生することが示される。
そして、上記図6および図7による説明に基づけば、実際のレンズ取り付け誤差などとして、レンズの偏芯と傾きとがともに生じている状態であっても、その偏芯量と傾き角度とに応じてその色ずれ量が決まるようにして、均一収差成分が発生するということがいえる。そして、実際に撮像装置で発生する均一収差成分は、レンズ群における各レンズの偏芯により発生する均一収差成分の和として発生するものと捉えられる。
[倍率色収差補正部の構成]
本発明の実施の形態の倍率色収差補正部210(図2)は、上記倍率色収差が上記の同心円状収差成分と均一収差成分とに分離できることを前提として倍率色収差補正のための画像信号処理を実行する。以降、本発明の第1の実施の形態における倍率色収差補正部210の構成およびその信号処理例について説明していく。
図8は、先に図2に示した倍率色収差補正部210として、本発明の第1の実施の形態に対応する構成例を示している。この図に示す倍率色収差補正部210は、色画素選択部211、像高算出部212、同心円状収差補正量算出部213、均一収差補正量算出部214、色ずれ先画素値算出部215、画素値補正部216を備える。また、同心円状収差補正データテーブル240と均一収差補正データテーブル250とを記憶保持している。
倍率色収差補正部210が入力する補正対象画像信号は、前述したようにRAW画像データの形式であり、例えば光電変換部における受光素子の画素に対するカラーフィルタの配列に応じてR(赤)、G(緑)、B(青)の各色に対応する色画素信号から成る。色画素選択部211は、入力した補正対象画像信号からR画素信号とB画素信号とを選択して抽出し、これらのうちから例えば処理対象画素として選択した画素信号を所定のタイミングで順次、画素値補正部216に出力する。また、G画素信号を選択して抽出し、倍率色収差補正部210から出力する収差補正画素信号のG信号成分として出力する。また、本発明の第1の実施の形態の倍率色収差補正部210では、R画像面を形成する画素とB画像面を形成する画素のそれぞれを対象としてその画素値の補正を行う。色画素選択部211は、処理対象画素の座標P(m,n)の情報を像高算出部212に出力することも行う。色画素選択部211は、色画素選択処理の際に、画素ごとの座標を認識している。さらに、色画素選択部211は、処理対象画素として選択されている画素の色がR、Gの何れであるのかを示す処理対象色情報を同心円状収差補正量算出部213および均一収差補正量算出部214に対して出力する。
像高算出部212は、入力される処理対象画素の座標P(m,n)に対応する画面上での像高を算出する部位である。
同心円状収差補正データテーブル240は、同心円状収差成分に対応した補正データを格納したテーブルである。この同心円状収差補正データテーブル240のテーブル構造例、および、ここに格納される補正データの取得方法例については後述する。また、同心円状収差補正データテーブル240は、例えば実際には、倍率色収差補正部210が備えるメモリ、または図1のROM113などに記憶される。これらのメモリ、ROM113は、特許請求の範囲に記載の同心円状収差補正データ保持部の一例である。
同心円状収差補正量算出部213は、同心円状収差成分に対応した補正量を算出する部位である。このために、同心円状収差補正量算出部213は、カメラ制御部102から、レンズ制御情報として、絞り値、ズーム位置、および、フォーカス位置を入力し、像高算出部212にて算出された像高値を入力する。さらに、色画素選択部211からの処理対象色情報を入力する。
レンズ制御情報において上記絞り値は、光学レンズ部101が備える絞りに対して設定されている絞り値を示す。ズーム位置は、光学レンズ部101が備えるズームレンズの位置を示す。フォーカス位置は、光学レンズ部101が備えるフォーカスレンズの位置を示す。カメラ制御部102は、先にも述べたように露出制御、ズーム制御、および、フォーカス制御等のカメラ制御を実行するが、その制御結果として、上記絞り値、ズーム位置、および、フォーカス位置を算出して保持している。
そして、同心円状収差補正量算出部213は、上記絞り値、ズーム位置、フォーカス位置、像高値、および、処理対象色情報が示す色の組合せに対応する補正量を同心円状収差補正データテーブル240から選択する。そして、この選択した補正量を利用して同心円状収差成分に対応する補正量を算出する。
均一収差補正データテーブル250は、均一収差成分に対応した補正量を格納したテーブルである。この均一収差補正データテーブル250のテーブル構造例、および、ここに格納される補正量のデータの取得方法例については後述する。また、均一収差補正データテーブル250も、例えば実際には、倍率色収差補正部210が備えるメモリ、または図1のROM113などに記憶される。これらのメモリ、ROM113は、特許請求の範囲に記載の均一収差補正データ保持部の一例である。
均一収差補正量算出部214は、均一収差成分に対応した補正量を算出する部位である。このために、均一収差補正量算出部214は、カメラ制御部102から絞り値情報、ズーム位置情報、および、フォーカス位置情報を入力する。また、色画素選択部211から処理対象色情報を入力する。そして、均一収差補正量算出部214は、上記絞り値情報、ズーム位置情報、フォーカス位置情報、および、処理対象色情報が示す色の組合せに対応する補正データを、均一収差補正データテーブル250から選択する。そして、この選択した補正データを利用して、均一収差成分に対応する補正量を算出する。
色ずれ先画素値算出部215は、上記のようにして算出された同心円状収差成分対応の補正量と均一収差成分対応の補正量とを利用して、色ずれ先画素の画素値を算出する部位である。色ずれ先画素とは、処理対象画素の位置に本来結像すべき光が、倍率色収差に起因するずれにより実際に結像しているとされる画素をいう。
画素値補正部216は、処理対象画素ごとに、その画素値を補正する処理を実行する。このために、処理対象画素の画素値を、上記色ずれ先画素値算出部215により算出された色ずれ先画素の画素値で書き換える処理を実行する。上記色ずれ先画素値算出部215および画素値補正部216から成る部位は、特許請求の範囲に記載の画素値補正部の一例である。
なお、上記図8に示した倍率色収差補正部210における各部は、例えばDSP(Digital Signal Processor)などがプログラムを実行することにより実現される。また、倍率色収差補正部210における少なくとも一部の機能をCPU111がプログラムを実行することにより実現するようにしてもよい。また、ハードウェアにより実現することも考えられる。
[同心円状収差補正データテーブルの構造例]
続いて、図9を参照して、同心円状収差補正データテーブル240の構造例について説明する。図9は、同心円状収差補正データテーブル240のテーブル構造を模式的に示している。この図の説明にあたり、変数i(0≦i<ni)は絞り値を示し、変数z(0≦z<nz)はズーム位置を示し、変数f(0≦f<nf)はフォーカス位置を示し、変数y(0≦f<ny)は像高値を示すものとする。例えば実際の絞り値、ズーム位置、フォーカス位置、および、像高値としての各値は小数の位を取り得る。しかし、変数i、z、f、yにより示される絞り値、ズーム位置、フォーカス位置、および、像高値は何れも整数値であるとする。また、変数c(0≦c<2)は補正処理対象となる光の色(処理対象色)を示す。この処理対象色はR、Bの2通りとなるが、ここでは、変数cが「0」のときにR(赤)を示し、「1」のときに(B)を示すものとする。
この図に示される同心円状収差補正データテーブル240は、まず、変数cが示すR、Bの処理対象色ごとに応じて大きくテーブルが区分される。そのうえで、まず、Rの処理対象色に対応しては、絞り値iと、ズーム位置zとのマトリクス(組合せ)に対応して求められた、(ni×nz)個の補正データ241を格納する2次元テーブルが設けられる。
上記の2次元テーブルにおける補正データ241は、1つのフォーカス位置に対応した値となる。そこで、2次元テーブルについては、図示するようにして「0」乃至「nf−1」のフォーカス位置fごとに対応して求めた補正データ241を格納した、nf個を設ける。これにより、絞り値i、ズーム位置z、および、フォーカス位置fの組合せに対応した補正データ241を格納した3次元テーブルが得られる。
また、上記の3次元テーブルは、1つの像高値yに対応したものである。そこで、さらに図示するようにして、「0」乃至「ny−1」の像高値yごとに対応する補正データ241を格納した、ny個の3次元テーブルを用意する。これにより、絞り値i、ズーム位置z、フォーカス位置f、および、像高値yの組合せに対応した補正データ241を格納した4次元テーブルが得られる。そして、この4次元テーブルを、B(c=1)の処理対象色にも対応して用意する。
このように、同心円状収差補正データテーブル240は、絞り値i、ズーム位置z、フォーカス位置f、像高値y、および、処理対象色cの組合せごとに対応して求められた補正データ241を格納する。すなわち、5次元テーブルとしての構造を有する。したがって、同心円状収差補正データテーブル240を形成する補正データ241の数は、(ni×nz×nf×ny×nc)となる。この同心円状収差補正データテーブル240の構造は、同心円状収差成分としての像高方向に沿った色ずれ量が、絞り、ズーム位置、フォーカス位置などの光学系の条件、像高および光の色の各要素に依存して変化するものであることを意味している。
[同心円状収差成分に対応する補正データの取得方法例]
次に、同心円状収差補正データテーブル240における補正データ241の取得方法例について説明する。例えば光学レンズ部101に採用されるレンズの特性は既知である。これは、例えば図3に示した同心円状収差の像高に応じた色ずれ量の変化などもレンズの特性として既知であることを意味している。そこで、レンズの特性に基づいてシミュレーションを行うことで、同心円状収差補正データテーブル240を形成する補正データ241を求めることが可能である。より具体的には、例えばR光に対応する補正データ241については、次のようにして求める。すなわち、或る1つの絞り値i、ズーム位置z、フォーカス位置f、および、像高値yの各パラメータの組合せ条件でのR光とG光についてのシミュレーションを行い、このシミュレーションにより得られるG光に対するR光の色ずれ量を求める。そして、この色ずれ量をキャンセルしてG光にR光の位置を一致させることのできる補正量を算出し、これを上記の補正データ241とする。このシミュレーションを他の全てのパラメータの組合せ条件ごとにも行い、R光に対応する全ての補正データ241を求める。また、B光については、同様にして上記パラメータの組合せ条件ごとにB光とG光についてのシミュレーションを行いG光に対するB光の色ずれ量を求めたうえで、補正データ241を求めるようにする。
また、先に図5(a)において述べたように、同心円状収差成分は、撮像光学系の個体ばらつきには依存せず、レンズ自体の特性のみに応じてそのずれ量が決定されるものとして扱われる。このことに基づき、上記のようにしてシミュレーションにより求めた補正データ241から成る同心円状収差補正データテーブル240は、例えばビデオカメラ100としての製品に対して共通のものを使用することができる。
なお、倍率色収差はR光とB光だけではなくG光にも生じているのであるが、倍率収差補正は、例えばR、G、B間の相対的な結像位置のずれが一致するようにされればよい。そこで、本発明の実施の形態においては、G光を基準として、このG光と同じ位置に残りのR光、G光が結像した結果が得られるようにして倍率色収差補正を行うこととしている。このために、本発明の実施の形態においては、補正データ241を求めるにあたり、G光に対するR光およびB光の色ずれ量を求めることとしている。
なお、本明細書において「補正量」とは、色ずれを解消するために必要な「収差補正量」であり、その単位は、倍率、ピクセル値、または、画面サイズに対する相対値などとなる。また、色ずれ量は、収差により発生する色ずれの量であり、「収差発生量」をいう。また、その単位は、倍率、ピクセル値、または画面サイズに対する相対値のいずれかとなる。
上記説明では、まず、色ずれ量を求め、この求められた色ずれ量から、補正量としての補正データ241を求めることとしているが、補正データ241としては、色ずれ量をそのまま格納してよい。この場合には、同心円状収差補正量算出部213は、補正データ241として示される色ずれ量を補正量に変換したうえで、この変換された補正量から実際の処理で必要とされる補正量の値を算出すればよい。具体的には、例えば倍率が単位であれば、補正量と色ずれ量との関係は、(補正量=1/色ずれ量)により表される。また、ピクセル値または画面サイズに対する相対値が単位であれば、補正量と色ずれ量との関係は、(補正量=−色ずれ量)により表される。いずれにせよ、上記2つの関係式は簡単なものであり、したがって、色ずれ量と補正量との間の変換は、非常に少ない演算量によって容易に行うことができる。
[均一収差補正データテーブルの構造例]
図10は、均一収差補正データテーブル250の構造例を示している。この図に示されるように、均一収差補正データテーブル250は、絞り値i、ズーム位置z、フォーカス位置f、処理対象色c、および、補正量方向成分dのパラメータの組合せごとに応じた補正データ251を格納する。すなわち、5次元テーブルとしての構造を有するものとなる。
均一収差成分としての色ずれ量は、絞り、ズーム位置、フォーカス位置による光学系の条件および光の色の各要素に依存して変化する、しかし、前述もしたように像高に依存しては変化しない。このために、均一収差補正データテーブル250は、像高値yに応じた補正データ251を有さないものとして形成される。
また、均一収差成分は、その移動方向と移動量を示すベクトルを水平方向の移動量成分と垂直方向の移動量成分とに分離して扱うことができる。そこで、均一収差補正データテーブル250としては、水平方向と垂直方向とに応じた補正量方向成分dをパラメータとして与えることとしている。
なお、撮像装置においては光学式手振れ補正機能を有するものが知られている。光学式手振れ補正では、手振れの状態に応じて光軸を変化させるためのレンズ群(光学防振レンズ群)をパンおよびチルト方向に傾けるようにして駆動することが行われる。または、光学防振レンズ群を光軸に垂直な平面方向において移動させることが行われる。このような光学防振レンズ群の位置状態の変化も、収差による色ずれ量を変化させる要因となる。そこで、ビデオカメラ100が光学防振レンズ群を備える場合には、均一収差補正データテーブル250について、次のような構造とすることが考えられる。すなわち、図10に示した5次元テーブルの構造に対して、光学防振レンズ群の位置のパラメータをさらに組み合わせた6次元テーブルの構造とするものである。また、同心円状収差補正データテーブル240についても、同様にして、先に図9に示した5次元テーブルの構造に対して、光学防振レンズ群の位置のパラメータをさらに組み合わせた6次元テーブルの構造とすることができる。ただし、光学防振レンズ群の位置変化は、主として、均一収差による色ずれ量に影響を及ぼす。このため、例えば光学防振レンズ群の位置のパラメータの組み合わせは、均一収差補正に関して高い効果が得られる。
また、手振れ補正機能として、手振れの状態に応じてイメージャ(図1の光電変換部103に相当)をその面方向に沿って移動させるように駆動する方式も知られている。この場合には、上記光学防振レンズ群の位置のパラメータに代えて、イメージャの位置をパラメータとして組み合わせることができる。
また、同心円状収差補正データテーブル240および均一収差補正データテーブル250を形成するためのパラメータの組合せとしては、図9および図10に示したもののうちから除外されるものがあってもよい。具体例として、単焦点レンズを採用する場合には、ズーム位置zは固定となるために、パラメータとして組み合わせる必要はなくなる。
さらに、同心円状収差補正データテーブル240および均一収差補正データテーブル250を形成するためのレンズ制御情報としては、これまでに挙げたものに限定されるものではない。これまでの説明においては、レンズ制御情報は、絞り、ズーム位置およびフォーカス位置であることとしている。これらは、光学レンズ部101(図1)における可動部位の設定状態を示しているものとしてみることができる。例えば光学レンズ部101が絞り、ズーム位置およびフォーカス位置以外の何らかの可動部位を備える構造の場合、この可動部位の設定状態を示す情報のパラメータが組み合わされてよい。
[均一収差成分に対応する補正データの取得方法例]
均一収差補正データテーブル250における補正データ251の取得方法例について説明する。同心円状収差成分としての色ずれ量は撮像光学系の取り付け誤差などに起因する個体ばらつきには依存しないものであった。これに対して、均一収差成分は、撮像光学系の取り付け誤差などに起因して生じるものであり、図6および図7による説明からも理解されるように、その色ずれ量は個体ばらつきに依存して変化する。このために、均一収差補正データテーブル250における補正データ251を求めるには、例えば製造工程において製品ごとに測定、解析を行う必要がある。
そこで、補正データ251を求めるための方法の具体例について説明する。まず、第1例としては、予め、例えば絞り値i、ズーム位置z、および、フォーカス位置fについて、それぞれ、代表的となるmi個、mz個、mf個ずつの値を決めておく。そして、これらの絞り値i、ズーム位置z、および、フォーカス位置fの組合せパターンごとに、次のようにして補正データ251を取得する。すなわち、撮像を行って得られた画面の中心において発生しているG光に対するR光とB光の各色のずれ量および色ずれ方向を測定する。次に、この測定された色ずれ量および色ずれ方向から垂直方向成分と水平方向成分とのそれぞれに対応した補正データ251を求めるというものである。
例えば、先に図3または図5(b)などに示したように、同心円状収差成分としての色ずれ量は像高に依存し、撮像画像の画面の中心ではほぼ0となる。したがって、画面の中心において発生している色ずれは、均一収差成分に対応したものであると考えてよい。
次に、第2例の方法について説明する。この第2例においても、代表的となるmi個、mz個、mf個の値を決めておいたうえで、これらの絞り値i、ズーム位置z、および、フォーカス位置fの組合せパターンごとに測定を行う点は、第1例と同様である。そのうえで、第2例においては、図11(a)に示すようなチャート画像400を撮像して測定を行うものとする。
図11(a)に示すチャート画像400には、画面の中心Cを水平方向沿って通過する直線Ln1と、垂直方向に沿って通過する直線Ln2が示されている。なお、これら2つの直線Ln1、Ln2については、例えば実際においては、背景色とは異なる所定の色が設定されている。
そして、測定にあたっては、水平方向の直線Ln1に対して垂直方向に発生しているG光に対するR光およびB光それぞれの色ずれ量を測定する。同心円状収差成分は画面中心から同心円状に拡がるようにして色ずれが生じるので、水平方向の直線Ln1にて垂直方向の色ずれが生じることはない。したがって、水平方向の直線L1にて発生する垂直方向の色ずれを測定するということは、同心円状収差成分による色ずれが生じていない状態のもとで、均一収差成分による色ずれ量の垂直方向のベクトル成分を測定できることを意味する。
なお、このときの色ずれ量の測定は、画素配列における列ごとに行ってもよいし、一定間隔ごとに行ってもよい。例えば、測定結果の信頼性を失わない範囲で色ずれ量を測定する間隔をできるだけ大きく設定することで測定に要する時間を短縮できる。そして、上記のようにして測定された垂直方向のベクトル成分についての平均値を、R光とB光とでそれぞれ算出する。
次は、同様にして、垂直方向の直線Ln2に対して水平方向に発生しているG光に対するR光およびB光の色ずれ量を測定し、測定された色ずれ量についての平均値を、R光とB光とでそれぞれ算出する。なお、垂直方向の直線Ln2にて発生する水平方向の色ずれ量を測定するということは、上記と同様の理由で、同心円状収差成分による色ずれが生じていない状態のもとで、均一収差成分による色ずれ量の水平方向のベクトル成分を測定できることを意味する。そして、このように算出されたR光およびB光に対応する垂直方向と水平方向の各ベクトル成分から、水平方向成分と垂直方向成分とのそれぞれについての補正量を算出し、これを補正データ251とするものである。
なお、上記第2例のようにしてチャート画像を利用する補正データの取得に関しては、図11(a)以外にも多様に考えられる。そこで、他のチャート画像を利用した例について図11(b)、図11(c)および図12を参照して説明する。
まず、図11(b)について説明する。図11(b)のチャート画像400Aにおいては、画像の中心Cを通過する仮想水平線Lhに沿った左右両側の位置において、それぞれ水平バー401、401が描かれている。同様にして、画像の中心Cを通過する仮想垂直線Lvに沿った上下両側の位置において、それぞれ垂直バー402、402が描かれている。この場合には、水平バー401、401に対して垂直方向に発生しているG光に対するR光およびB光それぞれの色ずれ量を測定することで、均一収差成分による色ずれ量の垂直方向のベクトル成分を測定する。また、垂直バー402、402に対して水平方向に発生しているG光に対するR光およびB光それぞれの色ずれ量を測定することで、均一収差成分による色ずれ量の水平方向のベクトル成分を測定する。
次に、図11(c)に示すチャート画像400Bは、上記図11(b)に示される左右の水平バー401、401の各々の上下に対して、さらに一定間隔を有して、水平バー401aおよび401bを追加している。この場合には、チャート画像400Bの左右の水平バー401、401aおよび401bのそれぞれについて、垂直方向に発生している色ずれ量を測定する。同様にして、チャート画像400Bの上下の垂直バー402、402aおよび402bのそれぞれについて水平方向に発生している色ずれ量を測定する。この場合には、画像の水平中心および垂直中心近傍で測定できる画素数を増やすことができるために、測定再現性(耐ノイズ性)の向上が期待できる。
次に、図12(a)に示すチャート画像400Cは、その画像の全体に対して、所定の行数と列数によってドット403を配列させている。そして、測定に際しては、例えば図において波線で示す部位における色ずれ量を測定する。すなわち、仮想水平線Lhに沿った左右両側の領域におけるドット403に対して発生している垂直方向の色ずれ量を測定する。また、仮想垂直線Lvに沿った上下両側の領域におけるドット403に対して発生している水平方向の色ずれ量を測定するというものである。例えば、このチャート画像400Cは、収差の測定において一般的に用いられるものの1つであるが、本発明の実施の形態の補正データ251はこのような一般的なものを利用した測定によっても取得できる。
また、図12(b)のチャート画像400Dは、本発明の実施の形態の均一収差に対する補正データ251の取得に特化して、例えば上記図12(a)から、波線部分において示されるドット402のみからなるパターンとしたものである。
また、図12(c)のチャート画像400Eは、例えば、図11(a)に示した直線Ln1と直線Ln2とを、ドット402の配列に置き換えたパターンとなっている。したがって、測定の仕方については、図11(a)と同様になる。
上記した補正データ251の取得方法のうちの第1例は、撮像画像の画面中心のみにおける色ずれ量を測定すればよいことから測定のための作業量や手間も少なく、この点で効率が高い。これに対して図11(a)により説明した第2例では、画像全体において設定した直線L1、L2の周囲における色ずれ量を測定することになり、測定範囲が広がることにはなるが、その分、高い精度の測定結果を得ることができる。この点に関しては、図11(b)、図11(c)および図12に示した例についても第2例と同様である。いずれにせよ、図11および図12により説明したチャート画像を利用した測定は、撮像により得られる画像の中心を通過する仮想の水平線と垂直線を含む所定領域を対象として、それぞれ、垂直方向と水平方向の色ずれ量を測定している。
本発明の実施の形態においては、上記説明のようにして、同心円状収差補正データテーブル240と均一収差補正データテーブル250とを作成して記憶させることになる。図9に示したように、同心円状収差補正データテーブル240は、5次元のテーブルとなるが、画面位置に関連するパラメータは像高値yのみである。また、均一収差成分は画素位置に依存するものではないために、図10に示したように、光学系のパラメータと収差の水平方向成分と垂直方向成分の組合せとから成る5次元テーブルとなっている。これに対して、例えば従来技術では、光学系のパラメータの組合せごとの補正値を、さらに画素ごとに持つようにした補正データを用いる。このような補正データと比較すれば、本発明の実施の形態としては、同心円状収差補正データテーブル240と均一収差補正データテーブル250とを合わせたとしても、そのデータサイズは大幅に縮小されている。また、1画面を例えば(20×15)画素程度のサイズのブロックに分割し、各ブロックの中心座標における色ずれ移動量を記憶し、補正処理時には、記憶した色ずれ量を補間して使用するという構成も考えられる。しかし、このような構成においてもブロック単位ではあるが画像上の位置に対応したデータを保持することになるため、本発明の実施の形態の方が、データサイズは遙かに少ないものとなる。
また、均一収差補正データテーブル250については、例えばレンズの個体ばらつきに対応するために製品ごとに測定を行うが、測定に際しては、代表的なものとして限定された数の絞り値i、ズーム位置z、および、フォーカス位置fの組合せパターンを用いる。そのうえで、測定にあたっては、画面中心または図11のチャート画像400の直線L1、L2の部分における色ずれを測定するだけでよい。いずれにせよ、この程度の作業量であれば、個々の製品に対して測定を行ったとしても製品の量産性の妨げ要因となる作業量の増加が少なくて済む。
[倍率色収差補正部の処理手順例]
図13および図14のフローチャートは、図8に示した倍率色収差補正部210が実行する処理手順例を示している。なお、この図に示す各ステップとしての処理は、倍率色収差補正部210を形成する各部の何れかが適宜実行するものとなる。また、この図に示す各ステップとしての処理は、例えばCPU111またはDSP(Digital Signal Processor)がプログラムを実行することにより実現される。また、ハードウェアにより構成することも可能である。
まず、同心円状収差補正量算出部213および均一収差補正量算出部214は、カメラ制御部102から、レンズ制御情報を取得する(ステップS901)。ここでのレンズ制御情報とは、先にも述べたように、現在において光学レンズ部101にて設定されている絞り値、ズーム位置、および、フォーカス位置の情報となる。
次に、同心円状収差補正量算出部213は、上記ステップS901により取得したレンズ制御情報に対応する同心円状収差補正量Timg1を算出する(ステップS902)。この同心円状収差補正量Timg1は、例えば下記のようにして算出することができる。
ここで、上記ステップS901により取得したレンズ制御情報である絞り値、ズーム位置、および、フォーカス位置について、それぞれ、p、p、pにより表すこととする。また、絞り値p、ズーム位置p、および、フォーカス位置pは、それぞれ、整数部(i)および所定の位までの小数部(f)とから成るものとして次式により表現されるものとする。
=pii+pif
=pzi+pzf
=pfi+pff
また、同心円状収差補正量算出部213は、同心円状収差補正データテーブル240における任意の補正データ241を選択するにあたり、次のようにして指定するものとする。すなわち、整数による絞り値i、ズーム位置z、フォーカス位置f、像高値y、および、処理対象色cの組合せにより指定する。これは、前述したように、同心円状収差補正量算出部213は、それぞれが整数値の絞り値i、ズーム位置z、フォーカス位置f、像高値y、および、処理対象色cの組合せに応じた補正データ241を格納することに対応している。このようにして指定される補正データ241については、Tca1[i][z][f][y][c]と表す。
そして、同心円状収差補正量算出部213は、同心円状収差補正データテーブル240から、Tca1[pii][pzi][pfi][y][c]で指定される全ての補正データ241にアクセスして読み出しを行う。このとき、像高値yおよび処理対象色cについては、それぞれ、同心円状収差補正データテーブル240が格納する全ての値が対象となる。したがって、Tca1[pii][pzi][pfi][y][c]により指定される補正データ241の数は、(ny×nc)により表される。
また、同心円状収差補正量算出部213は、同心円状収差補正データテーブル240から、Tca1[pii+1][pzi+1][pfi+1][y][c]で指定される補正データ241にアクセスして読み出しを行う。このTca1[pii+1][pzi+1][pfi+1][y][c]により指定される補正データ241の数も、(ny×nc)により表される。
次に、同心円状収差補正量算出部213は、同心円状収差補正量Timg1[y][c]を算出する。このためには、上記Tca1[pii][pzi][pfi][y][c]およびTca1[pii+1][pzi+1][pfi+1][y][c]で示される補正データ241を利用して、次式による演算を行う。
Figure 2012015781
すなわち、絞り値pi、ズーム位置pz、および、フォーカス位置pfの整数値により、補間元となる補正データ241を取得する。これが、Tca1[pii][pzi][pfi][y][c]およびTca1[pii+1][pzi+1][pfi+1][y][c]である。そして、補間元となる補正データ241と、絞り値p、ズーム位置pz、および、フォーカス位置pの各小数値pif、pzf、および、pffを用いて、3次元線形補間が行われる。このようにして求められた補間値が、同心円状収差補正量Timg1[y][c]となる。なお、同心円状収差補正量Timg1[y][c]も、その数は、(ny×nc)となる。また、ここでは線形補間により同心円状収差補正量Timg1[y][c]を求めることとしているが、他の補間処理や算出手法が採用されてもよい。
続いては、像高算出部212により、補正対象画像信号の画素配列により形成される画像における中心画素座標C(h0,W0)を算出する(ステップS903)。この中心画素座標Cは、後述する処理対象画素P(m,n)ごとの像高yrを算出する際に利用されるものとなる。ここでの中心画素座標C(h0,W0)は、上記画像において、同心円状収差成分に対応して得られる光軸の位置となる。これは、例えば取り付け誤差を考慮しない理想的な状態において、撮像素子の結像面におけるレンズ光軸の位置に相当する。なお、この場合の画素配列として、例えば一般的にはベイヤ配列が知られている。
そして、中心画素座標C(h0,W0)の算出処理として最も簡単な例としては、補正対象画像信号を形成する全色により形成される画面の垂直方向のサイズをh、水平方向のサイズをwとして、C(h/4,W/4)で求めることができる。
ただし、実際においては、光学レンズ部101における設計上の条件などによって撮像素子の結像面に対してレンズ光軸を移動させた位置に設定する場合がある。このような場合には、上記のレンズ光軸のずれ量が反映された中心画素座標C(h0,W0)を算出することが好ましい。また、この場合のレンズ光軸の位置は固定となるので、ステップS903による算出処理を実行するのに代えて、例えば中心画素座標C(h0,W0)の値を記憶しておき、この値を読み出すようにしてもよい。また、例えばレンズ光軸を物理的に傾けるようにした手ぶれ補正機能が知られている。本発明の実施の形態のビデオカメラ100がこのような手ぶれ補正機能を備える場合には、手ぶれ補正制御に応じて変更される画像に対するレンズ光軸の位置に応じて、中心画素座標C(h0,W0)の値をダイナミックに算出することが好ましい。これにより、手ぶれ補正制御によるレンズ光軸位置の変化に係わらず、より高い精度での倍率色収差補正が行える。
続いて、像高算出部212は、10割像高に対応する距離(10割像高対応距離)r10を算出する(ステップS904)。10割像高とは、補正対象画像信号の画素配列により形成される画面において、その中心から最も離れた位置の像高を指す。したがって、10割像高対応距離r10は、例えば四角形による画面の対角線の交点から1つの頂点までの直線距離となる。ただし、ここでの10割像高対応距離r10は、以降の処理の対象となるRまたはBのみの色画素から成る色画面におけるものとなる。例えば画素配列がベイヤ配列であるとした場合には、R画素のみから成る色画面(R画面)は縦がh/2、横がw/2となる。同様に、B画素のみから成る色画面(B画面)も縦がh/2、横がw/2となる。したがって、R画面とB画面の10割像高対応距離は何れも次式により表されるものとなる。なお、次式において「sqrt」は平方根の演算であることを示す。
sqrt((h/4)+(w/4)))
続いては、例えば色画素選択部211は、処理対象色を示す変数cに「0」を代入する(ステップS905)。本発明の実施の形態では、変数cが「0」に対応する処理対象色をR(赤)、「1」に対応する処理対象色をB(青)とする。
次に、色画素選択部211は、補正対象画像信号から、現在の変数cが示す処理対象色のサブサンプル画像を抽出する(ステップS906)。すなわち、変数cが示す処理対象色の画素のみから成る画像信号を抽出する。
次に、色画素選択部211は、処理対象色のサブサンプル画像を形成する画素のうち、処理対象画素Pの座標を表す変数(m,n)の組について初期値を設定する(ステップS907)。この処理対象画素Pの座標(m,n)を示すデータは、例えば像高算出部212に渡される。
像高算出部212は、例えば色画素選択部211から渡された処理対象画素座標P(m,n)の動径距離rを算出し(ステップS908)、さらにこの算出された動径距離rを像高値yrに換算する(ステップS909)。まず、動径距離rについては、処理対象画素P(m,n)の各座標値と、先のステップS903により算出された中心画素座標(h0、w0)とを利用して、例えば次式により求めることができる
r=sqrt((m−h0)+(n−w0)
次に、処理対象画素P(m,n)が対応する像高値rは次式により求めることができる。次式においては、像高10割に対応する像高値をny−1としている。また、r10は、先のステップS904により算出された10割像高対応距離を示す。
=(r/r10)×(ny−1)
なお、上式により算出される像高値yは、整数部(i)と小数部(f)から成り、したがって、像高値yは次式により表されるものとなる。
=yri+yrf
続いては、同心円状収差補正量算出部213により処理対象画素Pに対応する同心円状収差補正量Mを算出する処理が実行される(ステップS910)。このためには、まず、同心円状収差補正量算出部213は、色画素選択部211から現在の変数cを示す処理対象色情報を入力する。また、像高算出部212から上記ステップS909により算出された像高値yを入力する。そのうえで、同心円状収差補正量算出部213は、ステップS902にて算出された同心円状収差補正量Timg1のうちから、現在の変数cと像高値yrの整数部yriとに基づいて、次の2つの補正量を選択する。すなわち、Timg1[yri][c]により指定される補正量と、Timg1[yri+1][c]により指定される補正量とを選択する。
次に、同心円状収差補正量算出部213は、同心円状収差補正量Timg1[yri][c]、Timg1[yri+1][c]と像高値yとを利用して、処理対象画素Pについての同心円状収差補正量Mを算出する。この同心円状収差補正量Mも、例えば次式による線形補間のための演算により求めることができる。なお、この同心円状収差補正量Mは補正倍率となる。
Figure 2012015781
続いては、図14に示すように、均一収差補正量算出部214により均一収差補正量Timg2を算出する処理を実行する(ステップS911)。このために、まず、均一収差補正量算出部214は、先のステップS901により取得した絞り値p、ズーム位置p、および、フォーカス位置pを利用して、必要な補正データ251を取得する。すなわち、均一収差補正データテーブル250からTca2[pii][pzi][pfi][d][c]で指定される全ての補正データ251を読み出して取得する。また、Tca2[pii+1][pzi+1][pfi+1][d][c]で指定される全ての補正データ251を読み出して取得する。Tca2[pii][pzi][pfi][d][c]として取得される補正データ251の数は4つ(md×mc)となる。同様にTca2[pii+1][pzi+1][pfi+1][d][c]として取得される補正データ251の数も4つとなる。
次に、均一収差補正量算出部214は、上記のようにして取得したTca2[pii][pzi][pfi][d][c]、Tca2[pii+1][pzi+1][pfi+1][d][c]を利用して例えば次の演算を行う。これにより、均一収差補正量Timg2[d][c]を算出する。
Figure 2012015781
すなわち、上式では、先の同心円状収差補正量Timg1の場合と同様に、3次元線形補間処理によって、均一収差補正量Timg2[d][c]を求めている。
次に、色ずれ先画素値算出部215は、色ずれ先画素の画素値を算出する(ステップS912)。この色ずれ先画素の画素値の算出にあたり、まず、色ずれ先画素値算出部215は色ずれ先画素の座標を算出する。このために、先画素値算出部215は、例えばステップS910にて算出された同心円状収差補正量Mと、ステップS911により算出された均一収差補正量Timg2[d][c]とを入力する。そして、次式により色ずれ先画素Pd(m1,n1)の座標値を求める。
m1=(m−h0)×M+h0+Timg2[0][c]
n1=(n−w0)×M+w0+Timg2[1][c]
次に、色ずれ先画素値算出部215は、色ずれ先画素Pd(m1,n1)の画素値を算出し、この画素値を補正画素値Vとして出力する(ステップS913)。色ずれ先画素Pd(m1,n1)の各座標値は、上式においてTimg2[d][c]を含むことからも分かるように、小数部を含む。画素値補正部216は、色ずれ先画素Pd(m1,n1)の近傍に位置する所定の画素の画素値を利用した補間処理によって、色ずれ先画素Pd(m1,n1)の画素値である補正画素値Vを算出する。そして、画素値補正部216は、算出した補正画素値Vを、現在の処理対象画素P(m,n)の画素値として設定する(ステップS914)。
ここまでの処理が実行されると、例えば色画素選択部211は、処理対象画素Pを示す変数(m,n)の値の組合せについての更新を行う(ステップS915)。これに応じて処理対象画素Pの変更が行われることになる。次に色画素選択部211は、現在の変数(m,n)が無効な値の組合せであるか否かについて判別する(ステップS916)。例えば現在の変数cに対応した処理対象色において未処理の画素が残っている場合には、ステップS915により更新された後の変数(m,n)は、上記未処理の画素の何れかに該当する有効な値の組合せを有する。これに対して、現在の処理対象色における全ての色画素の処理を終了してからステップS915により更新された変数(m,n)は、現在の処理対象色における何れの色画素にも該当しない無効な値の組合せとなっているものとする。ステップS916において無効な値の組合せではないと判定された場合には、未処理の色画素が残っていることから、ステップS908の処理に戻る。これに対して、ステップS916において無効な値の組合せであると判定された場合には、画素値補正部216により次の処理が実行される。
すなわち、ステップS916において無効な値の組合せであると判定された場合には、現在の処理対象色における全ての画素ごとに補正画素値Vが設定されている状態にある。そこで、画素値補正部216は、色画素選択部211から、現在の変数cにより示されるRまたはBの何れかの処理対象色によるサブサンプル画像の信号を入力する。そして、このサブサンプル画像を形成する各画素の画素値を、その画素に対して設定された補正画素値Vにより書き換える(ステップS917)。このようにして画素値の書き換えが行われたサブサンプル画像の信号は倍率色収差が補正されているものであり、収差補正画像信号におけるRまたはBに対応する信号成分となる。
上記のステップS918の処理が終了したことに応じて、例えば色画素選択部211は、変数cをインクリメントする(ステップS918)。この処理により、変数cが「0」から「1」に変更された場合には、処理対象色が例えばRからBに変更されることになり、色画素選択部211が出力する処理対象色情報もRからBを示す値に変更される。
次に、色画素選択部211は、現在の変数cが最大値より大きいか否かについて判定し(ステップS919)、最大値より小さいと判定した場合には、ステップS906の処理に戻る。これにより、これまでのR光を対象とする倍率色収差補正から、例えばB光を処理対象色とする倍率色収差補正の処理に移行することになる。そして、再度、ステップS918の処理までが実行された結果、ステップS919にて変数cが最大値より大きいと判定されると、例えば1フレーム分の画像に対応した倍率色収差補正が行われたことになる。これに応じて、倍率色収差補正部210からは画素値の書き換えが行われたR、Bのそれぞれに対応する色信号と、色画素選択部211からそのまま出力されるGの色信号とが出力される。これらのR、B、Gの各色信号が収差補正画像信号となる。
<2.第2の実施の形態>
[倍率色収差補正部の構成例]
続いて、本発明の第2の実施の形態について説明する。先の第1の実施の形態においては、予め記憶させた同心円状収差補正データテーブル240および均一収差補正データテーブル250を利用して補正量を求めて倍率色収差補正処理を実行するというものであった。これに対して、第2の実施の形態においては、撮像により得られた画像信号に基づいて補正量を求めて倍率色収差を補正する構成を採る。
図15は、第2の実施の形態における倍率色収差補正部210Aの構成例を示している。この倍率色収差補正部210Aは、例えば図2において第1の実施の形態に対応するものとして示された倍率色収差補正部210に代えて設けられるものとなる。なお、この図において、図8と同一部分には同一符号を付して説明を省略する。
図15に示される倍率色収差補正部210Aは、色画素選択部211、色信号補間部221、1/4プレーン画像生成部222、疑似輝度信号生成部223、均一収差成分対応エッジ検出部224、および、ウィンドウ生成部225を備える。また、差分絶対値和算出部226、色ずれ量算出部227、均一収差補正量算出部214A、同心円状収差成分対応エッジ検出部228、収差倍率算出部229、および、収差倍率頻度情報生成部230を備える。また、同心円状収差補正量算出部213A、色ずれ先画素値算出部215、および、画素値補正部216を備える。
なお、以下の図15の説明にあたっては、この説明を分かりやすいものとするための便宜上、R信号を処理対象として補正を行う場合を例に挙げることとする。倍率色収差補正部210Aは、以下に説明するR信号を処理対象とする倍率色収差補正の処理を、同様にしてB信号についても行う。
色信号補間部221は、補正対象画像信号を入力して、補正対象画像信号のR画素ごとの位置のG信号を補間する処理を実行する部位である。この補間処理については、例えば図20により後述するようにしてバイリニア補間の手法を採用することができる。
1/4プレーン画像生成部222は、1/4プレーン画像を生成する部位である。
ベイヤ配列は、全画像領域を形成する画素のうちG画素が1/2を占め、R画素とB画素のそれぞれが1/4を占める。上記のR画素位置に対応する補間G信号を生成する処理を実行した後は、全画像領域を形成する画素数に対して1/4の数の補間G画素による補間G信号が得られている。そこで、1/4プレーン画像生成部222は、補間G画素のみからなる画像信号を生成する。これが補間G信号に対応する1/4プレーン画像となる。また、同様にして、R画素のみから成るR信号に対応する1/4プレーン画像を生成する。
なお、1/4プレーン画像生成部222は、R信号に対応する1/4プレーン画像について、均一収差の補正に際しては、補正対象画像信号から抽出したR信号を利用して生成する。これに対して、同心円状収差の補正に際しては、均一収差成分について補正された補正対象画像信号を利用して1/4プレーン画像を生成する。すなわち、画素値補正部216から帰還される均一収差補正後のR信号を利用して生成する。
疑似輝度信号生成部223は、上記のようにして生成される2つの1/4プレーン画像を利用して疑似輝度信号を生成する部位である。例えば、補間G信号に対応する1/4プレーン画像とR信号に対応する1/4プレーン画像とを利用する場合には、同じ位置の補間G画素の画素値とR画素の画素値との平均値を算出する処理を、1/4プレーン画像における全画素位置について行う。このようにして算出された画素位置ごとの平均値により疑似輝度信号が得られる。この疑似輝度信号の生成は、次のエッジ検出処理のために行われる。エッジ検出には色情報を排除した輝度信号を利用することが好ましいが、RAW画像データはR、G、Bの色信号のみから成り、輝度信号成分Yを含まない。このために、上記のようにして疑似輝度信号を生成することとしている。
均一収差成分対応エッジ検出部224は、上記疑似輝度信号を入力して均一収差に応じて発生しているエッジを検出する部位である。倍率色収差による色ずれは画像のエッジ部分において顕著に発生することが知られている。すなわち、本発明の実施の形態では、撮像画像のエッジを検出することで倍率色収差を検出しようとするものであり、均一収差成分対応エッジ検出部224は、均一収差補正のために、均一収差成分の検出に相当するエッジ検出を行うものである。均一収差成分に応じて発生する色ずれのベクトルは、水平方向のベクトル成分と垂直方向のベクトル成分とを合成して表現できる。そこで、均一収差成分対応エッジ検出部224は、画面の水平方向および垂直方向についてのエッジを検出する。また、このエッジ検出に際しては、その画素値の変化方向の種別として、検出したエッジが立ち上がりエッジと立ち下がりエッジの何れであるのかについても検出することとしている。このようなエッジ検出処理の手法例については後述する。
ウィンドウ生成部225は、上記均一収差成分対応エッジ検出部224または後述の同心円状収差成分対応エッジ検出部228により検出されたエッジの位置を中心として補間G信号およびR信号に対してウィンドウを設定する部位である。これらのウィンドウは、例えば1/4プレーン画像生成部222により生成された1/4プレーン画像において所定の水平画素数と垂直画素数により形成される部分画像領域となる。また、これら補間G信号のウィンドウとR信号のウィンドウは同サイズでよい。
差分絶対値和算出部226は、上記のようにして設定された2つのウィンドウの位置関係をシフトさせながら、そのシフトさせた位置ごとに差分絶対値和を算出する部位である。なお、ウィンドウのシフト方向は、ウィンドウ生成の元となったエッジの方向と同じ方向にウィンドウをシフトさせる。均一収差成分のエッジに対応しては、そのエッジ方向に対応して水平方向または垂直方向に沿ってウィンドウをシフトさせることになる。なお、補間G信号のウィンドウを固定してR信号のウィンドウを移動させているのは、G信号を参照信号として、G光に対するR光の色ずれ量を求めようとしていることによる。また、このシフト量は、一例であるが、上下方向または左右方向に沿ってそれぞれ5画素分程度の範囲とすればよい。
そして、シフトさせた位置ごとに同じ座標に位置することとなった補間G画素とR画素の差分絶対値を求め、この座標ごとに求められた差分絶対値を全て加算する。これにより、1つのエッジに対応する差分絶対値和が得られる。なお、差分絶対値和は、SAD(Sum of Absolute Difference)ともいわれる。また、差分の2乗和(SSD:Sum of Squared Difference)を求めることとしてもよい。上記のウィンドウ生成部225によるウィンドウ設定と、差分絶対値和算出部226による差分絶対値和の算出は、検出されたエッジごとに行うものとなる。
色ずれ量算出部227は、算出された差分絶対値和を利用して、検出されたエッジの画像部分ごとに対応する色ずれ量を算出する部位である。ここで算出される色ずれ量は、参照信号となるG信号に対するR信号の色ずれ量となる。そして、本発明の実施の形態においては、例えば補間演算を行うことにより、画素単位よりも小さいサブピクセル単位による色ずれ量を算出することとしている。
均一収差補正量算出部214Aは、先の均一収差成分対応エッジ検出部224によるエッジ検出結果に基づいて算出された上記R信号の色ずれ量に基づいて、均一収差成分に対応する補正量(均一収差補正量)を算出する部位である。なお、この均一収差補正量を算出するにあたっては、後述するようにして、色ずれ量が対応する立ち上がりエッジと立ち下がりエッジとについての検出結果を利用する。
色ずれ先画素値算出部215は、入力した収差補正量に基づいて色ずれ先画素の画素値(補正画素値)を算出する部位である。色ずれ先画素値算出部215は、まず、上記均一収差補正量算出部214Aにより均一収差補正量が算出されたことに応じて、この均一収差補正量に基づいてR信号における色ずれ先画素の座標を求め、求められた座標の画素値を算出する。均一収差補正量に基づいて算出される色ずれ先画素の画素値は、倍率色収差における均一収差成分のみに応じた補正画素値となる。
第2の実施の形態における画素値補正部216は、R画素の画素値のそれぞれを、対応する色ずれ先画素の画素値に書き換える。これにより、均一収差成分について補正されたR信号が得られる。この均一収差が補正されたR信号は、1/4プレーン画像生成部222に入力され、R信号の1/4プレーン画像として生成される。疑似輝度信号生成部223は、均一収差成分について補正されたR信号から成る1/4プレーン画像と、補間G信号とを利用して、同心円状収差補正に対応する疑似輝度信号を生成する。
同心円状収差成分対応エッジ検出部228は、上記の同心円状収差補正に対応する疑似輝度信号を入力して、同心円状収差に対応したエッジ検出を実行する部位である。同心円状収差成分対応エッジ検出部228が入力する疑似輝度信号は、画素値補正部216から帰還される均一収差補正後のR信号から成る1/4プレーン画像を利用して生成されたものとなる。また、同心円状収差成分対応エッジ検出部228が検出するエッジの方向は、画面中心からの動径方向に沿ったものとなる。また、同心円状収差成分対応エッジ検出部228も、検出したエッジについて、立ち上がりエッジと立ち下がりエッジの何れであるのかについての検出を行う。このエッジ検出処理の手法例についても後述する。
同心円状収差成分対応エッジ検出部228によるエッジ検出結果に対応しても、ウィンドウ生成部225、差分絶対値和算出部226、および、色ずれ量算出部227により上述したのと同様の処理が実行される。ただし、差分絶対値和算出部226は、同心円状収差成分に対応しては、補間G画素のウィンドウに対するR信号のウィンドウの移動は、画面中心を基準とした動径方向に沿ったものとなる。したがって、色ずれ量算出部227は、動径方向における補間G画素に対するR画素の色ずれ量を、立ち上がりエッジと立ち下がりエッジとで分別して算出することになる。
収差倍率算出部229は、同心円状収差補正に対応して算出された色ずれ量を収差倍率に変換する部位である。ここでいう収差倍率とは、G補間信号に対して色ずれがない状態を1倍としたうえで、算出されたR信号の色ずれ量が得られる状態の倍率値となる。例えばこの収差倍率は基準となるG画素が対応する像高と、算出された色ずれ量に応じて決まる色ずれ先の像高との比率により算出することができる。
収差倍率頻度情報生成部230は、収差倍率算出部229により、R信号において検出されたエッジごとに対応して算出された複数の収差倍率について、そのヒストグラムを作成する部位である。すなわち、収差倍率の出現頻度についての分布を示す情報(収差倍率頻度情報)を生成する。なお、収差倍率は、検出されたエッジごとに対応して算出されたものであり、したがって、立ち上がりエッジと立ち下がりエッジの何れかが対応するものとなる。収差倍率のヒストグラムは、立ち上がりエッジに対応する収差倍率と、立ち下がりエッジに対応する収差倍率のそれぞれとについて作成する。
第2の実施の形態における同心円状収差補正量算出部213Aは、上記のようにして生成された収差倍率頻度情報に基づいて同心円状収差補正量を算出する部位である。このためには、まず、収差倍率頻度情報に基づいて、実際の補正に採用する収差倍率値を算出する。例えば、この算出された収差倍率値を同心円状収差補正量として扱えばよい。
色ずれ先画素値算出部215は、上記同心円状収差補正量の入力に応じては、同心円状収差成分によるR信号の色ずれ先画素の画素値を、均一収差補正後のR信号を形成するR画素ごとについて算出する。また、画素値補正部216は、均一収差補正後のR信号を形成するR画素ごとについて、これに対応して算出された色ずれ先画素の画素値に書き換える処理を行う。この画素値の書き換えが同心円状収差の補正に相当する。
そして、今回の画素値の書き換えの完了により、均一収差成分と同心円状収差成分とに対応する補正が行われたことになる。すなわち、倍率色収差補正が行われたことになる。そして、倍率色収差補正部210Aの各部位は、これまでに説明した処理をB信号についても実行し、倍率色収差補正後のB信号を出力する。これらのこの倍率色収差補正後のR信号およびB信号が、収差補正画像信号におけるR、Bの各成分を形成するものとなる。なお、これまでの説明ではR信号、B信号の順で収差補正を行っているが、B信号、R信号の順で収差補正を行ってもよい。何れの順序により収差補正を行っても最終的に同じ倍率色収差補正の結果が得られる。また、R信号とB信号との収差補正を同時に実行させてもよい。
[倍率色収差補正部の処理手順例]
図16および図17は、倍率色収差補正部210Aが実行する倍率色収差補正のための処理手順例を示している。この図に示す各ステップの処理は、倍率色収差補正部210Aにおける各部位が適宜実行するものとなる。また、この図に示される各ステップの処理も例えばCPU111またはDSPがプログラムを実行することにより実現されるものとなる。また、ハードウェアにより実現することも考えられる。また、この図に示す処理においては、まず、補正対象画像信号におけるR信号を対象とする補正処理を実行し、続いて、補正対象画像信号におけるB信号を対象とする補正処理を実行するものとしている。
図16において、まず、色信号補間部221は、例えば1フレーム画像分の処理対象画素信号を入力し(ステップS931)、入力した処理対象画素信号におけるR画素の位置に対応する補間G信号を生成する(ステップS932)。
上記ステップS932による補間G信号生成処理の一具体例について、図20を参照して説明する。図20は、色信号補間部221が入力する補正対象画像信号を、撮像素子におけるR、G、Bの画素配列パターンに対応させて模式的に示している。なお、この画素配列パターンは、ベイヤ配列によるものとなっている。ベイヤ配列では、R、G、Bの各色に対応する色画素であるR画素521R、G画素521G、B画素521Bについて、それぞれ1:2:1の画素数配分により所定の配列規則に従って配列される。そして、R画素位置に対応する補間G信号を生成するのにあたっては、図示するようにして、1つのR画素521Rの上下左右に隣接する4つのG画素521Gの画素値の加算平均を算出する。この加算平均値が、補間G信号において、上記1つのR画素の位置に対応するG画素の画素値となる。すなわち、ここではバイリニア補間により補間G信号を生成している。そして、この補間処理による補間G信号の生成を、全画像領域におけるR画素位置ごとに実行する。なお、B画素521Bの位置に対応するG信号を補間する場合も、同様にして、1つのB画素521Bの上下左右に隣接する4つのG画素521Gの画素値の加算平均によりGの補間画素値を求めるという処理を全画像領域におけるB画素ごとに行うようにする。
次に1/4プレーン画像生成部222へは、上記色信号補間部221が生成した補正対象画像信号におけるR信号と、上記色信号補間部221が生成した補間G上記色信号補間部221を入力する。そして、入力したR信号から成る1/4プレーン画像と、補間G信号から成る1/4プレーン画像とを生成する(ステップS933)。
次に疑似輝度信号生成部223は、上記のR信号から成る1/4プレーン画像と補間G信号から成る1/4プレーン画像とにより疑似輝度信号を生成する(ステップS934)。この疑似輝度信号は、例えば前述もしたように、R信号から成る1/4プレーン画像における1つのR画素の画素値をVrとし、補間G信号から成る1/4プレーン画像においてこのR画素と同じ位置にある補間G画素の画素値をVgとして、次式による演算を行う
(Vr+Vg)/2
すなわち、例えば上式のようにして両者の画素の平均値を算出する。この算出された平均値が、その画素位置における輝度値を示す。そして、この輝度値の算出を、1/4プレーン画像を形成する全画素について行う。このようにして得られる輝度値から成る信号が疑似輝度信号となる。
上記ステップS934により生成された疑似輝度信号は、均一収差成分対応エッジ検出部224に対して供給される。均一収差成分対応エッジ検出部224は、供給された疑似輝度信号に対して均一収差成分に対応したエッジ検出処理を実行する(ステップS935)。
均一収差成分対応エッジ検出部224が実行する、均一収差成分に対応したエッジ検出処理の具体的手法例について、図21を参照して説明する。図21は、疑似輝度信号により形成される画像面500を示している。均一収差成分対応エッジ検出部224は、この画像面500について、その中心位置の画素の座標Cを起点とする動径方向に沿った分割線により、N領域、NE領域、E領域、SE領域、S領域、SW領域、W領域、および、NW領域の8つの領域に分割する。
そして、N領域については、均一収差成分対応エッジ検出部224におけるフィルタについてカーネル511を設定することで、例えば画像面500の左から右への検出方向によって水平方向のエッジを検出する。同様に、S領域についても、フィルタにおいて上記カーネル511と同じカーネル512を設定することで、画像面500の左から右への検出方向によって水平方向のエッジを検出する。
また、W領域については、均一収差成分対応エッジ検出部224におけるフィルタについてカーネル513を設定することで、例えば画像面500の下から上への検出方向によって垂直方向のエッジを検出する。同様に、E領域についても、フィルタにおいて上記カーネル513と同じカーネル514を設定することで、画像面500の下から上への検出方向によって垂直方向のエッジを検出する。なお、エッジ検出方向は、上記とは逆とされてかまわない。
W領域とE領域は、画像面500においてその中心画素座標Cを基点とする動径方向がほぼ水平となる領域である。したがって、これらW領域およびE領域において同心円状収差成分は水平方向に沿っては発生するが、垂直方向においてはほとんど発生しないとみてよい領域である。したがって、これらのW領域およびE領域で検出される垂直方向のエッジは、均一収差に応じて発生している垂直方向に沿った色ずれに対応しているものとみることができる。同様の理由から、N領域およびS領域で検出される水平方向のエッジも、均一収差に応じて発生している水平方向に沿った色ずれに対応しているものとみることができる。このようにして、上記図21による説明のようにしてエッジ検出を行うことで、本発明の実施の形態では、自然画を撮像して得られる撮像画像から、均一収差の発生に応じた方向のエッジを効率よく検出可能としている。
また、均一収差成分対応エッジ検出部224は、ステップS935としてのエッジ検出に際して、検出したエッジごとに、その画素値の変化方向の種別として、立ち上がりエッジと立ち下がりエッジの何れであるのかについても検出することとしている。立ち上がりエッジとは、エッジの検出方向に沿って輝度の低い状態から高い状態に変化するエッジをいう。立ち下がりエッジとは、エッジを検出していく方向に沿って輝度の高い状態から低い状態に変化するエッジをいう。
N領域を例に挙げると、エッジ検出方向は画面の左から右の方向となる。このエッジ検出方向に沿ってカーネル511によりエッジ検出した場合において、フィルタの出力は、立ち上がりエッジでは正の値となり、立ち下がりエッジでは負の値となる。したがって、エッジを検出した際のフィルタ出力の値が正と負の何れであるのかに応じて、そのエッジが立ち上がりエッジと立ち下がりエッジの何れであるのかを判定することができる。均一収差成分対応エッジ検出部224は、他のE領域、N領域、S領域についても同様にして、検出したエッジごとの画素値の変化方向の種別について検出する。なお、エッジ検出のためのフィルタとしては、図21に示したカーネルによるもの以外であってもよく、例えばこれまでに知られている各種の構成、アルゴリズムが採用されればよい。
上記ステップS935によっては、例えば輝度変化が一定以上の変化を示す画像部分ごとに応じて1以上のエッジが検出される。続くステップS936乃至S941の処理は、上記ステップS935により検出されたエッジごとに対応して実行される処理となる。
まず、例えばウィンドウ生成部225は、検出されたエッジに付した番号に対応する変数Nに初期値である1を代入し(ステップS936)、R信号および補間G信号のそれぞれに対してN番目のエッジに対応するウィンドウを設定する(ステップS937)。すなわち、先のステップS933にて生成されたR信号の1/4プレーン画像に対して、N番目のエッジが検出された位置を中心とする所定サイズのウィンドウを設定する。同様に、先のステップS933にて生成された補間G信号の1/4プレーン画像の同じ位置に対しても同じサイズのウィンドウを設定する。
次に、差分絶対値和算出部226は、例えば上記ステップS937により設定された補間G信号のウィンドウを固定したうえで、R信号のウィンドウを予め設定された移動量の範囲で移動(シフト)させる。そして、このシフトを行いながら、図15にて説明したようにして同じ位置にある補間G信号とR信号の画素値についての差分絶対値和を算出する(ステップS938)。
また、ステップS938におけるR信号のウィンドウのシフト方向は、N番目のエッジの検出方向に応じて次のようになる。すなわち、N番目のエッジがW領域またはE領域にて検出された垂直方向のエッジである場合には、R信号のウィンドウは垂直方向にシフトさせる。これに対して、N番目のエッジがN領域またはS領域にて検出された水平方向のエッジである場合には、R信号のウィンドウは水平方向にシフトさせる。これにより、検出されたエッジの方向に沿った色ずれ量を適正に求めることができる。
図22に、上記ステップS938により、1つのエッジに対応して算出された差分絶対値和(SAD値)とウィンドウのシフト量との関係が示されている。例えば、この図においては、「+1」のシフト量において差分絶対値和が最小となっており、「+1」からシフト量の値が変化していくのに応じて、差分絶対値和が増加している。補間G画素のウィンドウとR画素のウィンドウとの相関は、差分絶対値和が小さいほど高く、差分絶対値和が大きいほど低い。そして、最小の差分絶対値和に対応するシフト量が、補間G信号に対するR信号の色ずれ量に相当することになる。図22の例では、補間G画素のウィンドウに対してR画素のウィンドウを「+1」画素分のシフト量によりシフトしたときが最も差分絶対値和が低くなっている。すなわち、この図の場合の補間G信号に対するR信号の色ずれ量は、「+1」画素分のシフト量に相当する。
なお、ウィンドウ生成部225によるウィンドウ設定と、差分絶対値和算出部226による差分絶対値和の算出処理は、画像のブロックマッチング処理の一手法例となる。本発明の実施の形態としては、例えば他のブロックマッチングの手法などにより補間G信号とR信号との相関を算出してよい。
続いて、色ずれ量算出部227は、上記ステップS938により算出された差分絶対値和からN番目のエッジに対応する色ずれ量を算出する(ステップS939)。なお、前述したように、ここでの色ずれ量は、例えば補間演算によって画素単位よりも小さいサブピクセル単位まで算出される。
次に、例えばウィンドウ生成部225は現在の変数Nが最大値より大きいか否かについて判定する(ステップS940)。ここで変数Nが最大値以下である場合には、色ずれ量が算出されていないエッジが残っていることになる。そこで、この場合には、ステップS937の処理に戻り、次のエッジについての色ずれ量の算出を行う。
そして、全てのエッジについての色ずれ量が算出されたことにより、ステップS940にてNが最大値より大きくなったことが判定された場合には、均一収差補正量算出部214Aにより均一収差補正量を算出する(ステップS970)。この均一収差補正量の算出処理は、上記ステップS939により算出されたエッジごとの色ずれ量と、ステップS935のエッジ検出処理において検出されたエッジごとの画素値の変化方向の種別を利用して行うが、これについては後述する。
次に、色ずれ先画素値算出部215は、まず、上記ステップS970により算出された均一収差補正量を利用して、均一収差に応じて発生した色ずれ量成分に対応する色ずれ先画素の画素値(補正画素値)を算出する(ステップS941)。この色ずれ先画素の画素値は、前述したように、まず色ずれ先画素の座標をサブピクセル単位で求めた上で、その座標の画素値を補間処理によって求める。この処理をR信号におけるR画素のそれぞれを対象として実行するものとなる。次に、色ずれ先画素値算出部215は、次に、R信号におけるR画素の各々の画素値を、算出された色ずれ先画素の画素値に書き換える(ステップS942)。ここまでの処理により、まず、R信号についての均一収差成分に対する補正が行われたことになる。
図17に示される処理はR信号の同心円状収差成分に対する補正処理となる。このために、まず、1/4プレーン画像生成部222は、上記ステップS943の画素値書き換え処理によって均一収差成分についての補正が行われたR信号を入力する(ステップS943)。そして、この入力したR信号の1/4プレーン画像を生成する(ステップS944)。
次に、疑似輝度信号生成部223は、上記ステップS944により生成されたR信号の1/4プレーン画像と、先のステップS933により生成された補間G信号の1/4プレーン画像とを利用して疑似輝度信号を生成する(ステップS945)。
上記ステップS945により生成された疑似輝度信号は、同心円状収差成分対応エッジ検出部228へ入力される。そして同心円状収差成分対応エッジ検出部228は、入力した疑似輝度信号から、同心円状収差成分に対応するエッジを検出する(ステップS946)。
上記の同心円状収差成分に対応するエッジ検出の手法例について、図23を参照して説明する。図23は、疑似輝度信号により形成される画像面500を示している。同心円状収差成分対応エッジ検出部228は、エッジ検出にあたり、図21と同様にして画像面500をN領域、NE領域、E領域、SE領域、S領域、SW領域、W領域、および、NW領域の8つの領域に分割する。そして、この場合には、これらの領域ごとに動径方向(像高方向)におけるエッジを検出する。このために、上記8つのN領域、NE領域、E領域、SE領域、S領域、SW領域、W領域、および、NW領域に対応して、それぞれ、カーネル511、516、514、518、512、517、513、および、515を設定する。また、同心円状収差成分対応エッジ検出部228も、ステップS946としてのエッジ検出時には、先の均一収差成分対応エッジ検出部224と同様にして、検出されたエッジごとに立ち上がりエッジと立ち下がりエッジの何れであるのかを検出する。なお、同心円状収差は像高方向、すなわち動径方向において発生する収差であるから、例えば最小限では、上記の8つの領域のうちの少なくとも何れか1つにおいてエッジを検出すればよい。また、8つよりも多い領域に分割して検出してもよい。本発明の実施の形態では、高い精度で補正量を算出することと、計算量が許容範囲を越えて大きくならないようにすることを考慮して、例えば8方向でのエッジ検出を行うこととしている。
次に、ウィンドウ生成部225は、検出されたエッジに付した番号に対応する変数Nに1を代入したうえで(ステップS947)、R信号および補間G信号のそれぞれに対してN番目のエッジに対応するウィンドウを設定する(ステップS948)。なお、このステップS949にてウィンドウが設定されるR信号は、ステップS944にて生成された、均一収差補正後の1/4プレーン画像となる。
次に、差分絶対値和算出部226は、補間G信号のウィンドウを固定としたうえで、R信号のウィンドウをシフトさせながら差分絶対値和(SAD)を算出する(ステップS949)。このステップS949においては、N番目のエッジが検出された動径方向(像高方向)に沿ってのウィンドウのシフトを行う。
次に、色ずれ量算出部227は、上記ステップS949により算出された差分絶対値和からN番目のエッジに対応する色ずれ量を、例えば先のステップS939と同様に補間演算によってサブピクセル単位で算出する(ステップS950)。次に収差倍率算出部229は、上記ステップS950により算出された色ずれ量から収差倍率を算出する(ステップS951)。
次に、収差倍率頻度情報生成部230は、N番目のエッジについて、立ち上がりエッジとして検出されているか否かについて判定する(ステップS952)。収差倍率頻度情報生成部230は、立ち上がりエッジであると判定したことに応じては、立ち上がりエッジ対応ヒストグラムに対して、N番目のエッジに対応して算出された収差倍率を登録する(ステップS953)。すなわち、このヒストグラムは、収差倍率ごとに応じたビンを有している。ステップS954においては、N番目のエッジに対応して算出された収差倍率が該当するビンの度数をインクリメントする。これに対して、ステップS952により立ち上がりエッジではないと判定した場合には、収差倍率頻度情報生成部230は、立ち下がりエッジ対応ヒストグラムに対して、N番目のエッジに対応して算出された収差倍率を登録する(ステップS954)。
次に、例えばウィンドウ生成部225は、変数Nをインクリメントしたうえで(ステップS955)、変数Nが最大値であるか否かについて判定する(ステップS956)。このステップS956にて変数Nが最大値であるとして判定されるまで、ステップS948乃至S954の処理が繰り返される。
ステップS956にて変数Nが最大値であるとして判定された段階では、検出された全ての立ち上がりエッジと立ち下がりエッジの収差倍率の出現頻度が統計された立ち上がりエッジ対応ヒストグラムと立ち下がりエッジ対応ヒストグラムが形成されている。図24は、この段階にて得られた立ち上がりエッジ対応ヒストグラムまたは立ち下がりエッジ対応ヒストグラムの一例を示している。このようにして、立ち上がりエッジ対応ヒストグラムと立ち下がりエッジ対応ヒストグラムは、収差倍率の出現頻度をその度数により示すものとなる。
次に、同心円状収差補正量算出部213Aは、同心円状収差補正量を算出する(ステップS980)。この同心円状収差補正量の算出には、立ち上がりエッジ対応ヒストグラムにより示される立ち上がりエッジに対応した収差倍率の出現頻度の情報を利用する。また、立ち下がりエッジ対応ヒストグラムにより示される立ち下がりエッジに対応した収差倍率の出現頻度の情報を利用する。このステップS980としての同心円状収差補正量算出の処理手順例については後述する。
なお、例えばステップS953、S954のそれぞれに対応する立ち上がりエッジ対応ヒストグラム、立ち下がりエッジ対応ヒストグラムの形成は、像高がほぼ等しくなるリング状の領域ごとに分けて行うようにしてもよい。これに応じて、同心円状収差補正量も上記リング状の領域ごとに算出する。これにより、像高に応じた同心円状収差補正量が求められるため、より精度の高い収差補正を行うことができる。
次に、色ずれ先画素値算出部215は、上記ステップS213Aにより算出された同心円状収差補正量に対応する色ずれ先画素の画素値(補正画素値)を、R画素ごとに算出する(ステップS957)。画素値補正部216は、上記ステップS957により算出された補正画素値により各R画素の画素値を書き換える(ステップS958)。これにより、R信号は、均一収差補正と同心円状収差補正とが行われたことになる。すなわち、倍率色収差補正が行われたことになる。そこで、例えば画素値補正部216は、上記ステップS958により倍率色収差が補正されたR信号を、収差補正画像信号におけるR成分として出力する(ステップS959)。
続いては、これまでのステップS931乃至ステップS959と同様の処理手順により、処理対象画像信号におけるB信号を補正処理対象とする倍率色収差を実行する(ステップS960)。ここまでの処理が実行されることにより、例えば1つのフレーム画像についての倍率色収差補正が行われたことになる。
[エッジ変化方向検出の必要性について]
これまでの説明から理解されるように、本発明の第2の実施の形態においては、エッジ検出に際して、そのエッジの変化方向を検出している。すなわち、立ち上がりエッジと立ち下がりエッジの何れであるのかを検出している。そして、このエッジの変化方向を収差補正量の算出において利用する。本発明の第2の実施の形態の倍率色収差補正においてエッジの変化方向の検出結果を利用するのは、以下のような理由による。なお、以下においては、説明を分かりやすいものとすることの便宜から、倍率色収差における同心円状収差成分に関して説明を行う。
図25および図26は、線像強度分布関数(LSF:Line Spread Function)を示している。図25は、レンズの光軸に対応する画像中心位置(像高「0」)上において得られる線像強度分布を示し、図26は、画像中心位置から一定距離離れた0以上の絶対値による所定値の像高における線像強度分布を示している。横軸は像高であり、縦軸は光強度である。なお、ここでは、横軸の像高の値は、所定の動径方向に対応する像高方向を正の値により示し、これとは点対称の動径方向に対応する像高方向を負の値により示している。また、実線はR成分を示し、一点鎖線はG成分を示し、破線はB成分を示す。
図25においては、R、G、Bの各色の線像強度分布のピークが像高「0」で一致している。また、分布形状は、像高「0」に対してほぼ左右対称の分布とみてよいものとなっている。これに対して、図26においては、R、G、Bの各色の線像強度分布のピークが現れる像高にばらつきを生じている。これが倍率色収差における同心円状収差に相当する。また、分布形状としては、その裾野が図25の場合よりも広がるとともに、ピークに対する対象性が失われている。図においては、ピークに対して像高値が低い側よりも、像高値の高い側の方の裾野部分が長く広がる形状が示されている。
図26の例では、分布形状のピークに対して像高が高い側の裾野形状は立ち下がりエッジの特性と相関があり、像高が低い側の裾野形状は立ち上がりエッジの特性と相関がある。したがって、上記のようにして像高が高くなるのに応じて線像強度分布が非対称の形状となることによっては、画像における立ち上がりエッジと立ち下がりエッジとで同心円状収差により発生する色ずれ量が異なってくる。
例えば従来技術においては、立ち上がりエッジと立ち下がりエッジの何れであるのかについては検出せずに、検出した全てのエッジごとの収差倍率を統計した1つのヒストグラムを作成している。この場合、実際においては、立ち上がりエッジと立ち下がりエッジとで色ずれ量が異なるために、ヒストグラムには立ち上がりエッジと立ち下がりエッジのそれぞれに対応する2つの度数のピークが現れる。この場合には、例えば何れか一方のピークに該当する収差倍率により補正量を求めることになる。この結果、立ち上がりエッジと立ち下がりエッジの何れか一方のエッジのみに対して収差補正が行われ、他方のエッジに対しては、十分な収差補正が行われないという補正結果となってしまう。このようにして補正された画像は、視覚的に十分な補正効果が得られていないという印象を与えやすいことが確認されている。
そこで、本発明の実施の形態としては、例えば同心円状収差の補正に際して、検出されたエッジについて立ち上がりエッジと立ち下がりエッジとで分別し、両者のそれぞれについて個別にヒストグラムを形成することとしている。これにより、立ち上がりエッジと立ち下がりエッジとのそれぞれについての収差倍率、すなわち補正量を的確に求めることができる。
[同心円状収差補正量算出処理例]
図17におけるステップS980としての同心円状収差補正量算出の処理は、上記のようにして立ち上がりエッジと立ち下がりエッジとのそれぞれに対応して得られたヒストグラムの統計結果を利用する。この同心円状収差補正量算出処理についてはいくつか考えられるが、ここでは4例を挙げて説明する。
まず、第1例としては、立ち上がりエッジ対応ヒストグラムにおける最大頻度に該当する収差倍率(立ち上がりエッジ対応最頻収差倍率)を特定する。同様に、立ち下がりエッジ対応ヒストグラムにおける最大頻度に該当する収差倍率(立ち下がりエッジ対応最頻収差倍率)を特定する。そして、これらの最頻収差倍率の単純平均を算出する。この算出された値を利用して補正量を算出するというものである。なお、立ち上がりエッジ対応収差倍率と立ち下がりエッジ対応収差倍率は、それぞれ、立ち上がりエッジ対応ヒストグラムと立ち下がりエッジ対応ヒストグラムにおける最頻値に該当する収差倍率により決定すればよい。
また、第2例としては、立ち上がりエッジ対応最頻収差倍率と立ち下がりエッジ対応最頻収差倍率との加重平均を算出し、この加重平均の値を利用して補正量を求めるというものである。この加重平均の演算において用いる重み係数は、例えば次のようにして設定できる。まず、予め例えば1つの代表となる像高を決定し、この像高における光学レンズ部101の点像強度分布を測定する。あるいは、測定の代わりに、光学レンズ部101のスペックとして定められた点像強度分布を用意する。そして、この点像強度分布の形状におけるピークを境界とする右側と左側の面積の比を求める。この面積の比に基づいて、立ち上がりエッジ対応最頻収差倍率と立ち下がりエッジ対応最頻収差倍率との重み係数を算出するというものである。また、例えば実際において所定の絵柄のチャート画像を撮像しながら重み係数の組合せを変化させていき、最も補正後の画像が良好なときの重み係数を採用するということも考えられる。
ここで、図27を参照して、上記第2例による同心円状収差補正の効果について説明しておく。図27(a)は、同心円状収差補正前の画像信号により得られる画像の一部を示している。この画像は、例えば黒色部分が実際には青色であり、これ以外の白色部分は実際に白色である。また、同心円状収差によって発生する色ずれによりエッジがぼけている部分はハッチングにより示している。この色ずれを生じている部分は、例えば実際には黄色などが現れる。この図の例では、立ち上がりエッジ部分の方が立ち下がりエッジ部分よりもぼけが大きくなっている場合が示されている。
図27(b)は、図27(a)に示す画像に対して、立ち上がりエッジ対応最頻収差倍率のみにより同心円状収差補正を行った場合の画像を示している。また、図27(c)は、図27(a)に示す画像に対して、例えば立ち下がりエッジ対応最頻収差倍率のみにより同心円状収差補正を行うことによって得られる画像を示している。
すなわち、図27(b)および図27(c)は、第2例との比較として、加重平均を求めることなく、立ち上がりエッジ対応最頻収差倍率または立ち下がりエッジ対応最頻収差倍率の何れか一方のみによって同心円状収差補正を行った結果を示す。
そして、この図27(b)および図27(c)は、先に従来技術として述べた、立ち上がりエッジと立ち下がりエッジを分けて検出せずに、検出したエッジの収差倍率を1つのヒストグラムに統計するという構成のもとでの同心円状収差補正の結果にも対応する。すなわち、ヒストグラムに現れた2つのピークのうち、立ち上がりエッジのピークに該当する収差倍率により補正が行われたとすれば、図27(b)に示す結果となる。一方、立ち下がりエッジのピークに該当する収差倍率により補正が行われたとすれば、図27(c)に示す結果となる。
これに対して、図27(d)は、立ち上がりエッジ対応最頻収差倍率と立ち下がりエッジ対応最頻収差倍率との加重平均により同心円状収差補正を行って得られる画像を示している。
これらの図から理解されるように、図27(b)では、立ち上がりエッジ部分における色ずれのみが補正されており、立ち下がりエッジ部分における色ずれはそのままとなっている。一方、図27(c)では、立ち下がりエッジ部分における色ずれのみが補正されており、立ち上がりエッジ部分における色ずれはそのままとなっている。すなわち従来技術のようにして立ち上がりエッジと立ち下がりエッジとを区別しない場合には、補正効果が偏ってしまい、全体として十分な補正効果が得られない。これに対して、本発明の実施の形態に対応する図27(d)では、立ち上がりエッジ部分と立ち下がりエッジ部分との両者について、それぞれ重み付け係数に応じた度合いにより色ずれが補正されている。すなわち、全体として高い補正効果が得られている。
次に、第3例としては、立ち上がりエッジと立ち下がりエッジについての信頼度(エッジ信頼度)を求めることとする。そして、このエッジ信頼度が高い方に対応する最頻収差倍率を採用するというものである。例えば画像内容により、立ち上がりエッジと立ち下がりエッジとの何れか一方が明確で、他方は明確さに欠けるというような状態となることがしばしばある。例えばエッジが明確に現れているほど、その信頼度は高くなるといえる。
上記のエッジ信頼度は、例えば図17のステップS949により算出する差分絶対値和に基づいて求めることができる。例えば図22に示したシフト位置と差分絶対値和との関係を示した図では、最小値に対応する極値が1つだけ得られている。しかし、実際においては、エッジが明確でないと、最小値に対応する極値が複数出現するような結果が得られる。そこで、ステップS949により差分絶対値和を算出した際において、最小値に対応する極値の数を判定するようにして、判定された極値の数に応じた点数を与えることとする。この点数は、例えば最小値に対応する極値が1つのみのときに最大値で、以降、極値の数が多くなるのに応じて値を小さくしていくようにする。そして、ステップS949を繰り返し実行するごとに、立ち上がりエッジと立ち下がりエッジとで、それぞれ、点数を加算していくようにする。これにより、全てのエッジについて色ずれ量を算出した段階では、立ち上がりエッジと立ち下がりエッジのそれぞれに対応する総合点数が得られていることになる。この総合点数がすなわちエッジ信頼度であり、基本的には、立ち上がりエッジと立ち下がりエッジとで、上記総合点数の高い方がエッジ信頼度は高いということになる。
図18のフローチャートは、ステップS980の同心円状収差補正量算出の処理として、上記のようにして求められたエッジ信頼度を利用した処理例を示している。まず、同心円状収差補正量算出部213Aは、上記のようにして求められた立ち上がりエッジと立ち下がりエッジのそれぞれについてのエッジ信頼度(総合点数)についての評価を行う(ステップS981)。ここでのエッジ信頼度についての評価は、立ち上がりエッジと立ち下がりエッジのエッジ信頼度が同等であるのか否かを、また、同等でなければ、何れが高いのかを判断するものとなる。
また、上記ステップS981としての評価のための具体的な処理としては、例えば、次のようなものを考えることができる。例えば立ち上がりエッジの総合点数をA、立ち下がりエッジの総合点数をBとして(C=A−B)による演算により差分値Cを算出する。そして、この差分値Cの絶対値と所定の閾値Dとを比較し、差分値Cが閾値D未満であれば、両者の信頼度は同等であるとの評価結果を出力する。これに対して、差分値Cが、閾値D以上であり、かつ、正の値であれば、立ち上がりエッジの方の信頼度が高いとの評価結果を出力する。また、差分値Cが、閾値D以上であり、かつ、負の値であれば、立ち下がりエッジの方の信頼度が高いとの評価結果を出力するというものである。
次に同心円状収差補正量算出部213Aは、上記ステップS981により出力された評価結果について判定する(ステップS982)。このステップS982において、立ち上がりエッジの信頼度の方が高いという評価結果であったことが判定されたとする。この場合、同心円状収差補正量算出部213Aは、立ち上がりエッジ対応最頻収差倍率を補正量算出に利用する収差倍率として採用する(ステップS983)。これに対して、ステップS982において、立ち下がりエッジの信頼度の方が高いという評価結果はあったことが判定された場合には、立ち下がりエッジ対応最頻収差倍率を補正量算出に利用する収差倍率として採用する(ステップS984)。
さらに、ステップS982において、評価結果は同等の信頼度であったと判定された場合には、同心円状収差補正量算出部213Aは、立ち上がりエッジ対応最頻収差倍率と立ち下がりエッジ対応最頻収差倍率との平均値を算出する。そして、この算出した平均値を補正量算出に利用する収差倍率として採用する(ステップS985)。この平均値算出処理は、第1例の単純平均を求めるものであってもよいし、第2例の加重平均を求めるものであってもよい。そして、同心円状収差補正量算出部213Aは、上記ステップS983、S984およびS985の何れかにより採用された収差倍率を利用して、同心円状収差補正量を算出する(ステップS986)。
また、第4例としては、例えば立ち上がりエッジが検出された画像領域の画素については立ち上がりエッジ対応最頻収差倍率を採用して同心円状収差補正量を算出する。一方、立ち下がりエッジが検出された画像領域の画素については立ち下がりエッジ対応最頻収差倍率を採用して同心円状収差補正量を算出するという構成も考えることができる。
[均一収差補正量算出処理例]
上記の立ち上がりエッジと立ち下がりエッジとに基づいた収差は、像高に依存して色ずれを生じる同心円状収差成分において顕著となる。したがって、上記のようにして同心円状収差に対して立ち上がりエッジと立ち下がりエッジとに基づいた補正を行うことは有効である。しかし、同心円状収差よりは少ないものの、均一収差成分に関しても立ち上がりエッジと立ち下がりエッジにおける色ずれは生じる。そこで、本発明の実施の形態においては、均一収差に対しても立ち上がりエッジと立ち下がりエッジとに基づいた補正を行うこととしている。このために、先に図21にて説明したようにして均一収差成分対応エッジ検出部224は、エッジについて立ち下がりエッジと立ち下がりエッジの何れであるのかを検出するようにされている。
図19のフローチャートは、先に図18により説明した同心円状収差補正量算出の第3例に準じて、エッジ信頼度に基づいて均一収差補正量を算出する処理手順例を示している。まず、均一収差補正量算出部214Aは、立ち上がりエッジの信頼度と立ち下がりエッジの信頼度とについての評価を行う(ステップS971)。なお、均一収差補正に対応した立ち下がりエッジと立ち下がりエッジとのそれぞれについてのエッジ信頼度、すなわち総合点数は、先の説明に準じて、図16のステップS938により算出される差分絶対値和に基づいて求める。次に、均一収差補正量算出部214Aは、上記ステップS971により出力された評価結果が何であったのかについての判定を行う(ステップS972)。
上記ステップS972において、立ち上がりエッジの信頼度の方が高いという評価結果あったと判定された場合、均一収差補正量算出部214Aは、立ち上がりエッジに対応して算出された全ての色ずれ量の平均値を算出する(ステップS973)。これに対して、ステップS972において、立ち下がりエッジの信頼度の方が高いという評価結果であったと判定した場合には、立ち下がりエッジに対応して算出された全ての色ずれ量の平均値を算出する(ステップS974)。なお、均一収差補正に対応して求められる色ずれ量は、水平方向成分と垂直方向成分から成る。上記の平均値を算出する処理は、例えば水平方向成分と垂直方向成分ごとについて行われる。
また、ステップS972において、同等であるとの評価結果であったと判定された場合には、次の処理を実行する。すなわち、立ち上がりエッジと立ち下がりエッジとを合わせた全てのエッジの色ずれ量の平均値を算出する(ステップS975)。このステップS976の平均値算出処理も、単純平均を求めるものであってもよいし、加重平均を求めるものであってもよい。そして、均一収差補正量算出部214Aは、上記ステップS973、S974およびS975の何れかにより採用された収差倍率を利用して、均一収差補正量を算出する(ステップS976)。
なお、均一収差補正量の算出は、同心円状収差補正量算出の第2例に準じて行うようにも構成することができる。すなわち、先の説明のようにして立ち上がりエッジと立ち下がりエッジのそれぞれの色ずれ量に対応する重み付け係数を求める。そして、この重み付け係数を利用して全ての色ずれ量についての加重平均を算出し、これを補正量とするものである。
また、均一収差補正量の算出においても、同心円状収差補正量の算出処理に準じて、例えば立ち上がりエッジと立ち下がりエッジのそれぞれに対応させて色ずれ量についてのヒストグラムを作成してもよい。そして、これらのヒストグラムにおいて出現頻度が最大の色ずれ量を利用して、例えば同心円状収差補正量算出の第1例乃至第3例に準じた処理によって補正量を求めるというものである。また、均一収差補正量算出にあっても、同心円状収差補正量算出の第4例に準じた処理を適用できる。
ただし、本願発明者等は、均一収差成分に対する補正に関しては、ヒストグラムを利用しなくとも、立ち上がりエッジまたは立ち下がりエッジの色ずれ量の平均値から求めた補正量によって良好な補正効果が得られることを確認している。そこで、本発明の実施の形態においては、例えば図19にて説明したように、均一収差成分に対する補正に関しては、ヒストグラムを作成する処理を行わずに、色ずれ量の平均値を算出した結果に基づいて補正量を求めている。これにより、均一収差成分に対応する補正量の算出に際しては、計算量をより少なくすることができる。
さらに、本願発明者等は、均一収差成分については、立ち上がりエッジと立ち下がりエッジとを分別することなく、検出されたエッジ全ての色ずれ量の平均値から算出した補正量によって補正を行っても、実用に耐える補正効果が得られることも確認している。
しかし、本発明の実施の形態のもとでは、例えば実際に要求される補正効果の程度などに応じて、同心円状収差に関しても、ヒストグラムを利用しない補正処理を採用してもよい。すなわち、同心円状収差に対しても、立ち上がりエッジまたは立ち下がりエッジの色ずれ量の平均値から求めた補正量によって補正するように構成してもよい。さらには、検出されたエッジ全ての色ずれ量の平均値から算出した補正量によって補正を行うように構成してもよい。
<第3の実施の形態>
[倍率色収差補正部の構成例]
続いて、本発明の第3の実施の形態について説明する。第3の実施の形態では、同心円状収差に対しては、同心円状収差補正データテーブル240を利用して補正を行い、均一収差に対しては、撮像により得られた画像信号に基づいて補正量を求めて倍率色収差を補正するという構成を採る。
図28は、第3の実施の形態における倍率色収差補正部210Bの構成例を示している。なお、この図において、図8および図15と同一部分については同一符号を付して、ここでの説明は省略する。
倍率色収差補正部210Bは、まず、同心円状収差成分の補正に対応して、色画素選択部211、像高算出部212、同心円状収差補正量算出部213、色ずれ先画素値算出部215、および、画素値補正部216を備える。また、同心円状収差補正データテーブル240を記憶保持する。すなわち、図8の倍率色収差補正部210における機能部位における均一収差補正量算出部214および均一収差補正データテーブル250以外の部位を備える。均一収差補正量算出部214および均一収差補正データテーブル250は、均一収差成分の補正のみに対応して必要とされていた部位である。
また、倍率色収差補正部210Bは、均一収差成分の補正に対応して、色画素選択部211、色信号補間部221、1/4プレーン画像生成部222、疑似輝度信号生成部223、および、均一収差成分対応エッジ検出部224を備える。また、ウィンドウ生成部225、差分絶対値和算出部226、色ずれ量算出部227および均一収差補正量算出部214Aを備える。すなわち、図15の倍率色収差補正部210Bの部位のうちから、均一収差の補正に対応して必要とされる部位を備える。この構成においても、色信号補間部221は、補正対象画像信号を入力する。同様に、均一収差補正量算出部214Aにて算出された補正量は、色ずれ先画素値算出部215に対して入力される。
[倍率色収差補正部の処理手順例]
上記図28に示した倍率色収差補正部210Bが実行する倍率色収差補正のための処理手順例について説明する。まず、倍率色収差補正部210Bは、先に図13のフローチャートにより説明したステップS901乃至S910の処理を実行する。ここまでの処理は、同心円状収差補正量Mを算出する手順となる。
そして、ステップS910に続いては、図29のフローチャートに示す手順を実行する。図29に示される手順は、先に示した図14のフローチャートにおいて、ステップS911に代えて、図16のステップS931乃至S970を実行するものとして構成される。なお、図29のステップS912乃至S919の処理は、図14と同様となる。また、ステップS970についても、例えば先に図19に示した手順を適用できる。なお、図29に示される各ステップの処理については、図14および図17と重複するために、ここでの説明は省略する。ただし、この場合の色ずれ先画素値算出部215は、ステップS910にて算出された同心円状収差補正量Mと、ステップS970により算出された均一収差補正量とを入力することとなる。そして、これらの入力した補正量を利用して、先に説明した式に準じた演算により、色ずれ先画素Pd(m1,n1)の座標値を求めることになる。
均一収差成分はレンズの個体ばらつきに対応するために、レンズごとに固有となる。このために、第1の実施の形態においては、均一収差補正に対応する補正データ251を求めるために、例えば製造工程において製品ごとに測定を行うこととしていた。本発明の実施の形態においては、前述もしたように、代表的なものとして限定された数によるパラメータの組合せパターンを用いることで、製品1つあたりの測定に要する作業量を少なくしている。しかし、製造工程の観点からすれば、どれだけ作業量が少なくなったとしても、測定作業が無くなることの方が好ましい。
その一方で、撮像により得られた画像から色ずれ量、補正量を算出して補正を行う構成では、実際に撮像される画像の内容によっては高い精度で色ずれ量を求めることが困難になる場合がある。この点からすれば、補正データテーブルから補正量を求めて補正を行う構成の方が良好な補正効果を安定して得ることができる。
そこで、第3の実施の形態においては、同心円状収差成分については、補正データテーブルを利用した補正を行い、均一収差成分については、撮像画像から色ずれ量を算出して補正を行うこととした。前述のようにして同心円状収差成分としての色ずれ量はレンズの特性に応じて決まるために、同心円状収差補正データテーブル240は、シミュレーションによって求めた同じものを、全ての製品に予め記憶させておくことができる。したがって、製品ごとの測定作業は不要であり、同心円状収差に関する補正効果の安定性も高くなる。また、補正のための演算量も少なくて済む。
一方、均一収差成分については撮像画像を基にして補正を行うのであるが、例えば、同心円状収差成分と均一収差成分との両者について撮像画像を基にして補正を行う場合と比較すれば、より安定した補正効果が期待できる。また、測定作業が不要になるという利点が得られることを考慮すれば、撮像画像を基にして均一収差成分の補正を行うことは妥当であるといえる。このようにして、第3の実施の形態は、製造効率、演算量、および、補正効果の安定性などを総合的にみた場合において最も合理的となる構成が採られているといえる。
<4.変形例>
また、第1の実施の形態の変形例として、同心円状収差補正データテーブル240についての他の取得方法例について図30を参照して説明する。この変形例においては、例えば所定の絵柄のチャート画像などを、絞り値i、ズーム位置z、フォーカス位置fの組合せごとに応じて撮像する。そして、チャート画像を撮像して得られる画像面500について、図30(a)に示すようにして、横がM個、縦がN個のブロック520に分割する。1つのブロック520は、例えば図30(b)に示すようにして、所定数の画素521が所定のパターンにより配列されて形成されるものとなる。なお、この図では、(7行×7列)により画素521が配列された例を示している。
そのうえで、ブロック520ごとにおける、同心円状収差についての平均の補正量を求める。このためには、まず、例えば1つの絞り値i、ズーム位置z、フォーカス位置fの組合せに応じた画像面500のブロック520ごとにおいて、例えば動径方向におけるエッジ検出などを行って同心円状収差に対応した画素521ごとの色ずれ量を求める。そして、1つのブロック520を形成する画素521の各色ずれ量を利用した補間演算、若しくは平均値算出などによって、ブロック520に対応した色ずれ量を算出する。そして、この色ずれ量からブロック520に対応する補正量を求める。このブロック520ごとの補正量が補正データ241となる。そして、このブロック520ごとに対応する補正量を、絞り値i、ズーム位置z、フォーカス位置fの組合せごとに撮影を行って得られる画像面500を基にして算出する。
このようにして取得される補正データ241から成る同心円状収差補正データテーブル240は、図示は省略するが、絞り値i、ズーム位置z、フォーカス位置f、処理対象色c、および、ブロック520の位置の組合せから成る5次元のデータとなる。図9に示した同心円状収差補正データテーブル240との比較では、例えば像高値yに代えてブロック520の位置がパラメータとして設定されたものとみることができる。また、これに応じて、同心円状収差補正を行う際には、処理対象画素の像高を算出する代わりに、処理対象画素を含むブロック520の位置を算出することになる。
なお、同心円状収差に関しては、図30において示される画像面500の中心Cに対して点対称で発生する。すなわち、画像面500の中心Cを通過する水平線と垂直線に対してそれぞれ線対称となる。このことに基づけば、例えば上記水平線および垂直線により4分割される画像面500の領域のうち、1つの領域のみにおけるブロック520に対応する補正データ241のみを格納して同心円状収差補正データテーブル240を形成することができる。この場合において、1つのブロック520に対応して格納される補正データ241は、上記水平線または垂直線に対して対象となる位置のブロック520に対応する補正データ241としても選択される。このようにすれば、画像面500における全ブロック520に対応した補正量データ241を格納する場合と比較して、同心円状収差補正データテーブル240のサイズを1/4とすることができる。
また、これまでの説明においては、例えばビデオカメラ100などの撮像装置本体に予め取り付けられたレンズによる撮像を想定している。しかし、実際においては、撮像装置のレンズ部分に対してコンバージョンレンズを装着して撮影するということが行われる場合がある。コンバージョンレンズとしては、例えばより広角な撮像に対応するワイドコンバージョンレンズと、より望遠の撮像に対応するテレコンバージョンレンズとが知られている。これまでにおいて説明した第1乃至第3の実施の形態および変形例の構成の下で、このようなコンバージョンレンズが取り付けられた場合には、例えば次のようにして倍率色収差補正を行うようにすることが考えられる。すなわち、撮像装置にコンバージョンレンズが取り付けられたことを検知した場合には、その取り付けられたコンバージョンレンズの倍率に応じて、これまでの説明のようにして算出した補正量を修正するように変更するというものである。
また、これまでの説明においては、本発明の実施の形態としての倍率色収差補正の構成をビデオカメラ100などの撮像装置に適用しているが、例えばパーソナルコンピュータのアプリケーションプログラムとして構成することも考えられる。
また、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disk)、メモリカード、ブルーレイディスク(Blu-ray Disc(登録商標))等を用いることができる。
100 ビデオカメラ
101 光学レンズ部
102 カメラ制御部
103 光電変換部
200 カメラ信号処理部
210、210A 倍率色収差補正部
213、213A 同心円状収差補正量算出部
214、214A 均一収差補正量算出部
215 色ずれ先画素値算出部
216 画素値補正部
224 均一収差成分対応エッジ検出部
227 色ずれ量算出部
228 同心円状収差成分対応エッジ検出部
229 収差倍率算出部
230 収差倍率頻度情報生成部
240 同心円状収差補正データテーブル
250 均一収差補正データテーブル

Claims (13)

  1. 画像の中心から同心円状の色ずれを生じる倍率色収差の成分である同心円状収差に対する同心円状収差補正量を入力画像信号における処理対象画素について算出する同心円状収差補正量算出部と、
    画像全体において色ずれの方向と色ずれの量が均一に発生する倍率色収差の成分である均一収差に対する均一収差補正量を前記処理対象画素について算出する均一収差補正量算出部と、
    算出された前記同心円状収差補正量と前記均一収差補正量とに基づいて、前記処理対象画素の画素値を補正する画素値補正部と
    を具備する画像処理装置。
  2. 光の色と像高との組合せを少なくとも含む同心円状収差条件ごとに対応する前記同心円状収差補正量を同心円状収差補正量データとして保持する同心円状収差補正データ保持部と、
    光の色を少なくとも含む均一収差条件ごとに対応する前記均一収差補正量を均一収差補正量データとして保持する均一収差補正データ保持部をさらに具備し、
    前記同心円状収差補正量算出部は、前記処理対象画素が対応する前記同心円状収差条件に対応する前記同心円状収差補正量データを選択し、当該選択された前記同心円状収差補正量データを利用して前記同心円状収差補正量を算出し、
    前記均一収差補正量算出部は、前記処理対象画素が対応する前記均一収差条件に対応する前記均一収差補正量データを選択し、当該選択された前記均一収差補正量データを利用して前記均一収差補正量を算出する
    請求項1記載の画像処理装置。
  3. 前記同心円状収差補正量データは、前記同心円状収差条件に対応して発生する像高方向の色ずれ量に対応する補正量を示し、
    前記均一収差補正量データは、前記均一収差条件に対応して発生する色ずれの量および色ずれの方向に対応する補正量を示す
    請求項2記載の画像処理装置。
  4. 前記均一収差補正量データは、撮像画像の中心部分を通過する仮想の垂直線を含む所定の領域を対象として測定した水平方向の色ずれ量に対応して求められた水平方向補正量と、前記撮像画像の中心部分を通過する仮想の水平線を含む所定の領域を対象として測定した垂直方向の色ずれ量に対応して求められた垂直方向補正量とから成る
    請求項2記載の画像処理装置。
  5. 前記同心円状収差補正量データは、光の色、像高、および、前記入力画像信号の元となる画像を撮像していたときの所定のレンズ制御情報を組み合せた前記同心円状収差条件に対応する補正量を示し、
    前記均一収差補正量データは、光の色、および、前記入力画像信号の画像を撮像していたときの所定のレンズ制御情報を組み合わせた前記均一収差条件に対応して発生する補正量を示す
    請求項2記載の画像処理装置。
  6. 前記レンズ制御情報は、レンズ部における1以上の所定の可動部位ごとの制御状態を示す情報である請求項5記載の画像処理装置。
  7. 前記同心円状収差補正量データは、レンズの特性に基づくシミュレーションにより算出される請求項2記載の画像処理装置。
  8. 前記入力画像信号から前記均一収差に対応するエッジを検出する均一収差成分対応エッジ検出部と、
    前記画素値補正部によって前記均一収差補正量に基づいた画素値の補正が行われた後の前記入力画像信号から前記同心円状収差に対応するエッジを検出する同心円状収差成分対応エッジ検出部とをさらに具備し、
    前記均一収差補正量算出部は、前記均一収差成分対応エッジ検出部によって検出されたエッジごとにおいて均一収差によって発生している色ずれ量に基づいて前記処理対象画素についての均一収差補正量を算出し、
    前記同心円状収差補正量算出部は、前記同心円状収差成分対応エッジ検出部によって検出されたエッジごとにおいて同心円状収差によって発生している色ずれ量に基づいて前記処理対象画素についての同心円状収差補正量を算出し、
    前記画素値補正部は、前記均一収差補正量に基づいて補正を行った後の前記処理対象画素の画素値を前記同心円状収差補正量に基づいて補正する
    請求項1記載の画像処理装置。
  9. 前記均一収差成分対応エッジ検出部は、前記入力画像信号の画像における水平の動径方向の画像部分近傍において垂直方向のエッジを検出し、前記入力画像信号の画像における垂直の動径方向の画像部分近傍において水平方向のエッジを検出し、
    前記同心円状収差成分対応エッジ検出部は、前記入力画像信号の画像における少なくとも1つの所定の動径方向ごとの画像部分近傍において動径方向のエッジを検出する
    請求項8記載の画像処理装置。
  10. 前記均一収差成分対応エッジ検出部および前記同心円状収差成分対応エッジ検出部の各々は、検出したエッジごとにその画素値の変化方向の種別を検出し、
    前記均一収差補正量算出部は、前記均一収差成分対応エッジ検出部により検出された画素値の変化方向の種別についての統計結果を利用して前記均一収差補正量を算出し、
    前記同心円状収差補正量算出部は、前記同心円状収差成分対応エッジ検出部により検出されたエッジごとの画素値の変化方向の種別についての統計結果を利用して前記同心円状収差補正量を算出する
    請求項8記載の画像処理装置。
  11. 光の色と像高との組合せを少なくとも含む同心円状収差条件ごとに対応する前記同心円状収差補正量を同心円状収差補正量データとして保持する同心円状収差補正データ保持部と、
    前記入力画像信号から前記均一収差に対応するエッジを検出する均一収差成分対応エッジ検出部とをさらに具備し、
    前記同心円状収差補正量算出部は、前記処理対象画素が対応する前記同心円状収差条件に対応する前記同心円状収差補正量データを選択し、当該選択された前記同心円状収差補正量データを利用して前記同心円状収差補正量を算出し、
    前記均一収差補正量算出部は、前記均一収差成分対応エッジ検出部によって検出されたエッジごとにおいて均一収差によって発生している色ずれ量に基づいて前記処理対象画素についての均一収差補正量を算出する
    請求項1記載の画像処理装置。
  12. 画像の中心から同心円状の色ずれを生じる倍率色収差の成分である同心円状収差に対する同心円状収差補正量を入力画像信号における処理対象画素について算出する同心円状収差補正量算出手順と、
    画像全体において色ずれの方向と色ずれの量が均一に発生する倍率色収差の成分である均一収差に対する均一収差補正量を前記処理対象画素について算出する均一収差補正量算出手順と、
    算出された前記同心円状収差補正量と前記均一収差補正量とに基づいて、前記処理対象画素の画素値を補正する画素値補正手順と
    を具備する画像処理方法。
  13. 画像の中心から同心円状の色ずれを生じる倍率色収差の成分である同心円状収差に対する同心円状収差補正量を入力画像信号における処理対象画素について算出する同心円状収差補正量算出手順と、
    画像全体において色ずれの方向と色ずれの量が均一に発生する倍率色収差の成分である均一収差に対する均一収差補正量を前記処理対象画素について算出する均一収差補正量算出手順と、
    算出された前記同心円状収差補正量と前記均一収差補正量とに基づいて、前記処理対象画素の画素値を補正する画素値補正手順と
    をコンピュータに実行させるプログラム。
JP2010150142A 2010-06-30 2010-06-30 画像処理装置、画像処理方法、および、プログラム Expired - Fee Related JP5505135B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010150142A JP5505135B2 (ja) 2010-06-30 2010-06-30 画像処理装置、画像処理方法、および、プログラム
US13/096,438 US8730357B2 (en) 2010-06-30 2011-04-28 Image processing device, image processing method, and program
EP11167223.4A EP2424248A3 (en) 2010-06-30 2011-05-24 Image processing device, image processing method, and program
CN201110145887XA CN102316326A (zh) 2010-06-30 2011-06-01 图像处理设备,图像处理方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010150142A JP5505135B2 (ja) 2010-06-30 2010-06-30 画像処理装置、画像処理方法、および、プログラム

Publications (2)

Publication Number Publication Date
JP2012015781A true JP2012015781A (ja) 2012-01-19
JP5505135B2 JP5505135B2 (ja) 2014-05-28

Family

ID=45399461

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010150142A Expired - Fee Related JP5505135B2 (ja) 2010-06-30 2010-06-30 画像処理装置、画像処理方法、および、プログラム

Country Status (4)

Country Link
US (1) US8730357B2 (ja)
EP (1) EP2424248A3 (ja)
JP (1) JP5505135B2 (ja)
CN (1) CN102316326A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5490331B1 (ja) * 2012-06-01 2014-05-14 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP2015041900A (ja) * 2013-08-22 2015-03-02 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
JP2015216495A (ja) * 2014-05-09 2015-12-03 国立研究開発法人情報通信研究機構 色収差補正方法
JP2016201601A (ja) * 2015-04-07 2016-12-01 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2019004312A (ja) * 2017-06-15 2019-01-10 キヤノン株式会社 画像処理装置、撮像装置、レンズ装置、画像処理方法、プログラム、および、記憶媒体
JP2019204984A (ja) * 2018-05-21 2019-11-28 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
CN113905183A (zh) * 2021-08-25 2022-01-07 珠海全志科技股份有限公司 宽动态范围图像的色差校正方法及装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011253779A1 (en) * 2011-12-01 2013-06-20 Canon Kabushiki Kaisha Estimation of shift and small image distortion
JP6039205B2 (ja) * 2012-03-21 2016-12-07 キヤノン株式会社 撮像装置
US20130321675A1 (en) 2012-05-31 2013-12-05 Apple Inc. Raw scaler with chromatic aberration correction
JP5959976B2 (ja) * 2012-07-27 2016-08-02 キヤノン株式会社 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
JP2014103461A (ja) * 2012-11-16 2014-06-05 Jai Corporation 収差補正機能付き画像読取装置
JP6104010B2 (ja) * 2013-03-26 2017-03-29 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US20140368654A1 (en) * 2013-06-18 2014-12-18 Magna Electronics Inc. Chromatic aberration compensation for vehicle cameras
US10326969B2 (en) 2013-08-12 2019-06-18 Magna Electronics Inc. Vehicle vision system with reduction of temporal noise in images
US9438771B2 (en) 2013-10-08 2016-09-06 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, image pickup system, image processing method, and non-transitory computer-readable storage medium
CN107623816A (zh) 2013-10-09 2018-01-23 佳能株式会社 图像处理设备、图像拾取设备以及图像处理方法
CN105829164B (zh) 2013-12-13 2019-01-18 康斯博格汽车股份公司 用于控制到车辆座椅内空气单元的加压空气供给的sma阀
US9945490B2 (en) 2013-12-13 2018-04-17 Kongsberg Automotive Ab SMA valve for controlling pressurized air supply to an air cell in a vehicle seat
CN105813611B (zh) 2013-12-13 2018-05-22 康斯博格汽车股份公司 用于控制到车辆座椅内空气单元的空气供给的sma阀
JP6214713B1 (ja) 2016-04-18 2017-10-18 キヤノン株式会社 画像処理装置、撮像装置、レンズ装置、画像処理方法、プログラム、記憶媒体、および、情報処理方法
JP6261676B1 (ja) 2016-07-28 2018-01-17 キヤノン株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6328182B2 (ja) * 2016-07-28 2018-05-23 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
WO2018025505A1 (ja) 2016-08-01 2018-02-08 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
US11178085B2 (en) * 2019-02-27 2021-11-16 A Social Company Social media platform for sharing reactions to videos
US11483547B2 (en) * 2019-12-04 2022-10-25 Nxp Usa, Inc. System and method for adaptive correction factor subsampling for geometric correction in an image processing system
CN111447426B (zh) * 2020-05-13 2021-12-31 中测新图(北京)遥感技术有限责任公司 一种影像色彩校正方法以及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001103358A (ja) * 1999-09-30 2001-04-13 Mitsubishi Electric Corp 色収差補正装置
JP2001330797A (ja) * 2000-03-17 2001-11-30 Olympus Optical Co Ltd 偏心光学系を用いたカラー画像表示方式及び撮像方式
WO2007116636A1 (ja) * 2006-03-22 2007-10-18 Victor Company Of Japan, Limited 静止画像取り込み装置及び静止画像取り込み方法、並びに画像揺れ補正装置
JP2010041403A (ja) * 2008-08-05 2010-02-18 Mitsubishi Electric Corp 画像補正装置及び画像補正方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004241991A (ja) * 2003-02-05 2004-08-26 Minolta Co Ltd 撮像装置、画像処理装置及び画像処理プログラム
JP4378994B2 (ja) * 2003-04-30 2009-12-09 ソニー株式会社 画像処理装置、画像処理方法ならびに撮像装置
US7221793B2 (en) * 2003-05-27 2007-05-22 Hewlett-Packard Development Company, L.P. Systems and methods for providing spatially-varied demosaicing
EP1746846B1 (en) * 2004-04-12 2019-03-20 Nikon Corporation Image processing device having color shift-correcting function, image processing program, and electronic camera
JP4815807B2 (ja) 2004-05-31 2011-11-16 株式会社ニコン Rawデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ
JP4649171B2 (ja) * 2004-11-08 2011-03-09 日本放送協会 倍率色収差補正装置、倍率色収差補正方法及び倍率色収差補正プログラム
WO2006093266A1 (ja) * 2005-03-04 2006-09-08 Nikon Corporation 色ズレを補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ
US8040412B2 (en) * 2005-12-26 2011-10-18 Panasonic Corporation Imaging apparatus and image data correcting method
CN101001309A (zh) * 2006-01-13 2007-07-18 鸿富锦精密工业(深圳)有限公司 一种成像系统及方法
WO2007105359A1 (ja) * 2006-03-01 2007-09-20 Nikon Corporation 倍率色収差を画像解析する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法
JP2010150142A (ja) 2007-04-25 2010-07-08 Daiichi Sankyo Co Ltd 三環性ヘテロアリール化合物
JP5008139B2 (ja) * 2007-11-26 2012-08-22 株式会社リコー 画像撮像装置
JP5574615B2 (ja) * 2009-04-20 2014-08-20 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
JP5577939B2 (ja) * 2010-08-20 2014-08-27 ソニー株式会社 撮像装置、収差補正方法、および、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001103358A (ja) * 1999-09-30 2001-04-13 Mitsubishi Electric Corp 色収差補正装置
JP2001330797A (ja) * 2000-03-17 2001-11-30 Olympus Optical Co Ltd 偏心光学系を用いたカラー画像表示方式及び撮像方式
WO2007116636A1 (ja) * 2006-03-22 2007-10-18 Victor Company Of Japan, Limited 静止画像取り込み装置及び静止画像取り込み方法、並びに画像揺れ補正装置
JP2010041403A (ja) * 2008-08-05 2010-02-18 Mitsubishi Electric Corp 画像補正装置及び画像補正方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5490331B1 (ja) * 2012-06-01 2014-05-14 オリンパスメディカルシステムズ株式会社 内視鏡システム
US8882658B2 (en) 2012-06-01 2014-11-11 Olympus Medical Systems Corp. Endoscope system
JP2015041900A (ja) * 2013-08-22 2015-03-02 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
US9438874B2 (en) 2013-08-22 2016-09-06 Canon Kabushiki Kaisha Image processing apparatus that is capable of correcting color shift, method of controlling the same, and storage medium
JP2015216495A (ja) * 2014-05-09 2015-12-03 国立研究開発法人情報通信研究機構 色収差補正方法
JP2016201601A (ja) * 2015-04-07 2016-12-01 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2019004312A (ja) * 2017-06-15 2019-01-10 キヤノン株式会社 画像処理装置、撮像装置、レンズ装置、画像処理方法、プログラム、および、記憶媒体
JP2019204984A (ja) * 2018-05-21 2019-11-28 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP7051580B2 (ja) 2018-05-21 2022-04-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
CN113905183A (zh) * 2021-08-25 2022-01-07 珠海全志科技股份有限公司 宽动态范围图像的色差校正方法及装置
CN113905183B (zh) * 2021-08-25 2024-04-16 珠海全志科技股份有限公司 宽动态范围图像的色差校正方法及装置

Also Published As

Publication number Publication date
JP5505135B2 (ja) 2014-05-28
US8730357B2 (en) 2014-05-20
CN102316326A (zh) 2012-01-11
EP2424248A2 (en) 2012-02-29
US20120002113A1 (en) 2012-01-05
EP2424248A3 (en) 2015-06-03

Similar Documents

Publication Publication Date Title
JP5505135B2 (ja) 画像処理装置、画像処理方法、および、プログラム
JP5577939B2 (ja) 撮像装置、収差補正方法、および、プログラム
KR20120044227A (ko) 수차 보정 장치, 수차 보정 방법 및 프로그램
KR100808493B1 (ko) 렌즈 셰이딩 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서
KR101313686B1 (ko) 화상처리장치 및 그 제어 방법
US8823843B2 (en) Image processing device, image capturing device, image processing method, and program for compensating for a defective pixel in an imaging device
US8031232B2 (en) Image pickup apparatus including a first image formation system and a second image formation system, method for capturing image, and method for designing image pickup apparatus
US8350951B2 (en) Image sensing apparatus and image data correction method
US8854511B2 (en) Apparatus and method for image processing and storage medium, and image pickup apparatus
CN102957877B (zh) 图像处理装置以及图像处理方法
US9111365B2 (en) Edge-adaptive interpolation and noise filtering method, computer-readable recording medium, and portable terminal
JP2009065671A (ja) 色の補間方法、色補間装置およびコンピュータプログラム
KR101441786B1 (ko) 피사체 판정 장치, 피사체 판정 방법, 및 기록 매체
KR101783229B1 (ko) 화상처리장치 및 그 제어 방법
US20140184853A1 (en) Image processing apparatus, image processing method, and image processing program
TWI491974B (zh) 圖像黑印查找系統及方法
JP5738904B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JPWO2013099792A1 (ja) 画像処理装置、方法及びプログラム並びに撮像装置
US9635260B2 (en) Image processing apparatus, image pickup apparatus, and image processing method
JP6105960B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP2011101305A (ja) 画像処理装置、撮像装置
TW202341718A (zh) 用於處理圖像感測器的圖像資料之方法及圖像處理器單元與電腦程式
JP2018042056A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2016015657A (ja) 画像処理方法および画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140303

LAPS Cancellation because of no payment of annual fees