JP2016040870A - 画像処理装置、像形成方法およびプログラム - Google Patents

Abstract

【課題】魚眼レンズを含んで構成され、画像の各領域で適切なフレア補正を行うことを可能とする撮像装置、像形成方法およびプログラムを提供すること。
【解決手段】 本発明は、魚眼レンズにより画像を撮像素子上に形成し、撮像素子上の魚眼レンズによる画像領域の外縁の画素値を使用して取得した画素値からフレアの画素値を推定する。その後、推定した前記フレアの画素値から画像全体のフレア画像を生成するためのフレア係数を生成し、フレア係数およびローパスフィルタを適用した後の画像領域の画素値を使用してフレア画像を生成する。さらにその後、画像からフレア画像を減ずることにより前記画像のフレア補正を行うことで、フレア補正を行った像を形成している。
【選択図】 図７

Description

本発明は、デジタル画像の処理に関し、より詳細には、複数のカメラにより撮影されたデジタル画像の合成像を形成するための技術に関する。

デジタルカメラが高機能化し、また小型化するにつれて撮影した画像を処理し、他の用途に提供したり、情報に付加価値を浸けたりなど利用性が多様化してきている。近年では、魚眼レンズを使用した全天球カメラを使用して各種の画像を撮影し、他の用途に利用することが普及している。

ところでデジタルカメラの撮像センサーは、光電変換を行う半導体素子を含んでいるため、熱などに起因する暗時ノイズを回避することはできない。この暗時ノイズは、撮影時には光の強度に依存しない画像ノイズとして記録される。このようなノイズは撮像センサー上の遮光領域の画素値から測定でき、ＯＢ値として参照される。画像処理では測定したＯＢ値を、得られた撮像センサーの画素値から減算することで、ノイズの少ない画像を得ることができる。さらに所定の画素値を減算することで、画像の黒領域を黒（画素値０）にする黒レベル補正処理は既に知られている。

しかし、今までの黒レベル補正処理においては、光源が写りこむなどフレアの影響がある場合、黒領域が白く浮くことがあり、所定の画素値を減算するだけでは補正できない。特に２眼など複数のカメラで構成される全天球カメラにおいてはカメラごとのフレアの発生の仕方が異なるため、複数カメラの画像をスティッチする際に境界が生じ、うまく画像合成できない場合があった。

また、フレア補正を行う場合、撮像素子の遮光領域を用いることが一般的であり、遮光領域のない撮像素子において黒レベル補正で適用するパラメータを決定できないと言う問題点も有った。

従来からフレアを改善する技術が知られており、例えば、特許第４９６４８３０号明細書（特許文献１）には、撮影した全方位画像のフレア補正を行う全方位撮像装置及び全方位画像の撮像制御方法を提供する目的で、周囲からの入射光を反射光として出力する全方位ミラーと、撮像レンズを介して入射した前記全方位ミラーからの反射光を撮像素子により光電変換し、全方位画像を生成する手段と、前記全方位画像の前記全方位ミラーからの光入射の 無い中心領域の信号レベルを取得する手段と、前記中心領域の信号レベルに基づいて前記全方位画像のフレア補正値を算出する算出手段と、前記算出したフレア補正値に基づいて前記全方位画像のフレア補正を行う手段が開示されている。

特許文献１は、全方位画像に発生するフレアの補正を可能とする。しかし、特許文献１に記載された技術は、撮像素子の遮光領域を用いるものであり、射倖領域を形成する追加の部材を必要とする他、遮光領域を形成しない装置に対しては、適用することができないと言う問題が有った。

本発明は、魚眼レンズを含んで構成され、画像の各領域で適切なフレア補正を行うことを可能とする撮像装置、像形成方法およびプログラムを提供することを目的とする。

本発明は、光の入射した画像領域および撮影された画像から光入射のない領域における画素値を利用してフレア量を推定し補正を行う。この際、フレアを２次元のガウスモデルで近似しモデル化し、フレアの画像全体への広がりを近似する。そして、全体のフレアレベルを、魚眼画像における光入射の無い周辺領域の信号レベルを利用して推定し、得られた画像の各領域におけるフレアレベルを撮影された画像から減算することで、画像の各領域で適切なフレア補正を行う。

以上のフレア補正は、撮像素子の受光部を制限するフィルタなどの追加部材を使用することなく、全天球撮像装置に対して適用することができる。

本実施形態の撮像装置が取得する画像およびその画像合成の実施形態を示す図。 本実施形態の撮像装置の機能ブロックを示す図。 本実施形態の撮像装置が実行する処理を示した図。 本実施形態の第１ＩＳＰの機能ブロックを示す図。 第２ＩＳＰの機能ブロックを示す図。 本実施形態のフレア補正処理を説明する図。 本実施形態のフレア補正のフローチャート。

図１は、本実施形態の撮像装置１０２が取得する画像およびその画像合成の実施形態を示す図である。撮像装置１０２は、説明する実施形態では、全天球カメラとして構成されており、複数のレンズと、レンズに対応して配置された撮像素子とを含んで構成されている。各レンズおよび撮像素子は、個別のカメラＡ、カメラＢを構成し、撮像装置１０２は、レンズの数に応じた複数の画像１０３、１０４を生成する。撮像装置１０２は、これらの画像１０３、１０４を合成し、全天球画像などを生成する。

この際の処理で、被写体に例えば太陽など高輝度物体を含む場合、高輝度物体が含まれるシーンは、片側の撮像素子（ＣＭＯＳセンサ）にフレアが生じて、画像１０３および画像１０４に明るさに違いが生じる。このような明るさの相違は、画像合成を行う場合に合成後の画像に違和感を生じさせてしまうので補正などにより除去することが好ましい。

高輝度物体が画像に存在する場合に発生するフレアは、高輝度物体を中心にセンサー面全体に広がる傾向にある。一方、撮像素子の境界部分、すなわち縁部には、露出補正に適切な物体が存在しない、例えば、黒い物体がある場合なども想定される。この場合には、両画像１０３、１０４の共通画素を使用する補正は困難となる。このため、フレア自体が露出に影響する度合いを推定して補正を行うことがより汎用的な補正方法と言うことができる。

図２は、本実施形態の撮像装置１０２の機能ブロック２００を示す図である。なお本実施形態は、１つの魚眼画像に適用できるが、具体例として、２台の魚眼カメラを用いて全天球画像を生成する場合について処理を示した。本発明の撮像装置１０２は、撮像部２０２と、装置本体２３０とを含んで構成することができる。撮像部２０２は、レンズ系およびＣＭＯＳといった撮像素子を使用してＲＡＷデータを取得する。取得したＲＡＷデータは、装置本体２３０へと転送され、各種処理が適用される。撮像部２０２は、レンズおよび撮像素子であるＣＭＯＳセンサを、１ユニットとして、このユニットを撮像するシーン数に対応する数搭載した構成とされている。撮像素子は、装置本体２３０の処理装置（ＣＰＵ）２１５ａから制御され、撮像およびデータ転送などの処理を行う。

さらに、装置本体２３０は、画像処理部２３０ａと制御部２３０ｂを含んで構成されている。なお、図２中、画像処理部２３０ａおよび制御部２３０ｂを別の機能部として記載する。しかしながら、本実施形態では、図示するように別々の装置とすることもできるし、画像処理部２３０ａおよび制御部２３０ｂを一体として大規模集積回路、いわゆるＡＳＩＣ(Application Specific Integrated Circuit)として構成することもできる。

画像処理部２３０ａは、撮像素子からのＲＡＷデータを処理する機能部である。また制御部２３０ｂは、画像処理部２３０ａは、イメージ信号処理部(Image Signal Processor: ISP)２０４、２０５を２系統搭載する。ＩＳＰ２０４、２０５は、撮像素子からのデータに対してホワイトバランス調整およびガンマ処理を適用する。また、ＩＳＰ２０４、２０６は、撮像素子からの画像データをフィルタリング処理して輝度データ・色差データへの変換も行う。さらに、画像処理部２３０ａは、歪曲補正および画像合成を行う歪曲・合成処理部ＩＰＰ２０６を備えている。

当該各機能を適用するため、ＩＳＰ２０４、２０５は、それぞれ第１ＩＳＰ、第２ＩＳＰ（図示せず）として構成されている。また、本実施形態のＩＰＰ２０６は、３軸加速度センサー２０３からの加速度情報を利用して、歪曲補正および天地補正を適用して、画像の歪曲を補正すると共に、上下の正しく設定された合成画像を生成する。この間に生成された画像データは、以後の処理のためのメモリ制御部２０８から記憶装置２０１（ＳＤＲＡＭ）に格納される。さらにＩＰＰ２０６は、傾き補正が終了した後の画像データを使用して、顔検出などの追加的処理を行う。

本実施形態で、記憶装置２０１に格納することができる画像データは、例えば、ＩＳＰ２０４、２０５でホワイトバランス設定およびガンマ設定が適用された「ＲＡＷ−ＲＧＢ画像データ」、その後輝度データ・色差データ変換が行われた状態の「ＹＵＶ画像データ」、およびＩＰＢ２１１の各種エンコーダによって圧縮された「ＪＰＥＧ画像データ」、「Ｈ．２６４動画データ」などを挙げることができる。

以下、本実施形態の撮像装置１０２の動作について説明する。撮像装置１０２は、ユーザがスイッチ２１９をオンすると動作を開始し、処理装置２１５ａが、ＮＶＲＡＭ２１７などの不揮発性メモリに格納された処理プログラム、パラメータ・データを読み込んで処理を開始する。処理装置２１５ａは、メモリ２１４にプログラムを読み込み、パラメータなどの必要なデータを、ＳＤＲＡＭ２１６や内蔵ＲＡＭ（図示せず）などのメモリに格納する。

ＮＶＲＡＭは、随時書換え可能なＮＡＮＤフラッシュやＳＤカードとして構成することができ、各種制御プログラムのアップデートやパラメータの変更を容易にさせている。その他、制御部２３０ｂは、不揮発性メモリコントローラＮＶＣ、ＵＳＢコントローラＵＳＢを備えており、これらは、ＰＣＩまたはＰＣＩＥｘｐｒｅｓｓブリッジ２１３を介してメインメモリに接続され、各種の処理を可能としている。その他、制御部２３０ｂは、電源制御部ＰＷ，オーディオ制御部Ａｕｄｉｏ、通信制御部ＣＯＭ、ディスプレイ制御部ＬＣＤＤを備えていて、電源制御、マイクスピーカ２２０、２２２による音声入出力、Ｗｉ−Ｆｉ２２３などによる外部通信、ＬＣＤ２２４を介したディスプレイ表示を可能としている。この他、撮像装置１０２は、メモリーカードなどを装着できるカードスロットを備えていても良い。

制御部２３０ｂは、さらに画像処理部ＩＰＢ２１１を備えている。ＩＰＢ２１１は、その機能モジュールとして解像度変換処理部（ＲＣ）、ＪＰＥＧ変換処理部（ＪＰＥＧ）、Ｈ．２６４変換処理部（Ｈ．２６４）、および省電力制御部（ＰＣＴＬ）を含んで構成されている。ＩＢＰ２１１は、上流側に接続された画像処理部２３０ａからの画像データを受領して、解像度調整および各種エンコード処理を適用し、所定のフォーマットの画像データを作成する。作成されたデータは、データバス２１２を介してメモリ２１４へと送られて、処理装置２１５ａからの指令により各種の処理が適用される。

図３は、本実施形態の撮像装置１０２が実行する処理を示した図である撮像素子であるＣＭＯＳ２０２ａ、２０２ｂから出力されたＲＡＷ画像は、それぞれブロック３０１の第１ＩＳＰに送付される。送付されたＲＡＷ画像は、第１ＩＳＰ内でオプティカル・ブラック補正（ＯＢ）補正処理、欠陥画素補正処理、Linear補正処理、Shading処理、領域分割平均処理が適用される。各処理が適用された後の画像データは、ＤＲＡＭなど適切な記憶手段に格納される。なお、ＣＭＯＳ２０２ａ、２０２ｂからの２系統の出力は、いずれの等価な処理を並列設定されたＩＳＰ２０４、２０５で適用される。以下説明の便宜上、ＣＭＯＳ２０２ａからの画像データについての処理を例示的に説明する。

ブロック３０１で第１ＩＰＳの処理が終了した画像データは、ブロック３０２で、動画・静止画の判断が行われる。静止画の場合には、ブロック３０３で画質判定が行われ、高画質画像の場合には、ブロック３０４で圧縮処理、説明する実施形態ではＺＩＰ方式で圧縮される。圧縮された画像データは、ブロック３０５で適切な持続性記憶手段に記憶され、その後、ブロック３０６でユーザ指令による外部出力などが行われる。

一方、ブロック３０２で、動画と判定された場合およびブロック３０３で低画質画像と判断された場合、画像データは、ブロック３０７で第２ＩＳＰに送られる。第２ＩＳＰでは、WB Gain処理、γ補正処理、ベイヤー補間処理、YUV変換処理、YCFLT処理、色補正処理が適用される。第２ＩＳＰでの処理が終了した画像データは、ブロック３０８で正則画像に切り取る処理（クロップ処理される。なお、クロップ処理は画像の中心領域を切り抜くことでサムネイル画像を生成するために適用しても良い。その後、ブロック３０９で３軸加速度センサーから得た加速度情報を取得し、ブロック３１０で歪曲補正、合成処理される。３軸加速度センサーからの情報は、傾き補正（天地補正）のために用いられる。

その後、ブロック３１１で、顔検出が適用され、顔の画素領域を特定する情報が生成される。さらにその後、再度動画・静止画判定が行われ、静止画の場合ブロック３１３で圧縮処理、説明する実施形態では、ＪＰＥＧ方式で圧縮が行われ、タグ付けを行った後、ブロック３１５で適切なＤＲＡＭなど記憶手段に格納が行われる。また、ブロック３１２で動画と判定された画像データは、ブロック３１４に送られ、動画用圧縮処理、説明する実施形態ではＨ．２６４方式での圧縮が行われ、ブロック３１５で保存される。さらにその後、ユーザの指令に応じてブロック３１６へと送られ、外部出力が行われる。

画像データの外部出力形式としては、ＳＤカードなどのメディアへの保存、スマートホン、タブレット端末などの携帯端末に転送する際には、無線ＬＡＮなどを介してＷｉ−Ｆｉ、Bluetooth（登録商標）などのプロトコルにより、携帯端末に転送を行う。また、有線ＬＡＮを介して、パーソナル・コンピュータに外部出力することもできる。

図４は、本実施形態の第１ＩＳＰの機能ブロック４００を示す。第１ＩＳＰは、フレア補正部４０１と、欠陥画素補正部４０２と、リニア補正部４０３とを含んで構成されている。フレア補正部４０１は、有効画素領域の出力信号をフレアや暗時ノイズの大きさに応じてクランプ補正する処理を適用する。また、欠陥画素補正部４０２は、欠陥画素に隣接した複数の画素からの合成信号に基づいてその欠陥画素の画素値を補正する。当該欠陥画素補正部４０２は、撮像素子には多数の画素の欠陥を補うために構成される。また、リニア補正部４０３は、ＲＧＢ毎に色味のリニア補正を適用する。

さらに第１ＩＳＰは、シェーディング補正部４０４と領域分割平均部４０５とを含んで構成されている。シェーディング補正部４０４は、予め用意された補正係数（固定値）を有効画素領域の出力信号に乗じることによって、有効画素領域のシェーディング（陰影）の歪みを補正する。また、領域分割平均部４０５は、画像領域を分割し、画像領域の平均輝度を算出する処理を適用する。この処理部は、ＡＥ処理のために使用される。

図５は、第２ＩＳＰの機能ブロック５００を示す。第２ＩＳＰは、ＷＢ処理部５０１と、ガンマ補正部５０２と、ベイヤー補間部５０３とを含んで構成することができる。ＷＢ処理部５０１は、ＲＧＢのゲインを調整しホワイトバランスを提供するための処理である。被写体からの光を蓄積するＣＭＯＳを含んで構成される撮像素子は、１画素１画素にＲＥＤ、ＧＲＥＥＮ、ＢＬＵＥのいずれかの色のカラーフィルタが貼付されている。このフィルタの色によって透過光量が異なるため、撮像素子の画素に蓄積される電荷量は、異なることになる。

最も高感度なのは、Ｇで、ＲとＢは、ＧＲＥＥＮと比較すると感度が低く約半分程度となる。このため、ＷＢ処理部５０１は、これらの感度差を補償し、撮影画像の中のホワイトを再現するように、ＲとＢの光量にゲインを掛ける処理を行う。なお、物体の色は光源色（例えば、太陽光、蛍光灯など）によって変わってくるため、光源が変わっても白色を白く見せるようにＲとＢのゲインを変更する機能を有していても良い。

また、ガンマ補正部５０２は、画像データの色深さデータと画素の目視輝度とが、線形性を提供し、画像の色階調性を確保し、画像を明るく調整する処理を適用する。ベイヤー補間部５０３は、ＣＭＯＳにおけるベイヤー配列で、周辺の画素の色値から、処理対象の画素の処理に必要な他の２色の情報を補間して取得する処理を適用する。この理由は、ベイヤー配列では、１画素にＲＥＤ、ＧＲＥＥＮ、ＢＬＵＥのいずれか１色のカラーフィルタが配置されており、ＲＡＷデータは１画素に１色の情報しか取得しない。しかし、ＲＡＷデータを画像として処理するためには、１画素にＲＥＤ、ＧＲＥＥＮ、ＢＬＵＥの３色の情報が必要であり、この不足した２色を補うことは必要とされるからである。

さらに第２ＩＳＰは、ＹＵＶ変換部５０４と、エッジ強調部５０５と、色補正部５０６とを含んで構成することができる。ＹＵＶ変換部５０４は、ＲＡＷデータのＲＧＢデータを、均等色空間座標の値に変換する処理を適用する。このＹＵＶ変換は、ＲＧＢデータから、輝度信号Ｙと色差信号ＵＶとを計算し、ＹＵＶデータ形式に変換を行う。

エッジ強調部５０５は、画像の輝度（Ｙ）信号からエッジ部分を抽出するエッジ抽出フィルタと、エッジ抽出フィルタにより抽出されたエッジに対してゲインを掛けるゲイン乗算部とを含んで構成することができる。その他、エッジ抽出と並行して画像のノイズを除去するＬＰＦ（ローパスフィルタ）と、ゲイン乗算後のエッジ抽出データとＬＰＦ処理後の画像データを加算するデータ加算部を含んで構成され、画像端部のシャープさを改善するために構成される。これらの機能部は、これまで知られた如何なる機能手段を使用して構成することができる。

色補正部５０６は、彩度設定、色相設定、部分的な色相変更設定、色抑圧設定などに応じて、色調を補正する処理を適用する。例えば、彩度設定は色の濃さを決定するパラメータ設定を使用する。色補正は、ＵＶ色空間における補正である。

以下、図６を使用して本実施形態のフレア補正処理を説明する。図６（ａ）は、本実施形態におけるフレア補正に使用する画像領域を示す。図６で、濃いハッチングで示した領域は、光入射のない非入射領域を示す。魚眼レンズは、結像中心Ｏから、半径Rfishの半径の円内の画素で有効なイメージング領域を提供する。そこで、非入射領域を、中心Ｏから半径Rnl(＞Rfish)の円の外側の画素と定義する。半径Rnlを、Rfishより大きく設定することで、確実に光が入射しない領域を規定できる。

図６（ｂ）は、非入射領域のデータを決定する際の処理を説明する図である。本実施形態では、図６（ｂ）で示すように、領域をメッシュ分割し、その後、非入射領域のメッシュをピックアップして平均値を求める。このことによってＡＥ補正などに用いる処理部（領域分割平均部４０５）と、フレア補正を行うための処理部（フレア補正部４０１）を共通化できる。

非入射領域の画素値は、ダークノイズ成分と、フレア成分とが主な成分と考えられる。フレアは、位置によって強度が異なるため、非入射領域の画素値は４隅で平均値が変化する可能性がある。一方で、ダークノイズ成分は、感度によって規定される一定値とすることができる。

以下、本実施形態で使用するフレアモデルを説明する。本明細書においてフレアとは、光源による光が鏡筒内で乱反射し、結像光以外の光が撮像素子に達することで像信号に相当する情報を与える現象として定義できる。以下、本実施形態において、得られた画像からフレアを推定する処理を説明する。

観察される画像ｏｖの画素値は、以下の通りであらわせるものとする。上記式（１）中、ｇ、ｆ、ｄは、それぞれ結像光による画素値、フレアによる散乱光による画素値、およびダークノイズを意味する。非入射領域の画素値ｖは、フレアｆと、ダークノイズｄのみで表現されるべき値である。

本実施形態では、フレアモデルは以下の通り定式化できる。
Ｈ１．フレアｆは、ｋ_ｐｎを定数として、レンズに入射する単位面積当たりの光子数ｐｍに比例する。

Ｈ２．フレアは、撮像素子上にガウス分布として拡散し、ガウス分布の標準偏差が、フレアの程度に依存する。ｋ_ｐｎｌ、ｋ_ｇｌは、定数であり、フレアの程度に依存するものとする。

Ｈ３．ダークノイズｄは、画面全体で一定である。

光子数ｐｍは、結像光による画素値ｇに比し、非入射領域の付近に画素飽和した領域がないものとするのが適切なので、フレア係数として参照されるｋ_ｇｌは、下記式で得られる。

上記Ｈ３より、得られたＲＡＷ画像からダークノイズｄを引いた画像が、ＲＡＷ画像の画素値ｖを与へ、これが、画素値ｇにフレアｆが上乗せされた値となる。

ここで、ＲＡＷ画像の画素値ｖに対して、ガウスフィルターを適用したローパス画像ｌｏｖを考える。ダークノイズｄについては、レベルが低いので、ローパスフィルタを適用した後にも≒ｄとして近似できる。なお、ローパスフィルタは、ガウスフィルターに限定されることはなく、移動平均フィルターなどこれまで知られたフィルタ機能を有する機能手段を使用することができる。

また、Ｈ３より、非入射領域付近では、フレアがダークノイズｄよりも大きいとすると、以下の通り近似できる。

上記式（８）を式（７）に代入すると、非入射領域におけるローパス画像に関して以下の関係が与えられる。

ここで非入射領域(ｇ＝０)の画素値は、ｏｖ_ＯＢ＝ｆ_ＯＢ＋ｄである。これを式（９）に代入すると、下記式（１０）が得られる。

すなわち、式（１０）により、フレア係数ｋ_ｇｌを、フレアの画素値に関係ない下記式（１１）として変形し、定式化することができる。

この比例定数ｋ_ｇｌは、画素毎に異なることから、４つの非入射領域で平均し、最も小さい値をフレア係数ｋ_ｇｌとする。以上の定式化の下、フレアは、フレア係数ｋ_ｇｌを用いて、式（７、式（８）より、下記式（１２）で与えられる。

フレア補正で、ローパス画像における４隅の非入射領域の値を算出し、式(１２)のフレアｆと比較する。ローパス画像の非入射領域はフレアが広がっていると仮定する。Ｈ１から、画素値とフレアレベルとの比例定数を、ローパス画像の非入射領域の値とｆの比から得る。フレア補正の結果、画像全体にわたって暗くなる。このため、本実施形態では、明るさ補正を行うことが好ましい。本実施形態の明るさ補正は、平均フレアレベルＥ（ｆ）およびダークノイズｄから、目標明るさレベルＶ_ＡＥを保つようにゲインｃｅｇをかける。

上記式（１３）から明るさ補正ゲインｃｅｇは、下記式（１３）で定式化する。

明るさ補正は、ダークノイズｄを引いた両方のフレア補正画像それぞれに対し、算出した明るさ補正ゲインを乗算することで行う。明るさ補正ゲインｃｅｇは、最も高感度の情報を与えるＧ（緑）画像から生成することが好ましい。

図７は、本実施形態のフレア補正のフローチャートを示す。処理は、ステップＳ７００から開始し、ステップＳ７０２でＲＡＷ画像を取得し、ステップＳ７０３で非入射画像領域のダークノイズレベルであるＯＢ値を算出する。ステップＳ７０４で、ＲＡＷ画像からダークノイズを減算し、これを区別のためステップＳ７０５でＲＡＷ画像２として適切なメモリに出力する。

ステップＳ７０６では、各色成分の画像をベイヤー補間を使用して生成し、これをｏｒｇ画像とする。以下、これをｏｖｃとして参照する。ステップＳ７０８でガウシアンフィルターを適用してローパス画像を作成し、ステップＳ７０９でこれをローパス画像「ｌｖｃ」として出力し適切なメモリに格納する。ステップＳ７１０では、ステップＳ７０５の出力であるＲＡＷ画像２およびローパス画像を読み込み、式（５）を適用して、フレア係数ｋ_ｇｌを算出する。その後、ステップＳ７１１でフレア画像をｆｃ＝ｋ_ｇｌ×ｌｖｃとして計算して生成し、ステップＳ７１２でフレア画像を適切なメモリに格納する。

ステップＳ７１３で、ｖｃ＝ｏｖｃ−ｆｃ＝ｏｖｃ−ｋ_ｇｌ×ｌｖｃとしてフレア補正を適用し、ステップＳ７１４でフレア補正カラー画像を生成する。その後、ステップＳ７１５で式（１３）、（１４）で定式化した明るさ補正を適用し、ステップＳ７１６で明るさ補正カラー画像を生成して、適切なメモリに格納する。

その後、ステップＳ７１８で各色分離画像を生成し、補正後ベイヤーＲＡＷ画像（ｇ＋ｄ）として出力して、ステップＳ７２０で処理を終了する。ステップＳ７１８の出力は、図４の欠陥画素補正部４０２処理へと送られ、以後の処理が適用される。

以上説明した通り、本実施形態においては、ダークノイズを計算する処理プロセスにおける追加処理としてフレア補正を組み込むことができ、特別なハードウェアモジュールや部材の追加を要すること無く、フレア補正を適用することができる。

これまで本発明を実施形態をもって説明してきたが、本発明は実施形態に限定されるものではなく、他の実施の形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１０２ ：撮像装置
１０３ ：画像
１０４ ：画像
２００ ：機能ブロック
２０１ ：記憶装置
２０２ ：撮像部
２０２ａ ：ＣＭＯＳ
２０２ｂ ：ＣＭＯＳ
２０３ ：３軸加速度センサー
２０８ ：メモリ制御部
２１２ ：データバス
２１３ ：ブリッジ
２１４ ：メモリ
２１５ａ ：処理装置
２１６ ：ＳＤＲＡＭ
２１７ ：ＮＶＲＡＭ
２１９ ：スイッチ
２２０ ：マイクスピーカ
２２２ ：マイクスピーカ
２２４ ：ＬＣＤ
２３０ ：装置本体
２３０ａ ：画像処理部
２３０ｂ ：制御部

特許第４９６４８３０号明細書

Claims (8)

1. 魚眼レンズによる画像を取得する撮像素子と、
   前記撮像素子上の前記魚眼レンズによる画像領域の外縁の画素値を使用して取得した画素値からフレアの画素値を推定する手段と、
   推定した前記フレアの画素値から画像全体のフレア画像を生成するためのフレア係数を生成する手段と、
   前記フレア係数およびローパスフィルタを適用した後の前記画像領域の画素値を使用してフレア画像を生成する手段と、
   前記画像からフレア画像を減ずることにより前記画像のフレア補正を行う手段と
   含む撮像装置。
2. 前記外縁の画素を、前記魚眼レンズの結像中心からの半径に基づいて決定する手段を含む、請求項１に記載の撮像装置。
3. さらに前記フレア画像を減じたことによる前記画像を明るくするように補正する手段を備える請求項１または２に記載の撮像装置。
4. さらに、複数の魚眼レンズが取得した画像をそれぞれ明るさ補正した後に複数の画像を合成するための合成手段を備える、請求項１〜３のいずれか１項に記載の撮像装置。
5. 魚眼レンズにより画像を撮像素子上に形成するステップと、
   前記撮像素子上の前記魚眼レンズによる画像領域の外縁の画素値を使用して取得した画素値からフレアの画素値を推定するステップと、
   推定した前記フレアの画素値から画像全体のフレア画像を生成するためのフレア係数を生成するステップと
   前記フレア係数およびローパスフィルタを適用した後の前記画像領域の画素値を使用してフレア画像を生成するステップと、
   前記画像からフレア画像を減ずることにより前記画像のフレア補正を行うステップと
   を含む像形成方法。
6. さらに前記フレア画像を減じたことによる前記画像を明るくするように補正するステップを含む請求項５に記載の像形成方法。
7. さらに、複数の魚眼レンズが取得した画像をそれぞれ明るさ補正した後に複数の画像を合成するステップを含む、請求項５または６に記載の像形成方法。
8. 請求項１〜４のいずれか１項に記載の手段として装置を機能させるための装置実行可能なプログラム。