JP2023082340A

JP2023082340A - 画像処理装置および画像処理方法、撮像装置、プログラム

Info

Publication number: JP2023082340A
Application number: JP2021196047A
Authority: JP
Inventors: 遥平豊原; Yohei TOYOHARA; 弘基沖野; Hiroki Okino
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2021-12-02
Filing date: 2021-12-02
Publication date: 2023-06-14

Abstract

【課題】着目画素に対して、より高品位な補正を可能とする画像処理装置を提供する。【解決手段】撮像装置１００は、撮像部１０５と画像処理部１０７を備える。画像処理部１０７は補正処理部２００を備え、撮像部１０５が有する撮像素子によって取得される画像の画素補正処理を行う。補正処理部２００は、取得された画像にて着目画素を含む入力画像の小領域を抽出し、着目画素の座標データを取得して補間処理を行う。補正処理部２００は、抽出した小領域の着目画素に対して補間処理が施された第１の画像のデータに対するダウンサンプリングを行い、さらにアップサンプリングを行って第２の画像のデータを生成する。補正処理部２００は、小領域の着目画素に対して、第２の画像にて対応する画素を合成することにより合成画像を生成する。【選択図】図２

Description

本発明は、撮像素子により取得される画像に対する画素補正処理の技術に関する。

撮像装置では、撮像素子としてＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、ＳＰＡＤイメージセンサ等が使用される。ＣＣＤは“Charge-Coupled Device”、ＣＭＯＳは“Complementary Metal Oxide Semiconductor”、ＳＰＡＤは“Single Photon Avalanche Diode”の略号である。

撮像素子により取得される画像信号に関しては、暗電流に起因するキズや、製造上の要因に起因するキズ等の画素欠陥への対策が必要である。例えば、ＳＰＡＤイメージセンサにて、画素間のクロストークが発生した場合を想定する。この場合、キズによる劣化状態が周囲の画素へ広がり、複数の画素に跨るキズになると、画質の低下が目立ちやすくなる可能性がある。

特許文献１には、放射線画像の画像欠陥を補正する画像欠陥補正技術が開示されている。また特許文献２には、画素欠陥と、シンチレータのキズやゴミの混入によって生じる欠陥とが同一位置に混在している場合でも、的確に欠陥画素を補正することが可能な放射線画像処理技術が開示されている。これらの技術では、単一画素のキズだけでなく、複数の画素に跨るキズに対する補正を施すことができる。

特開２００９－２５３６６８号公報特開２０１２－１８７２２０号公報

従来の技術では、複数の画素に跨るキズに対する補正処理が行われた結果、補正痕が目立ちやすくなる可能性があり、画像を高品位に補正することが困難であった。
本発明は、着目画素に対して、より高品位な補正を可能とする画像処理装置の提供を目的とする。

本発明の一実施形態の画像処理装置は、画像の着目画素の位置情報を取得する取得手段と、前記着目画素を含む領域を前記画像から抽出する抽出手段と、前記抽出手段により抽出された前記領域にて前記着目画素に係る補間を行う補間手段と、前記補間手段により補間された画素を有する画像に対してダウンサンプリングを行い、第１の画像のデータを出力する第１の処理手段と、前記第１の画像のデータに対してアップサンプリングを行い、第２の画像のデータを生成する第２の処理手段と、前記領域の着目画素に対して、前記第２の画像にて対応する画素を合成して第３の画像のデータを生成する合成手段と、を備えることを特徴とする。

本発明によれば、着目画素に対して、より高品位な補正を可能とする画像処理装置を提供することができる。

実施例に係る撮像装置の基本的な構成例を示すブロック図である。第１実施例の構成を説明するブロック図である。領域および画素の座標データについて説明する模式図である。第１実施例における画素選択処理を説明する模式図である。第１実施例における色補間処理を説明する模式図である。第１実施例における色合成処理を説明する模式図である。第２実施例の構成を説明するブロック図である。平均輝度と画質劣化度との関係の例を示す図である。画質劣化度に対応する縮小率と拡大率の例を表で示す図である。撮像素子の温度と画質劣化度との関係の例を示す図である。第３実施例の構成を説明するブロック図である。画素補正の信頼度算出処理について説明する図である。

以下に本発明の好適な実施形態について、図面を参照して詳細に説明する。実施形態では、画像処理装置の適用例としてデジタルカメラやデジタルビデオカメラ等の撮像装置を示すが、本発明はこれに限定されるものではない。撮像素子を備える各種の電子機器に本発明を適用することが可能である。

［第１実施例］
図１は、本実施例に係る撮像装置１００の基本的な構成例を示すブロック図である。撮像装置１００における信号処理装置の例を示すが、パーソナルコンピュータ、アプリケーションサーバー等により信号処理が行われてもよい。

制御部１０１は、例えばＣＰＵ（Central Processing Unit）を備え、撮像装置１００が備える各構成要素の制御を統括する。制御部１０１は制御プログラムをＲＯＭ（Read Only Memory）１０２から読み出してＲＡＭ（Random Access Memory）１０３に展開して実行する。

ＲＯＭ１０２は、電気的に消去および記録可能な不揮発性メモリである。ＲＯＭ１０２は、撮像装置１００が備える各構成要素の動作用プログラムや、動作に必要なパラメータ等のデータを記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリである。ＲＡＭ１０３は、例えばＣＰＵが実行するプログラムの展開や、撮像装置１００が備える各構成要素の動作時に生成されたデータ等の一時的な記憶に用いられる。

光学系１０４は、レンズや絞り等を有する撮像光学系である。光学系１０４はズームレンズ、フォーカスレンズ等を含むレンズ群を備え、被写体からの光を撮像素子の撮像面上に結像させる。

撮像部１０５は撮像素子を備える。撮像素子は、例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、またはＳＰＡＤイメージセンサである。撮像素子は光学系１０４により撮像面上に結像された光学像に対する光電変換を行い、アナログ画像信号をＡ／Ｄ変換部１０６に出力する。

Ａ／Ｄ変換部１０６は、撮像部１０５から入力されたアナログ画像信号をデジタル画像データに変換する。Ａ／Ｄ変換部１０６から出力されたデジタル画像データは、ＲＡＭ１０３に一時的に記憶される。

画像処理部１０７は、ＲＡＭ１０３に記憶されているデジタル画像データに対して、各種画像処理を行う。具体的には、画素補正処理、デモザイキング処理、ホワイトバランス補正処理、ガンマ処理等があり、デジタル画像データの現像処理や表示処理、記録処理等が実行される。画素補正処理では、補正対象である着目画素に対して補間や補完等の処理が行われる。撮像素子における暗電流や製造上の要因等を起因とする特定の画素である着目画素（以下、キズ画素ともいう）の補正処理がある。

記録部１０８は、内蔵する記録媒体に画像データ等を記録する処理を行う。通信部１０９は、不図示の外部装置と無線接続し、画像データ等の通信処理を行う。

図２を参照して、本実施例の特徴的な構成について説明する。図２は、画像処理部１０７が行う各種画像処理のうち、キズ画素の補正処理部２００の構成例を示すブロック図である。以下では、補正処理部２００への入力画像信号をＳＩＧ＿Ｉと表記し、補正処理部２００の出力画像信号をＳＩＧ＿Ｏと表記する。例えばＳＩＧ＿ＩおよびＳＩＧ＿Ｏはベイヤー配列の画像信号である。また補正処理部２００は小領域座標データおよびキズ画素座標データを取得して処理を行う。小領域座標データは後述の小領域の位置情報を有し、キズ画素座標データはキズ画素の位置情報を有する。小領域座標データおよびキズ画素座標データについては、図３を用いて後述する。

補正処理部２００は小領域抽出部２０１を備える。小領域は、撮像素子によって取得される画像の一部を構成する部分領域である。小領域抽出部２０１にはＳＩＧ＿Ｉと小領域座標データが入力される。キズ画素補間部２０２には小領域抽出部２０１の出力とキズ画素座標データが入力される。色補間部２０３は、キズ画素補間部２０２の出力に対して色補間処理を行う。色補間部２０３の後段にはダウンサンプリング部２０４、さらにアップサンプリング部２０５が配置されている。色合成部２０６はアップサンプリング部２０５の出力に対して各色成分の画像信号の合成処理を行う。キズ画素合成部２０７は小領域抽出部２０１の出力に対して、キズ画素座標データおよび色合成部２０６の出力に基づいて画素合成処理を行う。小領域合成部２０８はＳＩＧ＿Ｉに対して、小領域座標データおよびキズ画素合成部２０７の出力に基づいて合成処理を行い、処理結果としてＳＩＧ＿Ｏを出力する。各部が行う処理の詳細については後述する。

次に図３を参照して、小領域座標データおよびキズ画素座標データについて説明する。図３は画像処理部１０７で実行されるキズ画素の検出方法、および小領域座標とキズ画素座標の設定方法を説明するための模式図である。キズ画素の検出には、遮光状態での撮像により取得された画像が用いられる。

図３（Ａ）は、遮光状態で撮像された画像の一部領域の画素値を示す。複数の画素のうち、画素値が閾値以上である画素がキズ画素として指定されるものとする。また、複数のキズ画素のうち、キズ画素の近傍においてどの画素よりも画素値の大きいキズ画素は、さらに代表キズ画素として指定されるものとする。

図３（Ｂ）は、図３（Ａ）に対し、閾値を１５に設定してキズ画素および代表キズ画素を指定した状態を示す。網掛けで示される、画素値が閾値以上の画素３０１はキズ画素として指定された画素である。斜線で示される画素３０２はキズ画素であって、かつ代表キズ画素として指定された画素である。図３（Ｂ）では代表キズ画素を中心とした十字形状のキズ画素群の例を示す。

キズ画素座標データは、全てのキズ画素の座標を設定したデータであり、キズ画素かつ代表キズ画素として指定された画素の座標データを含む。また小領域座標データは、小領域抽出部２０１が代表キズ画素を含む小領域を抽出するときの、左上端の画素の座標を設定したデータである。なお、小領域については特定のサイズであって、かつ代表キズ画素の座標を特定の座標に含むように抽出されるものとする。

具体的には、図３（Ｂ）にて点線枠で囲まれた領域３０３が小領域である。領域３０３は、代表キズ画素３０２を中心として、水平方向および垂直方向にてそれぞれ７画素分（４９画素）を抽出した場合の小領域を示す。また画素３０４は、小領域３０３の左上端の画素を示す。この場合、画素３０４の座標が小領域座標として設定される。小領域座標データは、全ての代表キズ画素に対して設定される。

図２および図３を参照して、補正処理部２００を構成する各部について説明する。小領域抽出部２０１はＳＩＧ＿Ｉを入力とし、小領域座標データに基づいて小領域の抽出処理を行う。具体的には、小領域座標を左上端の座標として所定サイズの領域を抽出する処理が実行される。本実施例では、水平方向および垂直方向にてそれぞれ７画素分の範囲が抽出されるものとする。小領域は代表キズ画素を中心として抽出されるように設定されているので、小領域は代表キズ画素を含む。また、小領域はその他に代表キズ画素の周辺画素であるキズ画素を含む場合もある。

キズ画素補間部２０２はキズ画素の位置情報に基づき、小領域抽出部２０１の出力画像信号に対し、キズ画素の補間処理を行う。具体的には、先ずキズ画素補間部２０２は、キズ画素座標データに基づき、小領域抽出部２０１の出力画像信号におけるキズ画素の位置を特定する。次にキズ画素補間部２０２は、着目画素（キズ画素）に対し、補間値の算出に用いる画素を選択する処理を行う。画素の選択処理について、図４を参照して具体的に説明する。

図４（Ａ）は、ベイヤー配列の構成色Ｒ（赤）、Ｇ（緑）、Ｂ（青）に関して着目画素がＲ画素である場合、補間値の算出に用いられる画素を示す。着目画素４０１ａはキズ画素である。網掛けで示す画素４０２ａは、着目画素４０１ａと同色の補間値の算出に用いられる画素である。キズ画素補間部２０２は、画素４０２ａがキズ画素である場合、補間値の算出に用いる画素から除外する処理を行うことで、より品位の高い画素補間を実現可能である。ベイヤー配列の構成色Ｒ、Ｇ、Ｂに関して着目画素がＢ画素である場合にも、着目画素４０１ａに対する画素４０２ａの位置関係と同様の位置関係の画素を選択する処理が行われる。

図４（Ｂ）は、ベイヤー配列の構成色Ｒ、Ｇ、Ｂに関して着目画素がＧ画素である場合、補間値の算出に用いられる画素を示す。着目画素４０１ｂはキズ画素である。網掛けで示す画素４０２ｂは、着目画素４０１ｂと同色の補間値の算出に用いられる画素である。なお、図４では補間値の算出に用いる画素の選択について一例を示しており、着目画素の周辺画素から任意の方法で画素選択を行うことが可能である。

次いで、キズ画素補間部２０２は、選択した周辺画素の画素値に基づいて補間値を算出し、着目画素の画素値を補間値で置換する。補間値の算出方法として、例えば、選択された周辺画素の中央画素値を算出する方法や、平均画素値を算出する方法がある。キズ画素補間部２０２は補間に用いる画素の選択と、補間値の算出およびキズ画素の画素値に対する補間値への置換を、小領域抽出部２０１の出力画像信号に係る全てのキズ画素に対して行う。

色補間部２０３は、キズ画素補間部２０２から出力されるベイヤー配列の画像信号に対し、色分離および補完処理を行う。色分離処理では、例えば処理対象とする画像信号がＲ成分、Ｇ成分、Ｂ成分の各信号に分離される。補完処理ではＲ、Ｇ、Ｂの各色成分の信号が存在しない座標の画素に対して画素値が補完される。

図５を参照して、色補間部２０３が行う具体的な処理について説明する。図５（Ａ）は色補間部２０３に入力されるベイヤー配列の画像信号の一部を説明する模式図である。色補間部２０３は、ベイヤー配列の画像信号をＲ成分、Ｇ成分、Ｂ成分の各信号に分離する。図５（Ｂ）は分離後の各色成分の信号に対応する配列を示す。色補間部２０３は各色成分の信号が存在しない座標の画素に対する画素値としてゼロを挿入する。次に色補間部２０３は各色信号にローパスフィルタ処理を施す。図５（Ｃ）はローパスフィルタ処理後の各色成分の信号に対応する配列を示す。色補間部２０３は、ゼロを挿入した画素の画素値を、周辺画素の画素値に基づいて補完する。

図２に示すダウンサンプリング部２０４は、色補間部２０３から出力されるＲ成分、Ｇ成分、Ｂ成分の各信号に対し、所定の縮小率でダウンサンプリングを行う。所定の縮小率は、例えば画像の水平方向および垂直方向にて２分の１倍や４分の３倍である。

アップサンプリング部２０５は、ダウンサンプリング部２０４から出力されるＲ成分、Ｇ成分、Ｂ成分の各信号に対し、ニューラルネットワークを用いた推論により所定の拡大率でアップサンプリングを行う。所定の拡大率は、アップサンプリング部２０５の出力画像信号に係る画像サイズがダウンサンプリング部２０４の入力画像信号に係る画像サイズと同じになる倍率である。例えば、ダウンサンプリング部２０４での縮小率が水平方向および垂直方向にて２分の１倍である場合、アップサンプリング部２０５での拡大率は水平方向および垂直方向にて２倍である。

本実施例において、アップサンプリングに適用されるニューラルネットワーク（以下、ＮＮとも記す）は、正解画像および訓練画像に基づいて機械学習が行われたネットワークである。正解画像をダウンサンプリング部２０４での縮小率と同じ縮小率でダウンサンプリングして生成された訓練画像に基づいて機械学習が予め行われる。機械学習後のネットワークモデルを用いた演算により所定の拡大率でアップサンプリング処理を行うことができる。なお、正解画像の画像サイズについては小領域抽出部２０１の出力画像信号に係る画像サイズと同じサイズにしてもよい。さらに、訓練画像は正解画像に対して、小領域抽出部２０１の出力画像の画素と同じ位置に疑似的なキズ画素による劣化の影響を付与した画像である。訓練画像はキズ画素補間部２０２、色補間部２０３、ダウンサンプリング部２０４と同様の処理を経て生成することができる。これにより、アップサンプリング部２０５にてキズ画素による劣化の影響を抑制した、より高品位なアップサンプリングを行うことが可能である。

Ｒ成分、Ｇ成分、Ｂ成分の信号に対してＮＮの機械学習済モデルを適用したアップサンプリング方法は一例である。Ｒ成分、Ｇ成分、Ｂ成分の３つの画像信号を入力信号および出力信号とするＮＮの機械学習済モデルを用いた演算によってアップサンプリングを行う方法がある。この方法では、正解画像と訓練画像をそれぞれＲ成分、Ｇ成分、Ｂ成分に対応する３つの画像として機械学習が行われたネットワークモデルが用いられる。これにより、各色成分間の関連性を加味した、より高品位なアップサンプリングを行うことが可能である。

図２に示す色合成部２０６は、アップサンプリング部２０５からのＲ成分、Ｇ成分、Ｂ成分の出力画像信号を合成し、ベイヤー配列の画像信号を出力する。色合成部２０６が行う具体的な処理について、図６を参照して説明する。

図６（Ａ）は色合成部２０６へのＲ成分、Ｇ成分、Ｂ成分の入力画像信号の一部を説明する模式図である。図６（Ａ）にて網掛けで示す画素は、色合成部２０６が入力画像信号から色成分ごとに抽出する画素である。図６（Ｂ）は色合成処理後のベイヤー配列の画像信号の一部を説明する模式図である。色合成部２０６は、単一の画像信号での各色成分に対応する座標に対し、抽出した各色成分の画素の画素値を割り付けることにより、ベイヤー配列の画像信号を生成する。

図２に示すキズ画素合成部２０７は、小領域抽出部２０１の出力画像信号に対し、色合成部２０６の出力画像信号を合成する。具体的には、キズ画素合成部２０７はキズ画素座標データを参照し、処理対象とする画素の座標値がキズ画素の座標値に一致する場合、色合成部２０６の出力画像信号を出力する。また、キズ画素合成部２０７はキズ画素座標データを参照し、処理対象とする画素の座標値がキズ画素座標に一致しない場合、小領域抽出部２０１の出力画像信号を出力する。これにより、小領域抽出部２０１の出力画像信号のうち、キズ画素に対してのみ、色合成部２０６の出力画像信号への置換処理を行うことができる。

キズ画素合成部２０７はさらに、キズ画素に隣接する隣接画素の座標に対して、小領域抽出部２０１の出力画像信号と色合成部２０６の出力画像信号とを加重加算して出力してもよい。例えば、小領域抽出部２０１の出力画像信号に係る画素値をｐ％の割合とし、色合成部２０６の出力画像信号に係る画素値を（１－ｐ）％の割合として加重加算による合成処理が実行される。条件「０≦ｐ≦１００」を満たし、例えばｐ値は５０である。キズ画素の画素値に関し、小領域抽出部２０１の出力画像信号に係る画素値から色合成部２０６の出力画像信号に係る画素値に置換することにより生じ得る空間的な信号の切り替わりの影響を抑制できる。

図２に示す小領域合成部２０８は、入力されるＳＩＧ＿Ｉに対し、対応する座標にてキズ画素合成部２０７の出力画像信号を合成する。具体的には、小領域合成部２０８は小領域座標データを参照し、着目領域の座標値が小領域の座標値に一致する場合、キズ画素合成部２０７の出力画像信号を出力する。また小領域合成部２０８は小領域座標データを参照し、着目領域の座標値が小領域の座標値に一致しない場合、ＳＩＧ＿Ｉを出力する。これにより、ＳＩＧ＿Ｉのうち、小領域における画素値に対してのみ、キズ画素合成部２０７の出力画像信号に基づく画素値に置換することができる。小領域とは、小領域抽出部２０１にて抽出される小領域と同じサイズであって、その小領域座標を左上端の画素の座標とする領域である。これにより、キズ画素補間部２０２からキズ画素合成部２０７までの小領域での処理結果を、小領域が抽出される前のＳＩＧ＿Ｉに対して反映させることが可能である。

本実施例では着目画素の補間後にダウンサンプリングが行われ、その後にニューラルネットワークを用いた推論によるアップサンプリングが行われる。本実施例によれば、着目画素に対する、より高品位な補正を行うことができる。

［第２実施例］
次に図７から図１０を参照して、第２実施例について説明する。本実施例では、所定の条件に応じて、キズ画素の補正処理におけるダウンサンプリングの縮小率およびアップサンプリングの拡大率を変更する例を示す。本実施例にて第１実施例と同様の構成については既に使用した符号を用いることで詳細な説明を省略し、主に相違点を説明する。このような説明の省略方法については後述の実施例でも同じである。

図７は、本実施例におけるキズ画素の補正処理部２００の構成例を示すブロック図である。図２に示す構成との相違点は倍率算出部７０１が追加されている点である。倍率算出部７０１は、小領域抽出部２０１の出力画像信号に基づいて、ダウンサンプリング部２０４の縮小率およびアップサンプリング部２０５の拡大率を算出する。具体的には、倍率算出部７０１は先ず、小領域抽出部２０１の出力画像信号に係る平均輝度を算出する。次いで、倍率算出部７０１は平均輝度に基づき、キズ画素による画質の劣化度を算出する。図８を参照して具体的に説明する。

図８は、横軸に示す平均輝度と縦軸に示す画質劣化度との関係の例を示すグラフである。キズ画素による画質の劣化に関しては、キズ画素とその周辺画素とのコントラストが高いほど目立ちやすく、また当該コントラストが低いほど目立ちにくいという傾向がある。図８では、暗電流に起因するキズ画素を想定した場合の平均輝度と画質劣化度との関係を例示している。この場合、キズ画素は周辺画素にて暗いほどコントラストが高くなり、劣化が目立ちやすく、また周辺画素にて明るいほどコントラストが低くなり、劣化が目立ちにくくなる。そのため、倍率算出部７０１は平均輝度が高いほど画質劣化度が小さくなるように画質劣化度を算出する。倍率算出部７０１は算出した画質劣化度に基づいて、ダウンサンプリング部２０４の縮小率およびアップサンプリング部２０５の拡大率を決定する。テーブルデータを参照する方法の例を図９に示す。

図９は、テーブルデータの一例を示す表であり、画質劣化度に対応する縮小率と拡大率を示す。図９の例では、画質劣化度の増加に対して、ダウンサンプリング部２０４の縮小率は増加し、アップサンプリング部２０５の拡大率は減少する傾向である。縮小率と拡大率とは逆比（反比例）の関係にある。なお、図９では３段階の例を示すが、２段階とし、または４段階以上に拡張すること、あるいは画質劣化度に対して縮小率および拡大率を連続的に変更することが可能である。

アップサンプリング部２０５によるキズ画素の補正効果は、アップサンプリングの拡大率が大きいほど強くなりやすく、拡大率が小さいほど弱くなりやすいという傾向がある。一方で、解像感の低下や補正痕等による弊害は、拡大率が大きいほど大きくなりやすく、拡大率が小さいほど小さくなりやすいという傾向がある。そこで本実施例では、画質劣化度に応じて拡大率を変更することで、キズ画素の劣化の目立ちやすさに応じた相応の補正効果を奏することが可能であり、また、過補正による弊害を抑制することが可能である。

ダウンサンプリング部２０４は、倍率算出部７０１が決定した縮小率のデータを取得し、縮小率に応じたダウンサンプリングを行う。またアップサンプリング部２０５は、倍率算出部７０１が決定した拡大率のデータを取得し、拡大率に応じたアップサンプリングを行う。例えば、アップサンプリング部２０５は拡大率の異なる複数のニューラルネットワークの機械学習済モデルを備え、拡大率に応じて使用する機械学習済モデルを切り替える。

本実施例では、平均輝度に対応する画質劣化度が算出され、画質劣化度に対応する縮小率および拡大率が算出される。この例に限定されることなく、倍率算出部７０１は画質劣化度の算出を介さず、平均輝度から直接に縮小率および拡大率を算出してもよい。この処理によって、キズ画素の劣化の目立ちやすさに応じた相応の補正効果を奏することが可能であり、また過補正による弊害を抑制することが可能である。

また本実施例にて、倍率算出部７０１は小領域抽出部２０１の出力画像信号に係る平均輝度から画質劣化度を算出するが、キズ画素の周辺画素の輝度に基づいて画質劣化度を算出する方法であれば、どのような方法を採用してもよい。例えば倍率算出部７０１は、キズ画素の画素値と、キズ画素の周辺画素の画素値との比率から画質劣化度を算出する。

倍率算出部７０１における画質劣化度の算出方法については、キズ画素の周辺画素の輝度に基づく算出方法に限定されない。例えば倍率算出部７０１は、入力画像信号ＳＩＧ＿Ｉを取得するときの撮像素子の温度に基づいて画質劣化度を算出する。この場合、撮像素子の温度検出部が設けられており、温度検出部は不図示の撮像素子温度計によって温度計測を行う。図１の制御部１０１は、温度検出部から撮像素子の温度情報を取得し、倍率算出部７０１に対して撮像素子の温度情報を出力する。倍率算出部７０１は撮像素子の温度情報に基づいて画質劣化度を算出する。図１０を参照して、撮像素子の温度情報から画質劣化度を算出する例を示す。

図１０は横軸に示す撮像素子の温度と縦軸に示す画質劣化度との関係の例を示すグラフである。図１０では暗電流に起因するキズによる劣化の強さを想定している。倍率算出部７０１は撮像素子の温度が高いほど、画質劣化度が大きくなるように算出処理を行う。暗電流に起因するキズの影響に関して、撮像素子の温度が高いほど信号振幅が大きくなり、劣化が目立ちやすくなるという傾向がある。さらには、撮像素子がアバランシェ発光現象を利用したＳＰＡＤイメージセンサである場合、キズ画素に係る信号振幅が大きくなる可能性がある。周辺画素へのクロストークによるキズ画素の影響の広がりが強くなった場合、さらに劣化が目立ちやすくなる。そこで、倍率算出部７０１は図１０に示すように、ＳＩＧ＿Ｉを取得する際の撮像素子の温度がより高いほど、より大きな画質劣化度を算出する。その他には、暗電流に起因するキズを想定した画質劣化度の算出方法として、撮像素子によってＳＩＧ＿Ｉを取得する際の露光時間に応じて画質劣化度を算出する方法がある。この場合、図１０における撮像素子の温度に代えて露光時間が使用される。なお、図１０では一例として線形特性のグラフを示すが、非線形特性または階段関数で表現される特性のグラフにしたがって画質劣化度の算出を行ってもよい。

本実施例では画質劣化度に応じて、着目画素の補正処理におけるダウンサンプリングの縮小率およびアップサンプリングの拡大率を変更することで、着目画素に対して、より高品位な補正を行うことができる。

［第３実施例］
図１１および図１２を参照して、第３実施例について説明する。本実施例では、キズ画素の補正結果の信頼度を判定してキズ画素の補正を行う例を示す。図１１は、本実施例におけるキズ画素の補正処理部２００の構成例を示すブロック図である。図２に示す構成との相違点は、補正値生成部１１０１、信頼度判定部１１０２、低信頼補正部１１０３が設けられている点である。

補正値生成部１１０１は、小領域抽出部２０１の出力画像信号に対し、キズ画素座標データに基づいて補正値を生成する。キズ画素補間部２０２から色合成部２０６までの一連の処理により生成されるキズ画素の補正値の信頼度が低い場合（低信頼）、補正値生成部１１０１は代用するためのキズ画素の補正値を生成する。具体的には、補正値生成部１１０１は、小領域抽出部２０１の出力画像信号に対し、キズ画素座標データを用いてキズ画素を特定する。次に補正値生成部１１０１は、キズ画素に対し、補間値の算出に用いる周辺画素を選択する。補間値の算出に用いる画素の選択方法については、キズ画素補間部２０２にて説明した方法と同様である。次いで補正値生成部１１０１は、選択した周辺画素の画素値に基づいて補間値を算出して、着目画素の画素値を補間値で置換する。補間値の算出方法として、例えば、選択した周辺画素の中央画素値を算出する方法や、平均画素値を算出する方法がある。補正値生成部１１０１は、補間に用いる画素の選択処理と、補間値の算出処理と、キズ画素の画素値に対する補間値への置換処理を、小領域抽出部２０１の出力画像信号に係る全てのキズ画素に対して実行する。

信頼度判定部１１０２は、色合成部２０６の出力画像信号と小領域抽出部２０１の出力画像信号を取得し、キズ画素座標データに基づいて信頼度判定を行う。色合成部２０６の出力画像信号と、小領域抽出部２０１の出力画像信号とが比較されて、キズ画素補間部２０２から色合成部２０６までの一連の処理により生成されるキズ画素の補正値の信頼度が判定される。具体的には、信頼度判定部１１０２は、キズ画素座標データに基づいて、色合成部２０６の出力画像信号に係る、キズ画素ではない画素（以下、非キズ画素という）を特定する。次に信頼度判定部１１０２は、色合成部２０６の出力画像信号と小領域抽出部２０１の出力画像信号との間で対応する画素の差分を、全ての非キズ画素に対して算出し、さらに非キズ画素の差分の平均値を算出する。次いで信頼度判定部１１０２は、非キズ画素の差分の平均値から、キズ画素の補正の信頼度を算出する。

図１２を参照して、キズ画素の補正の信頼度算出処理について説明する。図１２は、横軸に示す非キズ画素の差分の平均値と、縦軸に示すキズ画素の補正の信頼度との関係の例を示すグラフである。

キズ画素の補正の信頼度について、キズ画素補間部２０２から色合成部２０６までの一連の処理のうち、アップサンプリング部２０５が行う処理に着目して説明する。アップサンプリング部２０５における、ＮＮを用いたアップサンプリングの推論結果については、キズ画素および非キズ画素において本来の被写体画像の画素値に近い画素値となるよう推論される状態が最も確からしいといえる。ここで、非キズ画素における本来の被写体画像の画素値とは、小領域抽出部２０１の出力画像信号に係る画像の画素値と一致する画素値である。しかし、被写体に特定の模様がある場合等の特殊な状態において、アップサンプリング部２０５は、推論により本来の被写体画像に無いパターンを生成してしまう可能性がある。この場合、アップサンプリング部２０５の出力画像信号について補正されたキズ画素、および非キズ画素の両方が、本来の被写体画像とは異なる状態になりやすい。本実施例では、非キズ画素について色合成部２０６の出力画像信号と小領域抽出部２０１の出力画像信号との差分を参照することで、キズ画素における推論の確からしさを間接的に推定することができる。

以上の理由により、信頼度判定部１１０２は非キズ画素の差分の平均値が大きいほど、キズ画素の補正の信頼度が低くなるようにキズ画素の補正の信頼度を算出する。図１２の例では、非キズ画素の差分の平均値が第１の閾値以下である場合、キズ画素の補正の信頼度は一定である。非キズ画素の差分の平均値が第１の閾値より大きく、かつ第２の閾値以下である場合、非キズ画素の差分の平均値の増加につれてキズ画素の補正の信頼度は低下する。非キズ画素の差分の平均値が第２の閾値より大きい場合、キズ画素の補正の信頼度の値はゼロである。信頼度判定部１１０２は判定結果を信頼度情報として低信頼補正部１１０３に出力する。

図１１に示す低信頼補正部１１０３は、色合成部２０６の出力画像信号と補正値生成部１１０１の出力画像信号を取得し、信頼度判定部１１０２から出力されるキズ画素の補正の信頼度情報に基づいて補正処理を実行する。キズ画素の補正の信頼度情報を用いて、色合成部２０６の出力画像信号と補正値生成部１１０１の出力画像信号との合成処理が行われる。具体的には、低信頼補正部１１０３はキズ画素の補正の信頼度が低いほど色合成部２０６の出力画像信号に対する合成比率の値を小さく設定し、その分だけ補正値生成部１１０１の出力画像信号に対する合成比率の値が大きくなるように設定する。合成比率は重み付け係数に対応し、出力画像信号に対する合成の割合を表す。低信頼補正部１１０３は設定した合成比率にしたがって複数の出力画像信号に対する加重加算を行う。

補正値生成部１１０１における補正方法は、ニューラルネットワークを用いないキズ画素の補正方法である。この方法では、キズ画素補間部２０２から色合成部２０６までの一連の処理に比べてキズ画素補正の品位が低下する可能性がある。一方で、キズ画素の補正結果が確からしい補正結果からかけ離れにくいという特徴がある。したがって、キズ画素補間部２０２から色合成部２０６までの一連の処理によるキズ画素補正の信頼度が低い場合には、補正値生成部１１０１の出力画像信号を用いることが望ましい。これにより、キズ画素の補正結果が確からしい補正結果からかけ離れている可能性がある場合にキズ画素の補正結果に対する修正を行うことができる。

キズ画素合成部２０７は、小領域抽出部２０１の出力画像信号と低信頼補正部１１０３の出力画像信号を取得し、キズ画素座標データに基づいて合成処理を実行する。本実施例では、小領域抽出部２０１の出力画像信号と低信頼補正部１１０３の出力画像信号とを合成する処理が行われる。

本実施例の信頼度判定部１１０２は、色合成部２０６の出力画像信号と小領域抽出部２０１の出力画像信号における非キズ画素の差分の平均値に基づいて信頼度を算出する。これに限定されることなく、非キズ画素を比較する方法であれば、どのような信頼度の算出方法でもよい。例えば、信頼度判定部１１０２は色合成部２０６の出力画像信号と小領域抽出部２０１の出力画像信号における非キズ画素の差分の最大値に基づいて信頼度を算出してもよい。これによっても、キズ画素補正の確からしさを推定することが可能である。

また、低信頼補正部１１０３は、補正値生成部１１０１の出力画像信号に代えて、キズ画素補間部２０２の出力画像信号と、色合成部２０６の出力画像信号とを合成してもよい。これによっても、ＮＮの推論結果を用いないキズ画素の補正を行った信号により、キズ画素の補正結果に対する修正を行うことができる。

本実施例によれば、キズ画素の補正結果の信頼度を判定し、信頼度の判定結果に基づいて、より高品位にキズ画素の補正を行うことができる。

本発明の好ましい実施例を説明したが、本発明はこれらに限定されずその要旨の範囲内で様々な変形や変更が可能である。前記実施例の構成の一部を適宜に組み合わせてもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００撮像装置
１０１制御部
１０５撮像部
１０７画像処理部
２００補正処理部

Claims

画像の着目画素の位置情報を取得する取得手段と、
前記着目画素を含む領域を前記画像から抽出する抽出手段と、
前記抽出手段により抽出された前記領域にて前記着目画素に係る補間を行う補間手段と、
前記補間手段により補間された画素を有する画像に対してダウンサンプリングを行い、第１の画像のデータを出力する第１の処理手段と、
前記第１の画像のデータに対してアップサンプリングを行い、第２の画像のデータを生成する第２の処理手段と、
前記領域の着目画素に対して、前記第２の画像にて対応する画素を合成して第３の画像のデータを生成する合成手段と、を備える
ことを特徴とする画像処理装置。
前記着目画素は、遮光状態の撮像素子により撮像された画像において画素値が閾値以上の画素であり、
前記合成手段は、前記領域の着目画素の周辺画素であって、かつ画素値が閾値以上である画素に対して、前記第２の画像にて対応する画素を合成する
ことを特徴とする請求項１に記載の画像処理装置。
前記第２の処理手段は、正解画像および訓練画像を用いた機械学習に基づく演算によりアップサンプリングを行う
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
前記訓練画像は、前記正解画像に対して、前記領域の着目画素に対応する位置にて疑似的なキズ画素による劣化の影響を付与した画像である
ことを特徴とする請求項３に記載の画像処理装置。
前記領域は前記着目画素の位置が予め定められた座標を有し、
前記正解画像のサイズは前記領域と同じサイズであり、
前記訓練画像は、前記正解画像にて前記座標に対応する位置にて前記劣化の影響を付与した画像である
ことを特徴とする請求項４に記載の画像処理装置。
前記抽出手段により抽出された前記領域の画像に基づく前記第１の処理手段の縮小率および前記第２の処理手段の拡大率を算出する算出手段を備える
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
前記算出手段は、前記着目画素による画質の劣化度に基づく前記縮小率および拡大率を算出し、
前記第１の処理手段は、前記劣化度が第１の劣化度である場合に第１の縮小率でダウンサンプリングを行い、前記劣化度が前記第１の劣化度よりも大きい第２の劣化度である場合に前記第１の縮小率よりも大きい第２の縮小率でダウンサンプリングを行う
ことを特徴とする請求項６に記載の画像処理装置。
前記算出手段は、前記領域に係る画像の平均輝度、または前記着目画素の画素値と当該着目画素の周辺画素の画素値との比率から前記劣化度を算出する
ことを特徴とする請求項７に記載の画像処理装置。
前記算出手段は、撮像素子の温度検出手段により取得される温度情報から前記劣化度を算出する
ことを特徴とする請求項７に記載の画像処理装置。
前記算出手段は、撮像素子の露光時間から前記劣化度を算出する
ことを特徴とする請求項７に記載の画像処理装置。
画像の着目画素の位置情報を取得する取得手段と、
前記着目画素を含む領域を前記画像から抽出する抽出手段と、
前記抽出手段により抽出された前記領域にて前記着目画素に係る補間を行う補間手段と、
前記補間手段により補間された画素を有する画像に対してダウンサンプリングを行い、第１の画像のデータを出力する第１の処理手段と、
前記第１の画像のデータに対してアップサンプリングを行い、第２の画像のデータを生成する第２の処理手段と、
前記着目画素の補正の信頼度情報にしたがって、前記第２の画像に対する画素の補正を行い、第３の画像のデータを生成する補正手段と、
前記領域の着目画素に対して、前記第３の画像にて対応する画素を合成して第４の画像のデータを生成する合成手段と、を備える
ことを特徴とする画像処理装置。
前記着目画素の補正の信頼度判定を行う判定手段と、
前記抽出手段の出力に対し、前記位置情報を用いて前記着目画素の補正値を生成する補正値生成手段と、をさらに備え、
前記判定手段は、前記領域における前記着目画素でない画素と、当該画素に対応する前記第２の画像の画素との差分を算出して信頼度判定を行い、
前記補正手段は、前記判定手段による前記信頼度の判定結果にしたがって、前記第２の画像のデータと前記補正値生成手段の出力する画像のデータとを合成して前記第３の画像のデータを生成する
ことを特徴とする請求項１１に記載の画像処理装置。
前記判定手段は、前記差分の平均値または最大値に基づく信頼度を算出し、
前記補正手段は、
前記判定手段によって前記第１の信頼度が算出された場合、前記第２の画像に対する合成比率の値を第１の値に設定するとともに、前記補正値生成手段が出力する画像に対する合成比率の値を第２の値に設定し、
前記判定手段によって前記第１の信頼度よりも低い第２の信頼度が算出された場合、前記第２の画像に対する合成比率の値を前記第１の値よりも小さい第３の値に設定するとともに、前記補正値生成手段が出力する画像に対する合成比率の値を前記第２の値よりも大きい第４の値に設定する
ことを特徴とする請求項１２に記載の画像処理装置。
前記着目画素の補正の信頼度判定を行う判定手段を備え、
前記判定手段は、前記領域における前記着目画素でない画素と、当該画素に対応する前記第２の画像の画素との差分を算出して信頼度判定を行い、
前記補正手段は、前記判定手段による前記信頼度の判定結果にしたがって、前記第２の画像のデータと前記補間手段の出力する画像のデータとを合成して前記第３の画像のデータを生成する
ことを特徴とする請求項１１に記載の画像処理装置。
前記第２の処理手段は、機械学習に基づく演算によりアップサンプリングを行い、
前記補正値生成手段は、前記着目画素の周辺画素から選択された複数の画素の画素値から前記補正値を生成する
ことを特徴とする請求項１２に記載の画像処理装置。
前記第２の処理手段は、機械学習に基づく演算によりアップサンプリングを行い、
前記補間手段は、前記着目画素の周辺画素から選択された複数の画素の画素値に基づく補間値を算出する
ことを特徴とする請求項１４に記載の画像処理装置。
請求項１から１６のいずれか１項に記載の画像処理装置を備える
ことを特徴とする撮像装置。
アバランシェ発光現象を利用した撮像素子を備える
ことを特徴とする請求項１７に記載の撮像装置。
画素補正を行う画像処理装置にて実行される画像処理方法であって、
画像の着目画素の位置情報を取得する取得工程と、
前記着目画素を含む領域を前記画像から抽出する抽出工程と、
抽出された前記領域にて前記着目画素に係る補間を行う補間工程と、
補間された画素を有する画像に対してダウンサンプリングを行い、第１の画像のデータを出力する第１の処理工程と、
前記第１の画像のデータに対してアップサンプリングを行い、第２の画像のデータを生成する第２の処理工程と、
前記領域の着目画素に対して、前記第２の画像にて対応する画素を合成して第３の画像のデータを生成する合成工程と、を有する
ことを特徴とする画像処理方法。
画素補正を行う画像処理装置にて実行される画像処理方法であって、
画像の着目画素の位置情報を取得する取得工程と、
前記着目画素を含む領域を前記画像から抽出する抽出工程と、
抽出された前記領域にて前記着目画素に係る補間を行う補間工程と、
補間された画素を有する画像に対してダウンサンプリングを行い、第１の画像のデータを出力する第１の処理工程と、
前記第１の画像のデータに対してアップサンプリングを行い、第２の画像のデータを生成する第２の処理工程と、
前記着目画素の補正の信頼度情報にしたがって、前記第２の画像に対する画素の補正を行い、第３の画像のデータを生成する補正工程と、
前記領域の着目画素に対して、前記第３の画像にて対応する画素を合成して第４の画像のデータを生成する合成工程と、を有する
ことを特徴とする画像処理方法。
請求項１９または請求項２０に記載の各工程を、画像処理装置のコンピュータに実行させるプログラム。