JP2023118661A

JP2023118661A - 処理装置、光電変換システム

Info

Publication number: JP2023118661A
Application number: JP2022188829A
Authority: JP
Inventors: 和浩森本; Kazuhiro Morimoto; 寛関根; Hiroshi Sekine
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2022-02-15
Filing date: 2022-11-28
Publication date: 2023-08-25

Abstract

【課題】キズ補正精度向上による画質の低下抑制【解決手段】アレイ状に配された複数の画素の出力値に基づく第１の配列データを記憶する第１の記憶部と、前記複数の画素からの前記出力値の補正に用いる第２の配列データを記憶する第２の記憶部と、前記第１の配列データと前記第２の配列データとに基づいて前記複数の画素の少なくとも１つの画素の出力値を補正する演算部と、を含む補正部と、を有する処理装置。【選択図】図７

Description

本発明は、処理装置及び光電変換システムに関するものである。

キズ補正手段として、周囲の画素に対して出力レベルが高い画素をキズ画素として抽出し、キズ画素出力を周囲画素の出力の平均値に置換する方法が知られている。

米国特許出願公開第２００７－０３０３６５号明細書

しかしながら、特許文献１に記載の補正方法ではキズ補正の精度が低下し、画質が低下するという課題があった。本発明は上記課題を鑑みてなされたものであり、キズ補正精度向上による画質の低下抑制を目的とするものである。

本発明の一つの側面は、処理装置であって、アレイ状に配された複数の画素の出力値に基づく第１の配列データを記憶する第１の記憶部と、前記複数の画素からの前記出力値の補正に用いる第２の配列データを記憶する第２の記憶部と、前記第１の配列データと前記第２の配列データとに基づいて前記複数の画素の少なくとも１つの画素の出力値を補正する演算部と、を含む補正部と、を有する。

本発明によれば、キズ補正の精度及び画質の向上が可能になる。

実施形態にかかる処理装置と共に使用されうる光電変換装置の概略図である。実施形態にかかる処理装置と共に使用されうる光電変換装置のＰＤ基板の概略図である。実施形態にかかる処理装置と共に使用されうる光電変換装置の回路基板の概略図である。実施形態にかかる処理装置と共に使用されうる光電変換装置の画素回路の構成例である。実施形態にかかる処理装置と共に使用されうる光電変換装置の画素回路の駆動を示す模式図である。第１の実施形態の比較例にかかる処理装置の説明図である。第１の実施形態にかかる処理装置の説明図である。第１の実施形態にかかる処理装置のブロック図である。第１の実施形態にかかる処理装置のフロー図である。第１の実施形態にかかる処理装置の補正用配列の説明図である。第２の実施形態にかかる処理装置のブロック図である。第２の実施形態にかかる処理装置のフロー図である。第３の実施形態にかかる処理装置のフロー図である。第４の実施形態にかかる処理装置のフロー図である。第５の実施形態にかかる処理装置の説明図である。第５の実施形態にかかる処理装置のブロック図である。第５の実施形態にかかる処理装置のフロー図である。第６の実施形態にかかる処理装置のブロック図である。第６の実施形態にかかる処理装置のフロー図である。第７の実施形態にかかる処理装置の説明図である。第７の実施形態にかかる処理装置のブロック図である。第７の実施形態にかかる処理装置のフロー図である。第８の実施形態にかかる処理装置を含む光電変換システムの機能ブロック図である。第９の実施形態にかかる処理装置を含む光電変換システムの機能ブロック図である。第１０の実施形態にかかる処理装置を含む光電変換システムの機能ブロック図である。第１１の実施形態にかかる処理装置を含む光電変換システムの機能ブロック図である。第１２の実施形態にかかる処理装置を含む光電変換システムの機能ブロック図である。

以下に示す形態は、本発明の技術思想を具体化するためのものであって、本発明を限定するものではない。各図面が示す部材の大きさや位置関係は、説明を明確にするために誇張していることがある。以下の説明において、同一の構成については同一の番号を付して説明を省略することがある。

以下、図面に基づいて本発明の実施の形態を詳細に説明する。なお、以下の説明では、必要に応じて特定の方向や位置を示す用語（例えば、「上」、「下」、「右」、「左」及び、それらの用語を含む別の用語）を用いる。それらの用語の使用は図面を参照した実施形態の理解を容易にするためであって、それらの用語の意味によって本発明の技術的範囲が限定されるものではない。

本明細書において、平面視とは、半導体層の光入射面に対して垂直な方向から視ることである。また、断面視とは、半導体層の光入射面と垂直な方向における面をいう。なお、微視的に見て半導体層の光入射面が粗面である場合は、巨視的に見たときの半導体層の光入射面を基準として平面視を定義する。

以下の説明において、ＡＰＤ（アバランシェフォトダイオード）のアノードを固定電位とし、カソード側から信号を取り出している。したがって、信号電荷と同じ極性の電荷を多数キャリアとする第１導電型の半導体領域とはＮ型半導体領域であり、信号電荷と異なる極性の電荷を多数キャリアとする第２導電型の半導体領域とはＰ型半導体領域である。なお、ＡＰＤのカソードを固定電位とし、アノード側から信号を取り出す場合でも本発明は成立する。この場合は、信号電荷と同じ極性の電荷を多数キャリアとする第１導電型の半導体領域はＰ型半導体領域であり、信号電荷と異なる極性の電荷を多数キャリアとする第２導電型の半導体領域とはＮ型半導体領域である。以下では、ＡＰＤの一方のノードを固定電位とする場合について説明するが、両方のノードの電位が変動してもよい。

本明細書において、単に「不純物濃度」という用語が使われた場合、逆導電型の不純物によって補償された分を差し引いた正味の不純物濃度を意味している。つまり、「不純物濃度」とは、ＮＥＴドーピング濃度を指す。Ｐ型の添加不純物濃度がＮ型の添加不純物濃度より高い領域はＰ型半導体領域である。反対に、Ｎ型の添加不純物濃度がＰ型の添加不純物濃度より高い領域はＮ型半導体領域である。

本発明に係る処理装置と共に使用されうる光電変換装置及びその駆動方法の各実施形態に共通する構成について、図１から図５を用いて説明する。なお、本説明では光電変換装置の外部に設けられた処理装置について説明するが、処理装置は例えば光電変換装置内に構成されてもよい。

図１は、本発明の実施形態に係る積層型の光電変換装置１００の構成を示す図である。光電変換装置１００は、センサ基板１１と、回路基板２１の２つの基板が積層され、且つ電気的に接続されることにより構成される。センサ基板１１は、後述する光電変換素子１０２を有する第１半導体層と、第１配線構造と、を有する。回路基板２１は、後述する信号処理部１０３等の回路を有する第２半導体層と、第２配線構造と、を有する。光電変換装置１００は、第２半導体層、第２配線構造、第１配線構造、第１半導体層の順に積層して構成される。各実施形態に記載の光電変換装置は、第１面から光が入射し、第２面に回路基板が配される、裏面照射型の光電変換装置である。

以下では、センサ基板１１と回路基板２１とは、ダイシングされたチップで説明するが、チップに限定されない。例えば、各基板はウエハであってもよい。また、各基板はウエハ状態で積層した後にダイシングされていてもよいし、チップ化した後にチップを積層して接合してもよい。

センサ基板１１には、画素領域１２が配され、回路基板２１には、画素領域１２で検出された信号を処理する回路領域２２が配される。

図２は、センサ基板１１の配置例を示す図である。ＡＰＤを含む光電変換素子１０２を有する画素１０１が平面視で二次元アレイ状に配列され、画素領域１２を形成する。

画素１０１は、典型的には、画像を形成するための画素であるが、ＴＯＦ（ＴｉｍｅｏｆＦｌｉｇｈｔ）に用いる場合には、必ずしも画像を形成しなくてもよい。すなわち、画素１０１は、光が到達した時刻と光量を測定するための画素であってもよい。

図３は、回路基板２１の構成図である。図２の光電変換素子１０２で光電変換された電荷を処理する信号処理部１０３、読み出し回路１１２、制御パルス生成部１１５、水平走査回路部１１１、信号線１１３、垂直走査回路部１１０を有している。

図２の光電変換素子１０２と、図３の信号処理部１０３は、画素毎に設けられた接続配線を介して電気的に接続される。

垂直走査回路部１１０は、制御パルス生成部１１５から供給された制御パルスを受け、各画素に制御パルスを供給する。垂直走査回路部１１０にはシフトレジスタやアドレスデコーダといった論理回路が用いられる。

画素の光電変換素子１０２から出力された信号は、信号処理部１０３で処理される。信号処理部１０３は、カウンタやメモリなどが設けられており、メモリにはデジタル値が保持される。

水平走査回路部１１１は、デジタル信号が保持された各画素のメモリから信号を読み出すために、各列を順次選択する制御パルスを信号処理部１０３に入力する。

信号線１１３には、選択されている列について、垂直走査回路部１１０により選択された画素の信号処理部１０３から信号が出力される。

信号線１１３に出力された信号は、出力回路１１４を介して、光電変換装置１００の外部の記録部または信号処理部に出力する。

図２において、画素領域における光電変換素子の配列は１次元状に配されていてもよい。信号処理部の機能は、必ずしも全ての光電変換素子に１つずつ設けられる必要はなく、例えば、複数の光電変換素子によって１つの信号処理部が共有され、順次信号処理が行われてもよい。

図２および図３に示すように、平面視で画素領域１２に重なる領域に、複数の信号処理部１０３が配される。そして、平面視で、センサ基板１１の端と画素領域１２の端との間に重なるように、垂直走査回路部１１０、水平走査回路部１１１、列回路１１２、出力回路１１４、制御パルス生成部１１５が配される。言い換えると、センサ基板１１は、画素領域１２と画素領域１２の周りに配された非画素領域とを有し、平面視で非画素領域に重なる領域に、垂直走査回路部１１０、水平走査回路部１１１、列回路１１２、出力回路１１４、制御パルス生成部１１５が配される。

図４は、図２及び図３の等価回路を含むブロック図の一例である。

図２において、ＡＰＤ２０１を有する光電変換素子１０２は、センサ基板１１に設けられており、その他の部材は、回路基板２１に設けられている。

ＡＰＤ２０１は、光電変換により入射光に応じた電荷対を生成する光電変換部である。ＡＰＤ２０１のアノードには、電圧ＶＬ（第１電圧）が供給される。また、ＡＰＤ２０１のカソードには、アノードに供給される電圧ＶＬよりも高い電圧ＶＨ（第２電圧）が供給される。アノードとカソードには、ＡＰＤ２０１がアバランシェ増倍動作をするような逆バイアス電圧が供給される。このような電圧を供給した状態とすることで、入射光によって生じた電荷がアバランシェ増倍を起こし、アバランシェ電流が発生する。

尚、逆バイアスの電圧が供給される場合において、アノードおよびカソードの電位差が降伏電圧より大きいな電位差で動作させるガイガーモードと、アノードおよびカソードの電位差が降伏電圧近傍、もしくはそれ以下の電圧差で動作させるリニアモードがある。

ガイガーモードで動作させるＡＰＤをＳＰＡＤと呼ぶ。例えば、電圧ＶＬ（第１電圧）は、－３０Ｖ、電圧ＶＨ（第２電圧）は、１Ｖである。ＡＰＤ２０１は、リニアモードで動作させてもよいし、ガイガーモードで動作させてもよい。ＳＰＡＤの場合はリニアモードのＡＰＤに比べて電位差が大きくなり耐圧の効果が顕著となるため、ＳＰＡＤであることが好ましい。

クエンチ素子２０２は、電圧ＶＨを供給する電源とＡＰＤ２０１に接続される。クエンチ素子２０２は、アバランシェ増倍による信号増倍時に負荷回路（クエンチ回路）として機能し、ＡＰＤ２０１に供給する電圧を抑制して、アバランシェ増倍を抑制する働きを持つ（クエンチ動作）。また、クエンチ素子２０２は、クエンチ動作で電圧降下した分の電流を流すことにより、ＡＰＤ２０１に供給する電圧を電圧ＶＨへと戻す働きを持つ（リチャージ動作）。

信号処理部１０３は、波形整形部２１０、カウンタ回路２１１、選択回路２１２を有する。本明細書において、信号処理部１０３は、波形整形部２１０、カウンタ回路２１１、選択回路２１２のいずれかを有していればよい。

波形整形部２１０は、光子検出時に得られるＡＰＤ２０１のカソードの電位変化を整形して、パルス信号を出力する。波形整形部２１０としては、例えば、インバータ回路が用いられる。図４では、波形整形部２１０としてインバータを一つ用いた例を示したが、複数のインバータを直列接続した回路を用いてもよいし、波形整形効果があるその他の回路を用いてもよい。

カウンタ回路２１１は、波形整形部２１０から出力されたパルス信号をカウントし、カウント値を保持する。また、駆動線２１３を介して制御パルスｐＲＥＳが供給されたとき、カウンタ回路２１１に保持された信号がリセットされる。

選択回路２１２には、図３の垂直走査回路部１１０から、図４の駆動線２１４（図３では不図示）を介して制御パルスｐＳＥＬが供給され、カウンタ回路２１１と信号線１１３との電気的な接続、非接続を選択する。選択回路２１２には、例えば、信号を出力するためのバッファ回路などを含む。

クエンチ素子２０２とＡＰＤ２０１との間や、光電変換素子１０２と信号処理部１０３との間にトランジスタ等のスイッチを配して、電気的な接続を切り替えてもよい。同様に、光電変換素子１０２に供給される電圧ＶＨまたは電圧ＶＬの供給をトランジスタ等のスイッチを用いて電気的に切り替えてもよい。

本実施形態では、カウンタ回路２１１を用いる構成を示した。しかし、カウンタ回路２１１の代わりに、時間・デジタル変換回路（ＴｉｍｅｔｏＤｉｇｉｔａｌＣｏｎｖｅｒｔｅｒ：以下、ＴＤＣ）、メモリを用いて、パルス検出タイミングを取得する光電変換装置１００としてもよい。このとき、波形整形部２１０から出力されたパルス信号の発生タイミングは、ＴＤＣによってデジタル信号に変換される。ＴＤＣには、パルス信号のタイミングの測定に、図１の垂直走査回路部１１０から駆動線を介して、制御パルスｐＲＥＦ（参照信号）が供給される。ＴＤＣは、制御パルスｐＲＥＦを基準として、波形整形部２１０を介して各画素から出力された信号の入力タイミングを相対的な時間としたときの信号をデジタル信号として取得する。

図５は、ＡＰＤの動作と出力信号との関係を模式的に示した図である。

図５（ａ）は、図４のＡＰＤ２０１、クエンチ素子２０２、波形整形部２１０を抜粋した図である。ここで、波形整形部２１０の入力側をｎｏｄｅＡ、出力側をｎｏｄｅＢとする。図５（ｂ）は、図５（ａ）のｎｏｄｅＡの波形変化を、図５（ｃ）は、図５（ａ）のｎｏｄｅＢの波形変化をそれぞれ示す。

時刻ｔ０から時刻ｔ１の間において、図５（ａ）のＡＰＤ２０１には、ＶＨ－ＶＬの電位差が印加されている。時刻ｔ１において光子がＡＰＤ２０１に入射すると、ＡＰＤ２０１でアバランシェ増倍が生じ、クエンチ素子２０２にアバランシェ増倍電流が流れ、ｎｏｄｅＡの電圧は降下する。電圧降下量がさらに大きくなり、ＡＰＤ２０１に印加される電位差が小さくなると、時刻ｔ２のようにＡＰＤ２０１のアバランシェ増倍が停止し、ｎｏｄｅＡの電圧レベルはある一定値以上降下しなくなる。その後、時刻ｔ２から時刻ｔ３の間において、ｎｏｄｅＡには電圧ＶＬから電圧降下分を補う電流が流れ、時刻ｔ３においてｎｏｄｅＡは元の電位レベルに静定する。このとき、ｎｏｄｅＡにおいて出力波形がある閾値を越えた部分は、波形整形部２１０で波形整形され、ｎｏｄｅＢで信号として出力される。

なお、信号線１１３の配置、列回路１１２、出力回路１１４の配置は図３に限定されない。例えば、信号線１１３が行方向に延びて配されており、列回路１１２が信号線１１３の延びる先に配されていてもよい。

以下では、各実施形態の光電変換装置について説明する。

（第１の実施形態）
第１の実施形態にかかる処理装置について図６から図１０までを用いて説明する。

図６に示すのは第１の実施形態の比較例の説明図である。

一般的なキズ補正手段として、周囲の画素に対して出力レベルが高い画素をキズ画素として抽出し、周囲画素の出力の平均値または中央値に置換する方法がある。

例えば画素がアバランシェフォトダイオード（以下ＡＰＤとも記載する）である場合において、アバランシェ増倍した電荷が再結合する際のアバランシェ発光現象に起因したＣｒｏｓｓｔａｌｋにより、キズ画素が複数にまたがる場合がある。このようなキズをクラスターキズと呼称する。なお、Ｃｒｏｓｓｔａｌｋによるクラスターキズの発生は画素がＡＰＤである場合に限られず、クラスターキズはＣＭＯＳセンサにおいても発生しうる。図６（ａ）は補正前のクラスターキズを模式的に示したものである。白い画素ほど出力値が高いことを表し、図６（ａ）では中央のキズ画素に加えキズ画素の上下左右２画素ずつと、中央のキズ画素に対し対角に配された４つの画素にまで中央のキズ画素の影響が及んでいる。このようなクラスターキズを有する画素の出力を周囲画素の出力の平均値に置換する方法を適用する。図６（ｂ）はこの補正手段を示したものであり、中央のキズ画素を左右の画素の出力の平均値で置換している。しかし、この補正手段を図６（ａ）の例に適用すると、図６（ｃ）に示すように、キズ残滓が残り、補正精度が低下する。そのため、比較例の補正手段を用いると、キズ補正後の画像の画質が低下するという課題があった。

図７に示すのは第１の実施形態の説明図である。本実施形態では、クラスターキズの生じた画像（図７（ａ））について、まず周囲の画素に対して出力レベルが高い画素をキズ画素として抽出する（図７（ｂ））。このとき、キズ画素として抽出された画素以外の周囲の画素の出力は０ＬＳＢと設定される。得られたキズ画素に対し、事前に得られた補正用配列を乗算する（図７（ｃ））ことで、推定キズ分布を得る（図７（ｄ））。ここで、補正用配列とは１つのキズ画素が周辺の画素に与える影響をＣｒｏｓｓｔａｌｋ確率の行列（Ｃｒｏｓｓｔａｌｋ行列）として示したものである。また、乗算とは例えばＣｒｏｓｓｔａｌｋ行列の各要素を、キズ画素出力に基づいた数値を用いて定数倍する演算や、ＦＦＴ（高速フーリエ変換）等を用いた畳み込み演算等を含む。この処理によって、抽出したキズ画素からクラスターキズのキズ分布を推定することができる。得られた推定キズ分布を用いてクラスターキズの補正を行うことで、キズ残滓を残さない高精度なキズ補正を行うことができる。

図８に第１の実施形態に係る処理装置のブロック図を示す。

第１の実施形態に係る処理装置は、画像取得部３０１、読み出し部３０２、画像処理部３０３を有する。画像処理部３０３は、第１の記憶部３０４、キズ抽出部３０５、第２の記憶部３０６、補正部３１０を有し、補正部３１０は配列生成部３１１及び演算部３１２を含む。

画像取得部３０１は例えば図２に示す画素領域１２の画素１０１であり、読み出し部３０２は例えば図３の信号処理部１０３である。画像取得部で生成された画像データは第１の記憶部３０４に入力される。

第１の記憶部３０４は前段で生成された画像データの少なくとも一部を第１の配列データとして保持する記憶部である。具体的にはＳＲＡＭなどのメモリを記憶部として第１の配列データは格納される。

キズ抽出部３０５は第１の記憶部に格納された画像データからキズ画素の出力値を第５の配列データとして抽出し、キズ画素の位置情報及び出力値を特定する。

第２の記憶部３０６は補正用の第２の配列データを記憶している。補正用の第２の配列データとはすなわちＣｒｏｓｓｔａｌｋ行列である。

配列生成部３１１はキズ抽出部３０５で抽出されたキズ画素の位置及び出力値と第２の記憶部３０６に記憶された補正用の第２の配列データから補正用の演算データである第３の配列データを生成する。

演算部３１２は配列生成部３１１で生成された第３の配列データに基づいて画像データの補正を行う。

図９に第１の実施形態に係る処理装置のフロー図を示す。

Ｓ４０１で、キズ抽出部３０５が画像取得部３０１で取得された画像データからキズアドレスデータに基づくキズ画素の選択を行う。ここではキズアドレスデータはあらかじめ取得されたキズ画素の位置情報であるものとする。

Ｓ４０２で、Ｓ４０１で選択したキズ画素の出力値を取得する。

Ｓ４０３で第２の記憶部３０６は補正用配列データを選択する。補正用配列データはＮ行Ｍ列のデータである。詳細は後述するが、第２の記憶部３０６は複数の種類の補正用配列データを有していてもよい。

Ｓ４０４でＮ行Ｍ列の画素の推定キズ配列の生成を行う。

Ｓ４０５でキズ画素を含むＮ行Ｍ列の画素領域の画像データから推定キズ配列を減算する処理を行う。

Ｓ４０６で、Ｓ４０５での減算後に負の値になる出力値を０に置換し、処理を終了する。

補正用配列データは２以上のデータを含むものであれば１次元でも２次元でもよい。すなわち、ＮおよびＭの一方は２以上の整数、他方は１以上の整数であればよい。補正用配列データが３以上のデータを含み、Ｎ、Ｍのそれぞれが３以上の整数であることが好ましい。言い換えれば、補正用配列データは３行３列以上のサイズをもつことが好ましく、補正対象である画素データもまた３行３列以上のサイズをもつことが好ましい。本実施形態ではキズ画素の周辺に画素が存在する場合により高精度に補正を行うことができるためである。さらに、Ｃｒｏｓｓｔａｌｋ確率の対称性を考慮すると、Ｎ、Ｍは奇数であることが好ましい。

また、本実施形態では事前に取得したアドレスデータを用いてキズ画素の検出を行ったが、キズ抽出の方法はこれに限られない。クラスターキズは一般に十字状、正方形状、または円状のキズであるため、例えばパターンマッチングによりキズ画素の出力値を検出してもよい。

さらに、上記説明ではキズを含む画像データから推定キズ配列データを減算することで補正を行ったが、補正処理は減算以外であってもよく、例えばキズを含む画像データから生成したキズ配列を除算してもよい。あるいは、補正用配列において、１つのキズ画素が周辺の画素に与える影響確率の逆数を補正用配列とする場合には、キズを含む画像データから推定キズ配列データを乗算してもよい。この場合、補正用配列において、キズ画素に対応する位置（中央）には、ボトム値が付与されることになる。

図１０に第１の実施形態に係る処理装置の補正用配列の説明図を示す。

前述の通り、図９のＳ４０３では補正用配列データの選択を行う。第２の記憶部３０６は、例えば補正用配列Ａ～Ｃの３種類の補正用配列を有する。図１０（ａ）は補正用配列Ａ、図１０（ｂ）は補正用配列Ｂ、図１０（ｃ）は補正用配列Ｃのそれぞれに対応するクラスターキズの模式図である。

補正用配列Ａはキズ画素の上下左右に配された４画素に対してキズ画素が影響を与える場合に用いられる３行３列の補正用配列である。

補正用配列Ｂはキズ画素を中心に上下左右に２画素ずつとキズ画素に対して対角に配された４画素の計１２画素に対してキズ画素が影響を与える場合に用いられる５行５列の補正用配列である。

同様に、補正用配列Ｃはキズ画素を中心に上下左右に３画素ずつとキズ画素に対して対角に配された４画素の１６画素対してキズ画素が影響を与える場合に用いられる７行７列補正用配列である。Ｃｒｏｓｓｔａｌｋによる光は画素の対辺方向に進行する傾向にあるため、キズ画素の対角方向よりも上下左右の方向についてより広くキズ画素の影響を考慮している。

Ｓ４０３ではこれらの補正用配列からいずれか１つを選択するか、これらの補正用配列を重み付け加算することで１つの補正用配列を生成している。補正用回路は撮像環境や画像データを生成するセンサの温度測定結果、画像取得部及び処理装置に印加する電圧条件や駆動条件などに応じて選定してもよい。異なる画素レイアウトが混在する場合、画素レイアウトのパターンに応じて選定してもよい。また、補正の対象とする画素の画素アレイ内での配置箇所に応じて補正用配列を選択してもよい。具体的には、対象とする画素が画素アレイの端部にある場合では、Ｃｒｏｓｓｔａｌｋが発生する周囲画素の数が少ないため、サイズの小さい配列データを用いてもよい。

２次元配列データである補正用配列の１行分あるいは１列分を１次元データとして取りだすと、この１次元データは中央にピーク値を有する。また、ピーク値であるデータの中心から、１次元データの両端であるデータ端に向けて単調変化する分布を有する。さらにデータのピーク値となるデータ中心を共有し、交差する方向に配列された行方向及び列方向の１次元データは、行方向及び列方向の両方でデータの中心からデータ端に向けて単調変化する分布を持つ。

なお、例えば隣り合う２画素（画素Ａ、画素Ｂ）が共にピーク値を出力するとき、画素Ａと画素Ｂとのそれぞれが各画素を中心としたデータ分布を有する補正用配列を有することとなる。このような配置では画素Ａ、画素Ｂの双方に近接する画素において、ショットノイズや量子化誤差の影響で過度の補正処理がなされてしまう場合がある。しかし、図９のＳ４０６に示すように、過度の補正処理によって補正処理後の出力が負の値になる画素出力は０に置換されるため、この処理による画質の劣化はおこらない。なお、本実施例では画素出力を０に置換する例を示したが、キズ画素周辺の画素出力値の平均値や中央値、またはあらかじめ決められた非負の定数に置換してもよい。

また、１つのキズ画素の周囲が非キズ画素に囲まれている場合であっても、キズ画素の影響を受ける周囲の画素の出力がショットノイズによってばらつき、補正処理後の出力が確率的に負になることがある。このような場合も補正後の画素出力は０に置換されるため、過補正による画質の劣化を防ぐことができる。

上記では、補正用配列が、中央にピーク値を有する場合を中心に説明を行ったが、中央にボトム値を有する場合にも同様に、データの中心からデータ端に向けて単調変化する分布を有する。

補正用配列は、例えば画像取得部である画素領域１２のうち光入射面側を遮光膜によって遮光されたＯＢ領域（ＯｐｔｉｃａｌＢｌａｃｋ領域）のキズ画素のパターンに基づいて生成されてもよい。また、取得した画像データ群を用いて機械学習やディープラーニング等に基づくパターン学習により生成してもよい。

（第２の実施形態）
第１の実施形態にかかる処理装置について図１１及び図１２を用いて説明する。主に第１の実施形態との差分について説明し、共通する説明は省略する。

図１１に示すのは第１の実施可能に係る処理装置のブロック図である。

第２の実施形態に係る処理装置は、画像取得部３０１、読み出し部３０２、画像処理部３０３を有する。画像処理部３０３は、ゲイン調整部３１３、デモザイク部３１５を有する。また、補正部３１０は非線形補正部３１４を含む。

ゲイン調整部３１３は画像取得部と第１の記憶部との間に設けられ、画像取得部３０１で生成された画像データにデジタルゲインをかける。第２の記憶部３０６に格納された、Ｃｒｏｓｓｔａｌｋ確率に基づく補正用の配列データはしばしば小数値を有する。画像の出力が整数の場合、配列生成部で生成した配列が整数型だと量子化誤差により補正精度が低下する可能性がある。画像データにあらかじめゲインをかけることで、量子化誤差の影響を抑制し、補正精度を高めることができる。ここで、量子化誤差を１光子信号レベルの１／４倍以下に抑制できれば補正後画像が視覚的に自然になる。そのため、画像データにかけるデジタルゲインは例えば４倍以上であることが望ましい。

非線形補正部３１４は第１の記憶部３０４と演算部３１２との間に配され、画像データを補正する。画像取得部３０１がフォトンカウンティング型の検出器の場合、Ｄｅａｄｔｉｍｅの影響でしばしば光応答が非線形になる。発光Ｃｒｏｓｓｔａｌｋは周囲画素の受ける光信号に重畳して信号レベルを高めるが、非線形性の光応答の影響を受けた場合、線形応答を前提とした補正を行うと過補正になることがある。そのため、演算部３１２での演算処理の前段で画像データに非線形性補正を行うことで過補正を防ぐことができる。非線形補正は例えばＬｏｏｋＵｐＴａｂｌｅを用いて行われる。

デモザイク部３１５は演算部３１２の後段に設けられる。画像取得部３０１がカラー画像を取得可能な装置であった場合、画像所得部３０１で取得された信号に対し、隣接する画素の色情報を参照し補完するデモザイク処理を行う必要がある。Ｃｒｏｓｓｔａｌｋは画素の色配列に関係なく起こるため、Ｃｒｏｓｓｔａｌｋの補正はデモザイク処理前に実施することが望ましい。また、画像取得部３０１がカラー画像を取得可能な装置であった場合、キズ抽出部３０５は注目画素の出力と、注目画素と同色の近接画素の出力とを比較することでキズ判定を行うのが望ましい。

図１２は第２の実施形態に係る処理装置の処理フロー図である。

Ｓ５０１で、画像取得部で取得した画像データから画素の選択を行う。

Ｓ５０２でキズ画素の判定を行う。ここでは選択した画素と周辺画素との出力値の差が閾値以上である場合に選択した画素をキズ画素と判定する。選択した画素がキズ画素でなければ再び画素の選択を行い、キズ画素が判定されるまでＳ５０１、Ｓ５０２を繰り返す。選択した画素と周辺画素との出力値の差が閾値以上であれば、選択した画素をキズ画素と判定し、Ｓ５０３で補正用配列データの選択を行う。

Ｓ５０４でＮ行Ｍ列の画素の推定キズ配列の生成を行う。

Ｓ５０５で推定キズ配列を減算用画像内のＮ行Ｍ列の領域に加算する。

Ｓ５０６で画像データから減算用画像を減算する。

Ｓ５０７で、Ｓ５０６の減算後に負の値になる出力を０に置換する。

Ｓ５０８で、Ｓ５０２でキズ画素と判定された画素をＭｅｄｉａｎ補正し、処理を終了する。

キズ画素の周辺画素における偽信号レベルはクラスターキズ内では比較的低い場合が多いため、減算により精度よくキズ補正をすることが可能である。一方、クラスターキズの中心となるキズ画素は相対的に高出力のため、ショットノイズ等の影響で補正時に誤差が生じやすい。周辺画素を減算によって先に補正してから、補正後の周辺画素の出力に基づいてキズ画素の出力を補正することで、補正精度を高めることができる。

本実施形態では、キズ画素の周辺画素を減算によって補正した後に、キズ画素の出力を補正後の周辺画素出力の平均値または中央値に置換する補正を行うことにより画像全体としての補正精度を高めている。なお、減算用画像に対して、ＯＢ領域の出力に基づいたオフセット出力を加算する、または暗出力のシェーディングを考慮した出力分布を反映させることで暗電流成分のオフセット引きを行ってもよい。

本実施形態では選択した画素と周辺画素との出力値の差が閾値以上である場合に選択した画素をキズ画素と判定しているが、ここで周辺画素とは例えば選択した画素と隣り合う画素である。言い換えれば、第１の画素の出力値と、第１の画素と隣り合う第２の画素の出力値との出力差が一定の閾値以上である場合に、第１の画素または第２の画素をキズ画素と判定する。この場合、キズアドレスデータを保有せずにキズ補正を行うことができるため、記憶容量を削減し、システムの小型化が可能となる。

また、本実施形態ではキズを含む画像データから推定キズ配列データを直接減算するのではなく、キズを含む画像データから推定キズ配列データを加算して作成した減算用画像を減算することで補正を行っている。１画素ずつキズ補正をする場合、複数のキズ画素のＣｒｏｓｓｔａｌｋ影響を受ける画素は複数回の減算処理を受ける。補正処理の方法によっては減算処理のたびに量子化誤差がのり、キズ補正精度が低下する。本実施形態に示すように、減算用画像に補正用の推定キズ配列を順次加算していくことで、量子化誤差を抑制し、キズ補正の精度を高めることができる。キズ画素の周辺画素に対する補正は前述のように減算以外の除算や乗算による補正処理であってもよく、その場合も量子化誤差による補正精度の低下を防ぐことができる。

（第３の実施形態）
図１３は第３の実施形態に係る処理装置の処理フロー図である。本実施形態では、撮像シーンによってキズ補正の実施の有無を切り替えることができる。

Ｓ６０１で、画像取得部で取得した画像データの信号レベルの平均値と閾値とを比較する。信号レベルの平均値が閾値以下でなければキズ補正処理は停止される（Ｓ６０９）。信号レベルの平均値が閾値以下でない、すなわち信号レベルが高いシーンにおいてはクラスターキズの裾部は目立ちにくく、通常のキズ補正アルゴリズムでも十分な補正が可能なためである。

信号レベルの平均値が閾値以下である場合、すなわち低照度環境においては、クラスターキズ補正を行うことが好ましい。この場合はＳ６０２で取得画像の画素の選択を行う。

Ｓ６０３でキズ画素の判定を行う。選択した画素と周辺画素との出力値の差が閾値以上であれば選択した画素をキズ画素と判定する。選択した画素と周辺画素との出力値の差が閾値以上でなければ再び画素の選択を行い、キズ画素が判定されるまでＳ６０２、Ｓ６０３の動作を繰り返す。取得した画素と周辺画素との出力値の比が閾値以上であれば、Ｓ６０４で補正用配列データの選択を行う。

Ｓ６０５でＮ行Ｍ列の画素の推定キズ配列の生成を行う。

Ｓ６０６で推定キズ配列を減算用画像内のＮ行Ｍ列の画素に対応する領域に加算する。Ｓ６０２～Ｓ６０６の動作を繰り返して減算用画像を作成してもよい。

Ｓ６０７で画像データから減算用画像を減算する。

Ｓ６０８で減算後に負の値になる出力を０に置換し、処理を終了する。

上記のフローにより、本実施形態ではクラスターキズの裾部が目立ちにくい高照度環境では通常のキズ補正を行い、クラスターキズが目立つ低照度環境においてはクラスターキズ補正を行う。このように撮像シーンによってキズ補正を実施するか否かを切り替えることで、キズ補正の高精度化と処理時間の短縮を両立することができる。

（第４の実施形態）
図１４は第４の実施形態に係る処理装置の処理フロー図である。本実施形態では、複数フレームごとにキズ情報を更新することでより高精度なキズ補正を可能にする。

Ｓ７０１で、画像取得部で取得した、新規フレーム画像の取得を行う。

Ｓ７０２で、Ｓ７０１で取得した画像から保存済みの減算用画像を減算する。

Ｓ７０３で、減算後に負の値になる出力を０に置換し、後段に出力する。Ｓ７０３まででＳ７０１で取得した新規フレーム画像のクラスターキズ補正処理は完了する。以降の処理は、次のフレームの画像のクラスターキズ補正処理のための減算用画像の更新処理である。

Ｓ７０４で、Ｓ７０３の減算を行う前の画像データの画素の選択を行う。

Ｓ７０５でキズ画素の判定を行う。選択した画素の出力値が閾値以上であれば選択した画素をキズ画素と判定する。選択した画素の出力が閾値以上でなければ再び画素の選択を行い、キズ画素が判定されるまでＳ７０４、Ｓ７０５の動作を繰り返す。選択した画素の出力値が閾値以上であれば、Ｓ７０６で補正用配列データの選択を行う。

Ｓ７０７でＮ行Ｍ列の画素の推定キズ配列の生成を行う。

Ｓ７０８で推定キズ配列を減算用画像内のＮ行Ｍ列の画素に対応する領域に加算する。Ｓ７０４～Ｓ７０８の動作を繰り返して減算用画像を作成してもよい。

Ｓ７０９で減算用画像を保存する。

本実施形態によれば、例えば前フレームで取得したキズアドレスデータを次フレームで取得される画像データの補正に利用することで、補正処理の高速化が可能となる。また、複数フレームに１回キズアドレスの抽出を行い、得られたキズアドレスデータを次にキズアドレスの抽出を行うまでの各フレームで得られた画像データの補正に利用することによっても、補正処理の高速化が可能となる。

言い換えれば、第１のフレームにおける画像データから抽出されたキズ画素のアドレスデータまたは出力値に基づいて、第１のフレームよりも後に取得された第２のフレームにおける画像データの補正を行うことができる。

（第５の実施形態）
図１５から図１７までを用いて第５の実施形態について説明する。

本実施形態では、クラスターキズの生じた画像（図１５（ａ））について、事前に取得された補正用配列による除算を行う（図１５（ｂ））。除算とは例えば逆畳み込み演算である。得られた演算後画素に対し、キズ補正を行う（図１５（ｄ））。

図７では、クラスターキズの生じた画像からキズ画素を抽出した後に、抽出したキズ画素に対して補正用配列を乗算し、推定キズ分布を取得し、推定キズ分布に基づいてクラスターキズの生じた画像を補正する。これに対して、図１５に示す本実施形態では、キズ画素を抽出せずに、キズ画素を含む複数の画素に対して、補正用配列による除算を行う。このような演算を行うことにより、クラスターキズを生じさせていたキズ画素を効率よく抽出することができる。本実施形態は、図７を用いて説明した実施形態と比較して、演算工程が少ないため、より高速化した高精度なキズ補正を行うことができる。さらに、本実施形態においては、複数のキズが近接しキズの裾部が重なりあっている場合でも精度よくキズ補正を行うことができる。

演算後画像に対して行うキズ補正は、キズ画素の出力値を周囲の画素の出力値の平均値で置き換えるキズ補正である。例えば、図６を用いて説明したキズ補正の手法である。また、補正用配列とは１つのキズ画素が周辺の画素に与える影響をＣｒｏｓｓｔａｌｋ確率の行列（Ｃｒｏｓｓｔａｌｋ行列）として示したものである。

図１６に第５の実施形態に係る処理装置のブロック図を示す。

第５の実施形態に係る処理装置は、画像取得部３０１、読み出し部３０２、画像処理部３０３を有する。画像処理部３０３は、第１の記憶部３０４、第２の記憶部３０６、補正部３１０を有し、補正部３１０は演算部３１２及びキズ補正部３２０を含む。

第２の記憶部３０６は補正用の第２の配列データを記憶している。補正用の第２の配列データとはすなわちＣｒｏｓｓｔａｌｋ行列である。第２の記憶部３０６は複数の種類の補正用配列データを有していてもよい。

演算部３１２は第１の記憶部３０４に保持された第１の配列データに対して第２の記憶部３０６に保持された第２の配列データに基づく演算を行い、第４の配列データとして演算後画像を得る。演算部３１２は第２の記憶部に記憶されたＣｒｏｓｓｔａｌｋ行列の逆畳み込み演算をしてもよいし、第２の記憶部に記憶されたＣｒｏｓｓｔａｌｋ行列の逆変換に対応する行列（ｐｏｉｎｔｓｐｒｅａｄｆｕｎｃｔｉｏｎ）の畳み込み演算を行ってもよい。演算部３１２における演算によって画像データ内のクラスターキズを点キズに近しい状態に補正することができる。

キズ補正部３２０は演算部３１２で得られた補正後画像に対してキズ補正処理を行う補正処理部である。キズ補正部３２０はキズ画素の抽出を行うキズ抽出部としての機能を有し、抽出したキズ画素の出力に対してキズ補正処理を行う。

図１７に第５の実施形態に係る処理装置のフロー図を示す。

Ｓ８０１で、補正用配列データの選択を行う。

Ｓ８０２で、画像データに対してＳ８０１で選択した補正用配列データの逆畳み込み演算を行う。

Ｓ８０３で、Ｓ８０２における逆畳み込み演算後の画像のキズ抽出を行う。キズ抽出とは画像内のキズ画素の位置情報や出力値を特定することをいう。

Ｓ８０４で、逆畳み込み演算後の画像に対してキズ補正を行う。例えば、Ｓ８０３で抽出したキズ画素の出力値を周囲の画素の出力値の平均値で置き換える。

本実施形態に係る処理装置によれば、点キズに対するキズ補正アルゴリズムを用いたクラスターキズの補正が可能となる。

（第６の実施形態）
図１８及び図１９を用いて第６の実施形態について説明する。主に第５の実施形態との差分について説明し、共通する説明は省略する。

図１８に示すのは第６の実施可能に係る処理装置のブロック図である。

第６の実施形態に係る処理装置は、画像取得部３０１、読み出し部３０２、画像処理部３０３を有する。補正部３１０は、第１の演算部３１２Ａ、第２の演算部３１２Ｂ、キズ補正部３２０を有する。

キズ補正部３２０は第１の演算部３１２Ａと第２の演算部３１２Ｂとの間に設けられている。本実施形態では、画像データに対してＣｒｏｓｓｔａｌｋ行列の畳み込み演算と、逆畳み込み演算との両方を行うことが特徴である。

図１９に第６の実施形態に係る処理装置のフロー図を示す。

Ｓ９０１で、補正用配列データの選択を行う。

Ｓ９０２で、画像データに対してＳ９０１で選択した補正用配列データの逆畳み込み演算を行う。

Ｓ９０３で、逆畳み込み演算後の画像からキズ抽出を行う。

Ｓ９０４で、Ｓ９０３でキズ抽出を行った逆畳み込み演算後の画像に対してキズ補正を行う。

Ｓ９０５で、キズ補正後の画像に対して補正用配列データの畳み込み演算を行う。

第５の実施例においては、Ｃｒｏｓｓｔａｌｋ行列の逆畳み込み演算によって補正対象となるキズ画素以外の領域のランダムノイズが強調され、画質が低下する場合がある。本実施形態によれば、キズ補正後の画像データにＣｒｏｓｓｔａｌｋ行列を畳み込むことで、画質の低下を補償することができるため、キズ補正精度の向上と、信号処理起因の画質低下の抑制を両立できる。なお、第５の実施形態と同様に、第２の記憶部はＣｒｏｓｓｔａｌｋ行列を記憶していてもよく、Ｃｒｏｓｓｔａｌｋ行列の逆変換に対応する行列を記憶していてもよい。

（第７の実施形態）
図２０から図２２までを用いて第７の実施形態について説明する。第１～第６の実施形態と共通する説明は省略する。

本実施形態では、クラスターキズの生じた画像（図２０（ａ））について、非線形性補正を行う（図２０（ｂ））ことと並行して、前記画像に対して補正用配列を乗算し（図２０（ｃ））、Ｃｒｏｓｓｔａｌｋにより生じた出力の推定分布を取得する。さらに、前記非線形補正後の画像から推定分布画像を減算した後に、点キズ補正処理を実施することで、クラスターキズの補正を行う。

クロックリチャージ型に代表されるアクティブリチャージ型の駆動回路を有するＡＰＤに本願発明を適用する場合、パイルアップ現象によって、入射光子数に対してカウント数が低下し、光電変換の応答特性が非線形性を示す場合がある。

非線形応答関数を

で表すと、カウント数をＮｃｔ、入射光子数をＮｐｈとしたとき、Ｎｃｔ＝ｆ（Ｎｐｈ）となる。このとき、Ｃｒｏｓｓｔａｌｋによる発光量は、入射光子数Ｎｐｈではなく、カウント数Ｎｃｔに比例する。一方、Ｃｒｏｓｓｔａｌｋを受ける画素に入射する総光子数Ｎｃｔ’は、Ｃｒｏｓｓｔａｌｋに起因する偽信号をＮｃ、信号光子数をＮｓとしたとき、Ｎｃ＋Ｎｓとなる。すなわち、Ｎｃｔ’＝ｆ（Ｎｃ＋Ｎｓ）となる。したがって、Ｃｒｏｓｓｔａｌｋにより発生する偽信号光子の分布を推定するにあたり、非線形補正後のカウント数に基づいて推定を行うと実際の偽信号光子の分布との誤差が増大してしまう可能性がある。

以上を考慮すると、Ｃｒｏｓｓｔａｌｋにより発生する偽信号光子の分布は、非線形補正を行う前のカウント数に基づいて推定することが適切である。得られた分布を非線形補正後の画像データから減算することで、非線形性の影響が生ずる高出力画素を有するシーンにおいても、クラスターキズの補正誤差を抑制できる。

本実施形態においては、補正用配列の中心の値をゼロと設定することで、クラスターキズの中心画素から周囲の画素に対して発生しているＣｒｏｓｓｔａｌｋの影響のみを減算し、中心画素出力の過補正を抑制することができる。さらに、非線形補正後の画像からＣｒｏｓｓｔａｌｋによる推定出力分布を減算することで、クラスターキズが近接している場合や撮影している被写体に対応する信号光量が高い場合でも、精度よく補正することができる。

図２１に第７の実施形態に係る処理装置のブロック図を示す。

第７の実施形態に係る処理装置は、画像取得部３０１、読み出し部３０２、画像処理部３０３を有する。画像処理部３０３は、ゲイン調整部３１３、第１の記憶部３０４、第２の記憶部３０６、補正部３１０、デモザイク部３１５を有し、補正部３１０は非線形補正部３１４、演算部３１２、配列生成部３１１及びキズ補正部３２０を含む。

第１の記憶部３０４は前段で生成された画像データの少なくとも一部をゲイン調整部３１３でゲイン調整したデータを、第１の配列データとして保持する記憶部である。具体的にはＳＲＡＭなどのメモリを記憶部として第１の配列データは格納される。

非線形補正部３１４は第１の記憶部３０４と演算部３１２との間に配され、画像データを補正する。配列生成部３１１は、第１の記憶部３０４に保持された第１の配列データとだ第二の記憶部３０６に保持された第２の配列データに基づく演算を行い、第３の配列データを生成する。例えば、畳み込み演算等を行う。演算部３１２は非線形補正部３１４で補正された配列データから、配列生成部３１１で生成された第３の配列データを減算する。

デモザイク部３１５は演算部３１２の後段に設けられ、前記のキズ補正後の配列データに対してデモザイク処理を行う。

図２２に第７の実施形態に係る処理装置のフロー図を示す。

Ｓ１００１で、補正用配列データの選択を行う。

Ｓ１００２で、取得した画像の非線形性補正を行う。

Ｓ１００３で、所得した画像と補正用配列データの畳み込み演算を行う。

Ｓ１００４で、非線形補正後画像から畳み込み後画像を減算する。

Ｓ１００５で、減算後画像に対してキズ補正処理を行う。

本実施形態に係る処理装置によれば、非線形性の影響を低減しながら、点キズに対するキズ補正アルゴリズムを用いたクラスターキズの補正をすることが可能となる。

（第８の実施形態）
本実施形態による光電変換システムについて、図２３を用いて説明する。図２３は、本実施形態による光電変換システムの概略構成を示すブロック図である。

上記第１～第７の実施形態で述べた処理装置は、種々の光電変換システムに適用可能である。適用可能な光電変換システムの例としては、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、上記光電変換システムに含まれる。図２３には、これらのうちの一例として、デジタルスチルカメラのブロック図を例示している。

図２３に例示した光電変換システムは、光電変換装置の一例である撮像装置１００４、被写体の光学像を撮像装置１００４に結像させるレンズ１００２を備える。さらに、レンズ１００２を通過する光量を可変にするための絞り１００３、レンズ１００２の保護のためのバリア１００１を有する。レンズ１００２及び絞り１００３は、撮像装置１００４に光を集光する光学系である。撮像装置１００４は、上記のいずれかの実施形態の光電変換装置であって、レンズ１００２により結像された光学像を電気信号に変換する。

光電変換システムは、また、撮像装置１００４より出力される出力信号の処理を行うことで画像を生成する画像生成部である信号処理部１００７を有する。信号処理部１００７は、必要に応じて各種の補正、圧縮を行って画像データを出力する動作を行う。第１～第４の実施形態にかかる処理装置は信号処理部１００７の一部として構成されてもよい。信号処理部１００７は、撮像装置１００４が設けられた半導体基板に形成されていてもよいし、撮像装置１００４とは別の半導体基板に形成されていてもよい。

光電変換システムは、更に、画像データを一時的に記憶するためのメモリ部１０１０、外部コンピュータ等と通信するための外部インターフェース部（外部Ｉ／Ｆ部）１０１３を有する。更に光電変換システムは、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体１０１２、記録媒体１０１２に記録又は読み出しを行うための記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）１０１１を有する。なお、記録媒体１０１２は、光電変換システムに内蔵されていてもよく、着脱可能であってもよい。

更に光電変換システムは、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部１００９、撮像装置１００４と信号処理部１００７に各種タイミング信号を出力するタイミング発生部１００８を有する。ここで、タイミング信号などは外部から入力されてもよく、光電変換システムは少なくとも撮像装置１００４と、撮像装置１００４から出力された出力信号を処理する信号処理部１００７とを有すればよい。

撮像装置１００４は、撮像信号を信号処理部１００７に出力する。信号処理部１００７は、撮像装置１００４から出力される撮像信号に対して所定の信号処理を実施し、画像データを出力する。信号処理部１００７は、撮像信号を用いて、画像を生成する。

このように、本実施形態によれば、上記のいずれかの実施形態の処理装置を適用した光電変換システムを実現することができる。

（第９の実施形態）
本実施形態の光電変換システム及び移動体について、図２４を用いて説明する。図２４は、本実施形態の光電変換システム及び移動体の構成を示す図である。

図２４（ａ）は、車載カメラに関する光電変換システムの一例を示したものである。光電変換システム２３００は、撮像装置２３１０を有する。撮像装置２３１０は、上記のいずれかの実施形態に記載の光電変換装置である。光電変換システム２３００は撮像装置２３１０により取得された複数の画像データに対し画像処理を行う画像処理部２３１２と、光電変換システム２３００により取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差取得部２３１４を有する。第１～第４の実施形態にかかる処理装置は画像処理部２３１２の一部として構成されてもよい。また、光電変換システム２３００は、算出された視差に基づいて対象物までの距離を算出する距離取得部２３１６と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部２３１８と、を有する。ここで、視差取得部２３１４や距離取得部２３１６は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部２３１８はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）やＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）等によって実現されてもよいし、これらの組合せによって実現されてもよい。

光電変換システム２３００は車両情報取得装置２３２０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、光電変換システム２３００は、衝突判定部２３１８での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御部である制御ＥＣＵ２３３０が接続されている。また、光電変換システム２３００は、衝突判定部２３１８での判定結果に基づいて、ドライバーへ警報を発する警報装置２３４０とも接続されている。例えば、衝突判定部２３１８の判定結果として衝突可能性が高い場合、制御ＥＣＵ２３３０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置２３４０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザーに警告を行う。

本実施形態では、車両の周囲、例えば前方又は後方を光電変換システム２３００で撮像する。図２４（ｂ）に、車両前方（撮像範囲２３５０）を撮像する場合の光電変換システムを示した。光電変換このような構成により、測距の精度をより向上させることができる。

上記では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。更に、光電変換システムは、自動車等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

（第１０の実施形態）
本実施形態の光電変換システムについて、図２５を用いて説明する。図２５は、本実施形態の光電変換システムである距離画像センサの構成例を示すブロック図である。

図２５に示すように、距離画像センサ４０１は、光学系４０７、光電変換装置４０８、画像処理回路４０４、モニタ４０５、およびメモリ４０６を備えて構成される。そして、距離画像センサ４０１は、光源装置４０９から被写体に向かって投光され、被写体の表面で反射された光（変調光やパルス光）を受光することにより、被写体までの距離に応じた距離画像を取得することができる。

光学系４０７は、１枚または複数枚のレンズを有して構成され、被写体からの像光（入射光）を光電変換装置４０８に導き、光電変換装置４０８の受光面（センサ部）に結像させる。

光電変換装置４０８としては、上述した各実施形態の光電変換装置が適用され、光電変換装置４０８から出力される受光信号から求められる距離を示す距離信号が画像処理回路４０４に供給される。

画像処理回路４０４は、光電変換装置４０８から供給された距離信号に基づいて距離画像を構築する画像処理を行う。そして、その画像処理により得られた距離画像（画像データ）は、モニタ４０５に供給されて表示されたり、メモリ４０６に供給されて記憶（記録）されたりする。第１～第４の実施形態にかかる処理装置は画像処理回路４０４の一部として構成されてもよい。

このように構成されている距離画像センサ４０１では、上述した光電変換装置を適用することで、画素の特性向上に伴って、例えば、より正確な距離画像を取得することができる。

（第１１の実施形態）
本実施形態の光電変換システムについて、図２６を用いて説明する。図２６は、本実施形態の光電変換システムである内視鏡手術システムの概略的な構成の一例を示す図である。

図２６では、術者（医師）１１３１が、内視鏡手術システム１１５０を用いて、患者ベッド１１３３上の患者１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１５０は、内視鏡１１００と、術具１１１０と、内視鏡下手術のための各種の装置が搭載されたカート１１３４と、から構成される。

内視鏡１１００は、先端から所定の長さの領域が患者１１３２の体腔内に挿入される鏡筒１１０１と、鏡筒１１０１の基端に接続されるカメラヘッド１１０２と、から構成される。図示する例では、硬性の鏡筒１１０１を有するいわゆる硬性鏡として構成される内視鏡１１００を図示しているが、内視鏡１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。

鏡筒１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１００には光源装置１２０３が接続されており、光源装置１２０３によって生成された光が、鏡筒１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド１１０２の内部には光学系及び光電変換装置が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該光電変換装置に集光される。当該光電変換装置によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該光電変換装置としては、前述の各実施形態に記載の光電変換装置を用いることができる。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：ＣａｍｅｒａＣｏｎｔｒｏｌＵｎｉｔ）１１３５に送信される。

ＣＣＵ１１３５は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）やＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等によって構成され、内視鏡１１００及び表示装置１１３６の動作を統括的に制御する。さらに、ＣＣＵ１１３５は、カメラヘッド１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。

表示装置１１３６は、ＣＣＵ１１３５からの制御により、当該ＣＣＵ１１３５によって画像処理が施された画像信号に基づく画像を表示する。

光源装置１２０３は、例えばＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１００に供給する。

入力装置１１３７は、内視鏡手術システム１１５０に対する入力インターフェースである。ユーザーは、入力装置１１３７を介して、内視鏡手術システム１１５０に対して各種の情報の入力や指示入力を行うことができる。

処置具制御装置１１３８は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１２の駆動を制御する。

内視鏡１１００に術部を撮影する際の照射光を供給する光源装置１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用する。具体的には、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（第１２の実施形態）
本実施形態の光電変換システムについて、図２７（ａ）、（ｂ）を用いて説明する。図２７（ａ）は、本実施形態の光電変換システムである眼鏡１６００（スマートグラス）を説明する。眼鏡１６００には、光電変換装置１６０２を有する。光電変換装置１６０２は、上記の各実施形態に記載の光電変換装置である。また、レンズ１６０１の裏面側には、ＯＬＥＤやＬＥＤ等の発光装置を含む表示装置が設けられていてもよい。光電変換装置１６０２は１つでもよいし、複数でもよい。また、複数種類の光電変換装置を組み合わせて用いてもよい。光電変換装置１６０２の配置位置は図２７（ａ）に限定されない。

眼鏡１６００は、制御装置１６０３をさらに備える。制御装置１６０３は、光電変換装置１６０２と上記の表示装置に電力を供給する電源として機能する。また、制御装置１６０３は、光電変換装置１６０２と表示装置の動作を制御する。レンズ１６０１には、光電変換装置１６０２に光を集光するための光学系が形成されている。

図２７（ｂ）は、１つの適用例に係る眼鏡１６１０（スマートグラス）を説明する。眼鏡１６１０は、制御装置１６１２を有しており、制御装置１６１２に、光電変換装置１６０２に相当する光電変換装置と、表示装置が搭載される。レンズ１６１１には、制御装置１６１２内の光電変換装置と、表示装置からの発光を投影するための光学系が形成されており、レンズ１６１１には画像が投影される。制御装置１６１２は、光電変換装置および表示装置に電力を供給する電源として機能するとともに、光電変換装置および表示装置の動作を制御する。制御装置は、装着者の視線を検知する視線検知部を有してもよい。視線の検知は赤外線を用いてよい。赤外発光部は、表示画像を注視しているユーザーの眼球に対して、赤外光を発する。発せられた赤外光の眼球からの反射光を、受光素子を有する撮像部が検出することで眼球の撮像画像が得られる。平面視における赤外発光部から表示部への光を低減する低減手段を有することで、画像品位の低下を低減する。

赤外光の撮像により得られた眼球の撮像画像から表示画像に対するユーザーの視線を検出する。眼球の撮像画像を用いた視線検出には任意の公知の手法が適用できる。一例として、角膜での照射光の反射によるプルキニエ像に基づく視線検出方法を用いることができる。

より具体的には、瞳孔角膜反射法に基づく視線検出処理が行われる。瞳孔角膜反射法を用いて、眼球の撮像画像に含まれる瞳孔の像とプルキニエ像とに基づいて、眼球の向き（回転角度）を表す視線ベクトルが算出されることにより、ユーザーの視線が検出される。

本実施形態の表示装置は、受光素子を有する光電変換装置を有し、光電変換装置からのユーザーの視線情報に基づいて表示装置の表示画像を制御してよい。

具体的には、表示装置は、視線情報に基づいて、ユーザーが注視する第１の視界領域と、第１の視界領域以外の第２の視界領域とを決定される。第１の視界領域、第２の視界領域は、表示装置の制御装置が決定してもよいし、外部の制御装置が決定したものを受信してもよい。表示装置の表示領域において、第１の視界領域の表示解像度を第２の視界領域の表示解像度よりも高く制御してよい。つまり、第２の視界領域の解像度を第１の視界領域よりも低くしてよい。

また、表示領域は、第１の表示領域、第１の表示領域とは異なる第２の表示領域とを有し、視線情報に基づいて、第１の表示領域および第２の表示領域から優先度が高い領域を決定されてよい。第１の視界領域、第２の視界領域は、表示装置の制御装置が決定してもよいし、外部の制御装置が決定したものを受信してもよい。優先度の高い領域の解像度を、優先度が高い領域以外の領域の解像度よりも高く制御してよい。つまり優先度が相対的に低い領域の解像度を低くしてよい。

なお、第１の視界領域や優先度が高い領域の決定には、ＡＩを用いてもよい。ＡＩは、眼球の画像と当該画像の眼球が実際に視ていた方向とを教師データとして、眼球の画像から視線の角度、視線の先の目的物までの距離を推定するよう構成されたモデルであってよい。ＡＩプログラムは、表示装置が有しても、光電変換装置が有しても、外部装置が有してもよい。外部装置が有する場合は、通信を介して、表示装置に伝えられる。

視認検知に基づいて表示制御する場合、外部を撮像する光電変換装置を更に有するスマートグラスに好ましく適用できる。スマートグラスは、撮像した外部情報をリアルタイムで表示することができる。

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。

例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態に含まれる。

また、上記第８の実施形態、第９の実施形態に示した光電変換システムは、光電変換装置を適用しうる光電変換システム例を示したものであって、本発明の光電変換装置を適用可能な光電変換システムは図２３乃至図２４に示した構成に限定されるものではない。第１０の実施形態に示したＴｏＦシステム、第１１の実施形態に示した内視鏡、第１２の実施形態に示したスマートグラスについても同様である。

なお、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

なお、本開示は以下の構成を備える。

（構成１）
処理装置であって、アレイ状に配された複数の画素の出力値に基づく第１の配列データを記憶する第１の記憶部と、前記複数の画素からの前記出力値の補正に用いる第２の配列データを記憶する第２の記憶部と、を有する。さらに前記第１の配列データと前記第２の配列データとに基づいて前記複数の画素の少なくとも１つの画素の出力値を補正する演算部を含む補正部と、を有する処理装置。

（構成２）
前記第１の配列データからキズ画素を抽出するキズ抽出部と、前記第２の配列データと前記キズ画素の前記出力値とに基づいて第３の配列データを生成する配列生成部と、を含む。さらに前記補正部は前記第１の配列データと前記第３の配列データとに基づいて前記キズ画素の周辺に設けられた周辺画素の出力値を補正することを特徴とする構成１に記載の処理装置。

（構成３）
前記補正部はキズ抽出部を含むキズ補正部を有し、前記キズ補正部は前記演算部における補正によって生成された第４の配列データからキズ画素を補正することを特徴とする構成１に記載の処理装置。

（構成４）
前記第２の配列データは少なくとも３つのデータを含み、
前記第２の配列データの少なくとも１行分または１列分に対応する１次元データは、中央にピーク値またはボトム値を有することを特徴とする構成２または３に記載の処理装置。

（構成５）
前記１次元データは、前記ピーク値または前記ボトム値からデータ端に向けて単調変化する分布を持つことを特徴とする構成４に記載の処理装置。

（構成６）
前記１次元データの前記ピーク値または前記ボトム値を共有し、前記１次元データに交差する方向に配列された他の１次元データは、ピーク値またはボトム値からデータ端に向けて単調変化する分布を持つことを特徴とする構成４または５に記載の処理装置。

（構成７）
前記第１の配列データはＮ行Ｍ列（ＮおよびＭの一方は２以上の整数、他方は１以上の整数）のデータを構成することを特徴とする構成２乃至６のいずれか一項に記載の処理装置。

（構成８）
前記第２の記憶部は、複数種類の前記第２の配列データを記憶し、撮影が行われる環境に応じて前記配列生成部で使用する前記第２の配列データの種類を選択することを特徴とする構成２に記載の処理装置。

（構成９）
前記第３の配列データは、前記第２の配列データと、前記キズ画素の出力値に基づいて生成された第５の配列データと、の乗算によって生成されることを特徴とする構成２に記載の処理装置。

（構成１０）
前記第４の配列データは、前記第１の配列データと、前記第２の配列データと、の除算によって生成されることを特徴とする構成３に記載の処理装置。

（構成１１）
前記キズ抽出部は、あらかじめ取得された前記キズ画素のアドレスデータをもとにキズ画素を抽出することを特徴とする構成２乃至１０のいずれか一項に記載の処理装置。

（構成１２）
前記キズ抽出部は、第１の画素の出力値と、前記第１の画素と隣り合う第２の画素の出力値との差が一定の閾値以上である場合に、前記第１の画素または前記第２の画素をキズ画素と判定することを特徴とする構成２乃至１１のいずれか一項に記載の処理装置。

（構成１３）
前記キズ抽出部は、第１の画素の出力値と、前記第１の画素と隣り合う第２の画素の出力値との比が一定の閾値以上である場合に、前記第１の画素または前記第２の画素をキズ画素と判定することを特徴とする構成２乃至１２のいずれか一項に記載の処理装置。

（構成１４）
前記キズ抽出部は、前記出力値が一定の閾値以上である画素をキズ画素と判定することを特徴とする構成２乃至１３のいずれか一項に記載の処理装置。

（構成１５）
前記第１の記憶部の前段に、前記複数の画素の前記出力値にデジタルゲインをかけるゲイン調整部を有することを特徴とする構成２乃至１４のいずれか一項に記載の処理装置。

（構成１６）
前記補正部は、前記第１の配列データの非線形性補正を行う非線形補正部を有することを特徴とする構成２乃至１５のいずれか一項に記載の処理装置。

（構成１７）
前記演算部は、前記非線形性補正を行う前の第１の配列データと前記第２の配列データとに基づいて補正用配列データを生成する。前記非線形性補正を行った後の第１の配列データと前記補正用配列データとに基づいて前記複数の画素の少なくとも１つの画素の出力値を補正することを特徴とする構成１６に記載の処理装置。

（構成１８）
前記第２の配列データは少なくとも３つのデータを含み、前記第２の配列データの少なくとも１行分または１列分に対応する１次元データの中央の値はゼロであることを特徴とする構成１７に記載の処理装置。

（構成１９）
前記補正部は、前記演算部の後段に、デモザイク部を有することを特徴とする構成２乃至１８のいずれか一項に記載の処理装置。

（構成２０）
第１のフレームにおける前記複数の画素の前記出力値から抽出された前記キズ画素のアドレスデータまたは前記キズ画素の出力値に基づいて、
前記第１のフレームよりも後に取得された第２のフレームにおける前記複数の画素の出力値の補正を行うことを特徴とする構成２乃至１９のいずれか一項に記載の処理装置。

（構成２１）
被写体の信号レベルまたは前記複数の画素の温度に応じて、前記演算部で前記補正を実施するか否かを選択することを特徴とする構成２乃至２０のいずれか一項に記載の処理装置。

（構成２２）
前記第２の配列データは、前記複数の画素のＯＢ領域のキズ画素のパターンに基づいて生成されることを特徴とする構成２乃至２１のいずれか一項に記載の処理装置。

（構成２３）
前記演算部で前記周辺画素の出力値を補正した後に、
補正後の前記周辺画素の出力値に基づいて、前記キズ画素の出力値を補正することを特徴とする構成２に記載の処理装置。

（構成２４）
前記キズ抽出部は、パターンマッチングによりキズ画素を抽出することを特徴とする構成２乃至２３のいずれか一項に記載の処理装置。

（構成２５）
構成１乃至２４のいずれか一項に記載の処理装置と、
前記第１の配列データを出力する前記複数の画素と、を有する光電変換システム。

（構成２６）
前記複数の画素のそれぞれは、アバランシェフォトダイオードを有することを特徴とする構成２５に記載の光電変換システム。

３０４第１の記憶部
３０６第２の記憶部
３１０補正部
３１２演算部

Claims

アレイ状に配された複数の画素の出力値に基づく第１の配列データを記憶する第１の記憶部と、
前記複数の画素からの前記出力値の補正に用いる第２の配列データを記憶する第２の記憶部と、
前記第１の配列データと前記第２の配列データとに基づいて前記複数の画素の少なくとも１つの画素の出力値を補正する演算部を含む補正部と、
を有する処理装置。
前記第１の配列データからキズ画素を抽出するキズ抽出部と、
前記第２の配列データと前記キズ画素の前記出力値とに基づいて第３の配列データを生成する配列生成部と、を含み、
前記補正部は前記第１の配列データと前記第３の配列データとに基づいて前記キズ画素の周辺に設けられた周辺画素の出力値を補正することを特徴とする請求項１に記載の処理装置。
前記補正部はキズ抽出部を含むキズ補正部を有し、
前記キズ補正部は前記演算部における補正によって生成された第４の配列データからキズ画素を補正することを特徴とする請求項１に記載の処理装置。
前記第２の配列データは少なくとも３つのデータを含み、
前記第２の配列データの少なくとも１行分または１列分に対応する１次元データは、中央にピーク値またはボトム値を有することを特徴とする請求項２に記載の処理装置。
前記１次元データは、前記ピーク値または前記ボトム値からデータ端に向けて単調変化する分布を持つことを特徴とする請求項４に記載の処理装置。
前記１次元データの前記ピーク値または前記ボトム値を共有し、前記１次元データに交差する方向に配列された他の１次元データは、前記他の１次元データのピーク値またはボトム値からデータ端に向けて単調変化する分布を持つことを特徴とする請求項４に記載の処理装置。
前記第１の配列データはＮ行Ｍ列（ＮおよびＭの一方は２以上の整数、他方は１以上の整数）のデータを構成することを特徴とする請求項２に記載の処理装置。
前記第２の記憶部は、複数種類の前記第２の配列データを記憶し、
撮影が行われる環境に応じて前記配列生成部で使用する前記第２の配列データの種類を選択することを特徴とする請求項２に記載の処理装置。
前記第３の配列データは、前記第２の配列データと、前記キズ画素の出力値に基づいて生成された第５の配列データと、の乗算によって生成されることを特徴とする請求項２に記載の処理装置。
前記第４の配列データは、前記第１の配列データと、前記第２の配列データと、の除算によって生成されることを特徴とする請求項３に記載の処理装置。
前記キズ抽出部は、あらかじめ取得された前記キズ画素のアドレスデータをもとにキズ画素を抽出することを特徴とする請求項２に記載の処理装置。
前記キズ抽出部は、第１の画素の出力値と、前記第１の画素と隣り合う第２の画素の出力値との差が一定の閾値以上である場合に、前記第１の画素または前記第２の画素をキズ画素と判定することを特徴とする請求項２に記載の処理装置。
前記キズ抽出部は、第１の画素の出力値と、前記第１の画素と隣り合う第２の画素の出力値との比が一定の閾値以上である場合に、前記第１の画素または前記第２の画素をキズ画素と判定することを特徴とする請求項２に記載の処理装置。
前記キズ抽出部は、前記出力値が一定の閾値以上である画素をキズ画素と判定することを特徴とする請求項２に記載の処理装置。
前記第１の記憶部の前段に、前記複数の画素の前記出力値にデジタルゲインをかけるゲイン調整部を有することを特徴とする請求項２に記載の処理装置。
前記補正部は、前記第１の配列データの非線形性補正を行う非線形補正部を有することを特徴とする請求項２に記載の処理装置。
前記演算部は、前記非線形性補正を行う前の第１の配列データと前記第２の配列データとに基づいて補正用配列データを生成し、前記非線形性補正を行った後の第１の配列データと前記補正用配列データとに基づいて前記複数の画素の少なくとも１つの画素の出力値を補正することを特徴とする請求項１６に記載の処理装置。
前記第２の配列データは少なくとも３つのデータを含み、
前記第２の配列データの少なくとも１行分または１列分に対応する１次元データの中央の値はゼロであることを特徴とする請求項１７に記載の処理装置。
前記補正部は、前記演算部の後段に、デモザイク部を有することを特徴とする請求項２に記載の処理装置。
第１のフレームにおける前記複数の画素の前記出力値から抽出された前記キズ画素のアドレスデータまたは前記キズ画素の出力値に基づいて、
前記第１のフレームよりも後に取得された第２のフレームにおける前記複数の画素の出力値の補正を行うことを特徴とする請求項２に記載の処理装置。
被写体の信号レベルまたは前記複数の画素の温度に応じて、前記演算部で前記補正を実施するか否かを選択することを特徴とする請求項２に記載の処理装置。
前記第２の配列データは、前記複数の画素のＯＢ領域のキズ画素のパターンに基づいて生成されることを特徴とする請求項２に記載の処理装置。
前記演算部で前記周辺画素の出力値を補正した後に、
補正後の前記周辺画素の出力値に基づいて、前記キズ画素の出力値を補正することを特徴とする請求項２に記載の処理装置。
前記キズ抽出部は、パターンマッチングによりキズ画素を抽出することを特徴とする請求項２に記載の処理装置。
請求項１乃至２４のいずれか一項に記載の処理装置と、
前記第１の配列データを出力する前記複数の画素と、を有する光電変換システム。
前記複数の画素のそれぞれは、アバランシェフォトダイオードを有することを特徴とする請求項２５に記載の光電変換システム。