JP2009239668A - 撮像装置とその信号処理方法 - Google Patents
撮像装置とその信号処理方法 Download PDFInfo
- Publication number
- JP2009239668A JP2009239668A JP2008083741A JP2008083741A JP2009239668A JP 2009239668 A JP2009239668 A JP 2009239668A JP 2008083741 A JP2008083741 A JP 2008083741A JP 2008083741 A JP2008083741 A JP 2008083741A JP 2009239668 A JP2009239668 A JP 2009239668A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pixels
- predetermined
- output
- digital signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】固体撮像素子の画素が規則的に配列された撮像装置において、高度な画像処理を行う。
【解決手段】画素2は、センサ部3で光を光電変換して得た電荷が所定値以上発生しているか否かを画素回路4で観測し、その観測結果を「0」または「1」の値のデジタル信号として出力する。画像信号処理回路14は、読み出し制御回路12を介して入力される各画素毎のデジタル信号のうち、同一画素から出力された所定の観測回数毎のデジタル信号同士を一部重複させた加算処理又は所定の観測回数毎のデジタル信号の一部だけを加算処理してフレームレート変換し、処理後の各画素からの信号から画像信号を生成する。また、画像信号処理回路14は、所定の画素の周辺画素から出力されたデジタル信号を、所定の画素からの距離により重み付けして所定の画素からのデジタル信号に加算処理する。
【選択図】図1
【解決手段】画素2は、センサ部3で光を光電変換して得た電荷が所定値以上発生しているか否かを画素回路4で観測し、その観測結果を「0」または「1」の値のデジタル信号として出力する。画像信号処理回路14は、読み出し制御回路12を介して入力される各画素毎のデジタル信号のうち、同一画素から出力された所定の観測回数毎のデジタル信号同士を一部重複させた加算処理又は所定の観測回数毎のデジタル信号の一部だけを加算処理してフレームレート変換し、処理後の各画素からの信号から画像信号を生成する。また、画像信号処理回路14は、所定の画素の周辺画素から出力されたデジタル信号を、所定の画素からの距離により重み付けして所定の画素からのデジタル信号に加算処理する。
【選択図】図1
Description
本発明は撮像装置とその信号処理方法に係り、特に高度な画像処理を行うことができる撮像装置とその信号処理方法に関する。
従来、フォトダイオードに光が入射されたか否かを「0」,「1」のデジタル値で出力する撮像素子が提案されている(例えば、特許文献1参照)。図18は、従来の撮像装置に用いる固体撮像素子の一例の構成図を示す。この固体撮像素子201は、アバランシェ・フォト・ダイオード(APD)204、抵抗205、1ビットメモリ206からなる画素203を所定の画素敷き詰め領域202内に規則的に並べた構成である。この固体撮像素子201の画素動作は、行コントロール回路207により行単位でコントロールされ、以下のように行われる。
まず、APD204に光が入射されると、電荷が発生する。発生した電荷は、APD204により数十倍、数百倍に増幅され、それが電流として抵抗205に流れると電圧降下を起こし、APD204と抵抗205との接続点における電位が下がる。電荷が流れきると、また電源電圧に戻る。従って、上記の接続点にパルスが発生する。1ビットメモリ206は、そのパルスを記録する。
次に、1ビットメモリ206に「0」,「1」のデジタル値で記録された画素信号は、列読み出し回路208により列単位で読み出され1ビットの信号があった場合にはその画素に対応するカウンタ209の数字が1個進む。そして所定時間の後(例えば60分の1秒後)、カウンタ209の数値を出力する。カウンタ209の数値は、カウンタ情報出力回路210を介して出力される。
上記の固体撮像素子201のように、画素に「0」あるいは「1」のデジタル値で光信号を記録する固体撮像素子の場合、その出力結果はカウンタ209により所定時間毎に加算してまとめられるので、多くの情報を失っている。具体的にはどのタイミングでどの画素に光が入射したかという情報である。その結果、高度な画像処理を行うことができない。
本発明は上記の点に鑑みなされたもので、高度な画像処理を行うことができる撮像装置とその信号処理方法を提供することを目的とする。
上記の目的を達成するため、本発明の撮像装置は、複数個の画素が規則的に配列された画素敷き詰め領域を有する撮像装置であって、上記の複数個の画素の各画素は、
入射した光の光量に応じた数の電荷を発生する光電変換領域と、所定値以上の電荷の発生の有無を観測し、その観測結果を「0」または「1」の値のデジタル信号として出力する画素回路と、を有しており、
複数個の画素を駆動する駆動回路と、複数個の画素からそれぞれ出力されるデジタル信号を所定の順序で出力する読み出し回路と、読み出し回路から出力された各画素毎のデジタル信号のうち、同一画素から出力された所定の観測回数毎のデジタル信号同士を一部重複させた加算処理又は所定の観測回数毎のデジタル信号の一部だけを加算処理してフレームレート変換し、処理後の各画素からの信号から画像信号を生成する信号処理回路とを有することを特徴とする。
入射した光の光量に応じた数の電荷を発生する光電変換領域と、所定値以上の電荷の発生の有無を観測し、その観測結果を「0」または「1」の値のデジタル信号として出力する画素回路と、を有しており、
複数個の画素を駆動する駆動回路と、複数個の画素からそれぞれ出力されるデジタル信号を所定の順序で出力する読み出し回路と、読み出し回路から出力された各画素毎のデジタル信号のうち、同一画素から出力された所定の観測回数毎のデジタル信号同士を一部重複させた加算処理又は所定の観測回数毎のデジタル信号の一部だけを加算処理してフレームレート変換し、処理後の各画素からの信号から画像信号を生成する信号処理回路とを有することを特徴とする。
ここで、上記信号処理回路は、複数個の画素のうち、所定の画素から出力されたデジタル信号に、所定の画素の周辺画素から出力されたデジタル信号を加算処理して所定の画素のデジタル信号として出力する構成としてもよい。また、上記信号処理回路は、所定の画素から出力されたデジタル信号に、その所定の画素の周辺画素から出力されたデジタル信号をその周辺画素の所定の画素からの距離により重み付け加算処理して所定の画素のデジタル信号として出力する処理を行うようにしてもよい。
また、上記の目的を達成するため、本発明の撮像装置の信号処理方法は、入射した光の光量に応じた数の電荷を発生する光電変換領域と、所定値以上の電荷の発生の有無を観測し、その観測結果を「0」あるいは「1」の値のデジタル信号として出力する画素回路と、を有する画素が、複数個規則的に配列された撮像装置の信号処理方法であって、
複数個の画素からそれぞれ出力されるデジタル信号を所定の順序で出力する第1のステップと、第1のステップで出力された各画素毎のデジタル信号のうち、同一画素から出力された所定の観測回数毎のデジタル信号同士を一部重複させた加算処理又は所定の観測回数毎のデジタル信号の一部だけを加算処理してフレームレート変換し、処理後の各画素からの信号から画像信号を生成する第2のステップとを含むことを特徴とする。
複数個の画素からそれぞれ出力されるデジタル信号を所定の順序で出力する第1のステップと、第1のステップで出力された各画素毎のデジタル信号のうち、同一画素から出力された所定の観測回数毎のデジタル信号同士を一部重複させた加算処理又は所定の観測回数毎のデジタル信号の一部だけを加算処理してフレームレート変換し、処理後の各画素からの信号から画像信号を生成する第2のステップとを含むことを特徴とする。
また、本発明方法は、上記の第1及び第2のステップに加えて、デジタル信号及び画像信号のいずれかの信号を圧縮処理する第3のステップと、圧縮処理された信号を伸張処理する第4のステップとを更に含んでもよい。
また、上記の目的を達成するため、本発明の撮像装置の信号処理方法は、入射した光の光量に応じた数の電荷を発生する光電変換領域と、所定値以上の電荷の発生の有無を観測し、その観測結果を「0」または「1」の値のデジタル信号として出力する画素回路と、を有する画素が、複数個規則的に配列された撮像装置の信号処理方法であって、
複数個の画素からそれぞれ出力されるデジタル信号を所定の順序で出力する第1のステップと、第1のステップで出力された各画素毎のデジタル信号のうち、所定の画素から出力されたデジタル信号に、所定の画素の周辺画素から出力されたデジタル信号を加算処理して所定の画素のデジタル信号として出力する第2のステップとを含むことを特徴とする。
複数個の画素からそれぞれ出力されるデジタル信号を所定の順序で出力する第1のステップと、第1のステップで出力された各画素毎のデジタル信号のうち、所定の画素から出力されたデジタル信号に、所定の画素の周辺画素から出力されたデジタル信号を加算処理して所定の画素のデジタル信号として出力する第2のステップとを含むことを特徴とする。
ここで、上記の第2のステップは、所定の画素から出力されたデジタル信号に、その所定の画素の周辺画素から出力されたデジタル信号をその周辺画素の所定の画素からの距離により重み付け加算処理して所定の画素のデジタル信号として出力する処理を更に行う処理を行うようにしてもよい。
本発明の撮像装置及びその信号処理方法は、各画素から所定値以上の電荷の発生の有無の観測結果を示す「0」あるいは「1」の値のデジタル信号を出力し、そのデジタル信号に対して加算処理を行うことにより、その加算処理後の全画素の信号から適切な画像を形成することができる。
本発明によれば、各画素から出力されるデジタル信号を所定の加算処理して得た信号に基づいて適切な画像を形成することで、高度な画像処理を行うことができる。
次に、本発明の一実施の形態について図面と共に詳細に説明する。
図1は、本発明になる撮像装置の一実施形態の構成図を示す。画素敷き詰め領域1は、複数の画素が縦方向及び横方向に規則的に配列された領域である。1つの画素2は、光を電荷に変換(光電変換)し電荷を検出するセンサ部3と、センサ部3の駆動と画素信号の信号処理とを行う画素回路4とを有している。画素回路4は、デジタル信号を記憶する画素メモリ5を有する。画素敷き詰め領域1の周辺には、画素を駆動する画素駆動回路6と、読み出し回路部12とがある。読み出し回路部12で読み出された画像情報は、画像処理回路14で処理され、出力される。
画素駆動回路6は、画素敷き詰め領域1内の複数の画素のうち行方向に並ぶ3個の画素毎に接続された配線7−1〜7−3を介して、行単位で画素2を駆動する。なお、この配線7−1〜7−3は複数本をまとめて表示している。動作については図10のタイミングチャートにより後述する。
画素2からは列配線8−1〜8−3を通じてデジタル信号が読み出し回路部12に出力される。読み出し回路部12は、読み出し制御回路11がスイッチ9−1〜9−3により列配線8−1〜8−3から出力されるデジタル信号を切り替えている。スイッチ9−1〜9−3の切り替えは、どれか1つのスイッチをオンにし、2つを同時にオンしない。図12(A)、(B)、(C)は、スイッチ9−1、9−2、9−3の制御信号を示し、制御信号がハイレベルの時スイッチはオン、ローレベルのときはオフに制御される。
スイッチ9−1〜9−3により選択された各信号は、インバータ10−1〜10−3を通して反転し、1つの出力信号線13から出力される。出力信号線13を通して出力された信号は、画像信号処理回路14により処理され、出力される。この処理内容についてはデジタル出力する画素に特有のもので、後述する。
なお、この実施の形態では、便宜上、画素2の配列を3行3列の9画素としており、3本の列配線8−1〜8−3を切り替えて1つの出力信号線13から信号を出力しているが、このような構成は例として描いているのであり、本発明はこの構成にとらわれない。例えば、画素数は高精細TVの横方向1920画素、縦方向1080画素やそれ以上ある場合も勿論である。また、出力信号線13の数は1つとは限らず複数個で並列出力になる場合もあり得るし、また読み出し回路部12がなく、直接列配線8−1〜8−3が画像信号処理回路14に繋がっている場合もあり得る。
図2は、図1中の画素1個の一実施の形態の構成を示す。図2において、図1と同一構成部分には同一符号を付してある。図2中、破線で囲まれた部分が1個の画素2であり、画素2は、センサ部3と画素回路4とを有している。画素回路4は、図2には示していない画素駆動回路6により配線7を介してコントロールされる。なお、画素回路4については後に詳述する。
センサ部3は、ソース領域21と光電変換領域22とn型領域23とを有している。図3は、センサ部3のさらに詳しい断面構造図を示す。図3において、センサ部3は、例えば深さ3μm、幅4μmであり、その中に深さ2μm、直径3μmの光電変換領域22が形成されている。光電変換領域22は、p型でドーパント濃度が1×1014cm-3と非常に低濃度である。その周辺の領域はn型領域23であり、そのドーパント濃度は1×1016cm-3〜1×1018cm-3程度である。基板の表面中央部には、n型の領域がありこれはソース領域21を形成している。
p型の光電変換領域22はゲート電極、n型領域23がドレイン電極、ソース領域21がソース電極として機能する。つまり、図3に示す構成のセンサ部3は、ジャンクションFET(以下J−FET)を形成している。ただし、通常のJ−FETと異なり、ゲート電極はどこにも接続されず、電気的に浮いている状態である。
センサ部3の動作をさらに説明するために、ソース領域21の周辺部Aの範囲を拡大して図4に示す。図4において、n型のソース領域21は幅0.05μm、深さ0.02μmと非常に微細な大きさであり、1×1016cm-3〜1×1019cm-3程度のドーパント濃度である。その周辺には0.02μm幅でドーパント濃度が5×1017cm-3〜5×1019cm-3程度のp型領域が取り囲んでおり、ここには光電変換されたホールが集まるので、これを電荷集中領域40と呼ぶことにする。
次に、このセンサ部3がどのような動作をするか説明する。
図5は、n型領域23(ドレイン)に0Vを印加し、ソース領域21に−0.6Vを印加した場合のポテンシャル図を示す。ここで光電変換領域22にはホールが存在していないとして計算している。また、ポテンシャルの基準は真性半導体のバンドギャップの中央のエネルギーレベルであり、n型、p型ともに不純物による拡散電位の影響を考慮している。また座標の原点はx座標が中央部であり、y座標は基板表面である。
さて、光電変換領域22は0.4Vぐらいからソース領域21に向かってポテンシャルが変化していることが、図5から分かる。光電変換領域22に光が入射されると電子ホール対が発生する。この電子ホール対のうち電子は、ポテンシャルの傾きに従ってn型領域23に向かい吸収される。一方、ホールはソース領域21の方向に向かって進む。
図6は、ソース領域21周辺の拡大図を示す。図6から分かるように、ソース領域21の周辺の電荷集中領域40にポテンシャルの低い領域ができている。図7は、図5のx座標0(図4ソース領域21の真ん中)での断面図を示す。図7から分かるように、光電変換領域22ではポテンシャルが緩やかに変化しているのに対し、ソース領域21の周辺の電荷集中領域40にてポテンシャルが急激に低下し、ポテンシャルの低い領域ができていることがわかる。
さて、ホールがない状態では、図6、図7のポテンシャル図が示すソース領域21の周辺のポテンシャルの低い領域(電荷集中領域40)がバリアとなってソース領域21から電荷がn型領域23に流れ込まず、ドレイン・ソース間には電流は殆ど流れない。ところが、光電変換によりホールが発生し、電荷集中領域40にホールが集まると、電荷集中領域40のポテンシャルが上昇し、ゲート・ソース間のポテンシャル障壁が下がり、ソース電流が流れるようになる。
このソース電流対ソース電圧特性を示したものが図8で、電荷集中領域40にホールがある場合の特性をIで示し、ホールがない場合の特性をIIで示す。これらの特性I、IIから分かるように、電荷集中領域40にホールが有る場合の方が、無い場合に比べて、ソース電流値に2桁〜4桁の差ができる。
図9は、ソース領域21の容量特性を示す。図9において、ソース領域21の容量(キャパシタンス)は、ソース電圧が0.2V以上では2×10-18(F)〜7×10-18(F)程度の容量特性を示していることが分かる。このソース領域21の容量は、ホール1個の電荷量1.6×10-19(C)と比較して10倍程度であるから、ホール1個当たり0.1V程度の変化が起こるので、十分検出可能であることが分かる。
さて、図2に戻って説明するに、このようなセンサ部3の特性に対して、それを駆動し検出結果をデジタル信号にする画素回路4は以下のようになっている。センサ部3のソース領域21に繋がっている配線は、コンデンサ24とスイッチ25、26の各一方の端子にそれぞれ接続されると共に、インバータを構成しているpMOSFET27とnMOSFET28のゲート共通接続点に接続されている。この共通接続点の電圧をVsとする。スイッチ25のもう一方の端子は0Vの配線に繋がっており、スイッチ26のもう一方の端子は−5Vの配線に繋がっている。スイッチ25はセットの配線により、スイッチ26はリセットの配線によりそれぞれコントロールされる。
また、pMOSFET27のソースは1.2Vの配線につながり、nMOSFET28のソースはグランド(0V)に繋がっている。インバータの出力端子であるpMOSFET27とnMOSFET28の各ドレイン共通接続点は、メモリ5の入力端に接続されている。このドレイン共通接続点の電圧をVoとする。また、メモリ5の出力端はスイッチ29を介してアンプ30につながり、アンプ30の出力は列出力線8に繋がっている。スイッチ29は画素選択用のスイッチであり、画素選択配線によりコントロールされる。また、センサ部3のn型領域23には、0.6Vの電源が接続されている。
次に、この画素2の動作について図10のタイミングチャートと共に説明する。まず、光が光電変換領域22に入射されてホールが発生し、電荷集中領域40にホール蓄積があった場合について説明する。
まず、セット信号にパルスを発生させ、図10(A)にハイレベルで模式的に示すように、スイッチ25を一時的にオンする。この結果、センサ部3のソース領域21の印加電圧Vsは、図10(C)に示すように0Vになる。また、pMOSFET27とnMOSFET28で作るインバータの出力電圧Voは、図10(D)に示すように1.2Vになる。
この状態で、光電変換領域22に光が入射されると、電荷が発生し、図8と共に説明したように電荷集中領域40にホールが無い場合よりも何桁も多いソース電流が流れる。その結果、コンデンサ24に電荷が溜まっていき、図10(C)に示すように、ソース領域21の印加電圧Vsは0Vから0.6Vに向かって上昇していく。
ここで、pMOSFET27とnMOSFET28で作るインバータの反転電圧が0.4Vに設定されているとする。すると、上記電圧Vsが0.4Vになったところでインバータは反転し、出力電圧Voが1.2Vから0Vに変化する(デジタル的には「1」から「0」に変化する。)。メモリ5は、このときのインバータの出力電圧Voを「0」と記憶する。
このあと、リセット信号がパルス状に発生し、図10(B)にハイレベルで模式的に示すようにスイッチ26が一時的にオン状態になる。この結果、センサ部3のソース領域21の印加電圧Vsは、図10(C)に示すように−5Vになる。また、pMOSFET27とnMOSFET28で作るインバータの出力電圧Voは、図10(D)に示すように1.2Vに戻る。
図11は、ソース領域21の電位Vsが−5Vになったときのポテンシャル形状を示す。図11に示すように、Vsが−5Vのときには、電荷集中領域40とソース領域21とのバリアの高さが0.1V程度となり、電荷集中領域40に蓄積されていたホールはソース領域21に容易に移動し、電荷集中領域40内のホールは無くなる。すなわちリセットされる。この後、図10(E)にハイレベルで模式的に示すように画素選択スイッチ29が一時的にオンし、そのオン期間、メモリ5に記憶されていた値「0」のデータがアンプ30で増幅された後画素2の外へ出力される。
なお、図10(F)にハイレベルからローレベルへの変化で模式的に示すスイッチ25がオンからオフに切り替わってから、図10(G)にローレベルからハイレベルへの変化で模式的に示すスイッチ26がオフからオンに切り替わるまでの所定期間内に、光が光電変換領域22に入射されずに電荷が発生しなかった場合はソース電流が流れず、コンデンサ24の端子電圧Vsは、図10(H)に示すように0Vのままである。従って、pMOSFET27とnMOSFET28とで構成されたインバータの反転は起こらず、インバータの出力電圧Voは図10(I)に示すように、1.2Vのままで変化しない。メモリ5は、スイッチ26がオンに制御される直前の時点でインバータの1.2Vの出力電圧Voを「1」と記憶する。
この後、図10(J)にハイレベルで模式的に示すように画素選択スイッチ29が一時的にオンし、そのオン期間、メモリ5に記憶されていた値「1」のデータがアンプ30で増幅された後画素2の外へ出力される。画素2の外部へ出力された信号は、図1のインバータ10−1〜10−3により反転され、画像信号処理回路14に引き渡される。このような観測を、例えば1秒間に600000回繰り返す。
ところで、上記の説明ではメモリ5は1ビットとし、出力も1ビット分として表現したが、メモリ5のビット数は設計者の自由にでき、ビット数の分だけホールが入ったかどうかの観測を繰り返して(セット−リセット間を繰り返す)メモリ5にビット数分だけ記憶できる。また、デジタル信号の「0」,「1」は、上記の説明では光があった場合「0」、無かった場合「1」としているが、これはインバータにより簡単に反転できるので、自由に設定可能である。
さて、全画素で1度の観測により得られた読み出し画像は、例えば図13の51のようになる。ここでは図1の画素の配列がそのまま各画像信号の配列に対応しているものとし、光が観測された画素が「1」に、観測されなかった画素が「0」で表されている。従って、図13は、列番号1、行番号1の座標(1,1)に対応する画素では光が観測され、その他の画素では光が観測されなかったことを示している。このような画像情報が、例えば1秒間に600000枚発生する。すなわち、この場合は一画素から値「0」又は「1」のビット値のデジタル信号が1秒間に600000ビット出力される。
次に、これを特定のフレームレートに変換する方法について図14と共に説明する。なお、このフレームレートの変換は、図1の画像信号処理回路14で画像処理用メモリ15を用いて行われる。
例えば、60フレームの動画画像を得たい場合、図14(A)のように、各画素毎に一秒当たり600000ビットの割合で出力されるデジタル信号の特定のビットから10000ビット分の信号を、各画素において加算すればよい。全画素でこの加算作業を行えば、1枚の60分の1秒の画像が得られる。そして、各画素毎に次の10000ビットを加算することにより、全画素から次の60分の1秒の画像が得られる。この繰り返しで1秒間に60枚の画像(すなわち、1秒60フレームの画像)が得られる。しかしながら、このようにして得られる画像情報は従来構造で各画素に対応したカウンタにより作られる画像と変わりない。
図14(B)は、各画素毎に一秒当たり600000ビットの割合で出力されるデジタル信号の特定のビットから10000ビットの範囲毎の、最初の4096ビットだけを加算し、後半の5904ビットは加算しないことでフレームレートを変換する方法を示す。これは4096(=212)階調で表される量子化ビット数12ビットの信号よりも多階調の信号が不要な場合に行う。このようにすれば、一画素の出力信号4096ビットの加算結果を示す量子化ビット数12ビットの信号により、全画素全体から60フレーム/秒の画像信号が得られる。
図14(C)は、撮像対象が暗い場合に1フレームに作る情報を20000ビット分に増やすフレームレート変換方法を示す。この場合、各画素毎に一秒当たり600000ビットの割合で出力されるデジタル信号の特定のビットから20000ビット毎に加算することで、全体の画素から1秒30フレームの画像を作ると動画品質が劣化してしまう。そこで、図14(C)に示すフレームレート変換方法では、各画素毎に一秒当たり600000ビットの割合で出力されるデジタル信号の特定のビットから20000ビットの第1の範囲61のうち、前半の10000ビットは直前の20000ビットの第2の範囲62の後半の10000ビットと加算し、後半の10000ビットは直後の20000ビットの第3の範囲63の前半の10000ビットと加算する(各画素において、前後の20000ビットと10000ビットずつ重なるように加算する)。これにより、全画素から1秒60フレームの動画画像を作ることができる。この場合、60フレームの動画画像は、重なった分が残像となるが、30フレームの動画よりは動画品質が向上する。
図14では1つの画素について時間方向の観測結果について動画画像を作る方法について説明したが、次に空間的な処理方法について説明する。
図15はある1回の観測画像の様子を示す。図15において、縦方向8画素、横方向8画素からなる1回の観測画像は、撮像対象が暗い場合、光を検出した画素数(値が「1」の画素数)が少なくなる。そこで、周辺の画素の情報も用いて画像を構成する。最も単純な画像構成方法は、図15に例えば太い枠で囲んだ隣接する4画素毎に1つの画素の信号として処理する方法である。この場合、作られる画像の信号画素数は縦横ともに半分になってしまう。
そこで、図16(A)に示すように、ある注目している画素71の信号に、枠72の範囲内にある画素71の周辺の画素1個分の計8画素のうち、光を検出した画素の数を加算するか、あるいは枠73の範囲内にある画素71の周辺の画素2個分の計16画素のうち、光を検出した画素の数を加算することで、一つの画素71の信号を構成する。
また、その隣の画素、例えば画素71の右隣の画素の信号を作るときには、図16(B)に示すように、画素71の右隣の画素81を注目している画素とし、その画素81の信号に、枠82の範囲内にある画素81の周辺の画素1個分の計8画素のうち、光を検出した画素の数を加算するか、あるいは枠83の範囲内にある画素81の周辺の画素2個分の計16画素のうち、光を検出した画素の数を加算することで、一つの画素81の信号を構成する。図16(A)、(B)に示す方法は、空間的にローパスフィルタ処理を行っているのに等しい。通常の光学的ローパスフィルタと同様な効果が得られ、画像特性が改善する。
また、加算するときに、注目している画素からの距離によって加算の重みを変えることも有効である。例えば、注目している画素の信号をX、その注目画素の1個隣の計8画素のうち、光を検出した画素の数を加算したものをY,その注目画素の2個隣までの計16画素のうち、光を検出した画素の数を加算したものをZとした場合、最終的な加算結果をSとすると
S=X+aY+bZ
などのように重み付けする。従って、Xは0又は1、Yは0〜8の範囲内の数値、Zは0〜16の範囲内の数値を示す。ここで、a、bは0≦a≦1、0≦b≦1、b≦aである。例えばa=0.5、b=0.2などのようにする。こうすると、例えば2画素隣で信号が大きく変化している場合に、注目している画素がその信号に引きずられる影響を減らすことができる。
S=X+aY+bZ
などのように重み付けする。従って、Xは0又は1、Yは0〜8の範囲内の数値、Zは0〜16の範囲内の数値を示す。ここで、a、bは0≦a≦1、0≦b≦1、b≦aである。例えばa=0.5、b=0.2などのようにする。こうすると、例えば2画素隣で信号が大きく変化している場合に、注目している画素がその信号に引きずられる影響を減らすことができる。
このように、時間方向、空間方向で最適な加算を行い、適切な画像を形成することが可能になる。
このような画像データは、処理に必要な分だけ、図1の画像処理用メモリ15に保存されるが、画像情報をそのまま保存すると大きなメモリ容量が必要になる。例えば1秒間に600000回の測定を200万画素について行ったとする。1秒60フレームで動画を構成すると、1フレームは1万回分の観測結果になるが、1フレームに必要なメモリ容量は20Gビット(2.5Gバイト)になる。更に、動き検出などをするために前後10フレーム分が必要ということになると、メモリ容量は400Gビット(50Gバイト)必要になる。
ところが、保存する情報には冗長性がある。例えば1秒間60フレームで動画を構成したときに1フレーム1万回の観測結果を使うとし、ある一画素において光が観測されたのが500回であったとする。すると、その画素の1万回のデータのうち値「1」が500個であり、「0」が9500個ということになる。データの構造としては「0」が並んでいる間にぽつぽつと「1」が混じっているという構造になる。これは冗長性が高い。
そこで、時間方向に圧縮を行う。このときに「1」がどのタイミングで観測されたかというのは重要な情報なので、この情報を無くさないように可逆圧縮(ロスレス圧縮)を行う。ロスレス圧縮の方法についてはすでに公知のものがあるので、それを利用できる。
図17は、可逆圧縮方法の一例の説明図を示す。ここでは、圧縮前のデータを、「1」や「0」が連続何個続いているか、という表現に置き換えている。この方法では撮像対象が暗い場合ほど、あるいは明るい場合ほど、「0」や「1」が連続している可能性が高いのでデータが小さくなる。
なお、時間方向にある画素についての圧縮例を示したが、空間方向についても同じである。ある1回の観測結果についての画像を画素の順番に従って観測結果を並べた場合、やはり図17のように「0」,「1」が並んだ構造になる。これは同様の方法で圧縮できる。圧縮したデータは再び展開して処理することが可能である。
1 画素敷き詰め領域
2 画素
3 センサ部
4 画素回路
5 メモリ
6 画素駆動回路
7−1〜7−3 行配線
8−1〜8−3 列配線
9−1〜9−3、25、26、29 スイッチ
10−1〜10−3 インバータ
11 読み出し制御回路
12 読み出し回路部
13 出力信号線
14 画像信号処理回路
15 画像処理用メモリ
21 ソース領域
22 光電変換領域
23 n型領域
24 コンデンサ
27 pMOSFET
28 nMOSFET
30 アンプ
40 電荷集中領域
2 画素
3 センサ部
4 画素回路
5 メモリ
6 画素駆動回路
7−1〜7−3 行配線
8−1〜8−3 列配線
9−1〜9−3、25、26、29 スイッチ
10−1〜10−3 インバータ
11 読み出し制御回路
12 読み出し回路部
13 出力信号線
14 画像信号処理回路
15 画像処理用メモリ
21 ソース領域
22 光電変換領域
23 n型領域
24 コンデンサ
27 pMOSFET
28 nMOSFET
30 アンプ
40 電荷集中領域
Claims (7)
- 複数個の画素が規則的に配列された画素敷き詰め領域を有する撮像装置であって、
前記複数個の画素の各画素は、
入射した光の光量に応じた数の電荷を発生する光電変換領域と、
所定値以上の前記電荷の発生の有無を観測し、その観測結果を「0」または「1」の値のデジタル信号として出力する画素回路と、を有しており、
前記複数個の画素を駆動する駆動回路と、
前記複数個の画素からそれぞれ出力される前記デジタル信号を所定の順序で出力する読み出し回路と、
前記読み出し回路から出力された各画素毎の前記デジタル信号のうち、同一画素から出力された所定の観測回数毎の前記デジタル信号同士を一部重複させた加算処理又は前記所定の観測回数毎の前記デジタル信号の一部だけを加算処理してフレームレート変換し、処理後の各画素からの信号から画像信号を生成する信号処理回路と、
を有することを特徴とする撮像装置。 - 複数個の画素が規則的に配列された画素敷き詰め領域を有する撮像装置であって、
前記複数個の画素の各画素は、
入射した光の光量に応じた数の電荷を発生する光電変換領域と、
所定値以上の前記電荷の発生の有無を観測し、その観測結果を「0」または「1」の値のデジタル信号として出力する画素回路と、を有しており、
前記複数個の画素を駆動する駆動回路と、
前記複数個の画素からそれぞれ出力される前記デジタル信号を所定の順序で出力する読み出し回路と、
前記複数個の画素のうち、所定の画素から出力された前記デジタル信号に、前記所定の画素の周辺画素から出力された前記デジタル信号を加算処理して前記所定の画素のデジタル信号として出力する信号処理回路と、
を有することを特徴とする撮像装置。 - 複数個の画素が規則的に配列された画素敷き詰め領域を有する撮像装置であって、
前記複数個の画素の各画素は、
入射した光の光量に応じた数の電荷を発生する光電変換領域と、
所定値以上の前記電荷の発生の有無を観測し、その観測結果を「0」または「1」の値のデジタル信号として出力する画素回路と、を有しており、
前記複数個の画素を駆動する駆動回路と、
前記複数個の画素からそれぞれ出力される前記デジタル信号を所定の順序で出力する読み出し回路と、
前記複数個の画素のうち、所定の画素から出力された前記デジタル信号に、前記所定の画素の周辺画素から出力された前記デジタル信号をその周辺画素の前記所定の画素からの距離により重み付け加算処理して前記所定の画素のデジタル信号として出力する信号処理回路と、
を有することを特徴とする撮像装置。 - 入射した光の光量に応じた数の電荷を発生する光電変換領域と、所定値以上の前記電荷の発生の有無を観測し、その観測結果を「0」あるいは「1」の値のデジタル信号として出力する画素回路と、を有する画素が、複数個規則的に配列された撮像装置の信号処理方法であって、
前記複数個の画素からそれぞれ出力される前記デジタル信号を所定の順序で出力する第1のステップと、
前記第1のステップで出力された各画素毎の前記デジタル信号のうち、同一画素から出力された所定の観測回数毎の前記デジタル信号同士を一部重複させた加算処理又は前記所定の観測回数毎の前記デジタル信号の一部だけを加算処理してフレームレート変換し、処理後の各画素からの信号から画像信号を生成する第2のステップと
を含むことを特徴とする撮像装置の信号処理方法。 - 前記デジタル信号及び前記画像信号のいずれかの信号を圧縮処理する第3のステップと、
前記圧縮処理された信号を伸張処理する第4のステップと、
を更に含むことを特徴とする請求項4記載の撮像装置の信号処理方法。 - 入射した光の光量に応じた数の電荷を発生する光電変換領域と、所定値以上の前記電荷の発生の有無を観測し、その観測結果を「0」または「1」の値のデジタル信号として出力する画素回路と、を有する画素が、複数個規則的に配列された撮像装置の信号処理方法であって、
前記複数個の画素からそれぞれ出力される前記デジタル信号を所定の順序で出力する第1のステップと、
前記第1のステップで出力された各画素毎の前記デジタル信号のうち、所定の画素から出力された前記デジタル信号に、前記所定の画素の周辺画素から出力された前記デジタル信号を加算処理して前記所定の画素のデジタル信号として出力する第2のステップと、
を含むことを特徴とする撮像装置の信号処理方法。 - 入射した光の光量に応じた数の電荷を発生する光電変換領域と、所定値以上の前記電荷の発生の有無を観測し、その観測結果を「0」または「1」の値のデジタル信号として出力する画素回路と、を有する画素が、複数個規則的に配列された撮像装置の信号処理方法であって、
前記複数個の画素からそれぞれ出力される前記デジタル信号を所定の順序で出力する第1のステップと、
前記第1のステップで出力された各画素毎の前記デジタル信号のうち、所定の画素から出力された前記デジタル信号に、前記所定の画素の周辺画素から出力された前記デジタル信号をその周辺画素の前記所定の画素からの距離により重み付け加算処理して前記所定の画素のデジタル信号として出力する第2のステップと、
を含むことを特徴とする撮像装置の信号処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008083741A JP2009239668A (ja) | 2008-03-27 | 2008-03-27 | 撮像装置とその信号処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008083741A JP2009239668A (ja) | 2008-03-27 | 2008-03-27 | 撮像装置とその信号処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009239668A true JP2009239668A (ja) | 2009-10-15 |
Family
ID=41253083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008083741A Pending JP2009239668A (ja) | 2008-03-27 | 2008-03-27 | 撮像装置とその信号処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009239668A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106449677A (zh) * | 2011-04-19 | 2017-02-22 | 阿尔塔传感器公司 | 具有混合型异质结构的图像传感器 |
US9679929B2 (en) | 2012-10-12 | 2017-06-13 | Samsung Electronics Co., Ltd. | Binary image sensors including quantum dots and unit pixels thereof |
WO2020050362A1 (ja) | 2018-09-06 | 2020-03-12 | パナソニックIpマネジメント株式会社 | 固体撮像素子、撮像システム、固体撮像素子の駆動方法、及び光検出器 |
WO2023080180A1 (ja) * | 2021-11-05 | 2023-05-11 | 株式会社ニコン | 撮像素子および撮像装置 |
-
2008
- 2008-03-27 JP JP2008083741A patent/JP2009239668A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106449677A (zh) * | 2011-04-19 | 2017-02-22 | 阿尔塔传感器公司 | 具有混合型异质结构的图像传感器 |
CN106449679A (zh) * | 2011-04-19 | 2017-02-22 | 阿尔塔传感器公司 | 具有混合型异质结构的图像传感器 |
US9679929B2 (en) | 2012-10-12 | 2017-06-13 | Samsung Electronics Co., Ltd. | Binary image sensors including quantum dots and unit pixels thereof |
WO2020050362A1 (ja) | 2018-09-06 | 2020-03-12 | パナソニックIpマネジメント株式会社 | 固体撮像素子、撮像システム、固体撮像素子の駆動方法、及び光検出器 |
US11290675B2 (en) | 2018-09-06 | 2022-03-29 | Panasonic Intellectual Property Management Co., Ltd. | Solid-state image sensor and imaging system |
WO2023080180A1 (ja) * | 2021-11-05 | 2023-05-11 | 株式会社ニコン | 撮像素子および撮像装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6555512B2 (ja) | 撮像装置および画像取得装置 | |
CN101909167B (zh) | 固体摄像器件、其驱动方法和包括该器件的电子系统 | |
TWI516122B (zh) | 固態成像裝置,固態成像裝置之信號處理方法,及電子設備 | |
JP5664175B2 (ja) | 固体撮像装置とその駆動方法、及び電子機器 | |
US9979913B2 (en) | Driving method of imaging device and driving method of imaging system | |
JP5656484B2 (ja) | 固体撮像装置および撮像システム | |
CN102244741B (zh) | 固态图像传感器和照相机 | |
US20190179036A1 (en) | Radiation imaging apparatus and radiation imaging system | |
KR102389417B1 (ko) | 고체 촬상 소자 및 촬상 장치 | |
US9214490B2 (en) | Solid-state imaging device | |
US20100078544A1 (en) | Increasing readout speed in cmos aps sensors through block readout | |
TW201340708A (zh) | 固體攝像裝置及電子機器 | |
WO2004047428A1 (ja) | 固体撮像装置 | |
KR20110014089A (ko) | 고체 촬상 장치, 고체 촬상 장치의 아날로그-디지털 변환 방법 및 전자기기 | |
CN102917185A (zh) | 固态成像装置和成像装置 | |
CN104349077A (zh) | 固态成像装置、其驱动方法和电子设备 | |
CN104243865A (zh) | Ad转换器、信号处理方法、固态成像装置和电子设备 | |
JP2015159463A (ja) | 固体撮像装置及び撮像システム | |
JP2021166395A (ja) | 撮像素子及び撮像装置 | |
JP2009239668A (ja) | 撮像装置とその信号処理方法 | |
US20240040277A1 (en) | Imaging device and driving method thereof | |
KR101732301B1 (ko) | 고체 촬상 소자 및 촬상 장치 | |
KR101760200B1 (ko) | 고체 촬상 소자 및 촬상 장치 | |
JP2009284181A (ja) | 固体撮像装置 | |
JP3578648B2 (ja) | 増幅型固体撮像装置およびその駆動方法 |