JP2010161539A - 画像読取装置 - Google Patents

Abstract

【課題】１回の撮像で広範囲の輝度のデータを取得して当該データの処理を行うことのできる画像読取装置を提供する。
【解決手段】画像読取装置には、単位画素毎に、感度の異なる複数の光センサが設けられる。それら複数の光センサへの露光が行われた後、光センサ読取制御回路２００は、各光センサについての輝度データを取得する（ステップＳ２１０）。さらに、光センサ読取制御回路２００は、各光センサについての露光がオーバー露光であるか否かを判定する（ステップＳ２２０，Ｓ２３０，Ｓ２４０）。上記判定については、（光センサの）感度の高い順に行われる。光センサについての露光がオーバー露光ではないと判定されると、当該光センサについての輝度データが、撮像画像を再現するための画像データを構成すべきデータとして選択される（ステップＳ２２５，Ｓ２３５，Ｓ２４５）。
【選択図】図１

Description

本発明は、画像読取装置に関し、より詳しくは表示用のパネル内に光センサを内蔵した画像読取装置に関する。

近年、液晶表示装置等の表示装置に関し、画素毎に光センサを設けた構成の光センサ内蔵型表示装置が提案されている。このような光センサ内蔵型表示装置においては、一般に内部に光源が設けられており、光源から照射された光は、装置のパネル表面に置かれている被写体（紙、人の指、物体など）で反射する。そして、その反射光を光センサが検知し、反射光の強さ（輝度）に応じた電荷が光センサに蓄積される。光センサ内蔵型表示装置には、画像を読み取る際の解像度に応じた数の光センサが設けられており、それら光センサに蓄積された電荷を読み出すことにより、被写体に表されている画像が認識される。

ところで、人の視覚感度は対数関数に従うことが経験的に知られている。このため、人の視覚感度を考慮して画像の読み取りを行うためには、広範囲の輝度の情報を取得できる光センサが画像読取装置に設けられることが好ましい。ところが、１つの光センサでそのような広範囲の輝度の情報を取得することは困難である。そこで、従来においては、最初の撮像でオーバー露光（露光超過）となったときには露光時間を短くして再度撮像が行われ、最初の撮像でアンダー露光（露光不足）となったときには露光時間を長くして再度撮像が行われている。これについて、図２７を参照しつつ説明する。図２７は、或る１つの光センサに着目したときの露光時間と（当該光センサに蓄積される）電荷量との関係を示す図である。符号Ｑ１で示す線は、比較的高輝度の光が光センサに与えられたときの電荷量の変化を示しており、符号Ｑ２で示す線は、比較的低輝度の光が光センサに与えられたときの電荷量の変化を示している。また、符号ＱＨはオーバー露光となる電荷量の閾値を示し、符号ＱＬはアンダー露光となる電荷量の閾値を示している。ここで、露光時間がＴＡに設定されているときに比較的低輝度の光が光センサに与えられると、図２７から把握されるようにアンダー露光となる。このとき、露光時間を例えばＴＢにして、再度撮像が行われる。また、露光時間がＴＢに設定されているときに比較的高輝度の光が光センサに与えられると、図２７から把握されるようにオーバー露光となる。このとき、露光時間を例えばＴＡにして、再度撮像が行われる。このように、複数回の撮像を行うことによって、広範囲の輝度の情報の取得が行われている。

なお、本願発明に関連して、以下のような先行技術が知られている。特開２００４−１９３７６２号公報には、各画素が電気的に分離された第１の光電変換素子と第２の光電変換素子とを含む構成とすることにより固体撮像装置の光ダイナミックレンジを拡大する技術が開示されている。特開昭６３−１８０８２５号公報には、高感度センサと低感度センサとを備える構成とすることにより広い照度範囲の光を光電変換する技術が開示されている。また、光センサより得られたデータを補正する技術については、特開平９−３０７７７４号公報に開示されている。

特開２００４−１９３７６２号公報 特開昭６３−１８０８２５号公報 特開平９−３０７７７４号公報

上述のように、従来技術によれば、広範囲の輝度の情報を取得するためには複数回の撮像が必要となる。

また、特許文献１には、２つのセンサのデータを合成する旨や飽和露光量が相対的に小さいセンサのデータについて或るレベルを超える成分を切り取る旨の記載がなされているが、それらに関する具体的な実現方法が開示されていない。

特許文献１によると、飽和露光量ＳＥは感度Ｒに逆比例して飽和出力電圧Ｖｓａｔに比例するので、次式（１１）が成立する。
ＳＥ＝Ｖｓａｔ／Ｒ ・・・（１１）
また、感度は露光量に対する発生電荷量であって、次式（１２）が成立する。
Ｒ０＝Ｒ１＋Ｒ２ ・・・（１２）
なお、Ｒ０はセンサ全体での感度、Ｒ１は主ホトダイオードの感度、Ｒ２は副ホトダイオードの感度である。
さらに、飽和出力電圧は最大蓄積電荷量に比例し、次式（１３）が成立する。
Ｖｓａｔ０＝Ｖｓａｔ１＋Ｖｓａｔ２ ・・・（１３）
なお、Ｖｓａｔ０はセンサ全体での飽和出力電圧、Ｖｓａｔ１は主ホトダイオードの飽和出力電圧、Ｖｓａｔ２は副ホトダイオードの飽和出力電圧である。

ここで、センサ全体，主ホトダイオード，副ホトダイオードについての露光量をＳ０，Ｓ１，Ｓ２とし、それらに蓄積されている電荷をＱ０，Ｑ１，Ｑ２とし、それらに与えられている電圧をＶ０，Ｖ１，Ｖ２とし、それらの飽和露光量をＳＥ０，ＳＥ１，ＳＥ２とし、それらの感度をＲ０，Ｒ１，Ｒ２とし、それらの静電容量値をＣ０，Ｃ１，Ｃ２とすると、以下の式が成立する。
Ｓ０＝Ｓ１＋Ｓ２ ・・・（１４）
Ｑ０＝Ｑ１＋Ｑ２ ・・・（１５）
電荷は静電容量値と電圧との積となるので、次式（１６）〜（１８）が成立する。
Ｑ０＝Ｃ０×Ｖ０
＝（Ｃ１＋Ｃ２）×Ｖ０ ・・・（１６）
Ｑ１＝Ｃ１×Ｖ１ ・・・（１７）
Ｑ２＝Ｃ２×Ｖ２ ・・・（１８）
上式（１５）〜（１８）より次式（１９）が成立する。
（Ｃ１＋Ｃ２）×Ｖ０＝Ｃ１×Ｖ１＋Ｃ２×Ｖ２ ・・・（１９）
上式（１９）より次式（２０）が成立する。
Ｖ０＝（Ｃ１／（Ｃ１＋Ｃ２））×Ｖ１＋（Ｃ２／（Ｃ１＋Ｃ２））×Ｖ２
・・・（２０）
上式（２０）より、センサ全体，主ホトダイオード，および副ホトダイオードの飽和出力電圧について、上式（１３）で示されるような関係は成立しないものと考えられる。

また、主ホトダイオードと副ホトダイオードとが並列に配置されたものがセンサ全体になると考えられ、次式（２１）が成立する。
ＳＥ０＝ＳＥ１＋ＳＥ２ ・・・（２１）
飽和した時点においては、次式（２２）が成立する。
Ｖｓａｔ０／Ｒ０＝（Ｖｓａｔ１／Ｒ１）＋（Ｖｓａｔ２／Ｒ２）
＝（Ｒ２×Ｖｓａｔ１＋Ｒ１×Ｖｓａｔ２）／（Ｒ１＋Ｒ２）
・・・（２２）
特許文献１には上式（１３）が成立するように記載されているが、上式（２２）に示される関係から上式（１３）を満足させる具体的な実現方法が開示されていない。

さらに、特許文献２に開示された構成によれば、高感度センサ，低感度センサの他に照度検出手段（センサ）が必要になるところ、当該照度検出手段によって、上記高感度センサが検出可能な輝度範囲と上記低感度センサが検出可能な輝度範囲とを含む範囲の輝度の検出がなされることになる。そうすると、高感度センサと低感度センサとを備えることなく上記照度検出手段によって広範囲の輝度が検出されることになるので、広範囲の輝度を検出するという観点では何ら課題の解決がなされていない。また、特許文献２には、高感度センサと低感度センサとの間で検出データを切り換える方法に関して具体的な開示がなされていない。特許文献２の第４図を参酌すると、高感度センサのデータと低感度センサのデータとはエミッタ電流または符号１０６で示す端子の電圧で選択されることになるが、高感度センサと低感度センサとは電気的に接続されている。このため、選択信号によってどのようにして検出データの切り換えが行われるのかを把握することができない（具体的な記載がなされていない）。実際には高感度センサについての充電電流と低感度センサについての充電電流との読み出しが行われなければ、輝度の高低が判別されないものと考えられる。

また、特許文献３に開示された技術によると、基準用白紙の読み取りが光センサにより１度行われ、ガンマ補正値が決定される。そして、そのガンマ補正値を用いて、真に読み込みが行われるべきネガフィルムのデータが得られる。この技術の目的として、データの分布であるヒストグラムを分散させ明暗のコントラストを上げること、データ全体の露光条件を白側へ極力移動させ黒側の暗電流ノイズの影響を小さくするＳ／Ｎ比を上げること、および、照明光の不安定要素を吸収することが挙げられ、流れ図によって処理手順が示されている。しかし、真に読み込みが行われるべき対象物を代表するものが基準用白紙とされなければ、ガンマ補正値でコントラストと暗電流ノイズの影響低下を両立する解決策として成り立たない。たとえば、基準用白紙の読み取りでガンマ補正値が決定され、本データの対象物が黒紙であった場合に、全体的に黒データが分散され、黒色から薄灰色のデータとなるが、暗電流ノイズのデータも分散されてノイズが強調される結果となり矛盾する結果となる。すなわち、特許文献３には課題の解決策が記載されていない。また、特許文献３に記載されているプリスキャンによりアンダー露光やオーバー露光を調査することは照明光の不安定要素を吸収する方法として効果的であるが、特許文献３に記載のガンマ補正が行われても、アンダー露光もオーバー露光も解決されない。これは、光センサと受光量に起因する問題（課題）であって、換算で解決される問題では無い。受光量についての解決策が必要されるが、それに関する具体的な記載はなされていない。また、プリスキャンにより受光量データの中心値をガンマ補正することは効果的であるが、コントラストを上げることと暗電流ノイズの影響を抑えることに対しての解決策とはならない。このように、特許文献３には、課題の具体的な解決策が記載されていない。

そこで本発明は、１回の撮像で広範囲の輝度のデータを取得して当該データの処理を行うことのできる画像読取装置を提供することを目的とする。

第１の発明は、画像を読み取る対象である被写体が撮像時に配置されるべきパネル部と、前記パネル部の内部に設けられ受光素子と該受光素子の受けた光量に応じた電荷が蓄積される容量とを含む光センサと、前記容量に蓄積された電荷に基づいて前記被写体の撮像画像を表す画像データを生成する画像読取処理部とを備えた画像読取装置であって、
前記パネル部は、前記撮像画像の最小単位となる単位画素毎に、感度の異なる複数の前記光センサを有し、
前記画像読取処理部は、
各光センサの容量に蓄積された電荷を読み出して当該各光センサの輝度データとして取得する電荷読み出し部と、
予め定められた第１の閾値と前記輝度データの値とを比較するデータ比較部と、
前記データ比較部による比較結果に基づいて、単位画素毎に、前記画像データを構成すべきデータを前記複数の光センサの輝度データから選択するデータ選択部と
を有し、
前記データ選択部では、前記第１の閾値よりも前記輝度データの値が小さい光センサのうち最も感度の高い光センサの輝度データが、前記画像データを構成すべきデータとして選択されることを特徴とする。

第２の発明は、第１の発明において、
前記データ比較部は、単位画素毎に、前記複数の光センサの感度の高い順に前記第１の閾値と各光センサの輝度データの値とを比較することを特徴とする。

第３の発明は、第１または第２の発明において、
前記データ選択部は、
単位画素に設けられている前記複数の光センサ全ての輝度データの値が前記第１の閾値以上であれば、取り得る輝度のうちの最大の輝度であることを示す最大輝度データを、当該単位画素についての前記画像データを構成すべきデータとして選択し、
単位画素に設けられている前記複数の光センサ全ての輝度データの値が予め定められた第２の閾値以下であれば、取り得る輝度のうちの最小の輝度であることを示す最小輝度データを、当該単位画素についての前記画像データを構成すべきデータとして選択することを特徴とする。

第４の発明は、第１から第３までのいずれかの発明において、
前記画像読取処理部は、各単位画素について前記データ選択部によって選択されたデータである被選択データを、前記撮像画像全体についての複数の前記被選択データの値に基づいて、階調値を示すデータに変換するデータ変換部を更に有することを特徴とする。

第５の発明は、第４の発明において、
前記第１の閾値よりも値の小さい輝度データのうちの値の最大値を変換用最大値とし、前記第２の閾値よりも値の大きい輝度データのうちの値の最小値を変換用最小値としたときに、
前記データ変換部は、前記変換用最大値と前記変換用最小値との差に対する前記被選択データの値と前記変換用最小値との差の比と、前記変換用最大値に対応付けられている階調値と前記変換用最小値に対応付けられている階調値との差に対する前記被選択データの変換後のデータの階調値と前記変換用最小値に対応付けられている階調値との差の比とが等しくなるように、前記被選択データを変換することを特徴とする。

第６の発明は、第４の発明において、
前記第１の閾値よりも値の小さい輝度データのうちの値の最大値の対数を変換用最大値とし、前記第２の閾値よりも値の大きい輝度データのうちの値の最小値の対数を変換用最小値とし、前記撮像画像全体についての輝度データの値の対数分布の重心となる値を変換用重心値としたときに、
前記データ変換部は、
前記被選択データの値の対数が前記変換用最小値以上かつ前記変換用重心値以下であれば、前記変換用重心値と前記変換用最小値との差に対する前記被選択データの値の対数と前記変換用最小値との差の比と、前記変換用重心値に対応付けられている階調値と前記変換用最小値に対応付けられている階調値との差に対する前記被選択データの変換後のデータの階調値と前記変換用最小値に対応付けられている階調値との差の比とが等しくなるように、前記被選択データを変換し、
前記被選択データの値の対数が前記変換用重心値以上かつ前記変換用最大値以下であれば、前記変換用最大値と前記変換用重心値との差に対する前記被選択データの値の対数と前記変換用重心値との差の比と、前記変換用最大値に対応付けられている階調値と前記変換用重心値に対応付けられている階調値との差に対すると前記被選択データの変換後のデータの階調値と前記変換用重心値に対応付けられている階調値との差の比とが等しくなるように、前記被選択データを変換し、
前記変換用重心値に対応付けられている階調値は、前記変換用最大値に対応付けられている階調値と前記変換用最小値に対応付けられている階調値との中央値であることを特徴とする。

第７の発明は、前記データ変換部は、前記撮像画像全体についての輝度データの値の対数の平均値を前記変換用重心値とすることを特徴とする。

上記第１の発明によれば、パネル部には単位画素毎に感度の異なる複数の光センサが設けられている。そして、各光センサの容量に蓄積されている電荷が輝度データとして電荷読み出し部によって読み出され、データ比較部によって第１の閾値と輝度データとが比較される。ここで、光センサがオーバー露光となる電荷の値を第１の閾値とすることによって、各光センサでの露光がオーバー露光であるか否が把握される。そして、オーバー露光ではない光センサのうちの最も感度の高い光センサの輝度データが、被写体の撮像画像を表す画像データを構成すべきデータとしてデータ選択部によって選択される。上述のように単位画素毎に設けられている複数の光センサの感度はそれぞれ異なっているので、或る一定期間だけ露光が行われたときにオーバー露光となる光センサが存在していても、オーバー露光とはならない比較的感度の低い光センサが含まれていれば、上記画像データを生成するための輝度データは取得される。また、或る一定期間だけ露光が行われたときにアンダー露光となる光センサが存在していても、アンダー露光とはならない比較的感度の高い光センサが含まれていれば、上記画像データを生成するための輝度データは取得される。以上より、広範囲の輝度値を含む画像の読み取りを１度の撮像で行うことのできる画像読取装置が実現される。

上記第２の発明によれば、或る単位画素についてオーバー露光とはならなかった光センサが複数存在するときに、それら複数の光センサのうち最も感度の高い光センサについてのみ上記第１の閾値と輝度データとの比較が行われる。このため、上記第１の閾値と輝度データとの比較を行う処理の回数が最小化され、処理速度が向上する。

上記第３の発明によれば、複数の光センサ全てがオーバー露光となった単位画素の輝度については、取り得る輝度のうちの最大の輝度として処理され、複数の光センサ全てがアンダー露光となった単位画素の輝度については、取り得る輝度のうちの最小の輝度として処理される。

上記第４の発明によれば、各単位画素についての複数の輝度データのうちデータ選択部によって選択されたデータは、撮像画像全体の輝度を考慮しつつ、階調値を示すデータに変換される。このため、撮像画像が全体的に暗い場合や全体的に明るい場合にも、被写体の撮像画像を表す画像データについて、ある程度のコントラストが確保される。

上記第５の発明によれば、オーバー露光のデータとアンダー露光のデータとを除いたときに、輝度値全体の範囲に対する変換前のデータの輝度値の位置（割合）と階調値全体の範囲に対する変換後のデータの階調値の位置（割合）とが等しくなるように、各単位画素についてデータ選択部によって選択された輝度データが階調値のデータに変換される。このため、比較的簡単な構成で、撮像画像を再現するための画像データが生成される。

上記第６の発明によれば、各単位画素についてデータ選択部によって選択された輝度データが、人の視覚感度を考慮しつつ階調値のデータに変換される。このため、人の感覚に適合した画像の再現が可能な画像データが生成される。

上記第７の発明によれば、比較的簡単な構成で、人の視覚感度を考慮しつつ、輝度データから階調値のデータへの変換が行われる。

本発明の一実施形態に係る画像読取装置における最適値選択処理の処理手順を示すフローチャートである。 上記実施形態に係る画像読取装置の概略構成図である。 上記実施形態において、光センサ読取回路，光センサ読取選択回路，およびパネル部内の詳細な構成を示す回路図である。 上記実施形態において、画素形成部の詳細な構成を示す回路図である。 上記実施形態において、画像読取処理に関する機能構成を示す機能ブロック図である。 上記実施形態に係る画像読取装置の断面図である。 上記実施形態において、カラーフィルタ基板およびＴＦＴアレイ基板における１画素分の領域の構造を示す模式図である。 上記実施形態において、光センサの構造について説明するための模式図（斜視図）である。 上記実施形態において、光センサの構造について説明するための模式図（平面図）である。 上記実施形態において、各色用の光センサの補助容量に蓄積される電荷量の変化を示すグラフである。 上記実施形態において、各色用の光センサの補助容量に蓄積される電荷量の変化を示すグラフである。 上記実施形態において、画像読取処理について説明するための信号波形図である。 上記実施形態において、画像読取処理の手順を示すフローチャートである。 上記実施形態において、読取電圧と補正後電圧との関係を示す図である。 上記実施形態において、比較換算処理について説明するための図である。 上記実施形態において、最適値選択処理について説明するための図である。 上記実施形態において、最適値選択処理について説明するための図である。 上記実施形態において、最適値選択処理について説明するための図である。 上記実施形態において、最適値選択処理について説明するための図である。 上記実施形態において、最適値選択処理について説明するための図である。 上記実施形態において、最適値選択処理について説明するための図である。 上記実施形態における効果について説明するための図である。 上記実施形態の第１の変形例における光センサの構造を示す模式図（斜視図）である。 上記実施形態の第２の変形例における比較換算処理について説明するための図である。 上記実施形態の第３の変形例について説明するための図である。 上記実施形態の第３の変形例について説明するための図である。 或る１つの光センサに着目したときの露光時間と電荷量との関係を示す図である。

以下、添付図面を参照しつつ本発明の一実施形態について説明する。

＜１．全体構成および動作概要＞
図２は、本発明の一実施形態に係る画像読取装置の概略構成図である。この画像読取装置は、パネル部１０と制御回路２０と読み書き回路３０と選択回路４０とを備えている。なお、この画像読取装置においては、主に、パネル部１０の表面に置かれた紙，物体等（被写体）に表されている画像を読み取る画像読取処理と、外部から送られる画像信号等に基づいてパネル部１０に画像を表示する画像表示処理とが行われる。すなわち、この画像読取装置は、機能的には、画像を読み取る画画像読取機能と、画像を表示する画像表示機能とを有している。以下、画像読取処理で処理される画像のことを「読取画像」といい、画像表示処理で処理される画像のことを「表示画像」という。

パネル部１０には、複数本（ｍ本）のゲートバスライン（走査信号線）ＧＬ１〜ＧＬｍと、複数本（ｎ本）のソースバスライン（映像信号線）ＳＬ１〜ＳＬｎと、共通電極（図２では不図示）と、保持容量電極（図２では不図示）と、露光時間制御ラインＣＲと、読取用基準電圧ライン（図２では不図示）と、複数本（ｍ本）の読取選択ラインＳＲ１〜ＳＲｍと、複数本（ｎ本）の読取データラインＤＲ１〜ＤＲｎと、複数個（ｍ×ｎ個）の画素形成部１１とが含まれている。各画素形成部１１には画像読取処理のための光センサと画像表示処理のための表示部１９０とが含まれており、光センサは光感知部１１０と電荷蓄積部１２０とによって構成されている。本実施形態ではｍ×ｎ個の画素形成部によってｍ行×ｎ列の画素マトリクスが形成されているところ、図２には３行×６列分についての構成のみを示している。なお、以下においては、画素マトリクスを形成する行，列のことを単に「行」，「列」という。また、本実施形態においては赤色用，緑色用，および青色用の３つの副画素によって１つの画素（単位画素）が形成されるところ、図２における１つの画素形成部１１は１つの副画素を形成している。また、列に着目すると、図２に示すように、赤色用，緑色用，および青色用の列を１グループとして、それらが繰り返し配置されている。

制御回路２０は、この画像読取装置の全体の動作を制御する。制御回路２０には、画像読取処理のための光センサ読取制御回路２００と、画像表示処理のための表示制御回路２９０とが含まれている。読み書き回路３０は、読取画像に対応するデータのパネル部１０からの読み出しと、表示画像に対応するデータのパネル部１０への書き込みとを行う。読み書き回路３０には、画像読取処理のための光センサ読取回路３００と、画像表示処理のためのソースドライバ（映像信号線駆動回路）３９０とが含まれている。選択回路４０は、画像読取処理および画像表示処理の際に、処理対象の行を順次に選択する。選択回路４０には、画像読取処理のための光センサ読取選択回路４００と、画像表示処理のためのゲートドライバ（走査信号線駆動回路）４９０とが含まれている。

光センサ読取制御回路２００は、光センサ読取選択回路４００と光センサ読取回路３００と露光時間制御ラインＣＲとに画像読取処理のための制御信号を与える。詳しくは、光センサ読取制御回路２００は、光センサ読取選択回路４００に入力パルス信号ＩＮＰ，シフトクロック信号ＣＫ，およびイネーブル信号ＥＮＡを与え、光センサ読取回路３００に読取線リセットパルス信号ＲＳＴを与え、露光時間制御ラインＣＲに露光時間制御パルス信号ＣＴＬを与える。なお、これら各信号についての説明は後述する。また、光センサ読取制御回路２００は、光センサ読取回路３００から後述するアナログ電圧ＡＶを受け取り、読取画像を再現するためのデータ処理を行う。

光センサ読取回路３００は、各画素形成部１１の電荷蓄積部１２０に蓄積されている電荷を読取データラインＤＲ１〜ＤＲｎを介して読み出し、その電荷量に応じたアナログ電圧ＡＶを光センサ読取制御回路２００に与える。なお、光センサ読取回路３００は、電荷蓄積部１２０に蓄積されている電荷を読み出す際、光センサ読取制御回路２００から与えられる読取線リセットパルス信号ＲＳＴに基づいて、読取データラインＤＲ１〜ＤＲｎに蓄積されている電荷を予め放電させる。光センサ読取選択回路４００は、光センサ読取制御回路２００から与えられる入力パルス信号ＩＮＰ，シフトクロック信号ＣＫ，およびイネーブル信号ＥＮＡに基づいて、画像読取処理が行われる際に読取選択ラインＳＲ１〜ＳＲｍを順次に選択する。

表示制御回路２９０は、ゲートドライバ４９０とソースドライバ３９０とに画像表示処理のための制御信号を与える。詳しくは、表示制御回路２９０は、ゲートドライバ４９０にゲート制御信号群ＧＳを与え、ソースドライバ３９０にソース制御信号群ＳＳを与える。ソースドライバ３９０は、表示制御回路２９０から与えられるソース制御信号群ＳＳに基づいて、ソースバスラインＳＬ１〜ＳＬｎに映像信号を印加する。ゲートドライバ４９０は、表示制御回路２９０から与えられるゲート制御信号群ＧＳに基づいて、画像表示処理が行われる際にゲートバスラインＧＬ１〜ＧＬｍを順次に選択する。

以上のようにして、各読取選択ラインＳＲ１〜ＳＲｍに対応する行に含まれる画素形成部１１の電荷蓄積部１２０に蓄積されている電荷が順次に読み出されることにより、パネル部１０の表面に置かれた被写体に表されている画像の読み取りが行われる。また、各ゲートバスラインＧＬ１〜ＧＬｍに走査信号Ｇ（１）〜Ｇ（ｍ）が印加され、各ソースバスラインＳＬ１〜ＳＬｎに映像信号が印加されることにより、パネル部１０に画像が表示される。

＜２．詳細な構成＞
＜２．１ 回路構成＞
図３および図４を参照しつつ、本実施形態に係る画像読取装置の詳細な回路構成について説明する。図３は、光センサ読取回路３００，光センサ読取選択回路４００，およびパネル部１０内の詳細な構成を示す回路図である。また、図４は、画素形成部１１の詳細な構成を示す回路図である。

図４に示すように、表示部１９０には、対応する交差点を通過するゲートバスラインＧＬにゲート電極が接続されるとともに当該交差点を通過するソースバスラインＳＬにソース電極が接続されたＴＦＴ（以下、「表示用ＴＦＴ」という。）１９２と、その表示用ＴＦＴ１９２のドレイン電極に接続された画素電極１９８と、上記複数個の画素形成部１１に共通的に設けられた共通電極ＣＯＭおよび保持容量電極ＨＬと、画素電極１９８と共通電極ＣＯＭとによって形成される液晶容量１９４と、画素電極１９８と保持容量電極ＨＬとによって形成される保持容量１９６とが含まれている。なお、液晶容量１９４と保持容量１９６とによって画素容量が形成されている。

図４に示すように、光感知部１１０には、読取用基準電圧ラインＢＲにアノードが接続された受光素子としてのフォトダイオード１１６と、露光時間制御ラインＣＲにゲート電極が接続されるとともにフォトダイオード１１６のカソードにソース電極が接続されたＴＦＴ（以下、「露光制御用ＴＦＴ」という。）１１８とが含まれている。電荷蓄積部１２０には、読取選択ラインＳＲにゲート電極が接続されるとともに読取データラインＤＲにドレイン電極が接続されたＴＦＴ（以下、「読取制御用ＴＦＴ」という。）１２８と、読取制御用ＴＦＴ１２８のソース電極に一端が接続されるとともに読取用基準電圧ラインＢＲに他端が接続された補助容量１２６とが含まれている。露光制御用ＴＦＴ１１８のドレイン電極と読取制御用ＴＦＴ１２８のソース電極と補助容量１２６の一端とは互いに接続されている。なお、読取用基準電圧ラインＢＲには、典型的にはグラウンド電位が与えられている。

図３に示すように、光センサ読取回路３００には、入力端子に読取データラインＤＲおよび読取用基準電圧ラインＢＲが接続され制御回路２０内の光センサ読取制御回路２００に出力端子が接続されたオペアンプ（以下、「読取用オペアンプ」という。）３０２と、制御回路２０内の光センサ読取制御回路２００にゲート電極が接続され読取データラインＤＲにソース電極が接続され読取用基準電圧ラインＢＲにドレイン電極が接続されたＴＦＴ（以下、「読取線リセット用ＴＦＴ」という。）３０４とが含まれている。なお、読取用オペアンプ３０２および読取線リセット用ＴＦＴ３０４は各列につきそれぞれ１つずつ設けられている。

図３に示すように、光センサ読取選択回路４００には、入力パルス信号ＩＮＰに含まれるパルスをシフトクロック信号ＣＫのパルスに基づいて順次に転送するためのシフト回路４０２と、シフト回路４０２から出力される信号の論理値と制御回路２０から出力されるイネーブル信号ＥＮＡの論理値との論理積を示す信号を出力するＡＮＤ回路４０４とが設けられている。なお、シフト回路４０２およびＡＮＤ回路４０４は各行につきそれぞれ１つずつ設けられている。

以上のような構成において、画像読取処理は次のように行われる。光センサ読取制御回路２００から入力パルス信号ＩＮＰのパルスが出力されると、当該パルスは、１行目に対応して設けられているシフト回路４０２に入力される。そのパルスは、制御回路２０内の光センサ読取制御回路２００から出力されるシフトクロック信号ＣＫのパルスに応じて、光センサ読取選択回路４００に設けられているｍ個のシフト回路４０２において順次に転送される。これにより、画素マトリクスを形成する各行が、画像情報の読み出しを行う行（以下、「読み出し対象行」という。）として順次に選択される。上述のように、光センサ読取選択回路４００にはシフト回路４０２から出力される信号の論理値とイネーブル信号ＥＮＡの論理値との論理積を示す信号を出力するＡＮＤ回路４０４が設けられているので、読み出し対象行の読取選択ラインＳＲには、イネーブル信号ＥＮＡの論理レベルがハイレベルになっている期間だけ、ハイレベルの信号が与えられる。そして、読取選択ラインＳＲにハイレベルの信号が与えられている期間には読取制御用ＴＦＴ１２８はオン状態となり、読取選択ラインＳＲにローレベルの信号が与えられている期間には読取制御用ＴＦＴ１２８はオフ状態となる。

読取線リセット用ＴＦＴ３０４には読取線リセットパルス信号ＲＳＴが与えられるところ、読取線リセットパルス信号ＲＳＴの論理レベルがハイレベルになると、読取線リセット用ＴＦＴ３０４はオン状態となる。このとき、読取制御用ＴＦＴ１２８がオフ状態であれば、読取データラインＤＲに蓄積されている電荷が放電される。また、読取制御用ＴＦＴ１２８がオン状態であって、かつ、露光制御用ＴＦＴ１１８がオフ状態であれば、補助容量１２６に蓄積されている電荷が放電される。なお、露光制御用ＴＦＴ１１８については、露光時間制御ラインＣＲに与えられている露光時間制御パルス信号ＣＴＬの論理レベルがハイレベルであればオン状態となり、露光時間制御パルス信号ＣＴＬの論理レベルがローレベルであればオフ状態となる。

読取制御用ＴＦＴ１２８がオフ状態となっている期間に露光制御用ＴＦＴ１１８がオン状態にされると、光センサでの露光が行われる。この露光により、補助容量１２６に電荷が蓄積される。なお、補助容量１２６に蓄積される電荷量は、フォトダイオード１１６の受光面が受けた光量に応じた大きさとなる。

光センサでの露光が行われた後、読取線リセット用ＴＦＴ３０４および露光制御用ＴＦＴ１１８がオフ状態となっている期間に読取制御用ＴＦＴ１２８がオン状態にされると、補助容量１２６に蓄積されている電荷に応じた電圧が読取用オペアンプ３０２に与えられる。読取用オペアンプ３０２では電圧の増幅が行われ、増幅後のアナログ電圧ＡＶが制御回路２０内の光センサ読取制御回路２００に与えられる。そして、光センサ読取制御回路２００では、読取用オペアンプ３０２から出力されたアナログ電圧ＡＶに基づいて、読取画像を再現するためのデータ処理が行われる。

＜２．２ 機能構成＞
次に、画像読取処理に関する機能構成について説明する。なお、画像表示処理については、本発明には直接に関係しないので、以下説明を省略する。図５は、画像読取処理に関する機能構成を示す機能ブロック図である。図５に示すように、この画像読取装置には、画像読取処理のための構成要素として、光センサ読取制御回路２００と光センサ読取回路３００と光センサ読取選択回路４００と光感知部１１０と電荷蓄積部１２０とが設けられている。光センサ読取制御回路２００には、基準クロック生成回路２０２とパルスプログラム回路２０４と露光時間制御パルス信号生成回路２０６と読取線リセットパルス信号生成回路２０８とシフトクロック信号生成回路２１０と入力パルス信号生成回路２１２とイネーブル信号生成回路２１４とＡＤ変換回路２１６と補正部２１８とインターフェース部２２０とが含まれている。光センサ読取回路３００には、電荷読取部３０６と読取線リセット素子部３０８とが含まれている。光感知部１１０には、センサ部１１２と露光制御素子部１１４とが含まれている。電荷蓄積部１２０には、容量素子部１２２と読取制御素子部１２４とが含まれている。なお、電荷読取部３０６は読取用オペアンプ３０２に相当し、読取線リセット素子部３０８は読取線リセット用ＴＦＴ３０４に相当する。また、センサ部１１２はフォトダイオード１１６に相当し、露光制御素子部１１４は露光制御用ＴＦＴ１１８に相当する。さらに、容量素子部１２２は補助容量１２６に相当し、読取制御素子部１２４は読取制御用ＴＦＴ１２８に相当する。

センサ部１１２は、露光により、光量に応じた電流を生成する。露光制御素子部１１４は、センサ部１１２での露光の制御を行う。容量素子部１２２は、センサ部１１２での露光によって生じた電流に基づいて、電荷の蓄積を行う。読取制御素子部１２４は、容量素子部１２２に蓄積されている電荷の読み出しの制御を行う。

基準クロック生成回路２０２は、この画像読取装置の動作の基準となる基準クロックを生成する。パルスプログラム回路２０４は、インターフェース部２２０から与えられる制御信号と基準クロック生成回路２０２で生成される基準クロックとに基づいて、露光時間制御パルス信号生成回路２０６，読取線リセットパルス信号生成回路２０８，シフトクロック信号生成回路２１０，入力パルス信号生成回路２１２，およびイネーブル信号生成回路２１４の動作を制御する。露光時間制御パルス信号生成回路２０６は、センサ部１１２で露光が行われる期間を制御するための露光時間制御パルス信号ＣＴＬを生成する。読取線リセットパルス信号生成回路２０８は、読取データラインＤＲに蓄積されている電荷を放電させるための読取線リセットパルス信号ＲＳＴを生成する。シフトクロック信号生成回路２１０は、光センサ読取選択回路４００内の複数のシフト回路４０２において入力パルス信号ＩＮＰに含まれるパルスが順次に転送されるよう、シフトクロック信号ＣＫを生成する。入力パルス信号生成回路２１２は、１フレーム分の画像読取処理の開始タイミングを示す入力パルス信号ＩＮＰを生成する。イネーブル信号生成回路２１４は、読み出し対象行に含まれる読取制御用ＴＦＴ１２８のオン／オフ状態を制御するためのイネーブル信号ＥＮＡを生成する。ＡＤ変換回路２１６は、電荷読取部３０６から与えられるアナログ電圧ＡＶをデジタルデータに変換する。補正部２１８は、ＡＤ変換後のデジタルデータに補正を施して、読取画像を再現するための画像データを生成する。インターフェース部２２０は、外部とのデータの送受信を行う。

電荷読取部３０６は、読取制御素子部１２４を介して、容量素子部１２２に蓄積されている電荷の読み出しを行い、電荷量に応じたアナログ電圧ＡＶを生成する。読取線リセット素子部３０８は、読取線リセットパルス信号ＲＳＴに基づいて、読取データラインＤＲに蓄積されている電荷の放電の制御を行う。

なお、本実施形態においては、光センサ読取制御回路２００と光センサ読取回路３００とによって画像読取処理部が実現されている。

＜２．３ 光センサの構造＞
次に、本実施形態における光センサの構造について説明する。図６は、本実施形態に係る画像読取装置の断面図である。この画像読取装置は、液晶パネル（上述のパネル部１０に相当）５０と該液晶パネル５０の背面から光を照射するためのバックライト５６とによって構成されている。液晶パネル５０は、液晶層５３を挟持する１対のガラス基板であるカラーフィルタ基板５２およびＴＦＴアレイ基板５４と、それら両基板５２，５４の外側（液晶層５３と逆の側）に設けられた偏光板５１，５５とによって構成されている。なお、この構成については、従来からの一般的な構成であるので、詳しい説明を省略する。

図７は、上述した液晶パネル５０に含まれるカラーフィルタ基板５２およびＴＦＴアレイ基板５４における１画素（単位画素）分の領域の構造を示す模式図である。ＴＦＴアレイ基板５４には、赤色用の画素形成部１１に配置される光センサ（以下、「赤色用光センサ」という。）５４４Ｒと緑色用の画素形成部１１に配置される光センサ（以下、「緑色用光センサ」という。）５４４Ｇと青色用の画素形成部１１に配置される光センサ（以下、「青色用光センサ」という。）５４４Ｂとが設けられている。カラーフィルタ基板５２には、赤色用光センサ５４４Ｒのための開口部（以下、「赤色用開口部」という。）５２４Ｒと緑色用光センサ５４４Ｇのための開口部（以下、「緑色用開口部」という。）５２４Ｇと青色用光センサ５４４Ｂのための開口部（以下、「青色用開口部」という。）５２４Ｂとが設けられている。また、ＴＦＴアレイ基板５４には画像表示処理のための開口部５４２が設けられ、カラーフィルタ基板５２にはカラー表示を行うためのカラーフィルタ５２２が設けられている。なお、図７は上記構成要素を模式的に示したものであって、符号５４２で示す矩形領域の全体が開口状態となっているのではない。また、図７では画像読取処理の際にパネル部１０上に置かれ画像読取の対象となる被写体を符号５９で示している。

上述のような構成において、画像読取処理が行われる際、バックライト５６から照射された光は被写体５９の表面（ひょうめん）（パネル部１０と接している面）で反射する。そして、その反射光のうち赤色用開口部５２４Ｒ，緑色用開口部５２４Ｇ，および青色用開口部５２４Ｂを通過した光を、赤色用光センサ５４４Ｒ，緑色用光センサ５４４Ｇ，および青色用光センサ５４４Ｂがそれぞれ検知する。各光センサは、その検知した反射光によって、被写体５９の表面の濃淡を検出する。

本実施形態においては、上記３つの色用の光センサのうち赤色用光センサ５４４Ｒの感度が最も高く、青色用光センサ５４４Ｂの感度が最も低くなるように、各色用の光センサが形成されている。これについて、以下、詳しく説明する。図８および図９は、各色用の光センサの構造について説明するための模式図である。図８および図９に示すように、緑色用光センサ５４４Ｇおよび青色用光センサ５４４Ｂについては、受光面はトレンチ（溝）部６３によって第１の領域６１と第２の領域６２とに分離されている。そして、第１の領域６１の受けた光によって生じた電流に基づく電荷のみが補助容量１２６に蓄積されるように構成されている。なお、このようなトレンチ部６３を有する光センサの詳しい構造については、例えば特開２００４−１９３７６２号公報に開示されている。また、上述したように、各光センサは光感知部１１０と電荷蓄積部１２０とによって構成されており、光感知部１１０にはフォトダイオード１１６と露光制御用ＴＦＴ１１８とが設けられ、電荷蓄積部１２０には補助容量１２６と読取制御用ＴＦＴ１２８とが設けられている（図４参照）。以上のような構成において、例えば、緑色用光センサ５４４Ｇの感度が赤色用光センサ５４４Ｒの感度の１０分の１となり、かつ、青色用光センサ５４４Ｂの感度が緑色用光センサ５４４Ｇの感度の１０分の１となるように、緑色用光センサ５４４Ｇおよび青色用光センサ５４４Ｂの第１の領域６１が形成される。

図１０は、各色用の光センサに対して一定期間（Ｔ１）だけ所定の強さの光による露光が行われたときの、補助容量１２６に蓄積される電荷の量の変化を示すグラフである。なお、図１０において、符号ＱＲで示すラインは赤色用光センサ５４４Ｒの補助容量１２６に蓄積される電荷の量の変化を示し、符号ＱＧで示すラインは緑色用光センサ５４４Ｇの補助容量１２６に蓄積される電荷の量の変化を示し、符号ＱＢで示すラインは青色用光センサ５４４Ｂの補助容量１２６に蓄積される電荷の量の変化を示している。図１０に示すように、露光開始時点から期間Ｔ１経過後に補助容量１２６に蓄積されている電荷量については、赤色用光センサ５４４Ｒが最も多くなり、青色用光センサ５４４Ｂが最も少なくなる。

図１１は、所定の強さの光による露光が行われたときの、補助容量１２６に蓄積される電荷の量の変化を示すグラフである。なお、ＱＨは補助容量１２６が飽和状態となる電荷量を示している。図１１に示すように、赤色用光センサ５４４Ｒの補助容量１２６が露光開始時点から最も早く飽和状態となり、青色用光センサ５４４Ｂの補助容量１２６が露光開始時点から最も遅く飽和状態となる。

以上のように、本実施形態においては、１つの画素につき感度の異なる３つの光センサが設けられている。なお、本実施形態においては、赤色用光センサ５４４Ｒの感度が最も高く、青色用光センサ５４４Ｂの感度が最も低くなっているが、感度の高さの順序については特に限定されない。また、光センサの構造に関し、最も感度の高いセンサについても、受光面がトレンチ部６３によって第１の領域６１と第２の領域６２とに分離される構造であっても良い。さらに、本実施形態においては副画素毎に光センサが設けられているが、赤色用，緑色用，および青色用のうちのいずれか１つの副画素に複数の光センサを備える構成にしても良い。

＜３．処理手順＞
次に、図１２および図１３を参照しつつ、本実施形態における画像読取処理の処理手順について説明する。図１２は、画像読取処理について説明するための信号波形図である。図１２（ａ）は入力パルス信号ＩＮＰの波形、図１２（ｂ）は露光時間制御パルス信号ＣＴＬの波形、図１２（ｃ）は読取線リセットパルス信号ＲＳＴの波形、図１２（ｄ）はシフトクロック信号ＣＫの波形、図１２（ｅ）はイネーブル信号ＥＮＡの波形をそれぞれ示している。なお、これらの信号は上述したように光センサ読取制御回路２００で生成される。

図１３は、本実施形態における画像読取処理の手順を示すフローチャートである。まず、光センサ読取制御回路２００は、画素マトリクスを形成するｍ行のうち画像情報（光センサによって検出された、被写体５９の表面の濃淡を示す情報）を読み出す行の設定を行う（ステップＳ１００）。この画像情報の読み出しについては、ｍ行すべてに対して行われても良いし、ｍ行のうちの一部の行に対して行われても良い。次に、光センサ読取制御回路２００は、入力パルス信号ＩＮＰのパルスが画像情報の読み出しを行う開始行（以下、「読み出し開始行」という。）のシフト回路４０２に転送されているか否かを判定する（ステップＳ１１０）。判定の結果、当該パルスが読み出し開始行のシフト回路４０２に転送されていればステップＳ１２０に進み、当該パルスが読み出し開始行のシフト回路４０２に転送されていなければステップＳ１１５に進む。ステップＳ１１５では、光センサ読取制御回路２００は、イネーブル信号ＥＮＡの論理レベルをローレベルにした状態でシフトクロック信号ＣＫのパルスを生成する。

ここで、読み出し開始行が２行目に設定されているものと仮定する。このとき、図１２の時点ｔ０においては、入力パルス信号ＩＮＰのパルスは１行目のシフト回路４０２に与えられた状態となっている。すなわち、入力パルス信号ＩＮＰのパルスは読み出し開始行のシフト回路４０２には未だ転送されていない。そこで、時点ｔ１に、光センサ読取制御回路２００は、イネーブル信号ＥＮＡの論理レベルをローレベルにした状態でシフトクロック信号ＣＫのパルスを生成する。これにより、入力パルス信号ＩＮＰのパルスが読み出し開始行に転送された状態となる。

ステップＳ１２０では、読み出し対象行の選択が行われる。具体的には、光センサ読取制御回路２００は、読み出し対象行のシフト回路４０２に入力パルス信号ＩＮＰのパルスが与えられている状態で、シフトクロック信号ＣＫのパルスを生成する（図１２の時点ｔ２）。これにより、読み出し対象行のシフト回路４０２からハイレベルの信号が出力され、当該ハイレベルの信号は、読み出し対象行のＡＮＤ回路４０４に与えられる。

次に、読取データラインＤＲ１〜ＤＲｎおよび読み出し対象行の光センサに蓄積されている電荷の放電が行われる（ステップＳ１３０）。具体的には、光センサ読取制御回路２００は、イネーブル信号ＥＮＡの論理レベルをローレベルにした状態で、読取線リセットパルス信号ＲＳＴの論理レベルをハイレベルにする（図１２の時点ｔ３）。これにより、読取線リセット用ＴＦＴ３０４がオン状態となり、読取データラインＤＲ１〜ＤＲｎに蓄積されている電荷が放電される。さらに、光センサ読取制御回路２００は、読取線リセットパルス信号ＲＳＴの論理レベルをハイレベルにした状態で、イネーブル信号ＥＮＡの論理レベルをハイレベルにする（図１２の時点ｔ４）。これにより、読取線リセット用ＴＦＴ３０４と読取制御用ＴＦＴ１２８とがオン状態となり、読み出し対象行の光センサの補助容量１２６に蓄積されている電荷が放電される。さらに、光センサ読取制御回路２００は、読取線リセットパルス信号ＲＳＴおよびイネーブル信号ＥＮＡの論理レベルをハイレベルにした状態で、露光時間制御パルス信号ＣＴＬの論理レベルをハイレベルにする（図１２の時点ｔ５）。これにより、露光制御用ＴＦＴ１１８がオン状態となり、読み出し対象行の光センサのフォトダイオード１１６に蓄積されている電荷が放電される。

次に、光センサへの露光が行われる（ステップＳ１４０）。具体的には、光センサ読取制御回路２００は、露光時間制御パルス信号ＣＴＬの論理レベルをハイレベルにした状態で、読取線リセットパルス信号ＲＳＴおよびイネーブル信号ＥＮＡの論理レベルをローレベルにする（図１２の時点ｔ６）。これにより、露光制御用ＴＦＴ１１８はオン状態、読取制御用ＴＦＴ１２８はオフ状態となり、読み出し対象行の光センサのフォトダイオード１１６が受けた光量に応じて当該光センサの補助容量１２６に電荷が蓄積される。そして、露光開始時点から予め設定された期間の経過後、光センサ読取制御回路２００は、露光時間制御パルス信号ＣＴＬの論理レベルをローレベルにする（図１２の時点ｔ７）。これにより、露光制御用ＴＦＴ１１８はオフ状態となり、読み出し対象行の光センサへの露光は終了する。

次に、光センサへの露光により蓄積された電荷の読み出しが行われる（ステップＳ１５０）。具体的には、光センサ読取制御回路２００は、イネーブル信号ＥＮＡの論理レベルをハイレベルにする（図１２の時点ｔ８）。これにより、読取制御用ＴＦＴ１２８はオン状態となり、読み出し対象行の光センサの補助容量１２６に蓄積されている電荷に応じた電圧が読取用オペアンプ３０２に与えられる。なお、補助容量１２６に蓄積されている電荷量Ｑは、補助容量１２６の静電容量値をＣとし、補助容量１２６に印加されている電圧をＶとすると、次式（１）で算出される。
Ｑ＝Ｃ×Ｖ ・・・（１）
読取用オペアンプ３０２では、電圧の増幅が行われ、増幅後のアナログ電圧ＡＶが光センサ読取制御回路２００内のＡＤ変換回路２１６に与えられる。

次に、メモリ（不図示）へのデータの転送が行われる（ステップＳ１６０）。具体的には、ＡＤ変換回路２１６によって、アナログ電圧ＡＶがデジタルデータに変換される。そして、そのデジタルデータは輝度データとしてメモリに格納される。なお、パネル部１０から取得されるデータにばらつき（例えば行毎あるいは列毎のばらつき）がある場合に、図１４に示すような「読取電圧と補正後電圧とを対応づけた補正用換算データ」に基づいてデータの補正が施されるようにしても良い。

次に、光センサ読取制御回路２００は、読み出し対象行が画像情報の読み出しを行う最後の行（以下、「読み出し終了行」という。）であるか否かを判定する（ステップＳ１７０）。判定の結果、読み出し対象行が読み出し終了行であればステップＳ１８０に進み、読み出し対象行が読み出し終了行でなければステップＳ１２０に戻る。これにより、画像情報を読み出す行としてステップＳ１００で設定された行の数に等しい回数だけ、ステップＳ１２０からステップＳ１７０までの処理が繰り返される。

ステップＳ１８０では、光センサ読取制御回路２００は、イネーブル信号ＥＮＡの論理レベルをローレベルにした状態で、シフトクロック信号ＣＫのパルスを生成する。これにより、入力パルス信号ＩＮＰのパルスが後続行のシフト回路４０２に与えられる。次に、光センサ読取制御回路２００は、入力パルス信号ＩＮＰのパルスがｍ行目のシフト回路４０２に与えられているか否かを判定する（ステップＳ１９０）。判定の結果、当該パルスがｍ行目のシフト回路４０２に与えられていればステップＳ２００に進み、当該パルスがｍ行目のシフト回路４０２に与えられていなければステップＳ１８０に戻る。なお、ステップＳ２００に進んだ時点においては、画像情報の読み出しが行われるべき全ての行についての輝度データがメモリに転送されていることになる。また、メモリには、１画素につき３つの輝度データが格納されることになる。

ステップＳ２００では、光センサ読取制御回路２００によって最適値選択処理が行われる。最適値選択処理についての詳しい説明は後述する。最適値選択処理が終了すると、画像読取処理は終了する。なお、本実施形態においては、ステップＳ１５０，Ｓ１６０によって電荷読み出し部が実現されている。

図１は、最適値選択処理（図１３のステップＳ２００）の手順を示すフローチャートである。最適値選択処理の開始後、まず、光センサ読取制御回路２００は、１画素分（単位画素分）の３つの輝度データをメモリから読み出す（ステップＳ２１０）。なお、ここでは、赤色用光センサ５４４Ｒの露光に基づく輝度データのことを「赤色輝度データＲＤ」といい、緑色用光センサ５４４Ｇの露光に基づく輝度データのことを「緑色輝度データＧＤ」といい、青色用光センサ５４４Ｂの露光に基づく輝度データのことを「青色輝度データＢＤ」という。すなわち、ステップＳ２１０では、１画素分についての赤色輝度データＲＤと緑色輝度データＧＤと青色輝度データＢＤとがメモリから読み出される。

次に、光センサ読取制御回路２００は、赤色輝度データＲＤに基づいて、赤色用光センサ５４４Ｒについての露光がオーバー露光であるか否かを判定する（ステップＳ２２０）。これについては、補助容量１２６が飽和状態となる電荷量（図１１のＱＨ）（第１の閾値）に上式（１）で算出される電荷量が等しくなっていれば、オーバー露光であると判定され、そうでなければ、オーバー露光ではないと判定される。判定の結果、オーバー露光であればステップＳ２３０に進み、オーバー露光でなければステップＳ２２５に進む。なお、ステップＳ２２０においては、「上式（１）で算出される電荷量が、補助容量１２６が飽和状態となる電荷量以上であるか否か」によってオーバー露光であるか否かの判定が行われても良い。

ステップＳ２２５では、光センサ読取制御回路２００によって第１データ処理が行われる。第１データ処理では、赤色輝度データＲＤの値が予め定められた値（第２の閾値）以下であれば、現在処理が行われている画素（以下、「処理対象画素」という。）の輝度値は「０」（最小輝度データに相当）とされ、赤色輝度データＲＤの値が予め定められた値よりも大きければ、処理対象画素の輝度値は赤色輝度データＲＤの値とされる。但し、例外的に、緑色輝度データＧＤと青色輝度データＢＤとを用いた所定の計算によって赤色輝度データＲＤの値が異常である旨の判定がなされたときには、処理対象画素の輝度値は緑色輝度データＧＤの値とされる。ステップＳ２２５の終了後、ステップＳ２６０に進む。

ステップＳ２３０では、光センサ読取制御回路２００は、緑色輝度データＧＤに基づいて、緑色用光センサ５４４Ｇについての露光がオーバー露光であるか否かを判定する。判定の結果、オーバー露光であればステップＳ２４０に進み、オーバー露光でなければステップＳ２３５に進む。ステップＳ２３５では、光センサ読取制御回路２００によって第２データ処理が行われる。第２データ処理では、緑色輝度データＧＤの値が処理対象画素の輝度値とされる。但し、例外的に、青色輝度データＢＤを用いた所定の計算によって緑色輝度データＧＤの値が異常である旨の判定がなされたときには、処理対象画素の輝度値は青色輝度データＢＤの値とされる。ステップＳ２３５の終了後、ステップＳ２６０に進む。

ステップＳ２４０では、光センサ読取制御回路２００は、青色輝度データＢＤに基づいて、青色用光センサ５４４Ｂについての露光がオーバー露光であるか否かを判定する。判定の結果、オーバー露光であればステップＳ２５０に進み、オーバー露光でなければステップＳ２４５に進む。ステップＳ２４５では、光センサ読取制御回路２００によって第３データ処理が行われる。第３データ処理では、青色輝度データＢＤの値が処理対象画素の輝度値とされる。ステップＳ２４５の終了後、ステップＳ２６０に進む。

ステップＳ２５０では、光センサ読取制御回路２００によって第４データ処理が行われる。第４データ処理では、オーバー露光である旨を示す値（最大輝度データに相当）が処理対象画素の輝度値とされる。

次に、撮像画像全体の輝度を考慮して各画素についての階調値を決定する処理（比例換算処理）が行われる（ステップＳ２６０）。ステップＳ２６０では、次のようにして各画素の階調値が決定される。オーバー露光である旨を示す値が輝度値とされている画素については、取り得る階調値のうちの最大値が当該画素の階調値とされる。輝度値が「０」とされている画素については、取り得る階調値のうちの最小値が当該画素の階調値とされる。オーバー露光である旨を示す値以外の値のうちの最大値（変換用最大値）が輝度値とされている画素については、取り得る階調値のうちの最大値から１を減じた値が当該画素の階調値とされる。「０」以外の値のうちの最小値（変換用最小値）が階調値とされている画素については、取り得る階調値のうちの最小値から１を加算した値が当該画素の画素値とされる。上記以外の画素については、変換用最大値と変換用最小値との差に対する輝度データの値と変換用最小値との差の比と、変換用最大値に対応付けられている階調値と変換用最小値に対応付けられている階調値との差に対する輝度データの変換後のデータの階調値と変換用最小値に対応付けられている階調値との差の比とが等しくなるように、輝度データの階調値への変換が行われる。

例えば、上記変換用最大値が「１０００」かつ上記変換用最小値が「１０」であって、輝度データが「０」から「２５５」までの２５６階調値のデータに変換されるときには、以下のようにして各画素の階調値が決定される。オーバー露光である旨を示す値が輝度値とされている画素については、階調値は「２５５」とされる。輝度値が「０」とされている画素については、階調値は「０」とされる。オーバー露光である旨を示す値以外の値のうちの最大値が輝度値とされている画素については、階調値は「２５４」とされる。「０」以外の値のうちの最小値が階調値とされている画素については、階調値は「１」とされる。上記以外の画素については、輝度値をＸとすると、階調値Ｙは次式（２）で算出される。
Ｙ＝１＋（Ｘ−１０）×（２５４−１）／（１０００−１０） ・・・（２）

図１５は、比例換算処理について説明するための図である。図１５には、アンダー露光のデータ（輝度値が「０」のデータ）とオーバー露光のデータとを除く輝度データの分布の一例が示されている。輝度データが図１５に示すように分布しているとき、符号Ｋ１で示す輝度値は階調値「１」に変換され、符号Ｋ２で示す輝度値は階調値「２５４」に変換される。符号Ｋ１で示す輝度値以上で符号Ｋ２で示す輝度値以下の輝度値については、上式（２）で算出される階調値に変換される。

ステップＳ２６０が終了すると、最適値選択処理は終了する。なお、ステップＳ２１０からステップＳ２５０までの処理は、画像情報の読み出しが行われた行に含まれる全ての画素について行われる。これについては、並列処理で行われるようにしても良いし、ループ処理で繰り返し行われるようにしても良い。

なお、本実施形態においては、ステップＳ２２０，ステップＳ２３０，およびステップＳ２４０によってデータ比較部が実現され、ステップＳ２２５，ステップＳ２３５，ステップＳ２４５，およびステップＳ２５０によってデータ選択部が実現され、ステップＳ２６０によってデータ変換部が実現されている。

ここで、或る強さの光による露光が継続して行われた場合に赤色用光センサ５４４Ｒ，緑色用光センサ５４４Ｇ，および青色用光センサ５４４Ｂの補助容量１２６に蓄積される電荷に対応する電圧（当該電荷に基づいて読取用オペアンプ３０２に与えられる電圧）がそれぞれ図１６（ａ），（ｂ），および（ｃ）に示すように変化するとき、上記ステップＳ２２０からステップＳ２５０までの処理で処理対象画素の輝度値がどのように決定されるかについて説明する。なお、図１６において、符号ＶＨはオーバー露光に対応する電圧であって、符号ＶＬはアンダー露光に対応する電圧である（図１７〜図２１も同様）。また、図１６において、符号ＶＲ，ＶＧ，およびＶＢで示す線はそれぞれ赤色用光センサ５４４Ｒ，緑色用光センサ５４４Ｇ，および青色用光センサ５４４Ｂの補助容量１２６に蓄積される電荷に基づく電圧の変化を示している（図１７〜図２１も同様）。

図１７に示すように、赤色輝度データＲＤ，緑色輝度データＧＤ，および青色輝度データＢＤに対応する電圧値がいずれも所定の基準電圧値ＶＬよりも小さいときには、第１データ処理が行われ、処理対象画素の輝度値は「０」とされる。図１８に示すように、赤色輝度データＲＤに対応する電圧値が基準電圧値ＶＬ以上であって、かつ、赤色用光センサ５４４Ｒについての露光がオーバー露光でないときには、第１のデータ処理が行われ、赤色輝度データＲＤの値が処理対象画素の輝度値とされる。図１９に示すように、赤色用光センサ５４４Ｒについての露光がオーバー露光であって、かつ、緑色輝度データＧＤに対応する電圧値が基準電圧値ＶＬ以上であって、かつ、緑色用光センサ５４４Ｇについての露光がオーバー露光でないときには、第２のデータ処理が行われ、緑色輝度データＧＤの値が処理対象画素の輝度値とされる。図２０に示すように、赤色用光センサ５４４Ｒについての露光と緑色用光センサ５４４Ｇについての露光とがオーバー露光であって、かつ、青色輝度データＢＤに対応する電圧値が基準電圧値ＶＬ以上であって、かつ、青色用光センサ５４４Ｂについての露光がオーバー露光でないときには、第３のデータ処理が行われ、青色輝度データＢＤの値が処理対象画素の輝度値とされる。図２１に示すように、赤色用光センサ５４４Ｒ，緑色用光センサ５４４Ｇ，および青色用光センサ５４４Ｂについての露光がいずれもオーバー露光であるときには、第４のデータ処理が行われ、オーバー露光である旨を示す値が処理対象画素の輝度値とされる。

＜４．効果＞
本実施形態によれば、パネル部１０には単位画素毎に感度の異なる３つの光センサ（赤色用光センサ５４４Ｒ，緑色用光センサ５４４Ｇ，および青色用光センサ５４４Ｂ）が設けられている。画像読取処理の際には、それら３つの光センサの補助容量１２６に蓄積されている電荷が読み出され、読み出された電荷の量に基づいて、各光センサについての露光がオーバー露光であるか否かの判定が行われる。そして、各画素について、オーバー露光ではない光センサのうちの最も感度の高い光センサの補助容量１２６に蓄積されている電荷に基づいて、階調値が決定される。ここで、各画素に設けられている３つの光センサの感度は上述のようにそれぞれ異なっている。このため、露光開始時点からオーバー露光となるまでの時間（期間）は光センサ毎に異なる。これについて図２２を参照しつつ説明する。図２２は、光の輝度と各光センサがオーバー露光するまでの時間との関係を示す図である。図２２に示すように、赤色用光センサ５４４Ｒが比較的短い時間でオーバー露光となるような輝度（符号Ｚ１で示す輝度）であっても、緑色用光センサ５４４Ｇや青色用光センサ５４４Ｂについてはそのような短い時間ではオーバー露光とはならない。また、緑色用光センサ５４４Ｇが比較的短い時間でオーバー露光となるような輝度（符号Ｚ２で示す輝度）であっても、青色用光センサ５４４Ｂについてはそのような短い時間ではオーバー露光とはならない。このように、或る一定期間だけ露光が行われたときにオーバー露光となる光センサが存在していても、オーバー露光とはならない比較的感度の低い光センサが含まれていれば、輝度データの取得は正常に行われる。一方、或る一定期間だけ露光が行われたときにアンダー露光となる光センサが存在していても、アンダー露光とはならない比較的感度の高い光センサが含まれていれば、輝度データの取得は正常に行われる。以上のように、１度の撮像で広範囲の輝度データを取得することが可能となる。

また、各光センサについての露光がオーバー露光であるか否かの判定については、光センサの感度の高い順に行われる。このため、或る画素においてオーバー露光ではない光センサが複数存在するときに、それら複数の光センサのうち最も感度の高い光センサについてのみ「オーバー露光であるか否か」の判定が行われる。このため、最適値選択処理において当該判定処理が行われる回数が最小化され、処理速度が向上する。

さらに、各画素についての複数の輝度データのうち第１〜第３データ処理のいずれかによって選択されたデータは、撮像画像全体の輝度を考慮しつつ、比例換算処理によって階調値を示すデータに変換される。このため、撮像画像が全体的に暗い場合や全体的に明るい場合にも、当該撮像画像を再現するための画像データについて、ある程度のコントラストが確保される。

＜５．変形例＞
＜５．１ 第１の変形例＞
上記実施形態においては、感度の異なる複数のセンサを用意するために、緑色用光センサ５４４Ｇおよび青色用光センサ５４４Ｂの受光面がトレンチ部６３によって第１の領域６１と第２の領域６２とに分離され、かつ、第１の領域６１の面積が緑色用光センサ５４４Ｇと青色用光センサ５４４Ｂとで異なるように形成されていたが、本発明はこれに限定されない。図２３に示すように、開口部の大きさを色毎に異ならせることによって光センサの感度が色毎に異なるようにしても良い。例えば、緑色用光センサ５４４Ｇの感度が赤色用光センサ５４４Ｒの感度の１０分の１となり、かつ、青色用光センサ５４４Ｂの感度が緑色用光センサ５４４Ｇの感度の１０分の１となるように、赤色用開口部５２４Ｒ，緑色用開口部５２４Ｇ，および青色用開口部５２４Ｂが形成されれば良い。

＜５．２ 第２の変形例＞
上記実施形態においては、オーバー露光以外の輝度データのうちの最大値とアンダー露光以外の輝度データのうちの最小値とに基づいて比例換算処理が行われていたが、本発明はこれに限定されない。比例換算処理によって、例えば次のようにして各画素の階調値が決定されても良い。オーバー露光である旨を示す値が輝度値とされている画素については、取り得る階調値のうちの最大値が当該画素の階調値とされる。輝度値が「０」とされている画素については、取り得る階調値のうちの最小値が当該画素の階調値とされる。オーバー露光である旨を示す値以外の値のうちの最大値が輝度値とされている画素については、取り得る階調値のうちの最大値から１を減じた値が当該画素の階調値とされる。「０」以外の値のうちの最小値が階調値とされている画素については、取り得る階調値のうちの最小値から１を加算した値が当該画素の画素値とされる。上記以外の画素については、輝度データの値の対数の平均値を変換用重心値とし、オーバー露光である旨を示す値以外の値のうちの最大値の対数を変換用最大値とし、「０」以外の値のうちの最小値の対数を変換用最小値として、以下のように階調値が決定される。輝度データの値の対数が変換用最小値以上かつ変換用重心値以下であれば、変換用重心値と変換用最小値との差に対する輝度データの値の対数と変換用最小値との差の比と、変換用重心値に対応付けられている階調値と変換用最小値に対応付けられている階調値との差に対する輝度データの変換後のデータの階調値と変換用最小値に対応付けられている階調値との差の比とが等しくなるように、輝度データの階調値への変換が行われ、輝度データの値の対数が変換用重心値以上かつ変換用最大値以下であれば、変換用最大値と変換用重心値との差に対する輝度データの値の対数と変換用重心値との差の比と、変換用最大値に対応付けられている階調値と変換用重心値に対応付けられている階調値との差に対すると輝度データの変換後のデータの階調値と変換用重心値に対応付けられている階調値との差の比とが等しくなるように、輝度データの階調値への変換が行われる。なお、変換用重心値については、取り得る階調値の中央値に対応付けられる。

例えば、輝度データの値について、オーバー露光である旨を示す値以外の値のうちの最大値の対数が「１０」であり、「０」以外の値のうちの最小値の対数が「１」であり、輝度データの値の対数の平均値が「５」であって、輝度データが「０」から「２５５」までの２５６階調値のデータに変換されるときには、以下のようにして各画素の階調値が決定される。オーバー露光である旨を示す値が輝度値とされている画素については、階調値は「２５５」とされる。輝度値が「０」とされている画素については、階調値は「０」とされる。オーバー露光である旨を示す値以外の値のうちの最大値が輝度値とされている画素については、階調値は「２５４」とされる。「０」以外の値のうちの最小値が階調値とされている画素については、階調値は「１」とされる。上記以外の画素については、輝度値の対数をＸとすると、Ｘが「５」以上であれば、階調値Ｙは次式（３）で算出され、Ｘが「５」以下であれば、階調値Ｙは次式（４）で算出される。
Ｙ＝１２８＋（Ｘ−５）×（２５４−１２８）／（１０−５） ・・・（３）
Ｙ＝１＋（Ｘ−１）×（１２８−１）／（５−１） ・・・（４）

図２４は、本変形例における比例換算処理について説明するための図である。図２４には、アンダー露光のデータ（輝度値が「０」のデータ）とオーバー露光のデータとを除く輝度値の対数のデータの分布の一例が示されている。輝度値の対数のデータが図２４に示すように分布しているとき、対数の値が符号Ｋ３で示す値となる輝度値は階調値「１」に変換され、対数の値が符号Ｋ４で示す値となる輝度値は階調値「１２８」に変換され、対数の値が符号Ｋ５で示す値となる輝度値は階調値「２５４」に変換される。なお、符号Ｋ４で示す値は上記変換用重心値とする。対数の値が符号Ｋ３で示す値以上で符号Ｋ４で示す値以下となる輝度値については、上式（３）で算出される階調値に変換される。対数の値が符号Ｋ４で示す値以上で符号Ｋ５で示す値以下となる輝度値については、上式（４）で算出される階調値に変換される。

人の視覚感度は対数関数に従うことが経験的に知られているところ、本変形例によれば、各単位画素に対応する複数の輝度データのうちの第１〜第３データ処理のいずれかによって選択されたデータは、人の視覚感度を考慮しつつ、階調値を示すデータに変換される。このため、人の感覚に適合した画像の再現が可能な画像データが生成される。

＜５．３ 第３の変形例＞
上記実施形態においては、画像読取処理の際に一度だけ撮像が行われるように構成されていたが、撮像が複数回行われる構成にして更に広範囲の輝度が取得されるようにすることもできる。例えば、露光時間がＴ１１に設定されているときに図２５（ａ）に示すように赤色用光センサ５４４Ｒでの露光がアンダー露光となった場合、図２５（ｂ）に示すように露光時間をＴ１２にして再度撮像を行うことにより、より小さな輝度のデータの取得が可能となる。また、露光時間がＴ２２に設定されているときに図２６（ａ）に示すように青色用光センサ５４４Ｂでの露光がオーバー露光となった場合、図２６（ｂ）に示すように露光時間をＴ２１にして再度撮像を行うことにより、より大きな輝度のデータの取得が可能となる。

１０…パネル部
１１…画素形成部
２０…制御回路
３０…読み書き回路
４０…選択回路
１１０…光感知部
１１６…フォトダイオード
１１８…露光制御用ＴＦＴ
１２０…電荷蓄積部
１２６…補助容量
１２８…読取制御用ＴＦＴ
１９０…表示部
１９２…表示用ＴＦＴ
２００…光センサ読取制御回路
２１８…補正部
３００…光センサ読取回路
３０２…読取用オペアンプ
３０４…読取線リセット用ＴＦＴ
３０６…電荷読取部
４００…光センサ読取選択回路
５４４Ｒ…赤色用光センサ
５４４Ｇ…緑色用光センサ
５４４Ｂ…青色用光センサ
ＣＫ…シフトクロック信号
ＣＴＬ…露光時間制御パルス信号
ＥＮＡ…イネーブル信号
ＩＮＰ…入力パルス信号
ＲＳＴ…読取線リセットパルス信号

Claims (7)

1. 画像を読み取る対象である被写体が撮像時に配置されるべきパネル部と、前記パネル部の内部に設けられ受光素子と該受光素子の受けた光量に応じた電荷が蓄積される容量とを含む光センサと、前記容量に蓄積された電荷に基づいて前記被写体の撮像画像を表す画像データを生成する画像読取処理部とを備えた画像読取装置であって、
   前記パネル部は、前記撮像画像の最小単位となる単位画素毎に、感度の異なる複数の前記光センサを有し、
   前記画像読取処理部は、
   各光センサの容量に蓄積された電荷を読み出して当該各光センサの輝度データとして取得する電荷読み出し部と、
   予め定められた第１の閾値と前記輝度データの値とを比較するデータ比較部と、
   前記データ比較部による比較結果に基づいて、単位画素毎に、前記画像データを構成すべきデータを前記複数の光センサの輝度データから選択するデータ選択部と
   を有し、
   前記データ選択部では、前記第１の閾値よりも前記輝度データの値が小さい光センサのうち最も感度の高い光センサの輝度データが、前記画像データを構成すべきデータとして選択されることを特徴とする、画像読取装置。
2. 前記データ比較部は、単位画素毎に、前記複数の光センサの感度の高い順に前記第１の閾値と各光センサの輝度データの値とを比較することを特徴とする、請求項１に記載の画像読取装置。
3. 前記データ選択部は、
   単位画素に設けられている前記複数の光センサ全ての輝度データの値が前記第１の閾値以上であれば、取り得る輝度のうちの最大の輝度であることを示す最大輝度データを、当該単位画素についての前記画像データを構成すべきデータとして選択し、
   単位画素に設けられている前記複数の光センサ全ての輝度データの値が予め定められた第２の閾値以下であれば、取り得る輝度のうちの最小の輝度であることを示す最小輝度データを、当該単位画素についての前記画像データを構成すべきデータとして選択することを特徴とする、請求項１または２に記載の画像読取装置。
4. 前記画像読取処理部は、各単位画素について前記データ選択部によって選択されたデータである被選択データを、前記撮像画像全体についての複数の前記被選択データの値に基づいて、階調値を示すデータに変換するデータ変換部を更に有することを特徴とする、請求項１から３までのいずれか１項に記載の画像読取装置。
5. 前記第１の閾値よりも値の小さい輝度データのうちの値の最大値を変換用最大値とし、前記第２の閾値よりも値の大きい輝度データのうちの値の最小値を変換用最小値としたときに、
   前記データ変換部は、前記変換用最大値と前記変換用最小値との差に対する前記被選択データの値と前記変換用最小値との差の比と、前記変換用最大値に対応付けられている階調値と前記変換用最小値に対応付けられている階調値との差に対する前記被選択データの変換後のデータの階調値と前記変換用最小値に対応付けられている階調値との差の比とが等しくなるように、前記被選択データを変換することを特徴とする、請求項４に記載の画像読取装置。
6. 前記第１の閾値よりも値の小さい輝度データのうちの値の最大値の対数を変換用最大値とし、前記第２の閾値よりも値の大きい輝度データのうちの値の最小値の対数を変換用最小値とし、前記撮像画像全体についての輝度データの値の対数分布の重心となる値を変換用重心値としたときに、
   前記データ変換部は、
   前記被選択データの値の対数が前記変換用最小値以上かつ前記変換用重心値以下であれば、前記変換用重心値と前記変換用最小値との差に対する前記被選択データの値の対数と前記変換用最小値との差の比と、前記変換用重心値に対応付けられている階調値と前記変換用最小値に対応付けられている階調値との差に対する前記被選択データの変換後のデータの階調値と前記変換用最小値に対応付けられている階調値との差の比とが等しくなるように、前記被選択データを変換し、
   前記被選択データの値の対数が前記変換用重心値以上かつ前記変換用最大値以下であれば、前記変換用最大値と前記変換用重心値との差に対する前記被選択データの値の対数と前記変換用重心値との差の比と、前記変換用最大値に対応付けられている階調値と前記変換用重心値に対応付けられている階調値との差に対すると前記被選択データの変換後のデータの階調値と前記変換用重心値に対応付けられている階調値との差の比とが等しくなるように、前記被選択データを変換し、
   前記変換用重心値に対応付けられている階調値は、前記変換用最大値に対応付けられている階調値と前記変換用最小値に対応付けられている階調値との中央値であることを特徴とする、請求項４に記載の画像読取装置。
7. 前記データ変換部は、前記撮像画像全体についての輝度データの値の対数の平均値を前記変換用重心値とすることを特徴とする、請求項６に記載の画像読取装置。

Images