【０００１】
【発明の属する技術分野】
本発明は２値化された画像情報を出力する撮像装置に関する。
【０００２】
【従来の技術】
従来、２値化画像を得るにはアナログ画像出力を行う一般の撮像センサと、その出力のノイズを除去し自動的なゲインコントロール（ＡＧＣ）を行い、ＡＤ変換を行ってデジタルフレーム画像をフレームメモリに取得し、前記フレーム画像に対して２値化処理を行うのが通例であった。
【０００３】
前記システムにおいては
１）部品点数が多く複雑
２）２値化画像を得るまでのシーケンスフローが長く、変換には時間を要する
３）システム全体を制御するデジタルメモリ／ＣＰＵとのマッチングが悪い
という欠点を有している。
【０００４】
【発明が解決しようとする課題】
１）の構成はｃｃｄあるいはＣＭＯＳセンサからなる撮像センサ、ＣＤＳ（コリレーションダブルサンプリング）等のノイズ除去と前記ＡＧＣ、ＡＤ変換を行う専用ＤＳＰ（デジタルシグナルプロセッサ）、デジタルメモリからなるフレームメモリ、２値化処理等の画像処理を行うためのＣＰＵシステムからなっている。これらの全てあるいは大半を１つのＩＣあるいはそれに相当するものに変更できたならば前記システムの構成部品は減少し、前記システムは簡単化され、その価格は低下することが期待できる。
【０００５】
現にフレームメモリ以降を除けば、センサ＋専用ＤＳＰという２個のＩＣからなるシステムが実現されている。
【０００６】
２）のシーケンスフローを図１１に示す。
【０００７】
２０１から２０４までの処理は前記システムを制御するＣＰＵの働きを用いずハードウェア的に処理される。しかし前記デジタル化されたフレーム画像の処理には前記ＣＰＵあるいはコプロセッサ＋ソフトウェアが用いられるため、必ずしもその処理は高速ではない。
【０００８】
また前半のハードウェアで実現される処理も、複数のチップにまたがる処理のため、最速ではない。
【０００９】
１）、２）の問題点を解決する方法として、例えば画素内にメモリ部を設け画素外にコンパレータを有する構成が特開２００１−２３８１３９に開示されている。（図１２，１３）前記構成であるならば、図１１のステップ２０６までを同一ＩＣチップ中で処理可能であるため、少部品化と安価化、高速化が可能である。
【００１０】
前記公報で開示されている撮像装置は、画素アレーと前記画素からの入出力制御を行う周辺回路とを有する。前記アレーを構成する画素中には、少なくとも被写体の撮像像を取得するための受光部と前記受光部の情報に関連した１ビット以上の情報を記憶するためのメモリ部とを有している。
【００１１】
前記画素には入力としては撮像光が、出力としては前記撮像光に依存する電気的信号が前記画素アレー中を横断する画素配線によって出力される。また前記メモリ部には前記撮像の結果に依存する電気的信号が入出力される。
【００１２】
前記公報では前記２値化は前記周辺回路で行われており、前記画素中の受光部から前記電気的信号に変換された光情報が前記周辺回路へと前記画素配線を用いて出力される。
【００１３】
前記周辺回路中の２値化処理回路によって前記電気的信号であるアナログ信号は１，０の２値からなるデジタル信号へと変換された後に、同様にして前記画素配線を用いて前記画素中のメモリ部へと出力される。前記メモリ部中に格納された前記デジタル信号情報は一定の期間保持される。
【００１４】
但し前記公報では、前記２値化の際に用いる閾値の供給に関しては、言及がない。
【００１５】
前記２値化を周辺回路ではなく画素中で行おうとすると、少なくともコンパレータが前記画素中に必要である。前記コンパレータは例えば特開昭６４−８８２５８、特開平５−６７９５０、特開平１０−１０７６００等に公開されているが、いずれも多数のトランジスタを必要とし、必ずしも占有面積は小さくはない。
【００１６】
近年、画素中にも配置が可能な占有面積最小なコンパレータが、例えば特開２０００−３２９７９８に報告されている。
【００１７】
前記画素中に機能を盛り込んだセンサはインテリジェントセンサと呼ばれ、広く学会等で検討されている。前記画素中で２値化に相当する処理を行う例としては、例えば人工網膜センサの特開平６−１３９３６１、特開２０００−７８４７２等がある。前者では選択、制御回路から供給されるマスク情報と光情報との演算結果が、後者では前記画素部から光信号の差動出力値が出力されている。
【００１８】
但し、これらは人間の網膜機能の代替や汎用のアナログセンサの代替を目指したものであり、近年バーコードリーダーあるいは監視カメラ等、２値化検出や画像処理に重きを置く撮像システムが増えつつある状況に対処したものではない。
【００１９】
また前記インテリジェントな機能を各画素に搭載しようとしたならば、前記複雑な機能を実現する構成要素のために、前記画素面積の増大や微細化プロセスが必要となる。
【００２０】
また３）は１画素あたりの多階調情報を２値化するために、多くのフレームメモリを必要とし、またそのアクセスには前記ＣＰＵパワーを必要とするため、多くの場合には非効率である。
【００２１】
また前記２値化の際には前記２値化を行うための閾値等をも取得する必要があるが、前述の公報等にはそれらの取得に関しては言及されていない。前記閾値を撮像センサ外から供給する場合には、前記メモリ／ＣＰＵシステムとのマッチングも問題となる。
【００２２】
【課題を解決するための手段】
本発明は前述の欠点を除去し、単純、高速、安価な２値化された画像を出力する撮像装置を提供することを目的とする。
【００２３】
本発明は前記公報特開２００１−２３８１３９の発展形である。
【００２４】
１）の問題点は図１１に示した２０６までの機能を１つのＩＣチップに内蔵することで解消する。前記機能は前記チップ上で主にハードウェアによって実現されるため、高速である。
【００２５】
また前記２値化画像の取得は、外部からは前記撮像センサの上位システムを制御するＣＰＵが前記センサのアクセスを、一般のメモリ、ＳＲＡＭ等のキャッシュメモリ、ＤＲＡＭ等の大容量汎用メモリをアクセスするのと同一の形式で行うこととするため、非常に単純、高速である。
【００２６】
世の中にはＣＰＵのアキュムレータのようにアクセス可能なレジスタを内蔵する測定器の特許が数社から出願され実用化されているが、本発明はアキュムレータのそれではなくメモリのそれである。
【００２７】
前記本発明の統合化されたセンサの中には、少なくとも画素アレーと前記画素からの入出力制御を行う周辺回路とを有する。
【００２８】
前記アレーを構成する画素中には、前記公報で開示されているように少なくとも被写体の撮像像を取得するための受光部と前記受光部の情報に関連した１ビット以上の情報を記憶するためのメモリ部とを有している。
【００２９】
前記メモリ部は、必要であるならば入射する光から保護されるように遮光されている。また前記メモリ部を機能させる記憶用の容量は、ＤＲＡＭ等で公知な薄膜容量か前記受光部を構成するホトダイードと同一の拡散プロファイルを持つ拡散層で形成するのが適当である。
【００３０】
前記画素には入力としては撮像光が、出力としては前記撮像光に依存する電気的信号が前記画素アレー中を横断する画素配線によって出力される。
【００３１】
本発明においては、前述の特開平６−１３９３６１に記載されているような感度の可変は行わない。
【００３２】
また前記メモリ部には前記撮像の結果に依存する電気的信号や、該当する画素の外部から与えられる処理用の電気的信号が、前記同一の画素配線によって入出力される。
【００３３】
前記画素中にメモリを有する例には例えば特開２０００−７８４７２等があるが、本発明で出力するのは前記受光部からのアナログ信号かあるいは２値化された１，０のデジタル信号であって、差動出力値は出力しない点が異なる。
【００３４】
前記各画素中に形成されているメモリ部は、前記２値化されたフレーム画像を記憶するためのフレームメモリでもある。
【００３５】
本発明では前記センサと前記フレームメモリをアクセスするアドレッシング用の配線とを同一としているため、構成要素が減少しチップ利用効率が増大している。これはＩＣチップ面積の縮小を意味しており、前記システムを安価に提供できることを意味している。
【００３６】
また前記フレームメモリをアクセスする方法は、汎用な応用と用途を保証する一般のデジタルメモリであるＤＲＡＭやＳＲＡＭと同様な形式としている。
【００３７】
また前記２値化は前記公報で開示されている前記周辺回路、あるいは開示されていない各画素において行われる。
【００３８】
前記２値化が周辺回路で行われる場合には、前記画素中の受光部から前記電気的信号に変換された光情報が前記周辺回路へと前記画素配線を用いて出力される。
【００３９】
前記周辺回路中の２値化処理回路によって前記電気的信号であるアナログ信号は１，０の２値からなるデジタル信号へと変換された後に、同様にして前記画素配線を用いて前記画素中のメモリ部へと出力される。前記メモリ部中に格納された前記デジタル信号情報は一定の期間保持される。あるいは必要であるならば、公知のＤＲＡＭのようにリフレッシュ動作により記憶延長される。
【００４０】
過去に日経エレクトロニクス等でＤＲＡＭが光センサとして動作するという報告がなされているが、本発明ではその撮像像の取得を閾値を設けた正確な２値化画像取得としている点が異なっている。
【００４１】
また前記２値化が各画素において行われるためには、前記メモリ部にアナログ量の閾値を記憶するためのアナログメモリが必要である。前記メモリは公知のようにデジタルメモリと同様な例えばコンデンサ容量によって達成される。
【００４２】
前記２値化を画素中で行う場合には、前記画素中にコンパレータを配置する。前記コンパレータの形式は、前記コンパレータが前記画素中に占める割合を考慮して、よりコンパクト、微細化プロセスが必要のないそれが選択される。
【００４３】
前記コンパレータは前記閾値と前記受光部から得られた電気的信号を比較し、後者の方が大きい場合には例えば１を小さい場合には例えば０を前記メモリ部に記憶する。本構成によれば、徒に前記電気的信号を前記画素アレー外へと出力する必要はなく従って高速化することができる。
【００４４】
前記２値化の際に用いられる比較値である前記閾値は、本発明のセンサの外部から供給あるいは内部で生成される。前者の場合には、本発明のセンサには前記閾値を書き込むための外部端子が必要であり、また後者の場合には前記周辺回路内に前記閾値を生成するための回路が必要である。
【００４５】
前記外部から閾値を取り込む際には公知のように前記でデジタル情報である閾値をアキュムレータあるいはレジスタ等に取り込むのが適当である。その際前記閾値は、前記アナログ値である光信号と比較するために、例えばＤＡ変換器等でアナログ値に変換する必要がある。
【００４６】
前記外部から２値化閾値を読み込む手法は、後述する各種の閾値計算法を利用することができる。またダイナミックに前記閾値を変えて、結果で前記閾値の可否を決定することもできる。
【００４７】
また後者の前記生成回路の代表としては、横軸光信号量、縦軸頻度のヒストグラムを生成する回路が挙げられる。前記２値化の際の閾値を求める方法としては、例えばモード法、ｐ−タイル法、微分ヒストグラム法、判別分析法、可変閾値法等がある。（例えばコロナ社「画像処理工学」参照）このなかで、微分ヒストグラム法と可変閾値法は前記ヒストグラムを求めただけでは使用することができない。
【００４８】
そこでその他の手法を用いて前記２値化の閾値を求める。そのためには、前記ヒストグラムの最大値、最小値、部分和、平均値、分散値、極値等を知る必要がある。これらは前記撮像センサ中にＣＰＵ／メモリ構成を有する場合には比較的簡単に求まるが、そうでない場合には前記分散値の計算は困難である。その場合には、前記判別分析法も使用を見合わせることになる。
【００４９】
本発明においては、前記撮像センサ中では前記モード法、ｐ−タイル法を積極的に用い、前記閾値計算に必要な最大値、最小値、部分和、極値を前記ヒストグラムから求めることにする。
【００５０】
【発明の実施の形態】
（実施例）
図２に本発明の第一実施例である、撮像センサの構成をブロック図で示す。
【００５１】
光学像を結像させるための光学系２１は、公知の光学レンズの組み合わせで構成されている。前記光学系の直下にはＳｉチップからなるセンサＩＣが配置されており、前記センサには図３で示したように画素アレー部４１とその周辺の周辺回路部からなる。前記画素アレー部４１は６４０＊４８０個の画素を有している。
【００５２】
前記各画素には受光部２２とメモリ部２８が存在し、前者は各画素に共通利用される画素配線２３を通じて前記周辺回路部中に存在するアドレッシング回路２４に接続されている。
【００５３】
また同様にしてメモリ部２８はスイッチ２７として働くトランジスタを介して前記画素配線２３に接続されている。
【００５４】
前記アドレッシング回路２４からの出力はコンパレータ２５の一方の端子に接続されており、また他方の端子は外部端子２６へと接続されている。
【００５５】
また前記センサＩＣ上には前記各回路を制御するための制御回路２９と電力を供給する電源回路３０が搭載されている。
【００５６】
本実施例の動作フローを表す図１と、画素構成を表す電気結線図、図１２（従来例と同じ）及び周辺回路構成を表す電気結線図、図３を用いて、本実施例の動作を以下に説明する。
【００５７】
まず２値化を行う際の閾値が、図３に示した外部端子４８に供給される。次いで各画素に存在するホトダイオード２１５のリセットが公知のように、図３中の制御回路４９の支配を受けている受光部選択回路４３と垂直線選択回路４２によって行われる。即ち、左上から右下までの各画素においては順次垂直線２１１に正の電圧が印加され、スイッチングトランジスタ２１４が受光部水平線２１２によって導通することによって、前記ホトダイオード２１５は逆バイアスされ、蓄積動作可能となる。
【００５８】
次いで前記光学系２１によって集光された光は、前記ホトダイオード２１５で光電子に変換され蓄積される。
【００５９】
予め決められた蓄積時間が終了すると、前記各画素のホトダイオード２１５に蓄積した光信号は、順次前記垂直線２１１を用いて外部へと読み出される。読み出された信号は図３中のコンパレータ４７において前記閾値と比較され、前記信号が大きい場合には正の電圧が、小さい場合には負の電圧が前記垂直線２０１に出力される。
【００６０】
前記コンパレータ４７から出力された電圧は前記垂直線２１１を伝わり、同一の画素のメモリ部２８として動作する薄膜容量２１７に印加され、前記容量２１７に前記コンパレータの比較情報（大小）を記憶する。
【００６１】
このような動作が左上から右下まで順次全画素に渡って行われ、最終的に２値化された画像が各画素、即ち画素アレー部４１に記憶される。
【００６２】
図４に本実施例である撮像センサの実装図を示す。本センサＩＣは１ＭＤＲＡＭと同様の外部端子（ピン）を有している。
【００６３】
前記２値化画像の外部への出力の際には、前記データバスへ前記垂直線２１１、垂直線選択回路４２、制御回路４９を使用して出力する。前記センサＩＣ外部への出力には、前記制御回路４９を用いて前記１ＭＤＲＡＭの仕様にのっとった出力形式で出力される。
【００６４】
本実施例によれば従来例に見られるような多数の部品を必要としないために、安価、小型に撮像センサを形成することができる。また多くの処理が高速なモノリシック基板上で行われるために、前記センサの高速化が達成されている。
【００６５】
また本センサにおいては上位システムのデータバス上に直接吊るすことが可能となっており高速なデータのやり取りが可能となっている。そのため、前記上位システムのＣＰＵとのマッチングも非常に良好である。
【００６６】
また前記２値化の際の閾値は前記撮像センサ外部から最適なそれが供給できるため、多少遅いものの前記２値化で得られる画像の品質は最高である。
【００６７】
図１に示した２値化閾値の取得は何も１１のタイミングで行う必要はなく、大小比較１６の前であるならばいずれのタイミングでも良い。
【００６８】
また前記２値化画像の取得１８と２値化画像の出力２０の時間間隔が長いことが想定される場合には、前記センサ中に公知のＤＲＡＭリフレッシュ回路を設けることで、前記記憶された２値化画像の劣化を防止することができる。
【００６９】
また図１２に示した薄膜容量２１７は、公知の他の手法で形成された容量で構わない。
【００７０】
図５に本発明の第二実施例である、撮像センサの画素部電気結線図を示す。
６１は垂直線であり、光信号の出力と２値化画像の入出力を行う。６２は受光部水平線であり、前記垂直線６１とともに受光部のアドレッシング、アクセスを行う。６４はスレッショルド電圧が０．５ＶのｎＭＯＳトランジスタであり、前記垂直線６１とホトダイオード６５に接続されている。
【００７１】
６３はメモリ部水平線であり、前記垂直線６１とともにメモリ部のアドレッシング、アクセスを行う。６６はスレッショルド電圧が０．５ＶのｎＭＯＳトランジスタであり、前記垂直線６１と記憶用容量であるダイオード容量６７に接続されている。前記ダイオード容量６７は、前記撮像センサを形成するセンサＩＣの同一拡散層で形成されている。そのため拡散プロファイルは同一であり、単位あたりの容量（Ｆ／ｃｍ２）は同一である。
【００７２】
前記容量６７は前記撮像光の入射によって光電荷を生じないように、前記配線金属と同一のプロセスで形成される同一材料で遮光されている。
【００７３】
本実施例の動作を同様に図１を用いて説明を行う。
【００７４】
まず２値化閾値が取得され、ホトダイオード６５のリセットが行われる。前記リセットは前記水平線６２に＋５Ｖの電圧が印加され、前記垂直線６１に＋３Ｖの電圧が印加されることにより、前記トランジスタ６４は導通し、前記ダイオード６５は両方逆バイアス状態になる。次いで前記水平線６２は０Ｖになり、前記トランジスタ６４は閉じ、前記ダイオード６５は空乏層が開き光電荷を蓄積することが可能となる。
【００７５】
予め決められた蓄積時間が終了したのち、垂直線選択回路、水平線選択回路を用いて前記各画素の光信号の出力を順次行う。前記水平線６２に＋３．０Ｖの電圧が印加されると、前記トランジスタ６４が導通し、前記垂直線６１から前記受光部を形成するホトダイオード６５中の光電荷が読み出される。前記読み出された光信号は周辺回路中にあるコンパレータによって大小比較され、２値化情報となって前記垂直線６１を用いて元の画素のメモリ部を形成する容量６７に書き込まれる。
【００７６】
前記書き込みに際しては前記水平線６３には＋３Ｖの電圧が印加され、前記トランジスタ６６は導通し、前記容量６７に前記１、０の情報が書き込まれる。前記１情報の書き込みは前記垂直線６１に＋３Ｖを印加することで、前記０情報の書き込みは＋１Ｖを印加することで行う。このようにして各画素に２値化された光情報が書き込まれ、最終的に２値化画像が画素アレー部に記憶される。
【００７７】
前記画像の読み出しは、前記書き込みと同様な方法で行われる。
【００７８】
本実施例によれば前記第一実施例のように殊更に薄膜容量を形成するプロセスが必要でないために、前記センサＩＣを作成するプロセスが安価になる。また前記容量の容量値、即ち面積は、多階調（ｅｘ．２５６階調）を記憶する必要があるホトダイオードに比べると、２階調であるために小さくて済むため、前記画素に占める割合は小さく、従って前記画素面積の増大を最小限とすることができる。これも前記センサＩＣの安価化に寄与する。
【００７９】
本発明の第三実施例である、撮像センサの画素部電気結線図を図６に示す。
本実施例では前記画素の構成はＣＭＯＳセンサ形式である。７１は信号を読み出すための垂直線であり、そこにはスイッチ７６を介してメモリ部を形成する記憶容量であるダイオード容量７７もぶら下がっている。前記容量７７のアクセスは、前記垂直線７１とメモリ部水平線７３を用いて行う。
【００８０】
図７に本発明の第四実施例である、撮像センサの周辺回路部に形成されたヒストグラム作成回路を示す。
【００８１】
９１は垂直線選択回路からの出力線であり、各画素からの光信号の出力線である。９２は前記光信号を蓄積しておくための蓄積容量である。前記容量９２に蓄積される電荷は、前述のＣＭＯＳセンサ形式のように必要に応じて既に増幅されたそれである。９３はコンパレータであり、−端子は前記容量９２に、＋端子は制御回路９５によって制御されるＤＣ電源９４に接続されている。また前記コンパレータ９３の出力は、前記制御回路９５に出力される。
【００８２】
９６は選択回路であり、前記制御回路９５によって出力の切り替え先を選択するものである。９７はカウンタであり、前記選択回路９６に接続されており、入力に応じてその保持する値をインクリメントする。
【００８３】
以下に本実施例のヒストグラム作成回路の説明を行う。
【００８４】
前記４つのカウンタ９７が示す値は、予め全て０に設定されている。前記容量９２に光信号が蓄積されたのち、前記制御回路９５は０Ｖから０．５Ｖ刻みで前記電源９４の値を増加させる。コンパレータ９３は前記容量９２が示す電圧と前記電源電圧とを比較し、後者が小さい場合には０Ｖを、大きい場合には１．５Ｖを前記制御回路９５へと出力する。
【００８５】
前記制御回路９５が出力された１．５Ｖを初めて検出した場合には、その信号を選択回路９６へと出力し、あわせて前記電源９４が示す電圧に相当する順位を前記回路９６へと出力する。例えば０Ｖの場合には０を、０．５Ｖの場合には１を、１．５Ｖの場合には３を、である。
【００８６】
前記選択回路９６は送られてきた順位に相当するカウンタ９７に、前記制御回路９５からの信号を送り、前記カウンタ９７の内容をインクリメント（０−＞１）する。
【００８７】
ついで新たな画素の光信号が前記容量９２に蓄積され、同様な動作が全画素分行われる。
【００８８】
全画素分が終了した後に、前記カウンタ９７の内容を参照すれば、横軸電圧値（ステップ０．５Ｖ）、縦軸頻度の前記画素アレー部の画素情報を記述するヒストグラムが得られる。
【００８９】
本実施例の撮像センサにおいては、前記ヒストグラムから最大値、最小値、部分和、局値を計算する。
【００９０】
最大値、最小値は、前記カウンタが０でない値を示す、一番大きな値（順位）と一番小さな値（順位）である。
【００９１】
また部分和Ｓ（ａ，ｂ）は順位ａから順位ｂまでのカウンタの示す値を加算することで得られる。前記加算回路は公知の電子回路で容易に形成可能である。
【００９２】
また局値ｎとは順位ｎ−１よりもカウンタ内容が小さく、順位ｎ＋１よりもまた小さい値である。
【００９３】
本実施例においては、前記４つの量から前記２値化に必要な閾値を求めている。
本実施例を用いれば前記２値化の閾値も内部で形成するので外部からの前記閾値の供給は不要となり、その分外部の負担が軽減し上位システムを安価に構成することができる。
【００９４】
本実施例に用いた前記カウンタの数は任意であるが、望ましくは１０以上である。
【００９５】
また前記ＤＣ電源の電圧ステップも任意であるが、前記光信号電圧と前記カウンタの数からおのずと制約が加わる。
【００９６】
また前記電圧ステップを変化させることで、前記ヒストグラムの形状は変化する。仮に画素構成がＣＭＯＳセンサのように非破壊読み出し、複数回読み出しが可能であるならば、前記ヒストグラムの部分和を取る計算を、前記電圧ステップを変更することで代替可能である。
【００９７】
図８に本発明の第五実施例である、撮像センサの画素部電気結線図を示す。
１０１は垂直線であり、２値化のための閾値の書き込みと、２値化された光信号の出力を行う。
【００９８】
１０５はホトダイオードであり、光電荷の蓄積を行う。前記ダイオード１０５はコンパレータ１１６の＋端子に接続されている。またスイッチ１１５を通じて前記垂直線１０１に接続されている。前記コンパレータ１１６の−端子は同様にスイッチ１１７を通じてメモリ部として働く前記ダイオード１０５と同じ容量値を持つダイオード容量１０７に接続されている。前記容量１０７はアナログ値である２値化閾値と、２値化されたデジタル値である光信号の両方を記憶する。また出力端子は同様にスイッチ１１８を通じて前記容量１０７に接続されている。また前記容量１０７はスイッチ１１９を通じて前記垂直線１０１に接続されている。
【００９９】
以下、本実施例の動作を図９に示した動作フローを用いて説明を行う。
【０１００】
まず各画素に各垂直線１０１を用いて２値化の際の同一閾値電圧を書き込む。書き込む際にはメモリ部水平線１１４に正の電圧を印加し、前記スイッチであるｎＭＯＳトランジスタ１１９を開き、前記垂直線１０１に前記閾値電圧を印加することで行う。その際、他の３本の水平線１１１、１１２、１１３には０または負の電圧を印加させ、前記３つのｎＭＯＳトランジスタ１１５、１１７、１１８を閉じたままにしておく。前記書き込みが終了したならば、前記スイッチ１１９は閉じておく。
【０１０１】
次いで受光部水平線１１１に正の電圧を印加しトランジスタ１１５を開き前記垂直線１０１と導通させ、前記垂直線１０１に正の電圧を印加することで前記ダイオード１０５のリセットを行う。
【０１０２】
次いで前記スイッチ１１５を閉じ、蓄積動作状態に入る。蓄積動作中には前記コンパレータ１１６の＋端子には蓄積電荷電圧が印加されているが、−端子には前記スイッチ１１７が閉じているために電圧は印加されず、出力電圧は不定である。
【０１０３】
蓄積動作が終了したならば前記スイッチ１１７が開き、前記コンパレータ１０６の−端子に前記容量１０７に保持された２値化閾値電圧が印加される。前記コンパレータ１０６は両者の値を比較し、前記＋端子の電圧が大きい場合には＋１．５Ｖの電圧を、そうでない場合には０Ｖの電圧をある一定の時間後に出力する。（大小比較、２値化）
前記電圧が出力される前にスイッチ１１７を閉じ１１８を開くことによって前記容量１０７を前記出力端子に繋ぎ変え、前記出力電圧を前記容量１０７に書き込む。これにより各画素に２値化光信号が記憶され、画素アレー部全体で２値化画像が形成される。
【０１０４】
前記各画素から前記２値化画像を出力する手法は、公知のｘ−ｙアドレッシングで行われる。
【０１０５】
本実施例によれば、従来例とは異なりステップ１２１から１２６までは各画素でパラレルに処理されるため、高速である。またローリングシャッターだけでなくフレームシャッターも実現することができる。
【０１０６】
本実施例では１画素あたり４本もの水平線を使用するが、前記水平線下に前記コンパレータや前記４つのスイッチを設ければ、さほどＩＣの面積効率は低下しない。
【０１０７】
また公知のように前記４本の水平線本数は、前記スイッチに用いるＭＯＳトランジスタをｎＭＯＳ、ｐＭＯＳの両方が使えるＣＭＯＳ構成とすることで、その本数を減らすことが可能である。
【０１０８】
本発明の第六実施例として、外部端子から２値化の閾値を書き込む際の構成を図１０に示す。
【０１０９】
図１０に示したのは本発明の撮像センサの外部端子廻りであり、１３１は外部端子であり上位システムのデータバスに接続されている。１３２は前記センサ内部のデータバスであり、それにはＣＰＵ１３４やＤＡコンバータ１３５がぶら下がっている。
【０１１０】
前記外部端子１３１から入力されたデジタル情報である前記閾値は、内部バス１３２を通って前記ＣＰＵ１３４中のレジスタあるいはアキュムレータ１３３に入力する。前記入力されたデジタル情報は、前記ＣＰＵ１３４によって前記ＤＡコンバータ１３５に送られてＤＡ変換され、アナログ値の閾値に変換される。
【０１１１】
また前記内部バス１３２及び外部端子１３１は、前述の２値化画像の外部出力にも用いられるデータバスである。
【０１１２】
本実施例によれば前記２値化閾値を取り込むための外部端子１３１には特別な端子が必要でなく、前記２値化画像を出力するためのデータ端子でよいため、前記センサＩＣのパッケージ効率が向上する。また上位システムの閾値データの出力も容易となり、前記システムが簡略、安価となる。
【０１１３】
【発明の効果】
本発明によれば部品点数の少ない簡略、安価、高速な撮像センサを広い用途に提供することができる。
【図面の簡単な説明】
【図１】本実施例の動作フロー
【図２】本発明の第一実施例である、撮像センサの構成をブロック図
【図３】周辺回路構成を表す電気結線図
【図４】本実施例である撮像センサの実装図
【図５】本発明の第二実施例である、撮像センサの画素部電気結線図
【図６】本発明の第三実施例である、撮像センサの画素部電気結線図
【図７】本発明の第四実施例である、撮像センサの周辺回路部に形成されたヒストグラム作成回路
【図８】本発明の第五実施例である、撮像センサの画素部電気結線図
【図９】本実施例の動作フロー
【図１０】本発明の第六実施例として、外部端子から２値化の閾値を書き込む際の構成図
【図１１】従来技術におけるシーケンスフロー
【図１２】従来技術におけるコンパレータの動作フロー
【図１３】従来技術における回路図
【符号の説明】
２１ 光学系
２２ 受光部
２３ 画素配線
２４ 回路
２５ コンパレータ
２６ 端子
２７ スイッチ
２８ メモリ部
２９ 制御回路
３０ 電源
２１１、６１、７１、１０１ 垂直線
２１２、６２、７２ 水平線
２１３、６３、７３ 水平線
２１４、６４、７４ スイッチ
２１５、６５、７５、１０５ ダイオード
２１６、６６、７６ スイッチ
２１７、６７、７７、１０７ 容量
４１ 画素アレー部
４２ 選択回路
４３ 選択回路
４４ 選択回路
４５ スイッチ
４６ スイッチ
４７ コンパレータ
４８ 端子
４９ 制御回路
８１、８２、１１１、１１２、１１３、１１４ 水平線
８３、８４、８５、１１５、１１７、１１８、１１９ スイッチ
９１ 出力線
９２ 容量
９３、１１６ コンパレータ
９４ 電源
９５ 制御回路
９６ 選択回路
９７ カウンタ
１３１、１３６ 端子
１３２ バス
１３３ レジスタ
１３４ ＣＰＵ
１３５ ＤＡコンバータ
２２１ 読出回路
２２２ 画素部
２２３ 信号検知回路
２２４ ２値化処理回路
２２５ 格納回路[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an imaging device that outputs binarized image information.
[0002]
[Prior art]
Conventionally, to obtain a binarized image, a general image sensor that outputs an analog image, an automatic gain control (AGC) that removes noise from the output, performs AD conversion, and stores a digital frame image in a frame memory , And binarizing the frame image.
[0003]
In the above system
1) Complex with many parts
2) The sequence flow until obtaining a binarized image is long, and conversion takes time.
3) Poor matching with digital memory / CPU that controls the entire system
There is a disadvantage that.
[0004]
[Problems to be solved by the invention]
The configuration of 1) is an image sensor composed of a ccd or CMOS sensor, a dedicated DSP (digital signal processor) for performing noise reduction such as CDS (correlation double sampling) and AGC and AD conversion, a frame memory composed of a digital memory, and a binary memory. It comprises a CPU system for performing image processing such as conversion processing. If all or most of these could be changed to one IC or its equivalent, the components of the system would be reduced, the system would be simplified and its cost would be lower.
[0005]
Except for the frame memory and thereafter, a system including two ICs of a sensor and a dedicated DSP has been realized.
[0006]
FIG. 11 shows the sequence flow of 2).
[0007]
The processing from 201 to 204 is performed by hardware without using the function of the CPU for controlling the system. However, since the CPU or coprocessor + software is used for processing the digitized frame image, the processing is not always fast.
[0008]
Also, the processing realized by the hardware in the first half is not the fastest because the processing is performed over a plurality of chips.
[0009]
As a method for solving the problems 1) and 2), for example, a configuration in which a memory unit is provided in a pixel and a comparator is provided outside the pixel is disclosed in JP-A-2001-238139. (FIGS. 12 and 13) With the above configuration, steps up to step 206 in FIG. 11 can be processed in the same IC chip, so that it is possible to reduce the number of components, reduce the cost, and increase the speed.
[0010]
The imaging device disclosed in the above publication has a pixel array and a peripheral circuit that controls input and output from the pixel. The pixels constituting the array include at least a light receiving unit for acquiring a captured image of a subject and a memory unit for storing one or more bits of information related to information of the light receiving unit.
[0011]
An imaging light is input to the pixel as an input, and an electrical signal depending on the imaging light is output as an output through a pixel wiring traversing the pixel array. Further, an electrical signal depending on a result of the imaging is input / output to / from the memory unit.
[0012]
In the publication, the binarization is performed by the peripheral circuit, and light information converted into the electric signal from the light receiving unit in the pixel is output to the peripheral circuit using the pixel wiring.
[0013]
The analog signal, which is the electrical signal, is converted into a binary digital signal of 1 and 0 by a binarization processing circuit in the peripheral circuit. Output to the memory unit. The digital signal information stored in the memory unit is held for a certain period.
[0014]
However, the publication does not mention the supply of the threshold used in the binarization.
[0015]
If the binarization is to be performed not in the peripheral circuit but in the pixel, at least a comparator is required in the pixel. The comparator is disclosed in, for example, JP-A-64-88258, JP-A-5-67950, and JP-A-10-107600. However, each of them requires a large number of transistors, and the occupied area is not necessarily small.
[0016]
In recent years, a comparator which can be arranged in a pixel and has the smallest occupied area has been reported, for example, in JP-A-2000-329798.
[0017]
A sensor having a function incorporated in the pixel is called an intelligent sensor, and has been widely studied by academic societies and the like. Examples of performing a process corresponding to binarization in the pixel include, for example, Japanese Patent Application Laid-Open Nos. Hei 6-139361 and 2000-78472, which are artificial retinal sensors. In the former, a calculation result of mask information and optical information supplied from the selection and control circuit is output, and in the latter, a differential output value of an optical signal is output from the pixel unit.
[0018]
However, these are aimed at replacing human retinal functions and general-purpose analog sensors, and in recent years, an increasing number of imaging systems, such as barcode readers or surveillance cameras, which place importance on binarization detection and image processing are increasing. It does not address the situation.
[0019]
Further, if the intelligent function is to be mounted on each pixel, an increase in the pixel area and a miniaturization process are required for components that realize the complicated function.
[0020]
In the case of 3), a large number of frame memories are required to binarize the multi-gradation information per pixel, and the access requires the CPU power. is there.
[0021]
Further, at the time of the binarization, it is necessary to acquire a threshold value for performing the binarization, but the publications mentioned above do not mention the acquisition thereof. When the threshold value is supplied from outside the imaging sensor, matching with the memory / CPU system also becomes a problem.
[0022]
[Means for Solving the Problems]
SUMMARY OF THE INVENTION It is an object of the present invention to provide an imaging apparatus which eliminates the above-mentioned disadvantages and outputs a simple, high-speed, and inexpensive binary image.
[0023]
The present invention is a development of Japanese Patent Application Laid-Open No. 2001-238139.
[0024]
The problem 1) is solved by incorporating the functions up to 206 shown in FIG. 11 into one IC chip. The above functions are realized by hardware mainly on the chip, and are therefore high speed.
[0025]
Further, in obtaining the binarized image, the CPU controlling the host system of the imaging sensor externally accesses the sensor, accesses a general-purpose memory, a cache memory such as an SRAM, and a large-capacity general-purpose memory such as a DRAM from the outside. It is very simple and fast because it is done in the same format as
[0026]
Although patents for measuring instruments with built-in registers that can be accessed like accumulators of CPUs have been filed and put into practice by several companies, the present invention is not that of accumulators but that of memories.
[0027]
The integrated sensor of the present invention includes at least a pixel array and a peripheral circuit that controls input / output from the pixel.
[0028]
In the pixels constituting the array, a light receiving unit for acquiring at least a captured image of a subject and one or more bits of information related to information of the light receiving unit are stored as disclosed in the publication. And a memory unit.
[0029]
The memory unit is shielded from light incident thereon if necessary. Further, it is appropriate that the storage capacity for making the memory section function is formed by a thin film capacitor known in DRAM or the like or a diffusion layer having the same diffusion profile as the photodiode constituting the light receiving section.
[0030]
An imaging light is input to the pixel as an input, and an electrical signal depending on the imaging light is output as an output through a pixel wiring traversing the pixel array.
[0031]
In the present invention, the sensitivity is not varied as described in JP-A-6-139361.
[0032]
An electric signal depending on the result of the imaging and an electric signal for processing given from outside the corresponding pixel are input / output to / from the memory unit through the same pixel wiring.
[0033]
For example, Japanese Patent Application Laid-Open No. 2000-78472, which has a memory in the pixel, outputs an analog signal from the light receiving unit or a binary 1,0 digital signal in the present invention. The difference is that the differential output value is not output.
[0034]
The memory section formed in each pixel is also a frame memory for storing the binarized frame image.
[0035]
According to the present invention, since the sensor and the addressing wiring for accessing the frame memory are the same, the number of components is reduced and the chip utilization efficiency is increased. This means that the area of the IC chip is reduced, and that the system can be provided at low cost.
[0036]
The method of accessing the frame memory has a format similar to that of a general digital memory such as a DRAM or an SRAM that guarantees general-purpose applications and uses.
[0037]
Further, the binarization is performed in the peripheral circuit disclosed in the publication or each pixel not disclosed.
[0038]
When the binarization is performed by a peripheral circuit, light information converted into the electric signal from the light receiving unit in the pixel is output to the peripheral circuit using the pixel wiring.
[0039]
The analog signal, which is the electrical signal, is converted into a binary digital signal of 1 and 0 by a binarization processing circuit in the peripheral circuit. Output to the memory unit. The digital signal information stored in the memory unit is held for a certain period. Alternatively, if necessary, storage is extended by a refresh operation like a known DRAM.
[0040]
In the past, Nikkei Electronics and others have reported that a DRAM operates as an optical sensor, but the present invention is different in that acquisition of the captured image is accurate binary image acquisition with a threshold.
[0041]
Further, in order for the binarization to be performed in each pixel, an analog memory for storing a threshold value of an analog amount in the memory unit is required. The memory is achieved by a capacitor, for example, similar to a digital memory in a known manner.
[0042]
When the binarization is performed in a pixel, a comparator is arranged in the pixel. The type of the comparator is selected in consideration of the ratio of the comparator in the pixel and more compact and does not require a miniaturization process.
[0043]
The comparator compares the threshold with the electric signal obtained from the light receiving unit, and stores, for example, 1 when the latter is larger and 0 for example when the latter is smaller in the memory unit. According to this configuration, it is not necessary to output the electric signal to the outside of the pixel array, so that the speed can be increased.
[0044]
The threshold value, which is a comparison value used in the binarization, is supplied from the outside of the sensor of the present invention or generated internally. In the former case, the sensor of the present invention requires an external terminal for writing the threshold value, and in the latter case, a circuit for generating the threshold value is required in the peripheral circuit.
[0045]
When the threshold value is taken in from the outside, it is appropriate to take in the threshold value, which is the digital information as described above, into an accumulator or a register. At this time, the threshold value needs to be converted into an analog value by, for example, a DA converter or the like in order to compare with the optical signal that is the analog value.
[0046]
As a method of reading the binarization threshold value from the outside, various threshold value calculation methods described later can be used. Alternatively, the threshold value may be dynamically changed, and the result may be used to determine whether the threshold value can be used.
[0047]
A typical example of the latter generation circuit is a circuit that generates a histogram of the amount of optical signal on the horizontal axis and the frequency on the vertical axis. As a method of obtaining the threshold value in the binarization, for example, there are a mode method, a p-tile method, a differential histogram method, a discriminant analysis method, a variable threshold method, and the like. (For example, see "Corona Image Processing Engineering") Among them, the differential histogram method and the variable threshold method cannot be used merely by obtaining the histogram.
[0048]
Therefore, the threshold value of the binarization is obtained by using another method. To do so, it is necessary to know the maximum value, minimum value, partial sum, average value, variance value, extreme value, etc. of the histogram. These can be obtained relatively easily when the image sensor has a CPU / memory configuration, but otherwise, it is difficult to calculate the variance. In that case, the discriminant analysis method will be forgotten.
[0049]
In the present invention, the mode method and the p-tile method are positively used in the image sensor, and a maximum value, a minimum value, a partial sum, and an extreme value required for the threshold value calculation are obtained from the histogram.
[0050]
BEST MODE FOR CARRYING OUT THE INVENTION
(Example)
FIG. 2 is a block diagram showing the configuration of the image sensor according to the first embodiment of the present invention.
[0051]
The optical system 21 for forming an optical image is configured by a combination of known optical lenses. A sensor IC made of a Si chip is disposed immediately below the optical system. The sensor includes a pixel array section 41 and a peripheral circuit section around the pixel array section 41 as shown in FIG. The pixel array section 41 has 640 * 480 pixels.
[0052]
Each pixel has a light receiving section 22 and a memory section 28. The former is connected to an addressing circuit 24 existing in the peripheral circuit section through a pixel wiring 23 commonly used for each pixel.
[0053]
Similarly, the memory section 28 is connected to the pixel wiring 23 via a transistor serving as a switch 27.
[0054]
An output from the addressing circuit 24 is connected to one terminal of a comparator 25, and the other terminal is connected to an external terminal 26.
[0055]
A control circuit 29 for controlling the circuits and a power supply circuit 30 for supplying power are mounted on the sensor IC.
[0056]
The operation of the present embodiment will be described with reference to FIG. 1 showing an operation flow of the present embodiment, an electric connection diagram showing a pixel configuration, FIG. 12 (same as a conventional example), an electric connection diagram showing a peripheral circuit configuration, and FIG. This will be described below.
[0057]
First, a threshold value for performing binarization is supplied to the external terminal 48 shown in FIG. Next, as is known, the photodiode 215 existing in each pixel is reset by the light receiving section selection circuit 43 and the vertical line selection circuit 42 under the control of the control circuit 49 in FIG. That is, in each pixel from the upper left to the lower right, a positive voltage is sequentially applied to the vertical line 211, and the switching transistor 214 is turned on by the light receiving unit horizontal line 212. Become.
[0058]
Next, the light condensed by the optical system 21 is converted into photoelectrons by the photodiode 215 and stored.
[0059]
When the predetermined accumulation time is over, the optical signals accumulated in the photodiodes 215 of the respective pixels are sequentially read out using the vertical lines 211 to the outside. The read signal is compared with the threshold value in the comparator 47 in FIG. 3. When the signal is large, a positive voltage is output to the vertical line 201 when the signal is small, and the negative voltage is output when the signal is small.
[0060]
The voltage output from the comparator 47 is transmitted through the vertical line 211 and applied to the thin film capacitor 217 that operates as the memory unit 28 of the same pixel, and the capacitor 217 stores comparison information (large or small) of the comparator.
[0061]
Such an operation is sequentially performed on all pixels from the upper left to the lower right, and finally a binarized image is stored in each pixel, that is, the pixel array unit 41.
[0062]
FIG. 4 shows a mounting diagram of the image sensor according to the present embodiment. This sensor IC has external terminals (pins) similar to those of the 1MDRAM.
[0063]
When outputting the binary image to the outside, the binary image is output to the data bus using the vertical line 211, the vertical line selection circuit 42, and the control circuit 49. The output to the outside of the sensor IC is output using the control circuit 49 in an output format conforming to the specification of the 1MDRAM.
[0064]
According to the present embodiment, an imaging sensor can be formed inexpensively and compactly because a large number of components as in the conventional example are not required. In addition, since many processes are performed on a high-speed monolithic substrate, the speed of the sensor has been increased.
[0065]
Further, in this sensor, it is possible to hang it directly on the data bus of the host system, and it is possible to exchange data at high speed. Therefore, matching with the CPU of the host system is also very good.
[0066]
Further, since the optimum threshold value for binarization can be supplied from the outside of the image sensor, the quality of the image obtained by the binarization is the highest although it is somewhat slow.
[0067]
The binarization threshold shown in FIG. 1 does not need to be acquired at any timing, but may be any timing before the magnitude comparison 16.
[0068]
If it is expected that the time interval between the acquisition 18 of the binarized image and the output 20 of the binarized image is long, a known DRAM refresh circuit is provided in the sensor, so that the stored 2D image is stored. Deterioration of the binarized image can be prevented.
[0069]
Further, the thin film capacitor 217 shown in FIG. 12 may be a capacitor formed by another known method.
[0070]
FIG. 5 is an electrical connection diagram of a pixel portion of an image sensor according to a second embodiment of the present invention.
Reference numeral 61 denotes a vertical line which outputs an optical signal and inputs and outputs a binary image. Reference numeral 62 denotes a light receiving unit horizontal line, which performs addressing and access of the light receiving unit together with the vertical line 61. Reference numeral 64 denotes an nMOS transistor having a threshold voltage of 0.5 V, which is connected to the vertical line 61 and the photodiode 65.
[0071]
Reference numeral 63 denotes a horizontal line of the memory unit, which performs addressing and access of the memory unit together with the vertical line 61. Reference numeral 66 denotes an nMOS transistor having a threshold voltage of 0.5 V, which is connected to the vertical line 61 and a diode capacitor 67 serving as a storage capacitor. The diode capacitor 67 is formed of the same diffusion layer of a sensor IC forming the image sensor. Therefore, the diffusion profiles are the same and the capacity per unit (F / cm 2 ) Are the same.
[0072]
The capacitor 67 is shielded from light by the same material formed by the same process as the wiring metal so as not to generate a photocharge due to the incidence of the imaging light.
[0073]
The operation of the present embodiment will be described with reference to FIG.
[0074]
First, a binarization threshold is obtained, and the photodiode 65 is reset. In the reset, when a voltage of +5 V is applied to the horizontal line 62 and a voltage of +3 V is applied to the vertical line 61, the transistor 64 is turned on, and both the diodes 65 are reverse-biased. Next, the horizontal line 62 becomes 0V, the transistor 64 closes, and the diode 65 opens a depletion layer, enabling the accumulation of photocharge.
[0075]
After the predetermined accumulation time has elapsed, the output of the optical signal of each pixel is sequentially performed using the vertical line selection circuit and the horizontal line selection circuit. When a voltage of +3.0 V is applied to the horizontal line 62, the transistor 64 conducts, and the photoelectric charge in the photodiode 65 forming the light receiving portion is read from the vertical line 61. The read optical signal is compared in magnitude by a comparator in the peripheral circuit, and is written as binary information to the capacitor 67 forming the memory section of the original pixel using the vertical line 61.
[0076]
At the time of the writing, a voltage of +3 V is applied to the horizontal line 63, the transistor 66 is turned on, and the information of 1 and 0 is written to the capacitor 67. The writing of the 1 information is performed by applying + 3V to the vertical line 61, and the writing of the 0 information is performed by applying + 1V. In this way, the binarized optical information is written into each pixel, and finally the binarized image is stored in the pixel array unit.
[0077]
The reading of the image is performed in the same manner as the writing.
[0078]
According to the present embodiment, the process for forming the sensor IC is inexpensive because a process for forming a thin film capacitor is not particularly necessary as in the first embodiment. Further, the capacitance value of the capacitor, that is, the area, is smaller than that of a photodiode that needs to store multiple gray scales (ex. 256 gray scales) because it has two gray scales. Small, thus minimizing the increase in pixel area. This also contributes to the cost reduction of the sensor IC.
[0079]
FIG. 6 shows an electrical connection diagram of a pixel portion of an image sensor according to a third embodiment of the present invention.
In this embodiment, the configuration of the pixel is a CMOS sensor type. Reference numeral 71 denotes a vertical line for reading out a signal, and a diode capacitance 77 which is a storage capacitance forming a memory unit is also suspended via a switch 76 therethrough. Access to the capacitor 77 is performed using the vertical line 71 and the memory unit horizontal line 73.
[0080]
FIG. 7 shows a histogram creating circuit formed in a peripheral circuit section of an image sensor according to a fourth embodiment of the present invention.
[0081]
Reference numeral 91 denotes an output line from the vertical line selection circuit, which is an output line for an optical signal from each pixel. Reference numeral 92 denotes a storage capacitor for storing the optical signal. The electric charge stored in the capacitor 92 is already amplified as necessary as in the above-described CMOS sensor type. A comparator 93 has a negative terminal connected to the capacitor 92 and a positive terminal connected to a DC power supply 94 controlled by a control circuit 95. The output of the comparator 93 is output to the control circuit 95.
[0082]
Reference numeral 96 denotes a selection circuit, which is used by the control circuit 95 to select an output switching destination. Reference numeral 97 denotes a counter which is connected to the selection circuit 96 and increments a value held by the counter in accordance with an input.
[0083]
Hereinafter, the histogram creation circuit of the present embodiment will be described.
[0084]
The values indicated by the four counters 97 are all set to 0 in advance. After the optical signal is stored in the capacitor 92, the control circuit 95 increases the value of the power supply 94 in steps of 0.5V from 0V. The comparator 93 compares the voltage indicated by the capacitor 92 with the power supply voltage, and outputs 0 V to the control circuit 95 when the voltage is small and 1.5 V when the voltage is large.
[0085]
When the control circuit 95 detects the output 1.5V for the first time, it outputs the signal to the selection circuit 96, and also outputs the order corresponding to the voltage indicated by the power supply 94 to the circuit 96. . For example, 0 for 0V, 1 for 0.5V, and 3 for 1.5V.
[0086]
The selection circuit 96 sends a signal from the control circuit 95 to a counter 97 corresponding to the received order, and increments the content of the counter 97 (0-> 1).
[0087]
Next, an optical signal of a new pixel is accumulated in the capacitor 92, and the same operation is performed for all pixels.
[0088]
When the contents of the counter 97 are referred to after the completion of all the pixels, a histogram describing the pixel information of the pixel array section with the horizontal axis voltage value (step 0.5 V) and the vertical axis frequency is obtained.
[0089]
In the image sensor of this embodiment, the maximum value, the minimum value, the partial sum, and the local value are calculated from the histogram.
[0090]
The maximum value and the minimum value are the largest value (order) and the smallest value (order) indicating the value of the counter that is not 0.
[0091]
The partial sum S (a, b) is obtained by adding the values indicated by the counters from rank a to rank b. The adding circuit can be easily formed by a known electronic circuit.
[0092]
The station value n is a value whose counter content is smaller than the rank n−1 and smaller than the rank n + 1.
[0093]
In this embodiment, a threshold value required for the binarization is obtained from the four quantities.
According to this embodiment, since the binarization threshold value is also formed internally, it is not necessary to supply the threshold value from the outside, so that the external load is reduced and the host system can be configured at a low cost.
[0094]
The number of the counters used in the present embodiment is arbitrary, but is preferably 10 or more.
[0095]
The voltage step of the DC power supply is also arbitrary, but is naturally restricted by the optical signal voltage and the number of the counters.
[0096]
By changing the voltage step, the shape of the histogram changes. If the pixel configuration allows nondestructive readout and multiple readouts as in a CMOS sensor, the calculation for obtaining the partial sum of the histogram can be replaced by changing the voltage step.
[0097]
FIG. 8 shows an electrical connection diagram of a pixel portion of an image sensor according to a fifth embodiment of the present invention.
Reference numeral 101 denotes a vertical line for writing a threshold value for binarization and outputting a binarized optical signal.
[0098]
Reference numeral 105 denotes a photodiode which accumulates photocharges. The diode 105 is connected to the + terminal of the comparator 116. Also, it is connected to the vertical line 101 through a switch 115. The negative terminal of the comparator 116 is similarly connected to a diode capacitor 107 having the same capacitance value as the diode 105 serving as a memory unit via a switch 117. The capacitor 107 stores both a binary threshold value that is an analog value and an optical signal that is a binary digital value. The output terminal is similarly connected to the capacitor 107 through a switch 118. The capacitor 107 is connected to the vertical line 101 through a switch 119.
[0099]
Hereinafter, the operation of this embodiment will be described with reference to the operation flow shown in FIG.
[0100]
First, the same threshold voltage for binarization is written to each pixel using each vertical line 101. When writing, a positive voltage is applied to the memory unit horizontal line 114, the nMOS transistor 119 serving as the switch is opened, and the threshold voltage is applied to the vertical line 101. At this time, 0 or a negative voltage is applied to the other three horizontal lines 111, 112, and 113, and the three nMOS transistors 115, 117, and 118 are kept closed. When the writing is completed, the switch 119 is closed.
[0101]
Next, a positive voltage is applied to the light receiving unit horizontal line 111 to open the transistor 115 and conduct with the vertical line 101, and the diode 105 is reset by applying a positive voltage to the vertical line 101.
[0102]
Next, the switch 115 is closed to enter a storage operation state. During the accumulation operation, the accumulated charge voltage is applied to the + terminal of the comparator 116, but no voltage is applied to the-terminal because the switch 117 is closed, and the output voltage is undefined.
[0103]
When the accumulation operation is completed, the switch 117 is opened, and the binarized threshold voltage held in the capacitor 107 is applied to the minus terminal of the comparator 106. The comparator 106 compares the two values, and outputs a voltage of +1.5 V when the voltage of the + terminal is large, and outputs a voltage of 0 V after a certain time otherwise. (Comparing large and small, binarization)
By closing the switch 117 and opening 118 before the voltage is output, the capacitor 107 is connected to the output terminal, and the output voltage is written to the capacitor 107. As a result, a binarized optical signal is stored in each pixel, and a binarized image is formed in the entire pixel array unit.
[0104]
The method of outputting the binarized image from each pixel is performed by known xy addressing.
[0105]
According to this embodiment, unlike the conventional example, steps 121 to 126 are processed in parallel by each pixel, so that the processing speed is high. Also, a frame shutter as well as a rolling shutter can be realized.
[0106]
In this embodiment, as many as four horizontal lines are used per pixel, but if the comparator and the four switches are provided below the horizontal line, the area efficiency of the IC does not decrease so much.
[0107]
Further, as is well known, the number of the four horizontal lines can be reduced by using a CMOS configuration in which both nMOS and pMOS can be used for the MOS transistor used for the switch.
[0108]
As a sixth embodiment of the present invention, FIG. 10 shows a configuration for writing a binary threshold from an external terminal.
[0109]
FIG. 10 shows the periphery of the external terminal of the image sensor of the present invention. Reference numeral 131 denotes an external terminal, which is connected to the data bus of the host system. 132 is a data bus inside the sensor, on which a CPU 134 and a DA converter 135 are hung.
[0110]
The threshold, which is digital information input from the external terminal 131, is input to a register or an accumulator 133 in the CPU 134 through an internal bus 132. The input digital information is sent to the DA converter 135 by the CPU 134 and is D / A converted to be converted into a threshold value of an analog value.
[0111]
The internal bus 132 and the external terminal 131 are data buses that are also used for external output of the above-mentioned binary image.
[0112]
According to the present embodiment, the external terminal 131 for taking in the binarization threshold does not need a special terminal, and may be a data terminal for outputting the binarized image. Is improved. Also, the output of the threshold data of the host system becomes easy, and the system becomes simple and inexpensive.
[0113]
【The invention's effect】
According to the present invention, a simple, inexpensive, and high-speed imaging sensor with a small number of components can be provided for a wide range of applications.
[Brief description of the drawings]
FIG. 1 is an operation flow of an embodiment.
FIG. 2 is a block diagram illustrating a configuration of an image sensor according to a first embodiment of the present invention.
FIG. 3 is an electrical connection diagram showing a peripheral circuit configuration.
FIG. 4 is a mounting diagram of an image sensor according to the present embodiment.
FIG. 5 is an electrical connection diagram of a pixel portion of an image sensor according to a second embodiment of the present invention.
FIG. 6 is an electrical connection diagram of a pixel portion of an image sensor according to a third embodiment of the present invention.
FIG. 7 is a fourth embodiment of the present invention, a histogram creation circuit formed in a peripheral circuit section of an image sensor;
FIG. 8 is an electrical connection diagram of a pixel portion of an image sensor according to a fifth embodiment of the present invention.
FIG. 9 is an operation flow of the embodiment.
FIG. 10 is a configuration diagram when a binarization threshold is written from an external terminal as a sixth embodiment of the present invention;
FIG. 11 is a sequence flow in the related art.
FIG. 12 is an operation flow of a comparator according to the related art.
FIG. 13 is a circuit diagram according to the related art.
[Explanation of symbols]
21 Optical system
22 Receiver
23 Pixel wiring
24 circuits
25 Comparator
26 terminals
27 switch
28 Memory section
29 Control circuit
30 power supply
211, 61, 71, 101 vertical line
212, 62, 72 horizon
213, 63, 73 Horizontal line
214, 64, 74 switch
215, 65, 75, 105 Diode
216, 66, 76 switches
217, 67, 77, 107 capacity
41 pixel array
42 Selection circuit
43 Selection circuit
44 Selection circuit
45 switch
46 switch
47 Comparator
48 terminals
49 Control circuit
81, 82, 111, 112, 113, 114 Horizontal line
83, 84, 85, 115, 117, 118, 119 switches
91 Output line
92 capacity
93, 116 Comparator
94 power supply
95 Control circuit
96 selection circuit
97 counter
131, 136 terminals
132 bus
133 registers
134 CPU
135 DA converter
221 Readout circuit
222 pixels
223 Signal detection circuit
224 Binary processing circuit
225 storage circuit
