JP2004180187A - 空間分割赤外線通信システム - Google Patents

Abstract

【課題】従来家電品の赤外線受光器２は指向性のない１素子のイメージセンサを用いており、複数の赤外線リモコンが同時に発信した場合電気信号４０は得るが、個々の信号を切り分けられず期待した通りに動作しなかった。また遮光器等を付け赤外線受光器を複数個用いて空間分割を行っても一つの赤外線受光器に複数の赤外線リモコンが同時に発信すると個々の信号の切り分けが出来ない。
【解決手段】家電品の赤外線受光器２に代わり数十万画素のＣＭＯＳイメージセンサを用いる。家電品のマイクロプロセッサ３はＣＭＯＳイメージセンサの赤色フィルターを装着する画素を用いて、撮像から高輝度で且つパルス変調された非自然光すなわち信号を検出しデータに復調する。撮像に複数の非自然光すなわち信号が検出されると検出した受光素子ないし受光素子群毎に独立に信号を復調し空間分割赤外線通信を行う。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の赤外線リモコンとＣＭＯＳイメージセンサを用いた空間分割赤外線通信システムに関するものである。
【０００２】
【従来の技術】
従来の技術を図１７に示す。図中、１は赤外線リモコン、２は家電品の赤外線受光器、３は家電品のマイクロプロセッサ、４０は電気信号である。
【０００３】
従来の技術においては、赤外線リモコン１が送信したパルス変調された赤外線は、家電品の赤外線受光器２で受信され電気信号４０に変換され、家電品のマイクロプロセッサ３で復調の上、電文のヘッダからメーカコード、製品コード、チャネル番号を解析する。自局宛の電文と判断すると、電文の内容に従い動作し、本構成でリモートコントロールを実現している。
【０００４】
また、複数の家電品を制御するために利用者のリモコンは一つに限定していた。特許文献１の「リモコン制御照明システム」や特許文献２の「赤外線リモコン・システム」では固定リモコン送受信機ないし集中制御機が利用者のリモコンの出力を受光し当該機器に赤外線で中継していた。
【０００５】
【特許文献１】
特開平６−３０２３８４号公報
【特許文献２】
特開平５−３２８４４２号公報
【０００６】
【発明が解決しようとする課題】
従来の技術では、家電品の赤外線受光器２は指向性のない視野角１００度から１８０度の１素子のイメージセンサを用いており複数の赤外線リモコンが同時に発信した場合、電気信号４０を得るが、個々の信号を切り分けられない為期待した通りに動作しなかった。また、遮光器等の覆いを付けた赤外線受光器２を複数個用意し、ある角度、例えば、６０度刻みに向きを変えて配置することで空間分割を行っていたが、遮光器を取り付けた赤外線受光器の大きさ、遮光器の指向性の調整等煩雑であった。また、遮光器の開口部で切り取られる空間において複数の赤外線リモコンが同時に発信した場合、尚も個々の信号の切り分けは出来ず、課題は解決できなかった。
また、特許文献１の「リモコン制御照明システム」、特許文献２の「赤外線リモコン・システム」ともに利用者のリモコンは１台、つまり家族で１台に限定し、複数のリモコンの存在を許さなかった。そのため、固定リモコン送受信機ないし集中制御機から伸びた赤外線発光部と一般のリモコンが同時に発信した場合、尚も個々の信号の切り分けは出来ず、課題は解決できなかった。
特に、特許文献２の「赤外線リモコン・システム」では集中制御機からでた信号線の末端に赤外線発光部があり、家電品の近傍に赤外線発光部を設置する為、家電品の近傍まで信号線を引き回す必要があり煩雑であった。
【０００７】
【課題を解決するための手段】
本発明では、家電品の赤外線受光器２に代わりデジタルカメラ等で用いられている数十万画素のＣＭＯＳイメージセンサを用いる。家電品のマイクロプロセッサ３はＣＭＯＳイメージセンサの受光素子のうち赤色フィルターを装着する受光素子を用い撮影を行い、撮像から高輝度で且つパルス変調された非自然光すなわち信号を検出しデータに復調する。撮像に複数の非自然光すなわち信号が検出されると、検出した受光素子ないし受光素子群毎に独立に信号を復調し空間分割赤外線通信を行う。
【０００８】
【発明の実施の形態】
図１から図９を用いて、本発明の第１の実施の形態を示す。
【０００９】
図１において、１ａ，１ｂはリモコン、２は家電品のＣＭＯＳイメージセンサ、３は家電品のマイクロプロセッサ、４はバス、１０は赤外光のスポットである。
【００１０】
図１において複数の利用者はリモコン１ａとリモコン１ｂを用いて家電品の制御を行う。リモコン１ａないしリモコン１ｂは押下されたボタンに対応した制御データをＡＳＫでパルス変調し赤外光パルスとして空間に放射する。本発明では家電品のＣＭＯＳイメージセンサ２は３０万程度の画素を平面上に配したＣＭＯＳイメージセンサを用いており、この家電品のＣＭＯＳイメージセンサ２で家電品の周囲を撮影する。家電品のＣＭＯＳイメージセンサ２の各画素は可視光から赤外光の範囲の自然光と、非自然光であるリモコンが放射したパルス変調された赤外光を受光する。家電品のＣＭＯＳイメージセンサ２は画素を行列にマッピングし列毎に全列読み出しバス４を介して家電品のマイクロプロセッサ３に伝送する。家電品のマイクロプロセッサ３は伝送されたデータを平面上に再配置し撮像として処理する。
【００１１】
リモコン１ａとリモコン１ｂがほぼ同時ないし同時期に赤外光を放射すると、家電品のＣＭＯＳイメージセンサ２の撮像中には、強度の高い赤外光のスポット１０が現れ、家電品のマイクロプロセッサ３はこのないしこれらの赤外光のスポット１０から制御データを復調する。本発明において、赤外光のスポット１０の周囲の画素が受光している自然光は長周期では変化が少ないのに対して、受光した赤外光はパルス変調されており且つ強度は高いので、家電品のマイクロプロセッサ３は容易にリモコンから赤外光が放射していることを認識する。
【００１２】
図２を用いて家電品のＣＭＯＳイメージセンサ２の動作モードを説明する。
【００１３】
図中、４１ａは可視画像撮影モード設定コマンド、４２ａは可視画像撮影モード時の撮像データ、４１ｂはキャリア検出モード設定コマンド、４２ｂはキャリア検出モード時の撮像データである。
【００１４】
家電品のマイクロプロセッサ３はバス４を介して可視画像撮影モード設定コマンド４１ａもしくはキャリア検出モード設定コマンド４１ｂで家電品のＣＭＯＳイメージセンサ２の動作モードを可視画像撮影モードないしキャリア検出モードに設定する。設定が済むと家電品のＣＭＯＳイメージセンサ２はバス４にモードに応じたデータ、可視画像撮影モード時の撮像データ４２ａ、キャリア検出モード時の撮像データ４２ｂを送出する。
【００１５】
可視画像撮影モードにおいて図はプログレッシブに設定されており１フレームの撮像データは全列の読み出しデータから構成される。この時、フレームレートは１秒あたり３０フレームである。インターレースに設定すると撮像データは１列おきの読み出しとなり、６０フィールドで３０フレーム撮影する。キャリア検出モードに設定すると、特定の色について撮像データは８列おき、８画素おきに１秒あたり１９２０フィールド読み出す。
【００１６】
何れのモードにおいてもバス４上の撮像データの転送レートは８．７９Ｍｂｐｓで、家電品のマイクロプロセッサ３のバス４のインタフェースに設定の変更は不要である。
【００１７】
図３を用いてキャリア検出モード時に家電品のＣＭＯＳイメージセンサ２の画素の読み出し順序を説明する。
【００１８】
図中、２０は８×８の６４画素から構成される区画、２０１は１番目に読み出される画素、２０３は３番目に読み出される画素、２０８は８番目に読み出される画素である。
【００１９】
図に示す、区画２０は８×８の６４画素から構成され、本発明のＣＭＯＳイメージセンサ２は列方向に有効画素について８０区画、行方向に６０区画、計４８００区画に区分される。区画２０はこの４８００区画の一つを示している。
【００２０】
キャリア検出モード時、区画２０中の特定の１画素が読み出されるが、列方向に隣接する区画間では、画素は８列おき、８画素おきに選ばれ読み出される。１フレームのキャリア検出時１フィールド目の読み出しでは画素２０１を読み出すと、以後２フィールド目では画素２０２、３フィールド目で画素２０３、８フィールド目で画素２０８の順に読み出す画素を交代させる。キャリア検出時、赤色フィルタが装着された画素のみ読み出されるので、読み出される画素は１画素、１列おきとなり、列方向で隣接する緑色のフィルタを装着した画素と、次列の緑色のフィルタを装着した画素および青色のフィルタを装着した画素は読み飛ばす事となる。
【００２１】
フィールド毎に読み出す画素を代えることで電子シャッターの開閉時間つまり露光時間に制約を与えず、色の解像度を向上している。
【００２２】
図４、図５を用いてＣＭＯＳイメージセンサ２の区画２０の画素配置と読み出し順序を説明する。
【００２３】
図４において、２１ａ，２１ｂはセレクタ、２２ａ，２２ｂはキャリア検出モード時の読み出し画素番号、２３ａは列毎のセレクト信号、２３ｂは列毎のリセット信号である。
【００２４】
キャリア検出モード時、家電品のＣＭＯＳイメージセンサ２の行デコーダは読み出し画素番号２２ａ，２２ｂで列中の赤色フィルタの装着された画素４画素についてその中の１画素を指し示す。図中、読み出し画素番号２２ａ，２２ｂは００を示し、一番上の列において画素２０１が該当する。セレクタ２１ａ，２１ｂは読み出し画素番号２２ａ，２２ｂに従いそれぞれ、セレクト信号２３ａ、リセット信号２３ｂを画素２０１に接続している。この時点で列デコーダがリセット信号２３ｂを制御することで画素２０１は電子シャッターを開き、露光を開始し、セレクト信号２３ａを制御することで画素２０１の撮影されたデータは出力される。
【００２５】
図の通り、読み出し画素番号２２ａ，２２ｂは００が指し示す画素は列毎に異なり、一列目が左から００−０１−１０−１１、二列目が０１−００−１１−１０、三列目が１０−１１−００−０１、四列目が１１−１０−０１−００に対応する。
【００２６】
図５において、２２は読み出し画素番号、２３１はセレクト信号およびリセット信号、２０ａは１列目〜８列目を構成する区画２０、２０ｂは９列目〜１６列目を構成する区画２０、２０ｃは１７列目〜２４列目を構成する区画２０、２０ｄは２５列目〜３２列目を構成する区画２０、４２１０１，４２１０２，４２１１６はバス４上に送出された区画２０ａのデータ、４２２０３，４２２０４，４２２０２はバス４上に送出された区画２０ｂのデータ、４２３１１，４２３１２，４２３１０はバス４上に送出された区画２０ｃのデータ、４２４０９，４２４１０，４２４０８はバス４上に送出された区画２０ｄのデータである。
【００２７】
１フィールド目の読み出し時、読み出し画素番号は００で、区画２０ａは１番目の画素、区画２０ｂは３番目の画素、区画２０ｃは１１番目の画素、区画２０ｄは９番目の画素が選択される。読み出されたデータは順に、区画２０ａの列のデータの先頭に４２１０１、区画２０ｂの列のデータの先頭に４２２０３、区画２０ｃの列のデータの先頭に４２３１１、区画２０ｄの列のデータの先頭に４２４０９として出現し、バス４を介して家電品のマイクロプロセッサ３に伝送する
。
【００２８】
２フィールド目の読み出し時、読み出し画素番号は０１となり、区画２０ａは２番目の画素、区画２０ｂは４番目の画素、区画２０ｇは１２番目の画素、区画２０ｄは１０番目の画素が選択される。読み出されたデータは順に、区画２０ａの列のデータの先頭に４２１０２、区画２０ｂの列のデータの先頭に４２２０４、区画２０ｃの列のデータの先頭に４２３１２、区画２０ｄの列のデータの先頭に４２４１０として出現し、バス４を介して家電品のマイクロプロセッサ３に伝送する。
【００２９】
１６フィールド目の読み出し時、読み出し画素番号は１１となり、区画２０ａは１６番目の画素、区画２０ｂは２番目の画素、区画２０ｇは１０番目の画素、区画２０ｄは８番目の画素が選択される。読み出されたデータは順に、区画２０ａの列のデータの先頭に４２１１６、区画２０ｂの列のデータの先頭に４２２０２、区画２０ｃの列のデータの先頭に４２３１０、区画２０ｄの列のデータの先頭に４２４０８として出現し、バス４を介して家電品のマイクロプロセッサ３に伝送する。
【００３０】
１７フィールド目は１フィールド目の選択に戻り、読み出し画素番号は００となり１フレーム目で読み出した画素が選択される。この構成と手順により１６フィールド周期で１区画中の赤色フィルターの装着された画素はデータを読み出される。
【００３１】
図６を用いてキャリア検出モード時、家電品のＣＭＯＳイメージセンサ２によるパルス変調された赤外光の受信方法を説明する。
【００３２】
図中、１０は赤外線通信の１つのデータサイクル、１０ａはガイドパルス、１０ｂ，１０ｄは無出力、１０ｃはシンボル０、１０ｅはシンボル１である。
【００３３】
図の通り、赤外線通信はデータサイクル１０は４５ミリ秒である。次のデータサイクルは最短で、ガイドパルス１０ａから次のガイドパルス１０ａまでの４５ミリ秒間隔で出現する。
【００３４】
赤外線通信において２．４ミリ秒間出力が続くことでガイドパルス１０ａを、その後無出力となり、０．６ミリ秒ないし１．２ミリ秒の出力でシンボル０、シンボル１を表している。ガイドパルス１０ａ以後”００１０１１１００”と続いた後、無出力１０ｂに続く０．６ミリ秒のシンボル０（１０ｃ）が出現し”０”を、引き続き無出力１０ｄに続く１．２ミリ秒のシンボル１（１０ｅ）が出現し１を示す。その後”１０”が出現しデータは尽きて、次のガイドパルスが出現するまでの間無出力となる。
【００３５】
本発明の家電品のＣＭＯＳイメージセンサ２は、キャリア検出モード時は毎秒１９２０フィールドすなわち０．５２ミリ秒間隔で赤外光の撮影を繰り返す。赤外線通信において最短のパルスは０．６ミリ秒の無出力ないしシンボル０であり、０．５２ミリ秒間隔で撮影することでこれら無出力とシンボル０を切り分けている。
【００３６】
図７に画素の構成とモード毎の動作を説明する。
【００３７】
図中、２００は画素、２３ａはセレクト信号、２３ｂはリセット信号、２４ａは出力側トランジスタ、２４ｂはリセット側トランジスタ、２５は出力アンプ、２６はフォトダイオード、２８は出力端子である。
【００３８】
画素２００において、リセット信号２３ｂがアサートされる間はリセット側トランジスタ２４ｂが導通し、出力アンプ２５の入力はＶＣＣないしＶＣＣ近くの電位に固定される。リセット信号２３ｂがネゲートされることでリセット側トランジスタ２４ｂは切断し、フォトダイオード２６ｂが受光する光の量に従いフォトダイオード２６がＶＣＣからＶＳＳに電位を下げていく。セレクト信号２３ａをアサートするとフォトダイオード２６が下げた電位が出力アンプ２５で中継されて出力端子２８に現れる。リセット信号２４ｂのネゲートのタイミングからセレクト信号２３ａのアサートまでの期間が電子シャッターの開閉時間すなわち露光時間である。
【００３９】
可視画像撮影モードでは、第１列から第４２５列まで順番に読み出していく。各列は３３．３ミリ秒毎に読み出される。読み出しが終了するとリセット信号がアサートされＶＣＣないしＶＣＣ近くの電位までチャージされリセット信号がアサートされる限りこの電位に固定される。リセット信号がネゲートされると露光を開始し、電位は受光した光の強度に従い低下する。読み出し終了後即リセットをアサートしネゲートすると、次の読み出しまでのおよそ３３ミリ秒が露光出来、これが最大露光時間となる。
【００４０】
図では可視画像撮影に引き続きキャリア検出が行われる。キャリア検出は４５ミリ秒間続き、この間８８フレーム撮影し、列あたり２２回、１画素あたり５回ないし６回読み出される。
【００４１】
キャリア検出に引き続き通常の可視画像撮影に戻る。
【００４２】
キャリア検出時１フレームの読み出しは０．５２ミリ秒かかるので、ある画素が読み出された後次に読み出されるのは８．３２ミリ秒後となり、およそ８ミリ秒が最大露光時間となる。１列あたりの走査時間は８．０１マイクロ秒だが、図５の説明の通り、キャリア検出時は４列単位で読み出しを行うので実際の走査時間は３２マイクロ秒となる。本発明の赤外線通信では最小パルス幅が０．６ミリ秒なので露光時間は走査時間の倍数、１８倍の０．５７６ミリ秒としパルスの有無を識別しシンボルを検出し、データを復調している。
【００４３】
露光時間を延ばし、ゼロコンパレータを用いることでシンボルの検出する事も可能である。
【００４４】
図８にシンボルの検出とデータの復調を示す。
【００４５】
図中、１１ａ，１１ｂ，１１ｃ，１１ｄ，１１ｅはリモコン１ａの赤外光のスポット、１２ａ，１２ｂはリモコン１ｂの赤外光のスポット、３１ａ，３１ｂはリモコン１ａの出力したデータ、３２ａはリモコン１ｂの出力したデータ、５は家電品のマイクロプロセッサ３が接続されたネットワーク、６はネットワーク接続する家電品である。
【００４６】
キャリア検出モード時、リモコンから出力された赤外光は家電品のＣＭＯＳイメージセンサ２の撮像に明るいスポットとして現れる。図中、０．５２秒おきに撮影された５フィールドにおいて順にはリモコン１ａの赤外光はスポット１１ａ，１１ｂ，１１ｃ，１１ｄ，１１ｅとして現れる。スポット１１ａ及びスポット１１ｃは露光時間中に前後の何れかのシンボルがかかるため、真っ暗ではないが、閾値よりも小さいため無出力と判定する。また、閾値よりも高いためスポット１１ｂ，１１ｄ，１１ｅは出力と判定する。無出力と判定されたスポット１０ａの後無出力が出現するまでの出力の数が１つか２つかでシンボル０かシンボル１を区別する。スポット１０ａの後に初めて現れる無出力はスポット１０ｃであり、その間の出力はスポット１１ｂのみであるからリモコン１ａの出力したデータ３１ａはシンボル０に復調される。同様に、スポット１１ｃの後、スポット１１ｄ，スポット１１ｅと続いたので、リモコン１ａの出力したデータ３１ｂはシンボル１に復調される。
【００４７】
リモコン１ａの出力したデータ３１ｂは赤外線通信中のデータであるから、スポット１１ｅの次は必ず無出力が来ると決めつけてシンボル１に復調する。スポット１１ｅに引き続き出力が出現するとスポット１１ｅまでを３１ｂの通りシンボル１に復調し、スポット１１ｅより後に到着したスポットはエラーとして先頭のスポットを無出力と見なしエラー訂正を試みる。
【００４８】
図中の４フィールド目ではリモコン１ｂの出力した赤外光であるスポット１２ａが出現し、５フィールド目にもスポット１２ｂが現れる。家電品のマイクロプロセッサ３は撮像中のスポット１１ｄとスポット１２ａ、スポット１１ｅとスポット１２ｂの距離がスポットの直径以上に離れており別光源と判断する。また、スポット１２ａ，１２ｂが出現したこの領域では１〜３フレームの間赤外通信が行われていなかったので、リモコン１ｂの出力したデータ３２ａは５フレーム目まででガイドパルスと認識ないし期待される。６フレーム目及び７フレーム目が出力と判定されると出力したデータ３２ａはガイドパルスに復調される。こうして家電品のマイクロプロセッサ３はリモコン１ａ、リモコン１ｂの出力を空間で切り分け、各々のデータを復調し、複数のリモコンとの赤外線通信を実現してい
る。
【００４９】
復調したデータはメーカコード、製品コード等の情報を含んでおり、データが別メーカか別製品を指し示していると家電品のマイクロプロセッサ３は対応する家電品をネットワーク５上で検索した上でデータをネットワーク５上に中継するか、もしくはネットワーク５上の該当する家電品が受け取ることを期待してデータをネットワーク５上に中継する。中継した結果、ネットワーク５上の家電品６が該当したのでコマンドを解釈し正常にコマンドを履行する。
【００５０】
図９にキャリア検出モードと可視画像撮影モードを用いた監視・追尾システムを示す。
【００５１】
図中、１１はリモコン１ａの赤外光のスポット、１２はリモコン１ｂの赤外光のスポット、３２ａ，３２ｂは付加情報、３３ａ，３３ｂは利用者の赤外画像、３４ａ，３４ｂは利用者の可視画像である。
【００５２】
家電品のマイクロプロセッサ３はキャリア検出モードでスポット１１、スポット１２からリモコンの種類、具体的にはメーカコードや製品コード等を検出し、識別情報とする。可視画像撮影モードでは撮像から利用者等特徴のあるオブジェクトを切り出し、キャリア検出モードで得た識別情報との対応付けを行う。引き続き、キャリア検出モードでキャリア検出中に、可視画像撮影モードで切り出したオブジェクトについて赤外画像の切り出しを行い、赤外線強度から表面温度ないし体温を算出し識別情報に付加する。結果、可視画像から切り出したオブジェクトの中でも人ないし動物らしきものについて、識別子と表面温度情報を付加する。以後、可視画像撮影モードとキャリア検出モードを繰り返すことで、識別子と表面温度情報を付加したオブジェクトの移動を検知し追尾することで監視・追尾システムを実現している。
【００５３】
図１０から図１３を用いて、本発明の第２の実施の形態を示す。
【００５４】
図１０において、２１ａ，２１ｂはセレクタ、２２はキャリア検出モード時の読み出し画素番号、２３ａは列毎のセレクト信号、２３ｂは列毎のリセット信号、２３ｃはキャリア検出制御信号、２４１は行デコーダ内蔵のキャリア検出用アンプ、２４１ａはキャリア検出用出力側トランジスタ、２４１ｂはキャリア検出用リセット側トランジスタである。
【００５５】
図１０を用いて本発明の第２の実施の形態で用いる家電品のＣＭＯＳイメージセンサ２の区画２０の画素配置と読み出しを説明する。
【００５６】
本発明の第２の実施の形態で用いるＣＭＯＳイメージセンサ２は通常の可視画像撮影中にキャリア検出を行う。
【００５７】
家電品のＣＭＯＳイメージセンサ２のセレクタ２１ａ，２１ｂは読み出し画素番号２２とキャリア検出制御信号２３ｃに従いセレクト信号２３ａとリセット信号２３ｂを同じ列の８画素に分配する。可視画像撮影モード時、キャリア検出制御信号２３ｃはネゲートされ、セレクタ２１ａ，２１ｂは読み出し画素番号２２に関わらず同じ列の８画素にセレクト信号２３ａとリセット信号２３ｂを分配する。セレクト信号２３ａは各画素の出力側トランジスタ２４ａにリセット信号２３ｂはリセット側トランジスタ２４ｂにそれぞれ接続されている。よって、前述の８画素はリセット信号２３ｂのネゲートに伴い露光を開始し、セレクト信号２３ａのアサートに従い行デコーダへ撮像データを出力する。
【００５８】
キャリア検出制御信号２３ｃがアサートされると家電品のＣＭＯＳイメージセンサ２の行デコーダは読み出し画素番号２２で列中の赤色フィルタの装着された画素４画素についてその中の１画素を指し示す。図中、読み出し画素番号２２は００を示し、一番上の列において画素２０１が該当する。セレクタ２１ａ，２１ｂは読み出し画素番号２２に従いそれぞれ、セレクト信号２３ａ、リセット信号２３ｂを画素２０１に接続している。画素２０１は図７に示した画素に対してリセット系で出力系でキャリア検出用出力側トランジスタ２４１ａを、キャリア検出用リセット側トランジスタ２４１ｂを追加している。前述のセレクタ２１ａを介して分配されるセレクト信号２３ａはキャリア検出用出力側トランジスタ２４１ａに、セレクタ２１ｂを介して分配されるリセット信号２３ｂはキャリア検出用リセット側トランジスタ２４１ｂにそれぞれ接続している。画素２０１はリセット信号２３ｂのネゲートに伴い露光を開始し、セレクト信号２３ａのアサートに従い行デコーダへ撮像データを出力し、行デコーダ内蔵のキャリア検出用アンプ２４１が受信し増幅する。
【００５９】
図の通り、読み出し画素番号２２は００が指し示す画素は列毎に異なり、一列目が左から００−０１−１０−１１、二列目が０１−００−１１−１０、三列目が１０−１１−００−０１、四列目が１１−１０−０１−００の順となっている。
【００６０】
撮像のデータは、家電品のＣＭＯＳイメージセンサ２と家電品のマイクロプロセッサ３をつなぐバス４上を可視画像とキャリア検出の画像が交互に送られる。また設定により、バス４上の信号線の一部を可視画像に、残りの一部をキャリア検出の画像に割り当て独立且つ並列動作させることもある。
【００６１】
図１１に可視画像撮影モードがプログレッシブ走査の場合を示す。
【００６２】
図１１において、２ｐは可視画像撮影の走査及びその画像、２ｃはキャリア検出の走査及びその画像、２７ａ，２７ｂはブラックアウトした画素領域である。
【００６３】
家電品のＣＭＯＳイメージセンサ２は可視画像撮影モードとキャリア検出モードを交互に切り換える。キャリア検出は可視画像撮影モード時にも行うが、ＣＭＯＳイメージセンサ２の画素ないし列は一時に可視画像撮影とキャリア検出を行うことは出来ない為、可視画像撮影を優先する。菱形の可視画像撮影の走査及びその画像２ｐは横方向が時間経過で縦方向が列方向である。家電品のＣＭＯＳイメージセンサ２の一列に着目すると時間方向の大半は露光の期間で十分な露光後出力する。この出力は列単位で順次行う為図のような菱形で表される。
【００６４】
この菱形で表される可視画像撮影期間中にキャリア検出は繰り返される。キャリア検出の一走査分をキャリア検出の走査及びその画像２ｃに示す。キャリア検出の走査及びその画像２ｃは可視画像撮影の走査及びその画像２ｐを優先する為、可視画像撮影の走査及びその画像２ｐが被る期間は該当する列の画素を制御し読み出すことはなく、可視画像撮影の走査及びその画像２ｐにはブラックアウトした画素領域として現れる。ブラックアウトした画素領域の上側は、可視画像撮影の走査及びその画像２ｐが終了した後、キャリア検出の為の露光時間、すなわち０．５２ミリ秒保証できる限界を示している。同様に、ブラックアウトした画素領域の下側は、キャリア検出後、可視画像撮影の為の露光時間が保証できる限界を示している。
【００６５】
図の通り、露光時間はそれぞれ、ＴＳｈｕｔｔｅｒ、ＴＣａｒｒｉｅｒＳｅｎｓｅで定義するとブラックアウトする時間は６５／６４×（露光時間の和）である。ブラックアウトする領域の列数はこの時間分の列が最大となる。
【００６６】
ブラックアウトする領域は可視画像撮影の走査及びその画像２ｐの走査状況に応じて、キャリア検出の走査及びその画像２ｃ中で、上辺から浸食をはじめ、ブラックアウトした画素領域２７ａ、ブラックアウトした画素領域２７ｂを経て下辺に消え去る。
【００６７】
この間、可視画像の撮影は、家電品のＣＭＯＳイメージセンサ２が規定通りの時間露光し出力するので、可視画像撮影の走査及びその画像２ｐの通り行われ、家電品のマイクロプロセッサ３はプログレッシブ走査の画像を得る。
【００６８】
引き続き、キャリア検出モードに移行し、可視画像撮影モード中に検出した赤外線通信の捕捉とキャリア検出を行う。家電品のＣＭＯＳイメージセンサ２はキャリア検出を４５ミリ秒続けた後、再び可視画像撮影モードに復帰するが、可視画像撮影中にキャリア検出を試みる。
【００６９】
図１２に可視画像撮影モードがキャリア検出優先プログレッシブ走査の場合を示す。
【００７０】
図１２において、２ｅは可視画像撮影の走査、２ｏは可視画像撮影の走査及びその画像、２ｆ，２ｑはキャリア検出の走査及びその画像、２７ｃはブラックアウトした画素領域である。
【００７１】
簡単のため図１１との差異を説明する。家電品のＣＭＯＳイメージセンサ２は常時可視画像撮影モードにある。可視画像は奇数列だけのフィールドと偶数列だけのフィールドに分けたインターレース方式で撮影しフレーム毎に出力し家電品のマイクロプロセッサ３において画像処理を行いプログレッシブ画像に復元する。
【００７２】
可視画像撮影の走査２ｅでは緑色のフィルターを装着した画素と青色のフィルターを装着した画素が並ぶ偶数列のフィールドを撮影し、可視画像撮影の走査及びその画像２ｏでは赤色のフィルターを装着した画素と緑色のフィルターを装着した画素が並ぶ奇数列のフレームを撮影する。
【００７３】
可視画像撮影の走査２ｅでは撮影期間中キャリア検出に用いる赤色フィルタを装着した画素はアイドル状態にあるので、キャリア検出の走査及びその画像２ｆは読み出し画素の衝突無くすなわちブラックアウトの領域の無い画像となる。
【００７４】
可視画像撮影の走査及びその画像２ｏでは、一転して赤色フィルタを装着した画素は可視画像撮影の走査及びその画像２ｏが優先して読み出すので、キャリア検出の走査及びその画像２ｑにはブラックアウトした画素領域２７ｃが出現する。ブラックアウトする領域は可視画像撮影の走査及びその画像２ｏの走査状況に応じて、キャリア検出の走査及びその画像２ｑ中で、上辺から浸食をはじめ、ブラックアウトした画素領域２７ｃ、を経て下辺に消え去る。
【００７５】
この間、可視画像の撮影は、家電品のＣＭＯＳイメージセンサ２が規定通りの時間露光し出力するので、可視画像撮影の走査及びその画像２ｏの通り行われ、家電品のマイクロプロセッサ３は一つ前のフィールドである可視画像撮影の走査２ｅと一緒に画像処理を行い１フレーム分の撮像画像を得る。
【００７６】
家電品のＣＭＯＳイメージセンサ２は偶数列のフレーム撮影と奇数列のフレーム撮影を交互に繰り返すが、家電品のマイクロプロセッサ３が一旦キャリアを検出すると、家電品のＣＭＯＳイメージセンサ２に予定されていた奇数列のフレーム撮影を偶数列のフレーム撮影に差し替えて、検出した赤外線通信の捕捉とキャリア検出を行う。この差し替えにより偶数列のフィールド撮影は３フレーム分の５０ミリ秒ないし５フレーム分の８３．３ミリ秒続き、赤外線通信の捕捉を実現する。
【００７７】
図１３に可視画像撮影インターレース走査の場合を示す。
【００７８】
図１３において、２ｉは可視画像撮影の走査及、２ｊは可視画像撮影の走査及びその画像、２ｇ，２ｒはキャリア検出の走査及びその画像、２７ｄ，２７ｅはブラックアウトした画素領域である。
【００７９】
簡単のため図１１との差異を説明する。家電品のＣＭＯＳイメージセンサ２は常時可視画像撮影モードにある。家電品のＣＭＯＳイメージセンサ２は、緑色のフィルタを装着した画素と青色のフィルターを装着した画素が並ぶ列と、赤色のフィルターを装着した画素と緑色のフィルターを装着した画素が並ぶ列が交互に出現する。インターレース走査では、隣接する列の組み合わせについて奇数番目の組、すなわち第１列と第２列の組、第５列と第６列の組の順で出現するフィールドと、偶数番目の組、すなわち第３列と第４列の組、第７列と第８列の組の順で出現するフィールドをそれぞれ奇数組のフィールド、偶数組のフィールドとし交互に撮影しフレーム毎にデータを出力する。
【００８０】
可視画像撮影の走査２ｉは偶数組のフィールドであるが、キャリア検出の走査及びその画像２ｇは奇数組の列にある赤色フィルタを装着した画素は無条件で読み出す。可視画像撮影の走査２ｉが読み出す偶数組の列にある赤色フィルタを装着した画素は可視画像撮影の走査２ｉを優先させる。
【００８１】
可視画像撮影の走査及びその画像２ｊは奇数組のフレームで、偶数組の場合と同様にキャリア検出の走査及びその画像２ｒは偶数組の列にある赤色フィルタを装着した画素は無条件で読み出す。可視画像撮影の走査２ｊが読み出す奇数組の列にある赤色フィルタを装着した画素は可視画像撮影の走査２ｊを優先させる。よってブラックアウトする画素領域はキャリア検出の走査及びその画像２ｇ、２ｒの何れも１組おきに出現する。
【００８２】
キャリア検出の走査及びその画像２ｇ上で、ブラックアウトする領域は可視画像撮影の走査及びその画像２ｉの走査状況に応じて、キャリア検出の走査及びその画像２ｇ中で、上辺から浸食をはじめ、ブラックアウトした画素領域２７ｄ、を経て下辺に消え去る。同様に、キャリア検出の走査及びその画像２ｒ上で、ブラックアウトする領域は可視画像撮影の走査及びその画像２ｊの走査状況に応じて、キャリア検出の走査及びその画像２ｒ中で、上辺から浸食をはじめ、ブラックアウトした画素領域２７ｅを経て下辺に消え去る。
【００８３】
この間、可視画像の撮影は、家電品のＣＭＯＳイメージセンサ２が規定通りの時間露光し出力するので、可視画像撮影の走査２ｉ、可視画像撮影の走査及びその画像２ｊの通り行われ、家電品のマイクロプロセッサ３はインターレース走査の画像を得る。
【００８４】
図１４から図１６を用いて、本発明の第３の実施の形態を示す。
【００８５】
図１４は本発明の第３の実施の形態におけるＣＭＯＳイメージセンサ２の区画２０の読み出し順序を示している。
【００８６】
図１４において、２０ｅ，２０ｆは区画２０、２０１，２０３，２０６，２０７，２０９，２１１，２１４，２１５は赤色のフィルターを装着した画素である。
【００８７】
本発明の第３の実施の形態において、家電品のＣＭＯＳイメージセンサ２がインターレース走査で可視画像を撮影すると、偶数列で走査している場合、空いている奇数列の画素を用いてキャリア検出を行う。同様に奇数列で走査している場合は、空いている偶数列の画素を用いてキャリア検出を行う。
【００８８】
区画２０ｅは１〜８列以後、（１〜８）＋１６ｎで表される区画２０で、区画２０ｆは９〜１６列以後、（９〜１６）＋１６ｎで表される区画２０である。
【００８９】
区画２０ｅは偶数走査時には、赤色のフィルターを装着した画素で読み出しの順番が１，２，５，６，１１，１２，１５，１６番目を用いてキャリア検出を行う。１フィールド目の読み出しは、画素２０１ないし画素２１１を起点とし、昇順に８フレームを一周期に読み出す。
【００９０】
区画２０ｆは偶数走査時には、赤色のフィルターを装着した画素で読み出しの順番が１，２，５，６，１１，１２，１５，１６番目を用いてキャリア検出を行う。１フィールド目の読み出しは、画素２１５ないし画素２０６を起点とし、降順に８フレームを一周期に読み出す。
【００９１】
区画２０ｅは奇数走査時には、赤色のフィルターを装着した画素で読み出しの順番が３，４，７，８，９，１０，１３，１４番目を用いてキャリア検出を行う。１フィールド目の読み出しは、画素２０３ないし画素２０９を起点とし、昇順に８フレームを一周期に読み出す。
【００９２】
区画２０ｆは奇数走査時には、赤色のフィルターを装着した画素で読み出しの順番が３，４，７，８，９，１０，１３，１４番目を用いてキャリア検出を行う。１フィールド目の読み出しは、画素２１４ないし画素２０７を起点とし、降順に８フレームを一周期に読み出す。
【００９３】
図１５は本発明の第３の実施の形態におけるＣＭＯＳイメージセンサ２の区画２０の組み合わせと読み出し順序を示している。
【００９４】
図１５において、２２は読み出し画素番号、２３１はセレクト信号およびリセット信号、２０ｅは１列目〜８列目を構成する区画２０、２０ｆは９列目〜１６列目を構成する区画２０、２０ｇは１７列目〜２４列目を構成する区画２０、２０ｈは２５列目〜３２列目を構成する区画２０、４２１０１，４２１０２，４２１１６はバス４上に送出された区画２０ｅのデータ、４２２０６，４２２０５，４２２１１はバス４上に送出された区画２０ｆのデータ、４２３１１，４２３１２，４２３０６はバス４上に送出された区画２０ｇのデータ、４２４１６，４２４１５，４２４０１はバス４上に送出された区画２０ｈのデータ、２１ｉはインバータである。
【００９５】
キャリア検出の１フィールド目の読み出し時、読み出し画素番号は００で、区画２０ｅは１番目の画素、区画２０ｇは１１番目の画素が選択され、インバータ２１ｉで読み出し区画番号は１１に反転し、区画２０ｆは６番目の画素、区画２０ｈは１６番目の画素が選択される。読み出されたデータは順に、区画２０ｅの列のデータの先頭に４２１０１、区画２０ｆの列のデータの先頭に４２２０６、区画２０ｇの列のデータの先頭に４２３１１、区画２０ｈの列のデータの先頭に４２４１６として出現し、バス４を介して家電品のマイクロプロセッサ３に伝送する。
【００９６】
２フィールド目の読み出し時、読み出し画素番号は０１となり、区画２０ｅは２番目の画素、区画２０ｇは１２番目の画素が選択され、インバータ２１ｉで読み出し区画番号は１０に反転し、区画２０ｆは５番目の画素、区画２０ｈは１５番目の画素が選択される。読み出されたデータは順に、区画２０ｅの列のデータの先頭に４２１０２、区画２０ｆの列のデータの先頭に４２２０５、区画２０ｇの列のデータの先頭に４２３１２、区画２０ｈの列のデータの先頭に４２４１５として出現し、バス４を介して家電品のマイクロプロセッサ３に伝送する。
【００９７】
８フィールド目の読み出し時、読み出し画素番号は１１となり、区画２０ｅは１６番目の画素、区画２０ｇは６番目の画素が選択され、インバータ２１ｉで読み出し区画番号は１０に反転し、区画２０ｆは１１番目の画素、区画２０ｈは１番目の画素が選択される。読み出されたデータは順に、区画２０ｅの列のデータの先頭に４２１１６、区画２０ｆの列のデータの先頭に４２２１１、区画２０ｇの列のデータの先頭に４２３０６、区画２０ｈの列のデータの先頭に４２４０１として出現し、バス４を介して家電品のマイクロプロセッサ３に伝送する。
【００９８】
９フィールド目は１フィールド目の選択に戻り、読み出し画素番号は００となり１フレーム目で読み出した画素が選択される。この構成と手順により８フレーム周期で１区画中の赤色フィルターの装着された画素はデータを読み出される。
【００９９】
可視画像撮影が偶数列で行われているので、各区画２０中の奇数番目の組に位置する赤色のフィルターを装着した画素で読み出しの順番が１，２，５，６，１１，１２，１５，１６番目を用いてキャリア検出を行う。
【０１００】
可視画像撮影が奇数列で行われてると、各区画２０中の奇数番目の組に位置する赤色のフィルターを装着した画素で読み出しの順番が３，４，７，８，９，１０，１３，１４番目を用いてキャリア検出を行う。
【０１０１】
図１６に可視画像撮影インターレース走査の場合を示す。
【０１０２】
図１６において、２ｍは可視画像撮影の走査及、２ｎは可視画像撮影の走査及びその画像、２ｈ、２ｓはキャリア検出の走査及びその画像である。
【０１０３】
簡単のため図１３との差異を説明する。家電品のＣＭＯＳイメージセンサ２は常時可視画像撮影モードにある。家電品のＣＭＯＳイメージセンサ２は、緑色のフィルタを装着した画素と青色のフィルターを装着した画素が並ぶ列と、赤色のフィルターを装着した画素と緑色のフィルターを装着した画素が並ぶ列が交互に出現する。インターレース走査では、赤色＋緑色の列と緑色＋青色の列について隣接する列の組み合わせについて奇数番目の組、すなわち第１列と第２列の組、第５列と第６列の組の順で出現するフィールドと、偶数番目の組、すなわち第３列と第４列の組、第７列と第８列の組の順で出現するフィールドをそれぞれ奇数フィールド、偶数フィールドとし交互に撮影しフレーム毎にデータを出力する。
【０１０４】
可視画像撮影の走査２ｍは偶数組のフィールドであるが、キャリア検出の走査及びその画像２ｈは奇数組の列にある赤色フィルタを装着した画素は無条件で読み出す。偶数組の列にある赤色フィルタを装着した画素は可視画像撮影の走査２ｍが独占的に読み出す。
【０１０５】
同様に、可視画像撮影の走査及びその画像２ｎは奇数組のフレームで、偶数組の場合と同様にキャリア検出の走査及びその画像２ｓは偶数組の列にある赤色フィルタを装着した画素は無条件で読み出す。奇数組の列にある赤色フィルタを装着した画素は可視画像撮影の走査２ｎが独占的に読み出す。キャリア検出の走査及びその画像２ｈ，２ｓの何れにおいても、よってブラックアウトする画素領域は出現しない。
【０１０６】
同時に進行する可視画像の撮影は、家電品のＣＭＯＳイメージセンサ２が規定通りの時間露光し出力するので、可視画像撮影の走査２ｍ、可視画像撮影の走査及びその画像２ｎの通り順繰りに行われ、家電品のマイクロプロセッサ３はインターレース走査の画像を得る。
【０１０７】
家電品のマイクロプロセッサ３がキャリアを検出すると、キャリア検出の走査及びその画像２ｈとキャリア検出の走査及びその画像２ｓ間でほぼ同位置に出現する赤外光のスポットを追尾することで間断なく、また可視画像撮影に影響を及ばさずに赤外線通信を捕捉する。
【０１０８】
【発明の効果】
本発明のＣＭＯＳイメージセンサとマイクロコンピュータの構成により、一つのＣＭＯＳイメージセンサが空間分割することで空間中で輻輳する複数の赤外線通信を受信し、個別に復調することが出来る。
個別に復調する事で複数のリモコンが同時に出力しても家電品を制御することができる。
【０１０９】
ＣＭＯＳイメージセンサにおいて、赤色フィルタを装着した受光素子を間引いて読み出すことで赤外線通信の検知と受信時のみフレームレートを高めることが出来るばかりか、可視画像を撮影するカメラに用いる１５ｆｐｓ〜３０ｆｐｓのＣＭＯＳイメージセンサが流用できて、可視画像も撮影できる。
【０１１０】
ＣＭＯＳイメージセンサが撮像中のリモコンの位置を特定することで追尾することができる。
【０１１１】
これにより、ＣＭＯＳイメージセンサで撮影した可視画像中の赤外線通信を行う人や動物、物体を追尾出来、監視システムや誘導システムが実現できる。
【０１１２】
また、ＣＭＯＳイメージセンサの受光素子について、リセット端子と出力端子を２系統ずつ具備することで、可視画像を撮影中に赤外線通信を検知しデータを復調することが出来る。
【図面の簡単な説明】
【図１】第１の実施の形態を示す図である。
【図２】第１の実施の形態におけるＣＭＯＳイメージセンサの動作モードを示す図である。
【図３】第１の実施の形態におけるＣＭＯＳイメージセンサのキャリア検出モード時の読み出し順序を示す図である。
【図４】第１の実施の形態におけるＣＭＯＳイメージセンサの区画と画素配置を示す図である。
【図５】第１の実施の形態におけるＣＭＯＳイメージセンサの区画と読み出したデータの転送順序を示す図である。
【図６】第１の実施の形態における赤外線通信のフォーマットとタイミングを示す図である。
【図７】第１の実施の形態におけるＣＭＯＳイメージセンサの回路とモード毎の動作を示す図である。
【図８】第１の実施の形態における赤外線通信のシンボル検出とデータ復調を示す図である。
【図９】第１の実施の形態におけるキャリア検出モードと可視画像撮影モードを用いた監視・追尾システムを示す図である。
【図１０】第２の実施の形態におけるＣＭＯＳイメージセンサの区画と画素配置を示す図である。
【図１１】第２の実施の形態におけるプログレッシブ走査での可視画像撮影の動作を示す図である。
【図１２】第２の実施の形態におけるキャリア検出優先プログレッシブ走査での可視画像撮影とキャリア検出の動作を示す図である。
【図１３】第２の実施の形態におけるインターレース走査での可視画像撮影とキャリア検出の動作を示す図である。
【図１４】第３の実施の形態におけるＣＭＯＳイメージセンサの読み出し順序を示している。
【図１５】第３の実施の形態におけるＣＭＯＳイメージセンサの区画と読み出したデータの転送順序を示す図である。
【図１６】第３の実施の形態におけるインターレース走査での可視画像撮影とキャリア検出の動作を示す図である。
【図１７】従来の技術を示す図である。
【符号の説明】
１ａ，１ｂ…リモコン、１０…赤外光のスポット、１０ａ…ガイドパルス、１０ｂ，１０ｄ…無出力、１０ｃ…シンボル０、１０ｅ…シンボル１、１１…リモコン１ａの赤外光のスポット、１１ａ，１１ｂ，１１ｃ，１１ｄ，１１ｅ…リモコン１ａの赤外光のスポット、１２ａ，１２ｂ…リモコン１ｂの正規外交のスポット、１２…リモコン１ｂの赤外光のスポット、２…家電品のＣＭＯＳイメージセンサ、２ｅ…可視画像撮影の走査、２ｉ，２ｊ，２ｍ，２ｎ，２ｏ，２ｐ…可視画像撮影の走査及びその画像、２ｃ，２ｇ，２ｆ，２ｈ，２ｑ，２ｒ，２ｓ…キャリア検出の走査及びその画像、２０…８×８の６４画素から構成される区画、２０ａ…１列目〜８列目を構成する区画２０、２０ｂ…９列目〜１６列目を構成する区画２０、２０ｃ…１７列目〜２４列目を構成する区画２０、２０ｄ…２５列目〜３２列目を構成する区画２０、２０ｅ…１列目〜８列目を構成する区画２０、２０ｆ…９列目〜１６列目を構成する区画２０、２０ｇ…１７列目〜２４列目を構成する区画２０、２０ｈ…２５列目〜３２列目を構成する区画２０、２００…画素、２０１，２０３，２０６，２０７，２０８，２０９，２１１，２１４，２１５…赤色のフィルターを装着した画素、２１ａ，２１ｂ…セレクタ、２２，２２ａ，２２ｂ…キャリア検出モード時の読み出し画素番号、２３ａ…列毎のセレクト信号、２３ｂ…列毎のリセット信号、２３ｃ…キャリア検出制御信号、２３１…セレクト信号およびリセット信号、２４ａ…出力側トランジスタ、２４ｂ…リセット側トランジスタ、２４１…行デコーダ内蔵のキャリア検出用アンプ、２４１ａ…キャリア検出用出力側トランジスタ、２４１ｂ…キャリア検出用リセット側トランジスタ２５…出力アンプ、２６…フォトダイオード、２７ａ，２７ｂ，２７ｃ，２７ｄ，２７ｅ…ブラックアウトした画素領域、２８…出力端子、２１ｉ…インバータ、３…家電品のマイクロプロセッサ、３２ａ，３２ｂ…付加情報、３３ａ，３３ｂ…利用者の赤外画像、３４ａ，３４ｂ…利用者の可視画像、３１ａ，３１ｂ…リモコン１ａの出力したデータ、３２ａ…リモコン１ｂの出力したデータ、４…バス、４１ａ…可視画像撮影モード設定コマンド、４２ａ…可視画像撮影モード時の撮像データ、４１ｂ…キャリア検出モード設定コマンド、４２ｂ…キャリア検出モード時の撮像データ、４２１０１，４２１０２，４２１１６…バス４上に送出された区画２０ａのデータ、４２２０３，４２２０４，４２２０２…バス４上に送出された区画２０ｂのデータ、４２３１１，４２３１２，４２３１０…バス４上に送出された区画２０ｃのデータ、４２４０９，４２４１０，４２４０８…バス４上に送出された区画２０ｄのデータ、４２１０１，４２１０２，４２１１６…バス４上に送出された区画２０ｅのデータ、４２２０６，４２２０５，４２２１１…バス４上に送出された区画２０ｆのデータ、４２３１１，４２３１２，４２３０６…バス４上に送出された区画２０ｇのデータ、４２４１６，４２４１５，４２４０１…バス４上に送出された区画２０ｈのデータ、５…家電品のマイクロプロセッサ３が接続されたネットワーク、６…ネットワーク接続する家電品。

Claims (18)

1. ２次元に受光素子を配したイメージセンサであって
   全ての受光素子を逐一読み出すもしくは２群に分けて各群の受光素子を逐一読み出すことで１フレーム分の撮像を得るのであって、
   前記受光素子のうち特定の色のフィルターを装着した受光素子の全てを３以上の整数で分別した群を規定し、前記群についてを逐一読み出すのであって、各群の逐一読み出しを１フィールドとし、各群の逐一読み出しにより１フレーム分の撮像を得ることを特徴とするイメージセンサ。
2. 請求項１のイメージセンサであって、前記特定の色が赤色ないし波長が５００ナノメートル以上の電磁波であることを特徴とする前記イメージセンサ。
3. 請求項１のイメージセンサであって、前記特定の色のフィルターを装着した受光素子は２次元に配した受光素子は列上で８素子おきに行方向で概ね８列おきに選択され読み出すのであって、請求項１記載の全ての受光素子を逐一読み出し１フレーム分の撮像を得る間に、前記特定の色のフィルターを装着した受光素子を６４回にわたり逐一読み出し６４フィールド分の撮像を得ることを特徴とする前記イメージセンサ。
4. 請求項３のイメージセンサであって、全ての受光素子を逐一読み出す回数もしくは得られるフレーム数が１秒間に１５ないし３０以上であることを特徴としたイメージセンサ。
5. 請求項３の列上で８素子おきに行方向で概ね８列おきに選択され読み出される特定の色のフィルターを装着した受光素子であって、次のフィールドでは選択されなかった近傍の特定の色のフィルターを装着した受光素子１５個の何れかが選択されるのであって、前記受光素子は何れも１６フィールド周期で読み出される事を特徴とするイメージセンサ。
6. 請求項３の列上で８素子おきに行方向で概ね８列おきに選択され読み出される特定の色のフィルターを装着した受光素子であって、前記イメージセンサの読み出し手段は、前記受光素子を概ね８列おきに４列分一時に読み出し、列の順に読み出した値を出力することを特徴とした前記イメージセンサ。
7. 請求項１のイメージセンサであって、前記全ての受光素子を逐一読み出すもしくは２群に分けて各群の受光素子を逐一読み出すことで１フレーム分の撮像を得る可視画像撮影状態と前記特定の色のフィルターを装着した受光素子を逐一読み出して１フレーム分の撮像を得る特定色撮影状態を具備し、１フレーム分の可視画像撮影状態と整数フレーム分の特定色撮影状態を交互に切り換える事を特徴とするイメージセンサ。
8. 請求項１のイメージセンサであって、前記全ての受光素子を逐一読み出すもしくは２群に分けて各群の受光素子を逐一読み出すことで１フレーム分の撮像を得る可視画像撮影状態、前記特定の色のフィルターを装着した受光素子を逐一読み出して１フレーム分の撮像を得る特定色撮影状態を具備し、１フレーム分の可視画像撮影状態で動作中に特定色撮影状態で動作する事を特徴とするイメージセンサ。
9. 請求項１のイメージセンサであって、受光素子はリセットトランジスタで電圧を印可された寄生容量を露光時間と受光強度に応じてフォトダイオードが放電し電位を下げ出力アンプがこの電位を出力トランジスタを介して読み出し手段に出力するのであって、独立に制御する前記リセットトランジスタを並列に２つ具備し、独立に制御する出力トランジスタを並列に２つ具備し、２つの出力は個別に前記読み出し手段に接続されていることを特徴とするイメージセンサの前記受光素子。
10. 請求項１のイメージセンサであって、前記特定の色の光は１ミリ秒以下の間隔で明滅し、明滅するパターンにシンボルを割り当てたデータ通信方式であって、前記イメージセンサが特定色だけ撮影したフレームについて、複数の特定色だけ撮影したフレームを比較する事で明滅パターンを抽出しデータを復調することを特徴とした前記イメージセンサの前記データ通信方式。
11. 請求項１および請求項１０のイメージセンサであって、前記イメージセンサが特定色だけ撮影したフレームに出現する複数の明滅する特定色の光について、特定色だけ撮影した複数のフレーム間で個別に明滅パターンを抽出しデータを復調することを特徴とした前記イメージセンサの前記データ通信方式。
12. 請求項１および請求項１０のイメージセンサであって、前記イメージセンサが特定色だけ撮影したフレームに出現する明滅する特定色の光について、特定色だけ撮影した複数のフレーム間で前記明滅する特定色の光の出現する位置を比較し、
    明滅パターンを抽出しデータを復調することを特徴とした前記イメージセンサの前記データ通信方式。
13. 請求項１および請求項１０のイメージセンサとデータ通信方式おいて複合されたデータであって、
    前記イメージセンサが全ての受光素子もしくは２群に分けた各群の受光素子を逐一読み出して得た１フレーム分の撮像において輪郭抽出の結果動物ないし物体の画像を切り出しフレーム中での位置情報を付加するのであって、前記複合されたデータをもたらした明滅する光のフレーム中の位置情報に概ね等しい位置情報を有する前記切り出した動物ないし物体の画像を検索し、前記概ね等しい位置情報を有する動物ないし物体の画像に前記複合されたデータを付加する事を特徴とした前記イメージセンサを具備した認識システム。
14. 請求項１０のデータ通信方式において復調されたデータであって、前記データは製造者情報と製品情報とチャネル番号と押下されたボタンの番号を包含し、周囲に前記製造者情報と前記製品情報に該当する機器を検索し前記データを中継する前記イメージセンサが構成するネットワークシステム。
15. 請求項７および請求項８記載のイメージセンサであって、特定色撮影状態における露光時間は可視画像撮影状態における露光時間と異なる事を特徴とした前記イメージセンサを構成する受光素子。
16. 請求項８の同時動作であって、可視画像撮影状態で露光期間にあるか読み出し中である受光素子が特定色撮影状態で露光を開始する時期を迎えた場合、可視画像撮影状態は読み出しを完了し、特定色撮影状態は露光を開始せずに特定の数値データで補完する事を特徴としたイメージセンサ。
17. 請求項８の同時動作であって、特定色撮影状態で露光期間にあるか読み出し中である受光素子が可視画像撮影状態で露光を開始する時期を迎えた場合、可視画像撮影状態は受光素子をリセット後露光を開始し、特定色撮影状態は読み出しを放棄し特定の数値データで補完する事を特徴としたイメージセンサ。
18. 請求項８の同時動作であって、前記可視画像撮影状態において前記全ての受光素子を２群に分けて各群の受光素子を逐一読み出す場合、
    前記特定色撮影状態は前記２群に分けた受光素子のうち前記可視画像撮影状態が読み出していない群の受光素子のみを読み出す事を特徴とするイメージセンサ。

Images