JP4266446B2 - Coordinate input device - Google Patents

Coordinate input device Download PDF

Info

Publication number
JP4266446B2
JP4266446B2 JP21574299A JP21574299A JP4266446B2 JP 4266446 B2 JP4266446 B2 JP 4266446B2 JP 21574299 A JP21574299 A JP 21574299A JP 21574299 A JP21574299 A JP 21574299A JP 4266446 B2 JP4266446 B2 JP 4266446B2
Authority
JP
Japan
Prior art keywords
light
signal
input device
coordinate input
light receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP21574299A
Other languages
Japanese (ja)
Other versions
JP2001043007A5 (en
JP2001043007A (en
Inventor
究 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP21574299A priority Critical patent/JP4266446B2/en
Priority to US09/406,868 priority patent/US6967644B1/en
Publication of JP2001043007A publication Critical patent/JP2001043007A/en
Publication of JP2001043007A5 publication Critical patent/JP2001043007A5/ja
Application granted granted Critical
Publication of JP4266446B2 publication Critical patent/JP4266446B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、座標入力装置に関し、例えば、大型ディスプレイの表示画面上で入力された座標に応じて外部装置を制御する、或いは文字や図形等のパターンを入力する座標入力装置に関する。
【0002】
【従来の技術】
従来より、操作者が指示具によって指示した座標情報を、コンピュータ等の外部装置に入力する座標入力装置が提案されている。
【0003】
このような座標入力装置としては、例えば、操作者が指示具を用いて大型ディスプレイの表示画面上に形成させた光スポットをCCDエリアセンサやリニアセンサを用いて撮像することにより、そのセンサの撮像面内に結像された光スポットの位置を表わす出力信号に基づいて当該光スポットの表示画面上における2次元座標を求める、或いは、光スポットの位置に対応したアナログ信号が出力される複数の位置検出素子を用いて、それらの位置検出素子から出力されるアナログ電圧出力の大きさ、或いは比率に基づいて、当該光スポットの表示画面上における2次元座標を求めるもの等が知られている。
【0004】
上述した光を用いた座標入力装置においては、一般に、以下に示す課題を達成することが要求される。
【0005】
即ち、第1の課題として、高精度な座標値生成や安定した動作させるべく、座標入力装置に外部より入射する外乱光の影響を排除することが要求される。
【0006】
近年においては、ディスプレイの表示方式の多様化、無線通信手段としての赤外線の利用の一般化、或いは赤外線を用いたリモートコントロール機器が普及しており、座標入力装置が使用される環境には多くの赤外線が存在している。このような状況下において、座標入力装置としての本来の動作を正確に行うためには、確実に外乱光を除去する手段が求められる。
【0007】
第2の課題としては、座標入力装置に受光可能な光のダイナミックレンジが広いことが要求される。
【0008】
一般に、指示具によって操作者が照射した光を検出するタイプの座標入力装置においては、操作者による指示具の扱いかた(具体的には、指示具の向き、移動スピード等)に応じて、指示具から照射される光量は大きく変化する。また、指示具の駆動に電池を用いる場合は、その電池の残量に応じて、指示具から照射される光量が大きく変化する。従って、この種の座標入力装置においては、ダイナミックレンジの広い受光手段が求められる。
【0009】
【発明が解決しようとする課題】
しかしながら、上述した表示画面上のスポット光を検出するタイプの座標入力装置においては、外乱光を除去するための手段として特定の波長帯域の光のみを通過させる光学フィルタを備えるに留まり、その座標入力装置による光検出動作を、変動する照射光量に追従させることに関してはほとんど考慮されていない。
【0010】
また、上述した複数の位置検出素子のアナログ電圧出力の大きさ、或いは比率を検出するタイプの座標入力装置においても、外乱光を除去する手段として特定の波長帯域の光を通過させるフィルタを備えるに留まり、また、このようなタイプの座標入力装置においては、照射光量を表わす受光信号の信号レベルを利用して座標を検知するため、照射光量の変動に対する追従は不可能に等しい。
【0011】
そこで、本発明は、外乱光の影響を抑制することにより、所定の2次元座標面内に生成された光スポットの座標位置を高精度且つ高分解能で検出する座標入力装置の提供を第1の目的とする。
【0012】
更に、本発明は、受光可能な光のダイナミックレンジが広い座標入力装置の提供を第2の目的とする。
【0013】
【課題を解決するための手段】
上記の第1の目的を達成するため、本発明に係る座標入力装置は、以下の構成を特徴とする。
【0014】
ち、指示具から予め定められた点滅周期で発光された光によって指示される指示位置を検出し、その検出した座標情報を出力する座標入力装置であって、前記発光さた光を検出する第1の受光センサと、前記発光さ光の時系列変化を検出する第2の受光センサと、前記第2の受光センサによって検出された前記発光された光の時系列変化に基づいて、前記発光された光の点滅周期に対して、前記第1の受光センサの検出動作を同期させる同期制御手段と、前記同期制御手段によって同期された状態の前記第1の受光センサから出力される信号に基づいて、前記指示位置の座標を算出する演算手段とを備えることを特徴とする。
【0015】
好ましくは、前記第1の受光センサとして、互いに平行でない2方向に配置された2つのラインセンサを採用すると良い。
【0016】
また、例えば、それらのラインセンサとして、光電変換素子と、その素子に発生した電荷を逐次追加しながら蓄積可能なリング状の電荷転送路とを備えるリングCCDを採用した場合には、前記同期制御手段は、前記リングCCDに対して、前記発光された光の点滅周期に同期して前記光電変換素子に光電変換を行わせると共に、その変換によって発生した電荷を、前記電荷転送路を循環させると共に該点滅周期に同期して逐次追加しながら蓄積させ、前記演算手段は、前記電荷転送路に蓄積された電荷を電気信号として順次読み出し、その読み出した電気信号の差分に基づいて、前記指示位置の座標を算出すると良い。
【0017】
また、上記の第2の目的を達成するため、上記の構成を備える座標入力装置において、前記同期制御手段は、前記発光された光の光量に応じて、前記電荷転送路で前記光電変換素子に発生した電荷を逐次追加しながら蓄積する期間を変化させると良い。
【0018】
【発明の実施の形態】
以下、本発明に係る座標入力装置の実施形態を、図面を参照して詳細に説明する。
【0019】
[第1の実施形態]
図1は、本発明の第1の実施形態における座標入力装置の座標入力系を説明する図である。また、図2は、本発明の第1の実施形態における座標入力装置のシステム構成を示すブロック図である。
【0020】
はじめに、図1を参照しながら、図2に示す本実施形態における座標入力装置の概略構成について説明する。
【0021】
本実施形態に係る座標入力装置は、大別して、座標入力面であるスクリーン2に対して光スポットを形成する指示具1、その指示具1が照射する光によってスクリーン2上に生成される光スポット3の座標位置等を検出する受光ユニット27、並びに受光ユニット27の制御及び当該ユニットにおいて受光した光を光電変換することによって得られた電気信号に基づいて座標情報を算出する信号処理ユニット24を備える。
【0022】
図1には、当該座標入力装置の上述した構成と合わせて、スクリーン2上に画像を表示すると共に、指示具1によって指示される座標位置情報(カーソル位置、軌跡等)をエコーバックして表示する投射型の表示装置9を示す。
【0023】
発光側である指示具1は、光ビームを照射する半導体レーザ或いはLEDである発光素子15、その発光素子の発光パターンを作るドライブ波形作成回路13、発光素子15をドライブするドライブ回路14、ペンアップダウン(ペンアップ及びペンダウン)等の付帯情報を入力するスイッチ11を備える。
【0024】
ここで、上記のペンアップダウンについて説明する。本来、紙等にボールペンや鉛筆等の一般的な筆記用具(ペン)を用いて軌跡等を描く場合には、その紙等にペンを接触させると共に、その紙面上でペンを移動させる必要があり、このペンを紙面上に接触させた状態を「ペンダウン」と表現し、逆に、紙面上にペンを接触させた状態から遠ざける状態を「ペンアップ」と表現する。そこで、電気的なペン(即ち、本実施形態にて扱う指示具1等の電気機器)についても、疑似的に一般的な筆記用具と同様な表現を用いられる。
【0025】
但し、電気的なペンにおいては、軌跡が描けることと、そのペンが表示面と接触することとは必ずしも同じ状態ではなく、むしろスイッチ(本実施形態ではスイッチ11)等によって切り替えられる機能として、軌跡等が描ける状態にあることを「ペンダウン」、そうでない状態にあることを「ペンアップ」と称するのが正確な認識である。また、このような電気的なペンの利便性を向上させるためには、ペンアップの状態においても、表示画面には当該ペンの位置をカーソル表示可能に構成すると良い。
【0026】
受光ユニット27は、ラインセンサ7、そのラインセンサの画素アレイ面上に光スポット3を結像させる円柱状レンズ5、ラインセンサ8、そのラインセンサの画素アレイ面上に光スポット3を結像させる円柱状レンズ6、並びに第2の受光素子である受光素子4を備える。
【0027】
ここで、ラインセンサ7は、光スポット3のX軸座標方向の位置、ラインセンサ8は、Y軸座標方向の位置を検知する、所謂リングCCD(Charge-Coupled Device)である。ラインセンサ7及び8は、制御信号作成回路21によって作られる所定のタイミングシーケンスによって制御される。
【0028】
これらの第1の受光素子であるラインセンサ7及び8により得られた電気信号はアナログデジタル(AD)変換ユニット20によってデジタル信号に変換される。CPU23は、AD変換ユニット20から出力されるデジタル信号に基づいて、スポット3の座標情報を算出し、その算出した座標情報をコンピュータ26に出力する。
【0029】
受光ユニット27の受光素子4は、単画素の光電変換素子である。この受光素子4は、スポット3より照射される光の時間軸情報を検知するために使用される同期用の受光素子である。
【0030】
受光素子4から出力される信号は、波形処理回路19において、所定のバンドパスフィルタにかけられ、そのバンドパスフィルタから出力される信号は、一般的な全波整流、平滑化、並びに2値化処理が施されることによって信号“IR”となり制御信号作成回路に送られる。
【0031】
制御信号作成回路21は、入力される信号“IR”を所定の条件に従って判定することにより、操作具1より受光した付帯情報を検知すると共に、信号“IR”の立ち下がりタイミング、或いは立ち上がりタイミングを検知し、そのタイミングから所定時間経過後にリセット信号“RESET”を作成する。このリセット信号は、ラインセンサ7及び8を制御するタイミングシーケンスのトリガーとして当該ラインセンサに送られる。このタイミングシーケンスは、スポット3の1ポイント分の座標情報が取り込まれる度に、1回ずつ行われる。
【0032】
次に、図2に示す各ブロックについて詳細に説明する。
【0033】
<発光素子15>
図9は、本発明の第1の実施形態における発光素子のドライブ波形を説明するタイミングチャートであり、発光素子15のドライブ波形を、“LED_DRVE”に示す。
【0034】
発光ユニット1のドライブ波形作成回路13においては、LED_CLK発生回路12から出力される所定の“LED_CLK”(例えば972.8KHz)を、例えば128分周した信号“LED_IRCLK”が作成される。“LED_IR”は、“LED_IRCLK”と同じ周期であって異なる所定のデューティを持った信号(例えばHiの期間が33ms)である。信号“LED_DRIVE”は、ドライブ回路14が発光素子15に出力する駆動信号であり、“LED_CLK”を、信号“LED_IR”でゲートすることによって生成する。
【0035】
<波形処理回路19>
図8は、本発明の第1の実施形態における波形処理回路の内部構成を示すブロック図である。
【0036】
同図において、受光素子4において光電変換された光信号(電気信号)は、増幅器61にて所定のレベルに増幅され、その増幅された信号は、指示具(発光ユニット)1側の“LED_CLK”と略同一周波数の共振周波数特性を持つバンドパスフィルタ62を通過する。そして、当該フィルタを通過した信号は、検波回路63、平滑化64、2値化回路65にて一般的な全波整流、平滑化、並びに2値化処理が施されることによって信号“IR”となり制御信号作成回路に送られる。バンドパスフィルタ62の出力信号“FILTER_OUT”を図9に示す。
【0037】
上述したように、発光ユニット(指示具)1の発光素子15が発光した光信号“LED_IR”は、信号処理ユニット24において信号“IR”として再現される。ここで、信号“IR”の信号波形は、波形処理回路19内のバンドパスフィルタ62及び平滑化回路64の位相特性の影響で立ち上がりタイミング及び立ち下がりタイミングとも若干の時間遅れが発生するため(本実施形態においては5μsec程度)、信号“IR”は、“LED_IR”に対して同じだけ遅延を持つことになる。
【0038】
<ラインセンサ7及び8>
次に、ラインセンサ7及び8について説明する。本実施形態では、上述したようにX及びY座標方向の位置を検出するラインセンサ7及び8として、循環蓄積型CCD(リングCCD)を採用する。
【0039】
リングCCDは、一種のラインセンサであり、一般的なラインセンサと大きく異なる点は、光電変換によって得られた電荷を転送する部分が循環型(リング状)に形成されている点が異なる。
【0040】
図3は、本発明の第1の実施形態で採用可能なリングCCDの構成を示す概略図である。
【0041】
リングCCDについては、例えば特開平8−233571号に示されるように、ライン状に並ぶn個の画素からなる光電変換部、リング状に並ぶm個のセルからなる循環型電荷転送経路、並びに当該電荷転送経路の途中に接続される電圧読み出し部を備える(本実施形態において、n=64、m=150である)。
【0042】
光電変換部30における光電変換によって生成された電荷は、蓄積部31に蓄積される。次に、この電荷は、ホールド部aまたはホールド部bに転送される。また、蓄積部31は、次の蓄積を行なう前に残った電荷を放電する(例えばグランドに放電すれば良い)。更に、ホールド部aに転送された電荷は、図3の循環型転送部34の2i−1番目に送られる。同様に、ホールド部bに転送された電荷は、循環型転送部34の2i番目に転送される。
【0043】
図4は、図3に示すi番目の光電変換部30から、循環型転送経路34の2i−1、2i番目のまでの部分を示す図である。また、図5は、図4に示す各スイッチの動作タイミングを示す図である。また、この部分の動きは図7に示す信号“IRCLK”を基本周期として行われる。
【0044】
ここで、信号“IRCLK”の周期は、例えば7.6KHzであり、発光ユニット1のドライブ波形作成回路13が生成する信号“LED_IRCLK”と略等しい。信号“IRCLK”は、信号“CCD−CLK”(例えば9.12KHz)を8分周したものを、更に150(=m)分周したものである。
【0045】
本実施形態において、ラインCCDであるラインセンサ7及び8は、電子シャッター機能の役割を有しており、信号“IRCLK”の1周期で2回電子シャッター機能がONとなる。この電子シャッター機能の動作について説明する。
【0046】
図6は、リングCCDの電子シャッター機能を説明するタイミングチャートであり、循環1回分が1組の電子シャッター動作(電子シャッター2回分)に相当する。
【0047】
電子シャッター機能の詳細について説明する。まず、期間Cにおいて充電部31の電荷がSW1(35)によってクリアされる。次に、光電変換部30で発生した電流は、期間Aにおいて充電部31に蓄積され、期間EにおいてSW2_1(36)がオンになることによってホールド部aに転送される。
【0048】
また、期間Dにおいて充電部31の電荷がSW1(35)によってクリアされ、次に、光電変換部30で発生した電流は、期間Bにおいて充電部31に蓄積され、期間FにおいてSW2_2(37)がオンになることによってホールド部bに転送される。ホールドa,bにホールドされている電荷は、期間Gにおいて同時に転送部34の2i−1番目,2i番目のセルに転送される。
【0049】
本実施形態では、信号“IRCLK”と信号“LED_IRCLK”とを同期させることにより、図6の期間Aにおいて指示具1の発光素子(LED)15が発光し、期間Bでは発光しない。このため、ホールド部aには発光素子15がの光時の電荷がホールドされ、ホールド部bには、発光素子15の非発光時の電荷がホールドされる。その結果、転送部の2i−1番目のセルには発光時の電荷が転送され、2i番目のセルには非発光時の電荷が転送される。上述した期間A,B,C,D,E,F,Gの各期間における動作は、全画素に関して同時に実行される。
【0050】
次に、図3に示す循環型転送部34の動作について説明を加える。同図に示す循環型転送部34は、図6を参照して説明したように信号“IRCLK”の1周期分で電荷が一循する。従って、例えば2i−1番目、2i番目のセルにある電荷は、信号“IRCLK”の1周期毎にそれぞれ同じセルに戻ってくる。そして、元のセルに戻った電荷には、それぞれホールド部a,bに新たにホールドされている電荷が追加される。本実施形態において、循環型転送経路34は、150セル(m=150)で構成されている。従って、この循環型転送部34の転送クロック“CCD_SP”は、信号“IRCLK”の150分の1の周期(1.14MHz)である。
【0051】
また、循環型転送部34には、その経路の途中に信号読み出し部29が設けられている。信号読み出し部29では、循環型転送部34を通過する電荷を、非破壊で電圧値に変換し、その変換された電圧値を読み出すことができる。更に、隣接した2つのセルの電圧値の差分を読み出すことができる。従って、例えば前記の2i−1番目及び2i番目のセルにおいてホールド部a及びbより新たに追加された電荷の値の差を読み出すことができる。この機能により、本実施形態では、指示具1が発光しているときと、発光していないときとの蓄積電荷の差分の電荷に相当する電圧信号を、信号読み出し部29から読み出すことができ、外乱光の影響を排除することができる。
【0052】
信号読み出し部29から読み出される信号は、転送部34のセルの配列順と同じ時間的な順番で読み出される。
【0053】
図5は、本発明の第1の実施形態におけるリングCCDの信号読み出し部の出力信号を説明する図であり、同図に示す例では、n番目の画素から1番目の画素の順に電圧値が読み出されている。ここで、i番目の画素近傍の出力レベルが高いのは、図5に示す例では、光のスポット3から照射された光がセンサ画素アレイのi番目の画素周辺に結像していることを示す。そこで、予め設定してある基準位置である中心軸位置から出力レベルが最も高い位置(図5の場合はi番目の画素)までの時間的なズレ、即ち図5のAの値を計算で求めることにより、X軸(乃至Y軸)の座標値の基となる値を求めることができる。
【0054】
<リングCCDの制御>
次に、上述したリングCCDの制御について説明する。本実施形態において、リングCCDであるX座標及びY座標方向センサ7、8は、制御信号作成回路21によるタイミングシーケンスにより、上述したように光のスポット3の1ポイント分の座標データを取り込む動作を繰り返し行う。
【0055】
図7は、本発明の第1の実施形態においてリングCCDの動作を制御するタイミングシーケンスを説明するタイミングチャートである。
【0056】
図6及び図7のタイミングチャートに[ ]付きで示す信号は、X座標及びY座標方向センサ7、8(リングCCD)内部で生成される信号である。それ以外の信号は、外部から当該センサに与えられる信号である。
【0057】
これらのリングCCDは、信号“CCD_RESET”が与えられると、この信号をトリガーとして、制御信号作成回路21から供給される所定のタイミングクロック“CCD−CLK”を8分周することによって信号“CCD_SP”を生成し、更にその信号“CCD_SP”を150分周することによって信号“IRCLK”を生成する(従って、信号“IRCLK”は、タイミングクロック“CCD−CLK”を1200分周した信号である)。ここで、信号“CCD_SP”は、前述したように循環型転送経路34の転送クロックである。また、信号“IRCLK”は、上述したように、2度の電子シャッターのON動作と、電荷を光電変換部30から循環型転送経路34に転送する動作の基準信号である。
【0058】
まず、ラインCCD7及び8には、外部より信号“IRCLK”に同期して信号“LOOP_CLR”が与えられる。この信号により、循環型転送経路34に残留している電荷がクリアされる。その後、信号“IRCLK”に従って、循環型転送経路34を周回する電荷には順次電荷が追加蓄積され、信号読み出し部29から読み出される出力信号の波形は、V_OUT(X)に53乃至58で示すように次第に大きくなる。
【0059】
読み出し波形V_OUT(X)の出力レベルは、制御信号作成回路21によって監視されており、この出力レベルが所定の値(しきい値)に到達した時点で信号“CCD_READ”がHiとなる。即ち、リングCCD7及び8は、信号“CCD_READ”がLoの期間は電荷の蓄積を続け、当該信号がHiになると蓄積を停止し、電荷の循環動作のみを行なう(このとき、信号V_OUT(X)の波形は、不変となる)。、
その後、図7の57に示すように、信号“AD_READ”がHiとなり、これに伴って、アナログ電圧値であるV_OUT(X)は、AD変換部20でデジタル信号に変換された後、CPU23に送られる。
【0060】
ここで、前述の通り信号“CCD_READ”は、V_OUT(X)が所定値になるまでLoである。従って、信号レベルが大きいとき(照射される光のレベルが大きいとき)には“CCD_READ”がLoである時間は短く、逆に、信号レベルがが小さいとき(照射される光のレベルが小さいとき)には、“CCD_READ”がLoである時間が長くなる。従って、AD変換部20に取り込まれるアナログ電圧の波形は、当該CCDセンサにて実際に受光した光の信号レベルの大小によらず、所定のレベルの電圧波形であるため、受光可能な光のダイナミックレンジを大きく採ることができる。
【0061】
<発光素子の点滅と電子シャッター機能との同期方法>
次に、発光素子の点滅と電子シャッター機能との同期方法について詳細に説明する。
【0062】
本実施形態において、指示具1の発光素子15の発光周期“LED_DRIVE”は、LED_CLK発生回路12が生成する信号“LED_CLK”を128分周したもので7.6KHzである。また、受光側のリングCCD7及び8の電子シャッターの繰り返し周波数(シャッター2回ONで1周期)の周波数は、信号“IRCLK”で7.6KHzであり、この信号は、上述したように信号“CCD_CLK”を1200分周した信号に相当する。即ち、発光側の点滅周波数と受光側の電子シャッターの繰り返し周期とは、予め略同一に設定されている。
【0063】
ここで、図7で示すように、リングCCD7及び8のタイミングシーケンスは、信号“CCD_RESET”でスタートするよう作られているが、持に、当該CCDで生成される信号“IRCLK”の立ち上がりタイミングが信号“CCD_RESET”信号の立ち下がりタイミングの直後になるように予め構成されている。従って、信号“CCD_RESET”のタイミングを制御することにより、信号“IRCLK”の位相を制御することができる。即ち、指示具1の発光を受光素子4で検知することによって波形処理回路12で得られる信号“IR”に対して、所定の時間T1(例えば77.2μs)だけ遅延させたタイミングで信号“CCD_RESET”が立ち下がるようにタイミングを設定することにより、少なくとも信号“CCD_RESET”の直後において“IRCLK”と“LED_IR”との位相を合わせることができる。このことは、指示具1の点滅周期と、リングCCD7及び8の電子シャッター動作の位相とを同期させることに等しい。
【0064】
図11は、本発明の第1の実施形態における指示具の点滅周期と、リングCCDの電子シャッター動作との同期合わせ処理を示すフローチャートであり、CPU23において実行される処理を示す。
【0065】
同図に示すように、ステップS3でタイミングシーケンスが始まる直前で、ステップS2で時間調整することにより、その時点で信号“IRCLK”と“LED_IR”との位相をあわせ、その後スポット2の1ポイント分の検出期間(即ちタイミングシーケンスが終わるまで)は、信号“IRCLK”及び“LED_IR”をそれぞれフリーランさせる。更に、ステップS3のタイミングシーケンスが終わると、ステップS1に戻って信号“CCD_RSET”の立ち下がりタイミングの検知を待つ状態に入る。そして、最初の立ち下がりタイミングを検知した時点でで再び時間を調整して(所定時間T1だけ待って)位相を合わせた後、次のタイミングシーケンスをスタートさせる。
【0066】
ここで、考慮すべきこととして、当該タイミングシーケンスの実行中(フリーラン期間)における信号“IRCLK”と“LED_CLK”との周波数偏差がある。以下、この周波数偏差について説明する。
【0067】
本実施形態においては、光のスポット3の1ポイント分の座標をリングCCD7及び8によって取り込む周期を、最大で40msとしている。これは、図7に示す信号“CCD_RESET”の周期が最大40msであることに相当し、当該フリーラン期間が最大で40msであることを意味する。
【0068】
本実施形態において、指示具1のLED_CLK発生回路12、並びに信号処理ユニット24のCCD−CLK発生回路22には、一般的な水晶振動子を使うのことを前提としている。一般的な水晶振動子の周波数精度は、100ppmより優れている。ここで、例えば水晶振動子の周波数精度を100ppmとしたとき、当該フリーランの期間に発生しうる位相の偏差は、40ms×100ppm=4μsであり、この値は、信号“IRCLK”の周期(131.6μs)乃至その点灯期間(Hiの期間)が33μsに比べて十分小さい値である。
【0069】
従って、当該フリーラン期間においても、信号“IRCLK”と“LED_IR”とを実質的に同期させることができ、指示具1と受光側との同期動作をワイヤレスで実現することができる。
【0070】
<指示具1のスイッチ11>
指示具1には、図2に示すようにスイッチ(SW)11が設けられており、一例として、ペンアップダウンを、受光ユニット27側に対して認識させるために用いることができる。以下、スイッチ11の操作を、受光ユニット27に認識させる方法について説明する。
【0071】
本実施形態では、駆動信号“LED_DRIVE”による発光素子15の点滅時の点灯期間を、その点滅周波数より十分大きい周波数のキャリヤによって全部または部分的に変調をかけるように構成しているが、このような構成にすると、変調をかけた部分のみがが受光素子4によって検知されるため、その変調をかけた部分のみ時間軸情報としての意味を持つこととなる。
【0072】
そこで、本実施形態において、ドライブ波形作成回路13は、指示具1上のスイッチ11が押されているとき、信号“LED_IRCLK”に対して一回おきに変調をかけることにより、図10に示すような駆動信号“LED_DRIVE”をドライブ回路14に出力させ、スイッチ11が押されていないときは、図9に示すように信号“LED_IRCLK”の周期毎に変調をかける。
【0073】
このように構成した発光パターンで発光素子15に発光させた信号は、リングCCD7及び8によって受光されると、スイッチ11が押されている場合も押されていない場合も同じ周期(T2)で点滅している信号として検出され、また、受光素子4に受光されると、信号“LED_IRCLK”に対して一回おきに(またはT2×2の周期で)点滅しているように検出される。即ち、リングCCD7及び8による座標検出は、何れの場合も同等に行われ、且つ発光素子15の点滅と電子シャッター機能との同期動作に影響を与えることなく、受光素子14の出力信号として1ビット分の情報を受光ユニット27に対して送信することができ、操作スイッチ11の状況を検出することができる。
【0074】
以上説明したように、本実施形態によれば、座標入力装置に受光素子としてリングCCD7及び8を備え、それらリングCCDを外部より制御することによって電子シャッター機能を実現し、この電子シャッター機能を、指示具1の発光の点滅周期に同期させた。これにより、外乱光による誤動作等の影響を排除することができる。
【0075】
また、本実施形態では、リングCCD7及び8に供給する制御信号により、光電変換部30で発生した電荷を逐次追加蓄積しつつ循環する状態と、追加蓄積を行わずに循環のみ行なう状態とを切り替え可能に構成し、その状態の切り替え制御を、指示具1から照射される光量に応じて行うと共に、例えば受光レベルの小さい光を受光する場合は、その受光した光に対応する電荷を当該リングCCDにて多数回蓄積し、また、受光レベルの大きい光を受光する場合には、その受光した光に対応する電荷を当該リングCCDにて少数回蓄積した。これにより、照射光量が変動しても正確な座標検出を行うことができ、受光可能な光のダイナミックレンジを広くすることができる。
【0076】
また、本実施形態では、受光ユニット27の受光素子4から得られる信号に従ってタイミングを採ることにより、指示具(発光ユニット)1と受光ユニット27とをワイヤレスに構成したものの、指示具1の点滅周期と、受光ユニット27内のリングCCD7及び8の電子シャッター機能とを同期させることができる。即ち、本実施形態では、1ポイント分の座標データを処理する度に、この受光素子4によって検知される点滅信号の、任意の1つの発光パルスの先頭部分、或いは終端部分を基準として、リングCCD7及び8を制御するタイミングシーケンスを開始させることにより、指示具1の点滅と、受光ユニット27の電子シャッター機能とを同期させることができ、外乱光の影響を抑制できると共に、高精度且つ高分解能な2次元の座標値を得ることができる。
【0077】
また、本実施形態では、発光側の発光信号は、所定周期で点滅するのみでなく、その点灯時においては、その点滅の周波数より十分高い周波数のキャリヤで単純変調をかけ、受光素子4で受光された信号は、当該キャリヤと略同一な周波数に共振点を持つバンドパスフィルタを通過させることにより、その受光信号に含まれる当該キャリヤと略同一な周波数成分のみを抽出することができる。これにより、受光素子4においても、外乱光による影響を排除することができる。
【0078】
[第2の実施形態]
次に、上述した第1の実施形態における装置構成を基本として、本発明の第2の実施形態について説明する。以下の説明では、第1の実施形態と同様な部分の説明は省略するものとし、本実施形態における特徴的な部分を中心に説明する。
【0079】
図12は、本発明の第2の実施形態における座標入力装置のシステム構成を示すブロック図である。
【0080】
本実施形態では、波形処理回路19から制御信号作成回路21に対して第1の実施形態と同様に信号“IR”が送出されると共に、その信号“IR”に基づいてPLL(PHASE LOCK LOOP)72にて生成される信号“IR_P”が、制御信号作成回路21に送出される。
【0081】
波形処理回路19は、同期用受光素子4によって受光した信号を、第1の実施形態で説明したキャリヤ周波数と同一周波数の共振回路を持つバンドパスフィルタ62(図8参照)に通すことによって外乱光の除去を行っており、一般的な使用環境においては十分に外乱光を除去することができる。しかしながら、ごくまれに予想をはるかに超える著しく大きな外乱光が入射される環境においては、その影響を除去しきれない場合がある。そのような場合には、バンドパスフィルタ62の出力である“FILTER_OUT”に、例えば図13に80,81,82で示すようなノイズが混入するため、波形処理回路19が図13に83,84で示すような信号を信号“IR”として出力することが予想され、これにより、制御信号作成回路21は、信号“IR”の先頭の部分あるいは終端の部分を誤認識する可能性がある。しかしながら、当該バンドパスフィルタから出力されるこれらのひげ状のノイズは、当該バンドパスフィルタからの本来の出力信号に対してエネルギとしては僅かである。そこで、本実施形態では、波形処理回路19が出力する信号“IR”に従って、一般的な構成を有するPLL72において信号“IR_PLL”を生成することにより、係る弊害を回避している。
【0082】
このような装置構成を備える第2の実施形態の座標入力装置によれば、第1の実施形態における座標入力装置と同様な効果が得られるだけでなく、更に正確な動作を実現することができる。
【0083】
【発明の効果】
以上説明したように、本発明によれば、外乱光の影響を抑制することにより、所定の2次元座標面内に生成された光スポットの座標位置を高精度且つ高分解能で検出する座標入力装置の提供が実現する。
【図面の簡単な説明】
【図1】本発明の第1の実施形態における座標入力装置の座標入力系を説明する図である。
【図2】本発明の第1の実施形態における座標入力装置のシステム構成を示すブロック図である。
【図3】本発明の第1の実施形態で採用可能なリングCCDの構成を示す概略図である。
【図4】図3に示すi番目の光電変換部30から、循環型転送経路34の2i−1、2i番目のまでの部分を示す図である。
【図5】本発明の第1の実施形態におけるリングCCDの信号読み出し部の出力信号を説明する図である。
【図6】リングCCDの電子シャッター機能を説明するタイミングチャートである。
【図7】本発明の第1の実施形態においてリングCCDの動作を制御するタイミングシーケンスを説明するタイミングチャートである。
【図8】本発明の第1の実施形態における波形処理回路の内部構成を示すブロック図である。
【図9】本発明の第1の実施形態における発光素子のドライブ波形を説明するタイミングチャートである。
【図10】本発明の第1の実施形態における発光側のドライブ信号と波形処理回路の出力信号を説明する図である。
【図11】本発明の第1の実施形態における指示具の点滅周期と、リングCCDの電子シャッター動作との同期合わせ処理を示すフローチャートである。
【図12】本発明の第2の実施形態における座標入力装置のシステム構成を示すブロック図である。
【図13】本発明の第2の実施形態における発光側のドライブ信号と波形処理回路の出力信号を説明する図である。
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a coordinate input device, and for example, relates to a coordinate input device that controls an external device according to coordinates input on a display screen of a large display or inputs a pattern such as a character or a figure.
[0002]
[Prior art]
Conventionally, there has been proposed a coordinate input device that inputs coordinate information instructed by an operator to an external device such as a computer.
[0003]
As such a coordinate input device, for example, an image of a light spot formed on a display screen of a large display by an operator using an indicator is captured by using a CCD area sensor or a linear sensor. A plurality of positions at which two-dimensional coordinates on the display screen of the light spot are obtained based on an output signal representing the position of the light spot imaged in the plane, or an analog signal corresponding to the position of the light spot is output A device that uses a detection element to obtain a two-dimensional coordinate on the display screen of the light spot based on the magnitude or ratio of analog voltage output output from those position detection elements is known.
[0004]
In the above-described coordinate input device using light, it is generally required to achieve the following problems.
[0005]
That is, as a first problem, it is required to eliminate the influence of disturbance light incident on the coordinate input device from the outside in order to generate highly accurate coordinate values and perform stable operation.
[0006]
In recent years, diversification of display methods, generalization of the use of infrared rays as wireless communication means, or remote control devices using infrared rays have become widespread, and there are many environments where coordinate input devices are used. Infrared is present. Under such circumstances, in order to accurately perform the original operation as the coordinate input device, means for reliably removing ambient light is required.
[0007]
As a second problem, the coordinate input device is required to have a wide dynamic range of light that can be received.
[0008]
In general, in a coordinate input device of a type that detects light emitted by an operator with an indicator, depending on how the operator handles the indicator (specifically, the direction of the indicator, the moving speed, etc.), The amount of light emitted from the pointing tool varies greatly. Further, when a battery is used to drive the pointing tool, the amount of light emitted from the pointing tool varies greatly depending on the remaining amount of the battery. Therefore, in this type of coordinate input device, a light receiving means having a wide dynamic range is required.
[0009]
[Problems to be solved by the invention]
However, in the coordinate input device of the type that detects spot light on the display screen described above, an optical filter that passes only light of a specific wavelength band is provided as means for removing disturbance light, and the coordinate input is performed. Almost no consideration is given to making the light detection operation by the apparatus follow the changing irradiation light quantity.
[0010]
Also, in the coordinate input device of the type that detects the magnitude or ratio of the analog voltage output of the plurality of position detection elements described above, a filter that passes light in a specific wavelength band is provided as means for removing disturbance light. In such a type of coordinate input device, the coordinates are detected by using the signal level of the received light signal that indicates the amount of irradiation light, so that it is impossible to follow the variation in the amount of irradiation light.
[0011]
Therefore, the present invention provides a first coordinate input device that detects the coordinate position of a light spot generated in a predetermined two-dimensional coordinate plane with high accuracy and high resolution by suppressing the influence of disturbance light. Objective.
[0012]
Furthermore, a second object of the present invention is to provide a coordinate input device having a wide dynamic range of light that can be received.
[0013]
[Means for Solving the Problems]
In order to achieve the above first object, a coordinate input device according to the present invention is characterized by the following configuration.
[0014]
Immediately The finger Indicator The light was emitted at a predetermined flashing cycle from By light Instructions A coordinate input device that detects a position and outputs the detected coordinate information, Light emission This Light A first light receiving sensor to detect; Light emission This The Time series of light of A second light receiving sensor for detecting a change, and the second light receiving sensor detected by the second light receiving sensor. Of emitted light Time series of Based on the change, Of emitted light Based on the synchronization control means for synchronizing the detection operation of the first light receiving sensor with respect to the blinking cycle, and the signal output from the first light receiving sensor in a state synchronized by the synchronization control means, Instructions And calculating means for calculating the coordinates of the position.
[0015]
Preferably, two line sensors arranged in two directions that are not parallel to each other may be employed as the first light receiving sensor.
[0016]
Further, for example, when a ring CCD having a photoelectric conversion element and a ring-shaped charge transfer path capable of accumulating while sequentially adding charges generated in the element is employed as the line sensor, the synchronization control is performed. Means for the ring CCD; Of emitted light The photoelectric conversion element performs photoelectric conversion in synchronization with the blinking cycle, and the charge generated by the conversion is accumulated while being circulated through the charge transfer path and sequentially added in synchronization with the blinking cycle. The means sequentially reads out the electric charge accumulated in the charge transfer path as an electric signal, and based on the difference between the read electric signals, Instructions It is good to calculate the coordinates of the position.
[0017]
In order to achieve the second object, in the coordinate input device having the above-described configuration, the synchronization control means includes Of emitted light In accordance with the amount of light, the accumulation period may be changed while sequentially adding the charges generated in the photoelectric conversion elements in the charge transfer path.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
DESCRIPTION OF EMBODIMENTS Hereinafter, an embodiment of a coordinate input device according to the present invention will be described in detail with reference to the drawings.
[0019]
[First Embodiment]
FIG. 1 is a diagram illustrating a coordinate input system of a coordinate input device according to a first embodiment of the present invention. FIG. 2 is a block diagram showing a system configuration of the coordinate input device according to the first embodiment of the present invention.
[0020]
First, a schematic configuration of the coordinate input device in the present embodiment shown in FIG. 2 will be described with reference to FIG.
[0021]
The coordinate input device according to the present embodiment is roughly divided into an indicator 1 that forms a light spot on the screen 2 that is a coordinate input surface, and a light spot that is generated on the screen 2 by light emitted by the indicator 1. And a signal processing unit 24 for calculating coordinate information based on an electric signal obtained by photoelectric conversion of the light received by the control of the light receiving unit 27 and the light received by the unit. .
[0022]
In FIG. 1, together with the above-described configuration of the coordinate input device, an image is displayed on the screen 2 and the coordinate position information (cursor position, locus, etc.) indicated by the pointing tool 1 is echoed back and displayed. A projection type display device 9 is shown.
[0023]
The indicator 1 on the light emitting side includes a light emitting element 15 that is a semiconductor laser or LED that emits a light beam, a drive waveform generating circuit 13 that creates a light emission pattern of the light emitting element, a drive circuit 14 that drives the light emitting element 15, and a pen-up. A switch 11 for inputting incidental information such as down (pen-up and pen-down) is provided.
[0024]
Here, the above pen up / down will be described. Originally, when drawing a locus or the like using a general writing instrument (pen) such as a ballpoint pen or pencil on paper, it is necessary to bring the pen into contact with the paper and move the pen on the paper surface. The state where the pen is brought into contact with the paper surface is expressed as “pen down”, and the state where the pen is moved away from the state where the pen is brought into contact with the paper surface is expressed as “pen up”. Therefore, an expression similar to that of a general writing tool is used for an electric pen (that is, an electric device such as the pointing tool 1 handled in the present embodiment).
[0025]
However, in an electric pen, drawing a locus and contacting the pen with the display surface are not necessarily in the same state, but rather as a function switched by a switch (switch 11 in the present embodiment) or the like. The correct recognition is to call “pen down” when the image is in a state in which it can be drawn, and “pen up” when it is not. Further, in order to improve the convenience of such an electric pen, it is preferable that the cursor position can be displayed on the display screen even in the pen-up state.
[0026]
The light receiving unit 27 forms an image of the light spot 3 on the line sensor 7, the cylindrical lens 5 that forms an image of the light spot 3 on the pixel array surface of the line sensor, the line sensor 8, and the pixel array surface of the line sensor. A cylindrical lens 6 and a light receiving element 4 as a second light receiving element are provided.
[0027]
Here, the line sensor 7 is a so-called ring CCD (Charge-Coupled Device) that detects the position of the light spot 3 in the X-axis coordinate direction, and the line sensor 8 detects the position in the Y-axis coordinate direction. The line sensors 7 and 8 are controlled by a predetermined timing sequence created by the control signal creation circuit 21.
[0028]
The electric signals obtained by the line sensors 7 and 8 as the first light receiving elements are converted into digital signals by an analog-digital (AD) conversion unit 20. The CPU 23 calculates the coordinate information of the spot 3 based on the digital signal output from the AD conversion unit 20, and outputs the calculated coordinate information to the computer 26.
[0029]
The light receiving element 4 of the light receiving unit 27 is a single-pixel photoelectric conversion element. The light receiving element 4 is a synchronizing light receiving element used for detecting time axis information of light emitted from the spot 3.
[0030]
The signal output from the light receiving element 4 is subjected to a predetermined band pass filter in the waveform processing circuit 19, and the signal output from the band pass filter is subjected to general full wave rectification, smoothing, and binarization processing. As a result, the signal “IR” is generated and sent to the control signal generation circuit.
[0031]
The control signal generation circuit 21 detects the incidental information received from the operation tool 1 by determining the input signal “IR” according to a predetermined condition, and sets the falling timing or rising timing of the signal “IR”. A reset signal “RESET” is generated after a predetermined time has elapsed from the detection. This reset signal is sent to the line sensor as a trigger of a timing sequence for controlling the line sensors 7 and 8. This timing sequence is performed once every time coordinate information for one point of the spot 3 is captured.
[0032]
Next, each block shown in FIG. 2 will be described in detail.
[0033]
<Light emitting element 15>
FIG. 9 is a timing chart for explaining the drive waveform of the light emitting element in the first embodiment of the present invention, and the drive waveform of the light emitting element 15 is indicated by “LED_DRVE”.
[0034]
In the drive waveform generation circuit 13 of the light emitting unit 1, a signal “LED_IRCLK” obtained by dividing the predetermined “LED_CLK” (for example, 972.8 KHz) output from the LED_CLK generation circuit 12 by, for example, 128 is generated. “LED_IR” is a signal having the same cycle as “LED_IRCLK” and a different predetermined duty (for example, the period of Hi is 33 ms). The signal “LED_DRIVE” is a drive signal output from the drive circuit 14 to the light emitting element 15, and is generated by gating “LED_CLK” with the signal “LED_IR”.
[0035]
<Waveform processing circuit 19>
FIG. 8 is a block diagram showing the internal configuration of the waveform processing circuit according to the first embodiment of the present invention.
[0036]
In the figure, an optical signal (electrical signal) photoelectrically converted by the light receiving element 4 is amplified to a predetermined level by an amplifier 61, and the amplified signal is “LED_CLK” on the indicator (light emitting unit) 1 side. And a band-pass filter 62 having a resonance frequency characteristic of substantially the same frequency. Then, the signal that has passed through the filter is subjected to general full-wave rectification, smoothing, and binarization processing in the detection circuit 63, smoothing 64, and binarization circuit 65, whereby the signal "IR" And sent to the control signal generation circuit. The output signal “FILTER_OUT” of the band pass filter 62 is shown in FIG.
[0037]
As described above, the optical signal “LED_IR” emitted from the light emitting element 15 of the light emitting unit (indicator) 1 is reproduced as the signal “IR” in the signal processing unit 24. Here, the signal waveform of the signal “IR” is slightly delayed in both the rising timing and the falling timing due to the influence of the phase characteristics of the bandpass filter 62 and the smoothing circuit 64 in the waveform processing circuit 19 (this book) In the embodiment, the signal “IR” has the same delay as “LED_IR”.
[0038]
<Line sensors 7 and 8>
Next, the line sensors 7 and 8 will be described. In the present embodiment, as described above, the circulation accumulation type CCD (ring CCD) is employed as the line sensors 7 and 8 for detecting the positions in the X and Y coordinate directions.
[0039]
The ring CCD is a kind of line sensor, and is greatly different from a general line sensor in that a portion for transferring charges obtained by photoelectric conversion is formed in a circulation type (ring shape).
[0040]
FIG. 3 is a schematic diagram showing the configuration of a ring CCD that can be employed in the first embodiment of the present invention.
[0041]
With respect to the ring CCD, for example, as disclosed in JP-A-8-233571, a photoelectric conversion unit composed of n pixels arranged in a line, a circulating charge transfer path composed of m cells arranged in a ring, A voltage readout unit connected in the middle of the charge transfer path is provided (in this embodiment, n = 64 and m = 150).
[0042]
The charges generated by the photoelectric conversion in the photoelectric conversion unit 30 are accumulated in the accumulation unit 31. Next, this electric charge is transferred to the hold part a or the hold part b. Further, the storage unit 31 discharges the remaining charge before performing the next storage (for example, it may be discharged to the ground). Further, the charge transferred to the hold unit a is sent to the 2i-1th of the cyclic transfer unit 34 in FIG. Similarly, the charge transferred to the hold unit b is transferred to the 2i-th of the cyclic transfer unit 34.
[0043]
FIG. 4 is a diagram illustrating portions from the i-th photoelectric conversion unit 30 illustrated in FIG. 3 to the 2i-1 and 2i-th portions of the cyclic transfer path 34. FIG. 5 is a diagram showing the operation timing of each switch shown in FIG. Further, the movement of this portion is performed using the signal “IRCLK” shown in FIG. 7 as a basic period.
[0044]
Here, the cycle of the signal “IRCLK” is, for example, 7.6 KHz, and is substantially equal to the signal “LED_IRCLK” generated by the drive waveform generation circuit 13 of the light emitting unit 1. The signal “IRCLK” is a signal “CCD-CLK” (for example, 9.12 KHz) divided by 8 and further divided by 150 (= m).
[0045]
In this embodiment, the line sensors 7 and 8 which are line CCDs have a role of an electronic shutter function, and the electronic shutter function is turned ON twice in one cycle of the signal “IRCLK”. The operation of this electronic shutter function will be described.
[0046]
FIG. 6 is a timing chart for explaining the electronic shutter function of the ring CCD, and one cycle corresponds to one set of electronic shutter operations (two electronic shutters).
[0047]
Details of the electronic shutter function will be described. First, in period C, the charge of the charging unit 31 is cleared by SW1 (35). Next, the current generated in the photoelectric conversion unit 30 is accumulated in the charging unit 31 in the period A, and is transferred to the hold unit a when the SW2_1 (36) is turned on in the period E.
[0048]
In addition, the charge of the charging unit 31 is cleared by SW1 (35) in the period D, and then the current generated in the photoelectric conversion unit 30 is accumulated in the charging unit 31 in the period B, and SW2_2 (37) is stored in the period F. When it is turned on, it is transferred to the hold unit b. The charges held in the holds a and b are simultaneously transferred to the 2i−1 and 2i cells of the transfer unit 34 in the period G.
[0049]
In the present embodiment, by synchronizing the signal “IRCLK” and the signal “LED_IRCLK”, the light emitting element (LED) 15 of the indicator 1 emits light in the period A of FIG. For this reason, the charge at the time of light emission of the light emitting element 15 is held in the hold part a, and the charge at the time of non-light emission of the light emitting element 15 is held in the hold part b. As a result, the charge at the time of light emission is transferred to the 2i-1st cell of the transfer unit, and the charge at the time of non-light emission is transferred to the 2ith cell. The operations in the periods A, B, C, D, E, F, and G described above are performed simultaneously for all the pixels.
[0050]
Next, the operation of the circular transfer unit 34 shown in FIG. 3 will be described. As described with reference to FIG. 6, the cyclic transfer unit 34 shown in FIG. 6 circulates charges once in one cycle of the signal “IRCLK”. Therefore, for example, the charges in the 2i-1st and 2ith cells return to the same cell for each cycle of the signal “IRCLK”. Then, the charges newly held in the hold units a and b are added to the charges returned to the original cell. In the present embodiment, the cyclic transfer path 34 is composed of 150 cells (m = 150). Therefore, the transfer clock “CCD_SP” of the circular transfer unit 34 has a period (1/14 MHz) that is 1 / 150th of the signal “IRCLK”.
[0051]
Further, the cyclic transfer unit 34 is provided with a signal reading unit 29 in the middle of the path. The signal reading unit 29 can convert the electric charge passing through the circulation type transfer unit 34 into a voltage value in a non-destructive manner and read the converted voltage value. Furthermore, the difference between the voltage values of two adjacent cells can be read. Therefore, for example, the difference between the values of the charges newly added from the hold units a and b in the 2i-1th and 2ith cells can be read. With this function, in the present embodiment, the voltage signal corresponding to the charge of the difference between the accumulated charges when the indicator 1 emits light and when it does not emit light can be read from the signal reading unit 29, The influence of disturbance light can be eliminated.
[0052]
The signals read from the signal reading unit 29 are read in the same temporal order as the cell arrangement order of the transfer unit 34.
[0053]
FIG. 5 is a diagram for explaining the output signal of the signal readout unit of the ring CCD in the first embodiment of the present invention. In the example shown in FIG. 5, the voltage values are in order from the nth pixel to the first pixel. It has been read. Here, the output level in the vicinity of the i-th pixel is high because, in the example shown in FIG. 5, the light emitted from the light spot 3 forms an image around the i-th pixel of the sensor pixel array. Show. Therefore, a temporal shift from the center axis position, which is a preset reference position, to a position where the output level is the highest (i-th pixel in the case of FIG. 5), that is, the value of A in FIG. 5 is obtained by calculation. As a result, a value serving as a base of the coordinate value of the X axis (or Y axis) can be obtained.
[0054]
<Control of ring CCD>
Next, control of the ring CCD described above will be described. In the present embodiment, the X-coordinate and Y-coordinate direction sensors 7 and 8 that are ring CCDs perform an operation of taking in coordinate data for one point of the light spot 3 as described above by the timing sequence by the control signal generation circuit 21. Repeat.
[0055]
FIG. 7 is a timing chart for explaining a timing sequence for controlling the operation of the ring CCD in the first embodiment of the present invention.
[0056]
Signals indicated with [] in the timing charts of FIGS. 6 and 7 are signals generated inside the X coordinate and Y coordinate direction sensors 7 and 8 (ring CCD). Other signals are signals given to the sensor from the outside.
[0057]
When the signal “CCD_RESET” is given to these ring CCDs, the signal “CCD_SP” is obtained by dividing the predetermined timing clock “CCD-CLK” supplied from the control signal generating circuit 21 by 8 using this signal as a trigger. And the signal “IRCLK” is generated by dividing the signal “CCD_SP” by 150 (therefore, the signal “IRCLK” is a signal obtained by dividing the timing clock “CCD-CLK” by 1200). Here, the signal “CCD_SP” is the transfer clock of the circular transfer path 34 as described above. Further, as described above, the signal “IRCLK” is a reference signal for the operation of turning on the electronic shutter twice and transferring the charge from the photoelectric conversion unit 30 to the circulation transfer path 34.
[0058]
First, a signal “LOOP_CLR” is supplied to the line CCDs 7 and 8 from the outside in synchronization with the signal “IRCLK”. With this signal, the charge remaining in the circulation type transfer path 34 is cleared. Thereafter, in accordance with the signal “IRCLK”, the charge circulating around the cyclic transfer path 34 is additionally accumulated sequentially, and the waveform of the output signal read from the signal reading unit 29 is represented by 53 to 58 in V_OUT (X). Gradually grows.
[0059]
The output level of the read waveform V_OUT (X) is monitored by the control signal generating circuit 21. When this output level reaches a predetermined value (threshold value), the signal “CCD_READ” becomes Hi. That is, the ring CCDs 7 and 8 continue to accumulate charges while the signal “CCD_READ” is Lo, and when the signal becomes Hi, the accumulation is stopped and only the charge circulation operation is performed (at this time, the signal V_OUT (X)). The waveform of is invariant). ,
Thereafter, as indicated by 57 in FIG. 7, the signal “AD_READ” becomes Hi, and accordingly, the analog voltage value V_OUT (X) is converted into a digital signal by the AD conversion unit 20, and then sent to the CPU 23. Sent.
[0060]
Here, as described above, the signal “CCD_READ” is Lo until V_OUT (X) reaches a predetermined value. Therefore, when the signal level is large (when the level of the irradiated light is large), the time during which “CCD_READ” is Lo is short, and conversely, when the signal level is small (when the level of the irradiated light is small). ), The time during which “CCD_READ” is Lo becomes longer. Therefore, the waveform of the analog voltage captured by the AD converter 20 is a predetermined voltage waveform regardless of the signal level of the light actually received by the CCD sensor. A large range can be taken.
[0061]
<Synchronization method of flashing light emitting element and electronic shutter function>
Next, a method of synchronizing the flashing of the light emitting element and the electronic shutter function will be described in detail.
[0062]
In the present embodiment, the light emission period “LED_DRIVE” of the light emitting element 15 of the indicator 1 is 7.6 KHz that is obtained by dividing the signal “LED_CLK” generated by the LED_CLK generation circuit 12 by 128. Further, the frequency of the electronic shutter repetition frequency of the ring CCDs 7 and 8 on the light receiving side (one cycle when the shutter is turned on twice) is 7.6 KHz for the signal “IRCLK”, and this signal is the signal “CCD_CLK” as described above. "Corresponds to a signal obtained by dividing 1200". That is, the flashing frequency on the light emitting side and the repetition cycle of the electronic shutter on the light receiving side are set in advance approximately the same.
[0063]
Here, as shown in FIG. 7, the timing sequence of the ring CCDs 7 and 8 is made to start with the signal “CCD_RESET”. However, the rising timing of the signal “IRCLK” generated by the CCD is not limited. The signal “CCD_RESET” is configured in advance so as to be immediately after the falling timing of the signal. Therefore, the phase of the signal “IRCLK” can be controlled by controlling the timing of the signal “CCD_RESET”. That is, the signal “CCD_RESET” is delayed by a predetermined time T1 (for example, 77.2 μs) with respect to the signal “IR” obtained by the waveform processing circuit 12 by detecting the light emission of the indicator 1 by the light receiving element 4. By setting the timing so that "" falls, the phases of "IRCLK" and "LED_IR" can be matched at least immediately after the signal "CCD_RESET". This is equivalent to synchronizing the blinking cycle of the indicator 1 and the phase of the electronic shutter operation of the ring CCDs 7 and 8.
[0064]
FIG. 11 is a flowchart showing the synchronization processing between the blinking cycle of the pointing tool and the electronic shutter operation of the ring CCD according to the first embodiment of the present invention, and shows processing executed by the CPU 23.
[0065]
As shown in the figure, immediately before the start of the timing sequence in step S3, the time is adjusted in step S2, so that the phases of the signals “IRCLK” and “LED_IR” are matched at that time, and then one point of spot 2 is obtained. During the detection period (that is, until the timing sequence ends), the signals “IRCLK” and “LED_IR” are free-runned, respectively. Further, when the timing sequence in step S3 ends, the process returns to step S1 to enter a state of waiting for detection of the falling timing of the signal “CCD_RSET”. Then, when the first falling timing is detected, the time is adjusted again (waiting for a predetermined time T1) to adjust the phase, and then the next timing sequence is started.
[0066]
Here, what should be considered is a frequency deviation between the signals “IRCLK” and “LED_CLK” during execution of the timing sequence (free-run period). Hereinafter, this frequency deviation will be described.
[0067]
In this embodiment, the maximum period for capturing the coordinates of one point of the light spot 3 by the ring CCDs 7 and 8 is 40 ms. This corresponds to the period of the signal “CCD_RESET” shown in FIG. 7 being a maximum of 40 ms, which means that the free run period is a maximum of 40 ms.
[0068]
In the present embodiment, it is assumed that a general crystal resonator is used for the LED_CLK generation circuit 12 of the pointing tool 1 and the CCD-CLK generation circuit 22 of the signal processing unit 24. The frequency accuracy of a general crystal resonator is better than 100 ppm. Here, for example, when the frequency accuracy of the crystal resonator is 100 ppm, the phase deviation that can occur during the free-run period is 40 ms × 100 ppm = 4 μs, and this value is the period of the signal “IRCLK” (131 .6 μs) to the lighting period (Hi period) is sufficiently smaller than 33 μs.
[0069]
Therefore, even during the free run period, the signals “IRCLK” and “LED_IR” can be substantially synchronized, and the synchronization operation between the pointing tool 1 and the light receiving side can be realized wirelessly.
[0070]
<Switch 11 of indicator 1>
The indicator 1 is provided with a switch (SW) 11 as shown in FIG. 2, and as an example, it can be used for causing the light receiving unit 27 to recognize pen up / down. Hereinafter, a method for causing the light receiving unit 27 to recognize the operation of the switch 11 will be described.
[0071]
In this embodiment, the lighting period when the light emitting element 15 blinks by the drive signal “LED_DRIVE” is configured to be wholly or partially modulated by a carrier having a frequency sufficiently higher than the blinking frequency. With such a configuration, only the modulated part is detected by the light receiving element 4, so that only the modulated part has meaning as time axis information.
[0072]
Therefore, in the present embodiment, when the switch 11 on the indicator 1 is pressed, the drive waveform generation circuit 13 modulates the signal “LED_IRCLK” every other time, as shown in FIG. Drive signal “LED_DRIVE” is output to the drive circuit 14, and when the switch 11 is not pressed, modulation is performed every period of the signal “LED_IRCLK” as shown in FIG. 9.
[0073]
When the light emitted from the light emitting element 15 with the light emission pattern configured as described above is received by the ring CCDs 7 and 8, the signal blinks in the same cycle (T2) regardless of whether the switch 11 is pressed or not. When the signal is received by the light receiving element 4, the signal “LED_IRCLK” is detected as blinking every other time (or at a cycle of T2 × 2). That is, coordinate detection by the ring CCDs 7 and 8 is performed in the same manner in any case, and 1 bit is output as the output signal of the light receiving element 14 without affecting the synchronous operation of the flashing of the light emitting element 15 and the electronic shutter function. Minute information can be transmitted to the light receiving unit 27, and the status of the operation switch 11 can be detected.
[0074]
As described above, according to the present embodiment, the coordinate input device is provided with the ring CCDs 7 and 8 as light receiving elements, and an electronic shutter function is realized by controlling the ring CCD from the outside. The indicator 1 was synchronized with the flashing cycle of light emission. Thereby, the influence of malfunction etc. by disturbance light can be excluded.
[0075]
In the present embodiment, the control signal supplied to the ring CCDs 7 and 8 switches between a state in which the charge generated in the photoelectric conversion unit 30 circulates while being additionally accumulated and a state in which only the circulation is performed without performing additional accumulation. In this configuration, switching of the state is performed in accordance with the amount of light emitted from the indicator 1 and, for example, when receiving light with a low light receiving level, the charge corresponding to the received light is transferred to the ring CCD. In the case where light having a high light receiving level is received, charges corresponding to the received light are stored in the ring CCD a few times. As a result, accurate coordinate detection can be performed even when the amount of irradiation light varies, and the dynamic range of light that can be received can be widened.
[0076]
In this embodiment, the indicator (light-emitting unit) 1 and the light-receiving unit 27 are configured wirelessly by taking timing according to the signal obtained from the light-receiving element 4 of the light-receiving unit 27, but the blinking cycle of the indicator 1 And the electronic shutter function of the ring CCDs 7 and 8 in the light receiving unit 27 can be synchronized. That is, in this embodiment, each time the coordinate data for one point is processed, the ring CCD 7 with reference to the head portion or the end portion of any one light emission pulse of the flashing signal detected by the light receiving element 4. And 8 can be synchronized, the blinking of the indicator 1 and the electronic shutter function of the light receiving unit 27 can be synchronized, the influence of disturbance light can be suppressed, and high accuracy and high resolution can be achieved. A two-dimensional coordinate value can be obtained.
[0077]
Further, in this embodiment, the light emission signal on the light emission side not only blinks at a predetermined cycle, but at the time of lighting, simple modulation is performed with a carrier having a frequency sufficiently higher than the blinking frequency, and the light receiving element 4 receives light. The transmitted signal passes through a band-pass filter having a resonance point at substantially the same frequency as that of the carrier, so that only the frequency component substantially the same as that of the carrier contained in the received light signal can be extracted. Thereby, also in the light receiving element 4, the influence by disturbance light can be excluded.
[0078]
[Second Embodiment]
Next, a second embodiment of the present invention will be described based on the device configuration in the first embodiment described above. In the following description, the description of the same part as that of the first embodiment is omitted, and the characteristic part in the present embodiment will be mainly described.
[0079]
FIG. 12 is a block diagram showing a system configuration of the coordinate input device according to the second embodiment of the present invention.
[0080]
In the present embodiment, a signal “IR” is transmitted from the waveform processing circuit 19 to the control signal generation circuit 21 as in the first embodiment, and a PLL (PHASE LOCK LOOP) is generated based on the signal “IR”. The signal “IR_P” generated at 72 is sent to the control signal generation circuit 21.
[0081]
The waveform processing circuit 19 passes the signal received by the synchronization light-receiving element 4 through a bandpass filter 62 (see FIG. 8) having a resonance circuit having the same frequency as the carrier frequency described in the first embodiment, thereby causing disturbance light. Therefore, ambient light can be sufficiently removed in a general use environment. However, in an extremely rare environment where much larger disturbance light than expected is incident, the influence may not be completely removed. In such a case, noise such as 80, 81, and 82 shown in FIG. 13 is mixed in “FILTER_OUT” that is the output of the bandpass filter 62, so that the waveform processing circuit 19 shows 83 and 84 in FIG. Is expected to be output as the signal “IR”, so that the control signal generation circuit 21 may erroneously recognize the head portion or the end portion of the signal “IR”. However, these whisker-like noises output from the bandpass filter have little energy as compared to the original output signal from the bandpass filter. Therefore, in the present embodiment, the adverse effect is avoided by generating the signal “IR_PLL” in the PLL 72 having a general configuration in accordance with the signal “IR” output from the waveform processing circuit 19.
[0082]
According to the coordinate input device of the second embodiment having such a device configuration, not only the same effect as the coordinate input device in the first embodiment can be obtained, but also a more accurate operation can be realized. .
[0083]
【The invention's effect】
As described above, according to the present invention, the coordinate input device detects the coordinate position of the light spot generated in the predetermined two-dimensional coordinate plane with high accuracy and high resolution by suppressing the influence of disturbance light. Is realized.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a coordinate input system of a coordinate input device according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a system configuration of the coordinate input device according to the first embodiment of the present invention.
FIG. 3 is a schematic diagram showing a configuration of a ring CCD that can be employed in the first embodiment of the present invention.
4 is a diagram illustrating a portion from the i-th photoelectric conversion unit 30 illustrated in FIG. 3 to the 2i-1 and 2i-th portions of the cyclic transfer path 34. FIG.
FIG. 5 is a diagram illustrating an output signal of a signal reading unit of the ring CCD according to the first embodiment of the present invention.
FIG. 6 is a timing chart for explaining an electronic shutter function of a ring CCD.
FIG. 7 is a timing chart illustrating a timing sequence for controlling the operation of the ring CCD in the first embodiment of the present invention.
FIG. 8 is a block diagram showing an internal configuration of a waveform processing circuit according to the first embodiment of the present invention.
FIG. 9 is a timing chart illustrating drive waveforms of the light emitting element according to the first embodiment of the present invention.
FIG. 10 is a diagram for explaining a drive signal on the light emission side and an output signal of a waveform processing circuit in the first embodiment of the present invention.
FIG. 11 is a flowchart showing a synchronization process between the blinking cycle of the pointing tool and the electronic shutter operation of the ring CCD in the first embodiment of the present invention.
FIG. 12 is a block diagram showing a system configuration of a coordinate input device according to a second embodiment of the present invention.
FIG. 13 is a diagram for explaining a drive signal on the light emission side and an output signal of a waveform processing circuit in the second embodiment of the present invention.

Claims (7)

示具から予め定められた点滅周期で発光された光によって指示される指示位置を検出し、その検出した座標情報を出力する座標入力装置であって、
前記発光さた光を検出する第1の受光センサと、
前記発光さ光の時系列変化を検出する第2の受光センサと、
前記第2の受光センサによって検出された前記発光された光の時系列変化に基づいて、前記発光された光の点滅周期に対して、前記第1の受光センサの検出動作を同期させる同期制御手段と、
前記同期制御手段によって同期された状態の前記第1の受光センサから出力される信号に基づいて、前記指示位置の座標を算出する演算手段と、
を備えることを特徴とする座標入力装置。
Detecting the indication position indicated by the emitted light in a predetermined blink period from the finger示具, a coordinate input device which outputs the detected coordinate information,
First light receiving sensor for detecting the emitted light,
A second light receiving sensor for detecting a change in the time series of the emitted light,
The second based on a change in time series of said detected light emitted by the light-receiving sensor for the flashing cycle of the emitted light, the first synchronization control for synchronizing the detection operation of the light receiving sensor Means,
Calculation means for calculating coordinates of the indicated position based on a signal output from the first light receiving sensor in a synchronized state by the synchronization control means;
A coordinate input device comprising:
前記第1の受光センサは、互いに平行でない2方向に配置された2つのラインセンサである
ことを特徴とする請求項1記載の座標入力装置。
The coordinate input device according to claim 1, wherein the first light receiving sensor is two line sensors arranged in two directions not parallel to each other.
前記ラインセンサは、光電変換素子と、その素子に発生した電荷を逐次追加しながら蓄積可能なリング状の電荷転送路とを備えるリングCCDであって、
前記同期制御手段は、前記リングCCDに対して、前記発光された光の点滅周期に同期して前記光電変換素子に光電変換を行わせると共に、その変換によって発生した電荷を、前記電荷転送路を循環させると共に該点滅周期に同期して逐次追加しながら蓄積させ、
前記演算手段は、前記電荷転送路に蓄積された電荷を電気信号として順次読み出し、その読み出した電気信号の差分に基づいて、前記指示位置の座標を算出する
ことを特徴とする請求項2記載の座標入力装置。
The line sensor is a ring CCD including a photoelectric conversion element and a ring-shaped charge transfer path capable of accumulating while sequentially adding charges generated in the element,
The synchronization control means causes the ring CCD to perform photoelectric conversion on the photoelectric conversion element in synchronization with the blinking cycle of the emitted light, and transfers charges generated by the conversion to the charge transfer path. Circulate and accumulate while adding sequentially in synchronization with the blinking cycle,
3. The calculation unit according to claim 2, wherein the calculation unit sequentially reads out the electric charge accumulated in the charge transfer path as an electric signal, and calculates the coordinates of the indication position based on a difference between the read electric signals. Coordinate input device.
前記同期制御手段は、前記発光された光の光量に応じて、前記電荷転送路で前記光電変換素子に発生した電荷を逐次追加しながら蓄積する期間を変化させる
ことを特徴とする請求項3記載の座標入力装置。
4. The synchronization control unit changes a period for accumulating while sequentially adding charges generated in the photoelectric conversion element in the charge transfer path according to a light amount of the emitted light. Coordinate input device.
前記同期制御手段は、前記指示位置の座標を1ポイント分処理する度に、前記第2の受光センサによって検出した前記発光された光の時系列変化に基づいて、前記発光された光の点滅周期における1点灯期間の開始タイミングまたは終了タイミングを検知し、その検出したタイミングから予め定められた時間ずらした同期タイミングに前記第1の受光センサによる検出動作を同期させる
ことを特徴とする請求項1乃至請求項4の何れかに記載の座標入力装置。
The synchronization control means, the coordinates of the indicated position each time the processing 1 point fraction, the second based on a change in the time series of the emitted light detected by the light receiving sensor, blinking of the emitted light 2. A start timing or an end timing of one lighting period in a cycle is detected, and a detection operation by the first light receiving sensor is synchronized with a synchronization timing shifted by a predetermined time from the detected timing. The coordinate input device according to claim 4.
前記指示具は、発光する点滅光の点灯期間を前記点滅周波数より十分大きい周波数のキャリヤによって変調する変調手段を備えており、
前記同期制御手段は、前記第2の受光センサによって検出された前記発光された光を表わす電気信号に対して、前記キャリヤと略同一な周波数に共振点を持つバンドパスフィルタを通過させることにより、その電気信号に含まれる前記キャリヤと略同一な周波数成分のみを抽出する波形処理回路を含む
ことを特徴とする請求項1記載の座標入力装置。
The indicator includes modulation means for modulating the lighting period of the flashing light to be emitted by a carrier having a frequency sufficiently higher than the flashing frequency,
The synchronization control means passes an electric signal representing the emitted light detected by the second light receiving sensor through a band pass filter having a resonance point at substantially the same frequency as the carrier, 2. The coordinate input device according to claim 1, further comprising a waveform processing circuit for extracting only a frequency component substantially the same as the carrier contained in the electric signal.
前記指示具は、操作スイッチと、そのスイッチの操作に応じて前記変調手段による変調の有無を制御する変調制御手段とを更に備えており、
前記同期制御手段は、前記第2の受光センサによって検出された前記発光された光を表わす電気信号の時系列変化に基づいて、前記変調手段による変調の有無を判断することにより、前記スイッチの操作状態を検出する検出手段を含む
ことを特徴とする請求項1記載の座標入力装置。
The indicator further includes an operation switch, and a modulation control means for controlling the presence or absence of modulation by the modulation means in accordance with the operation of the switch,
The synchronization control means, on the basis of the change in the time series of second electrical signals representative of light the emitted detected by the light receiving sensor, by determining the presence or absence of modulation by the modulating means, the switch The coordinate input device according to claim 1, further comprising detection means for detecting an operation state.
JP21574299A 1998-10-01 1999-07-29 Coordinate input device Expired - Fee Related JP4266446B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP21574299A JP4266446B2 (en) 1999-07-29 1999-07-29 Coordinate input device
US09/406,868 US6967644B1 (en) 1998-10-01 1999-09-28 Coordinate input apparatus and control method thereof, and computer readable memory

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21574299A JP4266446B2 (en) 1999-07-29 1999-07-29 Coordinate input device

Publications (3)

Publication Number Publication Date
JP2001043007A JP2001043007A (en) 2001-02-16
JP2001043007A5 JP2001043007A5 (en) 2006-08-31
JP4266446B2 true JP4266446B2 (en) 2009-05-20

Family

ID=16677463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21574299A Expired - Fee Related JP4266446B2 (en) 1998-10-01 1999-07-29 Coordinate input device

Country Status (1)

Country Link
JP (1) JP4266446B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004287731A (en) * 2003-03-20 2004-10-14 Nec Corp Pointing device and portable equipment provided with it

Also Published As

Publication number Publication date
JP2001043007A (en) 2001-02-16

Similar Documents

Publication Publication Date Title
US6740860B2 (en) Photodetector, photosensing position detector, coordinate input device, coordinate input/output apparatus, and photodetection method
US6967644B1 (en) Coordinate input apparatus and control method thereof, and computer readable memory
US9729247B2 (en) Methods and apparatus for multiphase sampling of modulated light
US9215449B2 (en) Imaging and processing using dual clocks
US6636199B2 (en) Coordinate input apparatus and method, coordinate input pointing device, storage medium, and computer program
CN100426316C (en) Biometric authenticating apparatus and image acquisition method
CA2521390A1 (en) Sensing device for coded data
CN105474147A (en) Capacitive touch system
US20050248531A1 (en) Coordinate input apparatus, coordinate inputting method, information display system and storage medium and program
US20160041632A1 (en) Contact detection system, information processing method, and information processing apparatus
JP2011138503A (en) Object detection device
JP4266446B2 (en) Coordinate input device
US11314334B2 (en) Gesture recognition apparatus, control method thereof, and display apparatus
JP3591808B2 (en) Image input device and method and recording medium
CN111476164B (en) Biological characteristic image acquisition device, biological characteristic image acquisition method and intelligent equipment
JP2002049470A (en) Coordinate input device
JP2002049469A (en) Coordinate input device
CN109863604A (en) Imaging sensor with phase sensitive pixel
JP3950625B2 (en) Light receiving position detection device, coordinate input device, and coordinate input / output device
JP4261696B2 (en) Coordinate input device
JP3984784B2 (en) Photodetector and coordinate input device
US4950899A (en) Position detecting circuit with CCD and relatively moving source
US10225505B2 (en) Electronic device for analyzing a scene
JPS6159590B2 (en)
CN104316173A (en) Self-adaptive synchronous integral photoreceiver based on acousto-optic scanning

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060719

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060719

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060719

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080731

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080807

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090206

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090217

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130227

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140227

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees