JP2001508204A - 記録方法および装置 - Google Patents

Abstract

(57)【要約】 ペンを使って選択した文字列を記録するための方法において、ペンをこの文字列の上を通し、これと同時に、内容が部分的に重複する複数の画像を２次元センサ面を有する感光センサ８を使って記録する。記録した画像は一つの画像に水平および垂直両方で編集される。次に、この複合画像の中の文字を識別し、所定の文字コードフォーマットを使ってこのペンの中に記憶する。この編集、文字識別、および記憶は、信号処理ユニット２０〜２４を使って行う。この方法およびこのペンによって、このペンの異なる運動速度および異なる回転角度に対する補償が得られる。

Description

【発明の詳細な説明】 記録方法および装置発明の分野 本発明は、請求項１の前段部分による、選択した文字列を記録するためのペン 、並びに請求項７の前段部分による、そのような記録を行う方法に関するもので ある。発明の背景 文章テキストの読者は、文章の最も重要な部分に印を付け、次回その文章を通 読するときに容易にこれを見つけ、関係のない部分を読まずに済むようにするこ とを、しばしば望む。この目的に対し、いわゆるハイライトペン（光彩ペン）を 使うことが知られている。 読者はまた、文章の選択した部分を新しい文書としてまとめることが必要なこ ともあり、文書はコンピュータのワープロソフトで編集ができる。文章をコンピ ュータに入れるための既知の方法は、スキャナ（走査装置）を使うことである。 スキャナには据置型スキャナと携帯型スキャナがある。据置型スキャナは、ペー ジ全体の文章を走査するために使用し、スキャナは文章の上を自動的に一定速度 で通される。この種のスキャナは、あるページのある文章の選択した部分を走査 することには適していない。一方、携帯型スキャナは、これを目的として使うこ とができる。 米国特許第５，３０１，２４３号は、支持体上の文字列から文字を読むための 手持式スキャナを開示している。このスキャナは、支持体と接触して読み込む文 字の上を通過し、この支持体の細かい部分を「見る」光学系を有する。この光学 系には、ＣＣＤ（電荷結合素子）型のラインセンサがあり、それは一列に並ぶ複 数の感光素子を有する。このスキャナが支持体上の文字の上を通過するとき、一 連の文字およびその間のスペースを縦に「スライス（切断）したもの」として記 録する。この「スライスしたもの」はディジタルビットマップ（digital bitmap ）としてこのスキャナの中に記憶される。次に，ＯＣＲ（光学式文字認識）ソフ トを使って走査した文字を識別し、それらを文字コードのフォーマット （体裁）で、例えば、アスキー（ＡＳＣＩＩ）コードを使って、メモリ（記憶装 置）に記憶する。文字認識は、スキャナの中、またはビットマップになされた文 字が送られる外部のコンピュータで行うことができる。 携帯型スキャナを使うことに関する問題は、文字を正しく識別するために、こ のスキャナが、走査した「スライスしたもの」の間隔を知らねばならないことで ある。これは、スキャナを文字の上で一定の速度で通過させるか、そうでなけれ ばスキャナが非常に正確な距離計を有していなければならいことを意味するが、 前者を手動で達成することは非常に困難である。 上述の米国特許第５，３０１，２４３号では、この距離問題を車輪の形状の機 械的距離計を使って除去している。しかし、機械的距離計は可動部品を有し、こ のことは耐久性および製造に関する限り欠点である。更に、この距離計が新聞等 から情報を記録する場合、これらを堅い面上に置かなければ困難である。その上 、この距離計は記録する情報を採る面に車輪を当接しなければ成らず、従ってこ の面に当接するスキャナの端を大きくするので、記録すべき情報を見る可能性が 減ぜられる。 既知の携帯型スキャナに関する別の問題は、それらを全時間実質的に一つの所 定の方向に向けて保持しなければならないことである。更に詳しくは、センサを 、ペンが動かされる方向と垂直に、即ち文字列に垂直に向けなければならない。 もし、文字列を記録するときに、スキャナを他の方向に保持またはその縦軸周り に回転させると、走査した「スライス」に方向情報がないので、スキャナは記録 した文字を識別することが困難であろう。これは、人が違えばスキャナの持ち方 が違うことが多いので、先行技術の重大な欠点である。特に、右利きと左利きの スキャナの持ち方に違いがある。更に、スキャナを線に沿って動かすとき、人は しばしば手の位置を変える。これは、手に本等を持っており、この文章を記録し たいときに特に問題である。 米国特許第４，９４９，３９１号は、距離計のない光学式スキャナを開示して いる。更に詳しくは、この光学式スキャナには２次元センサがあり、これがスキ ャナの通過する文章の内容を、部分的に重複して画像に記録する。しかし、この 手持式スキャナは、実際は文字を解釈せずに記録する「愚鈍な」記録ユニットに 過ぎない。その代りに、このスキャナを接続したコンピュータでＯＣＲ処理を行 う。このスキャナは、画像から冗長な情報を持つ列を除去するために、逐次記録 した画像を互いに関連づけ、保管場所が少ししか要らないようにしている。この スキャナは、車輪が決める所定の方向にしか動かせない。発明の要約 この発明の一つの目的は、携帯型スキャナの先行技術の上述の問題を除去し、 または少なくとも軽減すること、並びに、特に距離計を使わずに且つ一定速度で 動かす必要なしに、選択した文字列の記録に使える方法およびペンを提供するこ とである。 これに関連して、別の目的は、縦軸周りの異なる方法で回転して保持すること ができ、および、特に選択した文字列を記録する間、記録した文字の識別の信頼 性を決定的に下げることなくペンをその縦軸周りに回転可能にする方法およびペ ンを提供することである。 これらの目的は、それぞれ請求項１および請求項７に述べる特徴を有する、選 択した文字列を記録するためのペンおよび方法によって達成される。 上述のように、この発明によるペンおよび方法は、このペンを選択した文字列 の上を通すことによって、文字列を記録するために使用する。この選択した列は 、例えば１ないし数語または長い文章から選択した１ないし数文から成ってもよ い。これらの文字は、英字、数字および／またはその他書かれた文字若しくは記 号でもよい。これらの文字は、光学的に走査できる紙またはその他の媒体から走 査してもよい。 このペンは、２次元センサ面を備える感光センサを含む。ここで、２次元セン サ面とは、互いに垂直な二つの方向それぞれに二つ以上の画素を記録できるセン サ面を指す。このセンサは、ＣＣＤ型が好ましい。それは、２次元画像をグレー スケール（grey scale）またはカラーで記録できる。これらの画像は、各々明暗 値によって決る複数の画素から成る。これらの画像の高さは、記録すべき最も高 い文字に対して、本質的に余裕があるべきである。これらの画像の幅は、所望す る画像記録頻度および利用できるセンサに基づいて選択できる。 更に、このペンは、少なくとも中央処理ユニット、メモリ、入／出力回路、お よびこの発明による方法を実行するための指示プログラムを含む信号処理ユニッ トを含む。この信号処理ユニットは、適当にプログラムしたマイクロプロセッサ を含むのが好ましい。この信号処理ユニットは、内容が部分的に重複する画像を 使って、記録した画像を一つの画像に編集する。この編集は、これらの画像の水 平方向情報は勿論、垂直情報も利用するように、垂直および水平の両方で行う。 結果として、この複合画像に内容の重複はない。 画像を編集し終ったとき、信号処理ユニットがこの画像の中の文字を識別し、 それらを文字コードのフォーマットでこのペンの中のメモリに記憶する。これは 、このペンがスタンドアロン型（独立型）であることを意味する。しかし、外部 コンピュータに適当に接続し、これに情報を伝送することができる。複合画像は 、所定の最大長さであるのが好ましい。記録したがまだ編集してない画像の処理 速度を増し、必要メモリを減らすために、画像を記録すると編集を逐次適当に実 施する。そして、編集を同時に実行できるという事実が、記録した画像に対する 必要メモリを減少する。この編集は、通常記録した画像を全て編集するまで続く 。しかし、それは複合画像の所定の最大長さに達すると中断される。これに対し て、記録完了後に編集を行ってもよく、この場合は所定の最大数の画像が記録で き、その後これらの画像が一つの画像に編集される。ペンは記録を再開する準備 ができたことを表示する表示装置を有することができる。 ２次元センサ面を備えるセンサを使うこと、内容が部分的に重複する画像を記 録できることおよびそれらの画像を一つの画像に編集することによって、一定速 度の運動または距離計の具備に対する必要性をなくすることができる。画像の内 容が部分的に重複するために、これらの画像はそれ自体が相対位置についての情 報、即ち距離情報を含み、この結果、距離計を使ってこの情報を記録する必要が ない。更に、これらの重複画像がその相対位置を示す方向情報を含むので、ユー ザは、文字識別を損うことなくこのペンを文章に対して任意の回転角度で保持で き、且つ画像を記録しながらペンを回転することさえできる。これは、使い勝手 を可成り改善する。 ユーザが記録した文字列を、最初にそれを普通のコンピュータへ伝送する必要 なく読めるように、このペンがディスプレーを有することが好ましい。 上述のように、編集の実行が可能であるように、記録した画像の内容に幾らか の重複がなければならない。この重複程度は、２０％以上、好ましくは５０％以 上である。 記録した画像のコントラストを十分に大きくし、ペンを文字列に対して動かす ことにより生ずるぼけを避けるため、ペンを文字列の上を通すとき、記録すべき 文字を光パルスで照明するのが好ましい。この照明は、この装置に内蔵または取 付けた照明手段、例えば、ＬＥＤ（発光ダイオード）を使って適宜達成すること ができる。この光パルスの周波数は、画像を記録するための周波数、即ち感光セ ンサの内容を読むための周波数と同じとし、それと同期させるべきである。例え ば、速くて機械的なシャッター（開閉器）をパルス照明の代りに使うことができ る。しかし、これは装置を複雑にする。 画像を編集するとき、対となる各画像の対の内容間の最善の一致をもたらす重 複位置を決定するために、逐次記録した画像を、可能性ある重複位置に関して二 つ一組で調べるのが好ましい。この様に決定した重複位置を、この対の画像を編 集するときに使用する。 この最善の重複位置を決定したとき、各重複画素に対して画素明暗度を決定す るのが好ましい。この画素明暗度は、対となる画像そのものの画素の明暗度に基 づく。この様にして決定した画素明暗度を最終複合画像に使う。 全画像を編集し終ったとき、この画像を、各々が１文字を含む複数のサブ画像 に分割するのが好ましい。この分割は、物理的分割ではなく、全画像で行うべき で、実際の文字認識の準備を構成し、各文字を別々に解釈するのが好ましい。ま た、その代りに語全体またはその部分を解釈してもよい。 画素の明暗度を行毎におよび列毎に合計することによって複数の行和および列 和を得、さらに得た行和および列和間の局部的最小値を識別することによって、 画像をサブ画像に分割することができる。 複合画像の中の文字の識別は、ニューラルネットワークを使って行うのが都合 がよい。 これに関連して、サブ画像の中の各画素の明暗度が決められ、入力信号を使っ て前記サブ画像の中の文字を識別するニューラルネットワークに、入力信号とし て送られるのが適当である。 文字の識別に先立って、もし必要なら、画像の中の文字が水平な行を形成する ように、複合画像を回転することができる。これは、識別を容易にする。 この発明によるペンは、例えば、勉強しながら文章を記録するため、数値を走 査するため、紙の形でだけ存在する古い文書に基づいて新しい文書を作るため、 およびその他の多くの用途に使うことができる。図面の簡単な説明 以下に本発明をその実現方法および使い方の例によって説明する。説明は、以 下の添付図面を参照する。 図１は、本発明によるハイライトペンの実施例を示した概略的図である。 図２は、本発明によるハイライトペンの実施例における電子回路のブロック線 図である。 図３は、本発明による方法の流れ線図で、その実行方式を示す。 図４ａ〜図４ｅは、本発明による方法の実行例を示す。 図５ａ〜図５ｃは、本発明による方法の他の実行例を示す。 図６ａ〜図６ｃは、本発明による方法の別の実行例を示す。発明の詳細な説明 図１の本発明によるペンの実施例は、従来のハイライトペンとほぼ同じ形状の ケーシング１を有する。このケーシング１は一つの短い端面に窓２を有し、これ は文字を読取るべき、通常１枚の紙である記録媒体に当接または少し隔離して保 持することが意図されている。窓２の幅は、所望の画像記録頻度、所望の最大牽 引速度および利用できるセンサに基づいて選択する。窓２の高さは、記録すべき 文字の最大高さより幾らか大きい。窓２は、このペンの縦軸と鋭角を成し、ユー ザがこのペンを紙と所定の角度に保持するように案内する。更に、この窓は、紙 と接して疲労することがないように、ケーシングの中に幾らか引込んでいる。 ケーシング１は、本質的に光学部分３、電子部分４および電源５を含む。 光学部分３には、ＬＥＤ６、レンズ系７および電子部分４とのインタフェース を構成する感光センサ８がある。 ＬＥＤ６は、記録媒体の目下窓の下にある部分を照明する役割を持つ。拡散体 ９をＬＥＤ６の前に取付け、光を拡散する。 レンズ系７の役割は、感光センサ８の窓２の下にある記録媒体の部分の画像を できるだけ正確に投射することである。もし、センサ８の感光面積が窓２より小 さければ、レンズ系７は画像の縮小もしなければならない。当業者は、この目的 を満足する多数の異なるレンズ系を構成できるであろう。 この実施例では、感光センサ８がＡ／Ｄ変換器内蔵の２次元正方形ＣＣＤユニ ットから成る。そのようなセンサは市販されている。ここで、センサ８は、窓２ に対して小さな角度で、それ自体のプリント基板１１に取付けられる。 このペンの電源は、ケーシング内の別の区画１３に取付けた電池１２から供給 される。 図２のブロック線図は、電子部分４を概略的に示す。それはプロセッサ（演算 装置）２０を含み、プロセッサはバス（母線）２１の仲介によって、プロセッサ のプログラムを記憶するＲＯＭ２２、このプロセッサの作業メモリを構成し且つ センサからの画像並びに識別および解釈した文字を記憶する読み／書きメモリ２ ３、制御論理ユニット２４、並びにセンサ８およびＬＥＤ６に接続する。次に、 この制御論理ユニット２４は、ケーシングに取付けたディスプレー２５、外部コ ンピュータに情報を送受信するための赤外線トランシーバ（赤外線無線送受信機 ）２６、ユーザがこの装置を制御するためのボタン２７、ユーザが文章を追跡す るのを容易にする光ビームを出すトレーサ（追跡用）ＬＥＤ２８、およびこのペ ンが文字を記録する用意ができたことを表示するＬＥＤを含む表示装置２９とい った多数の周辺ユニットに接続されている。これらのメモリ、センサ、および周 辺ユニットへの制御信号は、制御論理ユニット２４で発生する。この制御論理ユ ニットは、プロセッサへの割込みの発生および優先順位づけも扱う。ボタン２７ 、赤外線トランシーバ２６、ディスプレー２５およびトレーサＬＥＤ２８、並び にＬＥＤ６は、この制御論理ユニットのレジスタ（一時記憶装置）でプロセッサ の読み書きが行われることによってアクセスされる。ボタン２７は、それらを作 動しているとき、プロセッサ２０への割込みを発生させる。 このペンは、次のように作動する。ユーザがこのペンを文章のある紙に向けて 文字列の記録を始めたい位置に保持する。ボタン２７を押してこのペンを作動さ せ、ペンを記録したい文章の上で動かし、文章を読むときと同様にこの文章をな ぞる。トレーサＬＥＤ２８がこれらの行の追跡を容易にする光ビームを出す。ユ ーザがこのペンを作動させるとき、プロセッサ２０は、ＬＥＤ６に２５Ｈｚの所 定の周波数でストロボパルスの発生開始を指示し、センサが記録した画像を同じ 周波数で読み／書きメモリ２３に記憶する。しかし、画像の形で記憶される文章 は、大量のメモリスペースを要し、また、コンピュータ例えばワープロソフトで 直ちに使うことができない。従って、画像の文字は、アスキーコードを使って識 別し、記憶する。ユーザが選択した文字列の上でペンを動かし終った、または行 の終りまで来たときは、ペンを紙から上げて、作動状態にあるボタンを開放し、 それによってプロセッサ２０がＬＥＤ６を消す。選択した文字列を記録したとき 、ユーザは、記録した文章をディスプレー２５上に表すように、またはこの文章 を赤外線トランシーバ２６を通じて外部コンピュータへ伝送するようにペンを制 御できる。ユーザがしばしば正しい文字を走査したことを確かめたがるので、操 作した文字情報を直接ディスプレー上に示し得ることが、非常に本質的であるこ とが分った。 図３の流れ図は、この発明による方法の実行方式を示す。段階３０１で、内容 の重複する画像を上に説明したペンを使って走査し、読み／書きメモリ２３の現 画像領域に記憶する。これらの画像は、画像の状態で、即ち各々白から黒までの 範囲のグレースケール値を有する複数の画素を用いて記憶される。 全画像を現画像領域に記憶すると、直ちにこの画像の先の画像との編集を、も しそのような画像があれば、適当に始める（段階３０２）。もし先の画像が何も なければ、現行画像を読み／書きメモリの行画像領域に直接入れる。 画像の内容間で最善の一致を達成するために、現行画像を先の画像と如何に編 集するかを決める必要があり、画像間のあらゆる可能性ある重複位置を画素レベ ルで調べ、重複量を次のように決定する： （１）各重複画素位置に対して、含まれる二つの画素のグレースケール値を、 もし後者が白でなければ、合計する。どの画素も白でない画素位置をプラス位置 と称する。 （２）全てのプラス位置に対するグレースケール値を合計する。 （３）各画素位置の隣の画素を調べる。もし、重複する画素位置がプラス位置 の隣でなく、白の画素および白でない画素からなる画素位置であれば、この白で ない画素のグレースケール値を項目（２）の和から、事によると定数を掛けて、 引く。 （４）上に述べたような最高重複量をもたらす重複位置を選択する。できた複 合画像では、グレースケール値の平均値を使う。この様にして、重複領域でノイ ズを抑えることができる。編集は、この様にして垂直と水平の両方で行う。もし 、編集したとき、画像が水平線に終らないことを検出したならば、複合画像を適 当に調整して、例えば、複合画像を回転することによって、それが水平になるよ うにする。 この複合画像は、読み／書きメモリの行画像領域で次第に発展する。この行画 像領域は、通常のタイプライターで打ち込まれたＡ４の文章の行を記憶するに十 分な大きさであるのが好ましい。 段階３０３で、プロセッサ２０のソフトウェアが行画像メモリ領域の複合画像 を、各々１文字しか含まないサブ画像に分割する。この目的は、これらの文字を 解釈するニューラルネットワークソフトウェアへの入力信号を創ることである。 この分割は、複合画像の各画素行および各画素列に対するグレースケール値を合 計することによって行う。得られた行の和および列の和に対する局部的な最小明 暗度を検討することによって、各文字の広がりの境界を知ることができる。 もし、複合画像が１行を越える文章を含むならば、このようなことは文章が小 さい場合に有り得るが、このときはサブ画像に分割する前に文章の行を分離し、 且っ問題の行を選択しなければならない。この分離は、サブ画像に分けるために 使うような手法を使って行うことができる。 段階３０４で、サブ画像を、各々の画素がグループ内の画素の平均グレースケ ール値に一致した画素で置換えられた画素のグループに分割することによって、 所定の画素フォーマットに縮小する。もし必要なら、類似の縮小を、この発明に よる方法の他の段階の間で行うことができる。更に、文字をその平衡点に関して 芯出しし、グレースケール値を、各画素のグレースケール値の二乗の和を値とし て与えて標準化する。 次に、段階３０５で、描かれた文字列の複合画像の各文字を解釈する。一緒に １文字しか含まないサブ画像を構成する画素のグレースケール値を、ニューラル ネットワークへ入力信号として送る。このニューラルネットワークからの各出力 は、このネットワークが認識できる文字を表している。このネットワークからの 最高出力信号を有する出力を選択し、この様に選択される文字を、段階３０６で 、所定の文字コードフォーマット、例えばアスキーコードを使って解釈した文字 用であるメモリ領域の読み／書きメモリ23に記憶する。文字コードフォーマット での文字識別および記憶を完了したとき、プロセッサは表示装置２９を作動させ てユーザに新しい文字列を記録する準備ができたことを知らせる（段階３０７） 。次に、段階３０１へ戻る。 前記説明した段階は、関連するユニットおよび適当なソフトウェアを使って、 プロセッサ２０で実行される。そのようなソフトウェアは、当業者が前記の指示 を使って創ることができる。文字認識は、適当な方法でプログラミングされたニ ューラルネットワークを使って行う。ニューラルネットワークは、例えば、米国 ０１７６０マサチューセッツ州ネーティック、プライムパークウェー２４、マス ワーク社からＭＡＴＬＡＢニューラルネットワークツールボックスとして市販さ れている。 発明による方法が如何に作用するかを説明する。図４ａは、紙の上に小さい黒点 の形の、ある程度の「ドットノイズ」も含む文章を示す。図４ｂは、センサを使 って記録する画像を示す。この図から分るように、この画像の内容は一部重複す る。文字「１」が１番画像に完全に見え、２番画像に部分的に見える。重複程度 は、牽引速度、即ちセンサの内容を読出す周波数に関連して、ユーザがこの装置 を文章の上を引く速度に依る。図４ｃは、複合画像全体がどの様に見えるかを示 す。注意すべきは、画像がまだ画素の形で記憶されていることである。図４ｄは 、全画像の、サブ画像への分割を示す。図４ｅは、ニューラルネットワークへの 入力信号として使用する、基準化および正規化した文字を示す。この方法を実行 しスキーコードとして記憶される。 図示した実施例では、ペンを真っ直ぐ保持し、文字列を記録する間全く回転し なかった。もし、ペンをその縦軸周りに一定角度で回転して保持すると、画像は 図５ａのものになるだろう。この場合、画像を編集すると、傾斜した画像が得ら れ（図５ｂ参照）、文字列を水平にする（図５ｃ）ためには、それを回転しなけ ればならない。どの程度の回転をすべきかを決定するためには、複合画像の文字 の位置を２、３の場所で検出する。 もし、ペンを記録するときその縦軸の周りに回転すると、画像の傾斜が異なる 。この例を図６ａに示す。これらの画像を編集すると（図６ｂ参照）、波形の文 字列が得られる。それは、複合画像の文字の位置を複数の場所で検出し、異なる 部分を異なる程度に回転することによって（図６ｃ参照）、水平な線に整えるこ とができる。

【手続補正書】特許法第１８４条の８第１項 【提出日】平成１０年８月２１日（１９９８．８．２１） 【補正内容】 請求の範囲 １． 文字列の上を通すことによって選択した文字列を記録するためのペンで あって、文字を画像化するための感光センサ（８）および画像化した文字を識別 し且つこれらをペンに文字コードフォーマットで記憶する信号処理ユニット（２ ０〜２４）を含むペンにおいて、感光センサ（８）が２次元センサ面を有し、こ のセンサが、各画像の内容が先の画像の内容と一部は重なるように、部分的に重 複する内容の複数の画像を使って選択した文字列を画像化するようになされ、信 号処理ユニット（２０〜２４）が、前記複数の画像から複合画像を創り且つペン の異なる運動速度および異なる回転角度に対して補償が得られるように、重複し た画像だけを使って各画像を先の画像と垂直および水平の両方で編集するように なされ、画像化した文字の識別がこの複合画像に基づいて行われることを特徴と するペン。 ２． 請求項１によるペンであって、更に、記録すべき文字を照明するための 光パルスを出すようにされた照明手段（６）を含むペン。 ３． 請求項１または請求項２によるペンにおいて、前記信号処理ユニット（ ２０〜２４）が文字を識別するためのニューラルネットワークを含むペン。 ４． 請求項１から請求項３の何れか一項によるペンにおいて、前記信号処理 ユニットが前記複合画像を、各々１文字しか含まない複数の画像に分割するよう にされたペン。 ５． 請求項１から請求項４の何れか一項によるペンであって、更に、このペ ンが文字を走査する準備ができたことを表示するための表示装置（２９）を含む ペン。 ６． 請求項１から請求項５の何れか一項によるペンであって、更に、識別し た文字を示すためのディスプレー（２５）を含むペン。 ７． ペンを使って選択した文字列を記録するための方法であって、 ペンを選択した文字列の上を通過させ、同時に、この選択した文字列を、各画 像の内容が先の画像の内容と部分的に重複するように、復数の画像を使って画像 化する工程、 前記複数の画像から複合画像を創り且つペンの異なる運動速度および異なる回 転角度に対して補償が得られるように、重複した画像だけを使って各画像を先の 画像と垂直および水平の両方で編集するために、このペンの中の信号処理ユニッ トを使う工程、 複合画像の中の文字を識別する工程、および 所定の文字コードフォーマットを使って、識別した文字を、このペンの中に記 憶する工程を含む方法。 ８． 請求項７による方法であって、更に、前記ペンを記録すべき文字の上を 通過させるとき、それらを光パルスで照明する工程を含む方法。 ９． 請求項７または請求項８による方法において、前記複数の画像を編集す る工程が、逐次記録した各画像の対の内容間の最善の一致をもたらす重複位置を 決定するために、逐次記録した画像を可能性ある重複位置に関して二つ一組で調 べることを含み、この様に決定した重複位置をこの対の画像を編集する際に使用 する方法。 １０． 請求項７から請求項９の何れか一項による方法において、前記記録し た画像の編集をリアルタイムで行う方法。 １１． 請求項９による方法において、前記記録した画像が各々明暗度によっ て決る複数の画素から成り、更に、 前記最善の重複位置を決定してから前記対の画像を編集するとき、各重複画素 に対する画素明暗度を、好ましくは平均値で決定する工程であって、その画素明 暗度は対となる画像そのものの画素の明暗度に基づく工程、および この様にして決定した画素明暗度を複合画像に使う工程を含む方法。 １２． 請求項７から請求項１１の何れか一項による方法において、前記文字 を識別する工程が、前記複合画像を各々１文字しか含まない複数のサブ画像に分 割する工程を含む方法。 １３． 請求項１２による方法において、前記複合画像が各々明暗度によって 決る複数の画素から成り、前記複合画像を複数のサブ画像に分割する工程が、複 数の行の和および列の和を得るために前記複合画像の画素の明暗度を行毎におよ び列毎に合計する工程と、この複合画像をサブ画像に分割するために得た、これ らの行の和および列の和間の局部的な最小値を識別する工程とを含む方法。 １４． 請求項１２または請求項１３による方法において、各サブ画像が各々 明暗度によって決る複数の画素から成り、記録した画像の中の文字を識別する工 程が、サブ画像の中の各画素の明暗度を決める工程と、それを、前記サブ画像の 文字を入力信号を使って識別するようにされたニューラルネットワークに対する 入力信号として送る工程とを含む方法。 １５． 請求項７から請求項１４の何れか一項による方法であって、更に、前 記文字の識別に先立って、前記画像の中の文字が水平な行を形成するように、前 記複合画像を回転する工程を含む方法。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＫＥ，ＬＳ，ＭＷ，Ｓ Ｄ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ， ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＣＺ，ＤＥ，ＤＥ，Ｄ Ｋ，ＤＫ，ＥＥ，ＥＥ，ＥＳ，ＦＩ，ＦＩ，ＧＢ，ＧＥ ，ＧＨ，ＨＵ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ， ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，Ｌ Ｕ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ， ＳＩ，ＳＫ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，Ｕ Ａ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＷ

Claims (1)

1. 【特許請求の範囲】 １． 文字列の上を通すことによって選択した文字列を記録するためのペンで 、文字を画像化するための感光センサ（８）およびこれらの画像化した文字を識 別し且つそれらをこのペンに文字コードフォーマットで記憶するための信号処理 ユニット（２０〜２４）を含むペンに於いて、この感光センサ（８）が２次元セ ンサ面を有し、このセンサが部分的に重複する内容の複数の画像を使って、選択 した文字列を画像化するようにされていること、並びにこの信号処理ユニット（ ２０〜２４）が上記複数の画像を垂直および水平の両方で複合画像に編集するよ うにされ、それによってこのペンの異なる運動速度および異なる回転角度に対す る補償が得られること、並びに画像化した文字の識別をこの複合画像に基づいて 行うことを特徴とするペン。 ２． 請求項１によるペンであって、更に、記録すべき文字を照明するための 光パルスを出すようにされた照明手段（６）を含むペン。 ３． 請求項１または請求項２によるペンにおいて、前記信号処理ユニット（ ２０〜２４）が文字を識別するためのニューラルネットワークを含むペン。 ４． 請求項１から請求項３の何れか一項によるペンにおいて、前記信号処理 ユニットが前記複合画像を、各々１文字しか含まない複数の画像に分割するよう にされたペン。 ５． 請求項１から請求項４の何れか一項によるペンであって、更に、このペ ンが文字を走査する準備ができたことを表示するための表示装置（２９）を含む ペン。 ６． 請求項１から請求項５の何れか一項によるペンであって、更に、識別し た文字を示すためのディスプレー（２５）を含むペン。 ７． ペンを使って選択した文字列を記録するための方法であって、 このペンを選択した文字列の上を通し、且つ同時にこの選択した文字列を、内 容が部分的に重複する複数の画像を使って、画像化する工程、 上記複数の画像を、このペンの中の信号処理ユニットを使って、垂直および水 平の両方で複合画像に編集し、それによってこのペンの異なる運動速度および異 なる回転角度に対する補償を得る工程、 この複合画像の中の文字を識別する工程、並びに これらの識別した文字を、所定の文字コードフォーマットを使って、このペン の中に記憶する工程、 を含む方法。 ８． 請求項７による方法であって、更に、前記ペンを記録すべき文字の上を 通過させるとき、それらを光パルスで照明する工程を含む方法。 ９． 請求項７または請求項８による方法において、前記複数の画像を編集す る工程が、逐次記録した各画像の対の内容間の最善の一致をもたらす重複位置を 決定するために、逐次記録した画像を可能性ある重複位置に関して二つ一組で調 べることを含み、この様に決定した重複位置をこの対の画像を編集する際に使用 する方法。 １０． 請求項７から請求項９の何れか一項による方法において、前記記録し た画像の編集をリアルタイムで行う方法。 １１． 請求項９による方法において、前記記録した画像が各々明暗度によっ て決る複数の画素から成り、更に、 前記最善の重複位置を決定してから前記対の画像を編集するとき、各重複画素 に対する画素明暗度を、好ましくは平均値で決定する工程であって、その画素明 暗度は対となる画像そのものの画素の明暗度値に基づく工程、および この様にして決定した画素明暗度値を複合画像に使う工程を含む方法。 １２． 請求項７から請求項１１の何れか一項による方法において、前記文字 を識別する工程が、前記複合画像を各々１文字しか含まない複数のサブ画像に分 割する工程を含む方法。 １３． 請求項１２による方法において、前記複合画像が各々明暗度によって 決る複数の画素から成り、前記複合画像を複数のサブ画像に分割する工程が、複 数の行の和および列の和を得るために前記複合画像の画素の明暗度を行毎におよ び列毎に合計する工程と、この複合画像をサブ画像に分割するために得た、これ らの行の和および列の和間の局部的な最小値を識別する工程とを含む方法。 １４． 請求項１２または請求項１３による方法において、各サブ画像が各々 明暗度によって決る複数の画素から成り、記録した画像の中の文字を識別する工 程が、サブ画像の中の各画素の明暗度を決める工程と、それを、前記サブ画像の 文字を入力信号を使って識別するようにされたニューラルネットワークに対する 入力信号として送る工程とを含む方法。 １５． 請求項７から請求項１４の何れか一項による方法であって、更に、前 記文字の識別に先立って、前記画像の中の文字が水平な行を形成するように、前 記複合画像を回転する工程を含む方法。