JP2004046838A

JP2004046838A - 形状入力表示装置

Info

Publication number: JP2004046838A
Application number: JP2003172407A
Authority: JP
Inventors: Kimiyuki Chatani; 茶谷　公之; Hideaki Shinozuka; 篠塚　英明
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1992-12-04
Filing date: 2003-06-17
Publication date: 2004-02-12

Abstract

【課題】所望の形状を迅速かつ確実に入力し、表示させる。
【解決手段】使用者がペン１６により筆跡Ｓ_０を入力したとき、ディスプレイ部には、この筆跡Ｓ_０が、図６（ａ）に示されるように一旦表示される。この筆跡Ｓ_０に対して特徴抽出処理が行なわれ、その結果得られた直線Ｌ_０および円弧Ａ_０が、図６（ｂ）に示されるように表示される。例えば、使用者が三角形を描くとき、使用者はペン１６で円弧Ａ_０の両端ではなく、直線Ｌ_０の両端と交差するように、新たな線で筆跡Ｓ_１を入力する。使用者は、筆跡Ｓ_１を円弧Ａ_０に対応して書くよりも、直線Ｌ_０に対応して描いた方が、描いた図形が三角形として認識され易くなることを容易に認識することができる。
【選択図】　　　図６

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば電子手帳装置、携帯用コンピュータなどに用いて好適な形状入力表示装置に関する。
【０００２】
【従来の技術】
電子手帳装置あるいは携帯用コンピュータなどにおいては、ペンで文字、図形、記号などの所定の形状を入力することができるようになされているものがある。このように、ペンで種々の形状を入力することができるようになされていると、紙に文字や図形などを描く感覚で装置に指令を入力することができるため、初心者でも比較的簡単に種々の入力を行うことができる。
【０００３】
図３５は、このような従来の装置におけるペン入力の処理を説明するフローチャートである。ステップＳ１において、使用者がペンでタブレット上に所定の筆跡を入力すると、タブレットと一体化されたＬＣＤなどの表示部に、その筆跡が表示される。また、その筆跡のデータがタブレットの座標上の点（ｘ_ｉ，ｙ_ｉ）の集合として取り込まれる。このデータは、ストローク（画）ごとに取り込まれる。第ｋ番目の画のデータは、Ｓ（ｋ）として取り込まれる。
【０００４】
ステップＳ２では、筆跡Ｓ（ｋ）に対する特徴抽出処理が行われる。この特徴Ｐ（ｋ）は、直線Ｌ_ｉ（ｋ）と円弧Ａ_ｉ（ｋ）の集合として表される。即ち、入力した筆跡が所定の数の直線と円弧の集合として検出される。
【０００５】
これらの特徴抽出データＰ（ｋ）は、それ以前の画で入力され、未解放（まだ処理が終了していない）特徴抽出データとともに、次のステップＳ３において、形状判定処理に用いられる。即ち、それまでに入力され、まだ認識が行われていない筆跡から、その筆跡に対応する、予め登録されている形状が存在するか否かが判定される。
【０００６】
それまでに入力された筆跡から所定の形状が認識されない場合、図形認識処理を終了する。そして、次の新たな筆跡が入力されたとき、ステップＳ１の処理から同様の処理を繰り返す。
【０００７】
ステップＳ３において、所定の形状が認識された場合、ステップＳ４に進み、その認識の基礎とされた過去の筆跡データＳ（ｋ）乃至Ｓ（ｋ−ｃ）が消去される。そして、ステップＳ５に進み、それまでのステップＳ２における処理の結果得られた特徴抽出データＰ（ｋ）乃至Ｐ（ｋ−ｃ）が、既に形状認識に用いられたデータとして解放される。さらに、ステップＳ６に進み、ステップＳ３の形状判定処理の結果認識された図形データＦ_０（ｋ−ｃ，ｋ），Ｆ_１（ｋ−ｃ，ｋ）・・・が表示部に表示される。
【０００８】
以上の処理を、具体的表示例を参照してさらに説明する。いま図３６（ａ）に示すように、ペンを用いてタブレット（表示部）上に筆跡Ｓ_０を入力したとする。このとき、ペンの動きがタブレットにより検出され、図３６（ｂ）に示すように、その筆跡が表示部に表示される。ペンをタブレットから離すことを契機として、図形認識処理が開始される。
【０００９】
次に、使用者が図３６（ｃ）に示すように、筆跡Ｓ_１を１画で描いたとする。即ち、いま使用者は、筆跡Ｓ_０と筆跡Ｓ_１とで三角形を描いたものとする。筆跡Ｓ_１の入力を完了すると、この筆跡Ｓ_１の特徴抽出処理が行われる。
【００１０】
図３７（ａ）は、このような筆跡Ｓ_０と筆跡Ｓ_１の特徴抽出結果を示している。この例においては、筆跡Ｓ_０が、直線Ｌ_０と円弧Ａ_０の２つの特徴を有するものとして検出されている。また、筆跡Ｓ_１は、直線Ｌ_１，Ｌ_２と、円弧Ａ_１を特徴とする形状として検出されている。
【００１１】
尚、この図３７（ａ）に示す特徴（形状）は、筆跡Ｓ_０，Ｓ_１を処理した結果得られたものを模式的に示したものであって、表示部には実際には表示されない。
【００１２】
そして、この直線Ｌ_０または円弧Ａ_０と、直線Ｌ_１，Ｌ_２および円弧Ａ_１の組合せにより得られる図形が、予め記憶されている形状と比較され、その形状が三角形として予め記憶されている形状に対応するとき、図３７（ｂ）に示すように、認識した結果得られた三角形の形状Ｔ_０が、それまでの筆跡Ｓ_０，Ｓ_１に代えて表示される。
【００１３】
【発明が解決しようとする課題】
従来の装置は、このように、入力された筆跡Ｓ_０，Ｓ_１を表示部に表示させるとともに、入力された筆跡から、その特徴を抽出し、その特徴から所定の形状を認識することができたとき、その筆跡を消去し、それに代えて、認識した結果得られた図形を表示するようにしている。その結果、使用者は、その装置の認識に際しての癖を理解することができず、所定の形状を認識させるのに時間がかかる課題があった。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、任意の形状を迅速かつ確実に入力し、表示させることができるようにするものである。
【００１５】
【課題を解決するための手段】
請求項１に記載の形状入力表示装置は、オンラインで手書き入力した形状を表示する形状入力表示装置において、形状を手書き入力する入力手段としてのペン１６と、ペン１６により入力された形状を表示する入力形状表示手段としてのプログラム上のステップＳ１１と、ペン１６により入力された形状が、予め記憶された形状と対応するか否かを認識する認識手段としてのプログラム上のステップＳ１５と、ステップＳ１５により認識した結果得られた認識形状が複数あるとき、複数の認識形状を、ペン１６による入力位置の近傍に、まとめて表示する認識形状表示手段としてのプログラム上のステップＳ２４とを備えることを特徴とする。
【００１６】
複数の認識形状を、時間的にずらして自動的に順次表示したり、ペン１６による指令が入力される毎に表示することができる。また、複数の前記認識形状を、認識形状を構成する線の属性を変えて同時に表示することもできる。
【００１７】
複数の認識形状のうち、表示するものの範囲を指定する指定手段としてのカーソル１０２をさらに設け、表示する認識形状を、その指定に対応して変更するようにすることができる。
【００１８】
また、複数の認識形状を構成する線の太さを選択する選択手段としてのカーソル１０２をさらに設け、認識形状を構成する線の太さを、その選択に対応して変更することができる。
【００１９】
請求項１に記載の形状入力装置においては、認識形状が複数あるとき、複数の認識形状が、ペン１６による入力位置の近傍に、まとめて表示される。従って、より迅速かつ確実な認識が可能になる。
【００２０】
【発明の実施の形態】
図１は、本発明の形状入力表示装置としてのオンライン手書き形状入力表示装置の一実施の形態の構成を示すブロック図である。ＣＰＵ１は、ＲＯＭ２に記憶されているプログラムに従って各部を制御し、形状入力表示動作を実行するようになされている。ＲＡＭ３には、必要に応じて所定のデータなどが記憶される。バックアップＲＡＭ４には、バッテリ５から常に所定の電力が供給されており、装置の電源をオフした場合においても、記憶しておきたい情報を記憶するようになされている。タイマ６は、水晶振動子７を基準にして、バッテリ５で常時動作するようになされている。
【００２１】
ディスプレイコントローラ１１は、バスライン８を介して入力されるデータをＶ−ＲＡＭ１２に展開し、そこに展開された画像をディスプレイ部１３に表示させるようになされている。入力タブレット１５は、ペン１６を操作することにより、入力された座標位置データをタブレットインタフェース１４に出力し、タブレットインタフェース１４は、このデータをバスライン８を介してＣＰＵ１あるいはディスプレイコントローラ１１に出力するようになされている。
【００２２】
マイク１８は、集音した音声信号を固体録音処理回路１７に出力し、記憶させるようになされている。また、固体録音処理回路１７が出力した音声信号は、加算器２０を介してスピーカ２１に供給され、放音されるようになされている。ダイアラー１９は、ＣＰＵ１に制御され、所定のダイアル信号を加算器２０を介してスピーカ２１に出力するようになされている。
【００２３】
複数のキースイッチ群２２は、装置の動作を切り換えるとき操作され、その操作に対応する信号がキーインタフェース２３からバスライン８を介してＣＰＵ１に出力されるようになされている。また、複数のキースイッチ群２４の所定のものを操作することにより電源回路２５をオンし、各部に電力を供給させるようにしたり、固体録音処理回路１７による録音、再生、停止、音量調整などを実行することができるようになされている。
【００２４】
さらに、ソケット２６には、図示せぬＩＣカードを挿入することができるようになされており、ＩＣカードインタフェース２７は、このＩＣカードに対してデータを授受するようになされている。
【００２５】
ピンコネクター２９には、例えばモデムなどを接続することができ、拡張用インタフェース２８とこのモデムを介して信号を授受できるようになされている。
【００２６】
次に、その動作について、図２のフローチャートを参照して説明する。最初にステップＳ１１において、使用者がペン１６を用いて入力タブレット１５上に所定の筆跡を入力すると、入力タブレット１５は、その座標データを筆跡データとしてタブレットインタフェース１４に出力する。タブレットインタフェース１４は、この筆跡データをＣＰＵ１にバスライン８を介して供給する。ＣＰＵ１は、この筆跡データをバスライン８を介して、さらにディスプレイコントローラ１１に出力する。ディスプレイコントローラ１１は、この筆跡データに対応する画素データを生成し、Ｖ−ＲＡＭ１２に展開する。そして、このＶ−ＲＡＭ１２に展開された画素データが、ディスプレイコントローラ１１により読み出され、ディスプレイ部１３に出力され、表示される。
【００２７】
即ち、このようにして、ＣＰＵ１にペン１６で入力した第ｋ画（ストローク）目のデータＳ（ｋ）が取り込まれる。この筆跡データＳ（ｋ）は、次式で表されるように、点（ｘ_ｉ，ｙ_ｉ）の集合として構成される。
Ｓ（ｋ）＝｛（ｘ_０，ｙ_０），（ｘ_１，ｙ_１），・・・，（ｘ_ｐ，ｙ_ｐ）｝
【００２８】
次にステップＳ１２において、このようにして取り込んだ筆跡データＳ（ｋ）に対する特徴抽出処理が実行される。即ち、ＣＰＵ１は筆跡データＳ（ｋ）から、筆跡を直線Ｌ_ｉ（ｋ）と円弧Ａ_ｉ（ｋ）とに分解し、その集合を特徴抽出データＰ（ｋ）とする。即ち、特徴抽出データＰ（ｋ）は、次式で表すことができる。
Ｐ（ｋ）＝｛Ｌ_０（ｋ），・・・，Ｌ_ｍ（ｋ），Ａ_０（ｋ），・・・，Ａ_ｎ（ｋ）｝
【００２９】
即ち、例えば筆跡データＳ（ｋ）が図３に示すようにして取り込まれているとすると、ＣＰＵ１は、この点列データ（ｘ_ｉ，ｙ_ｉ）の集合を、図４に示すように、直線Ｌ_ｉと円弧Ａ_ｉのデータに分解する。図４の実施の形態においては、図３に示した筆跡データＳ（ｋ）が、直線Ｌ_０，Ｌ_１，・・・と、円弧Ａ_０，Ａ_１，Ａ_２，・・　・のデータとに分解されている。即ち、ＣＰＵ１は、図３に示す筆跡Ｓ（ｋ）を、図４に示すようにして直線と円弧で近似するのである。
【００３０】
筆跡データＳ（ｋ）に対して抽出された特徴抽出データＰ（ｋ）は、この実施の形態の場合、仮りに２つの直線Ｌ_０，Ｌ_１と、３つの円弧Ａ_０，Ａ_１，Ａ_２により構成されているとすると、次のように表される。
Ｐ（ｋ）＝（Ｌ_０，Ｌ_１，Ａ_０，Ａ_１，Ａ_２）
【００３１】
この特徴抽出データＰ（ｋ）は、配列あるいはリストなどの方法により管理することが可能である。特徴抽出データＰ（ｋ）は、抽象化図形の種類（上記実施の形態においては、直線または円弧）、推定中心位置（円弧の場合）、中心角（円弧の場合）、始点、終点、長さ、データサイズ（データ量）、識別ＩＤなどの情報により構成される。
【００３２】
ステップＳ１２において、このように特徴抽出データＰ（ｋ）が抽出されると、次にステップＳ１３に進み、筆跡が消去される。即ち、ステップＳ１１においてディスプレイ部１３に表示した筆跡を、ここで消去する。そして、ステップＳ１４において、ステップＳ１２で抽出した処理結果をディスプレイ部１３に表示させる。即ち、ステップＳ１２で抽出した直線Ｌ_０（ｋ），・・・，Ｌ_ｍ（ｋ）と、円弧Ａ_０（ｋ），・・・，Ａ_ｍ（ｋ）が、ディスプレイ部１３上に同時に表示される。これにより、図３に示すような筆跡に代えて、図４に示す直線Ｌ_０，Ｌ_１や円弧Ａ_０，Ａ_１，Ａ_２が表示される。
【００３３】
次にステップＳ１５に進み、形状判定処理が行われる。即ち、いまステップＳ１２で抽出された特徴抽出データＰ（ｋ）と、それ以前の第ｋ−１画目乃至第ｋ−ｃ画目の筆跡を入力したときに抽出された特徴抽出データＰ（ｋ−１）乃至Ｐ（ｋ−ｃ）から、これらの直線や円弧により構成される形状が、予め登録してある形状に対応するか否かの判定処理が行われる。例えば、これらの直線や円弧により、三角形、四角形、円など、どのような形状が描かれたのかを判定（認識）するのである。
【００３４】
これらの判定の結果、予め登録してある形状が特に認識されなかった場合、処理が終了される。この場合、さらに次の筆跡が入力されたとき、その新たな筆跡データＳ（ｋ）を取り込み、同様の処理を行うことになる。
【００３５】
また、ステップＳ１５において、何等かの形状が認識された場合においては、その認識された図形データＦ_０（ｋ−ｃ，ｋ），Ｆ_１（ｋ−ｃ，ｋ），・・・が得られる。このときステップＳ１６に進み、ステップＳ１４において表示した特徴抽出結果Ｐ（ｋ），Ｐ（ｋ−１），・・・，Ｐ（ｋ−ｃ）を消去し、ステップＳ１７において、これらのデータを解放する。即ち、これらのデータにより構成される形状は既に認識されたので、以後の認識処理の対象データとしては用いられないようにする。さらに、ステップＳ１８に進み、ステップＳ１５における形状判定処理の結果得られた認識図形が、ディスプレイ部１３に表示される。
【００３６】
即ちＣＰＵ１は、ステップＳ１５における形状判定処理の結果、特徴抽出の結果得られた直線と円弧により、ＲＯＭ２やＲＡＭ３に予め記憶されている所定の形状が構成されているものと認識された場合、その認識図形データＦ_０（ｋ−ｃ，ｋ），Ｆ_１（ｋ−ｃ，ｋ），・・・をディスプレイコントローラ１１に出力する。ディスプレイコントローラ１１は、この認識図形データに対応する画素データを生成し、Ｖ−ＲＡＭ１２上に展開し、記憶させる。そして、このＶ−ＲＡＭ１２上に展開されたデータを読み出し、ディスプレイ部１３上に表示させる。
【００３７】
ステップＳ１５における形状判定処理についてさらに説明すると、この形状判定処理は、特徴抽出データを入力として形状判定を行い、処理の結果として図形データを出力するものである。直近に入力された筆跡Ｓ（ｋ）の１つ前に入力された筆跡Ｓ（ｋ−１）に対する図形認識処理（＝特徴抽出処理＋形状判定処理）の結果、認識された図形が存在しなかった場合、Ｓ（ｋ−１）に対する形状判定処理の入力となった特徴抽出データＰ（ｋ−１），・・・，Ｐ（ｋ−ｃ）、ならびに直近の筆跡Ｓ（ｋ）に対する特徴抽出データＰ（ｋ）が判定の入力とされる。このような場合以外においては、直近の筆跡Ｓ（ｋ）に対する特徴抽出データＰ（ｋ）のみが判定の入力とされる。
【００３８】
いま、例えば図５に示す如く、第１画目の筆跡Ｓ（１）と第２画目の筆跡Ｓ（２）が入力されており、その特徴抽出処理の結果、特徴抽出データＬ_０（１），Ｌ_１（１），Ａ_０（１），Ｌ_１（２）が抽出されているものとする。直近の形状判　定処理では、記憶された図形が存在して（認識されて）おらず、Ｌ_０（１），Ｌ_１（１），Ａ_０（１）は解放されていない。
【００３９】
このような特徴データにより、例えば予め記憶されている矢印の図形が対応するか否かを判定するとき、その判定は次のように行われる。
（１）特徴抽出データから３つの抽出直線データを選択する。
（２）３つの直線データのうち、最も長いものを直線Ａとする。
（３）直線Ａの両端点のうち、いずれか一方の端点の近傍に、残りの２つの直線データが位置しているか否かを判定する。
（４）残りの２本の直線が、矢印の羽部分に相当する位置、かつ、方向を持っているか否かを判定する。
（５）以上のすべての条件を満たす場合、選択した３本の直線により矢印が構成されているものと判定（認識）する。
【００４０】
次に、以上の処理における具体的表示例について、図６および図７を参照してさらに説明する。いま、使用者が三角形を描こうとして、その１辺として、図６（ａ）に示すように、筆跡Ｓ_０を描いたものとする。図形認識処理は、画（ストローク）の入力後に起動され、特徴抽出処理と形状判定処理を行って終了する。
【００４１】
ディスプレイ部１３には、いま筆跡Ｓ_０がペン１６で手書き入力されたため、この筆跡Ｓ_０が、図６（ａ）に示すように一旦表示される。この筆跡Ｓ_０に対して、まず特徴抽出処理が行われる。図６（ｂ）は、この特徴抽出処理の結果得られた直線と円弧が表示された状態を示している。同図に示すように、この実施の形態においては、筆跡Ｓ_０が直線Ｌ_０と円弧Ａ_０として検出されている。その結果、筆跡Ｓ_０の表示が消去された後、直線Ｌ_０と円弧Ａ_０とが、ディスプレイ１３上に、図６（ｂ）に示すように表示される。この実施の形態においては、直線Ｌ_０と円弧Ａ_０が離れて表示されているが、この表示は筆跡Ｓ_０の特徴抽出の結果行われるもので　あり、その表示位置も、その特徴を構成する筆跡データの位置に対応して行われる。従って、その表示位置は重なる場合もある。
【００４２】
また、この実施の形態においては、直線が破線により、円弧が実線により表示されるようになされている。
【００４３】
このように、直線Ｌ_０と円弧Ａ_０が特徴として検出された段階において形状判定処理が行われるが、１本の直線Ｌ_０または円弧Ａ_０によっては、特定の図形は予め登録されていない。その結果、次の筆跡の入力待ちの状態となる。
【００４４】
図６（ｃ）は、使用者がペン１６を用いて三角形の残りの２辺を１画で描いた状態を示している。いま、使用者は三角形を描こうとしているのであるから、この残りの２辺に対応する筆跡Ｓ_１の始点と終点を、円弧Ａ_０の両端ではなく、直線Ｌ_０の両端と交差するように描くことになる。換言すれば、使用者は、筆跡Ｓ_１を円弧Ａ_０に対応して描くよりも、直線Ｌ_０に対応して描いた方が、描いた図形が三角形として認識され易くなることを容易に認識することができる。もし、円弧Ａ_０に対応して筆跡Ｓ_１を描けば、その図形は三角形ではなく、扇形として認識され易くなることは容易に想到し得るところである。
【００４５】
即ち、このように使用者は、認識処理の中間段階の結果としての特徴抽出処理の表示を見ながら、それに対応して、次の筆跡を入力するようにすることで、装置のパターン認識の癖を把握しながら、所望の形状を迅速かつ確実に入力し、表示させることが可能となるのである。
【００４６】
図７（ａ）は、筆跡Ｓ_１に対する特徴抽出処理結果が表示された状態を示して　いる。この実施の形態においては、筆跡Ｓ_１が２つの直線Ｌ_１とＬ_２、および１つの円弧Ａ_１により表されている。ここで、例えば、３つの直線Ｌ_０，Ｌ_１，Ｌ_２が図形認識のための候補として選択されると、その始点と終点が、それぞれ他の直線の始点または終点の近傍に位置しているため、この３本の直線により三角形が描かれたものと認識される。その結果、直線Ｌ_０，Ｌ_１，Ｌ_２、および円弧Ａ_０，Ａ_１の表　示が消去され、図７（ｂ）に示すように、最終的に図形認識処理の結果得られた三角形Ｔ_０が表示される。
【００４７】
図７（ａ）に示す複数の直線と円弧により、他にも認識することができる図形が存在する場合においては、その図形も、この三角形Ｔ_０と同時に、あるいは所　定の操作をしたとき、この三角形Ｔ_０に代えて順次表示させるようにすることができる。
【００４８】
図８は、特徴抽出データの表示例の他の実施の形態を示している。図８（ａ）においては、直線が、より太い（例えば１．５ｍｍの太さの）実線で表され、円弧が、より細い太さ（例えば０．５ｍｍの太さ）で表示される。
【００４９】
図８（ｂ）においては、直線が所定の色彩（例えば青色）で表示され、円弧が、それ以外の色彩（例えば赤）で表示される。
【００５０】
図８（ｃ）においては、直線と円弧が、例えば０．１秒ごとに交互に表示される。
【００５１】
さらに、図８（ｄ）においては、筆跡に加えて、特徴抽出データが別の領域に同時に表示されるようになされている。
【００５２】
図９は、特徴抽出データの組合せの他の実施の形態を示している。同図（ａ）においては、直線、円弧、およびスプライン曲線が特徴抽出データとして用意されている。即ち、入力した筆跡は、この直線、円弧、またはスプライン曲線の組合せとして検出（近似）される。
【００５３】
図９（ｂ）においては、直線、スプライン曲線、Ｌ字および楕円により特徴抽出データが構成されている。
【００５４】
このように、どのような形状を特徴抽出データとして予め登録しておくかは任意である。
【００５５】
以上の実施の形態においては、特徴抽出処理結果を表示するようにしたが、これらの特徴抽出処理結果から認識された認識候補が複数存在する場合、これを表示させる実施の形態について、以下に説明する。
【００５６】
いま、例えば図１０に示すように、ペン１６を用いて２つの直線を入力し、それらが直線Ｌ１とＬ２として認識表示されている状態において、さらに筆跡Ｓ３を入力したとする。そして、この筆跡Ｓ３の特徴が抽出され、その特徴抽出処理結果として、図１１に示すように、２つの円弧Ａ１，Ａ２と、１本の直線Ｌ３が表示されたものとする。以上の処理は、上述した、例えば図２のステップＳ１１とステップＳ１４において行われるものである。
【００５７】
そして、これらの特徴抽出処理結果から予め記憶されている形状を認識すると、例えば図１２乃至図１４に示すように、３つの形状が得られるものとする。図１２は、直線Ｌ１，Ｌ２と円弧Ａ２により、扇型の図形が認識された場合を表しており、図１３は、２つのＬ１，Ｌ２と１つの円弧Ａ１により、他の扇型の図形が認識された場合を示している。また、図１４は、３本の直線Ｌ１，Ｌ２，Ｌ３により、三角形の図形が認識された場合を示している。
【００５８】
この実施の形態においては、このようにして得られた３つの認識候補を順次時間的にずらして、自動的にまとめて表示させるようにする。
【００５９】
即ち、図１５に示すように、最初にｎ番目の認識候補を時間ｔ_ｎだけ表示した後、時間Ｔ_ｎだけ経過するのを待って、次のｎ−１番目の候補を時間ｔ_ｎ−１だけ表示する。その後、時間Ｔ_ｎ−１だけ間隔をおいて、次の候補を表示する。以下、同様の処理を繰り返し、最後に第１番目の候補が表示される。この認識候補の表示の順番は、この実施の形態の場合、各認識候補の得点（スコア）の順番とする。即ち、最も得点の少ない（正しい認識である可能性が少ない）第ｎ番目の候補が最初に表示され、以下、可能性の少ない候補が順次先に表示された後、最後に最も可能性が高い認識候補が表示される。即ち、これにより、使用者は、すべての認識候補を一覧することができる。
【００６０】
尚、上記した時間ｔ_ｉとＴ_ｉは、それぞれ一定の値ｔまたはＴとすることができる。また、これらの値は、使用者が必要に応じて所定の値に調整することができるようにしてもよい。
【００６１】
このような処理を行うには、図２のフローチャートにおけるステップＳ１８の形状判定処理結果の表示の処理を、例えば図１６のフローチャートに示すように行うようにすればよい。
【００６２】
即ち、この実施の形態においては、ステップＳ２１において、ステップＳ１５で行われた形状判定処理の結果得られた認識候補の図形データの集合Ｒ（ｎ）（＝｛Ｆ_０，Ｆ_１，・・・，Ｆ_ｎ−１｝）が受け取られる。次にステップＳ２２において、認識候補の有無が判定される。認識された図形データが存在しない場合においては、処理が終了される。認識された図形データが存在する場合においては、ステップＳ２３に進み、変数ｉに初期値ｎ−１が設定される。即ち、これにより、一番最初に表示される図形データが指定されることになる。
【００６３】
次にステップＳ２４に進み、ステップＳ２３で指定した変数ｉに対応する認識結果Ｆ_ｉを表示する。いまの場合、ステップＳ２３において、ｉ＝ｎ−１として設定しているため、図形データＦ_ｎ−１が表示されることになる。
【００６４】
次にステップＳ２５において、認識の結果得られた図形が他にもあるかどうか判定され、他に認識結果が存在しない場合においては、処理が終了される。他にも認識の結果得られた図形が存在する場合においては、ステップＳ２６に進み、ステップＳ２４で表示を開始した後、予め設定した時間ｔ_ｉだけ時間が経過したか否か判定される。時間が時間ｔ_ｉだけまだ経過していないと判定されたとき、時間ｔ_ｉだけ経過するまで待機する。
【００６５】
そして、時間ｔ_ｉだけ経過したとき、ステップＳ２７に進み、ステップＳ２４で表示した認識結果Ｆ_ｉを消去する。そしてステップＳ２８に進み、時間Ｔ_ｉだけ経過するまで待機する。このように、前の認識結果を消去した後、次の認識結果を表示するまでしばらく待機するのは、ディスプレイ部１３がＬＣＤにより構成され、急速な表示の切り換えが困難であるためである。また、別のもう１つの理由は、あまりに迅速に表示を切り換えると、画面が見にくくなるためである。
【００６６】
以上のようにして、ステップＳ２８において、前の認識結果を消去した後、時間Ｔ_ｉが経過したと判定されたとき、ステップＳ２９に進み、変数ｉが１だけデクリメントされる。即ち、次に表示される認識結果が、より高い得点の認識結果に切り換えられる。そしてステップＳ２４に進み、ステップＳ２９で指定した変数ｉに対応する新たな認識結果Ｆ_ｉが表示される。
【００６７】
以下、同様の処理が繰り返されて、得点の少ない認識結果Ｆ_ｎ−１から、得点の最も大きい認識結果Ｆ_０が、自動的に所定の時間毎順次切り換えられて表示される。
【００６８】
以上の実施の形態においては、得点の低いものから順次得点の高いものに認識結果を順番に表示させるようにした。このようにするには、得点の順番に認識結果Ｆ_０乃至Ｆ_ｎ−１を予めソートしておく必要がある。
【００６９】
図１６の実施の形態においては、得点の低いものから順番に認識結果を表示させるようにしたが、逆に、得点の高いものから順番に表示させるようにすることも可能である。
【００７０】
図１７は、認識結果を所定時間毎に自動的に順次表示する他の実施の形態を示している。この処理も、図２におけるステップＳ１８における処理として実行されるものである。
【００７１】
最初にステップＳ４１において、認識候補のすべての集合Ｒ（ｎ）（＝｛Ｆ_０，Ｆ_１，・・・，Ｆ_ｎ−１｝）とともに、各認識結果Ｆ_ｉに対応する得点（スコア）Ｇ（ｎ）（＝｛ｇ_０，ｇ_１，・・・，ｇ_ｎ−１｝）が受け取られる。次にステップＳ４２において、認識結果が存在するか否かが判定され、存在しないと判定された場合、処理は終了される。１つでも認識結果が存在すると判定された場合、ステップＳ４３に進み、変数ｉとｍａｘにｎ−１がセットされ、変数ｇにｇ_ｎ−１がセットされる。変数ｍａｘは、最高得点の認識結果Ｆ_ｉを特定する変数ｉを記憶するものであり、変数ｇは、その得点（最高得点）を記憶するものである。
【００７２】
次にステップＳ４４に進み、ステップＳ４３で設定した変数ｉに対応する認識結果Ｆ_ｉを表示する。ステップＳ４５において、この表示を開始した後、時間ｔ_ｉだけ経過するまで待機し、時間ｔ_ｉだけ経過したとき、ステップＳ４６に進み、ステップＳ４４で表示した認識結果Ｆ_ｉを消去する。
【００７３】
次にステップＳ４７に進み、他にも認識結果が存在するか否かを判定し、他にも認識結果が存在する場合、ステップＳ４８に進み、時間Ｔ_ｉだけ経過するまで待機する。ステップＳ４６において、前に表示した認識結果を消去した後、時間Ｔ_ｉだけ経過したと判定された場合、ステップＳ４９に進み、変数ｉを１だけデクリメントする。そしてステップＳ５０において、ステップＳ４９において新たに指定した変数ｉに対応する認識結果Ｆ_ｉの得点ｇ_ｉが、ステップＳ４３において設定した値ｇより大きいか否かが判定される。これから表示しようとする認識結果Ｆ_ｉの得点ｇ_ｉの方が大きい場合、ステップＳ５１に進み、その変数ｉを変数ｍａｘに設定し、また、その得点ｇ_ｉを変数ｇに設定する。
【００７４】
このように、変数ｍａｘとｇに最大の得点を有する認識結果を特定する変数ｉと、その得点ｇ_ｉを記憶した後、ステップＳ４４に戻り、ステップＳ４９で設定した新たな変数ｉに対応する認識結果Ｆ_ｉを表示する。ステップＳ５０において、ステップＳ４９で指定した新たな認識結果の得点ｇ_ｉが、変数ｇに既に記憶されている得点と等しいか、それより小さいと判定された場合、ステップＳ５１における記憶処理は省略されて、ステップＳ４４に進み、それ以降の処理が実行される。
【００７５】
即ち、以上の動作が繰り返されることにより、認識結果Ｆ_０乃至Ｆ_ｎ−１が順次所定の時間毎に自動的に切り換えて表示される。これらの認識結果は、得点の順番に必ずしもソートされているものではないので、表示される順番は、得点とは無関係である。しかしながら、最後に表示される認識結果は、最も得点の高いものであることが望ましい。これは、最終的には、使用者がその得点の高い認識結果を選択する可能性が高いためである。
【００７６】
そこでステップＳ４７において、他に表示すべき認識結果が、もはや存在しないと判定された場合、ステップＳ５２に進み、ステップＳ５１において変数ｍａｘに記憶した値に対応する最高点の認識結果Ｆ_ｍａｘを画面上に表示させる。
【００７７】
尚、以上の図１６と図１７に示す実施の形態においては、所定の時間が経過すると、その都度、自動的に、表示を次の認識結果に切り換えるようにしたが、例えば使用者がペン１６を操作して、所定の入力を行ったとき、その都度次の候補を順次切り換え表示させるようにすることも可能である。
【００７８】
また、以上の実施の形態においては、ペン１６を用いて筆跡を入力したその位置に、各認識結果が時間をずらして順次まとめて切り換え表示される。この認識結果の表示を、時間をずらして表示させるのではなく、同時に表示させるようにすることも可能である。図１８は、その表示例を示している。この実施の形態においては、３つの認識候補Ｆ_ａ，Ｆ_ｂ，Ｆ_ｃが、ぼかし具合を変化させて同時に表示されている。
【００７９】
即ち、認識結果Ｆ_ａは、図１９に示すように、線分の幅が１ピクセル（１画素）の幅とされるとともに、その濃さがレベル１５とされている。これに対して、認識結果Ｆ_ｂは、図２０に示すように、線の太さが３ピクセルにより表され、中央の１ピクセルの濃さはレベル９とされ、左右の各ピクセルの濃さはレベル３とされている。即ち、図１９における場合と同様に、線分の濃さのレベルの合計は、１５（＝９＋３＋３）となるようになされている。
【００８０】
また、認識結果Ｆ_ｃは、図２１に示すように、その線分の太さが５ピクセル分とされ、その中央のピクセルの濃さのレベルは５とされ、その左右に隣接する各ピクセルの濃さのレベルは３とされ、さらに、その外側の各ピクセルの濃さのレベルは２とされている。従って、この場合も、濃さのレベルの合計は、１５（＝５＋３＋３＋２＋２）となるようになされている。
【００８１】
即ち、この実施の形態においては、各線分の断面における各ピクセルの濃さのレベルの総和が、各認識結果Ｆ_ｉにおいて一定となるようになされている。
【００８２】
図１８に示した実施の形態をまとめると、表１に示すようになる。即ち、この実施の形態においては、最も得点の高い認識結果の形状が、最も細い線で、かつ、最も濃く表示される。そして、得点が低くなるにつれて、線の太さが太くなり、線の濃さも薄くなっていく。
【００８３】
【表１】

【００８４】
以上の実施の形態においては、認識結果が図形であったが、文字である場合においても、同様に、実際に文字を入力した位置の近傍に、認識結果を表示させるようにすることができる。但し、文字の場合は、異なる認識結果を時間的にずらして表示するようにすることは、特に問題は生じないが、同じ位置に重ねて表示すると、表示された認識候補を使用者がどのような文字であるのか、認識することが困難になる。そこで、この場合においては、第１候補を入力した位置に表示し、第２候補以下の認識候補の文字を、その位置から１文字分ずつ順次ずらして表示させるようにすることができる。図２２乃至図２５は、この場合の実施の形態を示している。
【００８５】
図２２の実施の形態においては、各認識候補の色がそれぞれ異なる色相で表示されている。この実施の形態においては、表２にも示すように、第１候補が黒色、第２候補が赤色、第３候補が黄色で、それぞれ表示されている。
【００８６】
【表２】

【００８７】
図２３の実施の形態においては、各認識候補の線の種類が異なるように表示されている。この実施の形態においては、表３にも示すように、第１候補が実線で表示され、第２候補が鎖線で表示され、そして第３候補が点線で表示されている。
【００８８】
【表３】

【００８９】
図２４の実施の形態においては、線の太さが異なるように、各認識候補が表示されている。この実施の形態においては、表４にも示すように、第１候補が太線、第２候補が中線、そして第３候補が細線で表示されている。
【００９０】
【表４】

【００９１】
さらに、図２５の実施の形態においては、上述した図１８乃至図２１に示した実施の形態における場合と同様に、各認識候補の線の太さと濃さが変化するように表示されている。
【００９２】
尚、このように、各候補の線の色相、線の種類、線の太さなど、線の属性を変更させる場合においては、図２６乃至図２８に示すように、図形の場合にも適用することが可能である。この場合、各認識結果は、ほぼ同一位置に表示されている。表５乃至表７に示すように、これらの実施の形態においても、各候補が、黒、赤、黄色といった色相、あるいは、実線、鎖線、点線といった線の種類、あるいは、太線、中線、細線といった線の太さにより識別表示されている。
【００９３】
【表５】

【００９４】
【表６】

【００９５】
【表７】

【００９６】
勿論、上記した実施の形態は、必要に応じて組み合わせることが可能である。即ち、線の色相、線の種類および線の太さを、それぞれ適宜組み合わせて、さらに、より認識し易くすることができる。
【００９７】
以上においては、複数の認識候補を時間をずらして、あるいは色を変えるなどして、同時に表示させるようにしたが、次に、このように表示された認識候補のうち、所定のものを選択する実施の形態について説明する。
【００９８】
図２９の実施の形態においては、複数の認識候補が、異なる色相で表示されている。そして、所定の色彩の認識候補をペン１６で直接指定することにより、最終的な認識候補の選択が行われるようになされている。
【００９９】
図３０の実施の形態においては、各認識候補が異なる色相で表示されると同時に、選択枠９１が画面上に表示されている。そして、この選択枠９１に、各認識候補の色相に対応する文字が表示されており、使用者は、ペン１６で、この選択枠９１に表示されている文字のうち、最終的に選択したい認識結果に対応する文字を指定するようになされている。
【０１００】
図３１の実施の形態においては、認識結果が線の太さと濃さを変えることで表示されている。そして、この実施の形態においては、スケール１０１が表示されている。ペン１６でスケール１０１の所定の位置を操作すると、その位置にカーソル１０２が移動する。画面上には、このカーソル１０２で指定する範囲の濃さの認識候補のみが表示される。そして、その状態において、最も細く、かつ濃い線で表示されている認識結果が選択される。
【０１０１】
例えば図３２に示すように、スケール１０１の左端部と右端部の間には、認識候補Ｆ_０乃至Ｆ_ｎ−１が対応づけられており、カーソル１０２を移動させることにより、そのうちのカーソル１０２で囲まれる３つ（この実施の形態の場合、Ｆ_３，Ｆ_４，Ｆ_５の３つ）の認識候補が画面上に表示される。そして、確定処理を行うと、そのうちの、例えば中央の最も線が濃く、かつ細く表示されている認識候補Ｆ_４が選択される。
【０１０２】
図３３は、スケール１０１におけるカーソル１０２の位置を相対的に移動した場合における各候補の表示状態の変化を模式的に示している。この実施の形態の場合、カーソル１０２で４つの候補が指定されるようになっている。図３３（ａ）に示すように、カーソル１０２をスケール１０１の左端に位置させた場合においては、左端の認識候補Ｆ_０が最も鮮明に表示され、その右側の認識候補Ｆ_１，Ｆ_２，Ｆ_３は、順次次第にぼけて表示される。
【０１０３】
そして、図３３（ｂ）に示すように、カーソル１０２を例えば１メモリだけ右側に移動させると、それまで若干ぼけて表示されていた認識結果Ｆ_１が最も鮮明に表示され、それまで最も鮮明に表示されていた認識結果Ｆ_０は、若干ぼけた表示状態に変化する。カーソル１０２を図３３（ｃ）に示すように、さらに１メモリだけ右側に移動させると、認識結果Ｆ_２が最も鮮明に表示され、その左側の認識候補Ｆ_１とＦ_０は、それぞれ次第にぼけた表示状態に変化する。
【０１０４】
尚、このように、スケール１０１上のカーソル１０２を動かす構成により、例えば図３４に示すように、認識した結果得られた形状（この実施の形態の場合、文字）の太さをスケール１０１上におけるカーソル１０２の位置に対応して変化させるようにすることもできる。この実施の形態の場合、カーソル１０２を左側に移動させるほど、線が細く表示され、右側に移動させるほど、線が太く表示される。
【０１０５】
【発明の効果】
以上の如く請求項１に記載の形状入力装置によれば、認識形状が複数あるとき、複数の認識形状を、入力位置の近傍に、まとめて表示するようにしたので、より迅速かつ確実な認識が可能になる。
【図面の簡単な説明】
【図１】本発明の形状入力表示装置の一実施の形態の構成を示すブロック図である。
【図２】図１の実施の形態の動作を説明するフローチャートである。
【図３】図２のステップＳ１１における筆跡データを説明する図である。
【図４】図２のステップＳ１２における特徴抽出処理を説明する図である。
【図５】図２におけるステップＳ１５の形状判定処理の例を説明する図である。
【図６】図２の処理動作を説明する具体的表示例の図である。
【図７】図６に続く図である。
【図８】特徴抽出データの他の表示例を説明する図である。
【図９】特徴抽出データの他の組合せ例を説明する図である。
【図１０】図２のステップＳ１１における表示状態を説明する図である。
【図１１】図２のステップＳ１４における表示状態を説明する図である。
【図１２】図１６のステップＳ２４における所定の時刻における表示状態を説明する図である。
【図１３】図１６のステップＳ２４における他の所定の時刻における表示状態を説明する図である。
【図１４】図１６のステップＳ２４におけるさらに他の所定の時刻における表示状態を説明する図である。
【図１５】図１６の実施の形態の動作を説明するタイミングチャートである。
【図１６】図２のステップＳ１８における他の処理例を説明するフローチャートである。
【図１７】図２のステップＳ１８におけるさらに他の処理例を説明するフローチャートである。
【図１８】図２のステップＳ１８の表示例を説明する図である。
【図１９】図１８の認識結果Ｆ_ａの線分の表示状態を説明する図である。
【図２０】図１８の認識結果Ｆ_ｂの線分の表示状態を説明する図である。
【図２１】図１８の認識結果Ｆ_ｃの線分の表示状態を説明する図である。
【図２２】図２のステップＳ１８における文字の表示状態を説明する図である。
【図２３】図２のステップＳ１８における文字の他の表示状態を説明する図である。
【図２４】図２のステップＳ１８における文字のさらに他の表示状態を説明する図である。
【図２５】図２のステップＳ１８における文字の他の表示状態を説明する図である。
【図２６】図２のステップＳ１８における図形の表示状態を説明する図である。
【図２７】図２のステップＳ１８における図形の他の表示状態を説明する図である。
【図２８】図２のステップＳ１８における図形のさらに他の表示状態を説明する図である。
【図２９】表示されている複数の認識結果から所定の認識結果を選択する例を説明する図である。
【図３０】表示されている複数の認識結果から所定の認識結果を選択する他の例を説明する図である。
【図３１】表示されている複数の認識結果から所定の認識結果を選択するさらに他の例を説明する図である。
【図３２】図３１におけるスケール１０１とカーソル１０２のより詳細な構成を説明する図である。
【図３３】図３１におけるスケール１０１上においてカーソル１０２を移動した場合における他の表示の変化を説明する図である。
【図３４】カーソルの移動に対応して文字の太さを変化させる様子を説明する図である。
【図３５】従来の形状入力表示装置の処理例を説明するフローチャートである。
【図３６】図３５の処理を説明する図である。
【図３７】図３６に続く図である。
【符号の説明】
１　ＣＰＵ，　２　ＲＯＭ，　３　ＲＡＭ，　８　バスライン，　１１　ディスプレイコントローラ，　１２　Ｖ−ＲＡＭ，　１３　ディスプレイ部，　１４タブレットインタフェース，　１５　入力タブレット，　１６　ペン，　１０１　スケール，　１０２　カーソル

Claims

オンラインで手書き入力した形状を表示する形状入力表示装置において、
形状を手書き入力する入力手段と、
前記入力手段により入力された形状を表示する入力形状表示手段と、
前記入力手段により入力された形状が、予め記憶された形状と対応するか否かを認識する認識手段と、
前記認識手段により認識した結果得られた認識形状が複数あるとき、複数の前記認識形状を、前記入力手段による入力位置の近傍に、まとめて表示する認識形状表示手段と
を備えることを特徴とする形状入力表示装置。
前記認識形状表示手段は、複数の前記認識形状を、時間的にずらして自動的に順次表示する
ことを特徴とする請求項１に記載の形状入力装置。
複数の前記認識形状の表示を指令する指令手段をさらに備え、
前記認識形状表示手段は、複数の前記認識形状を、前記指令手段より指令が入力される毎に表示する
ことを特徴とする請求項１に記載の形状入力装置。
前記認識形状表示手段は、複数の前記認識形状を、前記認識形状を構成する線の属性を変えて同時に表示する
ことを特徴とする請求項１に記載の形状入力装置。
複数の前記認識形状のうち、表示するものの範囲を指定する指定手段をさらに備え、
前記認識形状表示手段は、表示する前記認識形状を、前記指定手段の指定に対応して変更する
ことを特徴とする請求項１に記載の形状入力装置。
複数の前記認識形状を構成する線の太さを選択する選択手段をさらに備え、
前記認識形状表示手段は、前記認識形状を構成する線の太さを、前記選択手段の選択に対応して変更する
ことを特徴とする請求項１に記載の形状入力装置。