JP2005228328A

JP2005228328A - デジタルインク質疑検索装置及びその方法

Info

Publication number: JP2005228328A
Application number: JP2005033675A
Authority: JP
Inventors: Chung-Shik Lee; 忠植李; Hee-Seon Park; 朴　喜仙; Ho-Chul Shin; 申　昊▲チュル▼
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2004-02-14
Filing date: 2005-02-09
Publication date: 2005-08-25
Anticipated expiration: 2025-02-09
Also published as: DE602005008121D1; JP4308785B2; KR20050081555A; US20050182760A1; EP1564675A1; KR100587540B1; CN100412861C; EP1564675B1; US7778464B2; CN1655147A

Abstract

【課題】ユーザがデジタルペンインターフェースを用いて手書き入力したメモからユーザの質疑語に該当する単語を検索する装置及びその方法を提供する。
【解決手段】入力された質疑語またはメモに関するデジタルインクデータから各種の不要な部分を除去して情報量を減少させる前処理部と、情報量が減少したデータから特徴ベクトルを抽出する特徴抽出部と、質疑語がメモのうちマッチングされる部分があるかどうかをセグメント単位で検索する質疑語検索部とよりなる装置。本発明によれば、デジタルペンで質疑語を入力して既に作成されたメモあるいは文書内で所望の内容を検索する方法において、正確性と迅速性とを期することができる。
【選択図】図３

Description

本発明は文字入力装置に係り、より詳細にはユーザがデジタルペンインターフェース（ｄｉｇｉｔａｌｐｅｎｉｎｔｅｒｆａｃｅ）を用いて手書き入力したメモからユーザの質疑語に該当する単語を検索する装置及びその方法に関する。ここで、デジタルペンインターフェースとは、タッチスクリーンのようにペン形態のデバイスを画面に接触することで、その圧力あるいは電子的信号を感知して該当デバイスの移動軌跡を電子的形態に検出できる装置を用いて、紙上にペンで筆記する伝統的方式をデジタル形態に具現したインターフェースを意味する。

最近デジタル技術の発展につれて、デジタルデバイスの普及が急速に進行しつつ、小型化及び軽量化など多様な発展趨勢を示している。特に、最近の数十年間デジタルデバイスのインターフェースとして確固たる位置づけを揃えているキーボード、マウスインターフェースはデジタルデバイスの小型化趨勢につれて、携帯性に関する問題が指摘されている。このような問題を解決するための代案インターフェース（ｓｕｂｓｔｉｔｕｔｅｉｎｔｅｒｆａｃｅ）の必要性は数十年前から指摘されており、音声（ｖｏｉｃｅ）、ペン（ｐｅｎ）、ジェスチャ（ｇｅｓｔｕｒｅ）、映像（ｖｉｄｅｏ）などを用いた代案インターフェースを開発するための研究が進行されてきた。その中でも、数千年間人間社会でのコミュニケーションの手段として使われてきたペンと音声インターフェースとはその自然さと表現力の膨大さによって注目されている。

デジタルペンインターフェースは、紙上にペンを用いて文字、図、記号などを記録するコミュニケーションの習慣をデジタルデバイスに適用しようとする試みである。このようなペンインターフェースをデジタル化するための方案として文字認識技術が研究されつつある。文字認識技術とは、パターン認識技術を用いてデジタルペンで入力された文字情報（以下、‘インク’と表現する）を認識（Ｒｅｃｏｇｎｉｚｅ）してコンピュータで文字を表現する方式であるアスキー（ＡＳＣＩＩ）コード形態に変換する技術を意味する。

しかし、文字認識技術は、研究の成果に比べてユーザに広く普及されていない実情であるが、その普及の障壁としては、大きく２つの原因を指摘しうる。第１に、文字認識速度が遅いという点である。ユーザが自然に筆記するためには連続的に筆記する過程中に時間の遅延なしに認識、処理されねばならないが、実際には０．５秒程度の時間遅延が発生して、ユーザの連続的な筆記に心理的に退屈さを感じさせる問題を誘発する。

第２に、文字認識のエラーによる障壁を原因と指摘しうる。現在の文字認識技術のレベルでは、実際状況で９０％程度の正確度で文字を認識処理しているが、これも文字と文字との区分を容易にするための色々なインターフェース的なサポート装置が提供される環境での性能であると言える。ユーザの筆記を連続的に認識処理する過程でエラーが発生する場合には、ユーザはエラーを修正するための行動を取るようになるが、これも連続性を妨害する要素として作用する。

ペンインターフェース分野でかかる文字認識技術の弱点を克服するための代案として、デジタルインク、すなわちデジタルペンの軌跡を利用するが、文字認識過程（入力されたデジタルインクがＡＳＣＩＩコードのうち何れに該当するかを決定する過程）を経ない技術が提示されている。図１のように、検出したペンの軌跡を検出した状態でデジタル化して保存し、その内容をそのまま見せることによって、ユーザが記録した情報を入手可能にする方式が提示されている。この方式は、文字認識過程を経ないために筆記しているユーザの手の自然な動きを妨害しないために、文字認識技術の短所を克服しうる。

しかし、前記インターフェースは、コンピュータが認識できるコード化された文字形態で保存をしないために、今後にユーザが所望の情報を検索しようとする時、記録されたあらゆる情報をユーザが直接確認する過程を経ねばならない短所を有している。このような短所を克服するためには、デジタルインクで記録された媒体に対する検索技術が開発されねばならない。これと関連して、図１のようにデジタルインクで記録されたメモ（以下、‘メモ’と称する）が複数存在する状況で、図２のようにデジタルインク形態の検索質疑語（以下、‘質疑語’と称する）を入力した時、質疑語の内容である‘結婚式’という部分を含んでいるメモを検索結果として示す技術（以下、‘デジタルインク検索技術’と称する）がある。

デジタルインク検索に関する従来の方式は、検索しようとする単位が単語単位で分割されている場合であるか、あるいは単語間の間隔を十分に広げて筆記して、単語単位で分割するのに問題のない場合を前提としている。

質疑語とメモとが何れも単語単位で分割されたならば、既存の多様な文献で提示しているＥｌａｓｔｉｃＭａｔｃｈｉｎｇなどの方法を使用して質疑語とメモとの類似度を比較する方式で簡単に処理しうる。このような状況では比較検索しようとする対象が明確なために単語単位への分割には問題がなく、速度も大きい問題にはならない。前記ＥｌａｓｔｉｃＭａｔｃｈｉｎｇ方法は、非特許文献１に開示されている。この方法は、確定された２つの対象を比較し、その結果、前記二対象間の類似度を数値で示す。

しかし、実際にはデジタルデバイスのほとんどが入力画面が小型であり、このようなデバイスでは空間の制約によって文字間、単語間の間隔がないか、分割が容易なだけ十分に広くないために、ユーザが単語間に空白なしに入力する場合が多い。また入力する空間が十分な場合にも、ユーザの特性によって厳格な別ち書きをしない場合もある。このように検索対象の分割が容易ではない状況下では、質疑語をメモ内のどの部分と比較すれば良いかも分からなくなるので、根本的な問題に逢着するようになる。
Ｃ．Ｃ．Ｔａｐｐｅｒｔの論文"ＣｕｒｓｉｖｅＳｃｒｉｐｔＲｅｃｏｇｎｉｔｉｏｎｂｙＥｌａｓｔｉｃＭａｔｃｈｉｎｇ（ＩＢＭＪ．ＲｅｓｅａｒｃｈＤｅｖｅｌｏｐｍｅｎｔ，Ｖ．２６，Ｎｏ．６，ｐｐ．７６５−７７１，１９８２）"

従って、本発明は前記問題点を考慮して創案されたものであって、ユーザがデジタルペンを用いてメモを複数生成し、今後ユーザにより入力された質疑語に対する検索機能を具現するための方法を提供することをその目的とする。
また、本発明の他の目的は、前記検索機能を具現するために、質疑語の特定部分だけを用いてスポッティングする方法を提供することである。
また、本発明のさらに他の目的は、前記検索機能を具現するために、付加的なメタ情報を利用する方法を提供することである。

前記目的を達成するための本発明に係るデジタルインク検索装置は、入力された質疑語またはメモに関するデジタルインクデータから各種の不要な部分を除去して情報量を減少させる前処理部と、前記情報量が減少したデータから特徴ベクトルを抽出する特徴抽出部と、前記質疑語が前記メモのうちからマッチングされる部分があるかどうかをセグメント単位で検索する質疑語検索部と、を含む。

前記デジタルインク検索装置は、ユーザのストロークを入力され、これを前記デジタルインクデータと認識して前処理部に伝達するデジタイザーをさらに含むことが望ましい。

前記デジタルインク検索装置は、前記検索結果マッチングされた部分を強調して前記マッチングされた部分を含むメモをユーザにディスプレイし、全体メモ中にマッチングされる部分が存在しなければ、その結果をメッセージにてユーザに知らせるディスプレイ部をさらに含むことが望ましい。

前記デジタルインク検索装置は、前記入力ストロークがメモである場合には、そのメモデータを前記特徴抽出部から抽出された特徴ベクトルの形に保存し、質疑語検索時に質疑語検索部に前記保存されたメモを提供するメモＤＢをさらに含むことが望ましい。

前記質疑語検索部は、前記特徴ベクトルで表現される文字を時間的に入力された順序情報または空間的分離情報を用いてセグメントに分割するセグメント分割部と、前記分割されたセグメントに対して検索する順位を決定し、これをスポッティング部に提供する検索順位決定部と、スポッティングテーブルを用いて前記決定された検索順位のうち最高の順位を有する質疑語のセグメントをメモのセグメントと比較して類似度が所定の臨界値（ａ）を超えるセルを検索するスポッティング部と、前記検索されたセルから前記セルの周辺を検索して質疑語全体に対して該当メモとの一致部分があるかどうかを検査する周辺検索部と、を含むことが望ましい。

前記検索順位は、各セグメントの情報量で決定することが望ましい。
前記スポッティングテーブルは、列と行とに区分された多段階の明暗程度を有するセルより構成されるが、ｉ番目の列とｊ番目の行とが合うセルは、質疑語のｉ番目のセグメントと検索対象メモのｊ番目のセグメントとの類似度を比較した結果を記録することが望ましい。

前記類似度は、ＥｌａｓｔｉｃＭａｔｃｈｉｎｇ方法によって求められることが望ましい。
前記セル周辺の検索は、前記セルの対角線方向に検索するが、前記スポッティングテーブルの上端及び下端に至るまで検索することが望ましい。
前記セル周辺の検索は、前記セルの対角線方向に検索するが、横拡張及び縦拡張を通じて次に選択されるノードの候補群を選定し、ＢｅｓｔＦｉｒｓｔＳｅａｒｃｈ方式によって現在までの検索結果のうち最も類似度の高い部分から連続拡張して行きつつ、スポッティングテーブルの上端及び下端に至るまで検索することが望ましい。

前記一致部分は、前記上端及び下端に至るまで検索した結果に対する累積類似度を決定し、前記累積類似度が所定の臨界値（ｂ）を超える場合にメモで該当部分を意味することが望ましい。

前記候補群のうち拡張なしに対角線方向のセルを次のノードに選択する場合に、累積類似度は、式(1)で表されるが、l_iは現在ノードで使用する質疑語セグメントの長さを、l_i+1は次のノードで拡張された質疑語セグメントの長さを、式(2)は質疑語のｉ番目のセグメントと検索対象メモのj_i番目のセグメントの類似度を、式(3)は質疑語のｉ＋１番目のセグメントと検索対象メモのj_i+1番目のセグメントの類似度を意味することが望ましい。

前記候補群のうち縦拡張を行う場合に、累積類似度は、式(4)で表されるが、l_iは現在ノードで使用する質疑語セグメントの長さを、l_i+1は次のノードから拡張された質疑語セグメントの長さを、l_i+2は次の次のノードから拡張された質疑語セグメントの長さを、式(5)は質疑語のｉ番目のセグメントと検索対象メモのj_i番目のセグメントの類似度を、式(6)は質疑語のｉ＋１番目のセグメントとｉ＋２番目のセグメントとの和と検索対象メモのj_i+1番目のセグメントの類似度を意味することが望ましい。

前記候補群のうち縦拡張を行う場合に、累積類似度は、式(7)で表されるが、l_iは現在ノードで使用する質疑語セグメントの長さを、l_i+1は次のノードから拡張された質疑語セグメントの長さを、式(8)は質疑語のｉ番目のセグメントと検索対象メモのj_i番目のセグメントとの類似度を、式(9)は質疑語のｉ＋１番目のセグメントと、検索対象メモのj_i+1番目のセグメントとj_i+1+１番目のセグメントとの和との類似度を意味することが望ましい。

前記検索順位の決定は、前記質疑語及び前記メモを文字単位で分割し、前記質疑語のセグメントのうち文字の開始部分または終了部分に該当するセグメントに対してだけ検索順位を決定することが望ましい。

前記質疑語のセグメントとメモのセグメントとの比較は、前記検索順位のうち最優先順位と決定されたセグメントを前記決定されたセグメントが開始部分であるか、終了部分であるかによって、検索対象メモで文字の開始部分または終了部分に該当するセグメントとだけ比較することが望ましい。

前記目的を達成するために本発明に係るデジタルインク検索方法は、入力されたメモに関するデジタルインクデータから各種の不要な部分を除去して情報量を減少させる段階と、前記情報量が減少したメモデータから特徴ベクトルを抽出してメモＤＢに保存する段階と、入力された質疑語に対するデジタルインクデータから各種の不要な部分を除去して情報量を減少させる段階と、前記情報量が減少した質疑語データから特徴ベクトルを抽出する段階と、前記質疑語が前記メモのうちからマッチングされる部分があるかどうかをセグメント単位で検索する段階と、を含む。

前記セグメント単位で検索する段階は、前記特徴ベクトルで表現される文字を時間的に入力された順序情報または空間的分離情報を用いてセグメントに分割する段階と、前記分割されたセグメントに対して検索する順位を決定する段階と、スポッティングテーブルを用いて前記決定された検索順位のうち最高の順位を有する質疑語のセグメントをメモのセグメントと比較して類似度が所定の臨界値（ａ）を超えるセルを検索する段階と、前記検索されたセルから前記セルの周辺を検索して質疑語全体に対して該当メモとの一致部分の有無を検査する段階と、を含むことが望ましい。

本発明によれば、デジタルペンで質疑語を入力して既に作成されたメモあるいは文書内で所望の内容を検索する方法において、正確性と迅速性とを期することができる。
また、本発明によれば、文字認識過程で発生する入力遅延なしにユーザが速かに入力できて製品の親密度を向上させうる。

以下、添付した図面に基づき本発明を詳しく説明する。本発明の利点及び特徴、そしてこれを達成する方法は添付された図面に基づいて詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は以下で開示される実施例に限定されるものではなく、この実施例から外れて多様な形に具現でき、本明細書で説明する実施例は本発明の開示を完全にし、本発明が属する技術分野で当業者に発明の範疇を完全に報せるために提供されるものであり、本発明は請求項及び発明の詳細な説明により定義されるだけである。一方、明細書全体に亙って同一な参照符号は同一な構成要素を示す。

本発明の一実施例に係るデジタルインク検索装置は、図３のように構成される。デジタルインク検索装置１００は、デジタイザー１０、前処理部２０、特徴抽出部３０、メモＤＢ４０、質疑語検索部５０、及びディスプレイ部６０を含んで構成されうる。

デジタイザー１０は、ユーザのストロークを入力され、これをピクセル別２進データ、すなわちデジタルインクデータと認識して前処理部２０に伝達する。デジタイザー１０の解像度は、例えば、インチ当り１５０ポイント程度にして入力されることができ、秒当たり５０ポイントの速度でプロセッサーに伝達しうる。

前処理部２０は、入力されたデジタルインクデータの各種の不要な部分を除去して情報量を減少させる。前記不要な部分は、ユーザストローク入力の不完全性、文字サイズの多様性、筆記速度の多様性などによって発生する。このような、前処理過程にはＤｅ−Ｈｏｏｋｉｎｇ、Ｒｅｓａｍｐｌｉｎｇなどの処理を含みうる。Ｄｅ−Ｈｏｏｋｉｎｇは、ペン入力過程でストローク（ペンを離さずに一度に筆記する単位）の開始と終了部分で現れるフック（Ｈｏｏｋ）を除去する過程である。Ｒｅｓａｍｐｌｉｎｇは、情報の歪曲を最小化しつつ、情報量を減らすための処理過程であって、変化の大きい部分の点（Ｐｏｉｎｔ）を除いた残り部分の点を削除する過程である。

特徴抽出部（ｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎ）３０は、前処理を通じてフィルタリングされたデータから特徴ベクトルを抽出する。前記特徴ベクトルには点と点とが連結されたラインの角度、その長さなどが情報として含まれ、その他の多様な情報を特徴情報として使用しうる。このような特徴抽出過程に関して色々な従来の方法が存在するが、本発明ではこれらのうちから１つの方法を利用しうる。例えば、Ｂ．Ｋ．Ｓｈｉｎ、Ｊ．Ｙ．Ｈａ、Ｓ．Ｃ．Ｏｈ、ＫｉｍＪ．Ｈ．の共著論文、“Ｎｅｔｗｏｒｋ−ｂａｓｅｄａｐｐｒｏａｃｈｔｏｏｎｌｉｎｅｃｕｒｓｉｖｅｓｃｒｉｐｔｒｅｃｏｇｎｉｔｉｏｎ”（ＩＥＥＥＴｒａｎｓ．ｏｎＳｙｓｔｅｍｓ，ＭａｎａｎｄＣｙｂｅｒｎｅｔｉｃｓ，ＰａｒｔＢ，Ｖ．２９，Ｉｓｓｕｅ２，１９９９）に開示された特徴抽出方法を用いられる。

ユーザが入力したストロークは、単純な‘メモデータ’であるか、前記メモデータでマッチングされる部分を探すための‘質疑語’であり得る。メモＤＢ４０は、前記入力ストロークが単純なメモデータである場合には、そのメモデータを特徴抽出部３０で抽出された特徴ベクトルの形に保存する。
一方、前記入力ストロークが質疑語である場合には、メモＤＢ４０を経ずに質疑語検索部５０に入力される。

質疑語検索部５０は、本発明の核心部分であって、質疑語がメモＤＢに保存されたメモデータでマッチングされる部分があるかどうかを所定のマッチングアルゴリズムを用いてセグメント単位で検索し、その検索結果をディスプレイ部に伝達する。

ディスプレイ部６０は、質疑語検索結果、マッチングされる部分が存在するメモをそのマッチングされた部分を強調してユーザにディスプレイし、全体メモにマッチングされる部分が存在しなければ、その事実をユーザにメッセージにて知らせる。図４では、ユーザにディスプレイされるメモの例を示した。

図５は、質疑語検索部５０の構成を示すブロック図である。質疑語検索部５０は、セグメント分割部５１、検索順位決定部５２、スポッティング部５３、周辺検索部５４を含んで構成されうる。

セグメント分割部５１は、前記特徴ベクトルで表現される文字を時間的情報（ｔｅｍｐｏｒａｌｉｎｆｏｒｍａｔｉｏｎ；時間的に入力された順序情報）または空間的情報（ｓｐａｔｉａｌｉｎｆｏｒｍａｔｉｏｎ；空間的に分離された情報）を用いて分割単位、すなわち、セグメントに分割する。セグメントとは、ユーザが入力した文字のうちから他の部分と連結性なしに、別途に分離された部分であると定義しうる。したがって、ハングルの場合に１つの子音、母音などの音素などになり、英文の場合には１つのアルファベット文字になりうる。しかし、ユーザの筆記方式によっては、２つの音素が１つのセグメントに認識されることもあり、１つの音素が２つのセグメントに認識されることもあって、前記セグメント分割はユーザの入力が実際には同じ文字を示すとしても、ユーザの筆記方式によって可変的になりうる。

ここで。‘別途に分離’されたと表現したのは、ほとんど空間的に分離されたものだけでなく、経時的に分離されたことも含まれるという点に注目せねばならない。例えば、図２の例で‘数４’の‘数５’は‘数６’の‘数７’と空間的に連結されているが、時間的には連結されていない。デジタイザーを通じてユーザがメモや質疑語を入力する時、デジタイザーは入力された最終形態だけでなく、ストロークの順序情報も分かるので、これを利用するならば、‘数５’の次に‘数８’が記録されるために‘数５’と‘数７’とを合わせて１つのセグメントには認識しない。

セグメント別分割を決定する基準は、色々あり得る。例えば、デジタイザーの表面でペンデバイスの接触が落ちる瞬間を基準に、１つのセグメントが完成され、次のセグメントが始まると認識しうる。英文の場合には、局部的最大点、最小点を基準に分割してもよく、連結画分析を通じて連結画（Ｌｉｇａｔｕｒｅ）地点を基準に分割する方法を使用しても良い。以外にも、セグメントを認識する従来の方法には、多様にあり、本発明ではこれらうち１つの方法を選択して使用しうる。

図２の質疑語をセグメント別に分離した例を図６に示した。各セグメントは、ユーザがデジタイザーに入力した時間的順序によって配列され、ｉ値はその配列順序を示す。これは、入力された時間的順序に過ぎず、検索順序ではないという点に留意せねばならない。

一方、本発明でセグメントは、望ましくは上記の通りに定義したが、これに限定されず、１つのストローク（字画）をセグメントと定義しても良い。但し、一般的にストロークをセグメントとして選択すれば、文字の分割が多すぎて検索性能が低下する場合が多いが、別ち書きの少ない筆記方式（例えば、英語の筆記体）を使用する場合には、かえってストローク単位で分割することがさらに有利である。

検索順位決定部５２は、セグメント分割部５１で分割されたセグメントに対して検索する順位を決定する。スポッティング部５３で行われるスポッティング過程が意味ある結果を出すためには、次の２つの基本条件を満足せねばならない。第１に、複雑度を十分に減らせねばならない。第２に、スポッティングの結果が十分な意味を有さねばならない。このような条件を充足させるために、セグメント分割部５１で分割した各セグメントに対して前記２つの条件を満足させうるセグメントを優先順位として、それらの適用順序を定める。前記第１の条件を満足させるためには、分割された部分が全体質疑語に比べて十分に小さい単位でなければならない。そして、前記第２の条件を満足させるためには、分割された部分があまりにも単純なパターンであってはならず、一般的によく発生しないパターンであるほど良い。

図７のスポッティングテーブルを参照すれば（図７の詳細な説明は後述する）、１）部分でスポッティングを進める場合、総３箇所がスポッティングされる一方、２）部分でスポッティングを進めれば、総８箇所のスポッティングが進められることが分かる。すなわち、２）部分でスポッティングを進める場合には、誤ったスポッティング（ＦａｌｓｅＡｌａｒｍ）が頻繁に発生する一方、１）部分で進める場合には誤ったスポッティングの回数が少ない。しかし、１）部分でスポッティングを進める場合、誤った拒絶（ＦａｌｓｅＲｅｊｅｃｔｉｏｎ）の可能性が高まるために、以上の２つの条件を折衝できる方式で質疑語を分割してスポッティング順序を決定せねばならない。

図８を参照して、各セグメントの情報量によってセグメントの優先順位を決定する方式の例を説明する。各セグメントの情報量を決定する方式では、前処理部２０で前処理を行った後、現れる点の数を使用する。すなわち、セグメントを構成する点の数が多ければ、セグメントの情報量が多いと判断し、情報量の多いセグメントに検索の優先順位をあたえる方式である。

図８において質疑語の各部分のうち５個の点で構成された部分が総４つで優先順位が同じである。これらのうち、任意選択（ｒａｎｄｏｍｓｅｌｅｃｔｉｏｎ）を通じてスポッティングに使用する順序を決定しうる。

スポッティング部５３は、スポッティングテーブルを用いて前記決定された検索順位のうち最高の順位を有する質疑語セグメントをメモセグメントと比較して臨界値を超えるセルを検索する。

スポッティングとは、全体を比較する複雑度を避けるための方法であって、検索しようとする質疑語のセグメント単位で検索対象をスキャンする方法である。

デジタルインク検索上の最も大きい問題点の１つは、検索対象であるメモを検索のための特定単位で分割するのが容易ではないという点である。例えば、図２の‘結婚式’という質疑語が、図１のようなメモ内に存在しているか否かを検索しようとするならば、メモ内のあらゆる可能な字画の順序的な組合わせを抽出して質疑語との類似度を比較せねばならない。すなわち、‘数９’との類似度を比較するか、あるいは‘数１０’、あるいは‘数１１’、‘数１２’、はなはだしくは字画の一部である‘数１３’などの部分とも類似度を比較せねばならない場合が発生する。これは文字と文字との境界を正確に把握し難いという事実に起因する。

このような方式では、検索の複雑度が高すぎて実際の使用は不可能であり、いかなる方式でもメモ内で質疑語に該当する部分が実際に存在しているか、存在するならばどの部分であるかをできるだけ少ない回数の類似度比較だけで処理できる方法が必要である。

本発明では、高速検索を実現するための方法として、あらゆる可能性ある候補を検索せず、検索語の特定部分だけを抽出してこれを検索し、該当部分に対して高い類似度として検索結果が出る場合にのみ、さらに詳細な検索を進める方式で高速化を実現する方法を説明する。

本発明では、図７に示したように、スポッティングという方法を通じて質疑語の一部分だけで検索を進めることによって、類似度検索の単位を大きく減らして、検索所要時間を大幅に短縮すると共に、実際に全体質疑語に対する類似度比較回数を減らす方法を使用する。

例えば、図９に示したように、質疑語の特定セグメント（例えば、終声‘数１４’部分）とメモの全体領域に対して類似度を比較する。類似度の比較結果、終声‘数１４’と類似した部分としては、‘数１５’、‘数１６’、‘数１７’、‘数１８’の終声部分が検出されうることを示している。このようにスポッティングされた地点から各々残りの部分に対する検索（ＣａｎｄｉｄａｔｅＥｘｐａｎｓｉｏｎ）を進めることによって、質疑語の全体領域との類似度を比較しうる。

スポッティング過程を分かりやすく行うためのスポッティングテーブルの一例を図７に示した。スポッティングテーブルは、列（ｒｏｗ）と行（ｃｏｌｕｍｎ）とに区分された多段階の明暗程度を有する四角形より構成されている。列は質疑語をセグメント単位で分割した後、それぞれの単位別に分離されたことを意味し、行は検索対象メモを検索の単位で分割した後、それぞれの単位別に広げたことを意味する。すなわち、ｉ番目の列とｊ番目の行とが合うセルは質疑語のｉ番目のセグメントと検索対象メモのｊ番目のセグメントとの類似度を比較した結果である。

各四角形の明暗は、各セルの類似度比較結果を意味する。明暗の濃いセル(図７の７０１〜７０８)であるほど、比較された両セグメントが類似しているということを意味し、特に赤い色(７０５〜７０８)で表示されたセルはスポッティング臨界値を超えるということ、すなわち、質疑語のセグメントとメモのセグメントとがマッチングされるということを示す。

スポッティング過程をさらに詳細に説明すれば、質疑語セグメントのうち質疑語検索部５０の検索順序によって最優先検索順位を有する質疑語セグメントに対して水平方向（ｊを増加させる方向）に進めつつ、メモでマッチングされるセグメントの有無を探す。もし、マッチングされるセグメントが存在しないならば、前記最優先検索順位の次の順位を有する質疑語セグメントに対して同じ方法でマッチングされるセグメントの有無を探す。

マッチング如何を判断することは、現在スポッティングに使用している質疑語の特定セグメントとメモの特定セグメントとの類似度を比較し、これを［Ｍｉｎ、Ｍａｘ］値で正規化された形に出力し、計算された値を臨界値と比較して設定された臨界値を超える場合には、これをマッチングされたと判断し、このようにマッチングされたセルを‘スポッティングされたセル’であると定義する。

もし、計算された類似度値が臨界値より小さな場合には、メモの次のセグメントを選択し、同じ過程を反復する。類似度比較方法は、前述したＥｌａｓｔｉｃＭａｔｃｈｉｎｇ方法などを使用して比較結果を正規化された数値で表現可能な色々な方法を使用しうる。スポッティング過程で計算される類似度比較結果は、類似度テーブルを作成して保管することによって必要な場合に限って計算し、重複された計算をしない。

周辺検索部５４は、前記検索された（スポッティングされた）セルから前記セルの周辺を検索して質疑語全体に対して該当メモとの一致部分の有無を検査する。スポッティング部５３でのスポッティング過程を通じて現在質疑語のセグメントとマッチングされるメモのセグメントが存在すれば、その該当するセルで対角線方向にスポッティングテーブルの上端及び下端に至るまで移動しつつ、次のセルでの類似度を計算し、これを該当セルに記録（色相(図７の白黒部分７０１〜７０８)で表示）する。このような過程は、対角線方向のあらゆるセルに対して処理されるまで反復される。

ここで、対角線方向とは、左上または右上方向を意味するが、左上方向への移動とは、現在セル座標が（ｉ、ｊ）とする時、（ｉ−１、ｊ−１）座標を有するセルに移動することであって、これは質疑語の以前セグメントをメモの以前セグメントと比較するものとなる。そして、右下方向への移動とは、現在セル座標が（ｉ、ｊ）とする時、（ｉ＋１、ｊ＋１）座標を有するセルに移動することであって、質疑語の以後セグメントをメモの以後セグメントと比較することである。このような過程を‘周辺検索’と名付ける。

例えば、図１０Ａに示されたように、マッチングされたセル（Ａ）を基準として左上方向に移動しつつ、その方向のあらゆるセルでの類似度を計算して記録する。その後、またセルＡから右下方向に移動しつつ、その方向のあらゆるセルでの類似度を計算して記録するようになる。

このように、対角線方向に類似度を比較する過程は、質疑語セグメントとメモセグメントとが相互一対一対応ということを前提とすることであるが、実際の筆記方式によっては、１つのセグメントに複数の音素が含まれることもあり、１つの音素が複数のセグメントと認識されることもある。

このような問題点を解決するために各部分単位でマッチングされた類似度情報及び各部分の長さ情報などを用いてスポッティングされた地点から拡張していきつつ検索を進めることが望ましい。

図１０Ｂは、スポッティングされたセルから拡張検索を進める方式を図式化している。ここで、緑色枠で描いた部分(図１０Ｂの１０１〜１０８)は、実際質疑語のセグメントとメモのセグメントとが対応する正答をマーキングしておいたものである。スポッティングされたセルＢから矢印（ａ）方向に向かうこと、すなわち、拡張のない場合は、１つの質疑語セグメントと１つのメモセグメントとを比較することを示す。そして、矢印（ｂ）方向に拡張すること、すなわち横拡張は１つの質疑語セグメントと２つのメモセグメントを合わせたものとを比較することを示す。また、矢印（ｃ）方向に拡張すること、すなわち縦拡張は２つの質疑語セグメントを合わせたものと１つのメモセグメントとを比較することを示す。

横拡張は、質疑語で２つの音素が１つのセグメントと認識され、メモでは、１つの音素が１つのセグメントと認識された場合に備える方法である。そして、縦拡張は、質疑語で１つの音素が１つのセグメントと認識され、メモでは、２つの音素が１つのセグメントと認識された場合に備える方法である。

このような音素を併合して筆記する問題を克服するために、１段階を拡張する過程で色々な音素が併合された可能性を同時にテストし、拡張可能な部分結果をＢｅｓｔＦｉｒｓｔＳｅａｒｃｈアルゴリズムを使用して現在までの検索結果のうち最も類似度の高い部分から連続拡張して行く方式を使用する。このような過程を‘拡張周辺検索’と名付ける。

もし、図１０Ｂのように２段階拡張（横方向２、縦方向２の拡張）を使用する場合には、３つのノード候補群が存在し、このうち類似度の最も高い側を選択すればよい。もし、３段階拡張を使用するならば、５種のノード候補群が存在しうる。

図１０Ｂに示したアルゴリズムは、図１１のようにツリー（Ｔｒｅｅ）形態で表現されうる。このような検索過程を類似度テーブル上で左上端、右下端に境界点に至るまで検索し続ける。図１１では、１つのスポッティングされたセルから右下方向に検索して行く過程を例として挙げたが、ここで、赤色(図１１の１１０)の四角形１つはＥｌａｓｔｉｃＭａｔｃｈｉｎｇ１回に該当し、これをノードと定義する。１つのノードは、１つのセルまたは１つ以上のセルより構成されうる。

このような拡張周辺検索を行うに当って、類似度の計算方式の実施例は次の通りである。図１１のノード（Ｃ）での類似度を式(10)とする時、（１）の形態のように質疑語の１セグメントを拡張する場合、下記の式(11)のように累積類似度を各セグメントの長さに比例して正規化された形に計算しうる。

ここで、l_i，l_i+1は各々現在ノードで使用する質疑語セグメントの長さ、次のノードで拡張された質疑語セグメントの長さを意味し、式(12)は質疑語のｉ番目のセグメントと検索対象メモのj_i番目のセグメントとの類似度を意味し、式(13)は質疑語のｉ＋１番目のセグメントと検索対象メモのj_i+1番目のセグメントとの類似度を意味する。

同様に、（２）の形態のように質疑語の２つのセグメントを使用しつつ拡張した場合には次の式(14)のように累積類似度を計算する。ここで、l_i+2は次の次のノードで拡張された質疑語セグメントの長さを、式(15)は質疑語のｉ＋１番目のセグメントとｉ＋２番目のセグメントとを合わせたものと検索対象メモのj_i+1番目のセグメントとの類似度を意味する。

同様に、（３）の形態のように質疑語の２つのセグメントを使用しつつ拡張した場合には、次の式(16)のように累積類似度を計算する。ここで、式(17)は質疑語のｉ＋１番目のセグメントと、検索対象メモのj_i+1番目のセグメントとj_i+1+１番目のセグメントとを合わせたものとの類似度を意味する。

このように、拡張可能な部分の結果をＢｅｓｔＦｉｒｓｔＳｅａｒｃｈアルゴリズムを使用して、現在までの検索結果のうち類似度の最も高い部分から連続拡張して行く。例えば、図１１で、（１）方向検索と（２）方向検索、（３）方向検索を行い、その結果、（１）方向検索の累積類似度が現在までの検索結果のうち最も高いと現れたならば、（１）方向結果で再び１段階拡張検索を進める。（３）方向検索のように累積類似度が所定の臨界値以上である場合には、これ以上の検索を進めず、検索パスを刈り込む（Ｐｒｕｎｉｎｇ）。

以上の拡張検索過程で検索方向の端部（上端及び下端）に至るまで拡張検索され、その累積類似度が臨界値以上である結果が発見されたならば、そこで検索を中止し、メモでそのパスに該当する部分を最適にマッチングされた部分と選択する。

以上のスポッティング過程及び周辺検索過程を経たが、臨界値を超えるパスが存在しない場合には、メモ内に質疑語と類似している部分がないと判断することもあり、計算された各パスに対する累積類似度のうち最大値を有するパスを候補として提示することもある。

前記スポッティング方法を適用すれば、スポッティングに使われる質疑語の一部分と検索対象メモの全部分とに対して順次的な検索を進めることになる。しかし、実際の筆記情報から導出されうる追加的な情報（以下、メタ情報）を得られるならば、検索対象メモのあらゆる部分と類似度とを比較せず、特性が一致する部分に対してのみ選択的に比較することによって、さらに速い速度が得られる。

文字分割情報をメタ情報として使用する場合を例として挙げられる。入力されたデジタルインクを文字単位で分割することは、１００％正確には分割できないが、多様な情報を活用して高い正確度で文字単位の分割結果を得られる。正確な情報ではないために、このような情報を信頼して次の段階で利用することはできないが、本発明ではスポッティング過程での無意味な比較の試みを避ける用途として使用できる。

図１２は、文字分割メタ情報を活用したスポッティング方法を図式化している。図１２の各列と行とは前述したように、各々質疑語とメモとの各部分の類似度を意味する。文字分割メタ情報が与えられれば、青線(図１２の太実線)のように各文字間の警戒地点を表示しうる。

このように文字分割されたメタ情報が与えられた状況では、セグメント分割部５１での動作過程（セグメント分割過程）と、検索順位決定部５２での動作過程（検索順位決定過程）と、スポッティング部５３での動作過程（スポッティング過程）とが変わる。

まず、セグメント分割過程では、メタ情報で与えられた文字の開始部分あるいは終了部分に該当するセグメントに対してのみスポッティングに使用する。例えば、図１２では質疑語が２つの文字に区分されており、文字の開始セグメントと終了セグメントとは総４つ存在する。したがって、この場合には４つのセグメントに対して情報量を基準に検索順位を定める。

次いで、メタ情報として与えられた文字分割情報を用いて選択的な検索を行う。例えば、現在スポッティングに使用するセグメントが質疑語の文字開始部分に該当するセグメントである場合、検索対象メモでも文字の開始部分に該当するセグメントに対してのみ選択的に比較を行う。同様に、文字の終了部分に該当するセグメントである場合、メモでも文字の終了部分に該当するセグメントに対してのみ比較を進める。このように比較する過程は図１２で矢印で示されている。

以上のメタ情報利用の実施例以外に前記実施例を応用して、文字を仮分割した後、特徴セグメントが文字内に占める位置（ｔｏｐｏｌｏｇｙ）情報を用いて文字のうち該当位置近傍に存在する部分のセグメント間にのみ比較する方法も使用できるであろう。また、英文の場合には、単語単位で仮分割し、これをメタ情報を用いる方法も使用しうる。

このような方法を適用すれば検索性能では若干の損失が発生する可能性があるが、一般的なユーザの筆記パターンに適用すれば、その損失の幅が少なく、一方、速度改善の効果は非常に大きく現れることが分かった。

以上、添付図を参照して本発明の実施例を説明したが、本発明が属する技術分野で当業者ならば本発明がその技術的思想や必須特徴を変更せずとも他の具体的な形に実施されうるということが理解できるであろう。したがって、前述した実施例は全ての面で例示的なものであって、限定的なものではないと理解せねばならない。

本発明は、ユーザがデジタルペンインターフェースを用いて手書き入力したメモからユーザの質疑語に該当する単語を検索する装置及びその方法に関するものであって、文字認識技術分野で好適に適用されうる。

デジタルインクメモの例を示す図面である。デジタルインク質疑語の例を示す図面である。本発明の一実施例に係るデジタルインク検索装置の構成を示すブロック図である。ユーザにディスプレイされるメモの例を示す図面である。質疑語検索部５０の構成を示すブロック図である。質疑語をセグメント別に分離した例を示す図面である。スポッティングテーブルの例を示す図面である。各セグメントの情報量によってセグメントの優先順位を決定する方式の例を示す図面である。質疑語の特定セグメントとメモとの全体領域に対して類似度を比較する例を示す図面である。 ‘周辺検索’及び‘拡張周辺検索’過程の例を示す図面である。 ‘周辺検索’及び‘拡張周辺検索’過程の例を示す図面である。 ‘拡張周辺検索’過程の例をツリー形態に表現した図面である。文字分割メタ情報を活用したスポッティング方法を示す図面である。

符号の説明

１０デジタイザー
２０前処理部
３０特徴抽出部
４０メモＤＢ
５０質疑語検索部
６０ディスプレイ部
１００デジタルインク検索装置

Claims

入力された質疑語またはメモに関するデジタルインクデータから各種不要な部分を除去して情報量を減少させる前処理部と、
前記情報量が減少したデータから特徴ベクトルを抽出する特徴抽出部と、
前記質疑語が、前記メモのうちマッチング部分があるかどうかをセグメント単位で検索する質疑語検索部と、を含むデジタルインク質疑検索装置。
ユーザのストロークを入力され、それを前記デジタルインクデータと認識して前処理部に伝達するデジタイザーをさらに含む請求項１に記載のデジタルインク質疑検索装置。
前記検索結果マッチングされた部分を強調して前記マッチングされた部分を含むメモをユーザにディスプレイし、全体メモのうちマッチングされる部分が存在しなければ、その結果をメッセージにてユーザに知らせるディスプレイ部をさらに含む請求項１に記載のデジタルインク質疑検索装置。
前記入力ストロークがメモである場合には、そのメモデータを前記特徴抽出部から抽出された特徴ベクトル形に保存し、質疑語検索時に質疑語検索部に前記保存されたメモを提供するメモＤＢをさらに含む請求項１に記載のデジタルインク質疑検索装置。
前記質疑語検索部は、
前記特徴ベクトルで表現される文字を時間的に入力された順序情報または空間的分離情報を用いてセグメントに分割するセグメント分割部と、
前記分割されたセグメントに対して検索する順位を決定し、それをスポッティング部に提供する検索順位決定部と、
スポッティングテーブルを用いて前記決定された検索順位のうち最高の順位を有する質疑語のセグメントをメモのセグメントと比較して類似度が所定の臨界値（ａ）を超えるセルを検索するスポッティング部と、
前記検索されたセルから前記セルの周辺を検索して質疑語全体に対して当該メモとの一致部分の有無を検査する周辺検索部と、を含むことを特徴とする請求項１に記載のデジタルインク質疑検索装置。
前記検索順位は、各セグメントの情報量を基準に決定することを特徴とする請求項５に記載のデジタルインク質疑検索装置。
前記スポッティングテーブルは、列と行とに区分された多段階の明暗程度を有するセルより構成されるが、ｉ番目の列とｊ番目の行とが合うセルは質疑語のｉ番目のセグメントと検索対象メモのｊ番目のセグメントとの類似度を比較した結果を記録することを特徴とする請求項５に記載のデジタルインク質疑検索装置。
前記類似度は、ＥｌａｓｔｉｃＭａｔｃｈｉｎｇ方法を用いて用いることを特徴とする請求項５に記載のデジタルインク質疑検索装置。
前記セル周辺の検索は、前記セルの対角線方向に検索するが、前記スポッティングテーブルの上端及び下端に至るまで検索することを特徴とする請求項５に記載のデジタルインク質疑検索装置。
前記セル周辺の検索は、前記セルの対角線方向に検索するが、横拡張及び縦拡張を通じて次に選択されるノードの候補群を選定し、ＢｅｓｔＦｉｒｓｔＳｅａｒｃｈ方式によって現在までの検索結果のうち最も類似度の高い部分から連続拡張して行きつつ、スポッティングテーブルの上端及び下端に至るまで検索することを特徴とする請求項５に記載のデジタルインク質疑検索装置。
前記一致部分は、前記上端及び下端に至るまで検索した結果に対する累積類似度を決定し、前記累積類似度が所定の臨界値（ｂ）を超える場合にメモで該当部分を意味することを特徴とする請求項１０に記載のデジタルインク質疑検索装置。
前記候補群のうち拡張なしに対角線方向のセルを次のノードに選択する場合に、累積類似度は、
式(1)で表されるが、l_iは現在ノードで使用する質疑語セグメントの長さを、l_i+1は次のノードで拡張された質疑語セグメントの長さを、式(2)は質疑語のｉ番目のセグメントと検索対象メモj_i番目のセグメントの類似度を、式(3)は質疑語のｉ＋１番目のセグメントと検索対象メモのj_i+1番目のセグメントの類似度を意味することを特徴とする請求項１１に記載のデジタルインク質疑検索装置。
前記候補群のうち縦拡張を行う場合に、累積類似度は、
式(4)で表されるが、l_iは現在ノードで使用する質疑語セグメントの長さを、l_i+1は次のノードで拡張された質疑語セグメントの長さを、l_i+2は次の次のノードで拡張された質疑語セグメントの長さを、式(5)は質疑語のｉ番目のセグメントと検索対象メモのj_i番目のセグメントとの類似度を、式(6)は質疑語のｉ＋１番目のセグメントとｉ＋２番目のセグメントとの和と検索対象メモのj_i+1番目のセグメントとの類似度を意味することを特徴とする請求項１１に記載のデジタルインク質疑検索装置。
前記候補群のうち縦拡張を行う場合に、累積類似度は、
式(7)で表されるが、l_iは現在ノードで使用する質疑語セグメントの長さを、l_i+1は次のノードで拡張された質疑語セグメントの長さを、式(8)は質疑語のｉ番目のセグメントと検索対象メモのj_i番目のセグメントとの類似度を、式(9)は質疑語のｉ＋１番目のセグメントと、検索対象メモのj_i+1番目のセグメントとj_i+1+１番目のセグメントとの和との類似度を意味することを特徴とする請求項１１に記載のデジタルインク質疑検索装置。
前記検索順位の決定は、前記質疑語及び前記メモを文字単位で分割し、前記質疑語のセグメントのうち文字の開始部分または終了部分に該当するセグメントに対してのみ検索順位を決定することを特徴とする請求項５に記載のデジタルインク質疑検索装置。
前記質疑語のセグメントとメモのセグメントとの比較は、前記検索順位のうち最優先順位に決定されたセグメントを、前記決定されたセグメントが開始部分であるか、終了部分であるかによって、検索対象メモで文字の開始部分または終了部分に該当するセグメントだけと比較することを特徴とする請求項１５に記載のデジタルインク質疑検索装置。
入力されたメモに関するデジタルインクデータから各種の不要な部分を除去して情報量を減少させる段階と、
前記情報量が減少したメモデータから特徴ベクトルを抽出してメモＤＢに保存する段階と、
入力された質疑語に関するデジタルインクデータから各種の不要な部分を除去して情報量を減少させる段階と、
前記情報量が減少した質疑語データから特徴ベクトルを抽出する段階と、
前記質疑語が、前記メモのうちからマッチングされる部分があるかどうかをセグメント単位で検索する段階と、を含むデジタルインク質疑検索方法。
前記セグメント単位で検索する段階は、
前記特徴ベクトルで表現される文字を時間的に入力された順序情報または空間的分離情報を用いてセグメントに分割する段階と、
前記分割されたセグメントに対して検索する順位を決定する段階と、
スポッティングテーブルを用いて前記決定された検索順位のうち最高の順位を有する質疑語のセグメントをメモのセグメントと比較して類似度が所定の臨界値（ａ）を超えるセルを検索する段階と、
前記検索されたセルから前記セルの周辺を検索して質疑語全体に対して該当メモとの一致部分の有無を検査する段階と、を含むことを特徴とするデジタルインク質疑検索方法。
前記検索順位は、各セグメントの情報量を基準に決定することを特徴とする請求項１８に記載のデジタルインク質疑検索方法。
前記スポッティングテーブルは、列と行とに区分された多段階の明暗程度を有するセルより構成されるが、ｉ番目の列とｊ番目の行とが合うセルは、質疑語のｉ番目のセグメントと検索対象メモのｊ番目のセグメントとの類似度を比較した結果を記録することを特徴とする請求項１８に記載のデジタルインク質疑検索方法。
前記セル周辺の検索は、前記セルの対角線方向に検索するが、前記スポッティングテーブルの上端及び下端に至るまで検索することを特徴とする請求項１８に記載のデジタルインク質疑検索方法。
前記セル周辺の検索は、前記セルの対角線方向に検索するが、横拡張及び縦拡張を通じて次に選択されるノードの候補群を選定し、ＢｅｓｔＦｉｒｓｔＳｅａｒｃｈ方式によって現在までの検索結果のうち最も類似度の高い部分から連続拡張して行きつつ、スポッティングテーブルの上端及び下端に至るまで検索することを特徴とする請求項１８に記載のデジタルインク質疑検索方法。
前記一致部分は、前記上端及び下端に至るまで検索した結果に対する累積類似度を決定し、前記累積類似度が所定の臨界値（ｂ）を超える場合に、メモで該当部分を意味することを特徴とする請求項２２に記載のデジタルインク質疑検索方法。