JP2005018442A - 表示処理装置、表示処理方法、表示処理プログラム、および記録媒体 - Google Patents

Abstract

【課題】曖昧性（不確かさ）を含み得る検索キーを用いて検索対象データから検索を行う場合に、ユーザに負担を強いることなく、また認識処理の曖昧性を考慮して、認識候補と検索結果とを表示する。
【解決手段】認識手段で認識した複数の認識候補と、検索手段で検索した複数の検索結果との両方を表示する表示レイアウト作成手段により、複数の認識候補をタブ３１〜３３のように、また複数の検索結果をリストデータ３４〜３６のように表示する。この際、複数の検索結果であるリストデータ３４〜３６は、複数の認識候補のいずれか一つを検索キーとした場合に得られる検索結果から成る。従って、ユーザに認識候補を予め確定する負担を強いることなく、また認識処理の曖昧性を考慮した検索結果の表示を可能とする。
【選択図】 図１０

Description

【０００１】
【発明の属する技術分野】
本発明は、表示処理装置、表示処理方法、表示処理プログラム、および記録媒体に関し、特に、認識処理を通して得られた検索キーによる検索結果を、所定の表示レイアウトで表示されるように、表示処理するための、表示処理装置、表示処理方法、表示処理プログラム、および記録媒体に関する。
【０００２】
【従来の技術】
近年、音声データや手書き文字データを認識してテキスト形式のデータを得る、音声認識や手書き文字認識の技術が、パソコン（ＰＣ）、カーナビゲーションシステム、携帯情報端末（ＰＤＡ）などで利用されている。
【０００３】
このような音声認識や手書き文字認識の技術における認識結果表示方法の従来例としては、例えば、特開平７−１０４６７５号公報（特許文献１参照）に開示されているように、弱い知識による拘束条件と、強い知識による拘束条件との２つの知識辞書を用いて音声を認識し、両者から得られた複数の認識候補を表示することにより、発話者の記憶違いなどによる微小の言い間違いに対して柔軟性を増すとともに、類似した認識候補の湧き出しを減少することが知られている。
【０００４】
また、例えば、シャープ技報通巻５７号１９９３年発行ｐ．５〜ｐ．８（非特許文献１参照）においては、オンライン手書き認識システムの実用化について示されている。
【０００５】
一方、ＰＣ上のウェブブラウザ用コンテンツサービスなどに見られるような、検索エンジンがある。例えば、ＰＣ上のウェブブラウザ用コンテンツサービスに見られる検索エンジンの例においては、キーボードを用いて検索キーとなるテキストデータ（文字列など）を入力して、検索ボタンをクリックすることにより、図１５に示すような検索結果のリストを提供する。
【０００６】
さらに、音声データや手書き文字データとして入力された検索キーを、音声認識処理や手書き文字認識処理により認識してテキストデータを獲得した後、認識結果として得られた一つの検索キー（一つの単語という意味ではなく、一つの認識結果）を用いて検索し、一つまたは複数の検索結果を得るという組み合わせが考えられる。
【０００７】
【特許文献１】
特開平７−１０４６７５号公報（請求項１、段落００１１）
【非特許文献１】
シャープ技報通巻５７号１９９３年発行ｐ．５〜ｐ．８
【０００８】
【発明が解決しようとする課題】
しかしながら、上記の特許文献１に開示された認識結果表示方法を用いた場合においては、入力音声データの認識結果を確実に１位候補として導出できるものではなく、発話者が認識候補からの選択などにより結果を確定する必要がある。
【０００９】
また、上記の非特許文献１に示されたオンライン手書き認識システムにおいては、入力手書き文字データの認識結果を確実に１位候補として導出できるものではなく、入力者が認識候補からの選択などにより結果を確定する必要がある。
【００１０】
また、上記のＰＣ上のウェブブラウザ用コンテンツサービスに見られる検索エンジンの例においては、一般に、検索キーそのものが音響的に、または画像（文字画像）的に曖昧性を含んでいることを前提とはしていない。
【００１１】
また、上記の音声認識や手書き文字認識と検索エンジンの組み合わせにおいては、検索エンジンによる検索結果を得る前に、音声データや手書き文字データ入力による検索キーの曖昧性を取り除く必要がある。また、曖昧性を取り除くことなく１位候補を検索キーとして自動的に確定した上で検索した場合、１位候補が正しい検索キーでなければ所望の検索結果を得るために再入力が必要となる。
【００１２】
本発明は、上記の実情を鑑みて考え出されたものであり、その目的は、認識処理性能に起因する曖昧性（不確かさ）を含み得る検索キーを用いて検索対象データから検索を行う場合に、ユーザが検索キーの確定処理を行うことなく検索結果を得ることを可能とし、かつ検索キーを誤認識しても再入力することなく正しい検索キーによる検索結果を得ることを可能とする、表示処理装置、表示処理方法、表示処理プログラム、および記録媒体を提供することである。
【００１３】
【課題を解決するための手段】
上記課題を解決するため、本発明は、認識処理を通して得られた検索キーによる検索結果を、所定の表示レイアウトで表示されるように、表示処理する表示処理装置であって、入力された検索キーを認識処理し、検索キーとして類似度の大きいものから順に複数の認識候補を選出する認識手段と、データベースにアクセスする手段と、前記認識手段によって選出された複数の認識候補を検索キーとして用いて、各検索キーそれぞれについて、前記データベースから検索キーに対応するデータを検索する検索手段と、前記認識手段によって選出された複数の認識候補と、前記検索手段によって検索された各認識候補毎の複数の検索結果とを、関連づけて記憶する第１記憶手段と、前記第１記憶手段に記憶されている認識候補と検索結果とを用いて、複数の認識候補と、複数の認識候補のうちのいずれか一つの認識候補に関連する複数の検索結果とを同時に表示し得るような表示レイアウトを作成する表示レイアウト作成手段と、を備えたことを特徴とする。
【００１４】
上記の如く、入力された検索キーを認識処理して複数の認識候補を選出し、各認識候補を検索キーとして検索し、複数の認識候補と複数の検索結果とを同時に表示し得るような表示レイアウトで表示することにより、入力された検索キーが認識処理性能に起因する曖昧性（不確かさ）を含んでいても、ユーザが検索キーの確定処理を行うことなく検索結果を得ることが可能となり、かつ検索キーを誤認識しても再入力することなく正しい検索キーによる検索結果を得ることが可能となる。
【００１５】
なお、検索キーの入力に際しては、マイクやタブレットの検索キー入力手段を表示処理装置に設けて、この表示処理装置に備えられた検索キー入力手段によって入力するように構成してもよく、また、マイクやタブレットがワイヤレスで構成され、このマイク等からの送信によって表示処理装置に入力するような構成であってもよい。
【００１６】
また、表示レイアウト作成手段によってレイアウトされた内容を表示するに際しては、モニタ等の表示手段を表示処理装置に設けて、この表示処理装置に備えられた表示手段によって表示するように構成してもよく、また、モニタ等がワイヤレスで構成され、表示処理装置から表示レイアウトデータをモニタ等に送信することによって、モニタ等に表示するような構成であってもよい。
【００１７】
また、検索対象データを検索する際には、ネットワークを介した検索処理であってもよく、また、表示処理装置に備えられた記憶手段（第２記憶手段）の検索処理であってもよい。
【００１８】
本発明は、認識候補の表示形態は、認識候補を検索キーとした場合に得られる検索結果を反映して変形されている場合もある。例えば、検索結果量に基づく認識候補の奥行き調整、検索結果の相関度合いに基づく文字サイズ、または文字太さ、または文字色の調整などである。
【００１９】
本発明は、ユーザの指示を受け付けて、ユーザの指示情報を前記表示レイアウト作成手段に受け渡すユーザ指示手段を備える場合もある。なお、入力される検索キーは音声入力であり、認識手段は音声認識手段であってもよく、入力される検索キーは手書き文字入力であり、前記認識手段は手書き文字認識手段であってもよい。また、検索キーはテキストデータであり、前記検索手段が検索する対象となるデータはテキストデータであってもよい。
【００２０】
本発明は、複数の認識候補を表示する際に、複数の認識候補のうちのいずれか一つの認識候補を、他の認識候補と異なる形態で表示する場合もある。表示形態の相違は、具体的には、栞付きシートの前後関係を模したもの、文字色、及び、文字の周囲の色の少なくともいずれか一つを異ならせて表示することによる。これにより、一つの認識候補と他の認識候補とを、視覚的に認識可能となる。
【００２１】
本発明は、レイアウトされる複数の検索結果は、前記一つの認識候補に関連する複数の検索結果である場合もある。これにより、検索キーを確定することなく検索結果が得られる。なお、複数の検索結果を表示する際に、複数の検索結果のうちのいずれか一つの検索結果を、他の検索結果と異なる形態で表示してもよい。表示形態の相違としては、具体的には、文字色、及び、文字の周囲の色の少なくともいずれか一つを異ならせて表示することによる。
【００２２】
本発明は、ユーザ指示部は、複数の認識候補のいずれか一つを選択指示する構成であってもよく、複数の検索結果のいずれか一つを選択指示する構成であってもよく、複数の検索結果のいずれか一つの選択を決定指示する構成であってもよい。具体的には、ユーザ指示部は、異なる４方向のいずれか一つの方向を指示することにより、ユーザ指示の入力を行うことが可能な構造とされている場合がある。異なる４方向は、十字方向をなす４方向であり、十字方向をなす４方向の指示構造は、同一軸上で相反する方向を向き合う２組の方向指示構造に関して、１組は認識候補の選択指示を行い、もう１組は検索結果の選択指示を行うように構成されている場合もある。このような十字方向の指示構造を用いることにより、画面上のポインタなどによる指示が困難な機器においても、容易に所望の検索結果を得ることが可能となる。
【００２３】
本発明は、複数の認識候補を表示する際に、類似度の大きさに基づいて、各認識候補の表示形態を調整する場合もある。これにより、各認識候補の確からしさを視覚的に表現することが可能となり、誤認識の際においても容易に修正することを可能とする。具体的には、文字の周囲の囲み、栞を模したタブまたはボタンなどの面積の大小、栞を模したタブまたはボタンなどの奥行き方向の深さ、栞を模したタブまたはボタンなどの奥行き方向の深さを模した表現、及び、文字の大きさの少なくともいずれか一つを調整することによる。
【００２４】
また、検索結果の数に基づいて、認識候補の表示形態を調整してもよい。これにより、認識候補の正確さに関わらず、検索結果情報数の大小に基づいて検索結果を表示することを可能とする。具体的には、検索結果の数が大きいほど、文字の周囲の囲みを大きく表示すること、栞を模したタブまたはボタンなどの奥行き方向の数を大きく表示すること、及び、栞を模したタブまたはボタンなどの奥行き方向の数が大きい状態を模した表現で表示することの少なくともいずれか一つを調整することによる。
【００２５】
また、検索の相関の度合いに基づいて、認識候補の表示形態を調整してもよい。具体的には、相関が大きいほど文字を大きく表現すること、及び、相関が大きいほど文字を太く表現することの少なくともいずれか一つを調整することによる。
【００２６】
また、本発明は、上記表示処理装置において用いられる表示処理方法であったり、表示処理方法を実現する表示処理プログラムであったり、この表示処理プログラムを記録した記録媒体であったりする。
【００２７】
【発明の実施の形態】
以下、本発明を図示の実施の形態により詳細に説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係る表示処理装置のブロック図である。図１において、１０１は、検索キーの入力を受け付けて後段に受け渡す検索キー入力部である。ここで、検索キーとは、検索のキーとなるキー情報を意味する。
【００２８】
検索キー入力部１０１は、入力として音声データを受け付ける場合はマイクで構成され、Ａ／Ｄ（アナログ／デジタル）変換処理を施して得られるデジタル音声データ、またはアナログ音声データを後段に受け渡す。また、検索キー入力部１０１は、入力として手書き文字データを受け付ける場合はタブレットなどの感圧装置で構成され、ユーザのペン操作などによる手書き文字をデジタル画像データとして後段に受け渡す。ここで、検索キー入力部１０１を構成するマイクまたは感圧装置は、その形状、配置、材質などを限定するものではなく、音声データまたは手書き文字データを、デジタル（またはアナログ）音声データまたはデジタル画像データとして受け付けるものであればよい。例えば、感圧装置を光学式の装置などに置き換えてもよい。
【００２９】
なお、本発明に係る表示処理装置は、必ずしも検索キー入力部１０１を備えている必要はなく、検索キー入力部としてのマイクやタブレットがワイヤレスで構成されて表処理装置とは別個に設け、このマイク等からの送信によって表示処理装置に入力するような構成であってもよい。
【００３０】
１０２は、検索キー入力手段１０１で入力された検索キーを認識する認識部である。認識部１０２は、専用のＬＳＩ（大規模集積回路）素子などで構成される。入力された検索キーが音声データである場合には、音声認識処理を行い、複数のテキストデータ（認識候補データ、以下、認識候補と略称する。）を選出する。また、入力された検索キーが手書き文字データである場合には、手書き文字認識処理を行い、複数のテキストデータ（認識候補）を選出する。なお、認識候補を複数挙げる場合には、認識処理の際の類似度（スコア）が大きいものから順番に認識候補とすればよい。また、最上位の認識候補とは、類似度（スコア）が最も大きいものである。ここで、類似度（スコア）とは、例えば、入力された音声データの特徴と、予め準備した単語辞書中の単語に関連付けられた特徴（またはＨＭＭ（隠れマルコフモデル）などの音響モデル）との照合における類似の度合いにより、表現することができる。
【００３１】
また、単語音声認識処理については、特開平７−１０４６７５号公報、または「ＩＴ Ｔｅｘｔ 音声認識システム」（鹿野他編著、オーム社）ｐ．１〜ｐ．５０に詳しい。
【００３２】
認識部１０２は、連続音声認識システムを導入してもよく、例えば開始終了ボタンの操作などに挟まれた一連の（一単語または複数単語からなる）入力音声データを認識してテキストデータを得られるものであれば、その詳細な構成を限定するものではない。また、手書き文字認識処理については、シャープ技報通巻５７号１９９３年発行ｐ．５〜ｐ．８に詳しい。なお、認識部１０２は、所定の枠の中に一文字ずつ入力する方式を用いてもよく、また所定の枠の中に複数の文字を入力する方式を用いてもよく、例えば開始終了ボタンの操作などに挟まれた一連の入力手書き文字データを認識してテキストデータを得られるものであれば、その詳細な構成を限定するものではない。
【００３３】
ここで、上記の検索キー入力部１０１、及び上記の認識部１０２は、音声入力及び音声認識のみの機能により構成されてもよく、また手書き文字入力及び手書き文字認識のみの機能により構成されてもよく、また音声と手書き文字の両者に対応する機能により構成されていてもよい。
【００３４】
１０３は、認識部１０２で認識されたテキストデータの検索キーを用いて、検索対象データから検索キーに対応するデータを検索する検索部である。検索部１０３は、専用のＬＳＩ素子などで構成される。検索対象データは少なくともテキストデータを含むデータによって構成される。この検索対象データはネットワークを介してアクセス可能なデータベースに保存されており、データベースにアクセスする手段により検索可能となっている。なお、表示処理装置に、検索対象データを保存する、例えば予め半導体メモリ、磁気メモリ、または記憶装置などによって実現される第２記憶手段（図示せず）を設け、この第２記憶手段をアクセスして検索処理するような構成であってもよい。
【００３５】
検索キーを用いて検索対象データから検索を行う検索エンジンについては、その詳細な構成を限定するものではなく、例えば、検索キーテキストと同一のテキストデータを含む検索対象データ中のデータを抽出し、抽出したデータのタイトルまたは冒頭テキストを、予めユーザが指定する所定の数Ｎを最大数として、検索による合致度合いが高いほど高い順位になるような検索結果（最大Ｎ個）を得る。
【００３６】
なお、認識部１０２で得られた認識候補と、検索部１０３で検索されたその認識候補に対応する複数の検索結果とは、例えばテーブル状に関連づけられて半導体メモリなどによって実現される第１記憶手段（図示せず）に記憶される。
【００３７】
１０４は、認識部１０２で得られた複数の認識候補からなる検索キーと、検索部１０３で得られた複数の検索結果とを同時に表示するようにレイアウトする表示レイアウト作成部であり、本発明の一つの特徴となる部分である。表示レイアウト作成部１０４は、専用のＬＳＩ素子などで構成され、ユーザ指示部１０６の指示などに基づき表示レイアウトを作成する。表示レイアウトの例については後述する。
【００３８】
１０５は、表示レイアウト作成部１０４で作成した表示レイアウトに従い、表示を行う表示部である。表示部１０５は、液晶ディスプレイや有機ＥＬ（エレクトロ・ルミネッセンス）ディスプレイなどによって構成されるが、その詳細な構成を限定するものではない。
【００３９】
なお、本発明に係る表示処理装置は、必ずしも表示部１０５を備えている必要はなく、表示部としてのディスプレイがワイヤレスで構成されて表処理装置とは別個に設け、表示処理装置から表示レイアウトデータをディスプレイに送信することによって、モニタ等に表示するような構成であってもよい。
【００４０】
１０６は、ユーザの指示を受け付けて、表示レイアウト作成部１０４との間でユーザ指示情報と表示レイアウト情報の受け渡しを行うユーザ指示部である。ユーザ指示部１０６は、例えば図８に示すようなタッチペン式の携帯情報端末（ＰＤＡ）の場合、タッチ入力可能な表示部７２で構成される。この際、タッチ入力には、例えば専用のタッチペン７３などを用いる。
【００４１】
図２は実施の形態１に係る表示処理装置が実行する処理全体のフローチャートである。以下、図２に従って、表示処理動作について詳細に説明する。
ステップＳ１０１（以下、「ステップ」を省略し単に「Ｓ１０１」と記述する。）では、検索キー入力部１０１から、音声または手書き文字の検索キーを読み込む。
【００４２】
Ｓ１０２では、認識部１０２により、Ｓ１０１で入力した音声または手書き文字の検索キーを認識（音声認識または手書き文字認識）し、検索キーのテキストデータ候補（類似度の大きい順に複数の認識候補）を得る。なお、認識候補の個数は、検索キーの内容に応じて、後述する予めシステム内で設定された（若しくはユーザ指示により変更された）所定の候補数Ｍ以上または未満の場合がある。
【００４３】
Ｓ１０３では、検索部１０３により、Ｓ１０２で得た検索キーの認識候補第１位（類似度の大きが１位の候補）を現在の検索キーとして設定する。
【００４４】
Ｓ１０４では、検索部１０３により、Ｓ１０３で設定した検索キーを用いて、データベースにアクセスする手段によりアクセスされる検索対象データから検索し、複数の検索結果（検索キーとの関連が大きい順に複数の検索結果、最大Ｎ個）を得る。ここで、所定の検索結果最大個数Ｎは、予めシステム内で設定してもよく、またユーザ指示部１０６により動的に設定変更できるように設計してもよい。なお、検索対象データを保存する第２記憶手段（図示せず）を設ける構成にあっては、第２記憶手段へのアクセスによって検索処理を行ってもよい。
【００４５】
Ｓ１０５では、検索部１０３が、現在の検索キーと、当該検索キーを用いて検索した複数の検索結果とを、半導体メモリなどの第１記憶手段（図示せず）に保存する。
【００４６】
Ｓ１０６では、検索部１０３が、Ｓ１０２で得た複数の認識候補のうち現在の検索キーとして設定した認識候補の次の検索キー認識候補が存在するかどうか判定する。Ｓ１０６において次の候補が存在する場合はＳ１０７に進み、存在しない場合はＳ１０９にスキップする。
【００４７】
Ｓ１０７では、検索部１０３が、Ｓ１０２で得た認識候補から現在の検索キーの次候補を、新たな現在の検索キーとして設定する。
Ｓ１０８では、検索部１０３が、Ｓ１０７で設定した現在の検索キーが所定の候補数内（Ｍ個以内）であるかどうか判定する。Ｓ１０８において、所定の候補数内である場合はＳ１０４に戻り再び検索を行う。Ｓ１０８において、所定の候補数を超える場合はＳ１０９に進む。ここで、所定の候補数Ｍは、予めシステム内で設定してもよく、またユーザ指示部１０６により動的に設定変更できるように設計してもよい。
【００４８】
Ｓ１０９では、表示レイアウト作成部１０４により、表示レイアウトを作成する。Ｓ１０９の処理内容の詳細については後述する。
【００４９】
Ｓ１１０では、表示部１０５により、Ｓ１０９で作成した表示レイアウトに従って表示する。
【００５０】
Ｓ１１１では、ユーザ指示部１０６からのユーザ指示の有無が判断され、ユーザ指示内容が終了指示の場合は表示処理を終了し、ユーザ指示内容が選択変更または確定指示の場合はＳ１０９に戻って再び表示レイアウトを作成し、上記のいずれの指示でもない場合はユーザ指示の待ち状態となる。
【００５１】
以下に、上記の処理を具体的に説明する。
（１）検索キーの認識候補数が所定候補数Ｍ以下の場合
処理は、Ｓ１０１→Ｓ１０２→Ｓ１０３を辿り、その後、Ｓ１０４→Ｓ１０５→Ｓ１０６→Ｓ１０７→Ｓ１０８→Ｓ１０４の閉ループ処理を認識候補数だけ巡り、全ての認識候補の検索キーによる検索が行われる。その後、Ｓ１０６において次の検索キー候補が存在しないことから、Ｓ１０６→Ｓ１０９→Ｓ１１０と辿って、複数の認識結果と複数の検索結果とが所定のレイアウトで表示される。
（２）検索キーの認識候補数が所定候補数Ｍを超える場合
処理は、Ｓ１０１→Ｓ１０２→Ｓ１０３を辿り、その後、Ｓ１０４→Ｓ１０５→Ｓ１０６→Ｓ１０７→Ｓ１０８→Ｓ１０４の閉ループ処理を所定候補数Ｍだけ巡り、第１候補の検索キーから第Ｍ候補の検索キーに至るＭ個の検索キーの検索が行われる。その後、Ｓ１０８において現在の検索キー（第Ｍ＋１候補の検索キーに相当）が所定候補数Ｍを超えていることから、Ｓ１０８→Ｓ１０９→Ｓ１１０と辿って、複数の認識結果と複数の検索結果とが所定のレイアウトで表示される。
【００５２】
図３は実施の形態１に係る表示処理装置が実行する表示レイアウト作成処理のフローチャートである。以下、図３に従って、表示レイアウト作成処理動作について詳細に説明する。なお、以下の処理動作は表示レイアウト作成部１０４により行う。
【００５３】
Ｓ２０１では、図２のＳ１０９に入るとまず、表示レイアウトの作成が１回目かどうかを判定する。ここで、１回目とは、検索キー入力部１０１で入力された検索キーに対応する検索結果表示が１回目という意味である。１回目である場合はＳ２０２に進み、１回目でない場合はＳ２０３に進む。
【００５４】
Ｓ２０２では、Ｓ１０５で保存した認識候補として得られた複数の検索キーの情報（テキスト表記など）を設定する。具体的には、例えば図４に示す実施の形態１に係る表示処理装置の表示レイアウト例のタブ１１、１２、１３のような形式で認識候補を最大Ｍ個まで表示するようにレイアウトする。認識候補がＭ個未満であれば認識候補の数まで表示するようにレイアウトする。また、このとき最大Ｍ個の認識候補の中から、類似度が一番大きい認識候補（１位候補）を選択した状態として設定する。例えば図４の場合、タブ１１が現在選択されている認識候補（認識候補１）に対応している。Ｓ２０２の処理が終了すると、Ｓ２０４に進む。
【００５５】
Ｓ２０３では、認識候補の選択変更の有無を判定する。認識候補の選択変更がある場合はＳ２０４に進み、ない場合はＳ２０５に進む。
Ｓ２０４では、現在設定されている検索キー認識候補に対応するＳ１０５で保存した検索結果の情報（検索データへのリンクなど）を、例えばリスト形式で表示するようにレイアウトする。具体的には、例えば図４の場合、リストデータ１４、１５、１６が検索結果の情報である場合の表示レイアウトの例である。また、このとき認識候補を示すタブ１１、１２、１３についても選択状態を現在設定されている検索キーに合わせて変更する。具体的には、例えば「認識候補２」の検索キーが選択された場合、図５に示すようにタブ２２が選択された状態として表示レイアウトを作成する。Ｓ２０４の処理が終了すると、表示レイアウト作成部の処理を終了し、図２のＳ１１０に進む。
【００５６】
Ｓ２０５では、ユーザが検索結果を確定したどうかを判定する。検索結果を確定した場合はＳ２０６に進み、確定していない場合は表示レイアウト作成処理を終了し、図２のＳ１１０に進む。
【００５７】
Ｓ２０６では、検索リストに示されたリンクのリンク先データや詳細情報などを表示するといった検索結果確定に基づく処理を行う。ここで、検索結果確定時の処理方法については、特に限定するものではなく、インターネットホームページの検索であればホームページ表示の処理、画像データの検索であれば確定した検索結果によって決定付けられる画像データを表示するなどすればよい。Ｓ２０６の処理が終了すると、表示レイアウト作成部の処理を終了し、図２のＳ１１０に進む。
【００５８】
以下に、上記の処理を具体的に説明する。
（１）検索結果表示が１回目の場合
処理は、Ｓ２０１→Ｓ２０２→Ｓ２０４→Ｓ１１０を辿り、例えば図４に示す表示レイアウトで表示される。
（２）ユーザから認識候補の選択変更指示があった場合
この場合は検索結果表示が少なくとも２回目以降となるので、処理は、Ｓ２０１→Ｓ２０３→Ｓ２０４→Ｓ１１０を辿り、選択変更指示された認識候補に対応する検索結果情報に設定変更され、例えば認識候補２が選択された場合を想定すると、図５に示す表示レイアウトで表示される。
（３）ユーザから検索結果確定指示があった場合
この場合も検索結果表示が少なくとも２回目以降となるので、処理は、Ｓ２０１→Ｓ２０３→Ｓ２０５→Ｓ２０６→Ｓ１１０を辿り、検索結果確定に基づく処理に応じた表示が行われる。
【００５９】
次いで、レイウウトの具体的態様について説明する。図４または図５において、栞付きシートの前後関係を模した形式で、現在選択されている認識候補を前側に、その他の認識候補を後側に配置した状態を模した形式で表現しているが、選択とその他との相違を表現できれば、その表現形式は他に置き換えてもよい。例えば、認識候補を表現する文字色を異なるもの（例えば、選択は赤、その他は黒）としてもよく、また、例えば、認識候補を表現する文字の周囲の色を異なるもの（例えば、選択は青、その他は白）としてもよい。さらに、これらを組み合わせた形式で表現してもよい。
【００６０】
また、図４または図５において、栞付きシートの栞の形式で、認識候補を表現しているが、Ｓ１０２で認識処理（例えば音声認識または手書き文字認識など）をした際に、認識の類似度（スコアなど）を算出し、Ｓ１０５で上記類似度を保存し、Ｓ２０２で認識候補の表示をレイアウトする際に、類似度が大きいほどタブの面積を大きくしてもよい。また、類似度が大きいほど、タブの奥行き方向の厚みを大きくしてもよい。また、類似度が大きいほど、認識候補の表示に際し文字の大きさを大きくしてもよい。さらに、これらを組み合わせた形式で表現してもよい。このように類似度の大きさに応じて認識候補の表示形態を調整することにより、各認識候補の確からしさを視覚的に表現することが可能となる。
【００６１】
具体的には、栞状のタブ形式の場合、第１番目の認識候補の類似度と第Ｍ番目の認識候補の類似度との差を求め、上記求めた差を分母として、第１番目の認識候補の類似度と第２番目の認識候補の類似度との差、第２番目の認識候補の類似度と第３番目の認識候補の類似度との差、以下同様に差を求め、それぞれを分子とした場合の割合を、第１番目の認識候補に割り当てる幅の割合、第２番目の認識候補に割り当てる幅の割合、以下同様にして幅の割合を決定し、タブを並べて表示する方向の最大幅を各割合に応じて割り当てて表現すればよい。また、奥行き方向の最大厚み（深さ）を予め決定しておき、上記の各幅の割合を、奥行き方向の深さ位置に置き換えて表現してもよい。また、文字の最大面積と最小面積を予め決定しておき、両者の面積の差を求め、上記の各幅の割合を最大文字面積から最小文字面積への縮小割合として置き換えて表現してもよい。
【００６２】
また、図６に示した実施の形態１に係る表示処理装置の表示レイアウト例のように、Ｓ１０４で得られる検索結果の数に応じて、タブの奥行き方向の数を決定して表現することもできる。奥行き方向の数を調整することにより、各認識候補を検索キーとしたときに得られる検索結果数を視覚的に表現することが可能となる。図６は検索キーとして「きょうと」と発話した場合の例であり、認識部１０２において音声認識処理を行った場合の例である。
【００６３】
具体的には、例えば、検索結果を最大５個まで表示するようにしておき（リストデータ１〜リストデータ５）、各認識候補を検索キーとしたときに得られる検索結果数から１を引いた後に５で除した際の除数に１を足した数が、タブの奥行き方向の数となる。例えば、第２番目の認識候補（京都）を検索キーとしたときに得られる検索結果数が１３個の場合、３がタブの奥行き方向の数となり、図６のタブ６、タブ７、タブ８が奥行き方向の表現例である。
【００６４】
また、検索の相関の度合いに応じて認識候補の表示形態を調整するようにしてもよい。具体的には、例えば、図６に示すように、検索における相関の度合いに応じて、相関が大きいほど文字を大きく、また文字を太く表現する。さらに、これらを組み合わせた形式で表現してもよい。ここで、検索における相関の度合いとしては、例えば、検索対象となる各データにおける検索キーの一致個数を用いればよい。また例えば、検索キーが複数の単語から構成される場合、各検索キー単語に関する一致個数を、同一の検索キーが検索対象データ全体に含まれる個数で除することにより正規化して、各検索キー単語について正規化された一致個数を加算した値を用いればよい。
【００６５】
このように、検索結果数や検索における相関の度合いを認識候補の表示形式に反映することによって、ユーザが所望の検索結果を選択する作業を支援することが可能となる。
【００６６】
（適用例１）
図７は実施の形態１に係る表示処理装置をパーソナルコンピュータ（ＰＣ）に適用した例である。図７において、６１はＰＣ本体であり、認識部１０２、検索部１０３、及び表示レイアウト作成部１０４等を含む。６２はＰＣの表示部（表示部１０５に相当）であり、液晶ディスプレイやＣＲＴディスプレイなどで構成される。６３はＰＣのユーザ指示部（ユーザ指示部１０６に相当）であり、例えばＰＣと共に動作させるマウスなどで構成される。
【００６７】
図７に示すようにＰＣに適用した場合、例えば図４〜図６に示した表示レイアウト例が画面に表示されている際のユーザ指示は、マウスカーソルを選択や確定したい位置に合わせてクリックすることにより行われる。
【００６８】
（適用例２）
図８は実施の形態１に係る表示処理装置を携帯情報端末（ＰＤＡ）に適用した例である。図８において、７１はＰＤＡ本体であり、認識部１０２、検索部１０３、及び表示レイアウト作成部１０４等を含む。７２はＰＤＡの表示部（表示部１０５に相当）であり、液晶ディスプレイなどで構成される。７３はＰＤＡのユーザ指示部（ユーザ指示部１０６に相当）であり、例えばＰＤＡに付属するプラスティック製のペンなどで構成される。
【００６９】
図８に示すようにＰＤＡに適用した場合、例えば図４〜図６に示した表示レイアウト例が画面に表示されている際のユーザ指示は、選択や確定したい位置をペンタッチすることにより行われる。
【００７０】
（実施の形態２）
図９は実施の形態２に係る表示処理装置が実行する表示レイアウト作成処理のフローチャートである。以下、図９に従って、表示レイアウト作成処理動作について詳細に説明する。なお、本実施の形態２における表示処理装置の構成は、図１で示される実施の形態１の構成と同様であり、また、本実施の形態２における全体の処理動作についても図２に示す実施の形態１の処理動作と同様である。実施の形態１と異なる点は、Ｓ１０９の表示レイアウト作成処理の処理内容である。従って、実施の形態１と同様の箇所については、説明を省略する。なお、以下の処理動作は表示レイアウト作成部１０４により行う。
【００７１】
Ｓ３０１では、図２のＳ１０９に入るとまず、表示レイアウトの作成が１回目かどうかを判定する。ここで、１回目とは、検索キー入力部１０１で入力された検索キーに対応する検索結果表示が１回目という意味である。１回目である場合はＳ３０２に進み、１回目でない場合はＳ３０３に進む。
【００７２】
Ｓ３０２では、Ｓ１０５で保存した認識候補として得られた複数の検索キーの情報（テキスト表記など）を設定する。具体的には、例えば図１０に示す実施の形態２に係る表示処理装置の表示レイアウト例のタブ３１、３２、３３のような形式で認識候補を最大Ｍ個まで表示するようにレイアウトする。認識候補がＭ個未満であれば認識候補の数まで表示するようにレイアウトする。また、このとき最大Ｍ個の認識候補の中から、類似度が一番大きい認識候補（１位候補）を選択した状態として設定する。例えば図１０の場合、タブ３１が現在選択されている認識候補（認識候補１）に対応している。Ｓ３０２の処理が終了すると、Ｓ３０４に進む。
【００７３】
Ｓ３０３では、認識候補の選択変更の有無を判定する。認識候補の選択変更がある場合はＳ３０４に進み、ない場合はＳ３０５に進む。
Ｓ３０４では、現在設定されている検索キー認識候補に対応するＳ１０５で保存した検索結果の情報（検索データへのリンクなど）を、例えばリスト形式で表示するようにレイアウトする。具体的には、例えば図１０の場合、リストデータ３４、３５、３６が検索結果の情報表示レイアウトの例である。また、このとき認識候補を示すタブ３１、３２、３３についても選択状態を現在設定されている検索キーに合わせて変更する。具体的には、例えば、「認識候補２」の検索キーが選択された場合、図１１に示すようにタブ４２が選択された状態として表示レイアウトを作成する。Ｓ３０４の処理が終了すると、Ｓ３０６に進む。
【００７４】
Ｓ３０５では、検索結果の選択変更の有無を判定する。検索結果の選択変更がある場合はＳ３０６に進み、ない場合はＳ３０７に進む。
Ｓ３０６では、選択された検索結果をハイライトするように表示レイアウトを修正する。ここで、レイアウト作成が１回目の場合は、システムまたはユーザが予め設定した検索結果（例えば最も検索キーとの関連が大きい「検索結果１１」）をハイライト処理する。具体的には、例えば図１０の表示レイアウト例の場合は、検索結果３４がハイライト状態で、検索結果３５および３６がハイライトされていない状態である。また、図１１の表示レイアウト例の場合は、検索結果４４がハイライト状態で、検索結果４５および４６がハイライトされていない状態である。また、図１２の表示レイアウト例の場合は、検索結果５５がハイライト状態である。そして、Ｓ３０６の処理が終了すると、表示レイアウト作成部の処理を終了し、図２のＳ１１０に進む。
【００７５】
Ｓ３０７では、ユーザが検索結果を確定したどうかを判定する。検索結果を確定した場合はＳ３０８に進み、確定していない場合は表示レイアウト作成処理を終了し、図２のＳ１１０に進む。
【００７６】
Ｓ３０８では、検索リストに示されたリンクのリンク先データや詳細情報などを表示するといった検索結果確定に基づく処理を行う。ここで、検索結果確定時の処理方法については、特に限定するものではなく、インターネットホームページの検索であればホームページ表示の処理、画像データの検索であれば確定した検索結果によって決定付けられる画像データを表示するなどすればよい。Ｓ３０８の処理が終了すると、表示レイアウト作成部の処理を終了し、図２のＳ１１０に進む。
【００７７】
以下に、上記の処理を具体的に説明する。
（１）検索結果表示が１回目の場合
処理は、Ｓ３０１→Ｓ３０２→Ｓ３０４→Ｓ３０６→Ｓ１１０を辿り、例えば図１０に示す表示レイアウトで表示される。
（２）ユーザから認識候補の選択変更指示があった場合
この場合は検索結果表示が少なくとも２回目以降となるので、処理は、Ｓ３０１→Ｓ３０３→Ｓ３０４→Ｓ３０６→Ｓ１１０を辿り、選択変更指示された認識候補に対応する検索結果情報に設定変更され、例えば認識候補２が選択された場合を想定すると、図１１に示す表示レイアウトで表示される。
（３）ユーザから検索結果の選択変更指示があった場合
この場合も検索結果表示が少なくとも２回目以降となるので、処理は、Ｓ３０１→Ｓ３０３→Ｓ３０５→Ｓ３０６→Ｓ１１０を辿り、選択変更指示された検索結果に対してハイライトが設定変更され、例えば「検索結果２２」が選択された場合を想定すると、図１２に示す表示レイアウトで表示される。
（４）ユーザから検索結果確定指示があった場合
この場合も検索結果表示が少なくとも２回目以降となるので、処理は、Ｓ３０１→Ｓ３０３→Ｓ３０５→Ｓ３０７→Ｓ３０８→Ｓ１１０を辿り、検索結果確定に基づく処理に応じた表示が行われる。
【００７８】
次いで、レイウウトの具体的態様について説明する。図１０〜図１２において、文字の周囲の色で、現在選択されている認識候補を網点で模した灰色に、その他の認識候補を白色で表現しているが、選択とその他との相違を表現できれば、その表現形式は他に置き換えてもよい。例えば、認識候補を表現する文字色を異なるもの（例えば、選択は赤、その他は黒）としてもよい。さらに、これらを組み合わせた形式で表現してもよい。
【００７９】
また、図１０〜図１２において、栞付きシートの栞の形式で、認識候補を表現しているが、Ｓ１０２で認識処理（例えば音声認識または手書き文字認識など）をした際に、認識の類似度（スコアなど）を算出し、Ｓ１０５で上記類似度を保存し、Ｓ３０２で認識候補の表示をレイアウトする際に、類似度が大きいほどタブの面積を大きくしてもよい。また、類似度が大きいほど、タブの奥行き方向の厚みを大きくしてもよい。また、類似度が大きいほど、認識候補の表示に際し文字の大きさを大きくしてもよい。さらに、これらを組み合わせた形式で表現してもよい。このように類似度の大きさに応じて認識候補の表示形態を調整することにより、各認識候補の確からしさを視覚的に表現することが可能となる。
【００８０】
具体的には、栞状のタブ形式の場合、第１番目の認識候補の類似度と第Ｍ番目の認識候補の類似度との差を求め、上記求めた差を分母として、第１番目の認識候補の類似度と第２番目の認識候補の類似度との差、第２番目の認識候補の類似度と第３番目の認識候補の類似度との差、以下同様に差を求め、それぞれを分子とした場合の割合を、第１番目の認識候補に割り当てる幅の割合、第２番目の認識候補に割り当てる幅の割合、以下同様にして幅の割合を決定し、タブを並べて表示する方向の最大幅を各割合に応じて割り当てて表現すればよい。また、奥行き方向の最大厚み（深さ）を予め決定しておき、上記の各幅の割合を、奥行き方向の深さ位置に置き換えて表現してもよい。また、文字の最大面積と最小面積を予め決定しておき、両者の面積の差を求め、上記の各幅の割合を最大文字面積から最小文字面積への縮小割合として置き換えて表現してもよい。
【００８１】
また、図６に示した実施の形態１に係る表示処理装置の表示レイアウト例と同様に、Ｓ１０４で得られる検索結果の数に応じて、タブの奥行き方向を調整することもできる。この際、十字キーとの関連を考慮して、奥行き方向のタブの数としてではなく、タブそのものを立体的に表現してその奥行きを深くすることで表現できる。奥行きを調整することにより、各認識候補を検索キーとしたときに得られる検索結果数を視覚的に表現することが可能となる。
【００８２】
また、図６と同様に、認識候補の表示形式を、検索の相関の度合いに応じて、相関が大きいほど文字を大きく、また文字を太く表現してもよい。さらに、これらを組み合わせた形式で表現してもよい。また、検索における相関の度合いとしては、上記実施の形態１と同様に、検索対象となる各データにおける検索キーの一致個数を用いればよい。また例えば、検索キーが複数の単語から構成される場合、各検索キー単語に関する一致個数を、同一の検索キーが検索対象データ全体に含まれる個数で除することにより正規化して、各検索キー単語について正規化された一致個数を加算した値を用いればよい。
このように、検索結果数や検索における相関の度合いを認識候補の表示形式に反映することによって、ユーザが所望の検索結果を選択する作業を支援することが可能となる。
【００８３】
（適用例１）
図１３は実施の形態２に係る表示処理装置を携帯情報端末（ＰＤＡ）に適用した例である。図１３において、８１はＰＤＡ本体であり、認識部１０２、検索部１０３、表示レイアウト作成部１０４を含む。８２はＰＤＡの表示部（表示部１０５に相当）であり、液晶ディスプレイなどで構成される。８３〜８７はＰＤＡのユーザ指示部（ユーザ指示部１０６に相当）であり、例えばＰＤＡ本体８１に付随する十字ボタン８３〜８６や決定ボタン８７などで構成される。
【００８４】
図１３に示すようにＰＤＡで実現した場合、例えば図１０〜図１２に示した表示レイアウト例が画面に表示されている際のユーザ指示は、例えば、十字ボタン８３および８５による左右方向の操作により認識候補選択変更を行い、また十字ボタン８４および８６による上下方向の操作により検索結果選択変更を行い、また決定ボタン８７により検索結果確定を行う。このような十字方向の指示構造を用いることにより、画面上のポインタなどによる指示が困難な機器においても、十字ボタンと決定ボタンのみで容易に所望の検索結果を得ることを可能とする。
【００８５】
（適用例２）
図１４は実施の形態２に係る表示処理装置を携帯電話に適用した例である。図１４において、９１は携帯電話本体であり、認識部１０２、検索部１０３、表示レイアウト作成部１０４を含む。９２は携帯電話の表示部（表示部１０５に相当）であり、液晶ディスプレイなどで構成される。９３〜９７は携帯電話のユーザ指示部（ユーザ指示部１０６に相当）であり、例えば携帯電話本体９１に付随する十字ボタン９３〜９６や決定ボタン９７などで構成される。
【００８６】
図１４に示すように携帯電話で実現した場合、例えば図１０〜図１２に示した表示レイアウト例が画面に表示されている際のユーザ指示は、例えば、十字ボタン９３および９５による左右方向の操作により認識候補選択変更を行い、また十字ボタン９４および９６による上下方向の操作により検索結果選択変更を行い、また決定ボタン９７により検索結果確定を行う。
【００８７】
（その他の事項）
上記実施の形態１、２では表示処理装置及びその表示処理装置において用いられる表示処理方法について説明したけれども、本発明の技術思想は、これら表示処理装置及び表示処理方法に限らず、表示処理方法を実現する表示処理プログラムや、表示処理プログラムを記録した記録媒体にも適用することができる。
【００８８】
【発明の効果】
以上説明した本発明によると、入力された検索キーを認識処理し、検索キーとして類似度の大きいものから順に複数の認識候補を選出し、複数の認識候補を検索キーとして用いて、各検索キーそれぞれについて検索し、複数の認識候補と複数の認識候補のうちのいずれか一つの認識候補に関連する複数の検索結果とを同時に表示し得るような表示レイアウトを作成してその内容を表示することにより、認識処理性能に起因する曖昧性（不確かさ）を含み得る検索キーを用いて検索対象データから検索を行う場合に、ユーザが検索キーの確定処理を行うことなく検索結果を得ることが可能となり、かつ検索キーを誤認識しても再入力することなく正しい検索キーによる検索結果を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る表示処理装置のブロック図である。
【図２】本発明の実施の形態１に係る表示処理装置が実行する処理の全体を示すフローチャートである。
【図３】本発明の実施の形態１に係る表示処理装置が実行する表示レイアウト作成処理のフローチャートである。
【図４】本発明の実施の形態１に係る表示処理装置の表示レイアウトの一例を示す図である。
【図５】本発明の実施の形態１に係る表示処理装置の表示レイアウトの他の一例を示す図である。
【図６】本発明の実施の形態１に係る表示処理装置の表示レイアウトのさらに他の一例を示す図である。
【図７】本発明の実施の形態１に係る表示処理装置をパーソナルコンピュータ（ＰＣ）に適用した例である。
【図８】本発明の実施の形態１に係る表示処理装置を携帯情報端末（ＰＤＡ）に適用した例である。
【図９】本発明の実施の形態２に係る表示処理装置が実行する表示レイアウト作成処理のフローチャートである。
【図１０】本発明の実施の形態２に係る表示処理装置の表示レイアウトの一例を示す図である。
【図１１】本発明の実施の形態２に係る表示処理装置の表示レイアウトの他の一例を示す図である。
【図１２】本発明の実施の形態２に係る表示処理装置の表示レイアウトのさらに他の一例を示す図である。
【図１３】本発明の実施の形態２に係る表示処理装置を携帯情報端末（ＰＤＡ）に適用した例である。
【図１４】本発明の実施の形態２に係る表示処理装置を携帯電話に適用した例である。
【図１５】従来の検索結果のリストの一例を示す図である。
【符号の説明】
１０１ 検索キー入力部、
１０２ 認識部、
１０３ 検索部、
１０４ 表示レイアウト作成部、
１０５ 表示部、
１０６ ユーザ指示部。

Claims (29)

1. 認識処理を通して得られた検索キーによる検索結果を、所定の表示レイアウトで表示されるように、表示処理する表示処理装置であって、
   入力された検索キーを認識処理し、検索キーとして類似度の大きいものから順に複数の認識候補を選出する認識手段と、
   データベースにアクセスする手段と、
   前記認識手段によって選出された複数の認識候補を検索キーとして用いて、各検索キーそれぞれについて、前記データベースから検索キーに対応するデータを検索する検索手段と、
   前記認識手段によって選出された複数の認識候補と、前記検索手段によって検索された各認識候補毎の複数の検索結果とを、関連づけて記憶する第１記憶手段と、
   前記第１記憶手段に記憶されている認識候補と検索結果とを用いて、複数の認識候補と、複数の認識候補のうちのいずれか一つの認識候補に関連する複数の検索結果とを同時に表示し得るような表示レイアウトを作成する表示レイアウト作成手段と、を備えたことを特徴とする表示処理装置。
2. 検索キーの入力を受け付けて次手段に受け渡す検索キー入力手段を備えた、請求項１に記載の表示処理装置。
3. 前記表示レイアウト作成手段によってレイアウトされた内容を表示する表示手段を備えた、請求項１に記載の表示処理装置。
4. 検索対象データが予め記憶されている第２記憶手段を備えた、請求項１に記載の表示処理装置。
5. 前記認識候補の表示形態は、認識候補を検索キーとした場合に得られる検索結果を反映して変形されている、請求項１に記載の表示処理装置。
6. ユーザの指示を受け付けて、ユーザの指示情報を前記表示レイアウト作成手段に受け渡すユーザ指示手段を備え、
   前記表示レイアウト作成手段は、前記ユーザ指示手段からの指示に応じた表示レイアウトを作成する、請求項１から請求項５のいずれかに記載の表示処理装置。
7. 前記入力された検索キーは音声入力であり、前記認識手段は音声認識手段である、請求項１から請求項６のいずれかに記載の表示処理装置。
8. 前記入力された検索キーは手書き文字入力であり、前記認識手段は手書き文字認識手段である、請求項１から請求項６のいずれかに記載の表示処理装置。
9. 前記検索キーはテキストデータであり、前記検索手段が検索する対象となるデータはテキストデータである、請求項１から請求項８のいずれかに記載の表示処理装置。
10. 前記表示レイアウト作成手段は、前記複数の認識候補を表示する際に、複数の認識候補のうちのいずれか一つの認識候補を、他の認識候補と異なる形態で表示するような表示レイアウトを作成する、請求項１から請求項９のいずれかに記載の表示処理装置。
11. 前記一つの認識候補の表示形態と、他の認識候補の表示形態との相違は、栞付きシートの前後関係を模したもの、文字色、及び、文字の周囲の色の少なくともいずれか一つを異ならせて表示することによる、請求項１０に記載の表示処理装置。
12. 前記表示レイアウト作成手段によってレイアウトされる前記複数の検索結果は、前記一つの認識候補に関連する複数の検索結果である、請求項１０に記載の表示処理装置。
13. 前記表示レイアウト作成手段は、前記複数の検索結果を表示する際に、複数の検索結果のうちのいずれか一つの検索結果を、他の検索結果と異なる形態で表示する、請求項１から請求項９のいずれかに記載の表示処理装置。
14. 前記一つの検索結果の表示形態と、他の検索結果の表示形態との相違は、文字色、及び、文字の周囲の色の少なくともいずれか一つを異ならせて表示することによる、請求項１３に記載の表示処理装置。
15. 前記ユーザ指示部からのユーザ指示情報は、前記複数の認識候補のいずれか一つを選択する指示情報である、請求項６に記載の表示処理装置。
16. 前記ユーザ指示部からのユーザ指示情報は、前記複数の検索結果のいずれか一つを選択する指示情報である、請求項６に記載の表示処理装置。
17. 前記ユーザ指示部からのユーザ指示情報は、前記複数の検索結果のいずれか一つの選択を決定する指示情報である、請求項６に記載の表示処理装置。
18. 前記ユーザ指示部は、異なる４方向のいずれか一つの方向を指示することにより、ユーザ指示の入力を行うことが可能な構造とされている、請求項１５または請求項１６に記載の表示処理装置。
19. 前記異なる４方向は、十字方向をなす４方向である、請求項１８に記載の表示処理装置。
20. 前記十字方向をなす４方向の指示構造は、同一軸上で相反する方向を向き合う２組の方向指示構造に関して、１組は認識候補の選択指示を行い、もう１組は検索結果の選択指示を行うように構成されている、請求項１８に記載の表示処理装置。
21. 前記表示レイアウト作成手段は、前記複数の認識候補を表示する際に、前記類似度の大きさに基づいて、各認識候補の表示形態を調整する、請求項１から請求項９のいずれかに記載の表示処理装置。
22. 前記認識候補の表示形態は、文字の周囲の囲み、栞を模したタブまたはボタンなどの面積の大小、栞を模したタブまたはボタンなどの奥行き方向の深さ、栞を模したタブまたはボタンなどの奥行き方向の深さを模した表現、及び、文字の大きさの少なくともいずれか一つを調整することによる、請求項２１に記載の表示処理装置。
23. 前記表示レイアウト作成手段は、前記複数の認識候補を表示する際に、前記検索手段における検索結果の数に基づいて、認識候補の表示形態を調整する、請求項１から請求項９のいずれかに記載の表示処理装置。
24. 前記認識候補の表示形態は、各認識候補を検索キーとした場合に得られる前記検索部における各々の検索結果の数が大きいほど、文字の周囲の囲みを大きく表示すること、栞を模したタブまたはボタンなどの奥行き方向の数を大きく表示すること、及び、栞を模したタブまたはボタンなどの奥行き方向の数が大きい状態を模した表現で表示することの少なくともいずれか一つを調整することによる、請求項２３に記載の表示処理装置。
25. 前記表示レイアウト作成手段は、前記複数の認識候補を表示する際に、前記検索手段の検索の相関の度合いに基づいて、認識候補の表示形態を調整する、請求項１から請求項９のいずれかに記載の表示処理装置。
26. 前記認識候補の表示形態は、相関が大きいほど文字を大きく表現すること、及び、相関が大きいほど文字を太く表現することの少なくともいずれか一つを調整することによる、請求項２５に記載の表示処理装置。
27. 認識処理を通して得られた検索キーによる検索結果を、所定の表示レイアウトで表示されるように、表示処理する表示処理方法であって、
    検索キーの入力を受け付ける検索キー入力ステップと、
    検索キー入力ステップから受け渡された検索キーを認識処理し、検索キーとして類似度の大きいものから順に複数の認識候補を選出する認識ステップと、
    前記認識ステップで選出された複数の認識候補を検索キーとして用いて、各検索キーそれぞれについて、検索対象データから検索キーに対応するデータを検索する検索ステップと、
    前記選出された複数の認識候補と、前記検索された各認識候補毎の複数の検索結果とを、関連づけて記憶する記憶ステップと、
    前記記憶ステップにおいて記憶された認識候補と検索結果とを用いて、複数の認識候補と、複数の認識候補のうちのいずれか一つの認識候補に関連する複数の検索結果とを同時に表示し得るような表示レイアウトを作成する表示レイアウト作成ステップと、
    前記表示レイアウト作成ステップによって作成されたレイアウト内容を表示する表示ステップと、を備えたことを特徴とする表示処理方法。
28. 認識処理を通して得られた検索キーによる検索結果を、所定の表示レイアウトで表示されるように、表示処理する表示処理プログラムであって、
    コンピュータに、
    検索キーの入力を受け付ける検索キー入力ステップと、
    検索キー入力ステップから受け渡された検索キーを認識処理し、検索キーとして類似度の大きいものから順に複数の認識候補を選出する認識ステップと、
    前記認識ステップで選出された複数の認識候補を検索キーとして用いて、各検索キーそれぞれについて、検索対象データから検索キーに対応するデータを検索する検索ステップと、
    前記選出された複数の認識候補と、前記検索された各認識候補毎の複数の検索結果とを、関連づけて記憶する記憶ステップと、
    前記記憶ステップにおいて記憶された認識候補と検索結果とを用いて、複数の認識候補と、複数の認識候補のうちのいずれか一つの認識候補に関連する複数の検索結果とを同時に表示し得るような表示レイアウトを作成する表示レイアウト作成ステップと、
    前記表示レイアウト作成ステップによって作成されたレイアウト内容を表示する表示ステップと、を実行させることを特徴とする表示処理プログラム。
29. コンピュータによる読み取りが可能な記録媒体であって、請求項２８に記載の表示処理プログラムを記録した記録媒体。

Images