JP2007265251A - 情報検索装置 - Google Patents

Abstract

【課題】データへのマーク書き込み動作に基づいて、データを容易に検索し、閲覧、入力により活用できる技術を提供すること。
【解決手段】文書情報の表示が可能な表示部１０と、前記表示された文書に付加情報を付与可能な入力部２０と、マークに用いる特定の符号についての情報であるマーク符号を蓄積する第１の蓄積部２５と、前記入力部２０の入力を検知し、入力された付加情報が前記第１の蓄積部２５に蓄積されたマーク符号情報と同一又は類似しているか否かを判定する検知部３０と、検知部３０によりマーク符号情報と類似していると判定された前記付加情報を前記マーク符号情報と関連づけて蓄積する第２の蓄積部３５と、前記第２の蓄積部３５から、マーク符号とこのマーク符号に関連づけられた情報を検索する検索部４０と、を備え、前記検索部４０による検索結果が前記表示部１０に提示される。
【選択図】 図１

Description

本発明は、情報検索装置及び情報表示装置、並びに情報検索方法に関する。

通常、特定のファイルおよびファイル群の中から特定の意味を持つ部分を検索する場合には、その意味を表すキーワードにより検索している。ここで、ペン入力方式の装置を用いて検索を行う場合には、手書き文字認識技術を用いるかソフトウェアキーボードを用いるかしてキーワードを入力した後に、キーワード検索を行っている。
ペン入力方式の装置において、手書き文字を検索キーとして入力文字列（複数文字からなる文字列を含む）候補を辞書中から検索して提示する入力方式「ＰＯＢｏｘ」（非特許文献１）がある。これは入力を簡易にすることを目的とした方式である。この方式は、文字あるいはその一部分を手書きで入力することにより、辞書を対象とした検索を実行して候補を提示しているものとみなすことができる。さらに広義には、一般的な手書き文字認識や、かな漢字変換による文字入力支援ソフトウェアも、上記の方式と同様に文字の辞書を対象とした検索装置とみなすことができる。

さらに、ペン入力方式の装置においてはソフトウェアキーボードによる操作も一般的であり、ソフトウェアキーボードのあるキーを押下した際に入力候補文字列を検索し、提示する装置も考案されている（特許文献１）。
特開２００２−３４２３２０号公報 Toshiyuki Masui. POBox: An Efficient Text Input Method for Handheld and Ubiquitous Computers. In Proceedings of the International Symposium on Handheld and Ubiquitous Computing (HUC'99), pp. 289-300, September 1999.

本発明は、データへのマーク書き込み動作に基づいて、データを容易に検索し、閲覧、入力により活用できる技術を提供することを目的とする。

検索対象として扱いたいデータを表示している際に、その検索対象にその特徴を現す符号を付加する。この符号はペン入力装置やタッチパネル装置などを用いて表示データに上書きするように付加し、利用者にはマークとして見える一方で装置は入力された符号とその対象となるデータを関連付けてデータ保持をし、検索実行時にその符号を検出することにより、対象となるデータの検索およびその再利用を可能とする。

本発明の局面に係る発明は、文書情報の表示が可能な表示部と、前記表示された文書に付加情報を付与可能な入力部と、マークに用いる特定の符号についての情報であるマーク符号を蓄積する第１の蓄積部と、前記入力部の入力を検知し、入力された付加情報が前記第１の蓄積部に蓄積されたマーク符号情報と同一又は類似しているか否かを判定する検知部と、検知部によりマーク符号情報と類似していると判定された前記付加情報を前記マーク符号情報と関連づけて蓄積する第２の蓄積部と、前記第２の蓄積部から、マーク符号とこのマーク符号に関連づけられた情報を検索する検索部と、を備え、前記検索部による検索結果が前記表示部に提示されることを特徴とする。

本発明によれば、表示されているデータにペンやタッチパネルを介してマーク符号を付加することにより、そのマーク符号を検索キーとしてそれが付加されたデータを検索する検索装置が実現できる。

図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施形態に係る情報検索装置の概略構成を示すブロック図である。図２は、本発明の一実施形態に係る情報検索装置の実際の構成例を示した図である。
図１に示すように、本発明の一実施形態に係る情報検索装置は、情報表示部１０と、入力部２０と、入力データ蓄積部２２と、マーク符号データ蓄積部２５と、マーク符号データ検知部３０と、マーク符号付随データ蓄積部３５とを備えている。本発明の一実施形態に係る情報検索装置は、更に、マーク符号登録部５０と、対象データ範囲指定部６０と、検索データ入力部７０とを備えている。なお、図２による構成例では、ＬＡＮその他のネットワークを介してタブレットＰＣクライアントと、サーバが通信可能に接続されており、タブレットＰＣクライアントには、プロジェクターが接続されて、タブレットＰＣクライアントの表示と追加されたマークをスクリーン上に投影している。また、サーバには電子ホワイトボード端末が接続されており、タブレットＰＣクライアントと同様に機能を備えている。また、サーバはストローク列を記憶する記憶手段を備えており、この記憶手段は、例えば図１のマーク符号付随データ蓄積部３５に相当する。

情報表示部１０は、図や文字等の情報を表示するための、例えばＰＣ（パーソナルコンピュータ）のモニタや、映像の投影が可能なプロジェクターや、ＴＶ画面などを含む。情報表示部１０は、プレゼンテーションなどを表示する機能と、後述する入力部２０におけるペン入力に対してその筆跡を表示する機能と、最終的な検索においてその過程および結果を表示する機能を備えている。本実施形態では、情報表示部１０は、タブレットＰＣのモニタであるものとして説明する。更に、タブレットＰＣの画面の表示と同じ内容の映像がプロジェクターを用いて所定の画面（スクリーン）上に拡大して投影されているものとする。なお、図２に示すように、タブレットＰＣに代えて、電子ホワイトボード端末を備えても良く、同様の表示が可能であれば、どのような表示手段を用いても良い。

入力部２０は、情報表示部１０に表示された情報に符号を付加するための入力を行う。入力部２０は、特に情報が表示されている情報表示部１０の表示面に対してペン型の装置や指で入力可能な装置であって、例えば、タブレットＰＣのペンおよびキーボードとマウス、そしてそれらの制御機能部分が該当する。入力部２０は、例えばペン入力が可能なＰＣやＰＤＡ（携帯情報端末）、タッチパネル液晶、さらにはプロジェクターと連携して動作するような電子ホワイトボード等であっても良い。なお、本実施形態ではタブレットＰＣの入力ペンおよびタブレットＰＣ本体のペン入力を検出して処理する部位を入力部２０として説明する。
本実施形態において、情報表示部１０であるタブレットＰＣの画面に対してペン入力により、データを記入（入力）すると、即座に情報表示部１０にその追記データが加えられた映像が表示される。これにより、表示されている映像へ、所望のデータを追記することができる。ここではページ単位でスライド表示を行うことができる図形描画ソフトウェアを用いてプレゼンテーションをしているものとする。つまり、次のページ表示ボタンを押すなどの所定の操作によりページ切り替えをすることと、各ページを表示している際にその上にペンで書き込みをすることが可能な状態となっている。また、後述する検索要求の発行時には、ペン操作あるいはマウス操作によるメニュー操作で検索要求を発行することもできる。

入力データ蓄積部２２は、マーク符号データ検知部３０にデータをまとめて入力するために、入力部２０により入力された信号列を、少なくとも一時的にバッファリングして保持する。入力データを長期的に保持する履歴ファイル（ログファイル）もこの信号列に相当するが、本実施形態では入力データは揮発性のメモリ上に保持されるものとし、メモリ及びそのバッファリング処理を行うプログラムモジュールにより、入力データ蓄積部２２が構成される。本実施形態において、入力データは、入力される筆点の最小単位である時刻ｔｉｍｅとｘ座標の座標値（以下、「ｘ座標値」と称する）とｙ座標の座標値（以下、「ｙ座標値」と称する）とを組とする筆点データであり、筆点の集合がバッファリングされる入力データの集合となる。図３に、入力データ蓄積部２２に、蓄積される入力データの例を示す。入力データは、以下に述べるような筆点データの区切りを迎えるまで、連続して蓄積される。ここでは、筆点データの区切りは、文字や記号の境界とすることが好ましく、例えば、ペン入力が１．０秒以上無い場合を検出して、この区切りを境界とする。そして、この区切りまでの入力データを１つのセットとする。そして区切りが検出されるたびに１つの入力データセットを生成して、該入力データセット毎にマーク符号データ検知部３０へ出力される。

マーク符号データ蓄積部２５は、マークに用いる特定の符号についての情報を保持し、本実施形態では、マーク符号のＩＤをメモリ上に保持する。例えば、本実施態様では、「◎」と「(宿)」がマーク符号であり、これらの符号がマーク符号であることを識別するために、それぞれが「%E2%97%8E」と「%28%E5%AE%BF%29」というコード（すなわち、文字コード。以下、「符号コード」と称する）として登録されて、メモリ上に保持されている。

マーク符号データ検知部３０は、入力データ蓄積部２２から出力された入力データセットを入力する。そして、マーク符号データ蓄積部２５に保持されたマーク符号を参照して、読み込んだ入力データセットが特定のマーク符号であるか否かを判定する。ここで、マーク符号の判定は手書き文字認識技術を用いて実現するものとし、入力として受けた筆跡を示す一連の入力データを手書き文字認識モジュール（不図示）に入力し、その認識結果の文字コード列とその認識の確からしさを示す値である数値を結果として手書き文字認識モジュールから受ける。ここで、入力データセットがマーク符号ではない場合、すなわち、判定結果がマーク符号データ蓄積部２５に保持されたマーク符号と一致しない場合、にはマーク符号の入力ではないということであるので何もしない（処理を終了する）。入力データセットがマーク符合である場合にはそのマーク符号が付加された対象データがあるかどうかも判定する。そして、マーク符号が付加された対象データがある場合には、当該マーク符号データ種別（すなわち符号コード）と対象データとその際に表示されている画面のスクリーンショットを組にして後述のマーク符号付随データ蓄積部３５へと出力する。なお、入力データセットがマーク符号ではあるが対象データが無い場合には自動的にこれを検索要求とみなし、マーク符号付随データ検索部４０に、判定されたマーク符号ＩＤを出力する。

具体的には、以下の通りである。マーク符号を構成する筆点データである入力データ群の中から右端のｘ座標値を算出する。また同様にして、マーク符号の筆点データのｙ座標値の最大値と最小値を算出し、その平均値を算出してこれをマーク符号のｙ座標値とする。そして、このｙ座標値について、右端のｘ座標値から右側にあらかじめ定義されたｎピクセル分の範囲に既存のデータオブジェクトがあるか否かを計算する。さらにこれはここではドローイングソフトによりプレゼンテーションを行っているため、ドローイングソフトの保持しているデータ構造から、全ての現在表示されているデータオブジェクトの座標値の範囲に対して、該当するｙ座標値とｘ座標値の範囲にデータオブジェクトがあるか否かを判定する。以上のとおり、マーク符号が入力された際に、それがいずれのデータ対象に対して付加されたものであるかを判定する。最終的にそれがマーク符号であり、それを付加された対象データが判定された場合には、マーク符号データ種別、対象データＩＤに加えて画面のスクリーンショットデータも組みにしてマーク符号付随データ蓄積部３５へ出力する。

マーク符号付随データ蓄積部３５は、マーク符号データ検知部３０により認識されたマーク符号データが付加された検索対象のデータをマーク符号データ種別とともに保持する。具体的には、マーク符号付随データ蓄積部３５は、マーク符号データ種別、対象データＩＤ、スクリーンショットデータの３つを１組として入力し、これを検索対象データとして保持する。本実施形態においては、検索対象のデータとしては図形や文字列のオブジェクトが対象となる。なお、検索対象データは、ここでは履歴ファイルとして実装される。実際には、マーク符号付随データ蓄積部３５は、例えば、図４のようなデータを保持する。

マーク符号付随データ検索部４０は、マーク符号付随データ蓄積部３５に蓄積された、あらかじめマーク符号が付加されたデータ群の中から必要なデータを検索し、情報表示部１０に出力する。具体的には、マーク符号付随データ検索部４０は、マーク種別をキーとして、マーク符号付随データ蓄積部３５に保持されたデータを情報表示部１０に提示する。ここでは、マークが付加された対象データを一覧するモードと、スクリーンショット画像を縮小してサムネイルとしたものを一覧表示するモードと、その二つが両方並べて一覧表示される方法とが提供されるものとする。検索要求の入力は、検索要求入力ウィンドウに指定のマーク符号に対応する符号である「◎」や「(宿)」を、キーボードを用いて入力する方法や、同ウィンドウに手書きで符号を入力しそれを手書き文字認識モジュールにより認識した符号コードを検索キーとして用いる方法、そして前述のとおり何も付加するデータが無い場所でマーク符号を入力した場合には、それは検索要求であるとみなす方法がある。マーク符号付随データ検索部４０による検索結果として、利用者は、重要部分である「◎」が付加されたデータ群あるいはページのスクリーンショット群を一覧したり、宿題事項を意味する「(宿)」が付加されたデータ群を一覧したりすることが可能である。このため、例えばプレゼンテーションをしばらく後に見直す場合に重要ポイントを抜き出して見たり、あるいはプレゼンテーション中の最後に重要項目のまとめとして「◎」をつけた部分をリスト表示させたりすることも可能となる。なお、マーク符号付随データ検索部４０は、検索プログラムとして提供されるものとするが、この機能の動作タイミングは、検索者である利用者が明示的に検索要求を入力した場合のみとは限らず、マーク符号が入力されたことが認識された際に検索および表示を行うという方式も考えられる。

マーク符号登録部５０は、入力部２０から入力された入力データをそのままマーク符号データ蓄積部２５に登録したり、又は入力データの特徴部分を抽出してマーク符号データ蓄積部２５に登録したりする。なお、入力部２０から入力された入力データをそのままマーク符号データ蓄積部２５に登録する場合には、マーク符号登録部５０を省略しても良い。

対象データ範囲指定部６０は、マーク符号データ検知部３０と並列してペン入力を監視し、対象データが指定されたか否かを検出する。これは、最も単純にはドローイングソフトにおけるページ単位あるいはデータオブジェクトの単位でデータを選択する方式により実現できる。例えば、ペンやマウスによりクリックされたオブジェクトが選択状態となった場合にそれを対象データの指定とみなすことが可能である。そして、符号データ認識部で認識された符号と、対象データ範囲指定部６０により特定された対象データを組み合わせてマーク符号付随データ蓄積部３５にデータ登録を行う。対象データ範囲指定部６０の動作として、文書上に自然な動作で書き込める方式が望まれる。例えば、対象データの範囲の指定方法として、下線、丸や四角で範囲を囲む、矩形での範囲指定、オブジェクトのダブルタップなどがあげられる。例えば下線の検出については、対象データ範囲指定部６０が、常時入力を監視し、横に一定以上の長さの線が記入された場合には、そのｘ座標値の範囲でかつその線よりｙ座標値が０〜ｈピクセルの範囲を指定したものとみなすことができる。

検索データ入力部７０は、マーク符号付随データ検索部４０から入力した、検索要求に従って、検索データを入力部２０に与える。なお、この検索データは、上記したように、マーク符号からなるものとし、このマーク符号が入力部２０に入力されて、マーク符号が付加されたデータが、マーク符号付随データ検索部４０によって検索されることになる。

図５を参照して、上記のように構成された情報検索装置の動作を説明する。図５は、本発明の一実施形態に係る情報検索装置の動作の流れを示すフローチャートである。なお、タブレットＰＣ上の図形描画ソフトウェアを用いたプレゼンテーション実行時における動作を説明する。この場合において、情報表示部１０としてのタブレットＰＣへの情報の画面表示およびプロジェクターを用いた映像の投影が行われているものとする。

プレゼンテーションが行われている際に、入力部２０に相当する入力用のペンを用いて、表示されている映像の上に重ねて重要センテンスの左に「◎」の符号が入力され、次回までの宿題項目センテンスの左に「(宿)」符号が利用者であるプレゼンターにより入力されたものとする（ステップＳ１）。この入力部２０による入力が検索要求であるか、対象データへの符号（入力された符号がマーク符号かどうかは後のステップで判定する）の追加であるかを判定し（ステップＳ２）、検索要求であれば当該入力に基づく検索を実行し（ステップＳ７）、そうでなければ、入力されたデータを表示する（ステップＳ３）。この表示されたプレゼンターが入力したペン入力データは、手書き文字認識機能を備えたマーク符号データ検知部３０により、一時バッファである入力データ蓄積部２２を経由して監視されている。

マーク符号データ検知部３０は、ペン入力データを検知したら、入力データがマーク符号であるか否かを判定し（ステップＳ４）、マーク符号であると判定したのであれば、入力されたマーク符号がある対象オブジェクトの左側へのマーク付加動作であるか否かを判定する（ステップＳ５）。ステップＳ５において、入力されたマーク符号がある対象オブジェクトの左側へのマーク付加動作であると判定したのであれば（ステップＳ５のＹｅｓ）、マーク符号データＩＤと、その付加対象となるマーク符号付随データであるオブジェクトと、その際のプレゼンテーション表示画面のスクリーンショットを１組のデータとして、マーク符号付随データ蓄積部３５に登録する（ステップＳ８）。これにより、プレゼンテーション時のマーク付加動作によるデータ蓄積が行われる。

なお、ステップＳ４において、入力データがマーク符号ではないと判定したのであれば、単なる情報の付加とみなして、処理を終了する（ステップＳ９）。また、ステップＳ５において、入力されたマーク符号を付加すべき対象データがないと判定したのであれば（ステップＳ５のＮｏ）、マーク符号の入力による当該マーク符号が付加された対象データの検索要求とみなして（ステップＳ６）、当該マーク符号が付加された対象データの検索を実行し、その結果を、例えば、結果の候補一覧として表示する（ステップＳ７）。これにより、候補の一覧から所望のデータを選択することにより（ステップＳ１０）、当該選択されたデータを入力データとして活用することができる（ステップＳ１１）。この検索動作は、例えば、プレゼンテーション終了後に、特定の符号、例えば「(宿)」が付加されたデータとしてオブジェクトおよび画面スクリーンショットの一覧を表示する要求を発行して、その結果を情報表示部１０に一覧表示することにより、プレゼンテーション時に付加した複数の「(宿)」マークを付加した部位（オブジェクト）を一覧することが可能となる。これにより、プレゼンテーションで宿題となった項目について、確認することができることになる。また、「◎」についても同様であって、この「◎」を検索キーとして一覧表示することにより、重要項目を確認することができる。

上記の説明では、タブレットＰＣ１台とプロジェクターにより構成される場合の説明を行ったが、図２に示すように、例えばＰＣに接続して表示し、電子ペンにより記入が可能な電子ホワイトボードや、単体でＰＣと同等の機能を持つ電子ホワイトボードを使用した場合についても同様に上記の実施形態に係る装置を実現可能である。更に、電子ホワイトボード端末あるいはＰＣ端末が、サーバに接続された場合にも適用可能であって、その場合にはサーバ・クライアントシステムによりマーク符号データ蓄積部２５やマーク符号付随データ蓄積部３５などがサーバにあるような構成であっても良い。

また、マーク符号データ検知部３０は、上記の実施形態では手書き文字認識を用いて文字コードあるいは記号コードの比較により同一性を評価するものとしたが、マーク符号データ蓄積部２５には入力されるデータと同様のドットマトリックスやベクトルデータとして保持しておき、入力データと蓄積されたマーク符号データの類似性判定により同一性を認識することも可能である。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係る情報検索装置の概略構成を示すブロック図である。 本発明の一実施形態に係る情報検索装置の実際の構成例を示した図である。 入力データ蓄積部２２に、蓄積される入力データの例を示す図である。 マーク符号付随データ蓄積部３５に保持されるデータ例を示す図である。 本発明の一実施形態に係る情報検索装置の動作の流れを示すフローチャートである。

符号の説明

１０…情報表示部
２０…入力部
２２…入力データ蓄積部
２５…マーク符号データ蓄積部
３０…マーク符号データ検知部
３５…マーク符号付随データ蓄積部
４０…マーク符号付随データ検索部
５０…マーク符号登録部
６０…対象データ範囲指定部
７０…検索データ入力部

Claims (7)

1. 文書情報の表示が可能な表示部と、
   前記表示された文書に付加情報を付与可能な入力部と、
   マークに用いる特定の符号についての情報であるマーク符号情報を蓄積する第１の蓄積部と、
   前記入力部の入力を検知し、入力された付加情報が前記第１の蓄積部に蓄積されたマーク符号情報と同一又は類似しているか否かを判定する検知部と、
   検知部によりマーク符号情報と類似していると判定された前記付加情報を前記マーク符号情報と関連づけて蓄積する第２の蓄積部と、
   前記第２の蓄積部から、マーク符号情報とこのマーク符号に関連づけられた情報を検索する検索部と、を備え、
   前記検索部による検索結果が前記表示部に提示されることを特徴とする情報検索装置。
2. 請求項１に記載の情報検索装置において、前記入力部は、前記情報表示部と一体型のタブレットＰＣのモニタ或いは電子ホワイトボードを含むことを特徴とする情報検索装置。
3. 請求項１又は請求項２に記載の情報検索装置において、前記第１の蓄積部は、前記マーク符号情報と、このマーク符号情報に対応する符号コードとを関連づけて保持することを特徴とする情報検索装置。
4. 請求項１から請求項３のいずれか１項に記載の情報検索装置において、前記検索部の検索結果が前記表示部に提示された際に、前記表示部に表示された検索結果リストから選択した前記マーク符号情報に関連づけられた情報を、入力データとして前記表示部に表示する第２の入力部を更に備えたことを特徴とする情報検索装置。
5. 請求項１から請求項４のいずれか１項に記載の情報検索装置において、前記入力部による所定の入力があったときに、前記所定の入力に対応するデータ範囲を指定し、前記検知部が検出したマーク符号情報と前記データ範囲を関連付けて第２の蓄積部に登録する指定部を更に備えたことを特徴とする情報検索装置。
6. 請求項５に記載の情報検索装置において、前記指定部は、データ範囲に下線を引くこと、所望の範囲を囲むことにより範囲を指定することを含むことを特徴とする情報検索装置。
7. 請求項１から請求項６のいずれか１項に記載の情報検索装置において、前記入力部により入力された入力データ或いは入力データの特徴を前記第１の蓄積部に登録する登録部を更に具備することを特徴とする情報検索装置。

Images