JP2007094761A - ディスプレイ装置及び情報整理表示処理方法 - Google Patents

Abstract

【課題】ディスプレイ画面領域を有効に利用しつつ、過去に表示した情報がどのようなものであったかを効率的に参照することができるディスプレイ装置及び情報整理表示処理方法を提供すること。
【解決手段】表示領域に表示された情報のうち所望の範囲の情報を選択する手段（Ｓ０６）と、前記選択した情報を所望の方向に所望の距離移動させる移動手段（Ｓ０７）と、前記移動手段によって移動した情報のうち、前記表示領域外に移動して非表示となった非表示情報を生成する手段（Ｓ０８）と、前記非表示情報を前記表示領域内の所定の領域に表示する手段（Ｓ０１）とを具備する。
【選択図】図１

Description

本発明は、会議室で利用されるディスプレイ装置及び情報整理表示方法に関する。

会議室にある電子ホワイトボード（電子白板）を用いて会議の検討事項や発言内容を板書する際、ホワイトボードは一度に書いて確認できる領域が限られている。そのため、複数のページに分けて板書内容を電子的に保存する方式や、保存したページをサムネールとして端に並べてクリックすれば表示できるようにするなどの方式が提案されている。

しかし、いずれも板書を１ページごとに収める必要がある。具体的には、板書していくうちに端に近くなったり、すでに板書した間に挿入する場合には、書くスペースが十分確保できなくなることが多く、消して書き直したり、現在のページをクリアして別ページを作るなどの手間や思考の中断が生じ、議論の妨げになる。また、１ページごとではなく、仮想的なホワイトボードの大きさを広げたり、徐々にページをずらしたりすることで書ける領域を常に確保する仕組みもあるが、いずれもホワイトボード上から見えなくなった板書部分を把握することは難しい。そのため、すでに書いた適切な部分を表示し、板書全体を把握し、再整理して議論や検討のポイントを明確にするのにも手間が掛かる。

そのため、要約作成やグループ化などにより、会議の内容を把握する技術が開示されている。まず、要約の作成方法としては、アノテーションを利用して、アノテーションの付与頻度の高い語句を要約文生成用の重要語に選定し、この重要語を利用して要約文を自動生成する文書処理方法が開示されている（特許文献１参照）。これにより、会議を効率的に振り返ることができるようにする。また、コンピュータ制御された図形の描画および編集のためのシステムで空間的時間的なオブジェクトのグループ化を提供する方法も開示されている（特許文献２参照）。更に、会議の進行状況を確認できる機能を備えた、情報管理装置を提供するために画面上の、選択された資料を関連情報としてまとめたり、関連情報同士を結び付ける技術も開示されている（特許文献３参照）。しかし、これらの技術では、ディスプレイ画面領域を有効に利用しつつ、過去に表示した情報がどのようなものであったかを効率的に参照することはできない。
特開２００４−１９９４０８号公報 特開平６−４４０２１号公報 特開２００４−１９９５９２号公報

本発明は、ディスプレイ画面領域を有効に利用しつつ、過去に表示した情報がどのようなものであったかを効率的に参照することができるディスプレイ装置及び情報整理表示処理方法を提供することを目的とする。

表示された情報を所定の基準によって切り出したオブジェクトとして保持し、表示されたオブジェクトの一部をディスプレイ装置の表示領域上で平面移動させたときに、表示領域からはみ出た部分の要点となる情報を表示領域の周辺領域（整理領域）に表示させる。
具体的には、本発明の局面に係る発明は、表示領域に表示された情報のうち所望の範囲の情報を選択する手段と、前記選択した情報を所望の方向に所望の距離移動させる移動手段と、前記移動手段によって移動した情報のうち、前記表示領域からはみ出て非表示となった非表示情報を生成する手段と、前記非表示情報を前記表示領域内の所定の領域に表示する手段とを具備することを特徴とする。

本発明によれば、会議室などで利用するディスプレイ装置において、表示された情報を所定の基準によって切り出したオブジェクトとして保持し、表示されたオブジェクトの一部をディスプレイ装置の表示領域上で平面移動させたときに、表示領域からはみ出た部分の要点となる情報を表示領域の周辺領域（整理領域）に表示させる。これにより、限定されたディスプレイ画面領域を有効に利用しつつ、過去に表示した情報がどのようなものであったかを効率的に参照することができる。また、整理領域に表示した情報を、会議後に会議情報サーバ（或いはデータベース）に記録することにより、会議録として効率的に具体的な議事内容にアクセスするための情報として利用したり、次回の会議で表示させたりすることが可能である。

図面を参照して本発明の実施の形態を説明する。本発明の一実施形態に係るディスプレイ装置は、会議室で利用されるものであって、表示すべき情報を蓄積し、必要に応じてディスプレイ装置（単に、「ディスプレイ」と称することもある。また、ディスプレイの画面を「ディスプレイ」と称することもある」）の表示画面に表示し、ディスプレイ装置に表示された情報を記録するために、ディスプレイ装置及び他のコンピュータと接続してデータをやりとりするための会議情報サーバに接続されて、会議システムを構成している。

図1及び図２を参照して、本発明の一実施形態に係るディスプレイ装置の概略構成を説明する。図１は、本実施形態に係るディスプレイ装置の概略構成を示すブロック図である。図２は、ディスプレイ装置が会議情報サーバに接続されて構成された会議システムを示す図である。なお、図1において、全ての構成要件がディスプレイ装置に設けられている必要はなく、その一部が会議情報サーバに備えられていても良い。このため、本明細書においては、会議情報サーバを含んで「ディスプレイ装置」と称する。

図１に示すように、本実施形態に係るディスプレイ装置は、情報表示部Ｓ０１と、情報入力部Ｓ０２と、オブジェクト化部Ｓ０３と、情報管理部Ｓ０４と、情報管理データベース（ＤＢ）Ｓ０５と、情報選択部Ｓ０６と、情報移動部Ｓ０７と、非表示部要約部Ｓ０８とを備えている。また、図２に示す会議システムは、センサー層２００と、映像層２０１と、会議情報サーバ２０２とを備えている。

上記のような構成において、情報表示部Ｓ０１は、例えば、図２における映像層２０１に対応し、会議情報サーバに蓄積された情報や、ディスプレイ装置上にペン、手或いは音声などを利用して入力された情報を表示する。このとき、情報の表示方式として、映像層２０１に情報を投影する方式以外に、ビデオプロジェクタでスクリーン（表示領域）の前方もしくは後方から投影するタイプのディスプレイ装置であってもよい。

情報入力部Ｓ０２は、情報表示部Ｓ０１に表示すべき情報を入力する。表示する方法は、上記のように主に２つであり、会議情報サーバに蓄積された情報と、ディスプレイ装置上にペンまたは手または音声を利用して記入される情報である。典型的には、図２に示すようにディスプレイ装置には、ペンや手の動きをたとえば感圧センサーもしくは静電誘導や赤外線などを用いたセンサーによりディスプレイ上に記入された情報を捉えるセンサー層２００が設けられており、ディスプレイ上での利用者の操作２０３に応じた情報が会議情報サーバ２０２に蓄積されるようになっている。なお、ディスプレイ装置は、例えば、タブレットＰＣでも良く、この場合には、利用者の操作２０３は、ペンなどの入力以外に、マウス等のポインティングデバイスやキーボードなどの入力装置を用いて必要な情報を入力しても良い。

オブジェクト化部Ｓ０３は、情報入力部Ｓ０２から入力された様々な情報を所定の条件により、所定の固まりとしてひとまとまりにする。たとえば、ディスプレイ上に連続して書かれた文字列、図形などをグループ化して、選択や移動の際にひとまとまりとして扱うことができるようにする。

情報管理部Ｓ０４は、情報管理データベースＳ０５から情報を取得し、または情報を蓄積する。情報管理データベースＳ０５は、ディスプレイ装置に表示または記入される情報を蓄積する。

情報選択部Ｓ０６は、ディスプレイ装置上に表示された情報を、前記オブジェクト化部Ｓ０３によってオブジェクトとして切り出されたものを単位として、一つないしは複数の情報を選択する。典型的には、利用者がペンもしくは手などを利用して行った選択指示を図２のセンサー層２００によって検知することに相当する。

情報移動部Ｓ０７は、選択された情報をある方向と距離だけ移動させる。選択したオブジェクト化された情報の移動範囲は、ディスプレイ装置の表示領域内に留まらず、表示領域外に達することができる。

非表示部要約部Ｓ０８は、情報移動部Ｓ０７によって移動させた情報が表示領域から外側に達し、結果としてディスプレイの表示領域に表示されなくなった際に、そのときその非表示部分の情報から非表示部分の内容を要約する情報を生成する。非表示部の要約としては、たとえば、非表示部分の内容の「見出し」に相当する文字列であったり、利用者が明示的に記入した特殊文字、例えば「◎」印に続く文字列であったり、「下線の施された」文字列であったり、赤色などの所定の色や大きさで記入した図形や文字列などが想定される。

図３は、ディスプレイ装置の画面上の表示領域における領域分割の例を示す。ディスプレイ装置３００には、非表示部分の要約情報を表示するための上下左右の４つの要約表示領域３０１〜３０４が、ディスプレイの枠の周辺に用意されている。この要約表示領域３０１〜３０４には常に要約が表示されているわけではなく、必要に応じて要約情報の表示と非表示を切り替えることができる。

図４は、ディスプレイ上にペン等で記入もしくは映像として表示された情報４００とそれをオブジェクト化した結果４１０を示している。図４に示す例では、各行を同一のオブジェクトとして、認識するようにしている。すなわち、図４では、６つのオブジェクトが存在するものと認識されている。ここで、たとえば、図５に示すように、ディスプレイ５００上の情報をディスプレイ上で平行移動させる操作５０１を行うと、情報が操作方向に移動（この場合は、左側に移動）する。ここで、更にディスプレイ５００上の情報を移動させて、ディスプレイの表示領域の左側にすべてはみ出るまで移動させると、非表示部要約部Ｓ０８は、枠外に出て表示されなくなった情報から一部の情報を抽出し、さらに縮小やカットなどの加工を施した上で、ディスプレイ左側の要約表示領域５１２に、非表示部の要約５１３を表示する。このとき、要約表示領域５１２の端部に要約表示スイッチ５１４が表示され、ユーザがこのスイッチ５１４にタッチするなどのあらかじめ決められた操作を行うことで、ディスプレイの枠外に移動された情報５１５について、たとえば、図６に示すように、要約表示領域自体を表示したり（図６（Ａ））、非表示にしたりする（図６（Ｂ））ことができる。

図７は、ディスプレイ７００に表示された情報を移動してその情報の一部枠外に出た状態に、更に追加の情報７０１を記入した様子を表す。
図８は、図７の状態から、表示内容をディスプレイ装置上で移動させるための所定の操作８０１を行って、図７で追加した記入情報８０２以外の情報が左側の枠外に移動してディスプレイ装置の表示領域から消えた様子を表している。ここで、要約表示スイッチ８０４を操作すると、例えば、要約表示領域に表示されるべき情報８０３が要約表示領域（図３の要約表示領域３０２）に表示する。さらに左側に移動させる操作８１１を行って、追加した記入情報８０２も左側の枠外に出てしまった場合には、要約表示スイッチ８１３を操作すると、例えば、追加した部分も含む要約８１３が表示される。

以下、要約内容の生成方法について、詳細に説明する。
図９は、ディスプレイの左端９２０からはみ出した非表示部分におけるオブジェクト９０１〜９１５を示す図である。図９において、枠の外に出たオブジェクトのうち、非表示部分として扱うのは、たとえば、認識したオブジェクトの単位が完全にディスプレイ表示領域の外に出た場合とする。また、図９に示すように、ディスプレイ装置の表示領域の大きさや、そのうちの要約表示領域の大きさに基づいて、要約区間１〜３という幅の値をあらかじめ決めておく。図９では、要約区間を３つに分割したので、例えば、ディスプレイの幅の３分の１程度を要約区間と想定する。

上記のような構成において、非表示部分（すなわち、オブジェクト９０１〜９１５）に対し、ディスプレイの端（左端９２０）から遠い方向（すなわちオブジェクト９０１のある側）からディスプレイに向かって、非表示となった部分のオブジェクト９０１〜９１５を走査して、オブジェクトの位置と大きさ、オブジェクトの特徴等に基づいて要約表示に用いるべきオブジェクトを要約区間ごとに抽出する作業を行う。図９〜図１１を参照して具体的な処理の流れを説明する。図１０は要約生成の手順を示すフローチャートである。

図９において、非表示オブジェクト９０１〜９１５に対して、ディスプレイから遠い側（オブジェクト９０１側）からオブジェクトの走査を行うために、仮想的な走査ライン９００を左端から少しずつ右に移動させていく。そして、まず、要約区間１に対してオブジェクト検出を行う（ステップＦ１１）。なお、オブジェクトの検出は、図９において走査ライン９００を左から右に移動させたときに、走査ライン９００がその場にあるオブジェクトと重なったかどうかを検知することにより行われる。図９では、まず「今日の議題」９０１という文字オブジェクトが走査ライン９００と重なることにより検知され、その後、オブジェクト９０２、９０３、９０４が検知されていくことになる。要約区間内において、オブジェクト検出されるごとにそのオブジェクトの位置、占める面積などの属性を調べ、要約オブジェクトかどうかが判定される（ステップＦ１２）。ここにおいて、要約オブジェクト判定の例としては、たとえば、要約区間内での走査開始から順に検出されたオブジェクトのサイズが所定の大きさの範囲であれば、要約オブジェクトして用いることとし、採用されたオブジェクト数がある数字に達したところで、その区間の要約内容が決定され、次の要約区間の走査を始める。

ステップＦ１２で要約オブジェクトとして判定されたオブジェクトは（ステップＦ１３のＹｅｓ）、区間要約内容として順次追加（Ｆ１４）されていく。つぎに、現在の要約区間の走査が終わったどうかをチェックし（ステップＦ１０）、終了していれば、すべての要約区間が終了したかどうかを調べ（ステップＦ１５）、まだ残っていれば、次の要約区間に移動する（ステップＦ１６）。

ステップＦ１５において、すべての要約区間の走査が終了した場合は、取得された全区間の要約内容を統合し、加工する（ステップＦ１７）。たとえば、図１１にあるように、要約表示領域の幅（要約幅１１００）に基づいて、要約オブジェクトの表示上の大きさを小さく縮小したり、それでも要約幅１１００を超える部分については、オブジェクトの一部を削除したりする。また、要約区間ごとに左右側要約表示領域の場合は順次下に、上下側要約表示領域の場合は順次右に、それぞれの要約区間ごとの要約内容が上記の加工を施した上で使われていく。

上記の実施形態では、ディスプレイに表示されている情報を左に移動させて、当該情報が非表示になった場合における要約生成について説明したが、表示されている情報を右、上、下のいずれの方向に移動させて非表示になった場合における要約生成においても同様である。図１２は、表示情報をディスプレイの上側に移動させてその枠外に出た情報に対する要約情報を生成する場合の走査の方向と要約区間の取り方を示す図である。また、上記の実施形態において、走査の方向はディスプレイに向かう方向に向かってオブジェクトを走査したが、逆にディスプレイから遠ざかる方向に向かってオブジェクトを走査してもよい。

図１３は、マーキングによるオブジェクトの判定例を示した図である。図９および図１０で説明した、要約オブジェクト判定では、その対象となる非表示オブジェクトの一部もしくは別オブジェクトとして重なる形で、特定の形や色などの特徴を持つ入力パターンもしくはストロークが存在していた場合は、その情報を優先して、もしくはその情報に限り、要約対象オブジェクトと判定する。その典型的な例として、文字列上に記入した「下線」や「波線」（１３００、１３０１）、あるいは「○（丸）印」やオブジェクトを取り囲むような印（１３１０、１３１１）がある。また、ペンの色や太さを変えることによって特徴とすることが考えられる。

図１４は、文字入力以外のオブジェクトの例を示す。たとえば、文字以外のオブジェクトとしては、図形１４２０、１４２１や、アプリケーションのウィンドウ（不図示）などがある。典型的には、ウィンドウは１つ１つが単独のオブジェクトとして扱われる。この場合、アプリケーションのウィンドウや特定の図形のオブジェクトが、ディスプレイ１４１０の枠外に出て非表示となると、それらが、要約オブジェクトに採用されやすくなるような設定を行うことに相当する。こうすることで、図や画面が要約表示として現れやすくなるので、直感的に要約表示の内容を理解することにも役立つ。

図１４に示すディスプレイの表示領域１４１０は、それよりも大きな仮想的な平面１４００に記入された情報のごく一部を見るための「窓」のようなものである。ディスプレイ１４１０に表示された情報を平面上で移動するということは、ディスプレイの「窓」自体を動かしていることと同等を考えることができる。これにより、ページ単位でディスプレイ表示の内容を保持するよりも、より広い領域で、互いに隣接する関係を保持しながら自然に情報を記入していくことができる。
このような対応関係をとった上で、情報管理データベースＳ０５（或いは会議情報サーバ２０２）に、時刻情報と共に記録することにより、仮想平面１４００に記載された情報を会議の議事録として残しておくことができる。

図９のステップＦ１７において、各区間で得られた要約オブジェクト（要約内容）を統合して、全区間の要約内容を決定する際に、枠外に出て非表示となった領域が多いために、区間ごとの要約オブジェクトを集めて、縮小するなどしても、ディスプレイ上の要約表示領域の大きさに収まりきらないような場合には、たとえば、非表示となった領域のうち、なるべくディスプレイに近いものを優先して要約内容に反映させるようにしても良い。また、逆に隠れた部分が少ない場合は、要約オブジェクト判定（ステップＦ１２）の条件をゆるくして、たとえば、要約オブジェクトとして採用する数を増やすなどの処理を行っても良い。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば、上記の実施形態では、表示領域外に移動して非表示となった非表示情報（要約）を要約表示領域に表示するようにしたが、これに限らず、表示部分の一部を選択して、当該選択情報を表示領域の所望の部分に要約或いは縮小表示して、新たな情報をその周囲に追加していけるようにしても良い。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本実施形態に係るディスプレイ装置の概略構成を示すブロック図。 ディスプレイ装置が会議情報サーバに接続されて構成された会議システムを示す図。 ディスプレイ装置の画面上の表示領域における領域分割の例を示す図。 ディスプレイ上にペン等で記入もしくは映像として表示された情報とそれをオブジェクト化した結果を示した図。 ディスプレイ上の情報をディスプレイ上で平行移動させる操作を行った場合の動作と表示例を示す図。 要約表示スイッチの動作を説明するための図。 ディスプレイに表示された情報を移動してその情報の一部枠外に出た状態に、更に追加の情報を記入した様子を表す図。 図７で追加した記入情報以外の情報が左側の枠外に移動してディスプレイ装置の表示領域から消えた様子を表す図。 ディスプレイの左端からはみ出した非表示部分におけるオブジェクトを示す図。 要約生成の手順を示すフローチャート。 要約内容の表示方法の一例を説明するための図。 表示情報をディスプレイの上側に移動させてその枠外に出た情報に対する要約情報を生成する場合の走査の方向と要約区間の取り方を示す図。 マーキングによるオブジェクトの判定例を示した図。 文字入力以外のオブジェクトの例を示す図。

符号の説明

Ｓ０１…情報表示部
Ｓ０２…情報入力部
Ｓ０３…オブジェクト化部
Ｓ０４…情報管理部
Ｓ０５…情報管理データベース
Ｓ０６…情報選択部
Ｓ０７…情報移動部
Ｓ０８…非表示部要約部

Claims (7)

1. 表示領域に表示された情報のうち所望の範囲の情報を選択する手段と、
   前記選択した情報を所望の方向に所望の距離移動させる移動手段と、
   前記移動手段によって移動した情報のうち、前記表示領域外に移動して非表示となった非表示情報を生成する手段と、
   前記非表示情報を前記表示領域内の所定の領域に表示する手段とを具備することを特徴とするディスプレイ装置。
2. 請求項１に記載のディスプレイ装置において、前記非表示情報は、前記移動された情報の移動方向の前記表示領域の端部から所定の距離で規定される領域に表示されることを特徴とするディスプレイ装置。
3. 請求項１に記載のディスプレイ装置において、前記非表示情報のうち、所定の印が付加された情報のみを前記所定の領域に表示することを特徴とするディスプレイ装置。
4. 請求項１に記載のディスプレイ装置において、前記非表示情報のうち、文字列、動画、図形を含む情報の種類から所定の種類の情報のみを前記所定の領域に表示することを特徴とするディスプレイ装置。
5. 請求項１から請求項４のいずれか１項に記載のディスプレイ装置において、前記非表示情報のうち、非表示になった量に応じて、前記周辺部分に表示可能な量の情報を前記所定の領域に表示することを特徴とするディスプレイ装置。
6. 請求項１から請求項５のいずれか１項に記載のディスプレイ装置において、前記所定の領域に表示された情報と、それ以外の表示領域に表示された情報とをそれぞれ対応付け行い、時刻情報とともに記録する手段を更に具備することを特徴とするディスプレイ装置。
7. ディスプレイ装置の表示領域に表示された情報のうち所望の範囲の情報を選択することと、
   前記選択した情報を所望の方向に所望の距離移動させた場合に、前記表示領域外に移動して非表示となった非表示情報を前記表示領域の所定の領域に表示することを具備することを特徴とする情報整理表示処理方法。

Images