JP2014006654A - 情報表示装置、ユーザーインターフェースの提供方法並びにプログラム - Google Patents

情報表示装置、ユーザーインターフェースの提供方法並びにプログラム Download PDF

Info

Publication number
JP2014006654A
JP2014006654A JP2012141099A JP2012141099A JP2014006654A JP 2014006654 A JP2014006654 A JP 2014006654A JP 2012141099 A JP2012141099 A JP 2012141099A JP 2012141099 A JP2012141099 A JP 2012141099A JP 2014006654 A JP2014006654 A JP 2014006654A
Authority
JP
Japan
Prior art keywords
contact point
touch panel
write command
input
palm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012141099A
Other languages
English (en)
Inventor
Yuzo Aoshima
雄三 青島
Hiroyuki Yaegashi
裕之 八重樫
Yoshimasa Fujimori
義真 藤森
Mamoru Fujita
護 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2012141099A priority Critical patent/JP2014006654A/ja
Publication of JP2014006654A publication Critical patent/JP2014006654A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

【課題】タッチパネルを備える情報表示装置の操作性を改善し、効率のよい入力操作を実現できるユーザーインターフェースを提供する。
【解決手段】情報表示装置(10)の表示面(12)にタッチパネルが設けられる。情報表示装置(10)は、タッチパネルから得られる信号に基づき、表示面(12)に対する操作者の手のひら部分の接触による手のひら領域(62)を判別する手のひら判別処理手段と、タッチパネルによって検知された複数の接触点のうち、手のひら領域(62)との相対的位置関係から特定の接触点(64)を識別する識別処理手段と、識別処理手段で識別した特定の接触点(64)の挙動を入力操作と判断してその挙動に対応する指示の入力に応じた動作制御を行う制御手段と、を備える。
【選択図】図5

Description

本発明は情報表示装置に係り、特に表示面への接触操作により動作指示の入力が受け付けられる情報表示装置及びそのユーザーインターフェース技術に関する。
タブレット型端末装置や電子ペーパー端末装置などに代表される情報表示装置においては、表示デバイスの表示面上に入力操作用のタッチパネルが設けられ、ユーザーが画面上を指やペンで触って各種操作を行うものが知られている。例えば、表示デバイスの画面上に表示されたソフトウエアGUI(Graphical User Interface)の操作ボタン(アイコンなど)にタッチして対応するコマンドを入力することができ、或いは、画面上に触れた指を動かすことで、画面スクロールやページ送り、表示領域の移動、拡大/縮小表示などの操作を行うことができる。
また、画面上で指やペンを自由に動かして図形や文字等を描くことにより、その手書きの情報を画面上に表示させたり、装置内に記録保存したりすることができる。特許文献1〜4では、手書き入力が可能な装置において、ユーザーによる入力操作が手書き入力であるかジェスチャー入力であるかを区別して入力処理を行う技術が提案されている。
特開2008−27082号公報 特開平10−83245号公報 特開平10−20995号公報 特開2001−175407号公報
従来の情報表示装置は、表示デバイスとして液晶表示装置(LCD;liquid crystal display)が広く利用されている。LCDを使ったソフトウエアGUIは、手書き入力モード(「書き込み入力モード」とも言う。)とジェスチャー入力モードとをボタン操作によって切り替えて入力操作を行うものが多い。
しかし、このような構成では、ユーザーは入力モードを切り替える都度、ソフトウエアGUIのボタン操作を行わなければならず、操作が煩わしい。特に、表示デバイスとして電子ペーパーを用いる場合、電子ペーパーはLCDに比べて表示の応答速度が遅いため、従来と同様の仕組みでは操作の効率が下がる。この点、特許文献1〜4で提案されている方法は、必ずしも画面スクロール等のジェスチャー入力や手書きの書き込み入力などの操作性を十分に改善するものではない。
本発明はこのような事情に鑑みてなされたもので、上記の課題の少なくとも一部を解決し、従来のモード切り替え等による煩雑な操作性を改善し、効率のよい入力操作が可能な情報表示装置及びそのユーザーインターフェースの提供方法並びにプログラムを提供することを目的とする。
前記目的を達成するために、本発明の一態様に係る情報表示装置は、情報を表示する表示面を有する表示手段と、表示手段の表示面に対する物体の接触位置を検知するタッチパネルと、タッチパネルから得られる信号に基づき、表示面に対する操作者の手のひら部分の接触による手のひら領域を判別する手のひら判別処理手段と、タッチパネルによって検知された複数の接触点のうち、手のひら領域との相対的位置関係から特定の接触点を識別する識別処理手段と、識別処理手段で識別した特定の接触点の挙動を入力操作と判断してその挙動に対応する指示の入力に応じた動作制御を行う制御手段と、を備える。
この発明によれば、タッチパネルで検知される信号を解析して、操作者(ユーザー)の手のひら部分の接触領域(手のひら領域)を判別し、手のひら領域と、手のひら領域外の接触点との相対的な関係を基に、操作者が意図する入力操作を自動的に解釈する。このため、操作者はボタン操作などによる入力モードの切替操作を行う必要がなく、簡単に手書きの入力操作を行うことができる。
他の発明態様に係る情報表示装置は、情報を表示する表示面を有する表示手段と、表示手段の表示面に対する物体の接触位置を検知するタッチパネルと、表示面上の任意の位置に書き込みコマンド領域を設定し得る書き込みコマンド領域設定手段と、書き込みコマンド領域設定手段により設定された書き込みコマンド領域の押下中に、他の領域で検知された接触点の挙動を書き込み入力の操作と判断する一方、書き込みコマンド領域の非押下状態において書き込みコマンド領域外の領域で検知された接触点の挙動をジェスチャー入力の操作と判断する解析手段と、解析手段により判断された操作に係る接触点の挙動に対応する指示の入力に応じた動作制御を行う制御手段と、を備える。
この発明によれば、表示面上の任意の位置に設定できる書き込みコマンド領域は、書き込み入力のモードとジェスチャー入力のモードとを切り替えるソフトウェアキーの役割を果たす。ユーザーは、表示面上の所望に位置に書き込みコマンド領域を設定することができ、一旦設定した書き込みコマンド領域の位置を適宜変更することもできる。
書き込みコマンド領域の設定後、書き込みコマンド領域の押下の有無によって、書き込みコマンド領域外の領域に対する押下を「書き込み」と解釈するか、「ジェスチャー入力」と解釈するかが自動的に切り替わる。このため、入力効率を向上できる。
例えば、ユーザーが書き込み入力を行う際に自然に手が触れることになる表示面上の位置に書き込みコマンド領域を設定しておくことにより、ユーザーは入力モードの切り替えを意識することなく、簡単に入力操作を行うことができる。
他の発明態様については明細書及び図面の記載により明らかにする。
本発明によれば、タッチパネルを備える情報表示装置の操作性を改善でき、効率のよい入力操作が可能となる。
本発明の実施形態に係る情報表示装置の外観図 情報表示装置の構成を示すブロック図 第1実施形態におけるユーザーインターフェースの説明図 タッチパネルで検知される接触点の位置及び接触領域の形状の例を示す図 図5(a)はペンを用いて手書きによる書き込み操作を行う様子を示す図、図5(b)はタッチパネルで検知される接触形状の動きを示した図 手のひら領域と対になって動くペン先の移動軌跡を書き込み入力とする様子を示す説明図 タッチパネルで検知された接触点を無効化する処理の説明図 タッチパネルから得られる信号を解析する処理機能を担う構成の要部ブロック図 第1実施形態に係る情報表示装置のユーザーインターフェースを実現する処理のフローチャート 第2実施形態に係る情報表示装置のユーザーインターフェースの説明図 表示面上に複数の書き込みコマンド領域を設定する例を示す図 情報表示装置の画面を横長の姿勢で使用する場合の書き込みコマンド領域の設定例を示す図 ジェスチャー入力(フリック操作)の操作例を示す図 表示内容を拡大させる操作(ピンチ操作)の例を示す図 書き込み入力の操作例を示す図 スタンプによる書き込み入力の操作例を示す図 第2実施形態のユーザーインターフェースを実現する信号解析部の要部ブロック図 第2実施形態に係る情報表示装置10のユーザーインターフェースを実現する処理のフローチャート 実施形態に係る情報表示装置を適用した採点支援システムの構成例を示すシステム構成図 図19に示した採点支援システムを用いた採点支援方法の一例を示す説明図 図19に示した採点支援システムの他の利用形態を示す説明図
以下、添付図面にしたがって本発明を実施するための形態について詳説する。
〔第1実施形態〕
図1は第1実施形態に係る情報表示装置の外観図である。この情報表示装置10は、表示デバイスとして電子ペーパーが採用された電子ペーパー端末装置である。情報表示装置10は、文字や画像などの各種情報が表示される表示面12を有する。本例の情報表示装置10は、平板状の筐体14を有し、筐体14の一方の面(図1において上面)に表示部としての表示パネル16と、入力部としてのタッチパネル18とが一体となった表示入力部20を備えている。筐体14内には表示デバイスとその制御に必要な電子回路基板等が収容されている。
図1では、平面視で略矩形の平板型の情報表示装置10を例示するが、筐体14の外形形状や表示面12の画面形状や画面サイズについては特に制限はなく、様々な形状、サイズに設計可能である。例えば、表示面12の画面サイズとしてA4サイズ(297mm×210mm)程度の表示領域を有する構成とすることができる。筐体14は、表示面12の画面サイズを規定する横寸法や縦寸法に比べて、厚み方向の寸法が十分に小さい略六面体の外形形状を有する形態とすることができる。筐体14の側面部分(厚み方向の側面部分を覆う側壁部分)や平面視で矩形の角部などは丸みを帯びた曲面(曲線)形状とすることができる。
筐体14の構成は、図示の例に限定されず、折り畳み構造やスライド構造を有する構成を採用することもできる。また、図示されていないが、筐体14には電源スイッチやホールドスイッチなどの操作部を設けることができる。さらに、筐体14には、例えば、USB(Universal Serial Bus)コネクタやLAN(Local Area Network)コネクタなどの通信インターフェース部を設けることができる他、メモリカードスロットなど、外部記憶媒体の装着が可能なメディアインターフェース部を設けることができる。
図2は情報表示装置10の構成を示すブロック図である。情報表示装置10は、表示部を構成する電子ペーパー22と、電子ペーパー22の表示面上に配置されたタッチパネル18と、タッチパネル18から得られる信号(タッチ信号)を検出するタッチ信号検出部24と、制御手段として機能するCPU(中央演算処理装置)30と、揮発性記憶手段としてのRAM32と、不揮発性記憶手段としてのROM34と、外部入出力部36と、不揮発性の記憶手段(ストレージ部)としての記録部38と、電子ペーパー22の表示内容の更新制御等を行う表示制御部40と、装置内の各部に電力を供給する電源部42と、を備える。
CPU30は、バス44を介してRAM32、ROM34、外部入出力部36、記録部38、表示制御部40、タッチ信号検出部24等の各部と接続されており、各部(30、32、34、36、38、40、24)は、バス44を介して信号の受け渡しが可能である。
電子ペーパー22とタッチパネル18で構成される表示入力部20は、CPU30の制御により画像(静止画像及び動画像)や文字情報などを表示して視覚的にユーザーに情報を伝達する。電子ペーパー22の詳細な構造は図示しないが、例えば、上部電極と下部電極との間に粒子回転型又は電気泳動型などの電子インクが配置された構造を有する。電子ペーパー22は、表示内容を切り替えるときに電力を消費するが、電力の供給がない状態でも表示状態を維持することができる。このため、電子ペーパーは、表示のために常に電力の供給が必要とされるLCDや有機ELなどと比べて少ない電力で長時間の表示が可能である。
タッチパネル18は、表示面12に対する物体の接触を検知する接触検知手段として機能する。ここでいう「物体」には、人の手、指、ペン(尖筆)その他の様々な物体が含まれ得る。タッチパネル18は、電子ペーパー22の表示面上に表示される文字や画像等の情報を視認可能に載置され、ユーザーの指やペンなどによって操作される複数の座標を検出するデバイスである。電子ペーパー22の表示領域を覆って配置されたタッチパネル18は、表示面12の座標に対応する接触点の位置(以下、「タッチ位置」或いは「接触位置」と言う。)を示す電気信号(「タッチ信号」という。)を生成する。
タッチパネル18は、表示面12上における複数の接触点(接触位置)を同時に検知することができるマルチタッチセンサとなっている。タッチパネル18で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
タッチ信号検出部24は、タッチパネル18から信号を読み出し、タッチパネル18の二次元平面座標におけるタッチ位置(接触点)を示す信号として出力する。タッチ信号検出部24は、タッチパネル18のマトリクスセンサについてX方向及びY方向の二次元走査(スキャン)を行い、押下点(接触点)のX座標、Y座標を示す信号を得る。
タッチパネル18をユーザーの指やペンによって操作すると、操作に起因して発生する検出信号が得られ、この信号がCPU30に送られる。CPU30は受信した検出信号を基に表示パネル16上の操作位置(座標)を検出し、接触点の動きや接触領域などを解析して操作動作を解釈する。
本例の情報表示装置10は、タッチパネル18が表示パネル16の全面を完全に覆うような配置となっている。このような配置を採用した場合、タッチパネル18は、表示パネル16の表示画面外の領域についても、ユーザー操作(タッチ)を検出する機能を備える構成とすることができる。すなわち、タッチパネル18は、表示パネル16の表示画面に重なる重畳部分についての検出領域(以下、表示領域という。)と、それ以外の表示パネル16の表示画面に重ならない外縁部分についての検出領域(以下、非表示領域という。)と、を備えていてもよい。なお、タッチパネル18は表示パネル16の表示領域の全範囲を覆って配置される形態に限らず、表示パネル16の表示領域の一部を覆って配置する形態も可能である。
CPU30は、情報表示装置10の全体的な制御を担う制御手段として機能するとともに様々な演算処理を行う演算処理手段として機能する。RAM32は、CPU30の処理に必要な各種データを記憶する記憶手段であり、CPU30の作業メモリとして利用される。ROM34にはCPU30が実行する制御プログラムやパラメータなど各種設定データなどが記憶される。
CPU30は、ROM34や記録部38が記憶する制御プログラムや制御データにしたがって動作し、情報表示装置10の各部を統括して制御する。また、CPU30は、タッチパネル18からの検出信号を解析してユーザーの操作動作を解釈する解析処理手段として機能し、後述のユーザーインターフェースを実現するユーザーインターフェース提供装置として機能する。すなわち、CPU30は、電子ペーパー22に対する表示制御と、タッチパネル18を通じたユーザー操作を検出する操作検出制御を実行する。
表示制御の実行により、電子ペーパー22上に各種のアイコンや、スクロールバーなどのソフトウェアキーを表示させたり、画像表示や文字入力等を行うためのウィンドウを表示させたりすることができる。なお、スクロールバーとは、表示画面(表示領域)に収まりきれない大きな画像などを表示させる場合について、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、CPU30は、タッチパネル18を通じて、アイコンに対する操作や、ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行によりCPU30は、タッチパネル18に対する操作動作を解釈し、入力操作に応じた入力処理や、モード切替処理、ソフトウェアキーの表示制御処理などを行うタッチパネル制御機能を備える。
また、CPU30は、タッチパネル18に対するジェスチャー操作を検出し、検出したジェスチャー操作に応じて、予め設定された機能を実行することもできる。ジェスチャー操作とは、従来の単純なタッチ操作ではなく、指やペンなどによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
外部入出力部36は、情報表示装置10に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、IEEE1394など)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥースBluetooth(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
外部入出力部36には、有線、無線を問わず、適宜の通信インターフェース規格に適合した通信インターフェース部を採用することができる。また、1種類に限らず、複数種類の通信インターフェース部を備えても良い。
外部入出力部36を介して情報表示装置10に連結される外部機器としては、例えば、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDAなどがある。外部入出力部36は、このような外部機器から伝送を受けたデータを情報表示装置10の内部の各構成要素に伝達することや、情報表示装置10の内部のデータが外部機器に伝送されるようにすることができる。
外部入出力部36を介して外部機器から取得した画像データ(表示用データ)や各種データは、記録部38に保存することができる。また、タッチパネル18を通じて入力された情報なども記録部38に記録することができる。なお、ROM34の記憶領域の一部を記録部38として利用したり、記録部38の記憶領域の一部をROM34として利用したりすることもできる。例えば、ROM34に代えて記録部38を用いることができる。
記録部38に格納されたデータは、電子ペーパー22に表示させることができる他、外部入出力部36を介して外部に取り出すこともできる。
電源部42は、図示せぬバッテリーを含み、CPU30の指示にしたがって情報表示装置10の各部に電力を供給するものである。バッテリーには二次電池を用いることができる。
<ユーザーインターフェースの説明>
図3は第1実施形態に係る情報表示装置10におけるユーザーインターフェースの説明図である。ユーザーはペン50を手52に持ってペン先54を表示面12に接触させて手書きによる書き込み入力を行うことができる。このときタッチパネル18で検知される接触点の位置及び接触領域の形状の例を図4に示す。
図4中符号62で示す領域はペン50を持つユーザーの手のひら部分が当たっている領域である。ここでいう「手のひら部分」には、手のひらの付け根の部分、特に、手のひらの小指側の側部も含まれる。手のひら部分が接触した領域を「手のひら領域」(符号62)という。図4中符号64で示した領域は、ペン先54(「ペンの先端部分」に相当)が当たっている領域である。ペン先54の接触領域(接触点)を「ペン先領域」(符号64)という。このように、タッチパネル18から得られる信号を基に、接触領域の形状や大きさから手のひら領域62を判別することが可能である。なお、図面中では、図示を分かりやすくするために、便宜上、ペン先領域64を大きく(誇張して)描いているが、実際はペン先の太さに応じた接触領域が検出される。
図5(a)に示すように、ユーザーがペン50を動かして手書きによる書き込み操作を行うと、タッチパネル18によってその動きが検知される。図5(b)はタッチパネル18で検知される形状(接触形状)の動きを示した図である。図5(b)中の白抜き矢印は、動きの方向を示している。同図に示すように手のひら領域62と、ペン先領域64とは、対になって動く。このように、手のひら領域62と対になって動く点をペン先54の動きと判断することができる。
手のひら領域62と対になって動く点は、ユーザーの手書き操作によるペン先54の移動であると判断し、その移動軌跡を電子ペーパー22上に表示させる。すなわち、図6の符号56で示すように、ペン先54の移動軌跡を手書きの描画線として表示面12に表示させる。
その一方、図7に示すように、タッチパネル18によって複数のタッチ領域(62、64、66、67、68)が検出された場合、これら複数のタッチ領域の中から手のひら領域62を識別し、その手のひら領域62の形状からペン先54の位置と移動方向の範囲を予測する。そして、手のひら領域62と対応して動く点(タッチ領域)が手のひら領域62の形状から予測される押下方向と異なったり、手のひら領域62から所定距離(閾値)を超えて距離が遠かったり、動く方向が予測範囲と異なったりした場合などは、入力とはみなさず、無効化する。
このようなタッチ領域の解析とその解析結果に基づくペン先領域64の識別、並びにペン先以外のタッチ指示の無効化処理により、複数の接触点が検出された場合であっても、ユーザーが意図する手書きの書き込み入力の情報のみを取り込むことができる。
図8はタッチパネル18からの信号に基づいて自動的に手書きの書き込み入力データを把握する機能を実現する処理のブロック図である。図8に示す信号解析部80はCPU30が実行するプログラムによって実現される。
タッチパネル18から得られるタッチ信号を解析する信号解析部80は、表示面12上における接触点の座標と接触領域とを検知する接触位置/接触領域検知処理部82と、手のひら判別処理部84と、移動検知処理部86と、ペン先予測部88と、ペン先識別処理部90と、無効化処理部92とを備える。
接触位置/接触領域検知処理部82は、タッチ信号検出部24から取得される信号を基に、表示面12上の接触点の位置座標を把握するとともに、隣接する座標点が接触点として検知された場合の接触点の集合である接触領域の形状や大きさを特定する。
手のひら判別処理部84は、接触領域の形状、大きさを基に、ユーザーの手のひら部分による接触領域(手のひら領域62)の判別を行う。
ペン先予測部88は、手のひら判別処理部84で判別した手のひら領域62の形状を基に、ペン先が存在し得る位置の範囲やペン先が移動し得る方向の範囲を予測する。ユーザーがペン50を手52に持って、ペン50で書き込み動作(入力操作)を行うという動作条件の下では、ペンを持つ手の手のひら領域62とペン先領域64の相対的な位置関係についてある程度の予測が可能である。つまり、ユーザーがペンを手に持って書き込み動作を行う場合、手のひら部分の接触形状と、ペン先との相対的位置関係のモデルを手がかりとして、ペンを持つ手の手のひらの接触形状から、ペン先の位置が存在しうる領域の範囲やペン先の移動方向を予測することができる。ペンの長さやペンの持ち方については、ある程度のばらつきはあるものの、そのばらつきをある程度包含するような条件モデルを想定することにより、ペン先の位置や移動方向の予測が可能である。
ペン先予測部88は、予めプログラムされた予測アルゴリズムにしたがって、ペン先54の位置が存在する範囲や、移動方向を予測する演算を行う。ペン先予測部88は、「領域予測手段」、「方向予測手段」として機能する。
移動検知処理部86は、接触点の動きを検知する。一定の時間サイクルで連続的にタッチパネルの接触点を検知し続けることにより、接触点の動き(時間変化に伴う位置の変化)を検知することができる。
ペン先識別処理部90は、手のひら領域62の情報と、ペン先予測部88の予測結果を基に、タッチパネル18上で動く点がペン先であるか、それ以外の外乱であるかの識別を行う。ペン先に対応する接触点の動きをユーザーの操作と判断し、その操作に対応する動作を行わせる。
その一方、ペン先識別処理部90にて、ペン先以外が接触点の動きであると判断したものについては、ユーザー操作による入力とみなさず、無効化処理部92にて入力の無効化を行う。
<制御手順の説明>
図9は、第1実施形態に係る情報表示装置10のユーザーインターフェースを実現する処理のフローチャートである。
まず、タッチパネル18から得られる信号を基に、タッチ信号の有無が判断される(ステップS102)。タッチパネル18によって指やペンなどの物体の接触が検知され、その接触に応じた信号が検出されと、その検出信号から接触点の位置(座標)と接触領域(タッチ領域)の検知処理が行われる(ステップS104、「接触検知処理工程」)。密集して隣接する接触点の集合範囲が接触領域(タッチ領域)として把握される。
ステップS104の検知結果を基に、手のひら領域の判別処理が行われる(ステップS106、「手のひら判別処理工程」)。手のひら領域であるか否かの判定に際しては、例えば、その判定基準となる接触領域の大きさや形状等のデータが装置内の記憶手段に保持されており、基準データと比較して手のひら領域か否かの判断がなされる。
タッチパネル18からの信号は所定の時間周期で常時監視されており、タッチパネル18から連続的に取得される信号に基づき、接触点の動きや接触領域の動き(形や位置の変化を含む)が検知される(ステップS108)。
タッチパネル18で検知された接触領域のうち、手のひら領域62と対になって動く点をペン先の接触点(「特定の接触点」に相当)と判断し(「識別処理工程」に相当)、この識別した特定の接触点の動きをユーザーによる手書き入力の操作動作であるとみなす(ステップS110)。そして、この識別した特定の接触点の移動軌跡は電子ペーパー22の表示面12に描画線として表示される。
ステップS110の処理と並行して、またはこれに前後して、手のひら領域の形状からペン先の位置と移動方向を予測する(ステップS112、「領域予測工程」、「方向予測工程」。
タッチパネル18で検出された複数のタッチ領域のうち、予測された領域や方向の範囲から外れた位置に存在する接触点や、予測外の方向に動く点については、ペン先以外の意図せぬ接触物であるとして、入力操作とはみなさず、これらの接触点の動きは無視する(無効化)する(ステップS114、「無効化処理工程」)。
こうして、ステップS110で識別したペン先の動き(移動軌跡)をユーザーによる入力行為とみなし、自動的に手書きの書き込み入力モードに遷移して、その移動軌跡を手書きによる書き込みデータとして記録部38に記録する(ステップS116、「制御工程」に相当)。
ステップS116の処理後は、ステップS102に戻り、以後、同様の処理(ステップS102〜ステップS116)が繰り返される。
この第1実施形態によれば、タッチパネル18で検知される複数のタッチ領域の中から自動的に手のひら領域とペン先の接触点が識別され、ペン先の動きが入力動作であると解釈されて、入力処理が行われる。
このように、本実施形態の情報表示装置10は、タッチパネル18から得られる信号を基にタッチ領域(接触領域)の大きさと動きを解釈するアルゴリズムを搭載しており、手のひら領域62との相対的な位置関係から特定の接触点(例えば、ペン先の接触点)の挙動をユーザーによる操作動作として自動的に認識して入力指示として処理することができる。
〔第2実施形態〕
次に、第2実施形態を説明する。第2実施形態に係る情報表示装置のハードウエア構成は図1及び図2で説明した第1実施形態の情報表示装置10と同様である。
図10は、第2実施形態に係る情報表示装置10のユーザーインターフェースの例である。ここでは、ジェスチャー入力モードと、手書き入力モードとを自動的に切り替えるユーザーインターフェースについて説明する。図10に示すように、情報表示装置10の表示入力部20には書き込みコマンド領域132が設けられる。この書き込みコマンド領域132は、指やペンによる手書きの書き込み入力モードと、画面スクロールや拡大/縮小表示などのジェスチャー入力モードとを切り替えるためのソフトウェアキーである。
書き込みコマンド領域132は、表示面12上の任意の位置に設定することができる。図10では、操作者が左手の指で書き込みコマンド領域132をタッチすることを想定して、表示面12における左側の縁寄りの位置に書き込みコマンド領域132を設定した例を示している。書き込みコマンド領域132は、表示面12内で位置を自由に変更することができる。なお、表示面12上で書き込みコマンド領域132を設定できる領域の範囲を制限しておくことも可能であり、その設定された制限領域の範囲内で書き込みコマンド領域132の位置を定める構成としてもよい。
また、図11の符号132、133で例示したように、表示面12内に複数の書き込みコマンド領域132、133を設けることができる。設定可能な書き込みコマンド領域の数については予め上限を定めておいても良いし、制限を定めなくてもよい。
図11では情報表示装置10を縦長の姿勢で使用する場合を想定しているが、これに限らず、図12に示すように、情報表示装置10を横に向けた姿勢で使用する場合においても、書き込みコマンド領域132の位置を自由に設定することができる。
図13(a)〜(c)は、画面スクロール、表示位置移動、ページ送りの操作例を示す図である。書き込みコマンド領域132を押さずに、表示面12を指やペンでタッチして指を動かすと(「フリック操作」という)、その移動方向への画面スクロール(表示位置の移動やページ送りも同じ)が行われる。図13(a)〜(c)では、表示面12を指で触り、表示面12上で指を左方向に動かす動作を行うことで、表示画面が左方向に流れて、表示内容が変更される様子を示している。
このように、書き込みコマンド領域132の非押下状態ではジェスチャー入力モードとみなされ、ユーザーがフリック操作を行うとジェスチャー入力による画面スクロール、表示位置移動、ページ送りなどの動作が行われる。
図14(a)(b)は、ジェスチャー入力による拡大/縮小の操作例を示す図である。図14(a)に示すように、書き込みコマンド領域132を非押下の状態で、2本の指を表示面12に接触させ、2本の指を対角方向に広げるように動かすと(「ピンチアウト操作」という)、表示が拡大される。逆に、2本の指を対角方向に狭める方向に指を動かすと(「ピンチイン操作」という)、縮小表示になる。
このように、書き込みコマンド領域132の非押下状態ではジェスチャー入力モードとみなされ、ユーザーがピンチアウト操作やピンチイン操作(これらを総称して「ピンチ操作」という。)を行うと、ジェスチャー入力による拡大/縮小の動作が行われる。
図15(a)(b)は、手書きの書き込み入力を行う場合の説明図である。図15(a)に示したように、書き込みコマンド領域132を押して、これと同時に画面上に指やペンでタッチしてその接触点を動かすと、書き込みコマンド領域132領域外の検知内容を「手書きによる書き込み入力操作」と判断され、その動きによる接触点の移動軌跡が表示面12上に表示される。そして、書き込みコマンド領域132外で検知された接触点の移動軌跡が手書きの描画情報として記録部38に書き込まれる。
なお、書き込みコマンド領域132の押下による書き込み操作は、指やペンを動かしたときの移動軌跡の書き込みに限らず、図16(a)に示すように、予めスタンプ170のコマンドを用意しておき、タッチした位置にスタンプ170で定義されている所定の図柄171などを書き込む動作として処理することも可能である(図16(b)参照)。このような形態によれば、所定の図柄171を所望に位置に簡単に書き加えることができる。
図15(a)(b)及び図16(a)(b)で説明したように、書き込みコマンド領域132の押下時には自動的に手書き入力モードに切り替わり、書き込みコマンド領域132の押下状態で手書き操作を行うと、手書き入力による入力処理が行われる。
図17は、第2実施形態のユーザーインターフェースを実現する信号解析部210のブロック図である。図17中、図8で説明した構成と同一又は類似する要素には同一の符号を付し、その説明は省略する。信号解析部210の各部(符号82、86、212、214、216)は、CPU30が実行するプログラムによって実現可能である。
信号解析部210(「解析手段」に相当)は、書き込みコマンド領域設定部212(「書き込みコマンド領域設定手段」に相当)、モード判定処理部214、モード切替処理部216を備える。書き込みコマンド領域設定部212は、図10〜図12で説明したように、表示面12上における書き込みコマンド領域132の位置や個数を設定するための処理部である。ユーザーは所定のGUI画面を通じて書き込みコマンド領域132の設定を行うことができ、その設定情報は記録部38に登録される。
書き込みコマンド領域設定部212は、書き込みコマンド領域132の設定を行うためのGUIを提供する機能と、設定された情報を記録部38に記録する機能、及び記録部38に記録された設定情報を読み出す機能を有する。なお、書き込みコマンド領域132の設定に関しては、デフォルトで特定の領域を予めセットしておき、これを書き換えたり、これに追加したりすることが可能である。
モード判定処理部214は、タッチパネル18によって検知された信号を基に、書き込みコマンド領域132が押されたか否かを判断し、ジェスチャー入力モードとするか、手書き入力モードとするかのモード判定を行う処理部である。書き込みコマンド領域132が非押下状態であればジェスチャー入力モードと判定し、書き込みコマンド領域132が押下状態であれば書き込み入力モード(手書き入力モード)と判定する。
モード切替処理部216はモード判定処理部214の判定結果にしたがって入力モードを自動的に切り換える処理を行う処理部である。
モード切替処理部216で設定される入力モードに応じてタッチ操作の検知信号が解釈され、操作に応じた入力処理が行われ、その入力された指令に対応した動作が行われる。
<制御手順の説明>
図18は、第2実施形態に係る情報表示装置10のユーザーインターフェースを実現する処理のフローチャートである。
まず、表示面12上における書き込みコマンド領域132の位置と個数の設定を行う(ステップS202、「書き込みコマンド領域設定工程」)。次いで、タッチパネル18から得られる信号を基に、タッチ信号の有無が判断される(ステップS204)。タッチパネル18によって指やペンなどの物体の接触が検知され、その接触に応じた信号が検出されと、その検出信号から接触点の位置(座標)と接触領域(タッチ領域)の検知処理が行われる(ステップS206、「接触検知処理工程」)。
次に、書き込みコマンド領域132が押されたか否かの判定が行われる(ステップS208、「押下判定処理工程」)。
書き込みコマンド領域132が押されている場合(ステップS208でYes判定時)は、書き込み入力モードと判定し(ステップS210、「モード判定工程」)、書き込み入力モードに設定する(ステップS212、「モード設定工程」)。そして、書き込みコマンド領域外の領域が押下された場合は、その接触操作を「書き込み」の操作とみなして(「解析工程」に相当)、操作に応じた処理(例えば、手書きの書き込みデータの記録やスタンプ170による図柄171の記録)を行う(ステップS214、「制御工程」)。
その一方、ステップS208において、書き込みコマンド領域132が押されていない場合(ステップS208でNo判定時)は、ジェスチャー入力モードと判定し(ステップS220、「モード判定工程」)、ジェスチャー入力モードに設定する(ステップS222、「モード設定工程」)。そして、書き込みコマンド領域外の領域が押下された場合は、その接触操作を「ジェスチャー入力」の操作とみなして(「解析工程」に相当)、操作に応じた処理(例えば、画面スクロールや拡大/縮小など)を行う(ステップS224、「制御工程」)。
ステップS214、S224の後はステップS204に戻り、上述の処理が繰り返される。
この態様によれば、書き込みコマンド領域132に触れると自動的に入力モードが切り替わるため、ユーザーは入力モードの切り替えを意識することなく、書き込み入力やジェスチャー入力を行うことができる。
<第1実施形態と第2実施形態の組合せについて>
上述した第1実施形態と第2実施形態を組み合わせることが可能であり、1台の情報表示装置10において、第1実施形態で説明したユーザーインターフェースと第2実施形態で説明したユーザーインターフェースとを両方を備える構成とすることができる。
<プログラムの提供について>
第1実施形態及び第2実施形態で説明した情報表示装置のユーザーインターフェースを実現するための各手段(各部)の機能や処理工程をコンピュータによって実現(実行)させるプログラムを提供することができる。ここでいう「コンピュータ」には、システムあるいは装置内のコンピュータ(CPUやMPUなど)が含まれる。
プログラムは、予めコンピュータに組み込まれていても良いし、当該プログラムを記憶させた磁気ディスク、光ディスク、光磁気ディスク、メモリカードその他のコンピュータ可読媒体(情報記憶媒体)を提供することも可能である。また、このような有体物たる記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの通信ネットワークを利用してプログラム信号をダウンロードサービスとして提供することも可能である。
<情報表示装置を利用したシステムの例について>
第1実施形態及び第2実施形態で説明した情報表示装置の利用形態の一例として、教育向けソリューションシステムを説明する。
図19は、実施形態に係る情報表示装置を適用した採点支援システムの構成例を示すシステム構成図である。図19の採点支援システム300は、表示端末装置310、試験問題作成用端末装置320、試験結果分析用端末装置330、プリンタ340、サーバ装置350、無線アクセスポイント360及びネットワーク380を含んで構成されている。表示端末装置310は、第1実施形態や第2実施形態で説明した情報表示装置10に該当するものである。
図19では、3台の表示端末装置310を示しているが、表示端末装置310の台数は1台以上、任意の台数とすることができ、図示せぬ多数の表示端末装置がネットワーク380に接続され得る。
試験問題作成用端末装置320及び試験結果分析用端末装置330は、パーソナルコンピュータ(PC)などのコンピュータ装置によって構成されている。プリンタ340は、各種の情報を紙に印刷可能な画像形成装置である。サーバ装置350は、コンピュータ装置によって構成されている。無線アクセスポイント360は、表示端末装置310を、ネットワーク380に対して、無線で接続可能な装置である。
なお、ネットワーク380は、インターネットのような広域ネットワーク(WAN;Wide Area Network)であってもよいし、構内ネットワークのようなローカルネットワーク(LAN;Local Area Network)であってもよく、これらの組合せでもよい。
<採点支援方法の例>
図20は、図19の採点支援システムを用いた採点支援方法の一例の説明図である。図20の(A)から(E)に示すように、本システムを利用して、(A)試験問題作成、(B)試験の実施、(C)採点、(D)採点結果のデータ保管、(E)試験結果の分析、がこの順番で行われる。
(A)の試験問題作成の場面では、試験問題作成用端末装置320を用いて、試験問題のデータを作成する。作成された試験問題のデータは、通信機能を利用して表示端末装置310に転送される。表示端末装置310に対するデータ転送は、試験問題作成用端末装置320から直接的に転送してもよいし、ネットワーク380に有線で接続した表示端末装置310に対してネットワーク380を介して転送してもよいし、無線アクセスポイント360を介して無線で表示端末装置310に転送してもよい。
表示端末装置310に転送されたデータは、表示端末装置310内の記録部38(図1参照)に保存される。
(B)の試験実施の場面では、試験問題のデータが入力された表示端末装置310を被試験者(生徒等)に渡し、試験を実施する。被試験者は、表示端末装置310に表示された試験問題を見ながら、その表示端末装置310に対して、解答をペン等で手書き入力する。画面スクロールや拡大/縮小、表示の切り替えなどのジェスチャー入力による操作や、ペンによる手書きの入力の方法については、第1実施形態、第2実施形態で説明したとおりである。被験者によって手書き入力された書き込みデータは表示端末装置310内の記録部38に保存される。
(C)の採点の場面では、解答が手書き入力された表示端末装置310を回収して、その表示端末装置310を採点者(教師等)に渡し、その試験者が採点を実施する。ネットワーク380を介して別の表示端末装置310などに被試験者の解答データを転送してもよい。採点者は、表示端末装置310に表示された解答を見ながら、その表示端末装置310に対して、採点および解説(コメント)をペン等で手書き入力する。
(D)のデータ保管の場面では、表示端末装置310内の解答、採点、コメント等の試験結果データを、ネットワーク380経由でサーバ装置350に転送し、サーバ装置350によって保管する。サーバ装置350に対するデータ転送は、表示端末装置310をネットワーク380に直接接続してネットワーク380を介して転送してもよいし、無線アクセスポイント360を介して転送してもよい。サーバ装置350には被験者情報を含む試験結果データを蓄積することができる。
(E)の分析の場面では、試験結果分析用端末装置330によって、サーバ装置350内蓄積された試験結果データの分析を行う。
<本システムの利点>
本実施形態に係る採点支援システムによれば、従来の試験用紙を用いる試験の採点方法と比較して、次のような利点がある。
[1]試験問題が電子データとして提供されるため、試験問題の印刷が不要となる。また、問題の訂正なども容易である。
[2]手書き入力による書き込み可能な電子ペーパーの利用により、被験者は紙の試験問題と同様に、手書きによる解答を行うことができる。
[3]採点者は、紙の試験問題と同様に採点を行うことができる。薄型の電子ペーパー端末はかさばらず、扱いが紙よりも楽である。
[4]採点後は、被験者情報を含め、問題毎の解答、採点結果、コメントなどの試験結果データを電子データとしてサーバ装置に保管し、いつでも参照することができる。従来の試験用紙から採点結果等を読み取る作業を追加することなく、試験結果データを容易に保管、蓄積することができる。これにより、試験のペーパーレス化が可能である。
[5]サーバ装置に保管した試験結果データを分析ツールを利用して分析することができる。被験者毎の弱点の把握や、被験者全体の傾向などを把握することができ、試験結果を活用した効果的な指導が可能となる。
[6]電子ペーパーには、電気泳動方式、電子粉流体方式、液晶方式など各種の方式の表示媒体が挙げられる。電子ペーパーは、反射型で紙の表示に近く、見易く疲れにくい、という長所があるため、教育分野などの試験及び採点に適している。また、表示デバイス自体にメモリ性(表示内容を保持する機能)があり、消費電力が少なくバッテリーの小容量化に適しているので、長時間の利用に最適である。
<採点支援システムの他の利用形態について>
図20で説明した利用形態の変形例として、図21に示すように、(A)の試験問題作成の場面で、プリンタ340によって紙390に試験問題を印刷し、(B)の試験実施の場面で、従来のように紙に対する解答記入を併用させることも可能である。例えば、教室内では被試験者(生徒)に対して表示端末装置310を配布して試験を実施する一方で、遠隔地の被試験者(生徒)に対してはプリンタ340によって試験問題が印刷された試験用紙を送付することで、試験用紙に解答を記入させることも可能である。
なお、図20及び図21に示した採点支援方法は一例であり、異なる態様の採点支援方法を実施してもよい。
上述の実施形態では、手書き入力可能な表示端末装置310(情報表示装置10)を用いて、試験問題の解答及び採点を支援する採点支援システムに本発明を適用した場合を例に説明したが、本発明の適用範囲は、採点支援システムに限定されない。
本発明は、各種の表示コンテンツを生成し、その表示コンテンツを表示端末装置310で表示し、入力者が表示コンテンツに対する入力データ(解答、コメントなど)を表示端末装置310で手書き入力し、その入力データをサーバ装置350で集計し、集計データを出力する各種の集計システムに、本発明を適用することができる。
<変形例1>
上述の実施形態では、表示手段として電子ペーパーを採用した情報表示装置を説明したが、本発明の実施に際して、表示部に用いる表示デバイスは電子ペーパーに限らない。電子ペーパーに代えて、LCD、有機ELディスプレイ、など各種の表示デバイスを用いることができる。なお、電子ペーパーは、LCD等と比較して低反射表示デバイスであるため、従来の試験用紙に代わる表示端末装置310としては、天井照明の反射防止等の観点から、電子ペーパーを採用することが望ましい。
<変形例2>
上述の実施形態では、情報表示装置として電子ペーパー端末装置を説明したが、本発明の適用範囲はこの例に限らず、モバイルパソコン、スマートトフォン、PDA、タブレット型端末、ゲーム機、医療用携帯端末など、各種の電子機器に広く適用することができる。本発明は、ユーザーが装置を手に持って操作できる携帯型の電子機器について適用することが好適であるが、本発明の適用範囲は、必ずしも携帯可能な機器に限らず、据え置き型の装置についても適用可能である。
以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は上記説明した実施形態に限定されるものでは無く、本発明の技術的思想内で当該分野の通常の知識を有するものにより、多くの変形が可能である。
<開示する発明の各種態様>
上記に詳述した実施形態の記載等から把握されるとおり、本明細書及び図面は以下に示す発明を含む多様な技術思想の開示を含んでいる。
(第1態様):情報を表示する表示面を有する表示手段と、表示手段の表示面に対する物体の接触位置を検知するタッチパネルと、タッチパネルから得られる信号に基づき、表示面に対する操作者の手のひら部分の接触による手のひら領域を判別する手のひら判別処理手段と、タッチパネルによって検知された複数の接触点のうち、手のひら領域との相対的位置関係から特定の接触点を識別する識別処理手段と、識別処理手段で識別した特定の接触点の挙動を入力操作と判断してその挙動に対応する指示の入力に応じた動作制御を行う制御手段と、を備える情報表示装置。
かかる態様によれば、タッチパネルで検知した信号から操作者(ユーザー)の手のひら部分の接触領域(手のひら領域)が判別され、この手のひら領域と、手のひら領域外の他の接触点との相対的な位置関係に基づき、特定の接触点の挙動を操作者が意図する入力操作であると識別する。これにより、操作者は簡単に入力操作を行うことができる。
(第2態様):第1態様に記載の情報表示装置において、識別処理手段は、手のひら領域と対になって動く接触点を特定の接触点として識別する構成とすることができる。
手のひら領域と対になって動く点を手書きによる書き込み操作として解釈することが可能である。
(第3態様):第1態様又は第2態様に記載の情報表示装置において、識別処理手段は、特定の接触点としてペンの先端部分による接触点を識別する構成とすることができる。
操作者がペンを用いて入力操作を行う場合、ペン先の接触点は手のひら領域との関係で相対的な位置関係の条件を予め想定できるため、手のひら領域の情報を基に、ペン先の接触点を識別することが可能である。
(第4態様):第3態様に記載の情報表示装置において、手のひら判別処理手段により判別された手のひら領域の形状を基に、ペンの先端部分による接触点が移動し得る方向を予測する方向予測手段を備え、タッチパネルによって検知された複数の接触点のうち、方向予測手段で予測した方向の範囲外で検知された接触点の挙動を非入力操作と判断する構成とすることができる。
かかる態様によれば、手のひら領域の形状からペン先の移動可能方向を予測し、その予測される方向と異なる動きをする接触点の挙動は入力とみなさない。
(第5態様):第3態様又は第4態様に記載の情報表示装置において、手のひら判別処理手段により判別された手のひら領域の形状を基に、ペンの先端部分による接触点が存在し得る領域を予測する領域予測手段を備え、タッチパネルによって検知された複数の接触点のうち、領域予測手段で予測した領域外の接触点の挙動を非入力操作と判断する構成とすることができる。
かかる態様によれば、手のひら領域の形状からペン先の存在する領域の範囲を予測し、その予測される領域外で検知される接触点の挙動は入力とみなさない。
(第6態様):第3態様から第5態様のいずれか1項に記載の情報表示装置において、タッチパネルによって検知された複数の接触点のうち、前記手のひら領域が動く方向と異なる方向に動く接触点の挙動を非入力操作とみなして無効化する無効化処理手段を備える構成とすることができる。
かかる態様によれば、操作者が意図しない接触(タッチ)による接触点の動きによる入力を無効化することで、操作者が意図する操作動作に対応する特定の接触点の挙動だけを入力操作として処理することができる。
(第7態様):第1態様から第6態様のいずれか1項に記載の情報表示装置において、制御手段は、特定の接触点が動いた軌跡を示す描画線を表示手段に表示させる制御を行う構成とすることができる。
かかる態様によれば、操作者による手書きの書き込み内容を操作者が確認することができる。
(第8態様):第1態様から第7態様のいずれか1項に記載の情報表示装置において、制御手段は、特定の接触点が動いた軌跡を手書きの書き込みデータとして記録する制御を行う構成とすることができる。
かかる態様によれば、操作者による手書きの書き込みデータを装置内の記憶手段に保存することが可能である。
(第9態様):第1態様から第8態様のいずれか1項に記載の情報表示装置において、表示手段に電子ペーパーが用いられている構成とすることができる。
(第10態様):情報の表示を行う表示手段の表示面にタッチパネルが配置された情報表示装置のユーザーインターフェースを提供する方法であって、タッチパネルによって物体の接触を検出する接触検知工程と、タッチパネルから得られる信号に基づき、表示面に対する操作者の手のひら部分の接触による手のひら領域を判別する手のひら判別処理工程と、タッチパネルによって検知された複数の接触点のうち、手のひら領域との相対的位置関係から特定の接触点を識別する識別処理工程と、識別処理工程で識別した特定の接触点の挙動を入力操作と判断してその挙動に対応する指示の入力に応じた動作制御を行う制御工程と、を含むユーザーインターフェースの提供方法。
第10態様に係るユーザーインターフェースの提供方法において、第2態様から第9態様で説明した構成と同様の構成を適宜組み合わせることが可能である。この場合、「手段」として特定される要素は、その手段に対応する「工程」として把握することができる。
(第11態様):情報の表示を行う表示手段の表示面にタッチパネルが配置された情報表示装置のユーザーインターフェースを提供するためのプログラムであって、コンピュータを、タッチパネルから得られる信号に基づき、表示面に対する操作者の手のひら部分の接触による手のひら領域を判別する手のひら判別処理手段と、タッチパネルによって検知された複数の接触点のうち、手のひら領域との相対的位置関係から特定の接触点を識別する識別処理手段と、識別処理手段で識別した特定の接触点の挙動を入力操作と判断してその挙動に対応する指示の入力に応じた動作制御を行う制御手段、として機能させるためのプログラム。
第11態様に係るプログラムにおいて、第2態様から第9態様で説明した構成と同様の構成を適宜組み合わせることが可能である。
(第12態様):情報を表示する表示面を有する表示手段と、表示手段の表示面に対する物体の接触位置を検知するタッチパネルと、表示面上の任意の位置に書き込みコマンド領域を設定し得る書き込みコマンド領域設定手段と、書き込みコマンド領域設定手段により設定された書き込みコマンド領域の押下中に、他の領域で検知された接触点の挙動を書き込み入力の操作と判断する一方、書き込みコマンド領域の非押下状態において書き込みコマンド領域外の領域で検知された接触点の挙動をジェスチャー入力の操作と判断する解析手段と、解析手段により判断された操作に係る接触点の挙動に対応する指示の入力に応じた動作制御を行う制御手段と、を備える情報表示装置。
かかる態様によれば、ユーザーは表示面上の任意の位置に書き込みコマンド領域を設定することがでる。書き込みコマンド領域を設定した後は、書き込みコマンド領域を押下中に書き込みコマンド領域外の領域をタッチすると、この書き込みコマンド領域外のタッチ操作が「書き込み」の操作として解釈され、「書き込み」の入力として扱われる。また、書き込みコマンド領域を押下しない状態で(非押下状態で)、書き込みコマンド領域外の領域をタッチすると、この書き込みコマンド領域外のタッチ操作は「ジェスチャー入力」と解釈され、対応する動作が行われる。
(第13態様):第12態様に記載の情報表示装置において、書き込みコマンド領域設定手段は、表示面上に複数の書き込みコマンド領域を設定できる構成とすることができる。
(第14態様):情報の表示を行う表示手段の表示面にタッチパネルが配置された情報表示装置のユーザーインターフェースを提供する方法であって、表示面上の任意の位置に書き込みコマンド領域を設定する書き込みコマンド領域設定工程と、タッチパネルによって物体の接触を検出する接触検知工程と、書き込みコマンド領域設定工程により設定された書き込みコマンド領域の押下中に、他の領域で検知された接触点の挙動を書き込み入力の操作と判断する一方、書き込みコマンド領域の非押下状態において書き込みコマンド領域外の領域で検知された接触点の挙動をジェスチャー入力の操作と判断する解析工程と、解析工程により判断された操作に係る接触点の挙動に対応する指示の入力に応じた動作制御を行う制御工程と、を含むユーザーインターフェースの提供方法。
第14態様に係るユーザーインターフェースの提供方法において、第13態様で説明した構成と同様の構成を組み合わせることが可能である。
(第15態様):情報の表示を行う表示手段の表示面にタッチパネルが配置された情報表示装置のユーザーインターフェースを提供するためのプログラムであって、コンピュータを、表示面上の任意の位置に書き込みコマンド領域を設定し得る書き込みコマンド領域設定手段と、書き込みコマンド領域設定手段により設定された書き込みコマンド領域の押下中に、他の領域で検知された接触点の挙動を書き込み入力の操作と判断する一方、書き込みコマンド領域の非押下状態において書き込みコマンド領域外の領域で検知された接触点の挙動をジェスチャー入力の操作と判断する解析手段と、解析手段により判断された操作に係る接触点の挙動に対応する指示の入力に応じた動作制御を行う制御手段、として機能させるためのプログラム。
第15態様に係るプログラムにおいて、第13態様で説明した構成と同様の構成を組み合わせることが可能である。
10…情報表示装置、12…表示面、16…表示パネル、18…タッチパネル、20…表示入力部、22…電子ペーパー、24…タッチ信号検出部、30…CPU、36…外部入出力部、38…記録部、40…表示制御部、50…ペン、54…ペン先、62…手のひら領域、64…ペン先領域、56…移動軌跡、80…信号解析部、82…接触位置/接触領域検知処理部、84…手のひら判定処理部、86…移動検知処理部、88…ペン先予測部、90…ペン先識別処理部、92…無効化処理部、132,133…書き込みコマンド領域、210…信号解析部、212…書き込みコマンド領域設定部、214…モード判定処理部、216…モード切替処理部、300…採点支援システム、310…表示端末装置、380…ネットワーク

Claims (15)

  1. 情報を表示する表示面を有する表示手段と、
    前記表示手段の前記表示面に対する物体の接触位置を検知するタッチパネルと、
    前記タッチパネルから得られる信号に基づき、前記表示面に対する操作者の手のひら部分の接触による手のひら領域を判別する手のひら判別処理手段と、
    前記タッチパネルによって検知された複数の接触点のうち、前記手のひら領域との相対的位置関係から特定の接触点を識別する識別処理手段と、
    前記識別処理手段で識別した前記特定の接触点の挙動を入力操作と判断してその挙動に対応する指示の入力に応じた動作制御を行う制御手段と、
    を備える情報表示装置。
  2. 前記識別処理手段は、前記手のひら領域と対になって動く接触点を前記特定の接触点として識別する請求項1に記載の情報表示装置。
  3. 前記識別処理手段は、前記特定の接触点としてペンの先端部分による接触点を識別する請求項1又は2に記載の情報表示装置。
  4. 前記手のひら判別処理手段により判別された前記手のひら領域の形状を基に、前記ペンの先端部分による接触点が移動し得る方向を予測する方向予測手段を備え、
    前記タッチパネルによって検知された複数の接触点のうち、前記方向予測手段で予測した方向の範囲外で検知された接触点の挙動を非入力操作と判断する請求項3に記載の情報表示装置。
  5. 前記手のひら判別処理手段により判別された前記手のひら領域の形状を基に、前記ペンの先端部分による接触点が存在し得る領域を予測する領域予測手段を備え、
    前記タッチパネルによって検知された複数の接触点のうち、前記領域予測手段で予測した領域外の接触点の挙動を非入力操作と判断する請求項3又は4に記載の情報表示装置。
  6. 前記タッチパネルによって検知された複数の接触点のうち、前記手のひら領域が動く方向と異なる方向に動く接触点の挙動を非入力操作とみなして無効化する無効化処理手段を備える請求項3から5のいずれか1項に記載の情報表示装置。
  7. 前記制御手段は、前記特定の接触点が動いた軌跡を示す描画線を前記表示手段に表示させる制御を行う請求項1から6のいずれか1項に記載の情報表示装置。
  8. 前記制御手段は、前記特定の接触点が動いた軌跡を手書きの書き込みデータとして記録する制御を行う請求項1から7のいずれか1項に記載の情報表示装置。
  9. 前記表示手段に電子ペーパーが用いられている請求項1から8のいずれか1項に記載の情報表示装置。
  10. 情報の表示を行う表示手段の表示面にタッチパネルが配置された情報表示装置のユーザーインターフェースを提供する方法であって、
    前記タッチパネルによって物体の接触を検出する接触検知工程と、
    前記タッチパネルから得られる信号に基づき、前記表示面に対する操作者の手のひら部分の接触による手のひら領域を判別する手のひら判別処理工程と、
    前記タッチパネルによって検知された複数の接触点のうち、前記手のひら領域との相対的位置関係から特定の接触点を識別する識別処理工程と、
    前記識別処理工程で識別した前記特定の接触点の挙動を入力操作と判断してその挙動に対応する指示の入力に応じた動作制御を行う制御工程と、
    を含むユーザーインターフェースの提供方法。
  11. 情報の表示を行う表示手段の表示面にタッチパネルが配置された情報表示装置のユーザーインターフェースを提供するためのプログラムであって、
    コンピュータを、
    前記タッチパネルから得られる信号に基づき、前記表示面に対する操作者の手のひら部分の接触による手のひら領域を判別する手のひら判別処理手段と、
    前記タッチパネルによって検知された複数の接触点のうち、前記手のひら領域との相対的位置関係から特定の接触点を識別する識別処理手段と、
    前記識別処理手段で識別した前記特定の接触点の挙動を入力操作と判断してその挙動に対応する指示の入力に応じた動作制御を行う制御手段、として機能させるためのプログラム。
  12. 情報を表示する表示面を有する表示手段と、
    前記表示手段の前記表示面に対する物体の接触位置を検知するタッチパネルと、
    前記表示面上の任意の位置に書き込みコマンド領域を設定し得る書き込みコマンド領域設定手段と、
    前記書き込みコマンド領域設定手段により設定された前記書き込みコマンド領域の押下中に、他の領域で検知された接触点の挙動を書き込み入力の操作と判断する一方、前記書き込みコマンド領域の非押下状態において前記書き込みコマンド領域外の領域で検知された接触点の挙動をジェスチャー入力の操作と判断する解析手段と、
    前記解析手段により判断された操作に係る前記接触点の挙動に対応する指示の入力に応じた動作制御を行う制御手段と、を備える情報表示装置。
  13. 前記書き込みコマンド領域設定手段は、前記表示面上に複数の書き込みコマンド領域を設定できる請求項12に記載の情報表示装置。
  14. 情報の表示を行う表示手段の表示面にタッチパネルが配置された情報表示装置のユーザーインターフェースを提供する方法であって、
    前記表示面上の任意の位置に書き込みコマンド領域を設定する書き込みコマンド領域設定工程と、
    前記タッチパネルによって物体の接触を検出する接触検知工程と、
    前記書き込みコマンド領域設定工程により設定された前記書き込みコマンド領域の押下中に、他の領域で検知された接触点の挙動を書き込み入力の操作と判断する一方、前記書き込みコマンド領域の非押下状態において前記書き込みコマンド領域外の領域で検知された接触点の挙動をジェスチャー入力の操作と判断する解析工程と、
    前記解析工程により判断された操作に係る前記接触点の挙動に対応する指示の入力に応じた動作制御を行う制御工程と、
    を含むユーザーインターフェースの提供方法。
  15. 情報の表示を行う表示手段の表示面にタッチパネルが配置された情報表示装置のユーザーインターフェースを提供するためのプログラムであって、
    コンピュータを、
    前記表示面上の任意の位置に書き込みコマンド領域を設定し得る書き込みコマンド領域設定手段と、
    前記書き込みコマンド領域設定手段により設定された前記書き込みコマンド領域の押下中に、他の領域で検知された接触点の挙動を書き込み入力の操作と判断する一方、前記書き込みコマンド領域の非押下状態において前記書き込みコマンド領域外の領域で検知された接触点の挙動をジェスチャー入力の操作と判断する解析手段と、
    前記解析手段により判断された操作に係る前記接触点の挙動に対応する指示の入力に応じた動作制御を行う制御手段、として機能させるためのプログラム。
JP2012141099A 2012-06-22 2012-06-22 情報表示装置、ユーザーインターフェースの提供方法並びにプログラム Pending JP2014006654A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012141099A JP2014006654A (ja) 2012-06-22 2012-06-22 情報表示装置、ユーザーインターフェースの提供方法並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012141099A JP2014006654A (ja) 2012-06-22 2012-06-22 情報表示装置、ユーザーインターフェースの提供方法並びにプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017000172A Division JP2017084400A (ja) 2017-01-04 2017-01-04 情報表示装置、及びプログラム

Publications (1)

Publication Number Publication Date
JP2014006654A true JP2014006654A (ja) 2014-01-16

Family

ID=50104326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012141099A Pending JP2014006654A (ja) 2012-06-22 2012-06-22 情報表示装置、ユーザーインターフェースの提供方法並びにプログラム

Country Status (1)

Country Link
JP (1) JP2014006654A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016066254A (ja) * 2014-09-25 2016-04-28 シャープ株式会社 タッチ検出装置を備えた電子装置
JP2016524764A (ja) * 2014-05-22 2016-08-18 小米科技有限責任公司Xiaomi Inc. タッチ入力制御方法、タッチ入力制御装置、プログラム及び記録媒体
JP2018018474A (ja) * 2016-07-14 2018-02-01 株式会社リコー 画像処理装置、画像処理方法、及びプログラム
EP3249897A4 (en) * 2015-01-23 2018-10-03 Zhejiang Geely Holding Group Co., Ltd. Display screen, mobile terminal, and combined terminal equipment
CN111194434A (zh) * 2017-10-11 2020-05-22 三菱电机株式会社 操作输入装置、信息处理系统和操作判定方法
JP2021064398A (ja) * 2021-01-04 2021-04-22 日本電気株式会社 制御方法、プログラム、及びシステム
US11644968B2 (en) 2015-03-27 2023-05-09 Nec Corporation Mobile surveillance apparatus, program, and control method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000010720A (ja) * 1998-06-24 2000-01-14 Sharp Corp 座標入力装置
JP2009217442A (ja) * 2008-03-10 2009-09-24 Konica Minolta Holdings Inc 情報入力表示装置
JP2011501261A (ja) * 2007-10-11 2011-01-06 エヌ−トリグ リミテッド デジタイザのためのジェスチャ検出

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000010720A (ja) * 1998-06-24 2000-01-14 Sharp Corp 座標入力装置
JP2011501261A (ja) * 2007-10-11 2011-01-06 エヌ−トリグ リミテッド デジタイザのためのジェスチャ検出
JP2009217442A (ja) * 2008-03-10 2009-09-24 Konica Minolta Holdings Inc 情報入力表示装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016524764A (ja) * 2014-05-22 2016-08-18 小米科技有限責任公司Xiaomi Inc. タッチ入力制御方法、タッチ入力制御装置、プログラム及び記録媒体
US9671911B2 (en) 2014-05-22 2017-06-06 Xiaomi Inc. Touch input control method and device
JP2016066254A (ja) * 2014-09-25 2016-04-28 シャープ株式会社 タッチ検出装置を備えた電子装置
EP3249897A4 (en) * 2015-01-23 2018-10-03 Zhejiang Geely Holding Group Co., Ltd. Display screen, mobile terminal, and combined terminal equipment
US11644968B2 (en) 2015-03-27 2023-05-09 Nec Corporation Mobile surveillance apparatus, program, and control method
JP2018018474A (ja) * 2016-07-14 2018-02-01 株式会社リコー 画像処理装置、画像処理方法、及びプログラム
CN111194434A (zh) * 2017-10-11 2020-05-22 三菱电机株式会社 操作输入装置、信息处理系统和操作判定方法
CN111194434B (zh) * 2017-10-11 2024-01-30 三菱电机株式会社 操作输入装置、信息处理系统和操作判定方法
JP2021064398A (ja) * 2021-01-04 2021-04-22 日本電気株式会社 制御方法、プログラム、及びシステム
JP7120337B2 (ja) 2021-01-04 2022-08-17 日本電気株式会社 制御方法、プログラム、及びシステム

Similar Documents

Publication Publication Date Title
US8994674B2 (en) Information viewing apparatus, control program and controlling method
JP2014006654A (ja) 情報表示装置、ユーザーインターフェースの提供方法並びにプログラム
JP5983503B2 (ja) 情報処理装置及びプログラム
US20140375579A1 (en) Input device, input method, and storage medium
US9395908B2 (en) Information processing apparatus, information processing method, and information processing program utilizing gesture based copy and cut operations
JP5237980B2 (ja) 座標入力装置、座標入力方法、およびコンピュータが実行可能なプログラム
US20140015785A1 (en) Electronic device
KR20150014083A (ko) 전자 장치 및 전자 장치의 입력 인식 방법
WO2002095563A1 (en) User input apparatus, computer connected to user input apparatus, method of controlling computer connected to user input apparatus, and storage medium
EP2770443B1 (en) Method and apparatus for making contents through writing input on touch screen
CN104423836B (zh) 信息处理装置
TWI510994B (zh) 可攜式電子裝置及控制可攜式電子裝置的方法
JP5951886B2 (ja) 電子機器および入力方法
US20240201843A1 (en) Method for displaying handwritten or drawn content and related device
EP2866127B1 (en) Electronic apparatus and touch operating method thereof
KR102152383B1 (ko) 단말 장치 및 그 제어 방법
CN105074631A (zh) 基于预测输入的便携式计算设备的输入
CN104956378A (zh) 电子设备和手写文档处理方法
TWI515642B (zh) 手持式電子裝置及其控制方法
CN103677616A (zh) 一种电子装置的操作方法
JP2017084400A (ja) 情報表示装置、及びプログラム
CN103092491B (zh) 生成控制命令的方法和装置、以及电子设备
CN105278853A (zh) 一种移动终端的操控方法及移动终端
JP5152639B2 (ja) 文字入力・機能操作装置、方法、プログラム及び携帯端末装置
JP2013125471A (ja) 情報入出力装置、表示制御方法およびコンピュータープログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150526

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150527

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150526

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160518

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170427