JP2013540330A - ディスプレイでジェスチャを認識する方法及びその装置 - Google Patents

Abstract

ディスプレイに対するタッチ入力を受信し、タッチ入力に関するジェスチャ入力を認識し、認識されたジェスチャ入力に割り当てられた機能を行う、タッチ基盤ディスプレイでジェスチャを認識する方法が開示されている。

Description

本発明の一実施形態は、ディスプレイでジェスチャを認識する方法及びその装置に係り、さらに詳細には、タッチ入力の可能なディスプレイでタッチジェスチャを認識し、それによる機能を行わせるディスプレイでジェスチャを認識する方法及びその装置に関する。

現在学校などで電子黒板（ｅｌｅｃｔｒｏｎｉｃ ｂｌａｃｋｂｏａｒｄ）が多く普及している。電子黒板は、電子ペンで書き込み可能な導体性の平板ボードを意味する。
電子黒板は、３つの形態に大別されるが、第１には、タブレットタイプのＬＣＤモニタ型の電子黒板があり、第２には、一般のホワイトボード形態の黒板型電子黒板があり、第３には、ビームプロジェクト付きのプロジェクションＴＶ型電子黒板が開発・発売されている。また、電子黒板は、書き込み方法において、書き込み時に電子ペンと手とをいずれも用いて書き込み可能な電子黒板と、必ず電子ペンのみを用いて初めて書き込み可能な電子黒板とに分けられる。

最近は、電子黒板のような形態の大型ディスプレイ（Ｌａｒｇｅ Ｆｏｒｍａｔ Ｄｉｓｐｌａｙ；ＬＦＤ）にタッチスクリーン技術が多く適用されている。電子黒板で書き込みなどの機能を行いつつディスプレイされる筆記の色相を変えるか、または新たな画面を浮かべるなどの機能変換のために、一般的に電子黒板の角に位置しているボタンやメニューをクリックする方法が多く使われている。ジェスチャの認識可能なタッチスクリーンディスプレイの改良が要求されている。

本発明が解決しようとする技術的課題は、画面の一部分に割り当てられているボタンやメニューをクリックせずに、筆記と区分できるジェスチャを認識できるタッチ入力の可能なディスプレイでジェスチャを認識する方法及びその装置を提供するところにある。

前記技術的課題を解決するための本発明の一実施形態によって、タッチ入力の可能なディスプレイでジェスチャを認識する方法が提供される。前記方法は、前記ディスプレイで入力手段によってタッチを用いたジェスチャ入力を認識する段階と、前記認識されたジェスチャに割り当てられた機能を行わせる段階と、を含む。

前記技術的課題を解決するための本発明の一実施形態によって、ディスプレイ装置が提供される。前記ディスプレイ装置は、タッチ入力を受信するディスプレイ部と、前記ディスプレイ部で入力手段によってタッチを用いたジェスチャ入力を認識するジェスチャ認識部と、前記認識されたジェスチャに割り当てられた機能を行わせる制御部と、を備える。

本発明の一実施形態によるディスプレイ装置でジェスチャ認識方法に関するフローチャートである。 本発明の一実施形態による第１ジェスチャ及び第２ジェスチャの例を示す図面である。 本発明の一実施形態による第１ジェスチャ及び第２ジェスチャの例を示す図面である。 本発明の一実施形態による第１ジェスチャ及び第２ジェスチャの例を示す図面である。 本発明の一実施形態による第１ジェスチャ及び第２ジェスチャの例を示す図面である。 本発明の一実施形態によるジェスチャを認識し、これによる機能を行うシナリオを示す図面である。 本発明の一実施形態によるジェスチャを認識し、これによる機能を行うシナリオを示す図面である。 本発明の一実施形態によるジェスチャを認識し、これによる機能を行うシナリオを示す図面である。 本発明の一実施形態によるディスプレイ装置に関するブロックダイヤグラムである。

添付した図面を参照して本発明の望ましい実施形態を詳細に説明する。

図１は、本発明の一実施形態によるディスプレイ装置でジェスチャ認識方法に関するフローチャートを示す図面である。

図１を参照すれば、段階１１０でディスプレイ装置は、タッチを用いた第１ジェスチャを認識する。ディスプレイ装置は、タッチ入力を受信するディスプレイを備えており、タッチ入力による動作をジェスチャと認識する。例えば、ディスプレイ装置は、ユーザがディスプレイにタッチを用いて丸い円を描く動作などをジェスチャと認識する。ディスプレイ装置は、スタイラスまたは指などの入力手段を介して筆記入力及びジェスチャ入力を受信する。ディスプレイ装置が電子黒板である場合、ディスプレイへの入力があれば、ディスプレイ装置は、その入力が筆記入力であるか、またはジェスチャ入力であるかを判断する。ディスプレイ装置は、入力が予め定義されたジェスチャであるかどうかを比べる。比較結果、ディスプレイ装置は、その入力が予め定義されたジェスチャと対応する場合には、ジェスチャと認識し、対応しない場合には筆記動作と認識する。

段階１２０で、ディスプレイ装置は、第１ジェスチャを認識した後、第２ジェスチャを認識する。第２ジェスチャは、第１ジェスチャがジェスチャであることを確認するためのものでありうる。また、第１ジェスチャと別個のジェスチャでもありうる。第１ジェスチャ後に所定の時間内に第２ジェスチャが認識され、所定の時間はディスプレイ装置の製造者によって設定できる。

図２Ａないし図２Ｄは、本発明の一実施形態による第１ジェスチャ及び第２ジェスチャの例を示す図面である。

図２Ａを参照すれば、第１ジェスチャ２０１は、入力手段２２０でディスプレイ２１０に円を描くジェスチャであり、第２ジェスチャ２０２は、第１ジェスチャ２０１直後に入力手段２２０をディスプレイ２１０から外すジェスチャである。

図２Ｂを参照すれば、第１ジェスチャ２０１は、入力手段２２０でディスプレイ２１０に円を描くジェスチャであり、第２ジェスチャ２０３は、第１ジェスチャ２０１後にディスプレイ２１０にタップを入力するジェスチャである。

図２Ｃを参照すれば、第１ジェスチャ２０１は、入力手段２２０でディスプレイ２１０に円を描くジェスチャであり、第２ジェスチャ２０４は、第１ジェスチャ２０１後の他のジェスチャである。

図２Ｄを参照すれば、第１ジェスチャ２０１は、入力手段２２０でディスプレイ２１０に円を描くジェスチャであり、第２ジェスチャ２０５は、第１ジェスチャ２０１後に一定時間の間に、入力手段２２０をディスプレイ２１０に待ち状態に位置させるジェスチャである。

入力手段２２０がディスプレイ２１０から分離されず、入力手段２２０がディスプレイ２１０内に待ち状態モードで位置する場合、使用性は劣るものの認識エラーが低減する。一方、入力手段２２０がディスプレイ２１０内に待ち状態に位置せず、入力手段２２０がディスプレイ２１０から分離された場合、使用性は向上するものの認識エラーが増加する。ディスプレイ装置の製造者は、認識エラーを向上させるか、または使用性を向上させるかを定める。

段階１３０で、ディスプレイ装置は、第１ジェスチャ及び第２ジェスチャのうち少なくとも一つに割り当てられた機能を行う。第２ジェスチャが第１ジェスチャを区分する機能のみを行う場合、ジェスチャによる機能は第１ジェスチャに割り当てられうる。例えば、円を描く第１ジェスチャに画像開きという機能が割り当てられている場合、ディスプレイ装置は第１ジェスチャを認識し、第１ジェスチャを区分する第２ジェスチャ、例えば、タップ入力を認識する場合に画像開き機能を行わせる。または、前記とは異なって、この場合に第２ジェスチャ自体に機能が割り当てられていることも考慮できる。

また、第１ジェスチャ及び第２ジェスチャがいずれも認識される場合、一つの機能のみを行うように機能が割り当てられてもよい。例えば、ディスプレイ装置は、円を描くジェスチャと、その後のタップ入力ジェスチャとを認識する場合には画像開き機能を行わせ、円を描くジェスチャと一定時間入力手段を待ち状態に維持させるジェスチャとを認識する場合にはハイライト機能を行わせる。

ディスプレイ装置は、ディスプレイでジェスチャの入力がある位置で認識されたジェスチャに割り当てられた機能を行わせることもできる。

また、本図面では、第１ジェスチャ及び第２ジェスチャ、すなわち、２つのジェスチャを認識する場合、ジェスチャに割り当てられた機能が行われると説明したが、一つのジェスチャのみを認識する場合にもジェスチャに割り当てられた機能が行われるということはいうまでもない。

図３Ａないし図３Ｃは、本発明の一実施形態によるジェスチャを認識し、これによる機能を行うシナリオを示す図面である。

図３Ａを参照すれば、ディスプレイ装置である電子黒板３００には、所定の機能を行えるメニューボタン３３０が備えられている。電子黒板３００のユーザは、メニューボタン３３０のいずれか一つをタッチして機能を行わせてもよい。ユーザが入力手段である指３１０を用い、イメージ３２０が表示された近くで第１ジェスチャ３０１を行う。

次いで、図３Ｂを参照すれば、ユーザは入力手段である指３１０を用い、タップ入力である第２ジェスチャ３０２を行う。

次いで、図３Ｃを参照すれば、電子黒板３００は、第１ジェスチャ３０１及び／または第２ジェスチャ３０２にマッピングされた機能を行う。図３Ｃでは、第１ジェスチャ３０１の動作領域をハイライトする機能が行われたことを示す。

図３Ａないし図３Ｃの実施形態の場合、ユーザはメニューボタン３３０を選択せず、ジェスチャを用いて電子黒板３００のメニュー機能を行える。

図４は、本発明の一実施形態によるディスプレイ装置に関するブロックダイヤグラムを示す図面である。

図４を参照すれば、ディスプレイ装置４００は、ディスプレイ部４１０、ジェスチャ認識部４２０及び制御部４３０を備え、ディスプレイ部４１０は、タッチ部４１２及び画面表示部４１４を備える。

ディスプレイ装置４００は、タッチ入力の可能なディスプレイ装置を意味する。代表的に、ハンドライティングにより筆記入力及びジェスチャ入力を受信するデバイスである電子黒板を例としてあげる。但し、これに限定されるものではなく、タブレットＰＣ、モバイル器機などのタッチスクリーンにドローイングできる機器にいずれも適用される。

ディスプレイ部４１０のタッチ部４１２は、指またはスタイラスなどの入力手段でタッチすれば、その位置を入力される。タッチ部４１２の代表的な例は、タッチスクリーンパネルを挙げられる。タッチスクリーンパネルは、例えば、個人用コンピュータ、ノート型パソコン、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｅｄｉａ Ｐｌａｙｅｒ）などの電子装置の画面表示部４１４の前面に設けられ、入力手段などを用いて接触するか、または文字または絵を描き込む作業を行うことで電子装置に特定命令やデータを入力できる入力装置の一つである。一般的なタッチスクリーンパネルの駆動方式としては、抵抗膜方式（ｒｅｇｉｓｔｉｖｅ ｏｖｅｒｌａｙ）及び静電容量方式（ｃａｐａｃｉｔｉｖｅ ｏｖｅｒｌａｙ）が主に使われてきた。静電容量方式のタッチスクリーンパネルは、互いに直交する方向にパターニングされている下部電極と上部電極とが誘電物質により分離されている構造を持っており、タッチによる下部電極と上部電極との交差点での静電容量の変化を認識する。抵抗膜方式のタッチスクリーンパネルは、互いに直交する方向にパターニングされている下部電極と上部電極とがスペーサによって分離されている構造を持っており、タッチによる下部電極と上部電極との接触による抵抗の変化を認識する。タッチスクリーンパネルは、画面表示部４１４、例えば、完成された液晶表示装置（ＬＣＤ；Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）の前面に取り付けられた状態で使われるか、または液晶表示装置に一体化された状態で使われている。タッチ部４１２には、スタイラスまたは指などの入力手段を介して筆記入力とジェスチャ入力とがいずれも可能である。ディスプレイ部４１０の画面表示部４１２は、入力された筆記などで入力を表示する。

ジェスチャ認識部４２０は、タッチを用いた第１ジェスチャを認識する。ジェスチャ認識部４２０は、タッチ入力による動作をジェスチャと認識する。例えば、ジェスチャ認識部４２０は、ユーザがディスプレイにタッチで丸い円を描く動作などをジェスチャと認識する。タッチ部４１２への入力がある場合、ジェスチャ認識部４２０は、入力が筆記入力であるか、またはジェスチャ入力であるかを判断する。ジェスチャ認識部４２０は、保存部（図示せず）に保存されている入力が予め定義されたジェスチャであるかどうかを比べる。比較結果、ジェスチャ認識部４２０は、入力の予め定義されたジェスチャと対応する場合にはジェスチャと認識する。例えば、ディスプレイ装置４００が電子黒板である場合、比較結果、ジェスチャ認識部４２０は、対応する場合にはジェスチャと認識し、対応しない場合には筆記動作と認識する。

ジェスチャ認識部４２０は、第１ジェスチャを認識した後、第２ジェスチャを認識する。第２ジェスチャは、第１ジェスチャがジェスチャであることを区分するジェスチャであるか、または第１ジェスチャと別個のジェスチャである。但し、第１ジェスチャ後に所定の時間内に第２ジェスチャが認識されねばならない。所定の時間は、ディスプレイ装置の製造者によって設定できる。第１ジェスチャ及び第２ジェスチャの第１例としては、第１ジェスチャは、入力手段でタッチ部４１２に円を描くジェスチャであり、第２ジェスチャは、第１ジェスチャ直後に入力手段をタッチ部４１２から外すジェスチャであり、第２例としては、第１ジェスチャは、入力手段でタッチ部４１２に円を描くジェスチャであり、第２ジェスチャは、第１ジェスチャ後にタッチ部４１２にタップを入力するジェスチャであり、第３例としては、第１ジェスチャは、入力手段でタッチ部４１２に円を描くジェスチャであり、第２ジェスチャは、第１ジェスチャ後の他のジェスチャであり、第４例としては、第１ジェスチャは、入力手段でタッチ部４１２に円を描くジェスチャであり、第２ジェスチャは、第１ジェスチャ後に一定時間、入力手段をタッチ部４１２に待ち状態に維持させるジェスチャを持つ。

入力手段がタッチ部４１２から分離されず、入力手段が待ち状態に維持される場合、使用性は劣るものの認識エラーが低減する。一方、入力手段が待ち状態に維持されず、入力手段がタッチ部４１２から分離された場合、使用性は向上するが、認識エラーが増加する。ディスプレイ装置の製造者は、認識エラーを低減させるか、または使用性を向上させるかを定める。

制御部４３０は、第１ジェスチャ及び第２ジェスチャのうち少なくとも一つに割り当てられた機能を行う。第２ジェスチャが第１ジェスチャを区分する機能のみを行う場合、ジェスチャによる機能は第１ジェスチャに割り当てられうる。例えば、円を描く第１ジェスチャに画像開きという機能が割り当てられている場合、ジェスチャ認識部４２０が第１ジェスチャを認識し、第１ジェスチャを区分する第２ジェスチャ、例えば、タップ入力を認識する場合、制御部４３０は画像開き機能を行わせる。または、前記とは異なって、この場合に第２ジェスチャ自体に機能が割り当てられていることも考慮できる。

また、第１ジェスチャ及び第２ジェスチャがいずれも認識される場合、制御部４３０は、一つの機能のみを行うように機能が割り当てられてもよい。例えば、制御部４３０は、円を描くジェスチャとその後のタップ入力ジェスチャとを認識する場合には画像開き機能を行わせ、円を描くジェスチャ及び一定時間入力手段を待ち状態に維持させるジェスチャを認識する場合には、ハイライト機能を行わせる。

制御部４３０は、タッチ部４１２で第１ジェスチャの入力がある位置で認識されたジェスチャに割り当てられた機能を行わせることもできる。

ディスプレイ装置４００は、第１ジェスチャ及び第２ジェスチャ、すなわち、２つのジェスチャを認識する場合、ジェスチャに割り当てられた機能が行われると説明したが、ディスプレイ装置４００は、一つのジェスチャのみを認識する場合にも、ジェスチャに割り当てられた機能が行われるということはいうまでもない。

以上で説明したようなタッチ入力の可能なディスプレイでジェスチャを認識する方法はまた、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現できる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるあらゆる記録媒体を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。またコンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて行われる。そして、前記ディスク管理方法を具現するための機能的なプログラム、コード及びコードセグメントは、当業者によって容易に推論される。

これまで本発明についてその望ましい実施形態を中心として説明した。当業者ならば、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態に具現されるということを理解できるであろう。したがって、開示された実施形態は限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は前記の説明ではなく特許請求の範囲に示されており、それと同等な範囲内にあるすべての差は本発明に含まれていると解釈されねばならない。

２０１ 第１ジェスチャ
２０２ 第２ジェスチャ
２０３ 第２ジェスチャ
２０４ 第２ジェスチャ
２０５ 第２ジェスチャ
２１０ ディスプレイ
２２０ 入力手段

Claims (19)

1. タッチ入力の可能なディスプレイでジェスチャを認識する方法において、
   前記ディスプレイに対するタッチ入力を受信する段階と、
   前記タッチ入力に関するジェスチャ入力を認識する段階と、
   前記認識されたジェスチャ入力に割り当てられた機能を行わせる段階と、を含むことを特徴とするタッチ入力の可能なディスプレイでジェスチャを認識する方法。
2. 前記タッチ入力に関する第１ジェスチャ入力を認識する段階は、
   第２タッチ入力を受信する段階と、
   前記第１ジェスチャ入力を認識した後、前記第２タッチ入力に関する第２ジェスチャ入力を認識する段階と、を含み、
   前記認識されたジェスチャに割り当てられた機能を行わせる段階は、前記第２ジェスチャ入力が認識された後、前記認識された第１ジェスチャ及び第２ジェスチャのうち少なくとも一つに割り当てられた機能を行わせることを特徴とする請求項１に記載のタッチ入力の可能なディスプレイでジェスチャを認識する方法。
3. 前記第２ジェスチャは、前記第１ジェスチャ以後に行われ、入力手段を前記ディスプレイから分離することを特徴とする請求項２に記載のタッチ入力の可能なディスプレイでジェスチャを認識する方法。
4. 前記第２ジェスチャは、前記第１ジェスチャ以後に行われ、入力手段を用いて前記ディスプレイにタップを入力することを特徴とする請求項２に記載のタッチ入力の可能なディスプレイでジェスチャを認識する方法。
5. 前記第２ジェスチャは前記第１ジェスチャ以後に行われ、前記第１ジェスチャと異なるジェスチャ動作のジェスチャであることを特徴とする請求項２に記載のタッチ入力の可能なディスプレイでジェスチャを認識する方法。
6. 前記第２ジェスチャは、入力手段を用いて、前記第１ジェスチャ以後に前記ディスプレイに所定の時間タッチを維持することを特徴とする請求項２に記載のタッチ入力の可能なディスプレイでジェスチャを認識する方法。
7. 前記認識されたジェスチャに割り当てられた機能を行わせる段階は、
   前記認識されたジェスチャと予め定義されたジェスチャとを比べる段階と、
   前記比較結果、前記認識されたジェスチャが前記予め定義されたジェスチャに対応する場合、前記予め定義されたジェスチャにマッチングする機能を行わせる段階と、を含むことを特徴とする請求項１に記載のタッチ入力の可能なディスプレイでジェスチャを認識する方法。
8. 前記ディスプレイが、タッチ入力手段を介して筆記入力及びジェスチャ入力がいずれも可能なディスプレイであり、前記比較結果、前記認識されたジェスチャが予め定義されたジェスチャと対応しない場合には、前記認識されたジェスチャを筆記と認識する段階をさらに含むことを特徴とする請求項７に記載のタッチ入力の可能なディスプレイでジェスチャを認識する方法。
9. 前記認識されたジェスチャに割り当てられた機能は、前記ディスプレイで前記ジェスチャの入力のある位置で行われることを特徴とする請求項１に記載のタッチ入力の可能なディスプレイでジェスチャを認識する方法。
10. タッチ入力を受信するディスプレイ部と、
    前記タッチ入力に関するジェスチャ入力を認識するジェスチャ認識部と、
    前記認識されたジェスチャ入力に割り当てられた機能を行わせる制御部と、を備えることを特徴とするディスプレイ装置。
11. 前記ジェスチャ認識部は、第１ジェスチャ入力及び第２ジェスチャ入力を認識し、
    前記制御部は、前記認識された第１ジェスチャ及び第２ジェスチャのうち少なくとも一つに割り当てられた機能を行わせることを特徴とする請求項１０に記載のディスプレイ装置。
12. 前記第２ジェスチャは、前記第１ジェスチャ以後の入力であり、入力手段を前記ディスプレイから分離することを特徴とする請求項１１に記載のディスプレイ装置。
13. 前記第２ジェスチャは、前記第１ジェスチャ以後に行われ、入力手段を用いて前記ディスプレイにタップを入力することを特徴とする請求項１１に記載のディスプレイ装置。
14. 前記第２ジェスチャは、前記第１ジェスチャ以後に行われ、前記第１ジェスチャと異なることを特徴とする請求項１１に記載のディスプレイ装置。
15. 前記第２ジェスチャは、入力手段を用いて、前記第１ジェスチャ以後に前記ディスプレイに所定の時間タッチを維持することを特徴とする請求項１１に記載のディスプレイ装置。
16. 前記制御部は、前記認識されたジェスチャと予め定義されたジェスチャとを比べ、前記比較結果、前記認識されたジェスチャが前記予め定義されたジェスチャに対応する場合、前記予め定義されたジェスチャにマッチングする機能を行わせることを特徴とする請求項１０に記載のディスプレイ装置。
17. 前記ディスプレイ部が筆記入力及びジェスチャ入力を受信し、前記制御部は、前記比較結果、前記認識されたジェスチャが予め定義されたジェスチャと対応しない場合には、前記認識されたジェスチャを筆記と認識することを特徴とする請求項１６に記載のディスプレイ装置。
18. 前記制御部は、前記ディスプレイ部で前記ジェスチャの入力のある位置で前記認識されたジェスチャに割り当てられた機能を行わせることを特徴とする請求項１０に記載のディスプレイ装置。
19. タッチ入力を受信するディスプレイでジェスチャを認識する方法を具現するためのプログラムを記録したコンピュータで読み取り可能な記録媒体において、
    ディスプレイに対するタッチ入力を受信する段階と、
    前記タッチ入力に関するジェスチャ入力を認識する段階と、
    前記認識されたジェスチャ入力に割り当てられた機能を行う段階と、を含むことを特徴とするタッチ入力の可能なディスプレイでジェスチャを認識する方法を具現するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。

Images