JP2016212738A - 情報処理装置、情報処理プログラム、及び情報処理方法 - Google Patents

Abstract

【課題】ジェスチャー操作によって情報入力を行う際の操作性を向上する。【解決手段】情報処理装置は、複数のジェスチャー操作を受付可能な操作部と、ジェスチャー操作が有効であるか否かを判断するための判断指標のしきい値を複数のジェスチャー操作ごとに設定するしきい値設定部と、操作部を通じて行われるジェスチャー操作について判断指標の実測値を算出し、実測値としきい値を比較することにより、有効なジェスチャー操作を判断するジェスチャー解析部と、ジェスチャー解析部によって有効であると判断されたジェスチャー操作を画面に反映させる表示制御部と、を備える。しきい値設定部は、ジェスチャー操作の実行状態に応じて、しきい値を可変に設定する。【選択図】図４

Description

本発明は、ジェスチャー操作による情報入力を支援する情報処理装置、情報処理プログラム、及び情報処理方法に関する。

近年、スマートフォンやタブレット端末、あるいは電子ホワイトボードのように、指やタッチペン等の接触体で画面に直接触れることにより情報を入力できるタッチパネル付きの情報処理装置が実用化されている。このような情報処理装置においては、タッチパネル上で所定のジェスチャー操作が行われることに伴い、当該ジェスチャー操作に割り当てられた処理（例えばオブジェクトの移動など）が実行される。以下においては、タッチパネルを入力装置として用いる場合について説明するが、ジェスチャー操作による情報入力は、タッチパッドと呼ばれる入力装置でも行われる。

タッチパネル上の１点をタッチして操作するジェスチャー操作は、シングルタッチジェスチャーと呼ばれ、タッチパネル上の２点以上を同時にタッチして操作するジェスチャー操作は、マルチタッチジェスチャーと呼ばれる。最近では、マルチタッチジェスチャー技術の進歩により、多様で複雑な操作にも対応できるようになっている。

ジェスチャー操作としては、例えばドラッグ（移動）、ピンチアウト、ピンチイン、及び回転などがある。ドラッグは、１又は２以上の点をタッチしてスライドする（マルチタッチジェスチャーの場合は両タッチポイント間の距離を維持したままスライドする）ことにより、オブジェクトを移動する操作である。ピンチアウトは、オブジェクト上の２点にタッチして両タッチポイントを互いに遠ざけるようにスライドすることにより、オブジェクトを拡大する操作である。ピンチインは、オブジェクト上の２点にタッチして両タッチポイントを互いに近づけるようにスライドすることにより、オブジェクトを縮小する操作である。回転は、オブジェクト上の２点にタッチして一方又は両方のタッチポイントを円弧状にスライドすることにより、所望の方向にオブジェクトを回転する操作である。以下において、ピンチアウトとピンチインを合わせて「サイズ変更」と称することもある。

一般に、ジェスチャー操作の識別は、タッチポイントの座標の変化に基づいて行われる。例えば、２つのタッチポイントが直線移動している場合は「ドラッグ」と識別される。２つのタッチポイントが近づいている場合は「ピンチイン」と識別され、２つのタッチポイントが遠ざかっている場合は「ピンチアウト」と識別される。また、２つのタッチポイントが回転移動している場合は「回転」と識別される。

例えば特許文献１では、ジェスチャー操作（ここでは、ドラッグ、サイズ変更、及び回転）ごとに判断指標が設けられ、この判断指標についての実測値と所定のしきい値を比較することにより、有効なジェスチャー操作が判断される。有効なジェスチャー操作とは、画面に反映させるべきジェスチャー操作である。

判断指標としては、例えば操作速度や操作量が用いられる。ドラッグの場合の操作速度はスライド速度であり、サイズ変更の場合の操作速度は２つのタッチポイント間の距離の変化速度（以下「ポイント間変化速度」と称する）であり、回転の場合の操作速度は回転速度である。特許文献１では、操作量が判断指標とされている。ドラッグの場合の操作量はスライド量であり、サイズ変更の場合の操作量は２つのタッチポイント間の距離の変化量であり、回転の場合の操作量は回転量である。スライド速度やスライド量の実測値がしきい値を超えている場合にはドラッグが有効であると判断され、ポイント間変化速度やポイント間変化量の実測値がしきい値を超えている場合にはサイズ変更が有効であると判断され、回転速度や回転量の実測値がしきい値を超えている場合には回転が有効であると判断される。そして、有効であると判断されたジェスチャー操作が、操作量に応じて画面に反映される。なお、複数の判断指標について、実測値がしきい値を超えている場合には、画面上では、複数のジェスチャー操作（例えばドラッグとサイズ変更）が同時に反映される。

特開２０１３−１７８６３６号公報

しかしながら、マルチタッチジェスチャーでは複数点がタッチされているため、あるジェスチャー操作が実行されている間に、ジェスチャー操作のブレ等によって他のジェスチャー操作が意図せず実行されることがありうる。例えば、２本の指によるオブジェクトのドラッグ中に、２つのタッチポイントが近づくと、ピンチインも有効であると判断され、オブジェクトが意図せず縮小されてしまうことがある。特に、ドラッグ、サイズ変更、及び回転は、互いに影響を受けやすい関係にあるため、意図しない操作が生じないように意識してジェスチャー操作を行う必要がある。また、シングルタッチジェスチャーにおいても、例えばスライドによって画面をスクロールする場合に、スライド方向がずれて、意図しない方向にスクロールが行われることがある。

特許文献１のように、判断指標としての操作量の実測値としきい値とを比較することにより有効なジェスチャー操作を判断する場合、しきい値を大きく設定することにより、上述した誤操作を抑制することができる。しかしながら、しきい値を大きく設定すると、操作量をある程度大きくしなくてはジェスチャー操作が画面に反映されなくなるため、操作性が低下し、オブジェクトを細かく調整することが難しくなる。

本発明の目的は、ジェスチャー操作によって情報入力を行う際の操作性を向上できる情報処理装置、情報処理プログラム、及び情報処理方法を提供することである。

本発明に係る情報処理装置は、複数のジェスチャー操作を受付可能な操作部と、
前記ジェスチャー操作が有効であるか否かを判断するための判断指標のしきい値を前記複数のジェスチャー操作ごとに設定するしきい値設定部と、
前記操作部を通じて行われるジェスチャー操作について前記判断指標の実測値を算出し、前記実測値と前記しきい値を比較することにより、有効なジェスチャー操作を判断するジェスチャー解析部と、
前記ジェスチャー解析部によって有効であると判断されたジェスチャー操作を画面に反映させる表示制御部と、を備え、
前記しきい値設定部は、前記ジェスチャー操作の実行状態に応じて、前記しきい値を可変に設定することを特徴とする。

本発明に係る情報処理プログラムは、複数のジェスチャー操作を受付可能な操作部を備える情報処理装置のコンピューターに、
前記ジェスチャー操作が有効であるか否かを判断するための判断指標のしきい値を前記複数のジェスチャー操作ごとに設定し、
前記操作部を通じて行われるジェスチャー操作について前記判断指標の実測値を算出し、前記実測値と前記しきい値を比較することにより、有効なジェスチャー操作を判断し、
有効であると判断されたジェスチャー操作を画面に反映させる処理、及び、
前記ジェスチャー操作の実行状態に応じて、前記しきい値を可変に設定する処理を実行させることを特徴とする。

本発明に係る情報処理方法は、複数のジェスチャー操作を受付可能な操作部を備える情報処理装置における情報処理方法であって、
前記ジェスチャー操作が有効であるか否かを判断するための判断指標のしきい値を前記複数のジェスチャー操作ごとに設定し、
前記操作部を通じて行われるジェスチャー操作について前記判断指標の実測値を算出し、前記実測値と前記しきい値を比較することにより、有効なジェスチャー操作を判断し、
有効であると判断されたジェスチャー操作を画面に反映させ、さらに、
前記ジェスチャー操作の実行状態に応じて、前記しきい値を可変に設定することを特徴とする。

本発明によれば、有効なジェスチャー操作を判断するための判断指標のしきい値が、ジェスチャー操作の実行状態に応じて適切に設定されるので、情報入力を行う際の操作性が格段に向上する。

本発明の一実施の形態に係る電子ホワイトボードの概略図である。 電子ホワイトボードのハードウェア構成を示すブロック図である。 電子ホワイトボードの制御部の機能を示す機能ブロック図である。 ジェスチャー操作の実行状態に応じて設定される判断指標のしきい値を示す図である。 ジェスチャー解析処理の一例を示すフローチャートである。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。
図１は、本発明の一実施の形態に係る情報処理装置としての電子ホワイトボード１０の概略図である。電子ホワイトボード１０は、例えばユーザー操作に基づく画面の遷移を記憶し、会議の流れを時系列で管理する会議支援装置として用いられる。すなわち、ユーザーが、電子ホワイトボード１０の操作部１２を利用して、会議に登場し議事の構成要素となるオブジェクトを表示部１３の表示領域に追加したり、表示されているオブジェクトを操作したりすると、そのときの画面に関する情報（以下「画面情報」と称する）が記憶される。

ここで、オブジェクトとは、操作の対象となるデータであり、文字又は記号が入力されるテキストボックス、図形、写真画像、アプリケーションの作業領域（ウィンドウ）等の形で表示部１３に表示される。本実施の形態では、オブジェクトを単純な図形で示すこととする。また、オブジェクトの追加（新規作成）、移動、サイズ変更（拡大・縮小）、回転、編集、削除、グループ化、グループ解除など、オブジェクトの状態を変化させる操作を「オブジェクト操作」と称する。

図１では、電子ホワイトボード１０の表示部１３は、オブジェクトが表示されるメイン画面ＭＤと、会議の流れを視認可能なツリー構造の図（以下「タイムライン」と称する）が表示されるサブ画面ＳＤに区画されている。メイン画面ＭＤが電子ホワイトボード１０の個別作業領域である。通常時はメイン画面ＭＤを表示しておき、必要に応じてサブ画面ＳＤを表示するようにしてもよいし、メイン画面ＭＤとサブ画面ＳＤを切り替えて表示領域の全体にサブ画面ＳＤを表示させるようにしてもよい。

図１においては、メイン画面ＭＤに、８個のオブジェクトＯＢ１〜ＯＢ８が作成され、そのうちのオブジェクトＯＢ１〜ＯＢ３、オブジェクトＯＢ４〜０Ｂ６がそれぞれグループ化されている（グループＧＲ１、ＧＲ２）。サブ画面ＳＤには、任意の時点で議論が分岐された場合のタイムラインＴＬが表示されている。議論が途中で分岐された場合には、複数の結論が存在することになる。

ユーザーによるオブジェクト操作はメイン画面ＭＤで行われ、タイムライン操作はサブ画面ＳＤで行われる。タイムライン操作とは、タイムラインＴＬを利用して行われる操作であり、マーカーＭを移動させる操作、議論を分岐させるための分岐操作を含む。例えば、ユーザーは、タイムラインＴＬ上でマーカーＭを移動させることにより、任意の時点の画面をメイン画面ＭＤに再現させることができる。オブジェクト操作のうち、オブジェクトの移動、サイズ変更、及び回転は、ジェスチャー操作（シングルタッチジェスチャー及びマルチタッチジェスチャーを含む）によって行われる。

図２は、電子ホワイトボード１０のハードウェア構成の一例を示す図である。図２に示すように、電子ホワイトボード１０は、制御部１１、操作部１２、表示部１３、記憶部１４、及び通信部１５等を備える。各ブロックはバスラインにより電気的に接続される。制御部１１が後述する情報処理プログラムを実行することにより、本実施形態の情報処理方法が実現される。

制御部１１は、演算／制御装置としてのＣＰＵ（Central Processing Unit）１１１、主記憶装置としてのＲＯＭ（Read Only Memory）１１２及びＲＡＭ（Random Access Memory）１１３を有する。ＲＯＭ１１２には、ＢＩＯＳ（Basic Input Output System）と呼ばれる基本プログラムや基本的な設定データが記憶される。ＣＰＵ１１１は、ＲＯＭ１１２又は記憶部１４から処理内容に応じたプログラムを読み出してＲＡＭ１１３に展開し、展開したプログラムと協働して、各ブロックを制御する。

操作部１２及び表示部１３は、例えばタッチパネル付きのフラットパネルディスプレイで構成される。フラットパネルディスプレイとしては、液晶ディスプレイ、有機ＥＬディスプレイ、メモリ性を有する電子ペーパーディスプレイなど従来公知の各種のものを用いることができる。以下において、フラットパネルディスプレイのように操作部１２としての機能及び表示部１３としての機能を有する構成要素を「操作表示部１６」と称する。なお、操作部１２と表示部１３は別体で構成されてもよい。

操作部１２は、ユーザーによる手書き入力、オブジェクト操作、及びタイムライン操作を受け付けて、それに応じた信号（例えばタッチポイントの座標を示す信号）を制御部１１に出力する。以下においては、主としてユーザーが指を使って操作することを想定して説明するが、指以外の身体の一部やタッチペンなどの接触体を用いて操作しても構わない。

表示部１３は、制御部１１から入力される表示制御情報に従って、メイン画面ＭＤ及びサブ画面ＳＤに各種情報を表示する。操作部１２がジェスチャー操作を受け付けると、当該ジェスチャー操作に割り当てられている操作が表示部１３の画面に反映される。ジェスチャー操作の識別（有効／無効を含む）は、制御部１１によって行われる。

記憶部１４は、例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はＳＤ（Secure Digital）カード等の補助記憶装置であり、情報処理プログラム及び画面に関する情報等を記憶する。記憶部１４は、オブジェクト情報テーブル１４１、画面遷移情報テーブル１４２、及びジェスチャー操作テーブル１４３等を有する（図３参照）。

通信部１５は、例えばＮＩＣ（Network Interface Card）、ＭＯＤＥＭ（MOdulator-DEModulator）、ＵＳＢ（Universal Serial Bus）等の通信インターフェースである。制御部１１は、通信部１５を介して、有線／無線ＬＡＮ等のネットワークに接続された端末装置（図示略）との間で各種情報の送受信を行う。通信部１５には、ＮＦＣ（Near Field Communication）やBluetooth（登録商標）等の近距離無線通信用の通信インターフェースを適用することもできる。

図３は、電子ホワイトボード１０の制御部１１の機能を示す機能ブロック図である。図３に示すように、制御部１１は、ユーザー操作解析部１１Ａ、画面情報記録部１１Ｂ、表示制御部１１Ｃ、しきい値設定部１１Ｄとして機能する。これらの機能部の一部又は全部を専用のハードウェアで構成してもよい。

ユーザー操作解析部１１Ａは、操作部１２から入力される操作情報を解析し、ユーザーによる操作を特定する。画面情報記録部１１Ｂ、及び表示制御部１１Ｃは、ユーザー操作解析部１１Ａによって特定されたユーザー操作に基づいて、操作の内容に対応付けて予め設定された所定の処理（例えば、ピンチアウトでオブジェクトを拡大する等）を実行する。

ユーザー操作解析部１１Ａは、ユーザーによるジェスチャー操作を解析するジェスチャー解析部１１Ｅを含む。ジェスチャー解析部１１Ｅは、ユーザーによる操作部１２へのタッチが検出された場合に、有効なジェスチャー操作を判断する。具体的には、ジェスチャー解析部１１Ｅは、ジェスチャー操作（ここでは、ドラッグ、サイズ変更、及び回転）ごとに設定される判断指標の実測値を、タッチポイントの座標の変化に基づいて算出し、この実測値と所定のしきい値を比較することにより、有効なジェスチャー操作を判断する。

ここでは、ドラッグの判断指標としてスライド速度、サイズ変更の判断指標としてポイント間変化速度、回転の判断指標として回転速度を用いる。操作速度をオブジェクト操作の判断指標として用いると、ユーザーが意図するオブジェクト操作をしきい値以上の速度で開始することを意識しておきさえすれば、操作量は大きいが操作速度は小さい操作は判断に用いられないことになる。このため、ユーザーの誤操作に起因する意図しないオブジェクトの移動・変形・回転等を効果的に抑制しやすくなる。

スライド速度の実測値Ｍ_ｍがしきい値Ｍ_ｔｈを超えている場合にはドラッグが有効であると判断され、ポイント間変化速度の実測値Ｄ_ｍがしきい値Ｄ_ｔｈを超えている場合にはサイズ変更が有効であると判断され、回転速度の実測値θ_ｍがしきい値θ_ｔｈを超えている場合には回転が有効であると判断される。したがって、操作速度のしきい値が小さい程、ジェスチャー操作が有効であると判断されやすく、操作速度のしきい値が大きい程、ジェスチャー操作が有効であると判断されにくくなる。

画面情報記録部１１Ｂは、ユーザーによるオブジェクト操作に基づく会議の流れ（画面遷移）を、画面情報として記憶部１４に記録する。画面情報とは、画面を構成する要素及びそれらがいつ作成され変化したかを示す情報であり、オブジェクト又はグループに対する操作を個別に管理するオブジェクト情報、及び会議の流れを時系列で管理する画面遷移情報を含む。オブジェクト情報は、記憶部１４のオブジェクト情報テーブル１４１に格納され、画面遷移情報は、記憶部１４の画面遷移情報テーブル１４２に格納される。

表示制御部１１Ｃは、ユーザー操作に基づく画面を表示部１３に表示させるための表示制御情報（画面データ）を生成し、この画面データに基づいて表示部１３に画面を表示させる。表示制御部１１Ｃは、表示制御情報を生成する際に、記憶部１４から必要な情報を取得する。表示制御情報には、オブジェクト操作を反映した画面を表示させるための画面表示制御情報が含まれる。表示制御部１１Ｃは、例えばジェスチャー解析部１１Ｅによっていずれかのジェスチャー操作が有効であると判断された場合に、ジェスチャー操作テーブル１４３を参照して、当該ジェスチャー操作に割り当てられた処理を表示部１３の画面に反映させる。

ここで、ジェスチャー操作が有効であると判断される前の操作が無視される（画面に反映されない）と、反応の悪さにユーザーが不満、不信感を抱く虞がある。そこで、表示制御部１１Ｃは、ジェスチャー操作が開始（操作部１２へのタッチが検出）されてから当該ジェスチャー操作が有効となるまでの操作も画面に反映させるのが好ましい。これにより、ユーザーが意図的に行ったジェスチャー操作が、スムーズに画面に反映される。タッチポイントが変化することに伴い、その都度座標情報をＲＡＭ１１３に格納しておくことで、後からでも当該ジェスチャー操作を画面に反映させることができる。

しきい値設定部１１Ｄは、ジェスチャー解析部１１Ｅがジェスチャー操作の有効／無効を判定する際に参照するしきい値を、ジェスチャー操作の実行状態に応じて設定する。表１は、マルチタッチジェスチャーについての判断指標のしきい値を設定する際に参照される設定テーブルの一例である。

表１に示すように、しきい値設定部１１Ｄは、ドラッグ、サイズ変更、及び回転について、それぞれのジェスチャー操作についてのしきい値を可変に設定できるように構成されている。これらのうち、いずれのジェスチャー操作も有効になっていない場合、すべてのジェスチャー操作についての判断指標のしきい値を第１のしきい値に設定する。第１のしきい値は、ユーザーが意識的に操作速度を速くしなくても、ジェスチャー操作が有効であると判断される程度に設定される。

また、しきい値設定部１１Ｄは、あるジェスチャー操作が有効になった場合は、有効であるジェスチャー操作についての判断指標のしきい値を第１のしきい値に設定し、それ以外のジェスチャー操作についての判断指標のしきい値を第２のしきい値に設定する。第２のしきい値が大きすぎると、ユーザーが意図したジェスチャー操作の実行が困難となるので、第２のしきい値は、ユーザーが意識的に操作速度を速くしていると判断できる程度であればよい。

図４Ａに示すように、ジェスチャー操作が行われていない初期状態では、ドラッグのしきい値Ｍ_ｔｈは“Ｍ１”に設定され、サイズ変更のしきい値Ｄ_ｔｈは“Ｄ１”に設定され、回転のしきい値θ_ｔｈは“θ１”に設定される。２つのタッチポイントが、しきい値Ｍ_ｔｈ（＝Ｍ１）よりも速いスライド速度で例えば横方向に平行移動されると、ドラッグが有効になる。表示部１３の画面では、ジェスチャー操作が開始された後のスライド量に応じてオブジェクトがドラッグされる。ジェスチャー操作が実行されていないときは、いずれのジェスチャー操作についての判断指標のしきい値も第１のしきい値に設定されているので、操作速度を意識的に速くしなくても、スムーズにジェスチャー操作が開始される。

図４Ｂに示すように、オブジェクトのドラッグ中は、ドラッグについての判断指標（スライド速度）のしきい値Ｍ_ｔｈは“Ｍ１”のまま保持され、サイズ変更についての判断指標（ポイント間変化速度）のしきい値Ｄ_ｔｈはＤ１よりも大きい“Ｄ２”に設定され、回転についての判断指標（回転速度）のしきい値θ_ｔｈはθ１よりも大きい“θ２”に設定される。図４Ａ、図４Ｂでは、しきい値の大きさを矢印の太さで示しており、細い矢印が第１のしきい値に対応し、太い矢印が第２のしきい値に対応する。

このように、しきい値設定部１１Ｄは、複数のジェスチャー操作（ここではドラッグ、サイズ変更、及び回転）のうちのいずれかが有効となっている場合に、有効となっているジェスチャー操作（第１のジェスチャー操作）以外のジェスチャー操作（第２のジェスチャー操作）についての判断指標のしきい値を、初期のしきい値よりも大きく設定する。

これにより、オブジェクトのドラッグ中（図４Ｂ参照）は、初期状態（図４Ａ参照）と比較してサイズ変更と回転が有効になりにくくなる。つまり、オブジェクトのドラッグ中に、意識的にポイント間変化速度又は回転速度を速くしてジェスチャー操作を行った場合だけ、サイズ変更又は回転が実行される。例えば、ユーザーが２本指でオブジェクトをドラッグしている際に、やや速い速度でポイント間距離の変更や回転の操作が行われたり、低い速度で徐々にポイント間距離が大きく開く操作が行われたりしても、サイズ変更や回転は行われず、当初のサイズおよび角度位置のままでドラッグが継続される。このように、ジェスチャー操作の識別精度が格段に向上するので、意図しないジェスチャー操作が画面に反映されるのを防止することができる。

なお、第２のジェスチャー操作についての判断指標のしきい値の設定は、上述した方法に限定されない。例えば、しきい値設定部１１Ｄは、有効となっているジェスチャー操作（第１のジェスチャー操作）についての判断指標の実測値に応じて、それ以外のジェスチャー操作（第２のジェスチャー操作）についての判断指標のしきい値を可変に設定するようにしてもよい。すなわち、第１のジェスチャー操作の操作速度が高速である程（判断指標の実測値としきい値との乖離幅が大きい程）、第２のジェスチャー操作についての判断指標のしきい値を大きく設定するようにしてもよい。これにより、操作速度が速くなることに伴ってジェスチャー操作のブレが大きくなる場合に、意図しないジェスチャー操作が画面に反映されるのを効果的に防止することができる。

この場合、しきい値の設定テーブルは、例えば表２のようになる。表２に従うと、第１のジェスチャー操作の操作速度が低速である場合に、第２のジェスチャー操作についての判断指標のしきい値は第１のしきい値よりも大きい第２のしきい値に設定され、第１のジェスチャー操作の操作速度が高速である場合には、第２のジェスチャー操作についての判断指標のしきい値は第２のしきい値よりもさらに大きい第３のしきい値に設定される。

表２では、第１のジェスチャー操作が複数ある場合は、それぞれの第１のジェスチャー操作に基づいて第２のジェスチャー操作についての判断指標のしきい値が判定され、大きい方のしきい値が採用されている。例えば、サイズ変更と回転が有効となっており、ポイント間変化速度Ｄ_ｍが低速で、回転速度θ_ｍが高速である場合（表２における「Ｊ２−１，Ｊ３−２」）、第２のジェスチャー操作であるドラッグについての判断指標のしきい値Ｍ_ｔｈは、回転速度Ｄ_ｍに基づいて“Ｍ３”に設定される。

また例えば、しきい値設定部１１Ｄは、第１のジェスチャー操作が複数ある場合に、それぞれの第１のジェスチャー操作についての判断指標の実測値又は第１のジェスチャー操作の数（単独又は複数）に基づいてジェスチャー操作の実行状態を数値化し、この数値に応じて第２のジェスチャー操作についての判断指標のしきい値を設定するようにしてもよい。これにより、複数のジェスチャー操作を同時に実行することに伴ってジェスチャー操作のブレが大きくなる場合に、意図しないジェスチャー操作が画面に反映されるのを効果的に防止することができる。

例えば、第１のジェスチャー操作が複数ある場合に１点を付与し、さらに、それぞれの第１のジェスチャー操作について操作速度が低速である場合に１点、高速である場合に２点を付与する。そして、付与された点数を合算して現在のジェスチャー操作の実行状態を数値化する。

この場合、しきい値の設定テーブルは、表３のようになる。表３における括弧書きが、現在のジェスチャー操作の実行状態を表す数値である。表３に示すように、ジェスチャー操作の実行状態を表す数値が１点の場合には、第２のジェスチャー操作についての判断指標のしきい値は第２のしきい値に設定される。同様に、ジェスチャー操作の実行状態を表す数値が２から５点の場合には、第２のジェスチャー操作についての判断指標のしきい値は第３〜第６のしきい値に設定される。

図５は、制御部１１が実行するジェスチャー解析処理の一例を示すフローチャートである。この処理は、例えば電子ホワイトボード１０の電源が投入されることに伴い図示しないメインフローが実行され、メインフローにおいてジェスチャー操作が検出されることに伴い、ＣＰＵ１１１がＲＯＭ１１２に格納されている情報処理プログラムを呼び出して実行することで実現される。

ここでは、マルチタッチジェスチャーについての判断指標のしきい値を設定する際に表１に示す設定テーブルが参照されるものとする。したがって、初期状態では、ドラッグについての判断指標のしきい値Ｍ_ｔｈは“Ｍ１”、サイズ変更についての判断指標のしきい値Ｄ_ｔｈは“Ｄ１”、回転についての判断指標のしきい値は“θ１”に設定される。

ステップＳ１０１において、制御部１１は、操作部１２を通じて、オブジェクトの領域内の２点をタッチする操作（以下「マルチタッチ」と称する）が行われたか否かを判定する。マルチタッチが行われたと判定した場合は（ステップＳ１０１で“ＹＥＳ”）、ステップＳ１０２の処理に移行する。

一方、オブジェクトの領域内の１点のみをタッチする操作（以下「シングルタッチ」と称する）が行われたと判定した場合は（ステップＳ１０１で“ＮＯ”）、ステップＳ１１３の処理に移行する。ステップＳ１１３では、シングルタッチに対応した処理（例えば、オブジェクトの選択、オブジェクトの選択解除、オブジェクトの移動等）が実行される。なお、シングルタッチに対応した処理において、タッチ操作が終了したと判定されると、メインフローに戻る。また、タッチ操作がシングルタッチからマルチタッチに変化した場合には、ステップＳ１０２の処理に移行する。

ステップＳ１０２において、制御部１１は、所定時間（単位時間）間隔でタッチポイントの座標情報を取得する。取得した座標情報は、例えばユーザーによる操作部１２への接触が解除されるまでＲＡＭ１１３に順次格納される。

ステップＳ１０３において、制御部１１は、タッチポイントの座標変化に基づいて、ドラッグ、サイズ変更、及び回転についての判断指標（スライド速度、ポイント間変化速度、回転速度）の実測値Ｍ_ｍ、Ｄ_ｍ、θ_ｍを算出する（ジェスチャー解析部１１Ｅとしての処理）。ユーザーが意図しないジェスチャー操作についての判断指標の実測値は、ほぼ“０”となる。

ステップＳ１０４において、制御部１１は、ドラッグ、サイズ変更、及び回転についての判断指標のしきい値Ｍ_ｔｈ、Ｄ_ｔｈ、θ_ｔｈと、ステップＳ１０３で得られた実測値Ｍ_ｍ、Ｄ_ｍ、θ_ｍを比較する（ジェスチャー解析部１１Ｅとしての処理）。いずれのジェスチャー操作も実行されていないときは、しきい値Ｍ１、Ｄ１、θ１と実測値Ｍ_ｍ、Ｄ_ｍ、θ_ｍが比較され、いずれかのジェスチャー操作が実行されているときは、しきい値Ｍ１又はＭ２、Ｄ１又はＤ２、θ１又はθ２と実測値Ｍ_ｍ、Ｄ_ｍ、θ_ｍが比較される。

ステップＳ１０４において、スライド速度の実測値Ｍ_ｍがしきい値Ｍ_ｔｈを超えていると判定された場合、ステップＳ１０５の処理に移行する。ステップＳ１０５において、制御部１１は、ドラッグを有効なジェスチャー操作として設定する（ジェスチャー解析部１１Ｅとしての処理）。表示部１３の画面では、スライド量に応じてオブジェクトのドラッグが行われる（表示制御部１１Ｃとしての処理）。また、ステップＳ１０６において、制御部１１は、スライド速度のしきい値Ｍ_ｔｈを“Ｍ１”に設定し、ポイント間変化速度及び回転速度のしきい値Ｄ_ｔｈ、θ_ｔｈをそれぞれ“Ｄ２”、“θ２”に設定する（しきい値設定部１１Ｄとしての処理）。

ステップＳ１０４において、ポイント間変化速度の実測値Ｄ_ｍがしきい値Ｄ_ｔｈを超えていると判定された場合、ステップＳ１０７の処理に移行する。ステップＳ１０７において、制御部１１は、サイズ変更を有効なジェスチャー操作として設定する（ジェスチャー解析部１１Ｅとしての処理）。表示部１３の画面では、ポイント間変化量に応じてオブジェクトのサイズ変更が行われる（表示制御部１１Ｃとしての処理）。また、ステップＳ１０８において、制御部１１は、ポイント間変化速度のしきい値Ｄ_ｔｈを“Ｄ１”に設定し、スライド速度及び回転速度のしきい値Ｍ_ｔｈ、θ_ｔｈをそれぞれ“Ｍ２”、“θ２”に設定する（しきい値設定部１１Ｄとしての処理）。

ステップＳ１０４において、回転速度の実測値θ_ｍがしきい値θ_ｔｈを超えていると判定された場合、ステップＳ１０９の処理に移行する。ステップＳ１０９において、制御部１１は、回転を有効なジェスチャー操作として設定する（ジェスチャー解析部１１Ｅとしての処理）。表示部１３の画面では、回転量に応じてオブジェクトの回転が行われる（表示制御部１１Ｃとしての処理）。また、ステップＳ１１０において、制御部１１は、回転速度のしきい値θ_ｔｈを“θ１”に設定し、スライド速度及びポイント間変化速度のしきい値Ｍ_ｔｈ、Ｄ_ｔｈをそれぞれ“Ｍ２”、“Ｄ２”に設定する（しきい値設定部１１Ｄとしての処理）。

ステップＳ１０４において、操作速度が微小であり、いずれのジェスチャー操作も有効でないと判断された場合、ステップＳ１１１の処理に移行する。ステップＳ１１１において、制御部１１は、スライド速度、ポイント間変化速度、回転速度のしきい値Ｍ_ｔｈ、Ｄ_ｔｈ、θ_ｔｈを初期値に戻す（しきい値設定部１１Ｄとしての処理）。

タッチポイントが初期状態から変化しない場合はもちろん、有効となっているジェスチャー操作が終了する場合も、判断指標の実測値が小さくなりしきい値以下となるので、ステップＳ１１１の処理が実行されることになる。すなわち、有効なジェスチャー操作が終了する場合、ステップＳ１１１において、スライド速度、ポイント間変化速度、回転速度のしきい値Ｍ_ｔｈ、Ｄ_ｔｈ、θ_ｔｈはすべて初期値に戻る。したがって、異なるジェスチャー操作が連続して行われる場合（例えばドラッグの後、サイズ変更）に、次のジェスチャー操作が有効となりにくくなることはなく、ジェスチャー操作はスムーズに画面に反映される。

なお、ステップＳ１０４における比較処理において、複数のマルチタッチジェスチャーが有効となる場合には、表１に示すように、有効なジェスチャー操作についての判断指標のしきい値は第１のしきい値に設定され、有効でないジェスチャー操作についての判断指標のしきい値のみが第２のしきい値に設定される（しきい値設定部１１Ｄとしての処理）。

例えば、オブジェクトのドラッグ中（しきい値：Ｍ_ｔｈ＝Ｍ１、Ｄ_ｔｈ＝Ｄ２、θ_ｔｈ＝θ２）に、ポイント間変化速度の実測値Ｄ_ｍがしきい値Ｄ_ｔｈ（＝Ｄ２）を超えると、サイズ変更も有効なジェスチャー操作として設定される。この場合、ポイント間変化速度のしきい値Ｄ_ｔｈは第１のしきい値“Ｄ１”に変更され、回転速度のしきい値θ_ｔｈのみが第２のしきい値“θ２”に保持される。

ステップＳ１１２において、制御部１１は、マルチタッチジェスチャーが終了したか否かを判定する。具体的には、制御部１１は、操作部１２から指が離れてマルチタッチが検出されなくなった場合に、マルチタッチジェスチャーが終了したと判定する。マルチタッチジェスチャーが終了した場合（ステップＳ１１２で“ＹＥＳ”）、メインフローに戻る。マルチタッチジェスチャーが終了していない場合（ステップＳ１１２で“ＮＯ”）、ステップＳ１０２の処理に移行する。なお、タッチ操作がマルチタッチからシングルタッチに変化した場合には、ステップＳ１１３の処理に移行する。

図５に示すフローチャートに従うと、オブジェクトのドラッグが行われている間は、ポイント間変化速度及び回転速度のしきい値Ｄ_ｔｈ、θ_ｔｈが第１のしきい値Ｄ１、θ１よりも大きい第２のしきい値Ｄ２、θ２に設定されるので、その後のステップＳ１０４での比較処理において、サイズ変更及び回転は有効なジェスチャー操作として判断されにくくなる。すなわち、オブジェクトのドラッグ中にポイント間距離や回転速度が若干変化した程度では、サイズ変更又は回転が有効なジェスチャー操作として判断されない。

また、オブジェクトのサイズ変更が行われている間は、スライド速度及び回転速度のしきい値Ｍ_ｔｈ、θ_ｔｈが第１のしきい値Ｍ１、θ１よりも大きい第２のしきい値Ｍ２、θ２に設定されるので、その後のステップＳ１０４での比較において、ドラッグ及び回転は有効なジェスチャー操作として判断されにくくなる。すなわち、オブジェクトのサイズ変更中にスライド速度や回転速度が若干変化した程度では、ドラッグ又は回転が有効なジェスチャー操作として判断されない。

同様に、オブジェクトの回転が行われている間は、スライド速度及びポイント間変化速度のしきい値Ｍ_ｔｈ、Ｄ_ｔｈが第１のしきい値Ｍ１、Ｄ１よりも大きい第２のしきい値Ｍ２、Ｄ２に設定されるので、その後のステップＳ１０４での比較において、ドラッグ及びサイズ変更は有効なジェスチャー操作として判断されにくくなる。すなわち、オブジェクトの回転中にスライド速度やポイント間変化速度が若干変化した程度では、ドラッグ又はサイズ変更が有効なジェスチャー操作として判断されない。

このように、情報処理装置の一例として挙げた電子ホワイトボード１０は、複数のジェスチャー操作（ドラッグ、サイズ変更、回転）を受付可能な操作部１２と、ジェスチャー操作が有効であるか否かを判断するための判断指標（スライド速度、ポイント間変化速度、回転速度）のしきい値Ｍ_ｔｈ、Ｄ_ｔｈ、θ_ｔｈを複数のジェスチャー操作ごとに設定するしきい値設定部１１Ｄと、操作部１２を通じて行われるジェスチャー操作について判断指標の実測値Ｍ_ｍ、Ｄ_ｍ、θ_ｍを算出し、実測値Ｍ_ｍ、Ｄ_ｍ、θ_ｍとしきい値Ｍ_ｔｈ、Ｄ_ｔｈ、θ_ｔｈを比較することにより、有効なジェスチャー操作を判断するジェスチャー解析部１１Ｅと、ジェスチャー解析部１１Ｅによって有効であると判断されたジェスチャー操作を画面に反映させる表示制御部１１Ｃと、を備える。しきい値設定部１１Ｄは、ジェスチャー操作の実行状態に応じて、しきい値Ｍ_ｔｈ、Ｄ_ｔｈ、θ_ｔｈを可変に設定する。

電子ホワイトボード１０によれば、有効なジェスチャー操作を判断するための判断指標のしきい値が、ジェスチャー操作の実行状態に応じて適切に設定されるので、ジェスチャー操作のブレ等によってユーザーが意図しないジェスチャー操作が画面に反映されるのを防止でき、ユーザーが意図的に行ったジェスチャー操作だけを確実に画面に反映させることができる。したがって、ジェスチャー操作によって情報入力を行う際の操作性が格段に向上する。

以上、本発明者によってなされた発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。

例えば、本発明は、ドラッグ、サイズ変更、回転等のマルチタッチジェスチャーが実行される場合だけでなく、シングルタッチジェスチャーが実行される場合、具体的には、スライド方向の異なる複数のスクロール操作（縦スクロール及び横スクロール）によって表示領域を例えば４方向に移動させる場合にも適用できる。この場合、それぞれのスライド方向におけるスライド速度が、ジェスチャー操作についての判断指標となる。

例えば、ジェスチャー操作が実行されていないときは、縦スクロールについてのスライド速度のしきい値及び横スクロールについてのスライド速度のしきい値は第１のしきい値に設定される。ユーザーが縦スクロールを実行し、スライド速度がしきい値を超えると、横スクロールについてのスライド速度のしきい値は第２のしきい値に設定される。したがって、縦スクロール中に、スライド方向が横方向に多少ずれてしまっても、縦スクロールのみが画面に反映される。なお、縦スクロールについてのスライド速度及び横スクロールについてのスライド速度がいずれもしきい値を超えると、斜め方向へのスクロールが実行される。

また、上述した実施の形態では、ジェスチャー操作の判断指標として、操作速度を用いたが、操作量をジェスチャー操作の判断指標として用いてもよい。また、操作速度と操作量の両方をジェスチャー操作の判断指標に用いてもよい。

また、上記実施の形態では、しきい値を可変に設定するに際して、段階的な値に設定するようにしているが、これに限るものではなく、しきい値を判断指標の実測値の関数とする計算式に基づいて、判断指標の実測値に応じて連続的に変化させるようにしてもよい。

実施の形態では、電子ホワイトボード１０が情報処理プログラムを実行することにより、上述した情報処理を実現しているが、ハードウェア回路を用いて実現することもできる。情報処理プログラムは、磁気ディスク、光学ディスク、フラッシュメモリーなどのコンピューターで読取可能な記憶媒体に格納して会議支援装置となり得る機器（例えばパーソナルコンピューター）に提供することができる。または、情報処理プログラムは、インターネットなどの通信回線を介して、ダウンロードにより提供することもできる。

本発明の情報処理装置は、実施の形態で説明した電子ホワイトボードの他、タッチパネルやタッチパッドのようにジェスチャー操作を受付可能な操作部を備える情報処理装置（例えばスマートフォン、タブレット端末、ノートパソコン等）に適用することができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１０ 電子ホワイトボード（情報処理装置）
１１ 制御部
１１Ａ ユーザー操作解析部
１１Ｂ 画面情報記録部
１１Ｃ 表示制御部
１１Ｄ しきい値設定部
１１Ｅ ジェスチャー解析部
１２ 操作部
１３ 表示部
１４ 記憶部
１４３ ジェスチャー操作テーブル
１５ 通信部
１６ 操作表示部

Claims (16)

1. 複数のジェスチャー操作を受付可能な操作部と、
   前記ジェスチャー操作が有効であるか否かを判断するための判断指標のしきい値を前記複数のジェスチャー操作ごとに設定するしきい値設定部と、
   前記操作部を通じて行われるジェスチャー操作について前記判断指標の実測値を算出し、前記実測値と前記しきい値を比較することにより、有効なジェスチャー操作を判断するジェスチャー解析部と、
   前記ジェスチャー解析部によって有効であると判断されたジェスチャー操作を画面に反映させる表示制御部と、を備え、
   前記しきい値設定部は、前記ジェスチャー操作の実行状態に応じて、前記しきい値を可変に設定することを特徴とする情報処理装置。
2. 前記しきい値設定部は、前記複数のジェスチャー操作のうちのいずれかが有効となっている場合に、当該有効となっている第１のジェスチャー操作以外の第２のジェスチャー操作についての判断指標のしきい値を、初期のしきい値よりも大きく設定することを特徴とする請求項１に記載の情報処理装置。
3. 前記しきい値設定部は、前記第１のジェスチャー操作についての判断指標の実測値に応じて、前記第２のジェスチャー操作についての判断指標のしきい値を設定することを特徴とする請求項２に記載の情報処理装置。
4. 前記しきい値設定部は、前記第１のジェスチャー操作が複数ある場合に、それぞれの前記第１のジェスチャー操作についての判断指標の実測値又は前記第１のジェスチャー操作の数に基づいて前記ジェスチャー操作の実行状態を数値化し、前記数値に応じて前記第２のジェスチャー操作についての判断指標のしきい値を設定することを特徴とする請求項３に記載の情報処理装置。
5. 前記複数のジェスチャー操作は、オブジェクトをドラッグする操作、サイズ変更する操作、及び回転する操作のうち２以上の操作を含むことを特徴とする請求項１から４のいずれか一項に記載の情報処理装置。
6. 前記複数のジェスチャー操作は、スライド方向の異なる複数のスクロール操作を含むことを特徴とする請求項１から５のいずれか一項に記載の情報処理装置。
7. 前記表示制御部は、前記ジェスチャー操作が開始されてから当該ジェスチャー操作が有効となるまでの操作も反映させることを特徴とする請求項１から６のいずれか一項に記載の情報処理装置。
8. 前記操作部は、タッチパネル付きのフラットパネルディスプレイで構成されることを特徴とする請求項１から７のいずれか一項に記載の情報処理装置。
9. 複数のジェスチャー操作を受付可能な操作部を備える情報処理装置のコンピューターに、
   前記ジェスチャー操作が有効であるか否かを判断するための判断指標のしきい値を前記複数のジェスチャー操作ごとに設定し、
   前記操作部を通じて行われるジェスチャー操作について前記判断指標の実測値を算出し、前記実測値と前記しきい値を比較することにより、有効なジェスチャー操作を判断し、
   有効であると判断されたジェスチャー操作を画面に反映させる処理、及び、
   前記ジェスチャー操作の実行状態に応じて、前記しきい値を可変に設定する処理を実行させることを特徴とする情報処理プログラム。
10. 前記複数のジェスチャー操作のうちのいずれかが有効となっている場合に、当該有効となっている第１のジェスチャー操作以外の第２のジェスチャー操作についての判断指標のしきい値を、初期のしきい値よりも大きく設定することを特徴とする請求項９に記載の情報処理プログラム。
11. 前記第１のジェスチャー操作についての判断指標の実測値に応じて、前記第２のジェスチャー操作についての判断指標のしきい値を設定することを特徴とする請求項１０に記載の情報処理プログラム。
12. 前記第１のジェスチャー操作が複数ある場合に、それぞれの前記第１のジェスチャー操作についての判断指標の実測値又は前記第１のジェスチャー操作の数に基づいて前記ジェスチャー操作の実行状態を数値化し、前記数値に応じて前記第２のジェスチャー操作についての判断指標のしきい値を設定することを特徴とする請求項１１に記載の情報処理プログラム。
13. 前記複数のジェスチャー操作は、オブジェクトをドラッグする操作、サイズ変更する操作、及び回転する操作のうち２以上の操作を含むことを特徴とする請求項９から１２のいずれか一項に記載の情報処理プログラム。
14. 前記複数のジェスチャー操作は、スライド方向の異なる複数のスクロール操作を含むことを特徴とする請求項９から１３のいずれか一項に記載の情報処理プログラム。
15. 前記ジェスチャー操作が開始されてから当該ジェスチャー操作が有効となるまでの操作も反映させることを特徴とする請求項９から１４のいずれか一項に記載の情報処理プログラム。
16. 複数のジェスチャー操作を受付可能な操作部を備える情報処理装置における情報処理方法であって、
    前記ジェスチャー操作が有効であるか否かを判断するための判断指標のしきい値を前記複数のジェスチャー操作ごとに設定し、
    前記操作部を通じて行われるジェスチャー操作について前記判断指標の実測値を算出し、前記実測値と前記しきい値を比較することにより、有効なジェスチャー操作を判断し、
    有効であると判断されたジェスチャー操作を画面に反映させ、さらに、
    前記ジェスチャー操作の実行状態に応じて、前記しきい値を可変に設定することを特徴とする情報処理方法。

Images