JP2014048894A - 表示制御装置およびプログラム - Google Patents
表示制御装置およびプログラム Download PDFInfo
- Publication number
- JP2014048894A JP2014048894A JP2012191282A JP2012191282A JP2014048894A JP 2014048894 A JP2014048894 A JP 2014048894A JP 2012191282 A JP2012191282 A JP 2012191282A JP 2012191282 A JP2012191282 A JP 2012191282A JP 2014048894 A JP2014048894 A JP 2014048894A
- Authority
- JP
- Japan
- Prior art keywords
- touch
- display
- image
- group
- touch operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
【課題】ディスプレイ上で複数の画像間のレイアウト変更を行う際の作業効率を高める手段を提供する。
【解決手段】ユーザはマルチタッチディスプレイに表示された画像92〜95をグループ化した後、グループ内のいずれかの画像(例えば画像92)を第1の指でタッチしドラッグすることで、グループ内の全ての画像を一度に移動できる。その際、グループ内の画像には同じタッチIDがセットされる。第1の指によるタッチが維持された状態において、ユーザが第2の指でグループ内のいずれかの画像(画像95とする)にタッチすると、画像95に対し新たなタッチIDがセットされる。その後、第2の指のドラッグ操作により、画像95はグループ内の他の画像とは個別に移動可能となる。第2の指をマルチタッチディスプレイから離すと、画像95にセットされたタッチIDは元のタッチIDにリセットされ、画像95は再び第1の指のドラッグ操作に従い移動可能となる。
【選択図】図8
【解決手段】ユーザはマルチタッチディスプレイに表示された画像92〜95をグループ化した後、グループ内のいずれかの画像(例えば画像92)を第1の指でタッチしドラッグすることで、グループ内の全ての画像を一度に移動できる。その際、グループ内の画像には同じタッチIDがセットされる。第1の指によるタッチが維持された状態において、ユーザが第2の指でグループ内のいずれかの画像(画像95とする)にタッチすると、画像95に対し新たなタッチIDがセットされる。その後、第2の指のドラッグ操作により、画像95はグループ内の他の画像とは個別に移動可能となる。第2の指をマルチタッチディスプレイから離すと、画像95にセットされたタッチIDは元のタッチIDにリセットされ、画像95は再び第1の指のドラッグ操作に従い移動可能となる。
【選択図】図8
Description
本発明は、ユーザの操作に応じて画像の表示位置を移動可能とする技術に関する。
近年、パーソナルコンピュータ及び各種ソフトウェアの能力の向上により、ディスプレイに多数のオブジェクトを示す画像を複数表示し、それらに対してユーザがマウス等のポインティングデバイスを用いた各種操作を行うように構成したソフトウェアが広く知られている。この種のソフトウェアとして、例えば、非特許文献1には、DSP(Digital Signal Processor)を搭載した信号処理装置にて実行される信号処理の内容をCAD(Computer Aided Design)にて設計するソフトウェア(CADプログラム)が開示されている。こういったソフトウェアを用いてユーザが作業を行う際、ディスプレイには設計要素である複数のオブジェクトが同時に表示されることとなる。そのため、ユーザは、作業の効率上、あるいは表示されたオブジェクトの視認性の向上等のため、ディスプレイに表示された複数のオブジェクトの配置(レイアウト)を変更する操作を行うことが通常である。
ヤマハ株式会社、"DME Designer Version 4.0 取扱説明書"、[online]、平成23年、[平成24年8月17日検索]、インターネット〈URL:http://www2.yamaha.co.jp/manual/pdf/pa/japan/signal/dme#designer#om#ja#v40#g0.pdf〉
図10は、上記CADの画面の一例を模式的に示した図である。図10では、ディスプレイには9つのオブジェクト(91〜99)が表示されるとともに、それらを相互に接続する結線が表示されている。ユーザは、例えば、一部のオブジェクト(例えばオブジェクト92、94、96、98)を、それらの相対的な位置関係は変更せずに右に移動したり、あるいはさらにその中の一部のオブジェクト(例えばオブジェクト98)の位置を微調整したうえで再度、先の一部のオブジェクト(例えばオブジェクト92、94、96、98)をまとめて左に移動したりする。このような操作は、ディスプレイに表示されるオブジェクトの数量あるいは作業過程等の都合で頻繁に行なわれるため、直感的かつ効率的な操作性が求められている。
本発明は上記の事情に鑑み、ディスプレイ上で複数の画像間のレイアウト変更を行う際、その作業効率を高める手段を提供することを目的とする。
上述した課題を解決するため、本発明は、画像を表示する表示手段と前記表示手段に表示された画像に対するタッチ操作を検出する検出手段とを備えるタッチディスプレイとの間でデータの受け渡しを行う入出力手段と、 前記表示手段に表示される複数の画像をグループ化し、前記検出手段が前記グループ化されている複数の画像のうちの任意の画像である第1の画像に対する第1のタッチ操作のタッチ位置の移動を検出した場合、前記グループ化されている複数の画像の表示位置が前記第1のタッチ操作のタッチ位置の移動に各々追従するように前記表示手段を制御し、前記検出手段が前記グループ化されている複数の画像のうちの任意の画像であるの第2の画像に対する前記第1のタッチ操作とは異なる第2のタッチ操作のタッチ位置の移動を検出した場合、前記第2の画像の表示位置が、前記グループ化されている複数の画像のうちの前記第2の画像以外の画像とは独立に、前記第2のタッチ操作のタッチ位置の移動に追従するように前記表示手段を制御する制御手段とを備えたことを特徴とする表示制御装置を提供する。
また、上述した表示制御装置において、前記制御手段は、前記検出手段が前記第2のタッチ操作の検出を終了した場合、前記第2の画像の表示位置が再び前記第1のタッチ操作のタッチ位置の移動に追従するように前記表示位置を制御する、という構成が採用されてもよい。
また、上述した表示制御装置において、前記制御手段は、前記検出手段が前記第1のタッチ操作の検出を継続している間に前記検出手段が前記グループ化されている複数の画像のうちの任意の画像に対する新たなタッチ操作を検出した場合、当該新たなタッチ操作を前記第2のタッチ操作であると判定する、という構成が採用されてもよい。
また、上述した表示制御装置において、前記制御手段は、前記複数の画像が属するグループを第1のグループとするとき、前記第2の画像が前記第1のグループとは異なるグループである第2のグループにも属する場合、前記第2のタッチ操作に応じて、前記第2のグループに属する複数の画像の表示位置が、前記第2のタッチ操作のタッチ位置の移動に追従するように前記表示手段を制御する、という構成が採用されてもよい。
また、上述した表示制御装置において、前記タッチディスプレイを備える、という構成が採用されてもよい。
また、本発明は、画像を表示する表示手段と前記表示手段に表示された画像に対するタッチ操作を検出する検出手段とを備えるタッチディスプレイとの間でデータの受け渡しを行う入出力手段を備えるコンピュータに、前記表示手段に表示される複数の画像をグループ化する処理と、前記検出手段が前記グループ化している複数の画像のうちの任意の画像である第1の画像に対する第1のタッチ操作のタッチ位置の移動を検出した場合、前記グループ化している複数の画像の表示位置が前記第1のタッチ操作のタッチ位置の移動に各々追従するように前記表示手段を制御する処理と、前記検出手段が前記グループ化している複数の画像のうちの任意の画像であるの第2の画像に対する前記第1のタッチ操作とは異なる第2のタッチ操作のタッチ位置の移動を検出した場合、前記第2の画像の表示位置が、前記グループ化している複数の画像のうちの前記第2の画像以外の画像とは独立に、前記第2のタッチ操作のタッチ位置の移動に追従するように前記表示手段を制御する処理とを実行させるためのプログラムを提供する。
本発明によれば、ユーザは複数の画像をグループ化し、グループ化されている複数の画像を一度に移動させる操作と、グループ化されている複数の画像のうちの一部の画像を個別に移動させる操作とを使い分けることができる。そのため、グループ全体の表示位置を変更するとともに、グループ内の個々の画像の表示位置を調整したい、といった場合、ユーザはそのための操作をスムーズかつ直感的に行うことができ、作業効率がよい。
[実施形態]
以下に、図面を参照しながら本発明の実施形態について説明する。図1は、本実施形態にかかるシステム1の構成を示したブロック図である。システム1は、CADプログラムに従いデータ処理を行うことで、信号処理装置の構成を設計するためのCAD装置として機能するPC(Personal Computer)11と、ユーザに対し各種画像を表示するとともにユーザのタッチ操作を受け付けることでPC11に対するユーザインタフェースとして機能するマルチタッチディスプレイ12を備えている。
以下に、図面を参照しながら本発明の実施形態について説明する。図1は、本実施形態にかかるシステム1の構成を示したブロック図である。システム1は、CADプログラムに従いデータ処理を行うことで、信号処理装置の構成を設計するためのCAD装置として機能するPC(Personal Computer)11と、ユーザに対し各種画像を表示するとともにユーザのタッチ操作を受け付けることでPC11に対するユーザインタフェースとして機能するマルチタッチディスプレイ12を備えている。
PC11は、BIOS(Basic Input/Output System)やOS(Operating System)およびアプリケーションプログラム(例えばCADプログラム)等に従い各種演算を行うとともに他の構成部を制御するCPU(Central Processing Unit)111(制御手段)、上記BIOS、OS、アプリケーションプログラムや各種データ等を記憶するROM(Read Only Memory)やRAM(Random Access Memory)あるいはハードディスクや光学ディスク、フラッシュメモリ等を含むメモリ112、マルチタッチディスプレイ12により表示される画像を示す画像データを生成するGPU(Graphics Processing Unit)113、GPU113により生成された画像データをマルチタッチディスプレイ12に対し出力する画像データ出力I/F(Interface)114(操作データ入力I/F115とともに入出力手段を構成)、ユーザのタッチ操作を示す操作データをマルチタッチディスプレイ12から受け取る操作データ入力I/F115(画像データ出力I/F114とともに入出力手段を構成)、外部機器との間で各種データを入出力する入出力I/F116を備えている。
なお、メモリ112には、主としてCPU111が一時的にデータを記憶するワーキングエリアとして利用する記憶装置(RAM)あるいは記憶領域が含まれる。また、CPU111がGPU113、画像データ出力I/F114、操作データ入力I/F115、入出力I/F116の機能を兼ね備えていても良く、これらとメモリ112を含む各構成が適宜組み合わされて実装されていてもよい。
マルチタッチディスプレイ12(タッチディスプレイ)は、PC11から入力されてくる画像データに従い画像を表示するディスプレイ121(表示手段)と、ディスプレイ121に対しユーザのタッチ操作が1乃至複数行われた際にそのタッチ操作をそれぞれ検出するタッチパネル122(検出手段)を備えている。ディスプレイ121は例えば液晶ディスプレイパネルであるが、その表示方式は液晶ディスプレイパネルに限られない。タッチパネル122は例えば静電容量方式のマルチタッチセンサを備えたパネルであり、ユーザの手指等がタッチパネル122に近接乃至接触することによる静電容量の変化に基づき、同時に複数の接触点の位置等を個別に検出することができる。
なお、タッチパネル122は静電容量方式に限らず、マトリクス・スイッチ、抵抗膜方式、赤外線方式等の他種のタッチセンサを備えた方式、あるいは操作面を撮影した画像を解析する方式等、多点の接触を個別に検出することができればその方式は問わない。また、以下の説明ではタッチ操作に用いられるポインタはユーザの指であるものとするが、例えばスタイラスなどの指以外のポインタによりタッチ操作が行われてもよい。
本実施形態において、PC11はCADプログラムに従い、信号処理装置において実行される信号処理の構成(内容)を示す構成データを生成する。CADプログラムにおいて、図10に例示した従来のものと同様に、ユーザは信号処理要素(例えば、エフェクタ等)を示すCADのオブジェクト(以下、単に「オブジェクト」と呼ぶ)を設計画面上に配置してゆき、配置された各オブジェクトの間を適宜結線し接続することで、信号処理装置において実行される信号処理の構成を設計する。
なお、詳細な説明は省略するが、設計された信号処理の構成を示す構成データはファイルとしてメモリ112に保存され、適宜読み出されて、入出力I/F116を介して外部機器(信号処理装置等)に出力され、当該外部機器に対する当該データに基づく動作指示や設定指示に用いられる。
図2は、CADプログラムに従いPC11が生成し管理するオブジェクトのデータ(プロパティデータ)の構成を模式的に示した図である。オブジェクトは各々、プロパティデータとして、オブジェクトを一意に識別するオブジェクトID(Identifier)、オブジェクトのディスプレイ121における表示位置を座標で示す表示位置データ、オブジェクトが属するグループを一意に識別するグループID、オブジェクトがユーザのタッチ操作により選択されている場合にそのタッチ操作に対応するタッチID、オブジェクトの画像を示す画像データのファイル名や表示態様等を示す表示パラメータ、オブジェクトが示す音響システムの要素に設定されている各種パラメータ等のその他属性値を保持している。CADプログラムは、各オブジェクトのプロパティデータをメモリ112上のオブジェクト管理データベース(図示略)にて管理する。
オブジェクトが保持する表示位置データは、例えばディスプレイ121の左上を原点(0,0)とし、右方向をX軸の正方向、下方向をY軸の正方向とする座標値により、オブジェクトの画像の左上の点の位置を示す。
グループIDは複数のオブジェクトをグループ化する操作がなされた際、CADプログラムが当該グループを一意に識別する識別子であり、グループ化がなされる都度、各グループに対して付与され、グループのメンバとして選択されたオブジェクトの各々にセットされる。後述するように1つのオブジェクトはグループIDを複数保持する場合がある。
タッチIDはそのオブジェクトの画像に対してユーザがタッチ操作を行った際にセットされる。この実施形態では、1つのオブジェクトは単一のタッチ操作に対応するものとし、オブジェクトにセットされるタッチIDは最大で1つである。
CPU111は、タッチパネル122からタッチ操作の検出を示す操作データを受け取った場合、OSに従いタッチ検出イベントを発生させるとともに、検出されたタッチ操作を管理するタッチデータをメモリ112上に一時的に生成する。図3はタッチデータの構造を模式的に示した図である。タッチデータは、個々のタッチ操作を一意に識別するタッチID、現在のタッチ位置を座標値で示すタッチ位置データ、および必要に応じてその他属性値を保持している。
CPU111は、タッチパネル122からタッチ位置の移動を示す操作データを受け取った場合、OSに従いタッチ位置移動イベントを発生させるとともに、対応するタッチデータのタッチ位置データを順次更新する。また、CPU111は、タッチパネル122からタッチ操作の終了を示す操作データを受け取った場合、OSに従いタッチ終了イベントを発生させるとともに、メモリ112上から対応するタッチデータを削除する。CPU111はOSに従いタッチ検出イベント、タッチ位置移動イベント、もしくはタッチ終了イベントを発生させるとともに、CADプログラムのイベントハンドラに従いこれらイベントの発生を検出し、検出したイベントに応じた処理を行う。
図4は、CPU111がCADプログラムに従い、CADプログラムが管理するオブジェクトの画像に対するタッチ操作に伴いタッチ検出イベントが発生した際に実行されるイベントハンドラの処理の概要を示したフロー図である。まず、タッチ検出イベントが発生すると(S101)、CPU111はそのタッチ検出イベントに対応するタッチデータに含まれるタッチIDおよびタッチ位置データを取得する(S102)。CPU111はステップS102において取得したタッチIDおよびタッチ位置データをタッチ管理データベースに格納する(S103)。
図5はタッチ管理データベースのデータ構造を模式的に示した図である。タッチ管理データベースは、CADプログラムが各タッチ操作に応じた情報を管理するためのデータレコード(タッチ管理データ)の集まりであり、メモリ112に記憶されている。タッチ管理データベースの各データレコードは、「タッチID」、「タッチ位置データ」および「グループID」をデータフィールドとして含んでいる。CPU111はステップS102においてタッチIDおよびタッチ位置データを取得すると、タッチ管理データベースに新たなデータレコードを追加し、そのデータレコードの対応するデータフィールドに取得したタッチIDおよびタッチ位置データを格納する。
続いて、CPU11は、タッチ検出イベントが発生したオブジェクト(以下、「タッチされたオブジェクト」という)のプロパティデータ等に基づいて、当該タッチ検出イベントに対応するタッチ操作のタッチIDを関連付けるグループIDと当該タッチIDをセットすべきオブジェクトとを特定する(S104)。このステップS104におけるグループID乃至オブジェクトの特定については後述する。
続いて、CPU111は、ステップS102で取得したタッチIDを、ステップS104にて特定した各オブジェクトにセットする(S105)。続いて、CPU111はS102で取得したタッチIDを検索キーとしてタッチ管理データベースからデータレコードを検索し、そのデータレコードのデータフィールド「グループID」に、ステップS104において特定したグループIDを格納し(S106)、一連の処理を終了する。
なお、タッチされたオブジェクトに対して既に他のタッチ検出イベントが発生していた場合(同じオブジェクトに対して複数回のタッチがなされた場合)は、2回目以降のタッチ検出イベントの発生に応じた上記イベントハンドラの処理は実行されないものとする。
図6は、タッチされたオブジェクトにて、タッチ位置移動イベントが発生した際に、CPU111において、CADプログラムに従い実行されるイベントハンドラの処理の概要を示したフロー図である。まず、タッチ位置移動イベントが発生すると(S201)、CPU111はそのタッチ位置移動イベントに対応するタッチデータに含まれるタッチIDおよびタッチ位置データを取得する(S202)。
続いて、CPU111はステップS202において取得したタッチIDを検索キーとしてタッチ管理データベースからデータレコードを検索し、そのデータレコードのデータフィールド「タッチ位置データ」から過去のタッチ位置データを読み出す(S203)。CPU111は、ステップS202で取得したタッチ位置データが示す現在のタッチ位置と、ステップS203で読み出したタッチ位置データが示す過去のタッチ位置とを比較し、タッチ位置の変化量(例えばX軸方向、Y軸方向それぞれの移動距離)を算出する(S204)。
続いて、CPU111はステップS202で取得したタッチIDを保持するオブジェクトをオブジェクト管理データベースにて検索し、該当する全てのオブジェクトに関し、表示位置データが示す座標値の各要素値にステップS204で算出した変化量を加算し(S205)、一連の処理を終了する。ステップS205の処理により、タッチされたオブジェクトもしくはオブジェクト群(グループ)の画像の表示位置が、タッチ位置の移動に応じて移動することになる。
図7は、タッチされたオブジェクトにて、タッチ終了イベントが発生した際に、CPU111において、CADプログラムに従い実行されるイベントハンドラの処理の概要を示したフロー図である。まず、タッチ終了イベントが発生すると(S301)、CPU111はそのタッチ終了イベントに対応するタッチデータに含まれるタッチIDを取得する(S302)。続いて、CPU111はステップS302で取得したタッチIDを保持するオブジェクトをオブジェクト管理データベースにて検索し、該当する全てのオブジェクトに関し、プロパティデータから当該タッチIDをクリアする(S303)。
続いて、CPU111は、タッチ終了イベントが発生したオブジェクト(以下「タッチされていたオブジェクト」)のプロパティデータ等に基づいて、タッチIDがクリアされた各オブジェクトのタッチIDをリセットする(S304)。ステップS304において行われるタッチIDのリセットについては後述する。続いて、CPU111は、ステップS302において取得したタッチIDを検索キーとしてタッチ管理データベースからデータレコードを検索し、そのデータレコードをタッチ管理データベースから削除し(S305)、一連の処理を終了する。なお、タッチ終了イベントの発生に伴い、CPU111はOSに従いそのタッチ操作のタッチIDをクリアするため、その後、他の新たなタッチ操作の識別にそのタッチIDが再利用可能となる。
ここで、上記タッチ検出イベントのイベントハンドラにおけるグループ乃至オブジェクトの特定、およびタッチ終了イベントのイベントハンドラにおけるタッチIDのリセットの態様について説明する。
この実施形態では、グループは入れ子にする(あるオブジェクトが複数のグループに同時に属する)ことができ、1のグループは他のグループを包含することができるものとする。グループが入れ子関係にある場合、複数のグループおよびオブジェクトは階層関係となり、他のグループを包含しているグループを「上位グループ」、他のグループに包含されているグループを「下位グループ」、他の何れのグループにも包含されていないグループを「最上位グループ」、他の何れのグループも包含していないグループを「最下位グループ」と呼ぶ。あるオブジェクトが複数のグループに属する場合(すなわち入れ子関係にある複数のグループに属する場合)、当該オブジェクトのプロパティデータには複数のグループIDが保持されることになる。
この実施形態において、タッチ検出イベントが発生した際は、CPU111はCADプログラムに従い、複数のオブジェクトとそれをグループ化したグループの包含関係およびタッチ操作の状況に基づいて、検出したタッチ操作に応じた移動対象のグループ乃至オブジェクトを特定し、特定した移動対象のオブジェクトに検出したタッチのタッチIDをセットする。
すなわち、CPU111は、(1)タッチされたオブジェクトにタッチIDがセットされていなければ、そのオブジェクトが属する最上位のグループを移動対象として特定し、(2)タッチされたオブジェクトに既に他のタッチIDがセットされていれば、その他のタッチIDに関連付けられているグループの下位グループを移動対象として特定し、(3)特定すべきグループが存在しない場合(そもそもグループ化されていない、または(2)の場合にて既にセットされている他のタッチIDに関連付けられているグループが最下位のグループである場合)は、タッチされたオブジェクトのみを移動対象として特定し、これらの特定したオブジェクトに検出したタッチのタッチIDをセットする。
一方、タッチ終了イベントが発生した際は、CPU111はCADプログラムに従い、上記の特定の仕方とは逆の態様にてタッチIDのリセットを行う。すなわち、CPU111は、(4)終了したタッチのタッチIDがセットされていたオブジェクトが、終了したタッチのタッチIDがセットされていたグループより上位のグループに属していれば、その上位のグループに関連づけられているタッチIDをそのオブジェクトにリセットし、(5)終了したタッチのタッチIDがセットされていたオブジェクトが、終了したタッチのタッチIDがセットされていたグループより上位のグループに属していない場合(そもそもグループ化されていない、または終了したタッチのタッチIDがセットされていたグループが最上位のグループであった場合)は、タッチIDをクリアしたまま、タッチIDのリセットは行わない。
上記のようなCPU111のイベントハンドラに従った処理により、音響システムの設計画面においてオブジェクトの画像のレイアウト変更の操作が行われる様子を以下に説明する。図8において、4つのオブジェクト92〜95にそれぞれ対応する4つの画像が配置されており、オブジェクト92〜95がグループG1としてグループ化され、さらにグループG1はオブジェクト93、94をグループ化したグループG2を包含している。
図8(a)の状態にてオブジェクト92をユーザがタッチ(タッチ操作T1)し、図8(b)の矢印A1で示されるタッチ位置移動操作(ドラッグ)を行うと、まずオブジェクト92においてタッチ検出イベントが発生し、続いてオブジェクト92においてタッチ位置移動イベントが発生する。
オブジェクト92にて発生したタッチ検出イベントに応じて、CPU111は図4に示したイベントハンドラ処理を実行する。この場合、タッチされたオブジェクト92が属する最上位のグループであるグループG1が特定され、このグループG1に属する全てのオブジェクトであるオブジェクト92〜95のプロパティデータにタッチ操作T1を示すタッチIDがセットされる(上記(1)の態様)。また、タッチ操作T1に対応するタッチ管理データがタッチ管理データベースに登録され、そのタッチ管理データにグループG1のグループIDが格納されることにより、タッチ操作T1にグループG1が関連付けられる。
続いてオブジェクト92において発生するタッチ位置移動イベントに応じて、CPU111は図6に示したイベントハンドラ処理を実行する。この場合、タッチ位置移動イベントに対応するタッチデータからタッチ操作T1を示すタッチIDが取得され、当該タッチIDがセットされた各オブジェクト(オブジェクト92〜95)が図8(b)の破線で示した位置から実線で示した位置へ各々移動することになる。
なお、設計画面においては、音響システムのオブジェクトの画像が移動されると、移動された画像に結線されている音響ケーブルを示す線の始点もしくは終点の位置も連動して変化する。
図8(b)の実線で示した位置に各オブジェクトが再配置された状態にて、ユーザがタッチ操作T1を図8(c)の点P1で示される位置で維持したまま(オブジェクト92をタッチしたまま)、オブジェクト95をタッチ(タッチ操作T2)し、図8(c)の矢印A2で示されるタッチ位置移動操作(ドラッグ)を行うと、まずオブジェクト95においてタッチ検出イベントが発生し、続いてオブジェクト95においてタッチ位置移動イベントが発生する。
オブジェクト95にて発生したタッチ検出イベントに応じて、CPU111は図4に示したイベントハンドラ処理を実行する。この場合、タッチされたオブジェクト95のプロパティデータのタッチIDのみが、タッチ操作T1を示すものからタッチ操作T2を示すものに更新される(上記(3)の態様)。また、タッチ操作T2に対応するタッチデータの情報がタッチ管理データベースに登録されるが、タッチ操作T2には何れのグループのグループIDも関連付けられない。これによりオブジェクト95は、一時的にグループG1内の他のオブジェクトとは個別に移動可能となる。
続いてオブジェクト95において発生するタッチ位置移動イベントに応じて、CPU111は図6に示したイベントハンドラ処理を実行する。この場合、タッチ位置移動イベントに対応するタッチデータからタッチ操作T2を示すタッチIDが取得され、当該タッチIDがセットされた各オブジェクト(オブジェクト95)が図8(c)の破線で示した位置から実線で示した位置へ移動する。
その後、ユーザがオブジェクト95へのタッチを終了すると、オブジェクト95においてタッチ終了イベントが発生する。オブジェクト95において発生したタッチ終了イベントに応じて、CPU111は図7に示したイベントハンドラ処理を実行する。この場合、オブジェクト95のプロパティデータに、オブジェクト95の属するグループG1と関連付けられているタッチ操作T1のタッチIDがリセットされる(上記(4)の態様)。これにより、オブジェクト95が再度、グループG1に関連付けられているタッチ操作T1の移動操作に応じて移動するようになる。その後、CPU111はタッチ操作T2に対応するデータレコードをタッチ管理データベースから削除する。
図8(c)の実線で示した位置に各オブジェクトが再配置された状態にて、ユーザがタッチ操作T1を図8(d)の点P1で示される位置に維持したまま(オブジェクト92をタッチしたまま)、オブジェクト93をタッチ(タッチ操作T3)し、図8(d)の矢印A3で示されるタッチ位置移動操作(ドラッグ)を行うと、まずオブジェクト93においてタッチ検出イベントが発生し、続いてオブジェクト93においてタッチ位置移動イベントが発生する。
オブジェクト93にて発生したタッチ検出イベントに応じてCPU111は図4に示したイベントハンドラ処理を実行する。この場合、タッチされたオブジェクト93が属するグループのうち、グループG1の一つ下位のグループであるグループG2が特定され、このグループG2に属する全てのオブジェクトであるオブジェクト93、94のプロパティデータにタッチ操作T3を示すタッチIDがセットされる(上記(2)の態様)。また、タッチ操作T3に対応するタッチデータの情報がタッチ管理データベースに登録され、タッチ操作T3にはグループG2を示すグループIDが関連付けられる。これによりグループG2に属するオブジェクト93、94は、一時的にグループG1内の他のオブジェクトとは個別に移動可能となる。
続いてオブジェクト93において発生するタッチ位置移動イベントに応じて、CPU111は図6に示したイベントハンドラ処理を実行する。この場合、タッチ位置移動イベントに対応するタッチデータからタッチ操作T3を示すタッチIDが取得され、当該タッチIDがセットされた各オブジェクト(オブジェクト93、94)が図8(d)の破線で示した位置から実線で示した位置へ各々移動する。
その後、ユーザがオブジェクト93へのタッチを終了する(オブジェクト93をタッチしていた指をディスプレイ121から離す)と、オブジェクト93においてタッチ終了イベントが発生する。オブジェクト93において発生したタッチ終了イベントに応じて、CPU111は図7に示したイベントハンドラ処理を実行する。この場合、オブジェクト93、94のプロパティデータにはグループG2の一つ上位にあるグループG1と関連付けられているタッチ操作T1のタッチIDがリセットされる(上記(4)の態様)。これにより、グループG2に属するオブジェクト93、94が再度、グループG1に関連付けられているタッチ操作T1の移動操作に応じて移動するようになる。その後、CPU111はタッチ操作T3に対応するデータレコードをタッチ管理データベースから削除する。
図8(d)の実線で示した位置に各オブジェクトが再配置された状態にて、ユーザがタッチ操作T1について図8(e)の点P1で示された位置から矢印A4で示されるタッチ位置移動操作(ドラッグ)を行うと、図8(b)を用いて説明した場合と同様、オブジェクト92〜95が図8(e)の破線で示した位置から実線で示した位置へ各々移動する。
以上のように、本実施形態にかかる処理を行うPC11によれば、ユーザはグループの移動の途中、グループ内の任意の画像を個別に移動した後、再度、グループの移動を継続して行うことができる。そのため、グループ全体の表示位置を変更するとともに、グループ内の個々の画像の表示位置を調整したい、といった場合、そのための操作がスムーズかつ直感的に行われ、作業効率がよい。
以上、本発明にかかるシステム1において、CADプログラムの設計画面に表示される、音響システムを構成する要素(例えば、エフェクタ等)を示すオブジェクトのレイアウト変更を行う際の動作について説明したが、他の種類のソフトウェアにおける複数のオブジェクト操作に対して本発明を適用することもできる。その一例として音響信号処理のパラメータをユーザが操作する、ミキサプログラムにおけるフェーダを示すオブジェクトの操作に本発明を適用した例について以下説明する。
図9は、信号処理チャンネルに対応する複数のフェーダを示すオブジェクトを表示画面に表示し、複数のフェーダ(オブジェクト)をユーザがタッチ操作にて操作することにより、各フェーダに対応する信号処理チャンネルのパラメータ(例えばゲイン)を調整する、ミキサプログラムの表示画面を示す。図9に示されるミキサプログラムは8チャンネルのミキサとして機能し、表示画面において左から右に1チャンネル〜8チャンネルの各信号処理チャンネルに対応するフェーダが並んでいる。図9(a)においては例として、1チャンネル〜6チャンネルのフェーダがグループG3としてグループ化されているものとする。この状態で、図9(b)に示すように、例えばユーザが2チャンネルのフェーダにタッチ(タッチ操作T4)し、図9(b)の矢印A5に示す方向にユーザがタッチ位置移動操作(ドラッグ)を行う。この場合、タッチされた2チャンネルのフェーダが属するグループG3のオブジェクトである、1チャンネル〜6チャンネルのフェーダにタッチ操作T4を示すタッチIDがセットされ(上記(1)の態様)、グループG3に属するフェーダ(1チャンネル〜6チャンネルのフェーダ)が各々、図9(b)の破線で示した位置から実線で示した位置へ移動する。
この状態で、ユーザがタッチ操作T4を図9(c)の点P2で示される位置で維持したまま(2チャンネルのフェーダをタッチしたまま)、5チャンネルのフェーダをタッチ(タッチ操作T5)すると、5チャンネルのフェーダにはタッチ操作T5を示すタッチIDがセットされ(上記(3)の態様)、5チャンネルのフェーダは、グループG3内の他のフェーダとは個別に移動可能となる。この状態において、ユーザが、図9(c)の矢印A6で示す方向にタッチ操作T4のタッチ位置移動操作(ドラッグ)を行い、図9(c)の矢印A7で示す方向にタッチ操作T5のタッチ位置移動操作(ドラッグ)を行うと、1チャンネル〜4チャンネルおよび6チャンネルのフェーダは矢印A6の方向に、5チャンネルのフェーダは矢印A7の方向に、それぞれ図9(c)の破線で示した位置から実線で示した位置へと各々移動する。
その後、ユーザがタッチ操作T5を終了すると(5チャンネルのフェーダから指を離すと)、5チャンネルのフェーダには再度、タッチ操作T4を示すタッチIDがセットされ(上記(4)の態様)、図9(d)の矢印A8で示す方向に、ユーザがタッチ操作T4のタッチ位置移動操作(ドラッグ)を行うと、再び5チャンネルのフェーダは、1チャンネル〜4チャンネルおよび6チャンネルのフェーダとともに移動するようになる。
なお、上記のようにユーザのタッチ位置移動操作によりフェーダ(オブジェクト)が移動すると、移動したフェーダのパラメータ(例えばゲインを示す属性値)が移動後の位置に応じたパラメータに更新される。
[変形例]
上述した実施形態は本発明の一実施形態であり、本発明の技術的思想の範囲内において様々に変形可能である。以下にそれらの変形の例を示す。
上述した実施形態は本発明の一実施形態であり、本発明の技術的思想の範囲内において様々に変形可能である。以下にそれらの変形の例を示す。
上述した実施形態においては、一般的なPCに、本発明にかかるソフトウェアプログラムに従った処理を実行させることにより、画像のレイアウト変更を行う装置が実現される構成が採用されている。本発明はそれに限られず、例えばPC11がソフトウェアプログラムに従い行う処理と同様の処理をハードウェアにより実現したいわゆる専用機が代わりに採用されてもよい。
また、上述した実施形態において採用されているPC11の形態は特定のものに限定されない。例えば、PC11はノートブック、デスクトップ、タブレット型のパーソナルコンピュータ、あるいはスマートフォン、携帯ゲーム機等の端末装置等、マルチタッチディスプレイ12が利用可能な形態であれば、いずれの形態のものであってもよい。
また、上述した実施形態においては、PC11とマルチタッチディスプレイ12は独立した装置である構成が採用されているが、PC11とマルチタッチディスプレイ12が一体の装置として構成されてもよい。例えば上記のタブレット型のPCやスマートフォン等のようにマルチタッチディスプレイが内蔵されているものであってもよい。
また、上述した実施形態においては、PC11に対しマルチタッチディスプレイ12および外部機器が直接接続されている構成が採用されているが、例えばそれらの装置間がLAN(Local Area Network)やインターネット等の広域ネットワークを介して互いに接続されていてもよい。
また、上述した実施形態においては、複数のオブジェクトは予めグループ化されているものとして説明したが、グループ化あるいは解除は任意のタイミングで行うことができる。また、複数のオブジェクトをグループ化するための操作あるいはグループを解除するための操作は、種々の操作方法を採用してよい。例えば、複数のオブジェクトをグループ化するための操作として、グループ化したい複数のオブジェクトを囲むように矩形領域を指定する操作方法や、特定のボタン(グループ化ボタン等)を操作した後にグループ化したいオブジェクトを順次タッチすることでそれらを指定する操作方法、あるいは、例えばPC11がキーボード等の他の入力装置を備える場合に、特定のキー(コントロールキーなど)やスイッチを押下しながら選択したいオブジェクトを順次タッチする操作方法など、本発明が適用されるソフトウェアプログラムの要件あるいはハードウェアであるPC11やOSの構成等、様々な条件に基づいて適宜採用されるものであってよい。
また、上述した実施形態においては、タッチされたオブジェクトに対して既に他のタッチ検出イベントが発生していた場合は先着優先とし、2回目以降のタッチ検出イベントの発生に応じたイベントハンドラの処理は実行されない構成が採用されているが、後着優先とし、同じオブジェクトに対して複数回のタッチがなされた場合、2回目以降のタッチ検出イベントの各々に関してもそれらの各々に応じたイベントハンドラの処理が実行される構成が採用されてもよい。また、1つのオブジェクトが複数のタッチ操作に対応し、複数のタッチIDを保持するようにしてもよい。この場合、イベントハンドラの処理を、複数のタッチ操作を先着優先とした場合は保持されているタッチ操作のうち最先のものについて行い、後着優先とした場合は保持されているタッチ操作のうち最後のものについて行うようにすればよい。
また、上述した実施形態においては、複数のオブジェクトとそれをグループ化したグループの包含関係にてタッチ操作に応じた移動をするグループ乃至オブジェクトを特定する構成が採用されているが、本発明はこの点に関し限定されず、いずれのオブジェクトあるいはグループを特定するかの基準は他に様々なものが考えられる。
例えば、グループの設定順序を保持しておき、タッチされたオブジェクトが複数のグループに属する場合は、最近グループ化されたものから順に、あるいはその逆順にグループを特定し、その特定されたグループに属する各オブジェクトを、タッチIDをセットする対象のオブジェクトとして特定するようにしてもよい。
あるいは、第1のグループと第2のグループが設定されている状況において、それらの両方のグループに属するオブジェクトをタッチする際、1本指でタッチする場合は第1のグループの選択操作、複数の指でタッチする場合は第2のグループの選択操作、のようにタッチに用いる指の数に基づき判別する構成が採用されてもよい。また、オブジェクトのタッチ後に所定の閾値未満の加速度でタッチ位置移動操作(ドラッグ)をした場合は第1のグループの選択操作、所定の閾値以上の加速度でタッチ位置移動操作をした場合は第2のグループの選択操作、のようにタッチ位置移動操作における加速度や速度に基づき判別する構成が採用されてもよい。また、オブジェクトのタッチ後に左右にそのオブジェクトを振るようなタッチ操作を行った場合は第2のグループの選択操作、通常のタッチ操作を行った場合は第1のグループの選択操作、のようにタッチ操作におけるジェスチャーに基づき判別する構成が採用されてもよい。また、例えば、オブジェクトをタップ(表示画面を叩くようにタッチする操作)した後にタッチ操作がされた場合は第2のグループの選択操作、他の場合は第1のグループの選択操作、のように、タッチ操作の前後に行ったタッチ操作の種別(例えば上記タップ)等に基づき判別する構成が採用されてもよい。このように、本発明において、タッチ操作に応じた移動の対象のグループ乃至オブジェクトをどのように決定するかの基準としては、オブジェクトおよびグループとの関係、タッチ操作に基づく矩形領域との関係、タッチ操作の位置・数・速度・加速度・ジェスチャー・種別、あるいは他の操作対象との同時操作等、種々の基準を採用することができる。
また、上述した実施形態において示したデータ構造やその内容、データ処理のフロー等はあくまで一例であって、本発明を限定するものではない。
1…システム、11…PC、12…マルチタッチディスプレイ、111…CPU、112…メモリ、113…GPU、114…画像データ出力I/F、115…操作データ入力I/F、116…入出力I/F、121…ディスプレイ、122…タッチパネル
Claims (6)
- 画像を表示する表示手段と前記表示手段に表示された画像に対するタッチ操作を検出する検出手段とを備えるタッチディスプレイとの間でデータの受け渡しを行う入出力手段と、
前記表示手段に表示される複数の画像をグループ化し、前記検出手段が前記グループ化されている複数の画像のうちの任意の画像である第1の画像に対する第1のタッチ操作のタッチ位置の移動を検出した場合、前記グループ化されている複数の画像の表示位置が前記第1のタッチ操作のタッチ位置の移動に各々追従するように前記表示手段を制御し、前記検出手段が前記グループ化されている複数の画像のうちの任意の画像であるの第2の画像に対する前記第1のタッチ操作とは異なる第2のタッチ操作のタッチ位置の移動を検出した場合、前記第2の画像の表示位置が、前記グループ化されている複数の画像のうちの前記第2の画像以外の画像とは独立に、前記第2のタッチ操作のタッチ位置の移動に追従するように前記表示手段を制御する制御手段と
を備えたことを特徴とする表示制御装置。 - 前記制御手段は、前記検出手段が前記第2のタッチ操作の検出を終了した場合、前記第2の画像の表示位置が再び前記第1のタッチ操作のタッチ位置の移動に追従するように前記表示位置を制御する
ことを特徴とする請求項1に記載の表示制御装置。 - 前記制御手段は、前記検出手段が前記第1のタッチ操作の検出を継続している間に前記検出手段が前記グループ化されている複数の画像のうちの任意の画像に対する新たなタッチ操作を検出した場合、当該新たなタッチ操作を前記第2のタッチ操作であると判定する
請求項1または2に記載の表示制御装置。 - 前記制御手段は、前記複数の画像が属するグループを第1のグループとするとき、前記第2の画像が前記第1のグループとは異なるグループである第2のグループにも属する場合、前記第2のタッチ操作に応じて、前記第2のグループに属する複数の画像の表示位置が、前記第2のタッチ操作のタッチ位置の移動に追従するように前記表示手段を制御する
請求項1乃至3のいずれか1項に記載の表示制御装置。 - 前記タッチディスプレイを備える
請求項1乃至4のいずれか1項に記載の表示制御装置。 - 画像を表示する表示手段と前記表示手段に表示された画像に対するタッチ操作を検出する検出手段とを備えるタッチディスプレイとの間でデータの受け渡しを行う入出力手段を備えるコンピュータに、
前記表示手段に表示される複数の画像をグループ化する処理と、
前記検出手段が前記グループ化している複数の画像のうちの任意の画像である第1の画像に対する第1のタッチ操作のタッチ位置の移動を検出した場合、前記グループ化している複数の画像の表示位置が前記第1のタッチ操作のタッチ位置の移動に各々追従するように前記表示手段を制御する処理と、
前記検出手段が前記グループ化している複数の画像のうちの任意の画像であるの第2の画像に対する前記第1のタッチ操作とは異なる第2のタッチ操作のタッチ位置の移動を検出した場合、前記第2の画像の表示位置が、前記グループ化している複数の画像のうちの前記第2の画像以外の画像とは独立に、前記第2のタッチ操作のタッチ位置の移動に追従するように前記表示手段を制御する処理と
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012191282A JP2014048894A (ja) | 2012-08-31 | 2012-08-31 | 表示制御装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012191282A JP2014048894A (ja) | 2012-08-31 | 2012-08-31 | 表示制御装置およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014048894A true JP2014048894A (ja) | 2014-03-17 |
Family
ID=50608505
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012191282A Pending JP2014048894A (ja) | 2012-08-31 | 2012-08-31 | 表示制御装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014048894A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2018167813A1 (ja) * | 2017-03-13 | 2019-06-27 | 三菱電機株式会社 | タッチパッド操作検出装置およびタッチパッド操作検出方法 |
CN112446699A (zh) * | 2019-08-29 | 2021-03-05 | 阿尔派株式会社 | 电子装置以及电子装置的显示控制方法 |
CN114942720A (zh) * | 2022-07-22 | 2022-08-26 | 广州市兴视科信息科技有限公司 | 电子屏多点触控交互方法及系统 |
-
2012
- 2012-08-31 JP JP2012191282A patent/JP2014048894A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2018167813A1 (ja) * | 2017-03-13 | 2019-06-27 | 三菱電機株式会社 | タッチパッド操作検出装置およびタッチパッド操作検出方法 |
CN112446699A (zh) * | 2019-08-29 | 2021-03-05 | 阿尔派株式会社 | 电子装置以及电子装置的显示控制方法 |
CN114942720A (zh) * | 2022-07-22 | 2022-08-26 | 广州市兴视科信息科技有限公司 | 电子屏多点触控交互方法及系统 |
CN114942720B (zh) * | 2022-07-22 | 2022-10-25 | 广州市兴视科信息科技有限公司 | 电子屏多点触控交互方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5922598B2 (ja) | マルチタッチ利用、ジェスチャ及び実装 | |
US10133466B2 (en) | User interface for editing a value in place | |
RU2501068C2 (ru) | Интерпретация неоднозначных вводов на сенсорном экране | |
TW591398B (en) | Method of implementing a plurality of system tray areas | |
JP6364893B2 (ja) | 端末装置、電子ホワイトボードシステム、電子ホワイトボードの入力支援方法、及びプログラム | |
RU2623885C2 (ru) | Запись формулы для ограниченного устройства отображения | |
US20100293501A1 (en) | Grid Windows | |
US20110248939A1 (en) | Apparatus and method for sensing touch | |
US20130061122A1 (en) | Multi-cell selection using touch input | |
CN103809888A (zh) | 移动终端及其操控方法 | |
JP2006236339A (ja) | グラフィカルユーザインタフェースを操作する方法及びグラフィカルユーザインタフェース | |
KR20140098904A (ko) | 멀티태스킹 운용 방법 및 이를 지원하는 단말기 | |
JP2011221790A (ja) | 情報処理装置、情報処理方法およびプログラム | |
US20100077333A1 (en) | Method and apparatus for non-hierarchical input of file attributes | |
KR20150033508A (ko) | 아이콘의 이동 방법 및 이 방법이 적용되는 터치 타입 휴대 단말기 | |
US9910643B2 (en) | Program for program editing | |
JP2011128962A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP2015114997A (ja) | 図面作成プログラム、図面作成方法及び情報処理装置 | |
JPWO2016035800A1 (ja) | オブジェクト管理装置、思考支援装置、オブジェクト管理方法、及びコンピュータ読み取り可能な記録媒体 | |
CN103324389A (zh) | 智能终端应用程序的操作方法 | |
TW201339953A (zh) | 手持裝置及其主頁面管理方法 | |
KR101060175B1 (ko) | 터치스크린 제어방법, 이를 위한 기록매체 및 이를 이용하는 클라우드 컴퓨팅 제어방법 | |
JP2014048894A (ja) | 表示制御装置およびプログラム | |
JP2014182652A (ja) | 情報処理装置およびその制御方法、ならびにプログラム | |
TWI472889B (zh) | 可程式邏輯控制器設計裝置 |