JP2014203417A - 制御装置及び操作制御方法並びに操作制御プログラム - Google Patents

Abstract

【課題】操作用の画面を別途用意することなく、オブジェクト表示領域に対する操作のみで、任意の場所のオブジェクトを操作する。
【解決手段】オブジェクト表示領域に対するタッチ操作により、オブジェクトに対する処理が指示可能な表示パネルを制御する制御装置であって、オブジェクトに対する処理を指示する指示位置を、タッチ操作のタッチ位置から離れた位置に設定する機能を有する制御部を備え、制御部が、指示位置をタッチ位置と同じ位置に設定する第１状態と、指示位置をタッチ位置から離れた位置に設定する第２状態と、を切り換えたり、オブジェクト表示領域の所定の範囲に、第１状態で指示位置を設定する第１領域と、第１領域の周囲の、第２状態で指示位置を設定する第２領域と、を設定し、タッチ位置が属する領域に応じて、第１状態と第２状態とを切り換えたりする。
【選択図】図１０

Description

本発明は、制御装置及び操作制御方法並びに操作制御プログラムに関し、特に、表示画面上で操作が可能な表示パネルを制御する制御装置及び表示画面上での操作を制御する操作制御方法並びに操作制御プログラムに関する。

近年、大型のタッチパネルディスプレイ上にオブジェクトを表示し、オブジェクトを操作しながら会議を行う電子会議が行われるようになってきている。このような大型のタッチパネルディスプレイでは、手の届かない場所に表示されているオブジェクトを操作するのが困難であることから、操作を支援する様々な方法が提案されている。

例えば、下記特許文献１には、表示画面にタッチセンサを備え、該画面上でのタッチ操作により画面表示の操作が可能な表示操作装置において、前記画面に表示される画像の縮小画像を表示する小画面領域を設定し、前記小画面領域におけるタッチ操作位置を前記表示画面上の位置に変換することにより、前記小画面領域におけるタッチ操作を前記表示画面における画面表示の操作に置き換えて、リモート操作可能とした表示操作装置が開示されている。

また、下記特許文献２には、表示画面にタッチセンサを備え、該画面上でのタッチ操作により画面表示の操作が可能な表示操作装置において、前記画面を縦横各々等分割するとともに、前記画面に表示される画像の分割画像を表示するサブ画面領域を設定し、前記サブ画面領域におけるタッチ操作位置を前記表示画面上の位置に変換することにより、前記サブ画面領域におけるタッチ操作を前記表示画面における画面表示の操作に置き換えて、リモート操作可能とした表示操作装置が開示されている。

特開２００９−０６４２０９号公報 特開２００９−０８７２９５号公報

上記特許文献１、２のように、オブジェクトが表示される領域の一部に、操作用の画面（特許文献１における小画面領域や特許文献２におけるサブ画面領域）を設け、その操作用の画面で操作を行うことにより、オブジェクト表示領域に表示されている任意のオブジェクトを操作することは可能である。

しかしながら、これらの方法では、オブジェクト表示領域にタッチした場合と操作用の画面にタッチした場合とで装置側の制御が変わるため、ユーザは手の届く範囲への操作と手の届かない範囲への操作とを意識的に区別しなければならず、操作が煩雑になり、操作に集中することができないという問題があった。

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、操作用の画面を別途用意することなく、オブジェクト表示領域に対する操作のみで、任意の場所のオブジェクトを操作することができる制御装置及び操作制御方法並びに操作制御プログラムを提供することにある。

本発明の一側面は、オブジェクト表示領域に対するタッチ操作により、オブジェクトに対する処理が指示可能な表示パネルを制御する制御装置であって、オブジェクトに対する処理を指示する指示位置を、タッチ操作のタッチ位置から離れた位置に設定する機能を有する制御部を備えることを特徴とする。

本発明の一側面は、オブジェクト表示領域に対するタッチ操作により、オブジェクトに対する処理が指示可能な表示パネルを制御する制御装置における操作制御方法であって、タッチ操作のタッチ位置に基づいて、オブジェクトに対する処理を指示する指示位置を設定する指示位置設定ステップと、前記オブジェクトに対する処理を実行する処理ステップと、を有し、前記指示位置設定ステップでは、前記指示位置を、前記タッチ操作のタッチ位置から離れた位置に設定することを特徴とする。

本発明の一側面は、オブジェクト表示領域に対するタッチ操作により、オブジェクトに対する処理が指示可能な表示パネルを制御する制御装置で動作する操作制御プログラムであって、前記制御装置に、上記ステップを実行させることを特徴とする。

本発明の制御装置及び操作制御方法並びに操作制御プログラムによれば、タッチ操作のタッチ位置から離れた位置に表示されているオブジェクトに対して、タッチ操作に対応する処理を指示可能にすることにより、操作用の画面を別途用意することなく、オブジェクト表示領域に対する操作のみで、任意の場所のオブジェクトを操作することができる。

本発明の実施例１に係る操作制御システムの外観構成を模式的に示す図である。 本発明の実施例１に係る操作制御システムの各装置の構成を示すブロック図である。 本発明の実施例１に係る制御装置の処理（タッチ検出処理）を示すフローチャート図である。 図３の領域分け処理を示すフローチャート図である。 図３の領域分け処理の他の例を示すフローチャート図である。 図３のタッチ位置に基づく指示位置算出処理を示すフローチャート図である。 図３の連続操作オブジェクトの位置補正処理を示すフローチャート図である。 本発明の実施例１に係るタッチ位置に基づく領域分けの手法を説明する模式図である。 本発明の実施例１に係る指示位置の算出手法を説明する模式図である。 本発明の実施例１に係るタッチ位置と指示位置の関係を説明する模式図である。 本発明の実施例２に係る制御装置の処理（タッチ検出処理）を示すフローチャート図である。 図１２のタッチ位置に基づく指示位置算出処理を示すフローチャート図である。 本発明の実施例２に係るタッチ位置と指示位置の関係を説明する模式図である。 本発明の実施例３に係る制御装置の処理（タッチ検出処理）を示すフローチャート図である。 本発明の実施例３に係る制御装置の処理（タッチ検出処理の他の例）を示すフローチャート図である。 本発明の実施例３に係るタッチ位置と指示位置の関係を説明する模式図である。

背景技術で示したように、大型のタッチパネルディスプレイ上にオブジェクトを表示し、オブジェクトを操作しながら会議を行う電子会議が行われるようになってきている。このような大型のタッチパネルディスプレイでは、手の届かない場所に表示されているオブジェクトを操作するのが困難であることから、画面全体の縮小画像を手元に表示して操作可能にするもの（特許文献１）や、離れた位置の分割領域を手元に表示して操作可能にするもの（特許文献２）が提案されている。しかしながら、これらの方法では、ユーザは手の届く範囲への操作と手の届かない範囲への操作とを意識的に区別しなければならず、操作が煩雑になり、操作に集中することができないという問題があった。

そこで、本発明の一実施の形態では、タッチ位置をそのまま指示位置にする第１状態と、タッチ位置から離れた位置を指示位置にする第２状態と、を設け、第１状態と第２状態とを切り換えることにより、操作者の手の届く範囲での操作のみで、オブジェクト表示領域上の任意の場所のオブジェクトが操作できるようにする。

上記制御を実現するために、第１の方法として、オブジェクト表示領域の操作者の手が届く範囲に、第１領域と第１領域の周囲の第２領域とを設け、タッチ位置が属する領域に応じて第１状態と第２状態とを切り換える。また、第２の方法として、オブジェクト表示領域の全体に対して、操作者の指示に応じて第１状態と第２状態とを切り換える。また、第３の方法として、タッチ位置の移動が複数回行われた場合に、複数回の移動を反映して指示位置を設定する。

これらの方法により、オブジェクト表示領域への直接の操作で、手の届かない範囲についてもオブジェクトの操作が可能となり、操作性を格段に向上させることができる。また、第１の方法では、第１領域と第２領域とが連続しているため、操作者はシームレスに画面操作を行うことができる。また、第２の方法では、第１状態と第２状態を切換え可能としているため、手元にあるオブジェクトに対する操作性を損なうことなく、手の届かない範囲にあるオブジェクトの操作が可能となる。また、第３の方法では、マウスのような操作が可能となる。

上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の実施例１に係る操作制御システム及び操作制御方法並びに操作制御プログラムについて、図１乃至図１０を参照して説明する。図１は、本実施例の操作制御システムの外観構成を模式的に示す図であり、図２は、操作制御システムの各装置の構成を示すブロック図、図３乃至図７は、本実施例の制御装置の処理を示すフローチャート図である。また、図８は、領域分けの手法を説明する模式図、図９は、指示位置の算出手法を説明する模式図であり、図１０は、タッチ位置と指示位置との関係を説明する模式図である。

図１に示すように、本実施例の操作制御システムは、オブジェクトの表示や画面上での操作が可能な表示パネル１０と、表示パネル１０を制御する制御装置２０と、で構成され、表示パネル１０と制御装置２０とは、有線又は無線で接続されている。なお、図１では、表示パネル１０と制御装置２０とを別々の装置としているが、表示パネル１０と制御装置２０とは一体的な構成（表示パネル１０の内部に制御装置２０が格納された構成）としてもよい。

図２は、上記操作制御システムの各装置の構成を示すブロック図である。以下、各装置について詳細に説明する。

［表示パネル］
表示パネル１０は、操作者がオブジェクトを閲覧／操作する装置であり、表示操作部１１と必要に応じてユーザ検出部１２とを備える。

表示操作部１１は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（electroluminescence）ディスプレイなどの表示部上に、格子状の透明電極で構成された感圧方式や静電容量方式のタッチセンサなどの操作部を備える。そして、制御装置２０の指示に従ってオブジェクトを表示する（表示部の画面全体がオブジェクト表示領域となる。）と共に、タッチセンサが検出した信号（オブジェクト表示領域上のタッチ位置の座標）を制御装置２０に送信する。

ユーザ検出部１２は、表示操作部１１を操作するユーザを検出する手段（例えば、キネクト）であり、ＣＣＤ（Charge Coupled Devices）カメラなどを用いて人物を撮影する撮影装置、光センサを用いて物体で反射される光（又は物体から放射される赤外線）を検出する装置、音波センサを用いて物体で反射される音波を検出する装置、ＮＦＣ（Near Field Communication）技術を用いてＩＣタグを検出する装置などである。

撮影装置の場合は、所定の場所（例えば、表示パネル１０の枠の上部など）に設置され、表示操作部１１に向かい合っている操作者を撮影し、撮像した操作者の画像を制御装置２０に送信する。また、各種検出装置の場合は、所定の場所（例えば、表示パネル１０の枠の下部など）に複数配列して設置され、表示操作部１１に向かい合っている操作者に対応する場所に設置された検出装置が光や音波、電磁波を検出し、検出した信号を制御装置２０に送信する。

［制御装置］
制御装置２０は、ＣＰＵ（Central Processing Unit）とＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）などの記憶手段とで構成される制御部を含み、制御部は、表示パネル１０及び制御装置２０の動作を制御する。この制御部は、画像処理部２１と処理判定部２２とタッチ位置／操作検出部２３とユーザ位置判定部２４と状態決定部２５と時間管理部２６と座標変換部２７などとして機能する。

画像処理部２１は、処理判定部２２から受け取った指示に基づいて、オブジェクトの表示位置や表示形態を変更する。そして、位置や形態を変更した後のオブジェクトの表示画像を生成し、表示画像のデータを表示操作部１１に送信する。

処理判定部２２は、座標変換部２７がタッチ位置に基づいて設定した位置（指示位置と呼ぶ。）に、タッチ位置／操作検出部２３が検出した操作を反映し、反映した結果（例えば、指示位置にオブジェクトを移動させる指示）を画像処理部２１に通知する。

タッチ位置／操作検出部２３は、表示パネル１０の表示操作部１１から送信される信号に基づいて、画面上のタッチ位置を検出し、そのタッチ位置をユーザ位置判定部２４、状態決定部２５及び時間管理部２６に通知する。また、タッチ位置やタッチ位置の変化から、操作を検出し、検出した操作を処理判定部２２に通知する。例えば、タッチ位置が移動した場合は、指示位置（カーソル）やオブジェクトを移動させる操作であると判断する。

ユーザ位置判定部２４は、タッチ位置／操作検出部２３から通知される位置に基づいて、表示操作部１１の画面に対するユーザの位置を判定し、そのユーザの位置を状態決定部２５に通知する。また、表示パネル１０のユーザ検出部１２から送信される画像や信号に基づいて、表示操作部１１の画面に対するユーザの位置を判定し、そのユーザの位置を状態決定部２５に通知する。例えば、カメラで撮影した画像を利用する場合は、画像を解析し、公知のパターン認識技術を用いて画像から人物を抽出し、その人物の画像上の位置とカメラの設置位置及び撮影方向に基づいて、表示操作部１１の画面に対するユーザの位置を判定する。

状態決定部２５は、ユーザ位置判定部２４から通知されたユーザ位置に基づいて、第１領域及び第２領域を設定する。例えば、ユーザ位置を基準にして、ユーザの手が届く範囲（例えば、ユーザ両肩の位置と手の長さとから算出される範囲）を特定し、ユーザ位置の近傍の所定の範囲を第１領域（等倍領域）とし、ユーザの手が届く範囲内かつ第１領域の外側を第２領域（変倍領域）とする。そして、タッチ位置／操作検出部２３から通知されたタッチ位置が、上記第１領域と第２領域のどちらの領域に属するかを判定し、タッチ位置が第１領域内の場合は、タッチ位置と指示位置との関係を規定する動作状態を第１状態に設定し、タッチ位置が第２領域内の場合は動作状態を第２状態に設定し、タッチ位置と設定した動作状態とを座標変換部２７に通知する。

時間管理部２６は、タイマーなどであり、ユーザが表示操作部１１の画面にタッチしてからの経過時間（タッチ間隔）を管理し、タッチ間隔を状態決定部２５に通知する。このタッチ間隔は、状態決定部２５が後述する浪域分け処理やオブジェクトの位置補正処理を行う際に利用される。

座標変換部２７は、状態決定部２５が設定した動作状態に応じて、タッチ位置から指示位置を算出し、算出した指示位置を処理判定部２２に通知する。例えば、第１状態に設定されている場合（タッチ位置が第１領域内の場合）は、タッチ位置をそのまま指示位置に設定し、第２状態に設定されている場合（タッチ位置が第２領域内の場合）は、タッチ位置をユーザ位置から離れる方向（画面の端部に向かう方向）に移動させ（座標変換し）、座標変換した位置を指示位置に設定する。この第２状態における指示位置の設定方法については後述する。

なお、上記画像処理部２１、処理判定部２２、タッチ位置／操作検出部２３、ユーザ位置判定部２４、状態決定部２５、時間管理部２６、座標変換部２７は、制御装置２０のＣＰＵ上で動作するソフトウェア（操作制御プログラム）として構成してもよいし、ハードウェアとして構成してもよい。

次に、上記構成の操作制御システム（制御装置２０）におけるタッチ検出処理について、図３乃至図７のフローチャート図を参照して説明する。なお、このタッチ検出処理は、制御装置２０に含まれるＣＰＵが、ＲＯＭに記憶された操作制御プログラムを実行することによって実現される。

まず、タッチ位置／操作検出部２３は、表示パネル１０の表示操作部１１のタッチセンサから受信した信号に基づいて、ユーザが表示操作部１１をタッチした位置（座標）を検出する（Ｓ１００）。

次に、状態決定部２５は、表示操作部１１の画面（オブジェクト表示領域）の領域分けを行う（Ｓ１１０）。表示操作部１１の画面は、操作者の手が届く範囲の領域と手が届かない範囲の領域とに分類され、手が届く範囲の領域は、図８に示すように、タッチ位置がそのまま指示位置となる第１領域（第１状態の領域）と、タッチ位置が予め定められたルールに従ってオブジェクト表示領域の端部方向に移動して指示位置となる第２領域（第２状態の領域）とを含む。この第１領域及び／又は第２領域は、表示形態（例えば色）を変えたり、第１領域と第２領域の境界線を表示したりして、操作者が領域を識別できるようにすることが望ましい。また、手が届く範囲／手が届かない範囲は厳密に規定する必要はなく、表示操作部１１の画面サイズや操作者の形態（身長や肩幅、手の長さなど）に応じて適宜変更可能である。

図４及び図５は、Ｓ１１０の領域分け処理の詳細を示すフローチャート図であり、図４は、表示操作部１１からの信号に基づいて領域分けを行う場合を示し、図５は、ユーザ検出部１２（ここではカメラ）からの信号に基づいて領域分けを行う場合を示している。以下、各々の場合について説明する。

［表示操作部１１からの信号に基づいて領域分けを行う場合］
図４に示すように、状態決定部２５は、時間管理部２６からタッチ間隔を取得し、タッチ間隔が予め定めた所定時間以上であるかを判断する（Ｓ１１１ａ）。タッチ間隔が所定時間以上の場合は、新たな操作のための領域設定指示である（前回の操作と関連がない）と判断して、状態決定部２５は、タッチ位置に基づいて領域を設定する（Ｓ１１３ａ）。

具体的には、タッチ位置は操作者の正面の中央位置であると判断し、図８（ａ）に示すように、タッチ位置に対応する表示操作部１１の下辺の基準点を中心とする第１半径の半円を第１領域の境界とし、下辺の基準点を中心とする第１半径よりも大きい第２半径の半円を第２領域の境界とする。また、図８（ｂ）に示すように、タッチ位置を中心とする第１半径の円を第１領域の境界とし、タッチ位置を中心とする第１半径よりも大きい第２半径の円を第２領域の境界としてもよい。

なお、上記第１半径及び第２半径の値や比率は、画面（オブジェクト表示領域）のサイズや操作者の手の長さなどに応じて適宜設定可能である。また、図８では、第２領域の幅を一定としたが、画面の端部までの距離が遠い場合は指示位置を大きく動かす必要があることから、第２領域の幅を画面の端部までの距離に応じて変化させてもよい。また、図８では、手が届く範囲が手の長さを半径とする円状になることから、領域の境界を半円や円で規定したが、領域の形状は適宜変更可能であり、例えば、タッチ位置に対応する点を下辺の中心とする矩形（又はタッチ位置を中心とする矩形）などとすることもできる。

一方、タッチ間隔が所定時間よりも短い場合は、領域分け指示であるか、操作指示であるかが判別できないため、状態決定部２５は、タッチ位置が前回設定された第１領域（又は第１領域及び第２領域）以外であるかを判断し（Ｓ１１２ａ）、タッチ位置が第１領域（又は第２領域）内の場合は、その領域における操作指示である（前回の操作と関連がある）と判断して、領域分け処理を終了する。一方、タッチ位置が第１領域（又は第１領域及び第２領域）以外の場合は、状態決定部２５は、新たな操作のための領域設定指示であると判断して、上述した手法により、タッチ位置に基づいて領域を設定する（Ｓ１１３ａ）。

［ユーザ検出部１２からの信号（カメラで撮影した画像）に基づいて領域分けを行う場合］
図５に示すように、状態決定部２５は、時間管理部２６からタッチ間隔を取得し、タッチ間隔が予め定めた所定時間以上であるかを判断する（Ｓ１１１ｂ）。タッチ間隔が所定時間以上の場合は、新たな操作のための領域設定指示である（前回の操作と関連がない）と判断して、ユーザ位置判定部２４は、カメラで撮影した操作者の画像に基づき、表示操作部１１の画面に対する操作者の位置を特定して状態決定部２５に通知し（Ｓ１１３ｂ）、状態決定部２５は、通知された操作者の位置に基づいて、上述した手法により、領域を設定する（Ｓ１１４ｂ）。

一方、タッチ間隔が所定時間よりも短い場合は、領域分け指示であるか、操作指示であるかが判別できないため、状態決定部２５は、タッチ位置が前回設定された第１領域（又は第１領域及び第２領域）以外であるかを判断し（Ｓ１１２ｂ）、タッチ位置が第１領域（又は第２領域）内の場合は、その領域における操作指示である（前回の操作と関連がある）と判断して、領域分け処理を終了する。一方、タッチ位置が第１領域（又は第１領域及び第２領域）の場合は、新たな操作のための領域設定指示であると判断して、ユーザ位置判定部２４は、カメラで撮影した操作者の画像に基づき、表示操作部１１の画面に対する操作者の位置を特定して状態決定部２５に通知し（Ｓ１１３ｂ）、状態決定部２５は、通知された操作者の位置に基づいて、上述した手法により、領域を設定する（Ｓ１１４ｂ）。

図３のフローチャート図に戻り、状態決定部２５は、Ｓ１００で検出したタッチ位置が、Ｓ１１０で設定したどの領域に属するかを判定する（Ｓ１２０）。タッチ位置が第１領域内の場合は（Ｓ１３０のＹｅｓ）、座標変換部２７は、タッチ位置をそのまま指示位置に設定し（Ｓ１７０）、Ｓ１８０のステップに遷移する。

一方、タッチ位置が第１領域以外（第２領域内）の場合は（Ｓ１３０のＮｏ）、座標変換部２７は、タッチ位置に基づいて指示位置を算出し（Ｓ１４０）、算出した位置を指示位置として設定する（Ｓ１５０）。図６は、指示位置算出処理の詳細を示しており、第１領域と第２領域の境界からタッチ位置までの距離や第１領域と第２領域の境界から画面（オブジェクト表示領域）の端部までの距離などに基づいて指示位置を算出する（Ｓ１４１）。

例えば、図９（ａ）に示すように、タッチ位置（図の丸印）が第２領域内の場合は、タッチ位置を、領域の基準点（ユーザ位置）とタッチ位置とを通る線に沿って画面（オブジェクト表示領域）の端部方向に移動した位置を指示位置（図の三角印）とする。その際、タッチ位置と境界との間隔（図中のｘ１）が小さい場合は、指示位置と境界との間隔（図中のｙ１）も相対的に小さくし、タッチ位置と境界との間隔（図中のｘ２）が大きい場合は、指示位置と境界との間隔（図中のｙ２）も相対的に大きくする。すなわち、タッチ位置と境界との間隔に応じて、指示位置と境界との間隔を変化させる。なお、ここでは、指示位置と境界との間隔が、タッチ位置と境界との間隔に線形同期する（ｙ１／ｘ１＝ｙ２／ｘ２の関係となる）場合を示したが、例えば、２次関数や３次関数、指数関数などに基づいて非線形で同期するようにしてもよい。

図９（ａ）では、タッチ位置と境界との間隔が等しければ、どの角度でも指示位置と境界との間隔が変わらないようにしたが、画面の端部までの距離が遠い場合は指示位置を大きく動かす必要があることから、境界から画面の端部までの間隔に応じて、指示位置のタッチ位置からの離れ度合いを変化させることもできる。例えば、図９（ｂ）に示すように、第２領域の幅をｄとすると、第１領域と第２領域の境界から画面の端部までの間隔（図中のＬ１）が小さい場合は、指示位置と境界との間隔（図中のｙ３）も相対的に小さくし、境界から画面の端部までの間隔（図中のＬ２）が大きい場合は、指示位置と境界との間隔（図中のｙ４）も相対的に大きくする。すなわち、第２領域の幅と境界から画面の端部までの間隔に応じて、指示位置と境界との間隔を変化させる。なお、ここでも、指示位置と境界との間隔が、境界から画面の端部までの間隔に線形同期する（ｙ３／Ｌ１＝ｙ４／Ｌ２の関係となる）場合を示したが、例えば、２次関数や３次関数、指数関数などに基づいて非線形で同期するようにしてもよい。

また、本実施例では、ユーザ位置を基準点として指示位置を設定するが、タッチ位置と指示位置とは何らかの相関があり、ユーザがその相関を認識できればよく、例えば、画面（オブジェクト表示領域）の下側の端部（好ましくは、ユーザ位置に近い方の下端部、図９では左下端部）を基準点として指示位置を設定することも可能である。

ここで、本実施例では、第２領域におけるタッチ位置とオブジェクト表示領域上での実際の指示位置とが異なるため、例えば、あるオブジェクトを第２領域の外側の所定の場所に移動したい場合に、第２領域のどこにタッチすればよいかが正確には分からず、オブジェクトが所定の場所からずれて配置されてしまう場合が考えられる。そこで、このような不都合を解消するために、図３のフローチャート図において、状態決定部２５は、連続操作オブジェクトの位置補正を行い（Ｓ１６０）、オブジェクトを連続して操作してオブジェクトの位置を調整できるようにする。

図７は、この位置補正処理の詳細を示しており、まず、状態決定部２５は、タッチ位置／操作検出部２３から通知される情報に基づいて、今回のタッチが初回のタッチであるか、すなわち、タッチなしの状態からタッチ有りの状態に変化したかを判断する（Ｓ１６１）。初回のタッチでない場合（タッチ状態が継続している場合）は、何らかの操作が継続中であるため、状態決定部２５は、位置補正処理を終了する。

初回のタッチの場合（タッチなしの状態からタッチ有りの状態に変化した場合）は、状態決定部２５は、タッチ位置／操作検出部２３から通知される情報に基づいて、今回のタッチと前回のタッチ終了位置との距離が予め定めた所定の範囲内であるかを判断する（Ｓ１６２）。前回のタッチ終了位置からの距離が所定の範囲を超える場合は、同じオブジェクトに対する連続操作ではないため、状態決定部２５は、位置補正処理を終了する。

前回のタッチ終了位置からの距離が所定の範囲内の場合は、状態決定部２５は、タッチ位置／操作検出部２３から通知される情報に基づいて、直前の所定時間内にオブジェクト操作が行われたかを判断する（Ｓ１６３）。所定時間内にオブジェクト操作が行われていない場合は、同じオブジェクトに対する連続操作ではないため、状態決定部２５は、位置補正処理を終了する。一方、所定時間内にオブジェクト操作が行われた場合は、同じオブジェクトに対する連続操作であると考えられるため、状態決定部２５は、初回のタッチ位置がどの領域に属するかを判定し、座標変換部２７は、領域に応じてタッチ位置を指示位置に座標変換し、指示位置の補正を行う（Ｓ１６４）。

再び図３のフローチャート図に戻り、処理判定部２２は、指示位置に基づいて処理を判定し（Ｓ１８０）、判定した処理を実行する（Ｓ１９０）。そして、画像処理部２１は、処理に応じた画像（オブジェクトの移動操作の場合は、オブジェクトの位置を移動させた画像）を生成して表示操作部１１に送り、表示操作部１１はその画像を表示して処理を反映させる（Ｓ２００）。その後、処理判定部２２は、タッチが継続しているかを判断し（Ｓ２１０）、タッチが継続している場合は、Ｓ１００に戻って同様の処理を繰り返し、タッチが継続していなければ、一連の処理を終了する。例えば、１回目のＳ１００〜Ｓ２００の処理において、タッチ位置に対応する指示位置にオブジェクトがある場合は、そのオブジェクトを選択する処理を実行し、次のＳ１００〜Ｓ２００の処理において、タッチ位置が移動した場合は、移動後のタッチに対応する指示位置にそのオブジェクトを移動させる処理を実行する。

図１０は、上記手順に基づく操作制御を模式的に示す図であり、説明の都合上、タッチ位置の移動軌跡と指示位置の移動軌跡とをずらして記載している。

図１０（ａ）に示すように、第１領域内でタッチ位置（図中の丸印）をｘ５だけ移動させた場合、図３のＳ１７０でタッチ位置がそのまま指示位置となるため、指示位置（図中の三角印）の移動距離ｙ５は、タッチ位置と同じｘ５となる。また、第２領域内でタッチ位置をｘ６だけ移動させた場合、図３のＳ１４０で算出された位置がＳ１５０で指示位置として設定されるため、指示位置の移動距離ｙ６は、タッチ位置の移動距離を変倍した値（ｘ６をｋ倍した値）となる。

また、図１０（ｂ）に示すように、領域を跨いでタッチ位置を移動させた場合（第１領域でｘ７だけ移動させ、第２領域でｘ８だけ移動させた場合）、第１領域内の移動に関しては、図３のＳ１７０でタッチ位置がそのまま指示位置となり、第２領域内の移動に関しては、図３のＳ１４０で算出された位置がＳ１５０で指示位置として設定されるため、指示位置の移動距離ｙは、第１領域内の移動距離ｘ７と第２領域内の移動距離ｘ８を変倍した値（ここではｘ８をｋ倍した値）とを加算した値になる。

従って、オブジェクトを第１領域内で移動させる場合は、通常通り、オブジェクトにタッチし、所望の位置でタッチを離せば、所望の位置にオブジェクトを移動させることができる。また、手元にあるオブジェクトを離れた場所に移動させる場合は、第１領域内でオブジェクト生成し、そのオブジェクトにタッチし、領域を跨いだ所望の位置でタッチを離せば、その延長線上にオブジェクトを移動させることができ、また、オブジェクトの位置がずれている場合は、タッチ位置を微調整することによりオブジェクトの位置を補正することができ、同じオブジェクト表示領域内の同様の操作で、オブジェクト表示領域内の任意の場所のオブジェクトを容易に操作することができる。

次に、本発明の実施例２に係る制御装置及び操作制御方法並びに操作制御プログラムについて、図１１乃至図１３を参照して説明する。図１１及び図１２は、本実施例の制御装置の処理を示すフローチャート図であり、図１３は、タッチ位置と指示位置との関係を説明する模式図である。

前記した実施例１では、ユーザ位置に基づいて領域分けを行い、タッチ位置がどの領域に属するかに応じて指示位置をタッチ位置と同じ位置又は異なる位置に設定したが、画面上のどこにタッチしても同じ処理が行われるようにすることもできる。その場合、操作制御システムの基本構成は実施例１と同様であるが、制御装置２０の状態決定部２５は、タッチ位置／操作検出部２３からの指示に従って、制御装置２０の動作状態を第１状態又は第２状態に決定し、その結果を座標変換部２７に通知する制御を行う。

以下、上記構成の操作制御システム（制御装置２０）におけるタッチ検出処理について、図１１及び図１２のフローチャート図を参照して説明する。なお、このタッチ検出処理は、制御装置２０に含まれるＣＰＵが、ＲＯＭに記憶された操作制御プログラムを実行することによって実現される。また、表示操作部１１には、動作状態を選択するためのボタンなどが設けられており、操作者はそのボタンを操作して動作状態を第１状態又は第２状態のいずれかを設定しているものとする。

まず、タッチ位置／操作検出部２３は、表示パネル１０の表示操作部１１のタッチセンサから受信した信号に基づいて、ユーザが表示操作部１１をタッチした位置（座標）を検出する（Ｓ３００）。

次に、タッチ位置／操作検出部２３は、操作者が行ったボタン操作を検出して状態決定部２５に通知し、状態決定部２５は、ボタン操作に応じて、制御装置２０の動作状態を第１状態又は第２状態に設定する（Ｓ３１０）。若しくは、タッチ位置／操作検出部２３は、操作者が行った特定の操作（例えば、複数の指のタッチ操作）を検出したら、動作状態の切り換え指示であると認識して状態決定部２５に通知し、状態決定部２５は、制御装置２０の動作状態を第１状態又は第２状態に設定する。第１状態に設定した場合は（Ｓ３２０のＹｅｓ）、座標変換部２７は、Ｓ３００で検出したタッチ位置を指示位置に設定し（Ｓ３６０）、Ｓ３７０のステップに遷移する。

一方、第２状態に設定した場合は（Ｓ３２０のＮｏ）、座標変換部２７は、タッチ位置に基づいて指示位置を算出し（Ｓ３３０）、算出した位置を指示位置として設定する（Ｓ３４０）。図１２は、この指示位置算出処理の詳細を示しており、まず、座標変換部２７は、今回のタッチが第１状態から第２状態に切り換えた後の初回のタッチであるかを判断する（Ｓ３３１）。本実施例の場合、領域が分かれておらず、変倍する際の基準位置がないため、初回のタッチの場合は、そのタッチ位置を指示位置算出のための基準位置として設定し（Ｓ３３２）、その基準位置からの距離に基づいて、実施例１と同様の手法を用いて指示位置を算出する（Ｓ３３３）。

ここで、本実施例でも、第２状態では画面上のタッチ位置と実際の指示位置とが異なるため、あるオブジェクトを所定の場所に移動したい場合に、タッチ位置をどのように動かせばよいかが正確には分からず、オブジェクトが所定の場所からずれて配置されてしまう場合が考えられる。そこで、このような不都合を解消するために、状態決定部２５は、連続操作オブジェクトの位置補正を行い（Ｓ３５０）、オブジェクトを連続して操作できるようにしてオブジェクトの位置を調整できるようにする。この位置補正処理は、実施例１の図７と同様であるため、説明は省略する。

次に、処理判定部２２は、指示位置に基づいて処理を判定し（Ｓ３７０）、判定した処理を実行する（Ｓ３８０）。そして、画像処理部２１は、処理に応じた画像（オブジェクトの移動操作の場合は、オブジェクトの位置を移動させた画像）を生成して表示操作部１１に送り、表示操作部１１はその画像を表示して処理を反映させる（Ｓ３９０）。その後、処理判定部２２は、タッチが継続しているかを判断し（Ｓ４００）、タッチが継続している場合は、Ｓ３００に戻って同様の処理を繰り返し、タッチが継続していなければ、一連の処理を終了する。

図１３は、上記手順に基づく操作制御を模式的に示す図であり、説明の都合上、タッチ位置の移動軌跡と指示位置の移動軌跡とをずらして記載している。

図１３（ａ）に示すように、第１状態においてタッチ位置（図中の丸印）をｘ１（又はｘ２）だけ移動させた場合、図１１のＳ３６０でタッチ位置がそのまま指示位置となるため、指示位置（図中の三角印）の移動距離ｙ１（又はｙ２）は、タッチ位置と同じｘ１（又はｘ２）となる。

一方、図１３（ｂ）に示すように、第２状態においてタッチ位置をｘ１（又はｘ２）だけ移動させた場合、図１１のＳ３３０で算出された位置がＳ３４０で指示位置として設定されるため、指示位置の移動距離ｙ１（又はｙ２）は、タッチ位置の移動距離を変倍した値（ここではｘ１を２倍した値又はｘ２を２倍した値）となる。

従って、オブジェクトを通常通り操作したい場合は、第１状態に設定すればよく、また、手元にあるオブジェクトを離れた場所に移動させたい場合や手の届かない場所のオブジェクトを操作したい場合は、第２状態に設定すればよく、同じオブジェクト表示領域内の同様の操作で、オブジェクト表示領域内の任意の場所のオブジェクトを容易に操作することができる。

次に、本発明の実施例３に係る制御装置及び操作制御方法並びに操作制御プログラムについて、図１４乃至図１６を参照して説明する。図１４及び図１５は、本実施例の制御装置の処理を示すフローチャート図であり、図１６は、タッチ位置と指示位置との関係を説明する模式図である。

前記した実施例１では、第２領域におけるタッチ位置の移動範囲が変倍されて指示位置の移動範囲となり、実施例２では、第２状態におけるタッチ位置の移動範囲が変倍されて指示位置の移動範囲となるようにしたが、タッチ位置の移動操作を複数回行った場合に、その移動範囲を加算して指示位置の移動範囲となるようにすることもできる。

以下、その場合の制御装置２０におけるタッチ検出処理について、図１４のフローチャート図を参照して説明する。なお、このタッチ検出処理は、制御装置２０に含まれるＣＰＵが、ＲＯＭに記憶された操作制御プログラムを実行することによって実現される。

まず、タッチ位置／操作検出部２３は、表示パネル１０の表示操作部１１のタッチセンサから受信した信号に基づいて、ユーザが表示操作部１１をタッチした位置（座標）を検出する（Ｓ５００）。

次に、状態決定部２５は、時間管理部２６からタッチ間隔を取得し、前回のタッチ終了から予め定めた所定時間が経過したかを判断する（Ｓ５１０）。所定時間が経過している場合は、前回のタッチとは関連しない新たな操作であると考えられることから、座標変換部２７は、Ｓ５００で検出したタッチ位置を指示位置に設定する（Ｓ５２０）。すなわち、前記した実施例２の第１状態の場合と同様の制御を行う。

一方、所定時間が経過していない場合は、前回のタッチと関連する操作であると考えられることから、座標変換部２７は、状態決定部２５から通知される、タッチ位置／操作検出部２３が検出した情報に基づいて、タッチ位置の移動方向及び移動量を検出し（Ｓ５３０）、検出した移動方向及び移動量だけ指示位置をずらす（Ｓ５４０）。すなわち、前記した実施例２の第２状態のように、タッチ位置とは異なる位置を指示位置として設定する。

次に、処理判定部２２は、指示位置に基づいて処理を判定し（Ｓ５５０）、判定した処理を実行する（Ｓ５６０）。そして、画像処理部２１は、処理に応じた画像（オブジェクトの移動操作の場合は、オブジェクトの位置を移動させた画像）を生成して表示操作部１１に送り、表示操作部１１はその画像を表示して処理を反映させる（Ｓ５７０）。その後、処理判定部２２は、タッチが継続しているかを判断し（Ｓ５８０）、タッチが継続している場合は、Ｓ５００に戻って同様の処理を繰り返し、タッチが継続していなければ、一連の処理を終了する。

なお、図１４では、Ｓ５１０において前回のタッチ終了から所定時間が経過したかを判断したが、この判断を行わず、タッチ位置が移動したら、タッチ位置の移動方向及び移動量だけ、指示位置を常にずらすようにすることもできる。その場合は、図１５に示すように、図１４のＳ５１０及びＳ５２０を省略したフローとなる。

図１６は、上記手順に基づく操作制御を模式的に示す図であり、図１６（ａ）はタッチ位置の初回の移動操作に対する指示位置の状態を示し、図１６（ｂ）はタッチ位置の２回目以降の移動操作に対する指示位置の状態を示している。

まず、図１６（ａ）に示すように、タッチ位置（図中の丸印）を任意の位置からｘ１だけ動かしてｍ１に移動させると、指示位置（図中の三角印）も、タッチ位置と同じ方向及び同じ距離のｙ１だけ動いてｎ１に移動する。この状態において、図１６（ｂ）に示すように、タッチ位置を任意の位置からｘ２だけ動かしてｍ２に移動させると、指示位置は、前回の指示位置であるｎ１を基準位置としてタッチ位置と同じ方向及び同じ距離のｙ２だけ動いてｎ２に移動する。更に、タッチ位置を任意の位置からｘ３だけ動かしてｍ３に移動させると、指示位置は、前回の指示位置であるｎ２を基準位置としてタッチ位置と同じ方向及び同じ距離のｙ３だけ動いてｎ３に移動する。

従って、手元にあるオブジェクトを離れた場所に移動させたい場合や手の届かない場所のオブジェクトを操作したい場合は、マウスで操作する場合のように、任意の位置を基準にしてタッチ位置を複数回移動させればよく、同じオブジェクト表示領域内の同様の操作で、オブジェクト表示領域内の任意の場所のオブジェクトを容易に操作することができる。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、表示パネル１０や制御装置２０の構成、操作制御方法は適宜変更可能である。

例えば、実施例１では、第１領域（等倍領域）の周囲に変倍領域として第２領域のみを設けたが、更に、第２領域の周囲に第２領域よりも座標変換の倍率が大きい第３領域を設けるなど、変倍領域を複数の領域で構成しても良い。

また、実施例１では、オブジェクト表示領域に、タッチ位置がそのまま指示位置となる第１領域とタッチ位置を画面の端部方向に移動させた位置が指示位置となる第２領域とを設け、実施例２では、動作状態として、タッチ位置がそのまま指示位置となる第１状態とタッチ位置を画面の端部方向に移動させた位置が指示位置となる第２状態を設け、実施例３では、タッチ位置の移動軌跡が順次累積して指示位置となるようにしたが、これらを組み合わせることも可能である。

例えば、実施例１と実施例２を組み合わせて、動作状態が第２状態の時に第２領域にタッチすると、タッチ位置を画面の端部方向に移動させた位置が指示位置となるようにすることができる。また、実施例２と実施例３を組み合わせて、動作状態として、タッチ位置がそのまま指示位置となる第１状態とタッチ位置を画面の端部方向に移動させた位置が指示位置となる第２状態とタッチ位置の移動軌跡が順次累積して指示位置となる第３状態とが選択できるようにすることもできる。また、実施例１と実施例３を組み合わせて、第１領域又は第２領域では、タッチ位置の移動軌跡が順次累積して指示位置となるようにすることもできる。

本発明は、表示画面上で操作が可能な表示パネルを制御する装置及び当該装置における制御方法並びに当該装置で動作するプログラムに利用可能である。

１０ 表示パネル
１１ 表示操作部
１２ ユーザ検出部
２０ 制御装置
２１ 画像処理部
２２ 処理判定部
２３ タッチ位置／操作検出部
２４ ユーザ位置判定部
２５ 状態決定部
２６ 時間管理部
２７ 座標変換部

Claims (27)

1. オブジェクト表示領域に対するタッチ操作により、オブジェクトに対する処理が指示可能な表示パネルを制御する制御装置であって、
   オブジェクトに対する処理を指示する指示位置を、タッチ操作のタッチ位置から離れた位置に設定する機能を有する制御部を備える、
   ことを特徴とする制御装置。
2. 前記制御部は、前記指示位置を前記タッチ位置と同じ位置に設定する第１状態と、前記指示位置を前記タッチ位置から離れた位置に設定する第２状態と、が切り換え可能である、
   ことを特徴とする請求項１に記載の制御装置。
3. 前記制御部は、前記第２状態では、前記タッチ位置が移動した場合に、前記タッチ位置の移動量を拡大して前記指示位置を移動させる、
   ことを特徴とする請求項２に記載の制御装置。
4. 前記制御部は、前記オブジェクト表示領域の所定の範囲に、前記第１状態で前記指示位置を設定する第１領域と、前記第１領域の周囲の、前記第２状態で前記指示位置を設定する第２領域と、を設定し、前記タッチ位置が属する領域に応じて、前記第１状態と前記第２状態とを切り換える、
   ことを特徴とする請求項２に記載の制御装置。
5. 前記制御部は、所定のタッチ操作のタッチ位置に基づいて操作者の位置を特定し、前記操作者の位置を基準にして前記所定の範囲を設定する、
   ことを特徴とする請求項４に記載の制御装置。
6. 前記制御部は、予め前記表示パネルに設置された検出手段から取得した情報に基づいて操作者の位置を特定し、前記操作者の位置を基準にして前記所定の範囲を設定する、
   ことを特徴とする請求項４に記載の制御装置。
7. 前記第１領域及び前記第２領域は、前記操作者の両肩の位置と手の長さとから算出される、前記操作者の手の届く範囲に設定される、
   ことを特徴とする請求項５又は６に記載の制御装置。
8. 前記制御部は、前記タッチ位置が前記第２領域内の場合は、前記第１領域及び前記第２領域の境界から前記タッチ位置までの距離に基づいて、前記指示位置を前記タッチ位置から前記オブジェクト表示領域の端部に向かう方向に移動させる、
   ことを特徴とする請求項４乃至７のいずれか一に記載の制御装置。
9. 前記制御部は、前記第２領域の幅に対する、前記第１領域及び前記第２領域の境界から前記オブジェクト表示領域の端部までの距離に基づいて、前記指示位置の移動量を変化させる、
   ことを特徴とする請求項８に記載の制御装置。
10. 前記制御部は、前記オブジェクト表示領域に、前記第１領域及び／又は前記第２領域を識別可能に表示する、
    ことを特徴とする請求項４乃至９のいずれか一に記載の制御装置。
11. 前記制御部は、前記第２状態において、タッチ操作を解除した後、所定の時間内に、前回のタッチ位置から所定の範囲内を再タッチした場合、前記タッチ位置に対応する指示位置にあるオブジェクトを再タッチ位置に対応する指示位置に移動させる、
    ことを特徴とする請求項２乃至１０のいずれか一に記載の制御装置。
12. 前記制御部は、タッチ位置の移動が複数回行われた場合、前記複数回のタッチ位置の移動を累積して前記指示位置を設定する、
    ことを特徴とする請求項１に記載の制御装置。
13. 前記制御部は、タッチ位置の移動が行われた後、所定の時間内に、再度、タッチ位置の移動が行われた場合、前記指示位置を、前のタッチ位置の移動後の位置を起点として、次のタッチ位置の移動分だけ移動させた位置に設定する、
    ことを特徴とする請求項１２に記載の制御装置。
14. オブジェクト表示領域に対するタッチ操作により、オブジェクトに対する処理が指示可能な表示パネルを制御する制御装置における操作制御方法であって、
    タッチ操作のタッチ位置に基づいて、オブジェクトに対する処理を指示する指示位置を設定する指示位置設定ステップと、
    前記オブジェクトに対する処理を実行する処理ステップと、を有し、
    前記指示位置設定ステップでは、前記指示位置を、前記タッチ操作のタッチ位置から離れた位置に設定する、
    ことを特徴とする操作制御方法。
15. 更に、前記指示位置を前記タッチ位置と同じ位置に設定する第１状態と、前記指示位置を前記タッチ位置から離れた位置に設定する第２状態と、が切り換える状態決定ステップを有する、
    ことを特徴とする請求項１４に記載の操作制御方法。
16. 前記指示位置設定ステップでは、前記第２状態では、前記タッチ位置が移動した場合に、前記タッチ位置の移動量を拡大して前記指示位置を移動させる、
    ことを特徴とする請求項１５に記載の操作制御方法。
17. 前記状態決定ステップでは、前記オブジェクト表示領域の所定の範囲に、前記第１状態で前記指示位置を設定する第１領域と、前記第１領域の周囲の、前記第２状態で前記指示位置を設定する第２領域と、を設定し、前記タッチ位置が属する領域に応じて、前記第１状態と前記第２状態とを切り換える、
    ことを特徴とする請求項１５に記載の操作制御方法。
18. 前記状態決定ステップでは、所定のタッチ操作のタッチ位置に基づいて操作者の位置を特定し、前記操作者の位置を基準にして前記所定の範囲を設定する、
    ことを特徴とする請求項１７に記載の操作制御方法。
19. 前記状態決定ステップでは、予め前記表示パネルに設置された検出手段から取得した情報に基づいて操作者の位置を特定し、前記操作者の位置を基準にして前記所定の範囲を設定する、
    ことを特徴とする請求項１７に記載の操作制御方法。
20. 前記状態決定ステップでは、前記第１領域及び前記第２領域を、前記操作者の両肩の位置と手の長さとから算出される、前記操作者の手の届く範囲に設定する、
    ことを特徴とする請求項１８又は１９に記載の操作制御方法。
21. 前記指示位置設定ステップでは、前記タッチ位置が前記第２領域内の場合は、前記第１領域及び前記第２領域の境界から前記タッチ位置までの距離に基づいて、前記指示位置を前記タッチ位置から前記オブジェクト表示領域の端部に向かう方向に移動させる、
    ことを特徴とする請求項１７乃至２０のいずれか一に記載の操作制御方法。
22. 前記指示位置設定ステップでは、前記第２領域の幅に対する、前記第１領域及び前記第２領域の境界から前記オブジェクト表示領域の端部までの距離に基づいて、前記指示位置の移動量を変化させる、
    ことを特徴とする請求項２１に記載の操作制御方法。
23. 前記状態決定ステップでは、前記オブジェクト表示領域に、前記第１領域及び／又は前記第２領域を識別可能に表示する、
    ことを特徴とする請求項１７乃至２２のいずれか一に記載の操作制御方法。
24. 前記指示位置設定ステップでは、前記第２状態において、タッチ操作を解除した後、所定の時間内に、前回のタッチ位置から所定の範囲内を再タッチした場合、前記タッチ位置に対応する指示位置にあるオブジェクトを再タッチ位置に対応する指示位置に移動させる、
    ことを特徴とする請求項１５乃至２３のいずれか一に記載の操作制御方法。
25. 前記指示位置設定ステップでは、タッチ位置の移動が複数回行われた場合、前記複数回のタッチ位置の移動を累積して前記指示位置を設定する、
    ことを特徴とする請求項１４に記載の操作制御方法。
26. 前記指示位置設定ステップでは、タッチ位置の移動が行われた後、所定の時間内に、再度、タッチ位置の移動が行われた場合、前記指示位置を、前のタッチ位置の移動後の位置を起点として、次のタッチ位置の移動分だけ移動させた位置に設定する、
    ことを特徴とする請求項２５に記載の操作制御方法。
27. オブジェクト表示領域に対するタッチ操作により、オブジェクトに対する処理が指示可能な表示パネルを制御する制御装置で動作する操作制御プログラムであって、
    前記制御装置に、請求項１４乃至２６のいずれか一に記載のステップを実行させる、
    ことを特徴とする操作制御プログラム。

Images