JP2007310493A - 動画像の再生をポインティングデバイスで操作するユーザインタフェースシステム及びプログラム - Google Patents

Abstract

【課題】動画像の再生における映像の流れを、ユーザに触覚的に反応させつつ、その触覚的部分によって再生速度を制御可能なユーザインタフェースシステム等を提供する。
【解決手段】ポインティングデバイスは、基部に対して把持部を上下動させる上下動機構部と、ポインタカーソルが指示する画素の画素情報を受信する画素情報受信部と、画素情報に対応する目標高さで、上下動機構手段を上下動させる上下動制御部と、目標高さから、ユーザの押下力に対応する現実高さを差し引いた差分情報をコンピュータ装置へ送信する差分情報送信部とを有する。一方で、コンピュータ装置は、画素情報を送信する画素情報送信部と、差分情報を受信する差分情報受信部とを有し、コンピュータ装置の表示制御部は、差分情報に基づいてフレームレートを変化させる。
【選択図】図１

Description

本発明は、動画像の再生をポインティングデバイスで操作するユーザインタフェースシステム及びプログラムに関する。

動画像を再生する場合、その再生速度の操作に、ジョグダイヤルを用いる技術がある（例えば特許文献１参照）。これにより、ユーザは、倍速再生・スロー再生・一時停止などの操作をすることできる。詳細には、ジョグダイヤルの回転角度に対して反応速度を鈍くすることにより、動画像の再生速度を細かく操作することができる。

特開２００３−３４８５０５号公報

従来技術によれば、ユーザが動画像の再生を視覚的に認識しながら、その再生速度を操作するものである。しかしながら、人間の反応速度は、視覚的に感知して操作するよりも、触覚的に感知して操作する方が早いと考えられる。

従って、本発明は、動画像の再生における映像の流れを、ユーザに触覚的に反応させつつ、その触覚的部分によって再生速度を制御することができるユーザインタフェースシステム及びプログラムを提供することを目的とする。

本発明によれば、ユーザによって操作された移動情報を検出する移動情報検出手段、及び該移動情報をコンピュータ装置へ送信する移動情報送信手段を有するポインティングデバイスと、動画像及びポインタカーソルをディスプレイに表示する表示制御手段を有するコンピュータ装置とを有するユーザインタフェースシステムにおいて、
ポインティングデバイスは、
机上面に当接する基部に対して、ユーザに把持される把持部を上下動させる上下動機構手段と、
コンピュータ装置から、ポインタカーソルが指示する画素の画素情報を受信する画素情報受信手段と、
画素情報に対応する目標高さ情報で、上下動機構手段を上下動させる上下動制御手段と
ユーザの押下力に対応する現実高さ情報を検出する現実高さ検出手段と、
目標高さ情報から、ユーザの押下力に対応する現実高さ情報を差し引いた差分情報を算出する差分情報算出手段と、
差分情報をコンピュータ装置へ送信する差分情報送信手段と
を有しており、
コンピュータ装置は、
ポインタカーソルが指示する画素の画素情報を、ポインティングデバイスへ送信する画素情報送信手段と、
ポインティングデバイスから、差分情報を受信する差分情報受信手段と
を有しており、
コンピュータ装置の表示制御手段は、差分情報に基づいて動画像を再生、停止又は巻き戻しをする
ことを特徴とする。

本発明によれば、ユーザによって操作された移動情報を検出する移動情報検出手段、及び該移動情報をコンピュータ装置へ送信する移動情報送信手段を有するポインティングデバイスと、動画像及びポインタカーソルをディスプレイに表示する表示制御手段を有するコンピュータ装置とを有するユーザインタフェースシステムにおいて、
ポインティングデバイスは、
机上面に当接する基部に対して、ユーザに把持される把持部を上下動させる上下動機構手段と、
コンピュータ装置から、ポインタカーソルが指示する画素の画素情報を受信する画素情報受信手段と、
画素情報に対応する目標高さ情報で、上下動機構手段を上下動させる上下動制御手段と
ユーザの押下力に対応する現実高さ情報を検出する現実高さ検出手段と、
現実高さ情報をコンピュータ装置へ送信する現実高さ情報送信手段と
を有しており、
コンピュータ装置は、
ポインタカーソルが指示する画素の画素情報を、ポインティングデバイスへ送信する画素情報送信手段と、
ポインティングデバイスから、現実高さ情報を受信する現実高さ情報受信手段と、
画素情報に対応する目標高さ情報から、現実高さ情報を差し引いた差分情報を算出する差分情報算出手段と
を有しており、
コンピュータ装置の表示制御手段は、差分情報に基づいて動画像を再生、停止又は巻き戻しをする
ことを特徴とする。

本発明によれば、ユーザによって操作された移動情報を検出する移動情報検出手段、及び該移動情報をコンピュータ装置へ送信する移動情報送信手段を有するポインティングデバイスと、動画像及びポインタカーソルをディスプレイに表示する表示制御手段を有するコンピュータ装置とを有するユーザインタフェースシステムにおいて、
ポインティングデバイスは、
机上面に当接する基部に対して、ユーザに把持される把持部を上下動させる上下動機構手段と、
コンピュータ装置から、目標高さ情報を受信する目標高さ情報受信手段と、
目標高さ情報に対応して、上下動機構手段を上下動させる上下動制御手段と
ユーザの押下力に対応する現実高さ情報を検出する現実高さ検出手段と、
現実高さ情報をコンピュータ装置へ送信する現実高さ情報送信手段と
を有しており、
コンピュータ装置は、
ポインタカーソルが指示する画素の画素情報に対応する目標高さ情報を送信する目標高さ情報送信手段と、
ポインティングデバイスから、現実高さ情報を受信する現実高さ情報受信手段と、
目標高さ情報から、現実高さ情報を差し引いた差分情報を算出する差分情報算出手段と
を有しており、
コンピュータ装置の表示制御手段は、差分情報に基づいて動画像を再生、停止又は巻き戻しをする
ことを特徴とする。

本発明のユーザインタフェースシステムにおける他の実施形態によれば、コンピュータ装置の表示制御手段は、差分情報の大きさに応じて、動画像の再生のためのフレームレートを変化させることも好ましい。

本発明のユーザインタフェースシステムにおける他の実施形態によれば、
コンピュータ装置の表示制御手段は、
差分情報が小さい場合に、フレームレートを当初レートに近くし、
差分情報が大きい場合に、フレームレートを当初レートよりも遅くし、
差分情報が閾値に達した場合に、動画像の再生を停止する
ように制御することも好ましい。

本発明のユーザインタフェースシステムにおける他の実施形態によれば、
差分情報が閾値に達することによって動画像の再生を停止した後、ユーザの操作におけるポインタカーソルの左右移動によって、差分情報が閾値よりも大きくなった場合、動画像を巻き戻すことも好ましい。

本発明のユーザインタフェースシステムにおける他の実施形態によれば、
コンピュータ装置の表示制御手段は、
差分情報が小さい場合に、フレームレートを当初レートよりも遅くし、
差分情報が大きい場合に、フレームレートを当初レートよりも近くし、
差分情報が閾値に達した場合に、動画像の再生を当初レートとする
ように制御することも好ましい。

本発明のユーザインタフェースシステムにおける他の実施形態によれば、画素情報は、画素又は画像区画における色情報、輝度情報又は奥行き情報であってもよい。

本発明によれば、
ユーザによって操作された移動情報を検出する移動情報検出手段と、
移動情報をコンピュータ装置へ送信する移動情報送信手段と、
机上面に当接する基部に対して、ユーザに把持される把持部を上下動させる上下動機構手段と、
ポインタカーソルが指示する画素の画素情報を受信する画素情報受信手段と、
画素情報に対応する目標高さ情報で、上下動機構手段を上下動させる上下動制御手段と、
ユーザの押下力に対応する現実高さ情報を検出する現実高さ検出手段と、
目標高さ情報から、ユーザの押下力に対応する現実高さ情報を差し引いた差分情報を算出する差分情報算出手段と、
差分情報を送信する差分情報送信手段と
を有するポインティングデバイスに接続されたコンピュータ装置を機能させるプログラムであって、
ポインタカーソルが指示する画素の画素情報を、ポインティングデバイスへ送信する画素情報送信手段と、
ポインティングデバイスから、差分情報を受信する差分情報受信手段と、
動画像及びポインタカーソルをディスプレイに表示するものであり、差分情報に基づいて動画像を再生、停止又は巻き戻しをする表示制御手段と
してコンピュータ装置を機能させることを特徴とする。

本発明によれば、
ユーザによって操作された移動情報を検出する移動情報検出手段と、
移動情報をコンピュータ装置へ送信する移動情報送信手段と、
机上面に当接する基部に対して、ユーザに把持される把持部を上下動させる上下動機構手段と、
コンピュータ装置から、ポインタカーソルが指示する画素の画素情報を受信する画素情報受信手段と、
画素情報に対応する目標高さ情報で、上下動機構手段を上下動させる上下動制御手段と
ユーザの押下力に対応する現実高さ情報を検出する現実高さ検出手段と、
現実高さ情報をコンピュータ装置へ送信する現実高さ情報送信手段と
を有するポインティングデバイスに接続されたコンピュータ装置を機能させるプログラムであって、
ポインタカーソルが指示する画素の画素情報を、ポインティングデバイスへ送信する画素情報送信手段と、
ポインティングデバイスから、現実高さ情報を受信する現実高さ情報受信手段と、
画素情報に対応する目標高さ情報から、現実高さ情報を差し引いた差分情報を算出する差分情報算出手段と、
動画像及びポインタカーソルをディスプレイに表示するものであり、差分情報に基づいて動画像を再生、停止又は巻き戻しをする表示制御手段と
してコンピュータ装置を機能させることを特徴とする。

本発明によれば、
ユーザによって操作された移動情報を検出する移動情報検出手段と、
移動情報をコンピュータ装置へ送信する移動情報送信手段と、
机上面に当接する基部に対して、ユーザに把持される把持部を上下動させる上下動機構手段と、
コンピュータ装置から、目標高さ情報を受信する目標高さ情報受信手段と、
目標高さ情報に対応して、上下動機構手段を上下動させる上下動制御手段と、
ユーザの押下力に対応する現実高さ情報を検出する現実高さ検出手段と、
現実高さ情報をコンピュータ装置へ送信する現実高さ情報送信手段と
を有するポインティングデバイスに接続されたコンピュータ装置を機能させるプログラムであって、
ポインタカーソルが指示する画素の画素情報に対応する目標高さ情報を送信する目標高さ情報送信手段と、
ポインティングデバイスから、現実高さ情報を受信する現実高さ情報受信手段と、
目標高さ情報から、現実高さ情報を差し引いた差分情報を算出する差分情報算出手段と、
動画像及びポインタカーソルをディスプレイに表示するものであり、差分情報に基づいて動画像を再生、停止又は巻き戻しをする表示制御手段と
してコンピュータ装置を機能させることを特徴とする。

本発明のユーザインタフェースシステムによれば、動画像の再生における映像の流れを、ユーザに触覚的に反応させつつ、その触覚的部分によって再生速度を制御することができる。

以下では、図面を用いて、本発明を実施するための最良の形態について詳細に説明する。

図１は、本発明における動作説明図である。

図１によれば、ディスプレイに、例えば人が走っている動画像が再生されている。また、ディスプレイには、ポインタカーソルも表示されている。そのポインタカーソルの位置は、ユーザが操作するポインティングデバイスによって変更することができる。

また、図１には、縦軸がポインティングデバイスの高さを示し、横軸が時間を示すグラフが表されている。そのグラフは、ディスプレイに表示された動画像上に位置するポインタカーソルに対応する。本発明によれば、ポインタカーソルが指し示す画素の画素情報に対応して、ポインティングデバイスの上下動機構部の高さが上下動する。

画素情報としては、画素又は画像区画における色情報（ＲＧＢ情報）、輝度情報又は奥行き情報がある。最も簡単な情報としては、例えば色情報「白」「黒」である。例えば、図１によれば、移動している対象物（人）が色情報「黒」で表され、背景が色情報「白」で表されているとする。ここで、色情報「白」＝「低階層」、色情報「黒」＝「高階層」と対応付けたとする。ポインティングデバイスの上下動機構部は、ポインタカーソルが色情報「黒」の部分を指し示す場合、上方向へ移動し、色情報「白」の部分を指し示す場合、下方向へ移動する。

（Ｓ１０１）ポインタカーソルが指し示す部分は、背景の色情報「白」である。従って、ポインティングデバイスの高さは「低階層」となる。
（Ｓ１０２）動画像が進行し、ポインタカーソルが指し示す部分が、対象物の色情報「黒」となったとする。このとき、ポインティングデバイスの高さは「高階層」となる。従って、ユーザは、ポインティングデバイスの把持部を介して、触覚によって対象物とポインタカーソルとが重なったことを感知する。

（Ｓ１０３）ここで、ユーザは、動画像の再生速度（フレームレート）を遅くしたいとする。例えば、ユーザが、動画像の動きを詳細に閲覧したい場合がある。Ｓ１０２によって、ポインティングデバイスの上下動機構部は、色情報「黒」に基づく階層位置「高階層」へ移動するために、上方向への移動力を生じる。このポインティングデバイスの上方向への移動力を触覚的に感知したユーザは、そのポインティングデバイスを押し込むように押下力を加える。これにより、本発明によれば、動画像の再生速度が遅くなるように制御される。

動画像の再生速度は、ポインタカーソルが指し示す部分の色情報「黒」に基づく階層位置「高階層」から、どの程度の高さへ押し込まれたかによって、変化させる。押下力が強く、ポインティングデバイスが深く押し込まれるほど、動画像の再生速度は遅くなり、最終的には一時停止する。

動画像が更に進行し、ポインタカーソルが指し示す部分が、対象物と重ならなくなり、背景の色情報「白」になったとする。このとき、ポインティングデバイスの高さは、再び「低階層」となる。ユーザは、ポインティングデバイスの把持部を介して、触覚によって対象物とポインタカーソルとが重ならなくなったことを感知する。

ユーザは、ポインティングデバイスの押下している際に、ポインティングデバイスの上方向の移動力が低下することを感知する。このとき、動画像の再生速度は、当初レートでの再生に戻る。

図２は、ポインティングデバイスによる動画像の再生を表す第１の説明図である。

（Ｓ２０１）ポインタカーソルが指し示す部分は、色情報「白」であるので、ポインティングデバイスの高さは「低階層」となる。
（Ｓ２０２）ポインタカーソルが指し示す部分は、色情報「青」であるので、ポインティングデバイスの高さは「中階層」となる。
（Ｓ２０３）ポインタカーソルが指し示す部分は、色情報「黒」であるので、ポインティングデバイスの高さは「高階層」となる。
（Ｓ２０４）ユーザは、そのポインティングデバイスに押下力を加える。これにより、動画像の再生速度が遅くなるように制御される。
（Ｓ２０５）ポインタカーソルが指し示す部分は、色情報「青」であるので、ポインティングデバイスの高さは「中階層」となる。このとき、ユーザの押下力が検知されなければ、その動画像は、当初レートで再生される。
（Ｓ２０６）ポインタカーソルが指し示す部分は、色情報「白」であるので、ポインティングデバイスの高さは「低階層」となる。

前述したように、画素情報に応じて、ポインティングデバイスの高さを多階層的に制御することができる。画素情報は、色情報、輝度情報又は奥行き情報である。１つの画素情報は、例えば８ビット（０〜２５５）で表すことができる。この画素情報に対応して、ポインティングデバイスの上下動機構部の高さを決定する。この高さは、例えば、最低高さ＝画素情報０、最高高さ＝画素情報２５５とすることができる。

図３は、ポインティングデバイスによる動画像の再生を表す第２の説明図である。

（Ｓ３０１）ポインタカーソルが指し示す部分は、色情報「白」であるので、ポインティングデバイスの高さは「低階層」となる。
（Ｓ３０２）ポインタカーソルが指し示す部分は、色情報「青」であるので、ポインティングデバイスの高さは「中階層」となる。
（Ｓ３０３）ユーザは、そのポインティングデバイスに押下力を加える。このとき、ポインティングデバイスが、所定閾値の高さまで押し込まれたとする。これにより、動画像の再生が、完全に停止する。その状態で、ユーザの操作によって、ポインタカーソルが、黒色内へ押し込むように左右移動させられたとする。
（Ｓ３０４）ポインタカーソルが、黒色部分に当接することにより、ポインティングデバイスの目標高さが高くなる。これにより、停止状態における目標高さと現実高さとの差分よりも、黒色部分に当接した際の差分が大きくなる。このとき、動画像が巻き戻される。このような動作は、ポインタカーソルが、黒色部分から跳ね返るように見える。
（Ｓ３０５）ポインタカーソルが指し示す部分は、色情報「白」であるので、ポインティングデバイスの高さは「低階層」となる。

図４は、本発明におけるユーザインタフェースシステムの第１の機能構成図である。

図４によれば、ポインティングデバイス１は、ケーブル３を介してコンピュータ装置２に接続されている。ポインティングデバイス１は、例えばマウスであって、コンピュータ装置２は、例えば既存のパーソナルコンピュータである。コンピュータ装置２は、マウス１の机上面での移動に応じて、ディスプレイ２１の画面上のポインタカーソルを移動させる。

最初に、ポインティングデバイス１について説明する。

ポインティングデバイス１は、移動情報検出部１１と、移動情報送信部１２と、上下動機構部１３と、上下動制御部１４と、画素情報受信部１５と、現実高さ検出部１６と、差分情報算出部１７と、差分情報送信部１８とを有する。特に、上下動制御部１４及び差分情報算出部１７は、ポインティングデバイス１に搭載されたコンピュータを実行させるプログラムによっても実現できる。

移動情報検出部１１は、ユーザによって操作された移動情報を検出する。移動情報検出部１１は、例えば光センサ（又はローラボール）であって、机上面に当接する基部に備えられる。また、上下動機構部に中空部分がある場合には、移動情報検出部１１は、把持部の下方で机上面に向かって備えられるものであってもよい。光センサは、レーザ光を下方向に照射し、その反射光によって、ポインティングデバイスの横方向の移動方向及び移動量を検知する。

移動情報検出部１１は、検出した移動情報を、移動情報送信部１２へ通知する。ここで、移動情報は、ポインティングデバイス１の移動方向及び移動量を示す情報である。例えば、ポインティングデバイスがマウスである場合には、その把持部に１つ以上のマウスボタンが備えられており、その移動情報には、更に、１つ以上のボタンのオン／オフを示す情報も含まれる。

移動情報送信部１２は、移動情報をコンピュータ装置２へ送信する。

上下動機構部１３は、机上面に当接する基部に対して、ユーザに把持される把持部を上下動させる。上下動機構部１３は、例えばアクチュエータであってもよい。上下動機構部１３の上下動の大きさは、ポインタカーソルが指示する画素の画素情報に対応する。マウス１の把持部を握っているユーザは、ポインタカーソルが指示する画素の表示態様を、手ひらの触覚によって感知できる。

画素情報受信部１５は、コンピュータ装置２から画素情報を受信する。

画素情報は、画素（ピクセル）又は画像区画における色情報、輝度情報又は奥行き情報である。画素とは、デジタル画像を構成する単位である、色の付いた「点」をいう。デジタル画像は、正方形のピクセルを規則正しく縦横に並べることで一枚の画像を表現する。画素情報には、色情報だけでなく輝度情報、奥行き情報、透明度等の様々な情報を与えることができる。また、複数の画素を１つの単位とする画像区画単位で、本発明における画素情報を扱うこともできる。

上下動制御部１４は、画素情報に対応する目標高さに、上下動機構部１３を上下動させる。例えば、８ビット（０〜２５５）の画素情報に、ポインティングデバイスの目標高さを対応付けている。

現実高さ検出部１６は、例えば高さセンサであって、上下動機構部１３における実際の高さを検出する。これは、上下動制御部１４が、上下動機構部１３へ指示する目標高さに対して、ユーザの押下力による現実高さを検出する。ユーザの押下力が無い場合は、目標高さと現実高さとは一致する。一方、目標高さに対して、ユーザの押下力が強いほど、目標高さと現実高さとの差は大きくなる。

差分情報算出部１７は、上下動機構部１３の上方向への移動力に対して、ユーザが把持部を下方向へ押下する押下力に相当する差分情報を出力する。差分情報は、上下動制御部１４から通知される目標高さと、現実高さ検出部１６から通知される現実高さとの差分である。これにより、差分情報は、ポインティングデバイスの目標高さに対する、ユーザ加えた押下力となる。

差分情報送信部１８は、差分情報をコンピュータ装置２へ送信する。

ポインティングデバイスとしては、机上面に当接して操作する光学式又はローラボール式のマウスであってもよいし、手のひらでボールを回動させるのみで全体の横移動を伴わないトラックボールであってもよい。また、トラックポインタであってもよい。この場合、例えば、ポインティングデバイスとしてのトラックポインタを有する携帯電話機であってもよい。携帯電話機の場合、コンピュータ装置とポインティングデバイスとが一体化したものとなる。但し、この場合、トラックポインタに上下動機構部を備える必要がある。

次に、コンピュータ装置２について説明する。

コンピュータ装置２は、動画像及びポインタカーソルを表示するディスプレイ２１に接続される。図４によれば、コンピュータ装置２は、表示制御部２２と、コンピュータがプログラムを実行することによって実現されるオペレーティングシステム２３及び動画像データ２４と、移動情報受信部２５と、画素情報送信部２６と、差分情報受信部２７とを有する。オペレーティングシステム２３は、動画像データ２４を再生するものである。

表示制御部２２は、動画像及びポインタカーソルをディスプレイに表示する。動画像は、静止画像（フレーム）が連続的に表示されるものであって、例えば１枚の静止画像が１／３０秒毎に表示される。フレームレートは、３０フレーム／秒となる。また、表示制御部２２は、ポインタカーソルが指し示す画素又画像区画から、画素情報を取得する。ここで、画素情報は、色情報、輝度情報又は奥行き情報である。

移動情報受信部２５は、ポインティングデバイス１から移動情報を受信する。移動情報受信部２５は、移動情報をオペレーティングシステム２３へ通知し、ディスプレイ２１に表示されるポインタカーソルを移動させる。

画素情報送信部２６は、ポインタカーソルが指示する画素の画素情報を、ポインティングデバイスへ送信する。

差分情報受信部２７は、ポインティングデバイス１から、差分情報を受信する。

表示制御部２２は、更に、差分情報に基づいて動画像を再生又は一時停止する。差分情報の大きさに応じて、動画像の再生のためのフレームレートを変化させるものであってもよい。例えば、差分情報が大きい場合に、フレームレートを当初レートよりも遅くし、差分情報が小さい場合に、フレームレートを当初レートに近づけるように制御する。差分情報が負又は零を表す場合、フレームレートを当初レートで再生するように制御する。

例えば、以下のように差分情報とフレームレートとを対応付けることができる。

逆に、表示制御部２２は、差分情報が大きい場合に、フレームレートを当初レートに近づけ、差分情報が小さい場合に、フレームレートを当初レートよりも遅くするように制御するものであってもよい。この場合は、動画像が、基本的に一時停止状態にある際に、ユーザによるポインティングデバイスの押下力に応じて、動画像が再生される。この場合、ユーザは、ポインタカーソルが指し示す画素の画素情報の高さ分布を触覚的に感知しながら、フレームを１枚ずつ進行させることができる。

図５は、本発明における第１のフローチャートである。

最初に、コンピュータ装置の動作について説明する。
（Ｓ４０１）コンピュータ装置２は、常時、ポインタカーソルが指し示す部分の画素情報を検出し、Ｓ４０７までの処理を繰り返す。
（Ｓ４０２）画素情報を、ポインティングデバイスへ送信する。
（Ｓ４０３）ポインティングデバイスから、差分情報を受信する。
（Ｓ４０４）差分情報が、正（目標高さ＞現実高さ）であるか、又は、負零（目標高さ≦現実高さ）であるかを判定する。
（Ｓ４０５）差分情報が、正の場合、その大きさに応じてフレームレートを変更する。差分情報の大きさが大きいほど、フレームレートを遅くするものであってもよいし、早くするものであってもよい。
（Ｓ４０６）差分情報が、負零の場合、当初フレームレートで再生する。
（Ｓ４０７）Ｓ４０１以降の処理を繰り返す。

次に、ポインティングデバイスの動作について説明する。
（Ｓ４１１）Ｓ４１７までの処理を繰り返す。
（Ｓ４１２）コンピュータ装置から画素情報を受信する。
（Ｓ４１３）画素情報に対応する目標高さで、上下動機構部の高さを制御する。
（Ｓ４１４）ユーザによる押下を検出する。上下動機構部による目標高さよりも、高さセンサによって検出した現実高さが低い場合に、ユーザによる押下があったものと検出する。
（Ｓ４１５）目標高さと、高さセンサによって検出した現実高さとの差分を、差分情報として算出する。
（Ｓ４１６）算出された差分情報は、コンピュータ装置へ送信される。
（Ｓ４１７）Ｓ４１１以降の処理を繰り返す。

図６は、本発明におけるユーザインタフェースシステムの第２の機能構成図である。また、図７は、本発明における第２のフローチャートである。図７は、図６の構成に基づいて、図５と相違する点を表している。

図６は、図４と比較して、ポインティングデバイス１が、現実高さ情報を、コンピュータ装置２へ送信する点で相違する。ポインティングデバイス１は、現実高さ情報送信部１８を有し、現実高さ検出部１６によって検出された現実高さ情報を、コンピュータ装置２へ送信する。コンピュータ装置２は、現実高さ情報を受信する現実高さ情報受信部２８と、差分情報算出部２９とを有する。差分情報算出部２９は、画素情報に対応する目標高さ情報から、現実高さ情報を差し引いた差分情報を算出する。

図８は、本発明におけるユーザインタフェースシステムの第３の機能構成図である。また、図９は、本発明における第３のフローチャートである。図９は、図８の構成に基づいて、図５と相違する点を表している。

図８は、図６と比較して、コンピュータ装置２が、目標高さ情報を、ポインティングデバイス１へ送信する点で相違する。コンピュータ装置２は、目標高さ情報送信部２Ａを有し、画素情報に対応する目標高さ情報を、ポインティングデバイス１へ送信する。ポインティングデバイス１は、目標高さ受信部１９によって目標高さ情報を受信し、その目標高さ情報を上下動制御部１４へ通知する。

以上、詳細に説明したように、本発明のユーザインタフェースシステム及びプログラムによれば、動画像の再生における映像の流れを、ユーザに触覚的に反応させつつ、その触覚的部分によって再生速度を制御することができる。

本発明によれば、再生されている動画像について、ポインタカーソルが指し示す画素の画素情報を直接的にユーザの手のひらにフィードバックしているために、ユーザは、触覚的な感覚で、任意のフレームを一時停止、又はスロー再生／高速再生をすることができる。従って、視覚的に判断して操作するよりも、即時性を期待することができる。

例えば、動画像について対象物が右から左へ移動している場合、視覚的に認識して操作しようとした場合、再生速度を予め遅くした状態で凝視する必要があり、動画像の全体の流れを把握しにくくなってしまう。これに対し、触覚的に認識して操作しようとした場合、動画像を通常どおり再生していても、操作するタイミングは触覚的に認識されるので、その操作も極めて早く反応することができる。

前述した本発明における種々の実施形態によれば、当業者は、本発明の技術思想及び見地の範囲における種々の変更、修正及び省略を容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

本発明における動作説明図である。 ポインティングデバイスによる動画像の再生を表す第１の説明図である。 ポインティングデバイスによる動画像の再生を表す第２の説明図である。 本発明におけるユーザインタフェースシステムの第１の機能構成図である。 本発明における第１のフローチャートである。 本発明におけるユーザインタフェースシステムの第２の機能構成図である。 本発明における第２のフローチャートである。 本発明におけるユーザインタフェースシステムの第３の機能構成図である。 本発明における第３のフローチャートである。

符号の説明

１ ポインティングデバイス、マウス、トラックポインタ
１１ 移動情報検出部
１２ 移動情報送信部
１３ 上下動機構部
１４ 上下動制御部
１５ 画素情報受信部
１６ 現実高さ検出部、高さセンサ
１７ 差分情報算出部
１８ 差分情報送信部
１９ 現実高さ情報送信部
１Ａ 目標高さ情報受信部
２ コンピュータ装置
２１ ディスプレイ
２２ 表示制御部
２３ オペレーティングシステム
２４ 動画像データ
２５ 移動情報受信部
２６ 画素情報送信部
２７ 差分情報受信部
２８ 現実高さ情報受信部
２９ 差分情報算出部
２Ａ 目標高さ情報送信部
３ ケーブル

Claims (11)

1. ユーザによって操作された移動情報を検出する移動情報検出手段、及び該移動情報をコンピュータ装置へ送信する移動情報送信手段を有するポインティングデバイスと、動画像及びポインタカーソルをディスプレイに表示する表示制御手段を有するコンピュータ装置とを有するユーザインタフェースシステムにおいて、
   前記ポインティングデバイスは、
   机上面に当接する基部に対して、ユーザに把持される把持部を上下動させる上下動機構手段と、
   前記コンピュータ装置から、前記ポインタカーソルが指示する画素の画素情報を受信する画素情報受信手段と、
   前記画素情報に対応する目標高さ情報で、前記上下動機構手段を上下動させる上下動制御手段と
   ユーザの押下力に対応する現実高さ情報を検出する現実高さ検出手段と、
   前記目標高さ情報から、ユーザの押下力に対応する現実高さ情報を差し引いた差分情報を算出する差分情報算出手段と、
   前記差分情報を前記コンピュータ装置へ送信する差分情報送信手段と
   を有しており、
   前記コンピュータ装置は、
   前記ポインタカーソルが指示する画素の画素情報を、前記ポインティングデバイスへ送信する画素情報送信手段と、
   前記ポインティングデバイスから、前記差分情報を受信する差分情報受信手段と
   を有しており、
   前記コンピュータ装置の前記表示制御手段は、前記差分情報に基づいて前記動画像を再生、停止又は巻き戻しをする
   ことを特徴とするユーザインタフェースシステム。
2. ユーザによって操作された移動情報を検出する移動情報検出手段、及び該移動情報をコンピュータ装置へ送信する移動情報送信手段を有するポインティングデバイスと、動画像及びポインタカーソルをディスプレイに表示する表示制御手段を有するコンピュータ装置とを有するユーザインタフェースシステムにおいて、
   前記ポインティングデバイスは、
   机上面に当接する基部に対して、ユーザに把持される把持部を上下動させる上下動機構手段と、
   前記コンピュータ装置から、前記ポインタカーソルが指示する画素の画素情報を受信する画素情報受信手段と、
   前記画素情報に対応する目標高さ情報で、前記上下動機構手段を上下動させる上下動制御手段と
   ユーザの押下力に対応する現実高さ情報を検出する現実高さ検出手段と、
   前記現実高さ情報を前記コンピュータ装置へ送信する現実高さ情報送信手段と
   を有しており、
   前記コンピュータ装置は、
   前記ポインタカーソルが指示する画素の画素情報を、前記ポインティングデバイスへ送信する画素情報送信手段と、
   前記ポインティングデバイスから、前記現実高さ情報を受信する現実高さ情報受信手段と、
   前記画素情報に対応する目標高さ情報から、前記現実高さ情報を差し引いた差分情報を算出する差分情報算出手段と
   を有しており、
   前記コンピュータ装置の前記表示制御手段は、前記差分情報に基づいて前記動画像を再生、停止又は巻き戻しをする
   ことを特徴とするユーザインタフェースシステム。
3. ユーザによって操作された移動情報を検出する移動情報検出手段、及び該移動情報をコンピュータ装置へ送信する移動情報送信手段を有するポインティングデバイスと、動画像及びポインタカーソルをディスプレイに表示する表示制御手段を有するコンピュータ装置とを有するユーザインタフェースシステムにおいて、
   前記ポインティングデバイスは、
   机上面に当接する基部に対して、ユーザに把持される把持部を上下動させる上下動機構手段と、
   前記コンピュータ装置から、目標高さ情報を受信する目標高さ情報受信手段と、
   前記目標高さ情報に対応して、前記上下動機構手段を上下動させる上下動制御手段と
   ユーザの押下力に対応する現実高さ情報を検出する現実高さ検出手段と、
   前記現実高さ情報を前記コンピュータ装置へ送信する現実高さ情報送信手段と
   を有しており、
   前記コンピュータ装置は、
   前記ポインタカーソルが指示する画素の画素情報に対応する目標高さ情報を送信する目標高さ情報送信手段と、
   前記ポインティングデバイスから、前記現実高さ情報を受信する現実高さ情報受信手段と、
   前記目標高さ情報から、前記現実高さ情報を差し引いた差分情報を算出する差分情報算出手段と
   を有しており、
   前記コンピュータ装置の前記表示制御手段は、前記差分情報に基づいて前記動画像を再生、停止又は巻き戻しをする
   ことを特徴とするユーザインタフェースシステム。
4. 前記コンピュータ装置の前記表示制御手段は、前記差分情報の大きさに応じて、前記動画像の再生のためのフレームレートを変化させることを特徴とする請求項１から３のいずれか１項に記載のユーザインタフェースシステム。
5. 前記コンピュータ装置の前記表示制御手段は、
   前記差分情報が小さい場合に、前記フレームレートを当初レートに近くし、
   前記差分情報が大きい場合に、前記フレームレートを当初レートよりも遅くし、
   前記差分情報が閾値に達した場合に、前記動画像の再生を停止する
   ように制御することを特徴とする請求項４に記載のユーザインタフェースシステム。
6. 前記差分情報が閾値に達することによって前記動画像の再生を停止した後、ユーザの操作における前記ポインタカーソルの左右移動によって、前記差分情報が前記閾値よりも大きくなった場合、前記動画像を巻き戻すことを特徴とする請求項５に記載のユーザインタフェースシステム。
7. 前記コンピュータ装置の前記表示制御手段は、
   前記差分情報が小さい場合に、前記フレームレートを当初レートよりも遅くし、
   前記差分情報が大きい場合に、前記フレームレートを当初レートよりも近くし、
   前記差分情報が閾値に達した場合に、前記動画像の再生を当初レートとする
   ように制御することを特徴とする請求項４に記載のユーザインタフェースシステム。
8. 前記画素情報は、画素又は画像区画における色情報、輝度情報又は奥行き情報であることを特徴とする請求項１から７のいずれか１項に記載のユーザインタフェースシステム。
9. ユーザによって操作された移動情報を検出する移動情報検出手段と、
   前記移動情報をコンピュータ装置へ送信する移動情報送信手段と、
   机上面に当接する基部に対して、ユーザに把持される把持部を上下動させる上下動機構手段と、
   前記ポインタカーソルが指示する画素の画素情報を受信する画素情報受信手段と、
   前記画素情報に対応する目標高さ情報で、前記上下動機構手段を上下動させる上下動制御手段と、
   ユーザの押下力に対応する現実高さ情報を検出する現実高さ検出手段と、
   前記目標高さ情報から、ユーザの押下力に対応する現実高さ情報を差し引いた差分情報を算出する差分情報算出手段と、
   前記差分情報を送信する差分情報送信手段と
   を有するポインティングデバイスに接続されたコンピュータ装置を機能させるプログラムであって、
   前記ポインタカーソルが指示する画素の画素情報を、前記ポインティングデバイスへ送信する画素情報送信手段と、
   前記ポインティングデバイスから、前記差分情報を受信する差分情報受信手段と、
   動画像及びポインタカーソルをディスプレイに表示するものであり、前記差分情報に基づいて前記動画像を再生、停止又は巻き戻しをする表示制御手段と
   してコンピュータ装置を機能させることを特徴とするプログラム。
10. ユーザによって操作された移動情報を検出する移動情報検出手段と、
    前記移動情報をコンピュータ装置へ送信する移動情報送信手段と、
    机上面に当接する基部に対して、ユーザに把持される把持部を上下動させる上下動機構手段と、
    前記コンピュータ装置から、前記ポインタカーソルが指示する画素の画素情報を受信する画素情報受信手段と、
    前記画素情報に対応する目標高さ情報で、前記上下動機構手段を上下動させる上下動制御手段と
    ユーザの押下力に対応する現実高さ情報を検出する現実高さ検出手段と、
    前記現実高さ情報を前記コンピュータ装置へ送信する現実高さ情報送信手段と
    を有するポインティングデバイスに接続されたコンピュータ装置を機能させるプログラムであって、
    前記ポインタカーソルが指示する画素の画素情報を、前記ポインティングデバイスへ送信する画素情報送信手段と、
    前記ポインティングデバイスから、前記現実高さ情報を受信する現実高さ情報受信手段と、
    前記画素情報に対応する目標高さ情報から、前記現実高さ情報を差し引いた差分情報を算出する差分情報算出手段と、
    動画像及びポインタカーソルをディスプレイに表示するものであり、前記差分情報に基づいて前記動画像を再生、停止又は巻き戻しをする表示制御手段と
    してコンピュータ装置を機能させることを特徴とするプログラム。
11. ユーザによって操作された移動情報を検出する移動情報検出手段と、
    前記移動情報をコンピュータ装置へ送信する移動情報送信手段と、
    机上面に当接する基部に対して、ユーザに把持される把持部を上下動させる上下動機構手段と、
    前記コンピュータ装置から、目標高さ情報を受信する目標高さ情報受信手段と、
    前記目標高さ情報に対応して、前記上下動機構手段を上下動させる上下動制御手段と、
    ユーザの押下力に対応する現実高さ情報を検出する現実高さ検出手段と、
    前記現実高さ情報を前記コンピュータ装置へ送信する現実高さ情報送信手段と
    を有するポインティングデバイスに接続されたコンピュータ装置を機能させるプログラムであって、
    前記ポインタカーソルが指示する画素の画素情報に対応する目標高さ情報を送信する目標高さ情報送信手段と、
    前記ポインティングデバイスから、前記現実高さ情報を受信する現実高さ情報受信手段と、
    前記目標高さ情報から、前記現実高さ情報を差し引いた差分情報を算出する差分情報算出手段と、
    動画像及びポインタカーソルをディスプレイに表示するものであり、前記差分情報に基づいて前記動画像を再生、停止又は巻き戻しをする表示制御手段と
    してコンピュータ装置を機能させることを特徴とするプログラム。
    

Images