JP2009271851A - 情報処理装置、そのポインタ表示方法、およびコンピュータが実行可能なプログラム - Google Patents

Abstract

【課題】マルチモニタ環境でのオペレータの操作効率を向上させることが可能な情報処理装置を提供することを目的とする。
【解決手段】マルチモニタシステムは、第１および第２のモニタＭ１、Ｍ２と、複数のモニタの画面上に表示すべきマウスポインタＣの座標を指示するマウス１１と、オペレータの視線方向を検出してモニタの切り替えを検出するカメラドライバ３４と、マウス１１により指示された座標にマウスポインタＣを表示すると共に、カメラドライバ３４によりモニタの切り替えが検出される毎に、マウスポインタにより指示されている現在のモニタの画面上の座標を前回位置として前回位置テーブル３３ａに記憶し、また、前回位置テーブルに記憶されている、切替先のモニタの前回位置にマウスポインタを表示するマウスドライバ３３とを備えている。
【選択図】 図３

Description

本発明は、情報処理装置、そのポインタ表示方法、およびコンピュータが実行可能なプログラムに関し、詳細には、複数のモニタでマルチモニタ環境を実現する情報処理装置、そのポインタ表示方法、およびコンピュータが実行可能なプログラムに関する。

マイクロソフト社が提供するウインドウズ（Ｒ）システムでは、１台のコンピュータに２台以上のモニタを接続し、あたかも１台の大きなモニタであるかのように表示させることができる「マルチモニタ（マルチディスプレイ）」と呼ばれる機能がある。

例えば、特許文献１では、マルチモニタ環境下で、プライマリモニタの画面とセカンダリモニタの画面とがずれて所定区間で接続されている場合、マウスポインタを移動可能な所定区間を正確かつ迅速に把握できるように、目印ウィンドウをプライマリモニタの画面及びセカンダリモニタの画面上に所定区間に隣接して表示する技術が開示されている。

しかしながら、上記特許文献１では、例えば、図６（ａ）において、マウスポインタＣを使用して、プライマリモニタＭ１で作業をした後（Ｐ１）、セカンダリモニタＭ２で作業したい場合は、図６（ｂ）に示すように、マウスを操作して、プライマリモニタＭ１からセカンダリモニタＭ２にマウスポインタＣを移動させる必要があるため、モニタ間を跨いだマウスポインタＣの移動操作が煩わしいという問題がある。また、セカンダリモニタＭ２で作業を行い、再度、図６（ｃ）に示すように、マウスポインタＣをプライマリモニタＭ１に移動させる場合に、プライマリモニタＭ１での最終の作業位置（Ｐ１）を忘れてしまった場合には、最終の作業位置（Ｐ１）に戻せないため、作業効率が悪いという問題がある。さらに、マルチモニタ環境下で作業中にモニタから目を離すと、どのモニタにマウスポインタＣがあるか分からなくなり、マウスポインタを探さなければならないため、作業効率を低下させるという問題がある。

すなわち、マルチモニタ環境の２つの画面で、マウスポインタを操作する場合には、まず、どちらの画面にマウスポインタがあるかを探し、次に、作業するモニタにマウスポインタを移動させるという２つの操作が頻繁に起こり、さらに、前回のマウスポインタの位置を忘れてしまう場合があるため、マルチモニタ環境下でのオペレータの操作効率が悪いという問題がある。

特開２００６−５９２５１号公報

本発明は、上記に鑑みてなされたものであり、マルチモニタ環境でのオペレータの操作効率を向上させることが可能な情報処理装置、そのポインタ表示方法、およびコンピュータが実行可能なプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、複数のモニタでマルチモニタ環境を実現する情報処理装置において、前記複数のモニタの画面上に表示すべきポインタの座標を指示するポインティングデバイスと、前記ポインティングデバイスにより指示された座標にポインタを表示するポインタ表示制御手段と、オペレータの特定のアクションを検出して、モニタの切り替えを検出するモニタ切替検出手段と、前記モニタ切替検出手段でモニタの切り替えが検出される毎に、前記ポインタにより現在指示されているモニタの画面上の座標を前回位置として記憶手段に記憶し、かつ、前記記憶手段に記憶されている切替先モニタの画面上の前回位置に、前記ポインタを表示するポインタ表示切替手段と、を備えたことを特徴とする。

また、本発明の好ましい態様によれば、前記モニタ切替検出手段は、前記オペレータの視線方向を検出して、モニタの切り替えを検出することが望ましい。

また、本発明の好ましい態様によれば、前記モニタ切替検出手段は、前記オペレータのスイッチ操作を検出して、モニタの切り替えを検出することが望ましい。

上述した課題を解決し、目的を達成するために、本発明は、複数のモニタでマルチモニタ環境を実現する情報処理装置のポインタ表示方法において、ポインティングデバイスにより指示された前記複数のモニタの画面上の座標にポインタを表示するポインタ表示工程と、オペレータの特定のアクションを検出して、モニタの切り替えを検出するモニタ切替検出工程と、前記モニタ切替検出工程でモニタの切り替えが検出される毎に、前記ポインタにより現在指示されているモニタの画面上の座標を前回位置として記憶手段に記憶し、かつ、前記記憶手段に記憶されている切替先モニタの画面上の前回位置に、前記ポインタを表示するポインタ表示切替工程と、を含むことを特徴とする。

上述した課題を解決し、目的を達成するために、本発明は、複数のモニタでマルチモニタ環境を実現する情報処理装置に搭載されるプログラムにおいて、ポインティングデバイスにより指示された前記複数のモニタの画面上の座標にポインタを表示するポインタ表示工程と、オペレータの特定のアクションを検出して、モニタの切り替えを検出するモニタ切替検出工程と、前記モニタ切替検出工程でモニタの切り替えが検出される毎に、前記ポインタにより現在指示されているモニタの画面上の座標を前回位置として記憶手段に記憶し、かつ、前記記憶手段に記憶されている切替先モニタの画面上の前回位置に、前記ポインタを表示するポインタ表示切替工程と、をコンピュータに実行させることを特徴とする。

本発明によれば、複数のモニタでマルチモニタ環境を実現する情報処理装置において、前記複数のモニタの画面上に表示すべきポインタの座標を指示するポインティングデバイスと、前記ポインティングデバイスにより指示された座標にポインタを表示するポインタ表示制御手段と、オペレータの特定のアクションを検出して、モニタの切り替えを検出するモニタ切替検出手段と、前記モニタ切替検出手段でモニタの切り替えが検出される毎に、前記ポインタにより現在指示されているモニタの画面上の座標を前回位置として記憶手段に記憶し、かつ、前記記憶手段に記憶されている切替先モニタの画面上の前回位置に、前記ポインタを表示するポインタ表示切替手段と、を備えているので、オペレータの特定のアクションでポインタの表示をモニタ間で切り替えて、ポインタを前回位置に表示することができ、マルチモニタ環境でのオペレータの操作効率を向上させることが可能な情報処理装置を提供することが可能になるという効果を奏する。

以下に、この発明につき図面を参照しつつ詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、下記実施例における構成要素には、当業者が容易に想定できるものまたは実質的に同一のものが含まれる。

図１は、本発明の実施の形態に係るマルチモニタシステムの概略構成例を示す図である。本発明の実施の形態に係るマルチモニタシステム１は、図１に示すように、内蔵モニタである第１のモニタＭ１、デジタルカメラ１８、およびマウス１１を備え、マルチモニタ機能（拡張ディスクトップ機能）を有するノート型パーソナルコンピュータ１０と、外部モニタである第２のモニタＭ２とで構成されている。

マルチモニタシステム１は、オペレータの視線方向を検出して、マウスポインタの表示を第１のモニタＭ１と第２のモニタＭ２とで切替可能に構成されている。さらに、マルチモニタシステム１は、マウスポインタの表示をモニタ間で切り替える場合に、各モニタのマウスポインタの前回位置にマウスポインタを表示するように構成されている。すなわち、オペレータの視線でマウスポインタの表示を第１のモニタＭ１と第２のモニタＭ２とで切り替えることができ、その際、マウスポインタを前回位置に表示可能となっている。

図２は、図１のノート型パーソナルコンピュータの構成例を示す図である。ノート型パーソナルコンピュータ１０は、図２に示すように、ＣＰＵ(Central Processing Unit)１２と、メモリ１３と、ＨＤＤ（Hard Disk Device）１４と、ＣＤ−ＲＯＭ(Compact Disk-Read Only Memory)ドライブ１５と、入出力インターフェース１６とを備える。入出力インターフェース１６には、キーボード１７と、カメラ１８と、トラックポイント２０と、第１のモニタＭ１とが接続される。また、入出力インターフェース１６には、マウス１１と、第２のモニタＭ２が接続される。

ＣＰＵ１２は、ＨＤＤ１４に格納されたＯＳ３１によりノート型パーソナルコンピュータ１０全体の制御を行うとともに、ＨＤＤ１４に格納された各種のプログラムに基づいて処理を実行する機能を司る。メモリ１３は、ＲＯＭ、キャッシュメモリ、ＲＡＭ等で構成されており、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ：基本入出力システム）やデータ等を格納する領域と、ＣＰＵ１２の実行プログラムの読み込み領域として、実行プログラムの処理データを書き込む作業領域として利用される書き込み可能領域とを備えている。

ＨＤＤ１４は、例えば、Ｗｉｎｄｏｗｓ（Ｒ）等のノート型パーソナルコンピュータ１０全体の制御を行うためのＯＳ３１、周辺機器類をハードウェア操作するための各種ドライバ（モニタドライバ３２，マウスドライバ３３，カメラドライバ３４等）、特定業務に向けられたアプリケーションプログラム３５等を記憶する機能を有する。ＯＳ３１は、マルチモニタ機能（拡張ディスクトップ機能）をサポートする。モニタドライバ３２は、第１のモニタＭ１および第２のモニタＭ２の表示制御を行う。マウスドライバ３３は、マウス１１の制御を行うと共に、マウスポインタの表示制御を行う。カメラドライバ３４は、カメラ１８の制御を行う。ＨＤＤ１４に記憶するプログラムは、例えば、ＣＤ−ＲＯＭ１９からＣＤ−ＲＯＭドライブ１５を介してインストールすることができる。

カメラ１８は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサのような固体撮像素子を含むカメラである。トラックポイント２０およびマウス１１は、第１のモニタＭ１及び第２のモニタＭ２の画面上に表示すべきマウスポインタの座標を指示する。トラックポイント２０は内蔵のポインティングデバイスであり、マウス１１は外付けのポインティングデバイスである。以下、ポインティングデバイスとしてマウス１１を例に説明する。

図３は、上記マルチモニタシステム１のマウスポインタの表示切り替えに関する機能構成を示す図である。モニタドライバ３２は、ＯＳ３１の指示により、マルチモニタの環境設定を行い、同図に示すように、第１のモニタＭ１の画面の右辺と第２のモニタＭ２の画面の左辺とを仮想的に接続して、拡張デスクトップを実現する。例えば、第１のモニタＭ１は１２８０×７６７ドットのサイズを有し、第２のモニタＭ２は、１４４０×９００ドットのサイズを有する。

カメラ１８とカメラドライバ３４は、オペレータの特定のアクションを検出して、モニタの切り替えを検出するモニタ切替検出手段として機能し、カメラ３０の前にいてこのマルチモニタシステム１を操作するオペレータの視線方向を検出する視線方向検出処理を行う。カメラ３０は、人間の顔領域を含む画像であって対象となる画像領域内の各画素の値のデジタルデータをカメラドライバ３４に出力する。カメラドライバ３４は、カメラ１９で撮影した対象画像から人物の顔を抽出し、さらに人物の顔の画像に基づいて視線方向を検出し、検出した視線方向に対応（存在）するモニタ（第１のモニタＭ１または第２のモニタＭ２）を判定してモニタの切り替えを判定し、モニタが切り替えられたと判定した場合にモニタ切替指示をマウスドライバ３３に出力する。

顔の画像から視線方向を検出する方法としては、公知の方法を使用することができ、例えば、特開２００６−２８５５３３１号公報の視線方向の検出方法等を使用することができる。また、視線方向とモニタの対応関係は、例えば、予めキャリブレーションを行うことで登録することができ、カメラドライバ３４は、オペレータが第１のモニタＭ１および第２のモニタＭ２の４隅をそれぞれ見た場合の視線方向を検出して、第１のモニタＭ１の視線方向範囲データ３４ａおよび第２のモニタＭ２の視線方向範囲データ３４ｂとして登録しておく。カメラドライバ３４は、検出したオペレータの視線方向が第１のモニタＭ１の視線方向範囲データ３４ａおよび第２のモニタＭ２の視線方向範囲データ３４ｂのいずれの範囲内にあるかを判断して、視線方向に対応するモニタを判定することができる。なお、第１のモニタＭ１の視線方向範囲データ３４ａおよび第２のモニタＭ２の視線方向範囲データ３４ｂはオペレータ毎に登録が可能となっており、オペレータと第１、第２のモニタＭ１，Ｍ２との位置関係が変わらない場合は、この登録されたデータを使用することで、毎回のキャリブレーションは不要となる。

マウスドライバ３３は、ポインタ表示制御手段およびポインタ表示切替手段として機能する。マウスドライバ３３は、マウス１１の操作を検出して、第１のモニタＭ１及び第２のモニタＭ２上のマウスポインタＣの表示位置を変更する。これにより、オペレータがマウス１１を所望の方向に移動させると、これに応じてマウスポインタＣが画面上を移動する。マウスドライバ３３は、第１のモニタＭ１および第２のモニタＭ２のマウスポインタＣの前回位置１Ｐ_n-1および２Ｐ_n-1をそれぞれ格納する前回位置テーブル３３ａを備えている。

また、マウスドライバ３３は、カメラドライバ３４からモニタ切替指示が入力されると、現在、マウスポインタＣが表示されているモニタのＸＹ座標を、前回位置テーブル３３ａの対応するモニタの前回位置に記憶（上書き）する。例えば、前回位置テーブル３３ａの前回位置の初期値としては、画面の中央座標が登録されており、モニタが切り替えられる毎に、前回位置を更新する。また、モニタドライバ３２は、カメラドライバ３４からモニタ切替指示が入力されると、前回位置テーブル３３ａに登録されている、切替指示されたモニタの前回位置にマウスポインタＣを表示する。

次に、上記図２および図３の構成のマルチモニタシステム１のマウスポインタＣの表示切り替え動作を説明する。図４は、マルチモニタシステム１のマウスポインタＣの表示切り替え動作を説明するためのフローチャートである。

図４において、まず、マルチモニタシステム１の電源がＯＮされると（ステップＳ１の「Ｙｅｓ」）、起動処理が行われ、ＯＳ３１や各種ドライバが起動する。モニタドライバ３２は、ＯＳ３１の指示に従ってマルチモニタの環境設定を行う（ステップＳ２）。これにより、マルチモニタ環境が実現される。

マウスドライバ３３は、第１のモニタＭ１の画面上の初期位置にマウスポインタＣを表示する（ステップＳ３）。これにより、ユーザがマウス１１を所望の方向に移動させると、これに応じてマウスポインタＣが拡張デスクトップ上を移動する。

つぎに、カメラドライバ３４は、視線方向検出処理を開始する（ステップＳ４）。具体的には、カメラ１８の前にいてこのマルチモニタシステム１を操作するオペレータの顔領域を含む対象画像の撮像を開始して、所定周期でカメラドライバ３４に出力する。カメラドライバ３４は、カメラ１１で撮影した対象画像から人物の顔を抽出し、さらに人物の顔の映像に基づいて視線方向を検出し、検出した視線方向に対応するモニタ（第１のモニタまたは第２のモニタ）を判定する。

そして、カメラドライバ３４は、モニタが切り替えられたか否かを判定する（ステップＳ５）。カメラドライバ３４は、モニタが切り替えられていないと判定した場合には（ステップＳ５の「Ｎｏ」）、ステップＳ９に移行する一方、モニタが切り替えられたと判定した場合には（ステップＳ５の「Ｙｅｓ」）、モニタ切替指示をマウスドライバ３３に出力する（ステップＳ６）。

マウスドライバ３３は、モニタ切替指示が入力されると（ステップＳ６）、マウスポインタＣにより指示されている現在のモニタの画面上の座標を前回位置として前回位置テーブル３３ａに記憶する（ステップＳ７）。マウスドライバ３３は、マウスポインタＣを、前回位置テーブル３３ａに記憶されている、切替先のモニタの画面上の前回位置に表示する（ステップＳ８）。この後、電源がＯＦＦされた場合には（ステップＳ９の「Ｙｅｓ」）、当該フローを終了する一方、電源がＯＦＦされていない場合には、ステップＳ５に戻る。

図５は、上記図２および図３の構成のマルチモニタシステム１のマウスポインタＣの表示切り替え動作を説明するための画面表示例を示す図である。

例えば、図５（ａ）において、オペレータが、第１のモニタＭ１の画面でマウス１１を使用して作業を行っている場合に、第２のモニタＭ２に視線を移すと、カメラドライバ３４は、その視線方向を検出して第２のモニタＭ２に切替えられたと判定し、第２のモニタＭ２へのモニタ切替指示をマウスドライバ３３に出力する。マウスドライバ３３は、第２のモニタＭ２へのモニタ切替指示を受け取ると、マウスポインタＣにより指示されている現在の第１のモニタＭ１の画面上の座標１Ｐ₁を前回位置として前回位置テーブル３３ａに記憶した後、図５（ｂ）に示すように、マウスポインタＣを、前回位置テーブル３３ａに記憶されている、第２のモニタＭ２の画面上の前回位置２Ｐ_１に表示する。

さらに、図５（ｃ）において、オペレータが、第２のモニタＭ２の画面でマウス１１を使用して作業を行っている場合に、第１のモニタＭ１に視線を移すと、カメラドライバ３４は、その視線方向を検出して第１のモニタＭ１に切替えられたと判定し、第１のモニタＭ１へのモニタ切替指示をマウスドライバ３３に出力する。マウスドライバ３３は、第１のモニタＭ１へのモニタ切替指示を受け取ると、マウスポインタＣにより指示されている現在の第２のモニタＭ２の画面上の座標２Ｐ_２を前回位置として前回位置テーブル３３ａに記憶した後、図５（ｄ）に示すように、マウスポインタＣを、前回位置テーブル３３ａに記憶されている、第１のモニタＭ１の画面上の前回位置１Ｐ_１に表示する。この後、オペレータが、第２のモニタＭ２に視線を移すと、マウスポインタＣは第２のモニタＭ２の前回位置２Ｐ_２に表示される。

以上説明したように、本実施例に係るマルチモニタシステム１によれば、第１および第２のモニタＭ１、Ｍ２と、複数のモニタの画面上に表示すべきマウスポインタＣの座標を指示するマウス１１と、オペレータの視線方向を検出してモニタの切り替えを検出するカメラドライバ３４と、マウス１１により指示された座標にマウスポインタＣを表示すると共に、カメラドライバ３４によりモニタの切り替えが検出される毎に、マウスポインタＣにより指示されている現在のモニタの画面上の座標を前回位置として前回位置テーブル３３ａに記憶し、また、前回位置テーブル３３ａに記憶されている、切替先のモニタの前回位置にマウスポインタＣを表示するマウスドライバ３３とを備えているので、オペレータの視線でマウスポインタの表示を第１のモニタＭ１と第２のモニタＭ２とで切り替えて、マウスポインタを前回位置に表示することができ、マルチモニタ環境でのオペレータの操作効率を向上させることが可能となる。付言すると、本実施例は、モニタ間でＣｕｔ＆Ｐａｓｔｅを繰り返す場合や各モニタで文書を交互に編集する等のモニタを交互に使用する頻度が高い場合に特に有効である。

なお、上記実施例では、オペレータによるモニタ切り替えのアクションをオペレータの視線方向で検出することとしたが、本発明はこれに限られるものではなく、複数のモニタを切り替えるためのハードウェアスイッチやソフトウェアスイッチを設けて、オペレータのスイッチ操作を検出して、モニタを切り替える構成としてもよい。

また、上記実施例では、拡張デスクトップ領域を表示するために２台のモニタを使用することとしたが、３台以上のモニタを使用することにしてもよい。また、コンピュータの型式は上述したノート型に限定されることなく、たとえばデスクトップ型としてもよい。また、２台目以降のモニタを外部モニタとしたが、ノート型パーソナルコンピュータが複数台のモニタを内蔵する構成としてもよい。

また、上記実施例では、マウスについて説明したが、位置入力が可能なポインティングデバイスはマウスに限られるものではなく、トラックボール、タブレット、タッチパッド等を使用することにしてもよい。

本発明に係る情報処理装置、そのポインタ表示方法、およびコンピュータが実行可能なプログラムは、マルチモニタ環境下でのオペレーションの作業効率を向上させる場合に有用である。

本発明の実施の形態に係るマルチモニタシステムの概略構成例を示す図である。 ノート型パーソナルコンピュータの構成例を示す図である。 マルチモニタシステムのマウスポインタの表示切り替えに関する機能構成を示す図である。 マルチモニタシステムのマウスポインタの表示切り替え動作を説明するためのフローチャートである。 マルチモニタシステムのマウスポインタの表示切り替え動作を説明するための画面表示例を示す図である。 従来技術を説明するための図である。

符号の説明

１ マルチモニタシステム
１０ ノート型パーソナルコンピュータ
１１ マウス
１２ ＣＰＵ
１３ メモリ
１４ ＨＤＤ
１５ ＣＤ−ＲＯＭドライブ
１６ 入出力インターフェース
１７ キーボード
１８ カメラ
１９ ＣＤ−ＲＯＭ
２０ トラックポイント
３１ ＯＳ
３２ モニタドライバ
３３ マウスドライバ
３３ａ 前回位置テーブル
３４ カメラドライバ
３５ アプリケーションプログラム
Ｍ１ 第１のモニタ
Ｍ２ 第２のモニタ

Claims (5)

1. 複数のモニタでマルチモニタ環境を実現する情報処理装置において、
   前記複数のモニタの画面上に表示すべきポインタの座標を指示するポインティングデバイスと、
   前記ポインティングデバイスにより指示された座標にポインタを表示するポインタ表示制御手段と、
   オペレータの特定のアクションを検出して、モニタの切り替えを検出するモニタ切替検出手段と、
   前記モニタ切替検出手段でモニタの切り替えが検出される毎に、前記ポインタにより現在指示されているモニタの画面上の座標を前回位置として記憶手段に記憶し、かつ、前記記憶手段に記憶されている切替先モニタの画面上の前回位置に、前記ポインタを表示するポインタ表示切替手段と、
   を備えたことを特徴とする情報処理装置。
2. 前記モニタ切替検出手段は、前記オペレータの視線方向を検出して、モニタの切り替えを検出することを特徴とする請求項１に記載の情報処理装置。
3. 前記モニタ切替検出手段は、前記オペレータのスイッチ操作を検出して、モニタの切り替えを検出することを特徴とする請求項１に記載の情報処理装置。
4. 複数のモニタでマルチモニタ環境を実現する情報処理装置のポインタ表示方法において、
   ポインティングデバイスにより指示された前記複数のモニタの画面上の座標にポインタを表示するポインタ表示工程と、
   オペレータの特定のアクションを検出して、モニタの切り替えを検出するモニタ切替検出工程と、
   前記モニタ切替検出工程でモニタの切り替えが検出される毎に、前記ポインタにより現在指示されているモニタの画面上の座標を前回位置として記憶手段に記憶し、かつ、前記記憶手段に記憶されている切替先モニタの画面上の前回位置に、前記ポインタを表示するポインタ表示切替工程と、
   を含むことを特徴とする情報処理装置のポインタ表示方法。
5. 複数のモニタでマルチモニタ環境を実現する情報処理装置に搭載されるプログラムにおいて、
   ポインティングデバイスにより指示された前記複数のモニタの画面上の座標にポインタを表示するポインタ表示工程と、
   オペレータの特定のアクションを検出して、モニタの切り替えを検出するモニタ切替検出工程と、
   前記モニタ切替検出工程でモニタの切り替えが検出される毎に、前記ポインタにより現在指示されているモニタの画面上の座標を前回位置として記憶手段に記憶し、かつ、前記記憶手段に記憶されている切替先モニタの画面上の前回位置に、前記ポインタを表示するポインタ表示切替工程と、
   をコンピュータに実行させることを特徴とするコンピュータが実行可能なプログラム。

Images