JP2015177495A - 電子機器、表示制御方法及びプログラム - Google Patents

Abstract

【課題】表示画像に正対していないユーザでも画像中のポインティングデバイスを違和感なく操作すること。【解決手段】画像に対する、マウス１０Ａの角度情報を取得し（ステップS104〜S106）、マウス１０Ａの移動操作方向を検出し（ステップS102）、取得した角度情報に基づいて、検出したマウス１０Ａの移動操作方向を補正し（ステップS107）、補正したマウス１０Ａの移動操作方向に応じて、画像にポインタ画像を重畳して出力させる（ステップS108）。【選択図】図２

Description

本発明は、例えばパーソナルコンピュータと接続してプレゼンテーションを行なうプロジェクタ装置等に好適な電子機器、表示制御方法及びプログラムに関する。

投影装置で、横置きによる壁面（垂直面）投影と、縦置きによる机上（水平面）投影とを可能にした技術が提案されている。（例えば、特許文献１）

特開２０１１−１５８５２２号公報

投影装置をパーソナルコンピュータと接続し、パーソナルコンピュータでプレゼンテーションプログラムを実行することで、投影装置による画像を用いたプレゼンテーションを行なうことが広く一般に普及している。

この種の使用環境において、プレゼンテーションを行なう者（以下「プレゼンテータ」と称する）は、パーソナルコンピュータのキーボード及びポインティングデバイスとしてのマウスを操作しながら、投影するページ画像を切換え、あるいは画像中のポインタ位置を移動させるなどの各種操作を行なう。

ここでプレゼンテータが当該パーソナルコンピュータのディスプレイを用いず、投影される画像を見ながら、画像中のポインタの位置を移動させたい場合を考える。この場合、画像中のポインタの移動方向は、単純にマウスの操作方向に依存するものであり、プレゼンテータが投影している画像をどの方向から見ているのかにはまったく関係しない。

そのため、プレゼンテータが投影画像を正面以外の方向から見ている際には、実際に見える画像中でポイントを移動させたい方向と、その方向に移動させるためにマウスを操作する方向とが異なることになるので、プレゼンテータはそれらの方向に相違を認識した上でマウスを操作する必要がある。

この点は、例えば上記特許文献に記載された、縦置きによる机上（水平面）投影を行なう投影装置にパーソナルコンピュータを接続してプレゼンテーションを行なう場合に顕著であり、投影される画像とマウスの操作面が同一面に存在することになる。そのため、例えばプレゼンテータが投影される画像の上側の方向に位置する場合には、マウスの操作方向とその操作により移動するポインタの方向とが全く反対となるなど、プレゼンテータにとっては非常に違和感を生じる煩雑な操作が必要となる。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、表示画像に正対していないユーザでも画像中のポインティングデバイスを違和感なく操作することが可能な電子機器、表示制御方法及びプログラムを提供することにある。

本発明の一態様は、画像情報に基づく画像に対する、ポインティングデバイスの基準角度情報を取得する取得部と、上記ポインティングデバイスの移動操作方向を検出する検出部と、上記取得部で取得した基準角度情報に基づき、上記検出部で検出したポインティングデバイスの移動操作方向を補正する補正部と、上記補正部で補正したポインティングデバイスの移動操作方向に応じて、上記画像にポインタ画像を重畳して出力する出力部と、を備えたことを特徴とする。

本発明によれば、表示画像に正対していないユーザでも画像中のポインティングデバイスを違和感なく操作することが可能となる。

本発明の一実施形態に係るプレゼンテーションシステムの設置環境を示す図。 同実施形態に係るマウスの移動操作方向の手動設定を含むプレゼンテーション中の一部の動作を抽出して示すフローチャート。 同実施形態に係るパーソナルコンピュータのディスプレイで表示される、プレゼンテーション用画像等の例を示す図。 同実施形態に係るマウスの移動操作方向の自動設定を含むプレゼンテーション中の一部の動作を抽出して示すフローチャート。

以下、本発明をパーソナルコンピュータとプロジェクタを用いたプレゼンテーションシステムに適用した場合の一実施形態について、図面を参照して説明する。

図１は、同システムの設置環境の一例を示す図である。ここではテーブルＴＢ上にノートブックタイプのパーソナルコンピュータ１０と、プロジェクタ装置２０と、を載置し、パーソナルコンピュータ１０とプロジェクタ装置２０と、をＲＧＢケーブルＶＣで接続する。

パーソナルコンピュータ１０からＲＧＢケーブルＶＣを介してプロジェクタ装置２０へ送られる画像信号により、プロジェクタ装置２０が画像をテーブルＴＢの板面上に投影する。

上記パーソナルコンピュータ１０は、ポインティングデバイスとしてのマウス１０Ａと、ウェブカメラ１０Ｂと、を外付けで装着している。

このウェブカメラ１０Ｂは、ノートブックタイプのパーソナルコンピュータ１０のディスプレイ上端に着脱自在に取付けられるもので、このパーソナルコンピュータ１０を操作するユーザ（プレゼンテータ）が位置する内方側に向けて装着し、当該プレゼンテータを撮影させることができる一方で、図示するように外方側に向けて装着し、上記プロジェクタ装置２０がテーブルＴＢ上に投影している画像を撮影させることもできるものとする。

なお上記パーソナルコンピュータ１０及びプロジェクタ装置２０の各ハードウェア回路の構成に関しては、それぞれ一般的な同装置のハードウェア回路の構成と同様であるものとして、それらの図示と説明とを省略する。

次に上記実施例の動作について説明する。
以下に示す動作は、パーソナルコンピュータ１０に予めインストールされたプレゼンテーション用のプログラムを起動し、当該プログラム用に作成されたドキュメントファイルの再生過程で実行される。当該プログラムでは、このパーソナルコンピュータ１０のユーザであるプレゼンテータが、マウス１０Ａでの移動操作方向の補正を手動設定で行なうか、上記ウェブカメラ１０Ｂを用いて自動設定するかをモード切換えにより任意に選択できるものとする。

手動設定及び自動設定のいずれの動作も、パーソナルコンピュータ１０内の図示しないＣＰＵが、記憶媒体であるハードディスク装置等から読出したプレゼンテーション用のプログラムを、メインメモリであるＤＲＡＭ（ダイナミックＲＡＭ）に展開して記憶させた上で実行する。

図２は、マウス１０Ａの移動操作方向の手動設定を含む、プレゼンテーション中の一部の動作を抽出して示すフローチャートである。その処理当初にＣＰＵは、マウス１０Ａの移動操作方向の手動設定を示す指示操作が選択されたか否かを判断する（ステップＳ１０１）。

ここで手動設定を示す指示操作が選択されていないと判断した場合（ステップＳ１０１のＮｏ）、ＣＰＵは次にマウス１０Ａの移動操作がなされたか否かを判断する（ステップＳ１０２）。

マウス１０Ａは移動操作されていないと判断した場合（ステップＳ１０２のＮｏ）、さらにＣＰＵはプロジェクタ装置２０に出力して投影させる画像信号の切換えタイミングとなったか否かを、当該プレゼンテーションプログラム上で改ページ操作がなされたか否かにより判断する（ステップＳ１０３）。

まだ投影させる画像信号の切換えタイミングとはなっていないと判断した場合（ステップＳ１０３のＮｏ）、再び上記ステップＳ１０１からの処理に戻る。

こうして上記ステップＳ１０１〜Ｓ１０３の処理を繰返し実行しながら、手動設定を示す指示操作が選択されるか、マウス１０Ａが移動操作されるか、投影させる画像信号の切換えタイミングとなるのを待機する。

上記ステップＳ１０１において、マウス１０Ａの移動操作方向の手動設定を示す指示操作が選択されたと判断した場合（ステップＳ１０１のＹｅｓ）、ＣＰＵはマウス１０Ａによる基準方向、例えばパーソナルコンピュータ１０のユーザが操作するマウス１０Ａが、プロジェクタ装置２０の投影する画像に対してどのような角度の関係にあるかを回転角度として示す操作を受付け（ステップＳ１０４）、その後に所定の角度決定操作、例えば左クリックキーの操作がなされるのを待機する（ステップＳ１０５のＮｏ）。

図３は、このときパーソナルコンピュータ１０のディスプレイＤＳで表示される、プレゼンテーション用画像と、その端部、例えば左上端でのマウスの角度設定用画像ＭＳの例を示す。

例えば上記図１で示したプロジェクタ装置２０の投影画像とパーソナルコンピュータ１０のマウス１０Ａのような位置関係にある場合、パーソナルコンピュータ１０を操作するユーザからは、投影画像が正規の方向から右回転方向（時計方向）に略９０°回転した状態で見えることになる。

この場合、マウス１０Ａの前方は投影画像の左方を指し示すことになる。そのため、パーソナルコンピュータ１０のユーザは、マウス１０Ａを操作してディスプレイＤＳ上のポインタＰＴをマウスの角度設定用画像ＭＳの位置まで移動させた上で、図示する如くマウスの角度設定用画像ＭＳが左方を向くようにドラッグ操作することで、その時点の投影状況下でのマウス１０Ａの方向を正しく指定したことになる。ディスプレイＤＳ上に表示されるマウスの角度設定用画像ＭＳの操作に合わせて、図３に示すようにマウスの角度設定用画像ＭＳの下部に決定ボタンＥＴを現出して表示させ、この決定ボタンＥＴへのクリック操作の有無により上記ステップＳ１０５での判断を行なっても良い。

なお、決定ボタンＥＴの操作に伴って、マウス１０Ａの移動操作方向の手動設定に関する一連の処理は一旦終了するものとし、ディスプレイＤＳにおけるマウスの角度設定用画像ＭＳと決定ボタンＥＴの画像表示は停止する。

そして、角度決定操作がなされたと判断した時点で（ステップＳ１０５のＹｅｓ）、決定された回転角度の情報を設定するべく記憶した後（ステップＳ１０６）、上記ステップＳ１０２からの処理に移行する。

上記図３に示したように、ディスプレイＤＳ上でマウスの角度設定用画像ＭＳが左方を向いた状態で決定ボタンＥＴが操作された場合、例えば右回転方向（時計方向）の符号をプラスとすると、マウスが真上を向いた基準状態から、決定された角度の状態、例えば「マイナス９０°」が補正のための回転角度の情報となる。

また上記ステップＳ１０２において、マウス１０Ａの移動操作がなされたと判断した場合（ステップＳ１０２のＹｅｓ）、当該操作によるマウス１０Ａの操作情報を、その時点で設定されている回転角度の情報により補正する（ステップＳ１０７）。

そして、その補正結果に基づいてプロジェクタ装置２０へ出力する画像情報中のポインタＰＴの位置を移動するよう、ポインタＰＴの画像を重畳して処理させた上で（ステップＳ１０８）、上記ステップＳ１０３からの処理に移行する。

また上記ステップＳ１０３において、当該プレゼンテーションプログラム上で改ページ操作がなされ、投影させる画像信号の切換えタイミングとなったと判断した場合（ステップＳ１０３のＹｅｓ）、ＣＰＵはその操作に対応して当該プレゼンテーションプログラムで再生しているドキュメントファイルからあらたな画像信号を作成してプロジェクタ装置２０に送信して投影させた上で（ステップＳ１０９）、再び上記ステップＳ１０１からの処理に移行する。

このように、パーソナルコンピュータ１０のユーザが、マウス１０Ａの操作方向を実際にプロジェクタ装置２０により投影されている画像中の移動方向に合致させるための設定を手動で行なうようにしたので、パーソナルコンピュータ１０のユーザが投影画像に正対していない場合でも、投影画像を見ながら画像中のポインタ位置をマウス１０Ａの操作により違和感なく確実に操作できる。

また本実施形態では、上述した如くマウス１０Ａでの移動操作方向の補正を手動設定で行なうか、上記ウェブカメラ１０Ｂを用いて自動設定するかをモード切換えにより任意に選択できるものとしている。

図４は、上記図２の処理に代えて実行する、マウス１０Ａの移動操作方向の自動設定を含む、プレゼンテーション中の一部を抽出した動作の処理内容を示すフローチャートである。
その処理当初にＣＰＵは、当該プレゼンテーションプログラムで予め設定された、ウェブカメラ１０Ｂの撮影タイミング（例えば１回／５［秒］）となったか否かを判断する（ステップＳ２０１）。

ここで撮影タイミングとはなっていないと判断した場合（ステップＳ２０１のＮｏ）、ＣＰＵは次にマウス１０Ａの移動操作がなされたか否かを判断する（ステップＳ２０２）。

マウス１０Ａは移動操作されていないと判断した場合（ステップＳ２０２のＮｏ）、さらにＣＰＵはプロジェクタ装置２０に出力して投影させる画像信号の切換えタイミングとなったか否かを、当該プレゼンテーションプログラム上で改ページ操作がなされたか否かにより判断する（ステップＳ２０３）。

まだ投影させる画像信号の切換えタイミングとはなっていないと判断した場合（ステップＳ２０３のＮｏ）、再び上記ステップＳ２０１からの処理に戻る。

こうして上記ステップＳ２０１〜Ｓ２０３の処理を繰返し実行しながら、ウェブカメラ１０Ｂでの撮影タイミングとなるか、マウス１０Ａが移動操作されるか、投影させる画像信号の切換えタイミングとなるのを待機する。

上記ステップＳ２０１において、ウェブカメラ１０Ｂでの撮影タイミングとなったと判断した場合（ステップＳ２０１のＹｅｓ）、ＣＰＵはウェブカメラ１０Ｂによる撮影を実行する（ステップＳ２０４）。

ＣＰＵは、撮影により得た画像データに対し、その時点でプロジェクタ装置２０に出力して投影させている画像信号の画像を縮小、回転、変形した各種画像を作成してそれぞれパターンマッチング処理を行なうことで（ステップＳ２０５）、撮影画像中にプロジェクタ装置２０による投影画像が写り込んでいるか否かを判断する（ステップＳ２０６）。

ここで該当するパターンが検出できず、撮影画像中には投影画像が写り込んでいないと判断した場合には（ステップＳ２０６のＮｏ）、そのまま上記ステップＳ２０２からの処理に移行する。

このとき、例えばパーソナルコンピュータ１０のディスプレイＤＳにおいて、例えば
「投影している画像を撮影することができませんでした」
のような文字列によるガイドメッセージを一定時間することで、ユーザにウェブカメラ１０Ｂの対向方向を調整するように促すものとしても良い。
また上記ステップＳ２０６で該当するパターンが検出され、撮影画像中に投影画像が写り込んでいると判断した場合には（ステップＳ２０６のＹｅｓ）、次にその投影画像のパターンから、当該投影画像に対してパーソナルコンピュータ１０が位置している角度を算出する（ステップＳ２０７）。

例えば上記図１に示すようなパーソナルコンピュータ１０とプロジェクタ装置２０の位置関係の場合、撮影画像中では投影画像の上方が右方を向いた状態として撮影される。これはすなわち、プロジェクタ装置２０の投影画像を基準とすると、パーソナルコンピュータ１０は投影画像の左方に向いていることとなり、例えば右回転方向（時計方向）の符号をプラスとすると、パーソナルコンピュータ１０におけるマウスの真上方向は投影画像での基準から「マイナス９０°」であることとなる。

このように算出された回転角度の情報を設定するべく記憶した後（ステップＳ２０８）、上記ステップＳ２０２からの処理に移行する。

また上記ステップＳ２０２において、マウス１０Ａの移動操作がなされたと判断した場合（ステップＳ２０２のＹｅｓ）、当該操作によるマウス１０Ａの操作情報を、その時点で設定されている回転角度の情報により補正する（ステップＳ２０９）。

そして、その補正結果に基づいてプロジェクタ装置２０へ出力する画像情報中のポインタＰＴの位置を移動するよう、ポインタＰＴの画像を重畳して処理させた上で（ステップＳ２１０）、上記ステップＳ２０３からの処理に移行する。

また上記ステップＳ２０３において、当該プレゼンテーションプログラム上で改ページ操作がなされ、投影させる画像信号の切換えタイミングとなったと判断した場合（ステップＳ２０３のＹｅｓ）、ＣＰＵはその操作に対応して当該プレゼンテーションプログラムで再生しているドキュメントファイルからあらたな画像信号を作成してプロジェクタ装置２０に送信して投影させた上で（ステップＳ２１１）、再び上記ステップＳ２０１からの処理に移行する。

このように、プロジェクタ装置２０による投影画像に対する、パーソナルコンピュータ１０の対向方向に応じて、マウス１０Ａの操作方向を実際にプロジェクタ装置２０により投影されている画像中の移動方向に合致させるための設定を自動で行なうようにしたので、パーソナルコンピュータ１０のユーザが投影画像に正対していない場合でも、投影画像を見ながら画像中のポインタ位置をマウス１０Ａの操作により違和感なく簡便且つ気軽に操作できる。

以上詳述した如く本実施形態によれば、プロジェクタ装置２０の投影画像にパーソナルコンピュータ１０のユーザが正対していない場合でも、投影画像を見ながらマウス１０Ａを違和感なく操作することが可能となる。

なお上記実施形態は、本発明をパーソナルコンピュータとプロジェクタを用いたプレゼンテーションシステムに適用した場合について説明したが、本発明はこれに限ることなく、ポインタの操作系とそれを表示する画像の位置とが離れているようなポインティングデバイス、システムや装置であればよく、例えば水平に設置された一枚の盤面状ディスプレイを取り囲んで多人数でゲームを行なうアーケードゲーム機とそのコントローラなど、他の種々の装置などにも適用可能である。

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
請求項１記載の発明は、画像情報に基づく画像に対する、ポインティングデバイスの基準角度情報を取得する取得部と、上記ポインティングデバイスの移動操作方向を検出する検出部と、上記取得部で取得した基準角度情報に基づき、上記検出部で検出したポインティングデバイスの移動操作方向を補正する補正部と、上記補正部で補正したポインティングデバイスの移動操作方向に応じて、上記画像にポインタ画像を重畳して出力する出力部と、を備えたことを特徴とする。

請求項２記載の発明は、上記請求項１において、画像情報を入力する入力部をさらに備え、上記取得部は、上記出力部で出力する画像に対する上記ポインティングデバイスの移動操作方向を受付けて、ポインティングデバイスの基準角度情報を取得することを特徴とする。

請求項３記載の発明は、上記請求項１において、画像情報を入力する入力部と、上記出力部で出力した画像の表示状態を撮影する撮影部と、をさらに備え、上記取得部は、上記撮影部で撮影した画像と上記入力部で入力した画像情報に基づく画像との相関により、上記ポインティングデバイスの基準角度情報を取得することを特徴とする。

請求項４記載の発明は、ポインティングデバイスを備えた装置での表示制御方法であって、画像情報に基づく画像に対する、上記ポインティングデバイスの基準角度情報を取得する取得工程と、上記ポインティングデバイスの移動操作方向を検出する検出工程と、上記取得工程で取得した基準角度情報に基づき、上記検出工程で検出したポインティングデバイスの移動操作方向を補正する補正工程と、上記補正工程で補正したポインティングデバイスの移動操作方向に応じて、上記画像にポインタ画像を重畳して出力する出力工程と、を有したことを特徴とする。

請求項５記載の発明は、ポインティングデバイスを備えた装置が内蔵するコンピュータが実行するプログラムであって、上記コンピュータを、画像情報に基づく画像に対する、上記ポインティングデバイスの基準角度情報を取得する取得部、上記ポインティングデバイスの移動操作方向を検出する検出部、上記取得部で取得した基準角度情報に基づき、上記検出工程で検出したポインティングデバイスの移動操作方向を補正する補正部、及び上記補正部で補正したポインティングデバイスの移動操作方向に応じて、上記画像にポインタ画像を重畳して出力する出力部、として機能させることを特徴とする。

１０…パーソナルコンピュータ、
１０Ａ…マウス、
１０Ｂ…ウェブカメラ、
２０…プロジェクタ装置、
ＤＳ…ディスプレイ、
ＥＴ…決定ボタン、
ＭＳ…マウスの角度設定用画像、
ＰＴ…ポインタ、
ＴＢ…テーブル、
ＶＣ…ＲＧＢケーブル。

Claims (5)

1. 画像情報に基づく画像に対する、ポインティングデバイスの基準角度情報を取得する取得部と、
   上記ポインティングデバイスの移動操作方向を検出する検出部と、
   上記取得部で取得した基準角度情報に基づき、上記検出部で検出したポインティングデバイスの移動操作方向を補正する補正部と、
   上記補正部で補正したポインティングデバイスの移動操作方向に応じて、上記画像にポインタ画像を重畳して出力する出力部と、
   を備えたことを特徴とする電子機器。
2. 画像情報を入力する入力部をさらに備え、
   上記取得部は、上記出力部で出力する画像に対する上記ポインティングデバイスの移動操作方向を受付けて、ポインティングデバイスの基準角度情報を取得する
   ことを特徴とする請求項１記載の電子機器。
3. 画像情報を入力する入力部と、
   上記出力部で出力した画像の表示状態を撮影する撮影部と、
   をさらに備え、
   上記取得部は、上記撮影部で撮影した画像と上記入力部で入力した画像情報に基づく画像との相関により、上記ポインティングデバイスの基準角度情報を取得する
   ことを特徴とする請求項１記載の電子機器。
4. ポインティングデバイスを備えた装置での表示制御方法であって、
   画像情報に基づく画像に対する、上記ポインティングデバイスの基準角度情報を取得する取得工程と、
   上記ポインティングデバイスの移動操作方向を検出する検出工程と、
   上記取得工程で取得した基準角度情報に基づき、上記検出工程で検出したポインティングデバイスの移動操作方向を補正する補正工程と、
   上記補正工程で補正したポインティングデバイスの移動操作方向に応じて、上記画像にポインタ画像を重畳して出力する出力工程と、
   を有したことを特徴とする表示制御方法。
5. ポインティングデバイスを備えた装置が内蔵するコンピュータが実行するプログラムであって、上記コンピュータを、
   画像情報に基づく画像に対する、上記ポインティングデバイスの基準角度情報を取得する取得部、
   上記ポインティングデバイスの移動操作方向を検出する検出部、
   上記取得部で取得した基準角度情報に基づき、上記検出工程で検出したポインティングデバイスの移動操作方向を補正する補正部、及び
   上記補正部で補正したポインティングデバイスの移動操作方向に応じて、上記画像にポインタ画像を重畳して出力する出力部、
   として機能させることを特徴とするプログラム。

Images