JP2013047760A - 指示位置表示装置および指示位置表示システム - Google Patents

Abstract

【課題】レーザー光の照射位置の制御や照射位置の制御にかかる装置レイアウトの自由度を向上する。
【解決手段】カメラ１０と、レーザーポインタ２０が照射するレーザー光の照射位置を含む範囲をカメラ４０が撮像するようにレーザーポインタ２０とカメラ４０とを載置され、レーザーポインタ２０とカメラ４０とを一緒に回動させるポインタマニピュレータ３０と、ポインタマニピュレータの回動を制御する制御装置５０と、を備え、制御装置５０は、カメラ４０が撮像する画像Ｐ２とカメラ１０が撮像する画像Ｐ１とを取得し、画像Ｐ２内における画像Ｐ１の位置を特徴点マッチングにより特定し、画像Ｐ１と画像Ｐ２と前記位置とに基づいて、ポインタマニピュレータ３０の回動を制御する。
【選択図】図１

Description

本発明は指示位置表示装置および指示位置表示システムに関する。

従来、会議やプレゼンテーション等において、スクリーンに投影されている説明内容を指し示す道具としてレーザーポインタが用いられている。ただし、レーザーポインタの使用時には、不随意運動に起因する指示位置の微少振動にて手ブレが発生することがある。このような問題に対応するため、たとえば特許文献１，２には、レーザーポインタの内部に手ブレ対策機構を付加する技術が開示されている。また、特許文献３〜５には、プレゼンターの指が指し示す位置を複数台のカメラを用いて３次元的に解析し、スクリーン等の表示画面上にあるポインタの位置を制御する技術が開示されている。

特開２００６−３０１５３２号公報 特開１９９９−０８５００７号公報 特開２００３−０８４２２９号公報 特開平５−０１９９５７号公報 特開平５−３２４１８１号公報

しかしながら、上述した特許文献１，２の技術では、手ブレは補正されるものの、利用者がレーザーポインタを把持してレーザースポットをスクリーンに投影する必要がある。従って、利用者はレーザーポインタの所望のポイントにレーザースポットを照射し続ける必要があり、遠距離のスクリーンへのレーザー照射や、長時間のプレゼンテーションでは、所望のポイントを確実に指し続けるのは大変であった。

また、上述した特許文献３〜５の技術では、人の指先の位置や方向を三次元的に把握するためのカメラを各所に配置する必要があり、装置が大がかりになる。従って、装置のレイアウト面積が広くなりがちであり、スペース上の問題から装置を設置できない場合があるし、設置作業に労力や時間を要することとなる。

本発明は、前記課題に鑑みてなされたもので、利用者の不随意運動に起因する手ブレを防止し、さらにレーザー光の照射位置の制御にかかる自由度や、照射位置の制御にかかる装置レイアウトの自由度を向上することが可能な、指示位置表示装置および指示位置表示システムの提供を目的とする。

本発明にかかる指示位置表示装置は、第一カメラと、レーザー発振器が照射するレーザー光の照射位置を含む範囲を第二カメラが撮像するように前記レーザー発振器と前記第二カメラとを載置され、前記レーザー発振器と前記第二カメラとを一緒に回動させる回動機構と、前記回動機構の回動を制御する回動制御部と、を備え、前記回動制御部は、前記第二カメラが撮像する第二画像と前記第一カメラが撮像する第一画像とを取得し、前記第二画像内における前記第一画像の位置を特徴点マッチングにより特定し、前記第一画像と前記第二画像と前記位置とに基づいて、前記回動機構の回動を制御する構成としてある。

上述した指示位置表示装置は、他の機器に組み込まれた状態で実施されたり他の方法とともに実施されたりする等の各種の態様を含む。また、本発明は前記指示位置表示装置を備える指示位置表示システム、上述した装置の構成に対応した工程を有する制御方法、上述した装置の構成に対応した機能をコンピュータに実現させるプログラム、該プログラムを記録したコンピュータ読み取り可能な記録媒体、等としても実現可能である。

本発明によれば、レーザー光の照射位置を、回動制御部を介して間接的に制御可能となるため、レーザー光の照射位置の制御にかかる自由度を向上することが可能となる。
請求項２にかかる発明によれば、第一カメラの撮像範囲における所定点に対し、第二カメラにて撮像される画像を利用してレーザースポットを移動させることができる。
請求項３にかかる発明によれば、レーザースポットの手ブレを、回動制御部の制御にて実現することができる。
請求項４にかかる発明によれば、レーザースポット制御の精度を向上することができる。
請求項５にかかる発明によれば、レーザースポット制御の精度を向上することができる。

遠隔制御型ポインタシステムの構成を示す概念図である。 隔制御型ポインタシステムの電気的構成を示すブロック図である。 パンチルト型雲台の自由度を説明する図である。 ポインタマニピュレータの制御動作モードステートダイアグラムである。 画像マッチングモードの概要を説明する図である。 特徴点探索モードの概要を説明する図である。 指示点追跡モードの概要を説明する図である。 手ブレ補正モードの概要を説明する図である。 手ブレ補正モードの概要を説明する図である。 自動制御モードの概要を説明する図である。

以下、下記の順序に従って本発明の実施形態を説明する。
（１）本実施形態の構成：
（２）ポインタマニピュレータの制御：
（３）各種変形例：

（１）本実施形態の構成：
図１は、遠隔制御型ポインタシステム１００の構成を示す概念図であり、図２は、遠隔制御型ポインタシステム１００の電気的構成を示すブロック図である。なお、遠隔制御型ポインタシステム１００は、指示位置表示システムの一例である。

図１において、遠隔制御型ポインタシステム１００は、カメラ１０と、レーザーポインタ２０と、ポインタマニピュレータ３０と、カメラ４０と、制御装置５０と、を備えている。なお、カメラ１０は第一カメラの一例であり、カメラ４０は第二カメラの一例であり、カメラ１０にて撮像される画像が第一画像となり、カメラ４０にて撮像される画像が第二画像となる。また、ポインタマニピュレータ３０は、回動機構や回動装置の一例であり、制御装置５０は、回動制御部や回動制御装置の一例である。

カメラ１０と制御装置５０は、所定の通信回線を通じて互いに通信可能に接続されており、制御装置５０とポインタマニピュレータ３０も、所定の通信回線を通じて互いに通信可能に接続されている。また、レーザーポインタ２０およびカメラ４０は、ポインタマニピュレータ３０を介して制御装置５０と通信可能になっている。これらの所定の通信回線は、有線・無線のいずれであってもよく、通信プロトコルも様々なものを適宜に採用可能である。

カメラ１０は、操作者Ｕの指先に固定して使用され、レーザーポインタ２０を照射する目標点としての指示点Ｐｔを指示するために用いられる。指示点Ｐｔは、カメラ１０の撮像範囲に含まれる任意の点を採用可能であり、たとえば、カメラ１０の撮像範囲の中心点を指示点Ｐｔに採用することができる。

操作者Ｕは、レーザー光を照射される対象物上（図１では投影スクリーン上）の点を指示点Ｐｔとして指示するにあたり、カメラ１０を指先に装着してレーザーポインタ２０を照射する目標点の付近に対して指差し動作を行う。このとき、カメラ１０は、操作者Ｕが指差した先にある所定範囲を撮像するため、カメラ１０の撮像する画像Ｐ１に指示点Ｐｔが含まれることになる。カメラ１０が撮像した画像Ｐ１は、所定の通信回線を通じて制御装置５０へ送信される。

また、カメラ１０は、操作者Ｕから操作入力を受け付ける操作部１１を備えている。本実施形態において、操作部１１は、レーザー照射ボタン、自動制御ボタン、マーカー保持ボタンを備えている。レーザー照射ボタンは、レーザーポインタ２０によるレーザー照射のオンオフを制御するためのボタンである。自動制御ボタンは、後述する自動制御モードのオンオフを制御するためのボタンである。マーカー保持ボタンは、後述する手ブレ補正モードのオンオフを制御するためのボタンである。

これらボタンが操作されると、制御装置５０が各部の制御を行う。たとえば、操作者Ｕが操作部１１のレーザー照射ボタンが操作すると、このボタン操作に応じた操作信号が所定の通信回線を通じてカメラ１０から制御装置５０へ送信され、制御装置５０は、この操作信号に応じた制御信号が所定の通信回線とポインタマニピュレータ３０とを介してレーザーポインタ２０へ入力される。このとき、レーザーポインタ２０は、レーザーの照射を開始したり停止したりする。

なお、操作部１１は様々な態様で実現可能であり、たとえば、上述した各ボタンをソフトウェア的に実現することもできる。具体的には、カメラ１０に表示部を設けて、当該表示部に表示される設定項目が選択操作されたときに、上述した各ボタンを操作した場合と同様の処理を実行するようにしてもよい。

レーザーポインタ２０は、制御装置５０からレーザー出力を指示する制御信号を入力されるとレーザー光を照射する。レーザーポインタ２０がレーザー光を照射すると、レーザー光を照射された対象物上（図１では投影スクリーン上）にレーザースポットＰＬが形成される。むろん、レーザーポインタ２０自体にレーザー光の照射開始や照射停止を指示するための操作部を設けておき、当該操作部に対する操作を前記所定の操作入力としてもよい。

図２に示すように、ポインタマニピュレータ３０は、パンチルト駆動が可能なパンチルト型雲台３１（図１参照）、パンチルト型雲台３１の回転軸を回転するモータ３２、モータ３２のドライバユニット３３を備えている。

ポインタマニピュレータ３０は、制御装置５０の制御に従ってモータ３２を駆動し、パンチルト型雲台３１を回動させる。制御装置５０は、たとえば、モーションコントロール信号を所定の通信回線を通じてポインタマニピュレータ３０に入力し、ポインタマニピュレータ３０はモーションコントロール信号に基づいてモータ３２を駆動する。

モーションコントロール信号は、たとえば、指定のパルス数や周波数で出力されるパルス信号であり、目的位置、速度、加減速レートなどの動作パラメータに応じた制御パルスとなっている。

モーションコントロール信号はドライバユニット３３に入力され、ドライバユニット３３は当該モーションコントロール信号に基づいてモータ３２の回転制御を行う。その結果、パンチルト型雲台３１は、その角度を、所定の方位角および仰俯角に制御される。

パンチルト型雲台３１には、レーザーポインタ２０が固定されている。上述したようにパンチルト型雲台３１の回転軸は、その駆動を制御装置５０が制御可能になっており、制御装置５０は、レーザーポインタ２０が照射するレーザー光の方位角および仰俯角を制御することができる。すなわち、制御装置５０は、レーザーポインタ２０が形成するレーザースポットの位置を調整することができる。

カメラ４０は、その撮像方向とレーザーポインタ２０のレーザー照射方向とがほぼ一致するようにパンチルト型雲台３１に固定されている。また、カメラ４０は、その撮像範囲内にレーザースポットＰＬの画像もしくはレーザースポットＰＬの照射予定点の画像を含むように、撮像方向を調整されている。従って、カメラ４０が撮像した画像Ｐ２には、レーザースポットＰＬの画像、もしくはレーザースポットＰＬの照射予定点の画像が含まれることになる。また、カメラ４０は、レーザーポインタ２０と一緒に角度変更されるため、パンチルト型雲台３１がどの角度を向いていても、常に、レーザースポットＰＬの画像もしくはレーザースポットの照射予定点の画像をその撮像範囲内に含むことになる。

図３は、パンチルト型雲台３１の自由度を説明する図である。パンチルト型雲台３１は、レーザーポインタ２０やカメラ４０を同図に示す第１の回転軸Ａｘ１を軸心としてθ方向に回転させる回転軸と、レーザーポインタ２０やカメラ４０を同図に示す第２の回転軸Ａｘ２を軸心としてφ方向に回転させる回転軸と、を備えている。これら回転軸は、制御装置５０のモーションコントロールにより回転を制御される。

レーザーポインタ２０やカメラ４０は、第１の回転軸Ａｘ１を軸心として回転されるとθ方向に回転され、その結果、レーザースポットＰＬやカメラ４０の撮影範囲は水平方向に移動する（いわゆる「パン」される）。また、レーザーポインタ２０やカメラ４０は、第２の回転軸Ａｘ２を軸心として回転されるとφ方向に回転され、その結果、レーザースポットＰＬやカメラ４０の撮影範囲は上下方向に移動する（いわゆる「チルト」される）。

すなわち、第１の回転軸Ａｘ１を軸心とする回転と第２の回転軸Ａｘ２を軸心とする回転とを適宜に組み合わせて実行することにより、レーザースポットＰＬやカメラ４０の撮影範囲を、所定の面上（たとえば、図１に示す投影スクリーン面など）の任意の位置に移動させることができる。

なお、本実施形態においては２自由度のパンチルト型のポインタマニピュレータ３０を例にとって説明しているが、自由度は２つに限定されるものではないし、駆動法はパンチルト駆動に限定されるものではない。たとえば、レーザースポットを形成すべき範囲が所定の直線上に限定されている場合は、レーザースポットＰＬが所定の直線上を移動可能であればよいため、自由度は少なくとも１つあればよい。また、回転軸の回転方向は、水平方向と垂直方向の組み合わせに限るものではなく、他の方向に回転する回転軸を組み合わせて採用してもよい。

制御装置５０は、たとえば、パーソナルコンピュータ（ＰＣ）の構成とされ、Ｉ／Ｆ５１（インターフェース５１）と、Ｉ／Ｆ５２（インターフェース５２）と、制御部５３と、を備えている。制御部５３は、たとえば、通信バスなどによってＩ／Ｆ５１やＩ／Ｆ５２と互いに通信可能に接続されている。

Ｉ／Ｆ５１はカメラ１０に接続されており、このＩ／Ｆ５１を介して画像Ｐ１が制御装置５０に入力される。Ｉ／Ｆ５２はポインタマニピュレータ３０に接続されている、制御装置５０は、このＩ／Ｆ５２を介して、パンチルト型雲台３１の回転軸を制御し、このＩ／Ｆ５２およびポインタマニピュレータ３０を介して、カメラ４０にて撮像された画像Ｐ２を取得したりレーザーポインタ２０の照射のオンオフを制御したりする。

制御部５３は、たとえば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の組み合わせにて実現可能であり、ＣＰＵがＲＡＭをワークエリアとして利用しつつＲＯＭに記憶されたプログラムを実行することにより、後述の指示位置検出部Ｍ１、手ブレノイズ除去部Ｍ２、およびモーション制御部Ｍ３にかかる機能を実現する。むろん、制御部５３は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のように回路にて実現することもできる。

制御部５３は、指示位置検出部Ｍ１、手ブレノイズ除去部Ｍ２、モーション制御部Ｍ３に相当する機能を備えている。指示位置検出部Ｍ１は、画像Ｐ１と画像Ｐ２との間で特徴点マッチングを行うことにより、操作者Ｕの指示する指示点Ｐｔを画像Ｐ２上で検出する。手ブレノイズ除去部Ｍ２は、レーザー照射中に、操作者Ｕの不随意運動によって発生するレーザースポットＰＬの振動を防止する。モーション制御部Ｍ３は、ポインタマニピュレータ３０の制御によりレーザーポインタ２０の角度を調整する制御を行う。

制御装置５０は、上述した各部の機能を用いることにより、各種のポインタマニピュレータ制御を実現することができる。本実施形態において、制御装置５０は、ポインタマニピュレータの制御の一例として、画像マッチングモード、特徴点探索モード、指示点追跡モード、手ブレ補正モード、自動制御モード、の５つのモードを実現する。以下では、各モードにおける制御処理を説明しつつ、指示位置検出部Ｍ１、手ブレノイズ除去部Ｍ２、およびモーション制御部Ｍ３の各部について詳細に説明する。

（２）ポインタマニピュレータの制御：
図４は、ポインタマニピュレータの制御動作モードステートダイアグラムである。同図において、各制御モードは、所定の条件を満たした場合に上述した各モードの間で移行するようになっている。

まず、システムに電源が投入されると各種の初期化が実行され、システムが起動する。システムが起動すると、まず、画像マッチングモードが実行される。

＜画像マッチングモード＞
図５は、画像マッチングモードの概要を説明する図である。画像マッチングモードにおいては、操作者Ｕの指先に固定されたカメラ１０によって取得される画像Ｐ１の特徴点と、ポインタマニピュレータ３０に固定されたカメラ４０よって取得される画像Ｐ２の中心点近傍の特徴点との間で、特徴点マッチングが行われる。

特徴点マッチングによれば、画像Ｐ１に対応する画像が画像Ｐ２に含まれているかを判断したり、画像Ｐ２における画像Ｐ１に対応する画像の位置を特定したりすることができる。むろん、画像Ｐ１における特徴点マッチングの対象部位を、画像Ｐ１の一部に限定してもよく、たとえば、画像Ｐ１の中央付近の所定範囲に含まれる画像と画像Ｐ２との特徴点マッチングを行ってもよい。

特徴点マッチングには、たとえば、ＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）やＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）等の、画像から特徴点を抽出するための所定のアルゴリズムを用いることができる。

ＳＵＲＦやＳＩＦＴは、物体認識に用いる特徴点を求める画像処理のアルゴリズムであり、ＤＯＧ（Ｄｉｆｆｅｒｅｎｃｅ Ｏｆ Ｇａｕｓｓｉａｎ）を使った極値検出により画像の特徴点の位置を抽出し、抽出された各特徴点の輝度勾配の方向、スケール、６４次元の特徴を表すベクトル、等の情報を抽出する。そして、抽出された特徴点の特徴量群を、たとえば、Ｋ−ｍｅａｎｓ法等によってクラスタリングし、特徴点同士の類似度を算出する。すなわち、類似する特徴点を検出することができる。

図５に示すように、画像Ｐ１と画像Ｐ２からそれぞれ特徴点を抽出し、画像Ｐ１から抽出された特徴点と当該画像Ｐ１の特徴点に類似する画像Ｐ２の特徴点とを対応づける。図５に示す黒丸は、各画像において抽出された特徴点であり、画像Ｐ１と画像Ｐ１の間を結ぶ二点鎖線は、特徴点同士の対応関係を示している。すなわち、画像Ｐ２における特徴点が、画像Ｐ１から抽出された特徴点に対応づけられれば、画像Ｐ１に対応する画像が画像Ｐ２に含まれていると判断することができるし、画像Ｐ２において、画像Ｐ１から抽出された特徴点に対応づけられた特徴点のある領域が、画像Ｐ１に対応する画像を含む領域と特定することができる。

以上の特徴点マッチングによって画像Ｐ１に対応する画像が画像Ｐ２の中に含まれると判断され、且つ、上述のレーザー照射ボタンがオンになっている場合は、指示点追跡モードへモード移行する。

一方、画像Ｐ１に対応する画像が画像Ｐ２の中に含まれないと判断された場合は、特徴点探索モードにモード移行する。ただし、特徴点探索モードは、画像Ｐ１の特徴点を画像Ｐ２が含むようにカメラ４０の撮像範囲を変更し、その撮像範囲から得られた画像Ｐ２と画像Ｐ１との間で画像マッチングモードと同様の特徴点マッチングを実行する。そして、特徴点探索モードでも、特徴点マッチングによって画像Ｐ１に対応する画像が画像Ｐ２の中に含まれると判断され、且つ、上述のレーザー照射ボタンがオンになっている場合は、指示点追跡モードへモード移行することになる。

すなわち、画像マッチングモードや特徴点探索モードは、特徴点マッチングが成功すれば指示点追跡モードへ移行するモードであることから、指示点追跡モードの準備モードということもできる。

＜特徴点探索モード＞
図６は、特徴点探索モードの概要を説明する図である。特徴点探索モードにおいては、ポインタマニピュレータ３０のパンチルト駆動によりカメラ４０の撮像範囲を様々に変更しつつ（走査しつつ）、画像Ｐ１とカメラ４０の各撮像範囲から得られる画像Ｐ２との間で、上述した画像マッチングモードと同様の特徴点マッチングを行う。

たとえば、図６においては、カメラ４０の撮像範囲を徐々に変更していき、撮像範囲が画像Ｐ２’になったときに、画像Ｐ１に対応する画像が画像Ｐ２’の中に含まれると判断される。すなわち、特徴点探索モードは、上述した画像マッチングモードを行うための撮像範囲を探索し、探索された撮像範囲に対して画像マッチングモードと同様の特徴点マッチングを行うモードであると言える。

特徴点探索モードは、画像Ｐ１に対応する画像を含む撮像範囲が検出されると終了する。そして、特徴点探索モードが終了したとき、上述のレーザー照射ボタンがオンになっている場合は、指示点追跡モードへ移行する。また、特徴点探索モードが完了したとき、上述のレーザー照射ボタンがオフになっている場合は、画像マッチングモードに移行する。

＜指示点追跡モード＞
図７は、指示点追跡モードの概要を説明する図である。同図に示すように、指示点追跡モードにおいては、指示点Ｐｔとマーカー点Ｐｍとの間の、水平方向および垂直方向の相対位置誤差を解消する制御が行われる。同図では、指示点Ｐｔは、画像Ｐ１の中央ピクセルとされ、マーカー点Ｐｍは画像Ｐ１に含まれるレーザースポットＰＬの像の重心点ピクセルとされる。

マーカー点Ｐｍの位置は、画像Ｐ１に対して所定の画像処理を行うことにより得ることができる。たとえば、カメラ１０やカメラ４０が撮像する画像をグレースケールに変換して、レーザースポットＰＬの像の検出を行う。グレースケールでは画像が明るければ明るいほど高い画素値が得られる。レーザースポットＰＬは、他の部位よりも輝度が高いため、最も画素値が高い部分をレーザースポットＰＬと仮定できる。すなわち、グレースケール画像において画素値の高い画素が集中した箇所をレーザースポットＰＬと仮定し、これら画素の重心点ピクセルとマーカー点Ｐｍとすることができる。

指示点Ｐｔとマーカー点Ｐｍの相対位置誤差を解消する制御は、ビジュアルサーボ方式によるポインタマニピュレータ３０のパンチルト駆動制御により実現される。すなわち、上述した画像マッチングモードにおいて特定された画像Ｐ１の特徴点と画像Ｐ２の特徴点との位置対応関係に基づいて、画像Ｐ２上で指示点Ｐｔに対応する位置（以下、指示点Ｐｔ’と記載する。）にマーカー点Ｐｍが近づくように、ポインタマニピュレータ３０のモーションコントロールを行う。

このモーションコントロールにより、マーカー点Ｐｍと指示点Ｐｔ’は徐々に近づき、最終的にはマーカー点Ｐｍと指示点Ｐｔ’の位置が一致する。すなわち、レーザーポインタ２０は指示点Ｐｔ’（指示点Ｐｔ）にレーザーを照射し、指示点Ｐｔ’（指示点Ｐｔ）にレーザースポットＰＬを形成することになる。

なお、指示点追跡モードにおいては、指示点Ｐｔ（指示点Ｐｔ’）とマーカー点Ｐｍとが完全に一致するようにポインタマニピュレータ３０のモーションコントロールを行うため、操作者Ｕの手ブレに応じてマーカー点Ｐｍにも振動が発生する。本実施形態では、制御装置５０を介してレーザーポインタ２０を制御しているため、このような振動を抑制する処理を容易に行える。この振動を抑制する処理の一例として、本実施形態では下記の手ブレ補正モードを実行できるようになっている。

＜手ブレ補正モード＞
図８および図９は、手ブレ補正モードの概要を説明する図である。
ここで、手ブレ補正モードと他のモードとの間の移行条件は、様々に設定することができる。
たとえば、指示点追跡モードの実行中にマーカー保持ボタンが操作されると手ブレ補正が有効化され、手ブレ補正モードに移行し、逆に、手ブレ補正モードの実行中にマーカー保持ボタンが操作されると手ブレ補正が無効化され、指示点追跡モードに移行するようにできる。
また、操作者Ｕが行うカメラ１０の操作状況に応じてモード移行するようにしてもよい。すなわち、操作者Ｕがカメラ１０の撮像範囲を固定することにより指示点Ｐｔの変動が小さくなったときに自動的に手ブレ補正モードに移行させ、操作者Ｕがカメラ１０の撮像範囲を大きく動かして指示点Ｐｔが大きく変動したときに自動的に手ブレ補正モードから指示点追跡モードに移行するようにしてもよい。なお、指示点Ｐｔの変動にかかる閾値は、適宜に設定することができる。

手ブレ補正モードは、基本的には指示点追跡モードと同様に、マーカー点ＰｍとレーザースポットＰＬの相対位置誤差を解消する処理を実行するモードであるが、カメラ１０の撮像範囲（画像Ｐ１上）に不感帯が設定される点で指示点追跡モードと異なる。

たとえば、図８に示すように、レーザースポットの目標点である指示点Ｐｔの近傍に、第１不感帯Ｂ１と第２不感帯Ｂ２が設定される。第１不感帯Ｂ１は、画像Ｐ１の略中央を通り、垂直方向に所定幅を有しつつ水平方向に伸びる領域であり、第２不感帯Ｂ２は、画像Ｐ１の略中央を通り、水平方向に所定幅を有しつつ垂直方向に伸びる領域である。これら不感帯においては、指示点Ｐｔとマーカー点Ｐｍとの相対位置誤差が無効化される（無視される、または、許容される）ため、上述した指示点追跡モードにおいて行われていた相対位置の誤差を解消する制御が行われない。

すなわち、第１不感帯Ｂ１においては、垂直方向の相対位置の誤差が無効化され（無視され、または、許容され）、第２不感帯Ｂ２においては、水平方向の相対位置の誤差が無効化される（無視され、または、許容される）。また、第１不感帯Ｂ１と第２不感帯Ｂ２の重複領域（カメラ１０の撮像範囲（画像Ｐ１）の略中央の矩形領域）においては、水平方向の相対位置の誤差と垂直方向の相対位置の誤差の双方が無効化される（無視され、または、許容される）。

図９（ａ）は、第１不感帯Ｂ１と第２不感帯Ｂ２の重複領域にマーカー点Ｐｍがある場合を示してある。この場合、指示点Ｐｔとマーカー点Ｐｍに相対位置の誤差があるものの、その誤差が小さいため無効化される。すなわち、第１不感帯Ｂ１と第２不感帯Ｂ２の重複領域にマーカー点Ｐｍがある場合は、誤差を解消するための制御が行われない。その結果、レーザースポットＰＬは、マーカー点Ｐｍが第１不感帯Ｂ１と第２不感帯Ｂ２の重複領域にある間、静止する。

図９（ｂ）は、第１不感帯Ｂ１や第２不感帯Ｂ２以外の領域にマーカー点Ｐｍがある場合を示してある。この場合、指示点Ｐｔとマーカー点Ｐｍの相対位置の誤差は無効化されず、その誤差を解消するための制御が行われる。その結果、レーザースポットＰＬは、マーカー点Ｐｍが第１不感帯Ｂ１もしくは第２不感帯Ｂ２に移動されるまで、マーカー点Ｐｍが指示点Ｐｔに近づくように水平移動ならびに垂直移動される。

図９（ｃ）は、上述した重複領域以外の第１不感帯Ｂ１にマーカー点Ｐｍがある場合を示してある。この場合、指示点Ｐｔとマーカー点Ｐｍの相対誤差のうち、垂直成分が無効化され、その誤差の水平成分のみを解消する制御が行われる。その結果、レーザースポットＰＬは、マーカー点Ｐｍが指示点ｐｔに近づくように水平移動によって第１不感帯Ｂ１と第２不感帯Ｂ２の重複領域へと移動される。ただし、レーザースポットＰＬは、垂直移動されないため、垂直方向の振動は抑制される。

図９（ｄ）は、上述した重複領域以外の第２不感帯Ｂ２にマーカー点Ｐｍがある場合を示してある。この場合、指示点Ｐｔとマーカー点Ｐｍの相対誤差のうち、水平成分が無効化され、その誤差の垂直成分のみを解消する制御が行われる。その結果、レーザースポットＰＬは、マーカー点Ｐｍが指示点ｐｔに近づくように垂直移動によって第１不感帯Ｂ１と第２不感帯Ｂ２の重複領域へと移動される。ただし、レーザースポットＰＬは、水平移動されないため、水平方向の振動は抑制される。

以上説明したように、手ブレ補正モードにおいては、指示点Ｐｔとマーカー点Ｐｍとの位置誤差を除去する際に操作者Ｕの不随意運動に起因してレーザースポットＰＬに発生する振動を、効果的に抑制することができる。従って、手ブレ補正モードを有効にすれば、レーザースポットＰＬを指示点Ｐｔに近づける制御を、レーザースポットＰＬに発生する手ブレに対してロバストなものとすることができる。

＜自動制御モード＞
図１０は、自動制御モードの概要を説明する図である。自動制御モードにおいては、マーカー点の固定照射や、マーカー点がある点を基準とした所定の軌道を描くように照射させる固定軌道照射、等を行わせることができる。なお、以下では、固定軌道照射の一例としてマーカー点を中心とする円軌道照射を示してある。

自動制御モードは、指示点追跡モードや手ブレ補正モードが実行されているときに、所定の操作を行うことにより開始される。たとえば、マーカー点が所望の位置に表示されているときに、自動制御ボタンを一回操作すると固定照射が行われ、もう一回操作されると固定軌道照射が行われ、さらにもう一回操作されると通常の照射に復帰する。

図１０（ａ）に示すように、所望の点にレーザースポットＰＬが表示されたときに自動制御ボタンを一回操作すると、マーカー点Ｐｍが固定され、カメラ１０の撮像範囲が変動されてもマーカー点Ｐｍは指示点Ｐｔを追跡しなくなる。すなわち、ポインタマニピュレータ３０に対するパンチルト駆動が停止され、この状態で、レーザーポインタ２０はレーザー照射を継続する。その結果、操作者Ｕが指さし動作を行わなくても、所望の点にレーザースポットＰＬが表示され続ける。

図１０（ｂ）に示すように、所望の点にレーザースポットＰＬが表示されたときに自動制御ボタンを二回操作すると、自動制御ボタンを二回操作する直前に表示されていたレーザースポットＰＬのマーカー点Ｐｍを中心とする円軌道を、レーザースポットＰＬが周回するように制御される。すなわち、レーザーポインタ２０にレーザー照射を継続させつつ、ポインタマニピュレータ３０は、カメラ１０の撮像する画像Ｐ１に関わらず、レーザーポインタＰＬが円軌道を周回するように所定のシーケンスでパンチルト駆動する。その結果、操作者Ｕが指先を回転させる動作を行わなくても、レーザースポットＰＬが所望の点の周囲を周回するように表示させることができる。

（３）各種変形例：
（３−１） 第一の変形例
上述した実施形態においては、スクリーンの説明内容を投影しつつスクリーン上の所望の点に光点を形成するプレゼンテーションを例にとり説明を行ったが、むろん、その他の状況であっても本発明を利用可能であることはいうまでもない。たとえば、博物館や美術館等において展示物を指し示す際に本発明を適用してもよい。すなわち、レーザースポットを形成する対象は、平面に限らず、３次元の立体物の表面であってもよい。

（３−２）第二の変形例：
上述した実施形態においては、ポインタマニピュレータ３０（レーザーポインタ２０やカメラ４０を含む）や制御装置５０を、所定箇所に据え置いた静止状態で用いてもよいし、操作者Ｕの腰部等に固定した状態で用いてもよい。いずれにしても、上述した相対位置の誤差を解消するモーションコントロールを行えば、レーザースポットＰＬが指示点Ｐｔの近傍に形成されるようにポインタマニピュレータ３０が制御される。

（３−３）第三の変形例：
上述した実施形態にかかる遠隔制御型ポインタシステム１００では、１台のカメラ１０を示していたが、むろん、１つのシステム内に複数台のカメラ１０を備えていてもよい。カメラ１０が複数台あれば、カメラ１０の１つをオペレータが装着して使用しつつ、他のカメラ１０を第三者が装着して第三者の所望の指示点をレーザーポインタ２０にて照射することができる。なお、いずれのカメラ１０の画像Ｐ１を、各モードにおいて特徴点マッチングや追跡の対象とするかは、様々な方法で切り替えることができる。

たとえば、ポインティング動作の有効・無効を切り替えるスイッチを各カメラ１０に設けて、当該スイッチがオンになっているカメラ１０の画像Ｐ１を特徴点マッチングや追跡の対象とする。このとき、複数のカメラ１０のスイッチが同時にオンになることも考えられるが、制御装置５０から各カメラ１０を識別可能としつつ、カメラ１０の優先順位を制御装置５０に設定しておけば、優先順位の高いいずれか１台のカメラ１０の画像Ｐ１を利用して特徴点マッチングや追跡を行うことができる。

むろん、複数台のポインタマニピュレータ３０やレーザーポインタ２０、カメラ４０を備えることにより、複数台のカメラ１０のそれぞれが同時にポインティング動作を行えるようにすることもできる。

（３−４）第四の変形例：
上述した実施形態で説明した特徴点追尾モードや手ブレ補正モードでは、カメラ１０，４０にて撮像した画像をグレースケール画像に変換し、輝度値が高い箇所をレーザースポットＰＬと仮定している。このレーザースポットＰＬの検出精度を向上するため、カメラ１０やカメラ４０において、レーザーポインタ２０の発振する光の波長に対する透過率が、それ以外の光の波長の透過率に比べて高いフィルタを介して画像を撮像するようにしてもよい。

たとえば、レーザーポインタ２０の発振するレーザー光が赤色の場合は、カメラ１０やカメラ４０の光学経路上に赤色のフィルムを配置し、赤色以外の光を減光した画像が撮像されるように構成する。レーザーポインタ２０の発振するレーザー光以外を減光するフィルタを通して撮像することにより、レーザースポットＰＬの輝度を相対的に上昇させつつ、画像全体の減光を実現できる。従って、レーザースポットＰＬの検出精度が向上する。むろん、レーザー光が他の色の場合は、そのレーザー光にあわせた色のフィルムを用いルことになる。なお、減光フィルタはフィルムに限るものではなく、画像データの画像処理により、レーザー光以外の光成分の比率を低下させることにより実現してもよい。

（３−５）第五の変形例：
カメラ１０とカメラ４０の相対位置関係は随時変化するため、パンチルト型雲台３１の制御ゲインを適応的に逐次調整してもよい。なお、パンチルト型雲台３１の制御ゲインを変更すると、パンチルト型雲台３１の各軸の回転速度が変更される。具体的には、ファジィコントローラ、ニューロコントローラ、適応コントローラなどを適用することにより、指示点Ｐｔの高速移動に対応させてレーザーポインタ２０を高速移動させたり、操作者Ｕ（カメラ１０）の移動に起因する指示点Ｐｔの移動に対応させてレーザーポインタ２０の移動速度を調整したりすることができる。

なお、本発明は上述した実施形態や変形例に限られず、上述した実施形態および変形例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、公知技術並びに上述した実施形態および変形例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成等も含まれる。

１０…カメラ、１１…操作部、２０…レーザーポインタ、３０…ポインタマニピュレータ、３１…パンチルト型雲台、３２…モータ、３３…ドライバユニット、４０…カメラ、５０…制御装置、５１…インターフェース、５２…インターフェース、５３…制御部、１００…遠隔制御型ポインタシステム、Ａｘ１…第１の回転軸、Ａｘ２…第２の回転軸、Ｂ１…第１不感帯、Ｂ２…第２不感帯、Ｍ１…指示位置検出部、Ｍ２…手ブレノイズ除去部、Ｍ３…モーション制御部、Ｐ１…画像、Ｐ２…画像、ＰＬ…レーザースポット、Ｐｍ…マーカー点、Ｐｔ…指示点、Ｐ２’…画像、Ｐｔ’…指示点、Ｕ…操作者

Claims (6)

1. 第一カメラと、
   レーザー発振器が照射するレーザー光の照射位置を含む範囲を第二カメラが撮像するように前記レーザー発振器と前記第二カメラとを載置され、前記レーザー発振器と前記第二カメラとを一緒に回動させる回動機構と、
   前記回動機構の回動を制御する回動制御部と、
   を備え、
   前記回動制御部は、前記第二カメラが撮像する第二画像と前記第一カメラが撮像する第一画像とを取得し、前記第二画像内における前記第一画像の位置を特徴点マッチングにより特定し、前記第一画像と前記第二画像と前記位置とに基づいて、前記回動機構の回動を制御することを特徴とする指示位置表示装置。
2. 前記回動制御部は、前記レーザー発振器のレーザースポットが前記第一画像の中で前記第一カメラの撮像範囲の所定点に近づくように、前記回動機構の回動を制御する請求項１に記載の指示位置表示装置。
3. 前記回動制御部は、前記第一カメラの撮像範囲内に前記所定点を含むように設定された所定範囲に前記レーザー発振器のレーザースポットが位置しているときは、前記回動機構の回動制御を行わず、前記所定範囲以外に前記レーザー発振器のレーザースポットが位置しているときは、前記回動機構の回動制御を行う請求項２に記載の指示位置表示装置。
4. 前記回動制御部は、前記第一画像と前記第二画像のグレースケール画像に基づいて、前記レーザースポットを検出することを特徴とする請求項２または請求項３に記載の指示位置表示装置。
5. 前記第一カメラと前記第二カメラは、前記レーザー光の波長の透過率に比べて前記レーザー光の波長以外の透過率が低いフィルタを介して撮像する請求項１〜請求項４の何れか１項に記載の指示位置表示装置。
6. 第一カメラと、
   第二カメラと、
   レーザー発振器と、
   前記レーザー発振器が照射するレーザー光の照射位置を含む範囲を前記第二カメラが撮像するように前記レーザー発振器と前記第二カメラとを載置され、前記レーザー発振器と前記第二カメラとを一緒に回動させる回動装置と、
   前記回動装置の回動を制御する回動制御装置と、
   を備え、
   前記回動制御装置は、前記第二カメラが撮像する第二画像と前記第一カメラが撮像する第一画像とを取得し、前記第二画像内における前記第一画像の位置を特徴点マッチングにより特定し、前記第一画像と前記第二画像と前記位置とに基づいて、前記回動装置の回動を制御することを特徴とする指示位置表示システム。

Images