JP2008015560A - レーザポインタ位置判定システムおよびレーザポインタ位置判定方法 - Google Patents

Abstract

【課題】スクリーン設置場所の明るさが変わるような場合でも、プロジェクタによる投影画像上でのレーザポインタ照射位置を正しく検出するレーザポインタ位置判定システム。
【解決手段】プレゼン開始前、プロジェクタ１３により全白画像Ｇをスクリーン１２に投影した状態でのカメラ部１５による撮影画像データの画素輝度平均値（Ｄat_W）と全黒画像Ｇを投影した状態での同撮影画像データの画素輝度平均値（Ｄat_B）との差分値（Ｄat_W−Ｄat_B）にマージン分（10%）を加算してポインタ位置判定スレッシュ値（Thresh）を設定する。そして、前記カメラ部１５による一定フレームレート（３０フレーム／秒）での撮影転送処理毎に、現（最新）フレームの撮影画像データと前（１つ前）フレームの撮影画像データとの差分の画像データを計算し、前記設定されたスレッシュ値（Thresh）を超える画素位置をレーザポインタ１７による例えば移動中の照射位置Ｐとして判定する。
【選択図】 図１

Description

本発明は、例えばプロジェクタによる投影画像にレーザポインタを用いて行うプレゼンテーションを支援するためのレーザポインタ位置判定システムおよびレーザポインタ位置判定方法に関する。

パーソナルコンピュータで作成した資料画像を用いてプレゼンテーションを行う際は、当該パーソナルコンピュータにて作成・記録したプレゼンテーションの画像データ（プレゼン画像）をプロジェクタによって光学画像に変換しスクリーン上に投影している。

そして、このようなプレゼンテーションを実際に行う場合、例えば可視光レーザを用いたレーザポインタを使用してプレゼン画像を投影しているスクリーン上の任意の位置を指し示しながらプレゼンテーションを行うことが一般的になっている。

一方で、プレゼン画像のページ送りや拡大表示などを行う際は、プレゼン画像出力元のパーソナルコンピュータ側でのキー操作やマウス操作が必要になる。

そこで従来、プロジェクタに内蔵させてスクリーン上の投影画像を撮影するカメラをプレゼン画像出力元のパーソナルコンピュータに接続し、当該パーソナルコンピュータでの撮影画像の解析によりレーザポインタの指示位置を検出し、このポインタ位置に応じてプレゼン画像を加工して出力する第１，第２の装置が考えられている（例えば、特許文献１、特許文献２参照。）。

この第１，第２の装置では、スクリーン上に投影されたプレゼン画像の撮影画像と、パーソナルコンピュータ内に存在するプレゼン画像との差分を求めることにより、当該プレゼン画像に対してのレーザポインタの指示位置を検出している。

また、スクリーン上に投影されたプレゼン画像の撮影画像における各画素毎の輝度値が予め決められた閾値を超えるところをレーザポインタの指示位置として検出する第３の装置も考えられている（例えば、特許文献３参照。）。
特開平０７−１２９３２２号公報 特開２００４−２６５２３５号公報 特開２００１−１２５７３８号公報

前記従来のプレゼンテーションを支援する第１，第２の装置は、スクリーン上に投影されたプレゼン画像の撮影画像と、パーソナルコンピュータ内に存在するプレゼン画像との差分を求めて、当該プレゼン画像に対してのレーザポインタの指示位置を検出するものであるが、前記プレゼン画像の撮影画像はスクリーン設置場所の外光の影響を大きく受ける反面、パーソナルコンピュータ内に存在するプレゼン画像は外光の影響を一切受けず常に安定した明るさであるため、その両者の差分は前記スクリーンへの外光の入り方によって大きく変動し、レーザポインタの指示位置を確実に検出することができない虞がある。

また、前記従来のプレゼンテーションを支援する第３の装置の場合にも、前記プレゼン画像の撮影画像はスクリーン設置場所の外光の影響を大きく受けるため、その各画素毎の輝度値も前記スクリーンへの外光の入り方によって大きく変動し、レーザポインタの指示位置として検出するための閾値の設定が非常に難しい問題がある。

本発明は、このような課題に鑑みなされたもので、スクリーン設置場所の明るさが変わるような場合でも、プロジェクタによる投影画像上でのレーザポインタの指示位置を正しく検出することが可能になるレーザポインタ位置判定システムおよびレーザポインタ位置判定方法を提供することを目的とする。

請求項１に記載のレーザポインタ位置判定システムは、画像をスクリーン上に投影する画像投影手段と、この画像投影手段により投影されたスクリーン上の画像を撮像する撮像手段と、前記画像投影手段により全画面白の画像を投影させた状態で前記撮像手段により撮像された画像データと全画面黒の画像を投影させた状態で撮像された画像データとの輝度差に基づいた閾値を設定する閾値設定手段と、この閾値設定手段により閾値が設定された後に、前記撮像手段により一定フレームレートで撮像される現在の画像データと前回の画像データとの差分の画像データを取得する現−前差分画像取得手段と、この現−前差分画像取得手段により取得された現在画像データと前回画像データとの差分の画像データの各画素について、前記閾値設定手段により設定された閾値を超える画素があるかを判断する第１の画素判断手段と、この第１の画素判断手段により閾値を超える画素が有ると判断された画素位置をレーザポインタの照射位置として判定する第１のポインタ位置判定手段とを備えたことを特徴としている。

請求項２に記載のレーザポインタ位置判定システムは、前記請求項１に記載のレーザポインタ位置判定システムにおいて、前記撮像手段により一定フレームレートで撮像された画像データのうちレーザポインタの照射が無い過去の画像データを記憶する過去画像記憶手段と、前記第１の画素判断手段により閾値を超える画素が無いと判断された場合に、前記撮像手段により一定フレームレートで撮像される現在の画像データと前記過去画像記憶手段により記憶されたレーザポインタの照射が無い過去の画像データとの差分の画像データを取得する現−過去差分画像取得手段と、この現−過去差分画像取得手段により取得された現在画像データと過去画像データとの差分の画像データの各画素について、前記閾値設定手段により設定された閾値を超える画素があるかを判断する第２の画素判断手段と、この第２の画素判断手段により閾値を超える画素が有ると判断された画素位置をレーザポインタの照射位置として判定する第２のポインタ位置判定手段とをさらに備えたことを特徴としている。

請求項３に記載のレーザポインタ位置判定システムは、前記請求項２に記載のレーザポインタ位置判定システムにおいて、前記第２の画素判断手段により現在画像データと過去画像データとの差分の画像データの各画素について閾値を超える画素が無いと判断された場合に、当該現在画像データを前記過去画像記憶手段により記憶されるレーザポインタの照射が無い過去の画像データとして更新して記憶させる過去画像更新制御手段をさらに備えたことを特徴としている。

本発明の請求項１（請求項４）に記載のレーザポインタ位置判定システム（レーザポインタ位置判定方法）によれば、画像投影手段により全画面白の画像を投影させた状態で撮像手段により撮像された画像データと全画面黒の画像を投影させた状態で撮像された画像データとの輝度差に基づいた閾値を設定し、この後、前記撮像手段により一定フレームレートで撮像される現在の画像データと前回の画像データとの差分の画像データを取得し、この差分の画像データの各画素について、前記設定閾値を超える画素があるかを判断し、閾値を超える画素が有ると判断された画素位置をレーザポインタの照射位置として判定するので、例えばコントラスト比の高いプロジェクタを使用した場合でも、周囲の環境変化（明暗）に影響され難い状態で確実且つ精度良くポインタ照射位置を検出できる。

本発明の請求項２（請求項５）に記載のレーザポインタ位置判定システム（レーザポインタ位置判定方法）によれば、前記請求項１（請求項４）に記載のレーザポインタ位置判定システム（レーザポインタ位置判定方法）において、第１の画素判断手段により閾値を超える画素が無いと判断された場合には、撮像手段により一定フレームレートで撮像される現在の画像データと過去画像記憶手段により記憶されたレーザポインタの照射が無い過去の画像データとの差分の画像データを取得し、この現在画像データと過去画像データとの差分の画像データの各画素について、前記設定閾値を超える画素があるかを判断し、閾値を超える画素が有ると判断された画素位置をレーザポインタの照射位置として判定するので、ポインタ照射の移動中・静止中に関わらず、より確実にポインタ照射位置を検出できる。

本発明の請求項３（請求項６）に記載のレーザポインタ位置判定システム（レーザポインタ位置判定方法）によれば、前記請求項２（請求項５）に記載のレーザポインタ位置判定システム（レーザポインタ位置判定方法）において、前記第２の画素判断手段により現在画像データと過去画像データとの差分の画像データの各画素について閾値を超える画素が無いと判断された場合には、当該現在画像データを前記過去画像記憶手段により記憶されるレーザポインタの照射が無い過去の画像データとして更新して記憶させるので、ポインタ照射の移動中・静止中に関わらず、周囲の環境変化（明暗）に極力影響され難い状態で確実且つ精度良くポインタ照射位置を検出できる。

よって本発明によれば、スクリーン設置場所の明るさが変わるような場合でも、プロジェクタによる投影画像上でのレーザポインタの指示位置を正しく検出することが可能になるレーザポインタ位置判定システムおよびレーザポインタ位置判定方法を提供できる。

以下図面により本発明の実施の形態について説明する。

図１は、本発明のレーザポインタ位置判定システムの実施形態に係るプレゼンテーション支援装置１０を組み込んだプレゼンテーションシステムの接続構成を示す図である。

プレゼンテーション支援装置１０は、プレゼンテーション用画像データの出力元になるノート型パーソナルコンピュータ（ノートＰＣ）１１を主体にして構成される。ノートＰＣ１１から出力されたプレゼンテーション用画像データはプロジェクタ１３によって光学画像Ｇに変換されスクリーン１２上に投影される。

プレゼンテーション支援装置１０は、前記スクリーン１２上にその投影範囲１４として投影された画像（Ｇ）を撮影するためのＣＣＤカメラ部１５を前記ノートＰＣ１１に接続して備える。そして、このプレゼンテーション支援装置１０のノートＰＣ１１は、前記カメラ部１５により撮影された投影範囲１４の画像（Ｇ）に基づき当該投影範囲１４上でのレーザポインタ１７による指定位置Ｐを解析判定するためのポインタ位置判定制御プログラム（２２Ｐ）を記憶している。

プレゼンテーション支援装置１０のカメラ部１５により撮影された前記スクリーン１２上の投影画像（Ｇ）はノートＰＣ１１へ送信される。そして、例えば初期設定処理の際には、当該ノートＰＣ１１のポインタ位置判定制御プログラム（２２Ｐ）に従って該ノートＰＣ１１の表示部２４にその撮影画像がモニタ表示されるので、カメラ部１５によるスクリーン１２上での投影画像Ｇの撮像範囲１６をその投影範囲１４に合わせて設定する。

プレゼンテーション用画像Ｇの投影表示されたスクリーン１２上は、そのプレゼンテーションに伴い任意の位置がレーザポインタ１７により指示され、このレーザポインタ１７の可視光レーザによる画像Ｇ上での指定位置Ｐは、カメラ部１５による投影画像Ｇの撮像に伴い撮影され、撮像範囲１６に相当する撮影画像に含まれて接続中のノートＰＣ１１へ転送される。

また、プレゼンテーション支援装置１０のノートＰＣ１１は、電源のＯＮ／ＯＦＦ設定やカメラ部１５による撮影機能の切り換えなどを行うためのキー・ボタンなどによるユーザＩ／Ｆ部２０を備える。

すなわち、このようなプレゼンテーション支援装置１０において、ノートＰＣ１１のポインタ位置判定制御プログラム（２２Ｐ）が実行される初期設定処理の状態では、カメラ部１５により撮影されたスクリーン１２上の投影画像ＧがノートＰＣ１１の表示部２４にモニタ表示される。そして、この表示部２４にモニタ表示された投影画像Ｇの表示画面にあって、そのカメラ部１５による撮像範囲１６をスクリーン１２上の投影画像Ｇの四隅、つまり投影範囲１４の４つの角に合わせて設定する。

図２は、前記プレゼンテーション支援装置１０の電子回路の構成を示すブロック図である。

プレゼンテーション支援装置１０の電子回路は、メインコントローラ（ＣＰＵ）２１によって回路各部の動作が制御されるもので、その制御プログラムはメモリ部２２内のＲＯＭに予め記憶される。メモリ部２２内のＲＯＭに予め記憶される制御プログラムとしては、このプレゼンテーション支援装置１０の全体の動作を司るメイン処理プログラムを主体として、ポインタ位置判定制御プログラム（２２Ｐ）などが記憶される。なお、メモリ部２２には、前記ポインタ位置判定制御プログラム（２２Ｐ）に従った作業用のデータを記憶するためのＲＡＭも備えられる。

メインコントローラ（ＣＰＵ）２１には、前記メモリ部２２をはじめ、カメラ部１５、ユーザＩ／Ｆ部２０、表示部２４が接続される他に、プロジェクタ１３との間での入出力制御を行うためのプロジェクタＩ／Ｆ部２３が接続される。

図３は、前記プレゼンテーション支援装置１０におけるノートＰＣ１１内のメモリ部２２に確保されている各種データメモリの構成を示す図である。

このメモリ部２２には、ポインタ位置判定制御プログラムを格納するプログラムメモリ２２Ｐをはじめ、プレゼンテーション画像メモリ２２ａ、投影範囲撮影画像メモリ（現フレーム）２２ｂ、投影範囲撮影画像メモリ（前フレーム）２２ｃ、投影範囲撮影画像メモリ（過去画像）２２ｄ、現−前差分画像メモリ２２ｅ、全画面白画像画素輝度平均値（Ｄat_W）メモリ２２ｆ、全画面黒画像画素輝度平均値（Ｄat_B）メモリ２２ｇ、ポインタ位置判定スレッシュ値（閾値：Thresh=(Ｄat_W−Ｄat_B)×1.1）メモリ２２ｈ、ポインタ位置座標（Ｘ，Ｙ）メモリ２２ｉなど、各種のデータが一時記憶される作業用メモリが備えられる。

プレゼンテーション画像メモリ２２ａには、プロジェクタ１３へ出力してスクリーン１２へ投影すべきプレゼンテーション用の画像データ（Ｇ）が記憶される。

投影範囲撮影画像メモリ（現フレーム）２２ｂには、プレゼンテーション支援装置１０のカメラ部１５により一定のフレームレート（３０フレーム／秒）で撮影転送されるスクリーン１２上の撮影画像データのうちの最新フレームの撮影画像データが記憶される。

投影範囲撮影画像メモリ（前フレーム）２２ｃには、プレゼンテーション支援装置１０のカメラ部１５により前記フレームレート（３０フレーム／秒）で撮影転送されるスクリーン１２上の撮影画像データのうちの前記最新フレームの１つ前の撮影画像データが記憶される。

投影範囲撮影画像メモリ（過去画像）２２ｄには、プレゼンテーション支援装置１０の初期設定時およびその後の前記フレームレート（３０フレーム／秒）でカメラ部１５により撮影転送されるスクリーン１２上の撮影画像データのうちでレーザポインタ１７の照射が無い撮影画像データが記憶される。

現−前差分画像メモリ２２ｅには、前記カメラ部１５による一定フレームレート（３０フレーム／秒）での撮影転送処理毎に、前記投影範囲撮影画像メモリ（現フレーム）２２ｂに記憶される現（最新）フレームの撮影画像データと、前記投影範囲撮影画像メモリ（前フレーム）２２ｃに記憶される前（１つ前）フレームの撮影画像データとの差分の画像データ、あるいは前記投影範囲撮影画像メモリ（過去画像）２２ｄに記憶されるレーザポインタ１７の照射が無い過去の撮影画像データとの差分の画像データが記憶される。

全画面白画像画素輝度平均値（Ｄat_W）メモリ２２ｆには、全面白のプレゼンテーション画像（２２ａ）をプロジェクタ１３からスクリーン１２上に投影表示させた状態で、カメラ部１５により撮影転送される所定時間の平均画像データから１画素あたりの輝度平均値（Ｄat_W）が算出されて記憶される。

全画面黒画像画素輝度平均値（Ｄat_B）メモリ２２ｇには、全面黒のプレゼンテーション画像（２２ａ）をプロジェクタ１３からスクリーン１２上に投影表示させた状態で、カメラ部１５により撮影転送される所定時間の平均画像データから１画素あたりの輝度平均値（Ｄat_B）が算出されて記憶される。

ポインタ位置判定スレッシュ値（閾値：Thresh=(Ｄat_W−Ｄat_B)×1.1）メモリ２２ｈには、前記全画面白画像画素輝度平均値（Ｄat_W）から前記全画面黒画像画素輝度平均値（Ｄat_B）を減算した値の１．１倍がポインタ位置判定スレッシュ値（閾値：Thresh）として記憶される。

ポインタ位置座標（Ｘ，Ｙ）メモリ２２ｉには、前記現−前差分画像メモリ２２ｅに記憶される現（最新）フレームの撮影画像データと前（１つ前）フレームの撮影画像データとの差分の画像データ、あるいは現（最新）フレームの撮影画像データとレーザポインタ１７の照射が無い撮影画像データとの差分の画像データ、および前記ポインタ位置判定スレッシュ値（閾値：Thresh）に基づき判定検出されたポインタ照射位置Ｐの座標データ（Ｘ，Ｙ）が記憶される。

図４は、前記プレゼンテーション支援装置１０のノートＰＣ１１により実行されるポインタ位置判定処理の概念を示す図である。

図４（Ａ）に示す上段が、スクリーン１２を撮影しているカメラ部１５による撮像画像であり、一定フレームレート（３０フレーム／秒）での時間の流れに応じて、投影範囲撮影画像メモリ（現フレーム）２２ｂに記憶される最新フレームの撮影画像データ、投影範囲撮影画像メモリ（前フレーム）２２ｃに記憶される前記最新フレームの１つ前の撮影画像データ、投影範囲撮影画像メモリ（過去画像）２２ｄに記憶されるレーザポインタ１７の照射が無い撮影画像データとしてそれぞれ処理される。

そして、図４（Ｂ）に示す中段が、前記カメラ部１５による一定フレームレート（３０フレーム／秒）での撮影転送処理毎に現−前差分画像メモリ２２ｅに記憶される現（最新）フレームの撮影画像データ（２２ｂ）と前（１つ前）フレームの撮影画像データ（２２ｃ）との差分の画像データ（２２ｅ）である。

さらに、図４（Ｃ）に示す下段が、投影範囲撮影画像メモリ（現フレーム）２２ｂに記憶された現（最新）フレームの撮影画像データと投影範囲撮影画像メモリ（過去画像）２２ｄに記憶されたレーザポインタ１７の照射が無い過去の撮影画像データとの差分の画像データである。

すなわち、このプレゼンテーション支援装置１０により実行されるポインタ位置判定処理では、現（最新）フレームの撮影画像データ（２２ｂ）と前（１つ前）フレームの撮影画像データ（２２ｃ）との差分（現−前）の画像データ（２２ｅ）において、前記ポインタ位置判定スレッシュ値(Thresh：２２ｈ）を超える輝度値がある画素が存在すれば、その画素位置が移動中のレーザポインタ１７の照射位置Ｐと判定され、投影範囲１４（投影画像Ｇ）内でのポインタ位置座標（Ｘ，Ｙ）とされる。

そして、前記現（最新）フレームの撮影画像データ（２２ｂ）と前（１つ前）フレームの撮影画像データ（２２ｃ）との差分（現−前）の画像データ（２２ｅ）において、前記ポインタ位置判定スレッシュ値(Thresh：２２ｈ）を超える輝度値を有する画素が抽出できない場合には、レーザポインタ１７は静止しているか照射停止であると判断される。この場合には、現（最新）フレームの撮影画像データ（２２ｂ）と前記投影範囲撮影画像メモリ（過去画像）２２ｄに記憶されたレーザポインタ１７の照射が無い過去の撮影画像データとの差分（現−過去）の画像データ（２２ｅ）において、前記ポインタ位置判定スレッシュ値(Thresh：２２ｈ）を超える輝度値がある画素が存在すれば、その画素位置が静止中のレーザポインタ１７の照射位置Ｐと判定され、投影範囲１４（投影画像Ｇ）内でのポインタ位置座標（Ｘ，Ｙ）とされる。なお、レーザポインタ１７が発するレーザ光の輝度は、ポインタ位置判定スレッシュ値を超えるものであることが必要である。

次に、前記構成によるプレゼンテーション支援装置１０の動作について説明する。

図５は、前記プレゼンテーション支援装置１０の初期設定に伴いノートＰＣ１１により実行されるスレッシュ値取得処理を示すフローチャートである。

プロジェクタ１３およびプレゼンテーション支援装置１０を含むプレゼンテーション装置のシステム電源がオンされると、プロジェクタのランプ出力が安定し本来の投影輝度が得られるまでの一定時間待機される（ステップＳ１）。

そして先ず、プレゼンテーション画像メモリ２２ａに対して全画面白の画像データＧが書き込まれ、プロジェクタ１３によりスクリーン１２へ投影される（ステップＳ２）。

すると、カメラ部１５により前記スクリーン１２上の全画面白画像Ｇの投影範囲１４が撮像されてノートＰＣ１１に転送され、この撮像された白画像データの画素毎に所定時間分の平均値が計算されると共にノイズなどが除去され、全画素の輝度の平均値（Ｄat_W）が計算され全画面白画像画素輝度平均値メモリ２２ｆに記憶される（ステップＳ３）。

続いて、プレゼンテーション画像メモリ２２ａに対して全画面黒の画像データＧが書き込まれ、プロジェクタ１３によりスクリーン１２へ投影される（ステップＳ４）。

すると、カメラ部１５により前記スクリーン１２上の全画面黒画像の投影範囲１４が撮像されてノートＰＣ１１に転送され、この撮像された黒画像データの画素毎に所定時間分の平均値が計算されると共にノイズなどが除去され、全画素の輝度の平均値（Ｄat_B）が計算され全画面黒画像画素輝度平均値メモリ２２ｇに記憶される（ステップＳ５）。

そして、前記全画面白画像画素輝度平均値メモリ２２ｆに記憶された白画像画素輝度平均値（Ｄat_W）と前記全画面黒画像画素輝度平均値メモリ２２ｇに記憶された黒画像画素輝度平均値（Ｄat_B）との差に、マージン分（本実施形態の場合は10％）を上乗せ加算した値が撮影範囲１６の画像データからポインタ位置を判定するための閾値（Thresh）として算出され、ポインタ位置判定スレッシュ値メモリ２２ｈに記憶される（ステップＳ６）。

すなわち、このプレゼンテーション支援装置１０のポインタ位置判定処理では、カメラ部１５による一定フレームレート（３０フレーム／秒）での現（最新）フレームの撮影画像データ（２２ｂ）と、前（１つ前）フレームの撮影画像データ（２２ｃ）との差分（現−前）の画像データ（２２ｅ）、あるいはレーザポインタ１７の照射が無い過去の撮影画像データとの差分（現−過去）の画像データ（２２ｅ）において、前記ポインタ位置判定スレッシュ値(Thresh：２２ｈ）を超える輝度値がある画素位置を移動中あるいは静止中のポインタ照射位置Ｐとして判定するので、その予想し得る最大差分値（Ｄat_W−Ｄat_B）に10%のマージン分を上乗せした値を閾値（Thresh）として設定することで、周囲の環境（明暗）にも影響されずにポインタ照射位置Ｐを検出することができる。

図６は、前記プレゼンテーション支援装置１０のノートＰＣ１１により実行されるポインタ位置判定処理を示すフローチャートである。

先ず、レーザポインタ１７の照射が無い撮影画像データを記憶するための投影範囲撮影画像メモリ（過去画像）２２ｄの全画素データが初期化される（ステップＴ１）。例えば、カメラ部１５による撮像データが“8bit/dot”で、且つその値が大きいほど明るいことを示す場合には“255”で初期化される。この“255”で初期化することにより、他のどのようなタイミングの撮影画像データとの差分を計算しても“Thresh”を超えないことが保証できるので、ポインタ位置判定処理開始直後に、レーザポインタ１７の照射が無いのにも関わらず、照射があると誤判定してしまうことがない。

同様に、最新フレームの１つ前の撮影画像データを記憶するための投影範囲撮影画像メモリ（前フレーム）２２ｃの全画素データも“255”で初期化される（ステップＴ２）。

そして、カメラ部１５により撮影転送された現（最新）フレームの撮像データがノートＰＣ１１に取り込まれ、投影範囲撮影画像メモリ（現フレーム）２２ｂに記憶される（ステップＴ３）。

すると、この投影範囲撮影画像メモリ（現フレーム）２２ｂに記憶された現フレームの撮像データと投影範囲撮影画像メモリ（前フレーム）２２ｃに記憶された前フレームの撮像データとの輝度値の差分画像が計算され、現−前差分画像メモリ２２ｅに記憶される（ステップＴ４）。この際、差分値の計算結果がマイナス値になった場合には“0”に丸め処理される。

そして、前記現−前差分画像メモリ２２ｅに記憶された差分画像の各画素データについて、前記ポインタ位置判定スレッシュ値メモリ２２ｈに設定記憶された閾値（Thresh）を超える画素があるか否か判断される（ステップＴ５）。

ここで、前記現−前差分画像メモリ２２ｅに記憶された差分画像の各画素データについて閾値（Thresh）を超える画素が有ったと判断された場合には（ステップＴ５（Ｙ））、その画素の有る位置がレーザポインタ１７による移動中の照射位置Ｐであると判定され、投影範囲１４（投影画像Ｇ）内でのポインタ位置座標（Ｘ，Ｙ）としてメモリ２２ｉに記憶される（ステップＴ６）。

すると、前記投影範囲撮影画像メモリ（現フレーム）２２ｂに記憶された現フレームの撮像データが前フレームの撮像データとして投影範囲撮影画像メモリ（前フレーム）２２ｃに転送されて記憶される（ステップＴ７）。

このように、一定フレームレート（３０フレーム／秒）での撮影転送処理毎に現−前差分画像メモリ２２ｅに計算されて記憶される現（最新）フレームの撮影画像データ（２２ｂ）と前（１つ前）フレームの撮影画像データ（２２ｃ）との差分の画像データ（２２ｅ）に基づいてレーザポインタ１７による移動中の照射位置Ｐを判定するので、周囲の環境（明暗）にも影響されずに確実に移動するポインタ照射位置Ｐを検出することができる。

一方、前記ステップＴ５において、例えばポインタ照射位置Ｐが移動しない場合など、現−前差分画像メモリ２２ｅに記憶された差分画像の各画素データについて閾値（Thresh）を超える画素が無かったと判断された場合には（ステップＴ５（Ｎ））、続けて、前記投影範囲撮影画像メモリ（現フレーム）２２ｂに記憶された現フレームの撮像データと投影範囲撮影画像メモリ（過去画像）２２ｄに記憶されたレーザポインタ１７の照射が無い過去の撮影画像データ（最初はステップＴ１にて初期化済みの画像データ）との輝度値の差分画像が計算され、現−前差分画像メモリ２２ｅに記憶される（ステップＴ８）。この際も、差分値の計算結果がマイナス値になった場合には“0”に丸め処理される。

そして、前記現−前差分画像メモリ２２ｅに記憶された差分画像の各画素データについて閾値（Thresh）を超える画素が有ったと判断された場合には（ステップＴ９（Ｙ））、その画素の有る位置がレーザポインタ１７による静止中の照射位置Ｐであると判定され、投影範囲１４（投影画像Ｇ）内でのポインタ位置座標（Ｘ，Ｙ）としてメモリ２２ｉに記憶される（ステップＴ１０）。

すると、前記同様に、投影範囲撮影画像メモリ（現フレーム）２２ｂに記憶された現フレームの撮像データが前フレームの撮像データとして投影範囲撮影画像メモリ（前フレーム）２２ｃに転送されて記憶される（ステップＴ７）。

また一方、前記ステップＴ９において、現−前差分画像メモリ２２ｅに記憶された差分画像の各画素データについて閾値（Thresh）を超える画素が無かったと判断された場合には（ステップＴ９（Ｎ））、現フレームの撮像データ（２２ｂ）にはレーザポインタ１７の照射は無いと判定される（ステップＴ１１）。

すると、このレーザポインタ１７の照射がない現フレームの撮像データ（２２ｂ）が過去の撮像データとして投影範囲撮影画像メモリ（過去画像）２２ｄに転送されて記憶される（ステップＴ１２）。

このように、レーザポインタ１７の照射が無いと判定された現フレームの撮像データ（２２ｂ）を過去の撮像データ（２２ｄ）として更新して使用することで、静止中のポインタ照射位置Ｐを判定検出する場合でも、周囲の環境変化（明暗）に極力影響され難い状態にして確実に静止中のポインタ照射位置Ｐを検出することができる。

そして、前記一連のポインタ位置判定処理（ステップＴ１〜Ｔ１２）は、一定フレームレート（３０フレーム／秒）での1フレーム撮影転送処理毎に実行されるので、投影範囲１４（投影画像Ｇ）内で移動中あるいは静止中のポインタ照射位置Ｐを確実に検出できる。

したがって、前記構成のプレゼンテーション支援装置１０によれば、プレゼンテーションの開始前において、プロジェクタ１３によって全白画像Ｇをスクリーン１２に投影した状態でのカメラ部１５による撮影画像データの画素輝度平均値（Ｄat_W）と全黒画像Ｇを投影した状態での同撮影画像データの画素輝度平均値（Ｄat_B）との差分値（Ｄat_W−Ｄat_B）にマージン分（10%）を加算してポインタ位置判定スレッシュ値（Thresh）（２２ｈ）を設定する。そして、前記カメラ部１５による一定フレームレート（３０フレーム／秒）での撮影転送処理毎に、現（最新）フレームの撮影画像データ（２２ｂ）と前（１つ前）フレームの撮影画像データ（２２ｃ）との差分の画像データ（２２ｅ）を計算し、前記設定されたスレッシュ値（Thresh）（２２ｈ）を超える画素位置をレーザポインタ１７による例えば移動中の照射位置Ｐとして判定するので、例えばコントラスト比の高いプロジェクタ１３を使用した場合でも、周囲の環境変化（明暗）に影響され難い状態で確実且つ精度良くポインタ照射位置Ｐを検出できるようになる。

また、前記構成のプレゼンテーション支援装置１０によれば、現（最新）フレームの撮影画像データ（２２ｂ）と前（１つ前）フレームの撮影画像データ（２２ｃ）との差分の画像データ（２２ｅ）に基づいてポインタ照射位置Ｐを判定検出できない場合には、同現（最新）フレームの撮影画像データ（２２ｂ）とレーザポインタ１７の照射が無い過去の撮影画像データ（２２ｄ）との差分の画像データ（２２ｅ）を計算し、前記設定スレッシュ値（Thresh）（２２ｈ）を超える画素位置をレーザポインタ１７による例えば静止中の照射位置Ｐとして判定するので、ポインタ照射の移動中・静止中に関わらず、より確実にポインタ照射位置Ｐを検出できるようになる。

さらに、前記構成のプレゼンテーション支援装置１０によれば、現（最新）フレームの撮影画像データ（２２ｂ）とレーザポインタ１７の照射が無い過去の撮影画像データ（２２ｄ）との差分の画像データ（２２ｅ）に基づいてポインタ照射位置Ｐを判定検出できない場合には、当該現（最新）フレームの撮影画像データ（２２ｂ）をレーザポインタ１７の照射が無い過去の撮影画像データ（２２ｄ）として記憶更新して使用するので、ポインタ照射の移動中・静止中に関わらず、周囲の環境変化（明暗）に極力影響され難い状態で確実且つ精度良くポインタ照射位置Ｐを検出できるようになる。

なお、前記実施形態のプレゼンテーション支援装置１０では、カメラ部１５による撮影画像データを“8bit/dot”の白黒画像として出力するものしたが、勿論カラー画像を出力してもよく、前記スレッシュ値取得処理（図５参照）およびポインタ位置判定処理（図６参照）では、当該カラーの撮影画像データから輝度値を算出して処理を実行する構成としてもよい。

また、前記実施形態のプレゼンテーション支援装置１０においてノートＰＣ１１に持たせたスレッシュ値取得処理（図５参照）およびポインタ位置判定処理（図６参照）の各機能は、例えばカメラ部１５の本体内に組み込んでもよく、あるいはプロジェクタ１３の本体内に組み込んでもよい。

さらに、前記実施形態のプレゼンテーション支援装置１０におけるポインタ位置判定処理（図６参照）の機能はソフトウェア処理によって実現する構成したが、ハードウェア処理によって実現してもよい。

また、前記実施形態のプレゼンテーション支援装置１０において説明したスレッシュ値取得処理（図５参照）およびポインタ位置判定処理（図６参照）の各機能は、当該プレゼンテーションシステムへの適用に限らず、カメラ部１５によって撮影した画像データの中からのレーザポインタ１７の照射位置検出を必要とする全てのシステムに適用することができる。

なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。

本発明のレーザポインタ位置判定システムの実施形態に係るプレゼンテーション支援装置１０を組み込んだプレゼンテーションシステムの接続構成を示す図。 前記プレゼンテーション支援装置１０の電子回路の構成を示すブロック図。 前記プレゼンテーション支援装置１０におけるノートＰＣ１１内のメモリ部２２に確保されている各種データメモリの構成を示す図。 前記プレゼンテーション支援装置１０のノートＰＣ１１により実行されるポインタ位置判定処理の概念を示す図。 前記プレゼンテーション支援装置１０の初期設定に伴いノートＰＣ１１により実行されるスレッシュ値取得処理を示すフローチャート。 前記プレゼンテーション支援装置１０のノートＰＣ１１により実行されるポインタ位置判定処理を示すフローチャート。

符号の説明

１０ …プレゼンテーション支援装置
１１ …ノートＰＣ
１２ …スクリーン
１３ …プロジェクタ
１４ …投影範囲
１５ …カメラ部
１６ …撮影範囲
１７ …レーザポインタ
２０ …ユーザＩ／Ｆ部
２１ …メインコントローラ（ＣＰＵ）
２２ …メモリ部
２２Ｐ…プログラムメモリ
２２ａ…プレゼンテーション画像メモリ
２２ｂ…投影範囲撮影画像メモリ（現フレーム）
２２ｃ…投影範囲撮影画像メモリ（前フレーム）
２２ｄ…投影範囲撮影画像メモリ（過去画像）
２２ｅ…現−前差分画像メモリ
２２ｆ…全画面白画像画素輝度平均値（Ｄat_W）メモリ
２２ｇ…全画面黒画像画素輝度平均値（Ｄat_B）メモリ
２２ｈ…ポインタ位置判定スレッシュ値（Thresh）メモリ
２２ｉ…ポインタ位置座標（Ｘ，Ｙ）メモリ
２３ …プロジェクタＩ／Ｆ部
２４ …ディスプレイ部（表示部）
Ｇ …プレゼンテーション画像
Ｐ …ポインタ照射位置

Claims (6)

1. 画像をスクリーン上に投影する画像投影手段と、
   この画像投影手段により投影されたスクリーン上の画像を撮像する撮像手段と、
   前記画像投影手段により全画面白の画像を投影させた状態で前記撮像手段により撮像された画像データと全画面黒の画像を投影させた状態で撮像された画像データとの輝度差に基づいた閾値を設定する閾値設定手段と、
   この閾値設定手段により閾値が設定された後に、前記撮像手段により一定フレームレートで撮像される現在の画像データと前回の画像データとの差分の画像データを取得する現−前差分画像取得手段と、
   この現−前差分画像取得手段により取得された現在画像データと前回画像データとの差分の画像データの各画素について、前記閾値設定手段により設定された閾値を超える画素があるかを判断する第１の画素判断手段と、
   この第１の画素判断手段により閾値を超える画素が有ると判断された画素位置をレーザポインタの照射位置として判定する第１のポインタ位置判定手段と、
   を備えたことを特徴とするレーザポインタ位置判定システム。
2. 前記撮像手段により一定フレームレートで撮像された画像データのうちレーザポインタの照射が無い過去の画像データを記憶する過去画像記憶手段と、
   前記第１の画素判断手段により閾値を超える画素が無いと判断された場合に、前記撮像手段により一定フレームレートで撮像される現在の画像データと前記過去画像記憶手段により記憶されたレーザポインタの照射が無い過去の画像データとの差分の画像データを取得する現−過去差分画像取得手段と、
   この現−過去差分画像取得手段により取得された現在画像データと過去画像データとの差分の画像データの各画素について、前記閾値設定手段により設定された閾値を超える画素があるかを判断する第２の画素判断手段と、
   この第２の画素判断手段により閾値を超える画素が有ると判断された画素位置をレーザポインタの照射位置として判定する第２のポインタ位置判定手段と、
   をさらに備えたことを特徴とする請求項１に記載のレーザポインタ位置判定システム。
3. 前記第２の画素判断手段により現在画像データと過去画像データとの差分の画像データの各画素について閾値を超える画素が無いと判断された場合に、当該現在画像データを前記過去画像記憶手段により記憶されるレーザポインタの照射が無い過去の画像データとして更新して記憶させる過去画像更新制御手段をさらに備えたことを特徴とする請求項２に記載のレーザポインタ位置判定システム。
4. 画像をスクリーン上に投影する画像投影手段と、この画像投影手段により投影されたスクリーン上の画像を撮像する撮像手段とを備えたレーザポインタ位置判定システムのコンピュータを制御するためのレーザポインタ位置判定方法であって、
   前記画像投影手段により全画面白の画像を投影させた状態で前記撮像手段により撮像された画像データと全画面黒の画像を投影させた状態で撮像された画像データとの輝度差に基づいた閾値をメモリに設定する閾値設定ステップと、
   この閾値設定ステップにて閾値が設定された後に、前記撮像手段により一定フレームレートで撮像される現在の画像データと前回の画像データとの差分の画像データをメモリに取得する現−前差分画像取得ステップと、
   この現−前差分画像取得ステップにて取得された現在画像データと前回画像データとの差分の画像データの各画素について、前記閾値設定ステップにて設定された閾値を超える画素があるかを判断する第１の画素判断ステップと、
   この第１の画素判断ステップにて閾値を超える画素が有ると判断された画素位置をレーザポインタの照射位置として判定する第１のポインタ位置判定ステップと、
   を備えたことを特徴とするレーザポインタ位置判定方法。
5. 前記レーザポインタ位置判定システムは、前記撮像手段により一定フレームレートで撮像された画像データのうちレーザポインタの照射が無い過去の画像データを記憶する過去画像記憶手段をさらに備え、
   前記第１の画素判断ステップにて閾値を超える画素が無いと判断された場合に、前記撮像手段により一定フレームレートで撮像される現在の画像データと前記過去画像記憶手段により記憶されたレーザポインタの照射が無い過去の画像データとの差分の画像データをメモリに取得する現−過去差分画像取得ステップと、
   この現−過去差分画像取得ステップにて取得された現在画像データと過去画像データとの差分の画像データの各画素について、前記閾値設定ステップにて設定された閾値を超える画素があるかを判断する第２の画素判断ステップと、
   この第２の画素判断ステップにて閾値を超える画素が有ると判断された画素位置をレーザポインタの照射位置として判定する第２のポインタ位置判定ステップと、
   をさらに備えたことを特徴とする請求項４に記載のレーザポインタ位置判定方法。
6. 前記第２の画素判断ステップにて現在画像データと過去画像データとの差分の画像データの各画素について閾値を超える画素が無いと判断された場合に、当該現在画像データを前記過去画像記憶手段により記憶されるレーザポインタの照射が無い過去の画像データとして更新して記憶させる過去画像更新制御ステップをさらに備えたことを特徴とする請求項５に記載のレーザポインタ位置判定方法。

Images