JP2015111214A - 情報処理システム、情報処理装置、プロジェクタ、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】被写体の検出において、死角をなくし、より簡単な制御で精度良く検知を行う情報処理システムを提供する。【解決手段】２以上の画像投影手段と、画像投影手段それぞれにおける周囲の音を検知する２以上の音検知手段と、音検知手段により検知された音に基づいて画像投影手段から該音の音源までの距離を判定する距離判定手段と、音検知手段により検知された音に基づいて該音の音源の方向を判定する方向判定手段と、距離判定手段により判定された音源までの距離及び方向判定手段により判定された音源の方向に基づいて画像投影手段により投影させる画像を生成する画像生成手段と、距離判定手段により判定された音源までの距離及び方向判定手段により判定された音源の方向に基づいて画像生成手段により生成された画像を画像投影手段により投影させるタイミングを制御する画像投影タイミング制御手段とを備える。【選択図】図４

Description

本発明は、情報処理システム、情報処理装置、プロジェクタ、情報処理方法、及びプログラムに関する。

プロジェクタやディスプレイを使用したデジタルサイネージ（電子看板）において、複数台のプロジェクタの投影画像を連結させて映し出すマルチプロジェクション技術が知られている。また、デジタルサイネージにおいて、プロジェクタに可視光カメラや赤外線カメラを取り付けて物体や人の位置を検出し、人の位置に合わせて投影する画像を切り替える技術が知られている。

デジタルサイネージに関し、特許文献１には、設置場所周辺の通行人の流れを検知して、見やすい適切な広告情報を提供することを目的として、通行人の流れの混雑度合いに対応して広告情報の表示内容を切り換える技術が開示されている。

また、特許文献２には、外部の被投射体に投射する画像のサイズを部屋の広さに応じて調節できるプロジェクタを提供することを目的として、プロジェクタが画像を投射する投射角度を、プロジェクタが存在する空間の広さに応じて制御する技術が開示されている。

しかし、特許文献１における、人の位置を検出する目的でプロジェクタに搭載されたカメラは、画角が狭く、プロジェクタから近距離の位置で死角ができやすいため、その分検出精度が悪くなってしまうという問題がある（図２４参照）。また、特許文献２に係る技術は制御処理が複雑である。

本発明は、このような実情に鑑みてなされたものであって、被写体の検出において、死角をなくし、より簡単な制御で精度良く検知を行う情報処理システムを提供することを目的とする。

上記の課題を解決するため、本発明の情報処理システムは、２以上の画像投影手段と、画像投影手段それぞれにおける周囲の音を検知する２以上の音検知手段と、音検知手段により検知された音に基づいて画像投影手段から該音の音源までの距離を判定する距離判定手段と、音検知手段により検知された音に基づいて該音の音源の方向を判定する方向判定手段と、距離判定手段により判定された音源までの距離及び方向判定手段により判定された音源の方向に基づいて画像投影手段により投影させる画像を生成する画像生成手段と、距離判定手段により判定された音源までの距離及び方向判定手段により判定された音源の方向に基づいて画像生成手段により生成された画像を画像投影手段により投影させるタイミングを制御する画像投影タイミング制御手段と、を備える。

本発明によれば、被写体の検出において、死角をなくし、より簡単な制御で精度良く検出を行うことができる。

本発明の実施形態におけるデジタルサイネージの概要について説明する模式図である。 本発明の実施形態におけるプロジェクタのハードウェア構成図である。 本発明の実施形態における情報処理装置のハードウェア構成図である。 本発明の実施形態における情報処理システムの概略構成図である。 本発明の実施形態における人とプロジェクタの距離判定について説明する模式図である。 本発明の実施形態における人の移動の例を示す模式図である。 本発明の実施形態における画像投影の制御について説明する模式図である。 本発明の実施形態における画像投影の制御について説明する模式図である。 本発明の実施形態における画像投影の制御について説明する模式図である。 本発明の実施形態における画像投影の制御手順について説明するフローチャートである。 本発明の実施形態における画像投影の制御手順について説明するフローチャートである。 本発明の実施形態における画像投影の制御手順について説明するフローチャートである。 本発明の実施形態における人の移動の例を示す模式図である。 本発明の実施形態における画像投影の制御について説明する模式図である。 本発明の実施形態における画像投影の制御について説明する模式図である。 本発明の実施形態における画像投影の制御手順について説明するフローチャートである。 本発明の実施形態における画像投影の制御手順について説明するフローチャートである。 本発明の実施形態における複数のプロジェクタの位置関係の判定について説明する模式図である。 本発明の実施形態における複数のプロジェクタの位置関係の判定について説明する模式図である。 曲面状のスクリーンに映像を投影した場合における映像の形状について説明する模式図である。 曲面状のスクリーンに映像を投影した場合における映像の形状の補正について説明する模式図である。 平面状のスクリーンに映像を投影した場合における映像コンテンツ切り替えについて説明する模式図である。 曲面状のスクリーンに映像を投影した場合における映像コンテンツ切り替えについて説明する模式図である。 従来技術におけるプロジェクタ直近に居る人がカメラ画角外の死角に入ってしまう問題について説明する模式図である。

本発明の実施形態の情報処理システムに関し以下図面を用いて説明するが、本発明の趣旨を越えない限り、何ら本実施形態に限定されるものではない。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。

本実施形態の情報処理システムは、概略的には、マルチプロジェクタを用いたデジタルサイネージ技術に関し、マイクアレイシステムを用いて音による人の検知を行い、マイクアレイシステムを用いてプロジェクタ配置の自動検知を行うことを特徴とするものである。すなわち、本発明の情報処理システムは、人の検知において、可視光カメラや赤外線カメラを使用する代わりに、マイクアレイシステムを使用する。

音により人を検知することで死角をなくすとともに、マイクアレイシステムによって、複数のプロジェクタの位置関係を把握したうえでデジタルサイネージを投影する。これにより、プロジェクタの配置に最適化した映像投影が可能となり、宣伝をより効果的に行うことができる。

本実施形態の情報処理システムは、例えば画像をスクリーン等の被投影体に投影するプロジェクタ等の画像投影手段と、そのプロジェクタに投影させる画像を生成するパーソナルコンピュータ（以下、「ＰＣ」という。）等の情報処理装置とが所定のネットワークにより接続されて構成される。

ネットワークとしては、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、あるいはＭＡＮ（Ｍｅｔｒｏ Ａｒｅａ Ｎｅｔｗｏｒｋ）の何れでもよく、その他、本システムを構築可能なネットワークであればよい。また、本実施形態における情報処理プログラムをネットワークに接続されたサーバ等に格納しておき、該サーバから情報処理プログラムをネットワーク経由で情報処理装置やプロジェクタにダウンロードして実行することで本実施形態の情報処理機能を実現してもよい。

なお、プロジェクタが情報処理機能を備えていてもよく、また、ＰＣが画像投影機能を備え、各機器単体で本実施形態を実現することとしてもよい。以下では、本実施形態の情報処理システムを適用するデジタルサイネージシステムを例に説明する。

例えば、本実施形態の情報処理システムを適用したデジタルサイネージシステムの概要を図１に示す。本実施形態のデジタルサイネージシステムにおいては、各プロジェクタの投影画像を連結させて１枚の大きな投影画像を形成する。投影画像は、「スクリーンから遠い人」から見て見やすい画像となる。

本実施形態においては、スクリーンに人が近づいた場合、まずマイクアレイシステムによって、人の出す音を検出して人の位置を判定する。人の位置は、プロジェクタから人までの距離が近距離か遠距離かについて、所定の閾値により判定する。所定の閾値は各プロジェクタに設定されており、例えば、近距離と遠距離を分ける音圧レベルとして予め設定しておく。この閾値と人の位置との相対的関係により算出されるパラメータと、予め用意された画像を用いて、投影画像を生成する。

「スクリーンから近い人」の位置が変化すれば、それに合わせて投影する画像も変化させる。このとき、「スクリーンから遠い人」にとって画像は一部欠けたものとなるが、元々の画像を、一部が欠けても伝えたい情報がほとんど欠落しないものとしておけばよい。

次に、本実施形態における情報処理システムを構成するプロジェクタのハードウェア構成について図２を参照して説明する。本実施形態のプロジェクタは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、メモリコントローラ１０２と、ホスト−ＰＣＩブリッジ１０３と、メインメモリ１０４と、メモリカード１０５と、ＰＣＩデバイス１０６、１０７と、通信カード１０８と、無線通信カード１０９と、ビデオカード１１０を備える。

メモリコントローラ１０２は、ＣＰＵ１０１、メインメモリ１０４、及びホスト-ＰＣＩブリッジ１０３のそれぞれとホスト・バスにより接続されている。

ＣＰＵ１０１は、本実施形態におけるプロジェクタの全体制御を行うものである。メモリコントローラ１０２は、メインメモリ１０４に対する読み書きなどを制御する。メインメモリ１０４は、プログラムやデータの格納用メモリ、プログラムやデータの展開用メモリ、描画用メモリなどとして用いるシステムメモリである。

ホスト-ＰＣＩブリッジ１０３は、周辺デバイスやＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）デバイスを接続するためのブリッジである。ホスト-ＰＣＩブリッジ１０３は、メモリカード１０５とＨＤＤ Ｉ／Ｆにより接続されている。また、ホスト-ＰＣＩブリッジ１０３は、ＰＣＩデバイス１０６やＰＣＩデバイス１０７とＰＣＩバスで接続されている。

さらに、ホスト-ＰＣＩブリッジ１０３は、通信カード１０８、無線通信カード１０９、及びビデオカード１１０などとＰＣＩバス及びＰＣＩスロットを介して接続されている。

メモリカード１０５は、ＯＳのブートデバイスとして利用される。通信カード１０８及び無線通信カード１０９は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークや通信回線との接続に利用される。ビデオカード１１０は、画像の投影に利用され、映像信号を出力する。なお、本実施形態におけるプロジェクタで実行される制御プログラムは、メインメモリ１０４の格納用メモリ等に予め組み込まれて提供される。

次に、本実施形態における情報処理システムを構成するＰＣのハードウェア構成について図３を参照して説明する。本実施形態のＰＣは、例えば、ＣＰＵ２０１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２０４と、Ｉ／Ｆ２０５がバスを介して接続されている。また、Ｉ／Ｆ２０５には、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）２０６と、入力部２０７が接続されている。

ＣＰＵ２０１は演算手段であり、ＰＣ全体の動作を制御する。ＲＡＭ２０２は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ２０１が情報を処理する際の作業領域として用いられる。ＲＯＭ２０３は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。

ＨＤＤ２０４は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種の制御プログラム、アプリケーション・プログラム等が格納されている。Ｉ／Ｆ２０５は、バスと各種のハードウェアやネットワーク等を接続し、これらを制御する。

ＬＣＤ２０６は、ユーザがＰＣの状態を確認するための視覚的な情報を提供するユーザインタフェースである。入力部２０７は、キーボードやマウス等、ユーザがＰＣに情報を入力するためのユーザインタフェースである。

次に、本実施形態における情報処理システムの概略構成について図４を参照して説明する。本実施形態の情報処理システムを適用するデジタルサイネージシステムは、例えば、２以上のプロジェクタ１を一定間隔をおいて横に並べて配置し、マルチプロジェクションを行うものである。ここでは、例えば、プロジェクタ１ａ、プロジェクタ１ｂ、プロジェクタ１ｃの３つのプロジェクタ１によりマルチプロジェクションを行うものとする。

各プロジェクタ１は、画像を被投影体に投影する画像投影部１１ａ、１１ｂ、１１ｃを備える。また、各プロジェクタ１は、プロジェクタそれぞれにおける周囲の音を検知する音検知手段としての収音部１２ａ、１２ｂ、１２ｃを備える。収音部１２で検知・収音した音信号をプロジェクタ制御部としてのＰＣ２における音信号制御部２１に送信する。プロジェクタ１とＰＣ２とは、有線又は無線のインターフェースにより接続される。

各プロジェクタ１は、それぞれの収音部１２により、例えば１つの音源からの音が検知されるまでの時間の差に基づいて相対的位置を判断する相対位置判断手段を備えていてもよい。

ＰＣ２は、音信号制御部２１と、外部から入力された入力画像を制御する画像信号制御部２２を備える。音信号制御部２１は、前処理部２１１と、距離判定部２１２と、方向判定部２１３を備える。また、画像信号制御部２２は、画像投影タイミング制御部２２１と、出力画像生成部２２２と、画像処理部２２３を備える。

前処理部２１１は、入力された音信号に対するノイズ抑制などの前処理を行う。距離判定手段としての距離判定部２１２は、収音部１２により検知された音に基づいてプロジェクタ１から該音の音源までの距離を判定する。より具体的には、距離判定部２１２は、音圧レベルを閾値として、例えば人が発する音の音源がプロジェクタ１の近距離にあるのか、遠距離にあるのかを判定する。

方向判定手段としての方向判定部２１３は、収音部１２により検知された音に基づいて該音の音源の方向を判定する。より具体的には、方向判定部２１３は、各プロジェクタ１に搭載されている収音部１２に入力された音信号を複数チャンネル使い、音源の方向を判定する。

画像処理部２２３は、例えば入力画像の歪み補正などの補正処理などを行う。出力画像生成部２２２は、距離判定部２１２により判定された音源までの距離及び方向判定部２１３により判定された音源の方向に基づいてプロジェクタ１により投影させる画像を生成する画像生成手段である。

出力画像生成部２２２は、距離判定部２１２により音源までの距離が近距離と判定されたとき、近距離に対応する近距離用画像を生成する。また、出力画像生成部２２２は、距離判定部２１２により音源までの距離が遠距離と判定されたとき、遠距離に対応する遠距離用画像を生成する。

また、出力画像生成部２２２は、例えば、２以上のプロジェクタ１それぞれにより投影させる投影画像が２以上の近距離用画像の合成画像となるように２以上の近距離用画像を生成してもよい。

画像投影タイミング制御部２２１は、距離判定部２１２により判定された音源までの距離及び方向判定部２１３により判定された音源の方向に基づいて出力画像生成部２２２により生成された画像をプロジェクタ１により投影させるタイミングを制御する画像投影タイミング制御手段である。プロジェクタ１は、ＰＣ２から受信した投影画像データを画像投影部１１より投影する。

また、画像投影タイミング制御部２２１は、距離判定部２１２によりにより音源までの距離が近距離と判定されたとき、生成された近距離用画像を、例えば１以上のプロジェクタ１により投影させる。画像投影タイミング制御部２２１は、距離判定部２１２により音源までの距離が遠距離と判定されたとき、生成された遠距離用画像を例えば１以上のプロジェクタ１により投影させる。

例えば、画像投影タイミング制御部２２１は、方向判定部２１３により判定された音源の方向に対応して２以上のプロジェクタ１を切り替える制御を行う。

次に、本実施形態における上述した距離判定部２１２に基づく、人とプロジェクタ１との距離判定処理について図５を参照して説明する。距離判定部２１２は、収音部１２により検知された音のプロジェクタ１から音源までの距離が近距離か遠距離かを予め定められた閾値に基づいて判定する。

例えば、プロジェクタ１に対して近距離に人が居る場合、人の足音や音声が収音部１２に入力されたとき、遠距離に人が居る場合と比較して、その音圧レベルは高くなる。よって本実施形態では、人が近距離に居る場合と遠距離に居る場合を音圧レベルを閾値として判定する。例えば、図に示すように収音部１２を囲む破線の円で描かれた範囲を近距離範囲と設定し、破線上部分を閾値とする。

つまり、本実施形態では、予め設定した音圧レベルの閾値より高い場合、近距離範囲に人が居ると判定し、閾値より低い場合、遠距離範囲に人が居ると判定する。

また、各プロジェクタ１に収音部１２を設けているので、少なくとも１つの収音部１２において近距離範囲に人が居ると判定できる音圧レベルの音信号が入力された場合は、近距離範囲に人が居る状態と判定される。また、すべてのプロジェクタ１の収音部１２に閾値より小さい音圧レベルで音信号が入力された場合、遠距離範囲に人が居る状態と判定される。

次に、本実施形態における人の移動の例について図６を参照して説明する。ここでは、５つのプロジェクタＡ〜Ｅを横一列に等間隔で並べたマルチプロジェクタシステムを例に説明する。プロジェクタＡ〜Ｅにはそれぞれ収音部Ａ〜Ｅが設けられている。収音部Ａ〜Ｅを中心に破線や実線で描かれた円は上述した近距離範囲を示すものである。また、人に付された番号［１］〜［４］は人の移動順を示したものである。

本図において、人が［１］の位置に居るときは、どのプロジェクタの近距離範囲にも入っていないため、人は遠距離範囲にいると判定される。人が［２］の位置に居るときは、プロジェクタＡ〜Ｃの近距離範囲にいると判定される。人が［３］の位置に居るときは、プロジェクタＢ〜Ｄの近距離範囲に居ると判定される。さらに、人が［４］の位置に居るときは、どのプロジェクタの近距離範囲にも入っていないため、人は遠距離範囲にいると判定される。

次に、本実施形態における画像投影の制御方法について図７〜図９を参照して説明する。図７〜図９において各図の左側に付された［１］〜［４］は、図６において人に付された番号［１］〜［４］に対応している。

まず、図７を参照して本実施形態の画像投影の制御方法の一例について説明する。図６に示したように、位置［１］においては、人はどのプロジェクタの近距離範囲にも居ないため、スクリーンには遠距離用の投影画像が投影される。

また、位置［２］においては、プロジェクタＡ、Ｂ、Ｃの近距離範囲に人が居るが、位置［２］に最も近いプロジェクタはプロジェクタＢであるため、プロジェクタＢによって近距離用の投影画像を投影する。同様に、位置［３］において最も近いプロジェクタはプロジェクタＣであるため、プロジェクタＣによって近距離用の画像を投影する。

さらに、位置［４］においては、位置［１］と同様の条件のため、スクリーンには遠距離用の投影画像を投影する。つまり、本例における制御は、人の位置に最も近いプロジェクタで、近距離用の投影画像を投影するというものである。

次に、図８を参照して本実施形態の画像投影の制御方法の別の例について説明する。図６に示したように、位置［１］、位置［４］においては、人はどのプロジェクタの近距離範囲にも居ないため、スクリーンには遠距離用の投影画像が投影される。

位置［２］においては、プロジェクタＡ、Ｂ、Ｃの近距離範囲内に人が居るため、プロジェクタＡ、Ｂ、Ｃのそれぞれから近距離用の投影画像を投影する。同様に、位置［３］においては、プロジェクタＢ、Ｃの近距離範囲内に人が居るため、プロジェクタＢ、Ｃのそれぞれから近距離用の投影画像を投影する。つまり、本例における制御は、人の位置が各プロジェクタに設定された近距離範囲内にある場合、それに該当するすべてのプロジェクタに近距離用の画像を投影させるというものである。

次に、図９を参照して本実施形態の画像投影の制御方法のさらに別の例について説明する。図６に示したように、位置［１］、位置［４］においては、人はどのプロジェクタの近距離範囲にいないため、スクリーンには遠距離用の投影画像が投影される。

位置［２］においては、プロジェクタＡ、Ｂ、Ｃの近距離範囲内に人が居るため、プロジェクタＡ、Ｂ、Ｃのそれぞれから近距離用の投影画像を投影する。その際、プロジェクタＡ、Ｂ、Ｃから投影する投影画像は、プロジェクタＡ、Ｂ、Ｃの投影画像を合わせて一つの画像になるように制御する。

また、位置［３］においては、プロジェクタＢ、Ｃの近距離範囲内なので、プロジェクタＢ、Ｃのそれぞれから近距離用の投影画像を投影する。その際、プロジェクタＢ、Ｃから投影する投影画像は、プロジェクタＢ、Ｃの投影画像を合わせて一つの画像になるように制御する。

つまり、本例における制御は、人の位置が各プロジェクタに設定された近距離範囲内にある場合、それに該当するすべてのプロジェクタに近距離用の画像を投影させる制御である。さらに、本例では、その投影される画像は、各プロジェクタで独立した画像を投影するのではなく、複数のプロジェクタからの投影画像を合成することで一つの投影画像を構成するマルチプロジェクション画像とする。

次に、上述した本実施形態の画像投影の制御方法に対応する制御手順について図１０〜図１２を参照して説明する。なお、各手順において重複する説明は省略する。

まず、上述した図７の制御方法に対応する制御手順について図１０を参照して説明する。ＰＣ２は、近距離範囲内に人が居ないと判定したときは、遠距離用の画像をスクリーンに投影する各プロジェクタ１を制御する（ステップＳ１）。

ＰＣ２は、例えば人の移動により、近距離範囲内に人が居るプロジェクタ１があると判定したとき（ステップＳ２、ＹＥＳ）、次に、そのプロジェクタ１が１つか複数か判定する（ステップＳ３）。ステップ２において、近距離範囲内に人が居るプロジェクタ１がないと判定したとき（ステップＳ２、ＮＯ）、遠距離用の画像をスクリーンに投影する（ステップＳ１）。

ＰＣ２は、近距離範囲内に人が居るプロジェクタ１が１つであると判定したとき（ステップＳ３、ＹＥＳ）、当該判定されたプロジェクタ１により近距離用の画像を投影させる（ステップＳ４）。他方、近距離範囲内に人が居るプロジェクタ１が複数あると判定したとき（ステップＳ３、ＮＯ）、最も人に近いプロジェクタ１を判定する（ステップＳ６）。そして、ＰＣ２は、最も近いと判定したプロジェクタ１によって近距離用の画像を投影させる（ステップＳ４）。

その後、ＰＣ２は、例えば投影する画像が他にないような場合、プロジェクタ１の電源をＯＦＦにするかどうか判定し（ステップＳ５）、ＯＦＦにする場合（ステップＳ５、ＹＥＳ）、処理を終了する。一方、ＰＣ２は、例えば投影する画像が他にあるような場合、プロジェクタ１の電源はＯＮのまま、さらに近距離範囲内に人が居るプロジェクタがあるかどうか判定する（ステップＳ２）。

次に、図８の制御方法に対応する制御手順について図１１を参照して説明する。本制御手順においては、ＰＣ２は近距離範囲内に人が居るプロジェクタ１があるかどうか判定し（ステップＳ１２）、あると判定された場合（ステップＳ１２、ＹＥＳ）、該当プロジェクタ１で近距離用の画像を投影する（ステップＳ１３）。つまり、近距離に人が居るすべてのプロジェクタ１で近距離用の画像を投影する。

次に、図９の制御方法に対応する制御手順について図１２を参照して説明する。本制御手順においては、ＰＣ２は近距離範囲内に人が居るプロジェクタ１があるかどうか判定し（ステップＳ２２）、あると判定された場合（ステップＳ２２、ＹＥＳ）、該当すべてのプロジェクタ１で投影する近距離用の合成画像を生成する（ステップＳ２３）。

次に、本実施形態における人の移動の別の例について図１３を参照して説明する。本例では、各プロジェクタ１の近傍に人物が２人居るものとする。そして、人物Ａは［１］から［２］に移動し、人物Ｂは［３］から［５］へ移動するものとする。本例では、人の足音や音声を収音部１２で収音して、収音した音信号から人物Ａ及び人物Ｂが移動する方向と移動する速度を判定する。本図では、図示において、５つのプロジェクタ（１）〜（５）が横一列に並べて配置されているものとする。

次に、図１３のように複数の人が移動した場合における、画像投影の制御方法について図１４、図１５を参照して説明する。

まず、図１４を参照して、画像投影の制御方法の例について説明する。ここでは、ＰＣ２は、人物Ａが［１］の位置でプロジェクタ（１）に最も近いため、プロジェクタ（１）から人物Ａ向けの投影画像を投影するようにプロジェクタ（１）を制御する。その後、ＰＣ２は、人物Ａが［２］の位置に向かって移動して、プロジェクタ（２）が最も近いプロジェクタと判定されたとき、人物Ａ向けの画像を投影するプロジェクタをプロジェクタ（２）に切り替える制御を行う。

一方、ＰＣ２は、人物Ｂが［３］の位置でプロジェクタ（５）に最も近いため、プロジェクタ（５）から人物Ｂ向けに投影画像を投影するようにプロジェクタ（５）を制御する。その後、人物Ｂが［４］の位置に向かって移動して、プロジェクタ（４）が最も近いプロジェクタと判定されたとき、人物Ｂ向けの画像を投影するプロジェクタをプロジェクタ（４）に切り替える制御を行う。

同様に、ＰＣ２は、人物Ｂが［４］から［５］の位置に向かって移動し、プロジェクタ（３）が最も近いプロジェクタと判定されたとき、人物Ｂ向けの画像を投影するプロジェクタをプロジェクタ（３）に切り替える制御を行う。

次に、図１５を参照して本実施形態における画像投影の制御方法の別の例について説明する。ここでは、ＰＣ２は、人物Ａが［１］の位置でプロジェクタ（１）に最も近いため、プロジェクタ（１）から人物Ａ向けの投影画像を投影するようにプロジェクタ（１）を制御する。

その後、ＰＣ２は、人物Ａが［２］の位置に向かって移動する際に、人物Ａに対する投影画像をプロジェクタ（１）からの投影画像からプロジェクタ（１）とプロジェクタ（２）の投影画像の合成画像に切り替えるように制御する。つまり、本例では人物Ａの移動する速度に合わせて、連続的に投影画像の位置を移動させていく制御を行う。つまり本例では、プロジェクタ（１）及びプロジェクタ（２）の投影画像の合成画像を人物Ａ向けの投影画像としている。

一方、ＰＣ２は、人物Ｂが［３］の位置でプロジェクタ（５）に最も近いため、プロジェクタ（５）から人物Ｂ向けの投影画像を投影するようにプロジェクタ（５）を制御する。

その後、ＰＣ２は、人物Ｂが［４］の位置に向かって移動する際に、人物Ｂに対する投影画像をプロジェクタ（５）からの投影画像からプロジェクタ（４）とプロジェクタ（５）の投影画像の合成画像に切り替える制御を行う。つまり人物Ａ同様に、人物Ｂの移動する速度に合わせて、連続的に投影画像の位置を移動させていく制御を行う。つまり、プロジェクタ（４）及びプロジェクタ（５）の投影画像の合成画像を人物Ｂ向けの投影画像としている。

同様に、ＰＣ２は、人物Ｂが［４］から［５］の位置に向かって移動する際に、人物Ｂに対する投影画像をプロジェクタ（４）とプロジェクタ（５）の投影画像の合成画像からプロジェクタ（３）とプロジェクタ（４）の投影画像の合成画像に切り替える制御を行う。つまりＰＣ２は、人物Ｂの移動する速度に合わせて、連続的に合成画像を生成するプロジェクタを切り替える制御を行っている。

次に、上述した本実施形態の画像投影の制御方法に対応する制御手順について図１６、図１７を参照して説明する。なお、各手順において重複する説明は省略する。

まず、上述した図１４の制御方法に対応する制御手順について図１６を参照して説明する。ＰＣ２は、近距離範囲内に人が居ないと判定したときは、遠距離用の画像をスクリーンに投影する各プロジェクタを制御する（ステップＳ３１）。

ＰＣ２は、例えば人の移動により、近距離範囲内に人が居るプロジェクタがあると判定したとき（ステップＳ３２、ＹＥＳ）、次に、人の位置を判定する（ステップＳ３３）。

次に、ＰＣ２は、判定された人の位置に最も近いプロジェクタで近距離用の画像を投影するようにプロジェクタ（１）を制御する（ステップＳ３４）。つまり、例えば上述のように、人物Ａが位置［１］から位置［２］へ移動するとき、位置［１］に最も近いプロジェクタ（１）による投影画像から、位置［２］に最も近いプロジェクタ（２）による投影画像に切り替えるように各プロジェクタを制御する。

次に、上述した図１５の制御方法に対応する制御手順について図１７を参照して説明する。ここでは、ＰＣ２は、人の位置を判定すると（ステップＳ４３）、次に判定された人の位置に適応して、プロジェクタで投影する近距離用の合成画像を生成する（ステップＳ４４）。本制御方法によれば、連続的に切り替える合成画像により、投影画像が滑らかに切り替わっていくという効果が得られる。

次に、本実施形態における複数のプロジェクタの位置関係の判定について図１８及び図１９を参照して説明する。

まず、平面状に設置されたスクリーンに対して平行に配置されたプロジェクタＦ、Ｇ、Ｈの位置関係の判定について図１８を参照して説明する。本実施形態では、各プロジェクタは、音源から発せられる音が各プロジェクタに搭載されている収音部に到達する時間の差を検知して自身と他のプロジェクタとの相対的な位置関係を検知する。

例えば、プロジェクタＦに搭載の収音部Ｆに音源から音が到達してからプロジェクタＧに搭載の収音部Ｇに音が到達する時間を遅延１とする。プロジェクタＧに搭載の収音部Ｇに音源から音が到達してからプロジェクタＨに搭載の収音部Ｈに音が到達する時間を遅延２とする。プロジェクタＦに搭載の収音部Ｆに音源から音が到達してからプロジェクタＨに搭載の収音部Ｈに音が到達する時間を遅延３とする。各プロジェクタに音源から到達する音の遅延差によって、プロジェクタ間の相対的な位置関係を検知する。

次に、曲面状に設置されたスクリーンに対して映像を投影できるように曲面状に配置されたプロジェクタＩ、Ｊ、Ｋの位置関係の判定について図１９を参照して説明する。図１８の説明と同様に、各プロジェクタは、音源から発せられる音が各プロジェクタに搭載されている収音部に到達する時間の差を検知して自身と他のプロジェクタとの相対的な位置関係を検知する。

例えば、プロジェクタＩに搭載の収音部Ｉに音源から音が到達してからプロジェクタＪに搭載の収音部Ｊに音が到達する時間を遅延４とする、プロジェクタＪに搭載の収音部Ｊに音源から音が到達してからプロジェクタＫに搭載の収音部Ｋに音が到達する時間を遅延５とする、プロジェクタＩに搭載の収音部Ｉに音源から音が到達してからプロジェクタＫに搭載の収音部Ｋに音が到達する時間を遅延６とする。各プロジェクタに音源から到達する音の遅延差によって、プロジェクタ間の相対的な位置関係を検知する。

上述のように、曲面状にプロジェクタが配置された場合でも、音源から各プロジェクタに搭載されている収音部に入力される音の到達時間の相対的な関係からプロジェクタの配置を検知することができる。

次に、曲面状のスクリーンに映像を投影した場合における映像の形状について図２０を参照して説明する。本図に示すように、曲面状に設置されたスクリーンにプロジェクタから映像を投影すると画像が歪んでしまう。

そこで、本実施形態では、図２１に模式的に示すように、プロジェクタが曲面状に配置されていることを検知した場合は、投影する映像の形状を補正し、曲面状のスクリーンに投影したときに映像が歪まないようにする。

次に、本実施形態における平面状のスクリーンに映像を投影した場合における映像コンテンツ切り替え処理について図２２を参照して説明する。プロジェクタが横一列に配置されていることを検知した場合、プロジェクタから投影する映像コンテンツは横長の画角の映像コンテンツとする。

次に、本実施形態における曲面状のスクリーンに映像を投影した場合における映像コンテンツ切り替え処理について図２３を参照して説明する。プロジェクタが曲面状に配置されていることを検知した場合は、プロジェクタから投影する映像コンテンツを視聴者を取り囲むような画角の映像コンテンツとし、これを自動的に切り替える。

本実施形態では、プロジェクタが曲面状に配置されている場合、スクリーンも曲面状に配置されていると判断し、映像コンテンツを視聴者を取り囲むような画角のものとする。視聴者が映像コンテンツを視聴する際、自身の周囲を取り囲むように配置されているスクリーンに視聴者を取り囲む画角の映像コンテンツが流される。よって、視聴者は実際に映像コンテンツの中に居るような臨場感を感じることができる。

また、視聴者が複数人居る場合、視聴者の位置に応じて、複数の映像コンテンツを投影することとしてもよい。視聴者が複数人居る場合においても、投影する映像コンテンツの画角は、検知したプロジェクタの配置によって切り替えることとしてよい。

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、上述した本実施形態の情報処理システムにおける各処理を、ハードウェア、又は、ソフトウェア、あるいは、両者の複合構成を用いて実行することも可能である。

なお、ソフトウェアを用いて処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させることが可能である。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

１、１ａ、１ｂ、１ｃ プロジェクタ
２ ＰＣ
１１、１１ａ、１１ｂ、１１ｃ 画像投影部
１２、１２ａ、１２ｂ、１２ｃ 収音部
２１ 音信号制御部
２２ 画像信号制御部
２１１ 前処理部
２１２ 距離判定部
２１３ 方向判定部
２２１ 画像投影タイミング制御部
２２２ 出力画像生成部
２２３ 画像処理部

特開２０１２−０１４６０２号公報 特許４６５７０６０号公報

Claims (10)

1. ２以上の画像投影手段と、
   前記画像投影手段それぞれにおける周囲の音を検知する２以上の音検知手段と、
   前記音検知手段により検知された音に基づいて前記画像投影手段から該音の音源までの距離を判定する距離判定手段と、
   前記音検知手段により検知された音に基づいて該音の音源の方向を判定する方向判定手段と、
   前記距離判定手段により判定された音源までの距離及び前記方向判定手段により判定された音源の方向に基づいて前記画像投影手段により投影させる画像を生成する画像生成手段と、
   前記距離判定手段により判定された音源までの距離及び前記方向判定手段により判定された音源の方向に基づいて前記画像生成手段により生成された画像を前記画像投影手段により投影させるタイミングを制御する画像投影タイミング制御手段と、
   を備えることを特徴とする情報処理システム。
2. 前記距離判定手段は、前記音検知手段により検知された音の前記画像投影手段から音源までの距離が近距離か遠距離かを予め定められた閾値に基づいて判定し、
   前記画像生成手段は、前記距離判定手段により音源までの距離が近距離と判定されたとき、近距離に対応する近距離用画像を生成し、前記距離判定手段により音源までの距離が遠距離と判定されたとき、遠距離に対応する遠距離用画像を生成することを特徴とする請求項１記載の情報処理システム。
3. 前記画像投影タイミング制御手段は、前記距離判定手段により音源までの距離が近距離と判定されたとき、前記生成された近距離用画像を少なくとも１以上の前記画像投影手段により投影させ、前記距離判定手段により音源までの距離が遠距離と判定されたとき、前記生成された遠距離用画像を少なくとも１以上の前記画像投影手段により投影させることを特徴とする請求項２記載の情報処理システム。
4. 前記画像生成手段は、少なくとも２以上の前記画像投影手段それぞれにより投影させる投影画像が少なくとも２以上の前記近距離用画像の合成画像となるように前記少なくとも２以上の前記近距離用画像を生成することを特徴とする請求項２又は３記載の情報処理システム。
5. 前記画像投影タイミング制御手段は、少なくとも前記方向判定手段により判定された音源の方向に対応して前記２以上の画像投影手段を切り替えることを特徴とする請求項１から４の何れか１項に記載の情報処理システム。
6. 前記２以上の画像投影手段は、それぞれの前記音検知手段により少なくとも１つの音源からの音が検知されるまでの時間の差に基づいて相対的位置を判断する相対位置判断手段を備えることを特徴とする請求項１から５の何れか１項に記載の情報処理システム。
7. ２以上の画像投影手段と、
   前記画像投影手段それぞれにおける周囲の音を検知する２以上の音検知手段と、
   前記音検知手段により検知された音に基づいて前記画像投影手段から該音の音源までの距離を判定する距離判定手段と、
   前記音検知手段により検知された音に基づいて該音の音源の方向を判定する方向判定手段と、
   前記距離判定手段により判定された音源までの距離及び前記方向判定手段により判定された音源の方向に基づいて前記画像投影手段により投影させる画像を生成する画像生成手段と、
   前記距離判定手段により判定された音源までの距離及び前記方向判定手段により判定された音源の方向に基づいて前記画像生成手段により生成された画像を前記画像投影手段により投影させるタイミングを制御する画像投影タイミング制御手段と、
   を備えることを特徴とする情報処理装置。
8. ２以上の画像投影手段と、
   前記画像投影手段それぞれにおける周囲の音を検知する２以上の音検知手段と、
   前記音検知手段により検知された音に基づいて前記画像投影手段から該音の音源までの距離を判定する距離判定手段と、
   前記音検知手段により検知された音に基づいて該音の音源の方向を判定する方向判定手段と、
   前記距離判定手段により判定された音源までの距離及び前記方向判定手段により判定された音源の方向に基づいて前記画像投影手段により投影させる画像を生成する画像生成手段と、
   前記距離判定手段により判定された音源までの距離及び前記方向判定手段により判定された音源の方向に基づいて前記画像生成手段により生成された画像を前記画像投影手段により投影させるタイミングを制御する画像投影タイミング制御手段と、
   を備えることを特徴とするプロジェクタ。
9. ２以上の画像投影手段それぞれにおける周囲の音を対応する２以上の音検知手段により検知する工程と、
   前記検知された音に基づいて前記画像投影手段から該音の音源までの距離を判定し、該判定された音源までの距離を記録部に記録する工程と、
   前記検知された音に基づいて該音の音源の方向を判定し、該判定された音源の方向を前記記録部に記録する工程と、
   前記記録された音源までの距離及び前記記録された音源の方向に基づいて投影させる画像を生成し前記記録部に記録する工程と、
   前記記録された音源までの距離及び前記記録された音源の方向に基づいて前記記録された画像を前記画像投影手段により投影させるタイミングを制御する工程と、
   を備えることを特徴とする情報処理方法。
10. ２以上の画像投影手段それぞれにおける周囲の音を検知するように対応する２以上の音検知手段を制御する処理と、
    前記検知された音に基づいて前記画像投影手段から該音の音源までの距離を判定し、該判定された音源までの距離を記録部に記録する処理と、
    前記検知された音に基づいて該音の音源の方向を判定し、該判定された音源の方向を前記記録部に記録する処理と、
    前記記録された音源までの距離及び前記記録された音源の方向に基づいて投影させる画像を生成し前記記録部に記録する処理と、
    前記記録された音源までの距離及び前記記録された音源の方向に基づいて前記記録された画像を前記画像投影手段により投影させるタイミングを制御する処理と、
    をコンピュータに実行させることを特徴とするプログラム。

Images