JP2013046151A - プロジェクタ、投影システム及び情報検索表示方法 - Google Patents

Abstract

【課題】表示中の画像から特定された部分に関連する検索結果を、状況に応じた位置に表示できるプロジェクタ、投影システム及び情報検索表示方法を提供することを課題とする。
【解決手段】プロジェクタ１１であって、画像を投影して表示する手段４１と、使用者に検索対象を指定させる手段４４〜４６と、使用者に検索結果の表示領域を前記画像上で指定させる手段４４〜４６と、検索対象の検索を行ったサーバから検索結果画像を受信し、検索結果画像を検索結果の表示領域に合成して表示する手段４３とを有することにより上記課題を解決する。
【選択図】図３

Description

本発明は、プロジェクタ、投影システム及び情報検索表示方法に関する。

会議等において、説明用の資料の画像をスクリーンに映し出しながら、説明者が説明することは従来から行われている。近年、会議等においては、コンピュータにプロジェクタを接続し、コンピュータが出力する説明用の資料の画像をプロジェクタに表示させることが行われている。

また、説明者が説明の途中で説明用の資料の画像中で強調したい文字等に、レーザーポインタ等を用いて、下線またはハッチング等を付して強調表示する技術は従来から知られている。一般的に、説明者が説明用の資料の画像中で強調表示する部分は重要な意味を示している場合が多い。しかしながら、説明を聞く者の中には、強調表示される部分の意味がわからない者がいる場合があった。

このような問題点を解決するための情報提供装置として、発表用データを表示するために出力する表示手段と、出力された発表用データの部分を特定する指示を受け付ける特定指示受付手段と、特定指示により特定された特定部分に関連する関連情報を検索する関連情報検索手段と、特定部分に関連する関連情報を抽出可能な送信用データに発表用データを変換する変換手段と、送信用データを送信する送信手段と、を備えた情報提供装置は従来から知られている（例えば特許文献１参照）。

しかしながら、上記した情報提供装置は、出力された発表用データの部分を特定する指示を受け付け、指示により特定された部分に関連する関連情報を検索することについて記載されているが、検索された関連情報をどのように表示するのか明らかでない。

例えば関連情報の表示位置を予め設定しておくのでは発表用データの作成者にとって手間である。また、関連情報の表示位置を固定に設定したのでは発表に必要な部分が関連情報によって隠れてしまう可能性がある。さらに、発表用データから余白を自動検知して関連情報の表示位置を設定したのでは余白が十分に無い場合に関連情報の表示が不十分になる可能性がある。このように、関連情報の表示位置は予め設定しておいたとしても、固定に設定しておいたとしても、余白を自動検知して設定したとしても、上記のような問題が生じてしまうという問題があった。

本発明は、上記の点に鑑みなされたもので、表示中の画像から特定された部分に関連する検索結果を、状況に応じた位置に表示可能なプロジェクタ、投影システム及び情報検索表示方法を提供することを目的とする。

上記課題を解決するため、本発明は、画像を投影して表示する手段と、使用者に検索対象を指定させる手段と、使用者に検索結果の表示領域を前記画像上で指定させる手段と、使用者に指定された前記検索対象の検索を行ったサーバから検索結果画像を受信し、前記検索結果画像を前記検索結果の表示領域に合成して表示する手段とを有することを特徴とすることを特徴とする。

なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。

本発明によれば、表示中の画像から特定された部分に関連する検索結果を、状況に応じた位置に表示可能なプロジェクタ、投影システム及び情報検索表示方法を提供できる。

本実施形態に係る投影システムの一例の構成図である。 本実施形態に係るプロジェクタの一例のハードウェア構成図である。 本実施形態に係るプロジェクタの一例の機能構成図である。 ＰＣの一例のハードウェア構成図である。 本実施形態に係る文書サーバの一例の機能構成図である。 スクリーンに投影される画像の一例のイメージ図である。 スクリーンに投影される画像の一例のイメージ図である。 スクリーンに投影される画像の一例のイメージ図である。 スクリーンに投影される画像の一例のイメージ図である。 プロジェクタの処理手順の一例を示すフローチャートである。 文書サーバの処理手順の一例を示すフローチャートである。 結果表示領域のサイズ対して適切な情報量で構成される検索結果画像の一例のイメージ図である。 検索結果画像を生成する処理手順の一例を示すフローチャート（１／２）である。 検索結果画像を生成する処理手順の一例を示すフローチャート（２／２）である。 本実施形態に係るプロジェクタの他の例のハードウェア構成図である。 本実施形態に係るプロジェクタの他の例の機能構成図である。 本実施形態に係る文書サーバの他の例の機能構成図である。 スクリーンに投影される画像の他の例のイメージ図である。 プロジェクタの処理手順の他の例を示すフローチャートである。 文書サーバの処理手順の他の例を示すフローチャートである。 本実施形態に係るプロジェクタの他の例の機能構成図である。 本実施形態に係る文書サーバの他の例の機能構成図である。 スクリーンに投影される画像の他の例のイメージ図である。 プロジェクタの処理手順の他の例を示すフローチャートである。 文書サーバの処理手順の他の例を示すフローチャートである。 本実施形態に係る文書サーバの他の例の機能構成図である。 スクリーンに投影される画像の他の例のイメージ図である。 プロジェクタの処理手順の他の例を示すフローチャートである。 文書サーバの処理手順の他の例を示すフローチャートである。

以下、本発明の実施の形態について、詳細に説明する。

図１は、本実施形態に係る投影システムの一例の構成図である。投影システム１は文書サーバ１０、プロジェクタ１１Ａ及び１１Ｂ、ネットワーク１２及び１３を有する構成である。なお、プロジェクタ１１Ａ及び１１Ｂの何れでもよい場合は単にプロジェクタ１１と呼ぶ。図１の投影システム１は文書サーバ１０が一台、プロジェクタ１１が二台の例を表している。

文書サーバ１０はインターネット等のネットワーク１２と接続されている。また、文書サーバ１０はＬＡＮやＷＡＮ等のネットワーク１３と接続されている。ネットワーク１３は有線／無線の何れで接続されていてもよい。文書サーバ１０はネットワーク１３を介してプロジェクタ１１と接続されている。文書サーバ１０は会議等で使用される発表資料の画像のファイルが保存されている。プロジェクタ１１は文書サーバ１０から発表資料の画像のファイルを取得してスクリーン上に投影する。

なお、会議等で使用される発表資料の画像のファイルは一例であって、プロジェッタ１１によってスクリーンに投影可能な如何なる画像のファイルであってもよい。また、図１の投影システム１は文書サーバ１０とプロジェッタ１１とが別の構成となっているが一体の構成としてもよい。

図２は本実施形態に係るプロジェクタの一例のハードウェア構成図である。プロジェクタ１１は、バス２０で相互に接続されているＲＡＭ２１、ＣＰＵ２２、フラッシュメモリ２３、通信Ｉ／Ｆ２４、ＥＥＰＲＯＭ２５、操作部２６、カメラ制御部２７、映像入力部２８、映像出力部２９、ランプ３０を有する構成である。

ＲＡＭ２１、ＣＰＵ２２、フラッシュメモリ２３、ＥＥＰＲＯＭ２５、操作部２６、映像入力部２８、映像出力部２９、ランプ３０は、基本的な投影機能を実現する部分の一例である。通信Ｉ／Ｆ２４は文書サーバ１０との連携に利用される。また、カメラ制御部２７はカメラ３１と接続されている。

カメラ制御部２７はカメラ３１の制御を行う。カメラ３１はカメラ制御部２７の制御によりスクリーンに投影された発表資料の画像、発表者等を撮影する。カメラ３１によって撮影された映像はカメラ制御部２７を介して例えばＲＡＭ２１に記憶される。カメラ３１によって撮影された映像は、後述のように、発表者のジェスチャを認識するために利用される。カメラ３１はプロジェクタ１１に内蔵されていてもよい。

操作部２６は発表者等からの操作を受け付ける。通信Ｉ／Ｆ２４は例えばＬＡＮカードである。通信Ｉ／Ｆ２４はネットワーク１３に接続するために用いられる。映像入力部２８は映像の入力を受け付ける。映像出力部２９は映像の出力を行う。映像出力部２９は例えば液晶プロジェクタの場合、液晶表示装置である。ランプ３０は光を発する。ランプ３０の発する光は映像出力部２９を透過し、レンズ（図示せず）を介してスクリーンに投影される。スクリーンには映像出力部２９に表示された画像が拡大されて表示される。

フラッシュメモリ２３、ＥＥＰＲＯＭ２５はプログラム、必要なファイル、データ等を格納する。ＲＡＭ２１はプロジェクタ１１の起動時にフラッシュメモリ２３、ＥＥＰＲＯＭ２５からプログラムを読み出して格納する。ＣＰＵ２２はＲＡＭ２１に格納されたプログラムに従って各種機能を実現する。

図３は本実施形態に係るプロジェクタの一例の機能構成図である。プロジェクタ１１は映像出力機能部４１、ネットワーク制御機能部４２、画像合成機能部４３、座標検出機能部４４、ジェスチャ認識機能部４５、カメラ制御機能部４６を有する構成である。図３のプロジェクタ１１は本実施形態に直接関係しない機能部（ランプ制御機能部、電力制御機能部、操作パネル制御機能部、データ記憶制御機能部など）を省略している。

映像出力機能部４１は映像出力部２９を制御して映像の出力を行わせる。ネットワーク制御機能部４２は通信Ｉ／Ｆ２４を制御して文書サーバ１０との連携を行う。画像合成機能部４３は文書サーバ１０から送られてきた後述の検索結果画像を発表資料の画像に合成する。

座標検出機能部４４は、発表資料の画像がスクリーンに投影されているときに、発表者が行った後述のようなジェスチャにより、発表者によって指定された発表資料の画像上の位置（座標）を検出する。ジェスチャ認識機能部４５はカメラ３１が撮影した映像から発表者のジェスチャを認識する。カメラ制御機能部４６はカメラ３１を制御してスクリーンに投影されている発表資料の画像、発表者等を撮影する。

なお、撮影した映像を解析し、発表者がレーザーポインタ等でスクリーンを指示した位置を検出する技術は特許文献１等に記載されるように周知である。例えばジェスチャ認識機能部４５はカメラ３１が撮影した映像から発表者がレーザーポインタ等でスクリーンを指示した位置の軌跡（例えば円など）に基づき、発表者のジェスチャを認識できる。

また、例えばジェスチャ認識機能部４５はカメラ３１が撮影した映像から発表者の体の動き（例えば手を回すなど）に基づき、発表者のジェスチャを認識できる。プロジェクタ１１は発表者のジェスチャを認識することにより、ジェスチャと対応付けられた発表者からの指示を受け付ける。

図４はＰＣの一例のハードウェア構成図である。文書サーバ１０は、例えば図４に示すようなハードウェア構成のＰＣ５０により実現される。ＰＣ５０はバス５９で相互に接続されている入力装置５１、出力装置５２、記録媒体読取装置５３、補助記憶装置５４、主記憶装置５５、ＣＰＵ５６及び通信Ｉ／Ｆ５７を有する構成である。

入力装置５１はキーボードやマウス等である。入力装置５１は各種信号を入力するために用いられる。出力装置５２はディスプレイ装置等である。出力装置５２は各種ウインドウやデータ等を表示するために用いられる。通信Ｉ／Ｆ５７は、モデム、ＬＡＮカード等である。通信Ｉ／Ｆ５７はネットワーク１２、１３に接続するために用いられる。

文書サーバ１０を実現するプログラムは、例えば記録媒体５８の配布やネットワーク１２、１３等からのダウンロードなどによって提供される。

記録媒体５８はＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

プログラムを記録した記録媒体５８が記録媒体読取装置５３にセットされると、プログラムは記録媒体５８から記録媒体読取装置５３を介して補助記憶装置５４にインストールされる。ネットワーク１２、１３等からダウンロードされたプログラムは通信Ｉ／Ｆ５７を介して補助記憶装置５４にインストールされる。

補助記憶装置５４はプログラム、必要なファイル、データ等を格納する。主記憶装置５５はプログラムの起動時に補助記憶装置５４からプログラムを読み出して格納する。ＣＰＵ５６は主記憶装置５５に格納されたプログラムに従って各種機能を実現する。

図５は本実施形態に係る文書サーバの一例の機能構成図である。文書サーバ１０は文書管理機能部６１、ネットワーク制御機能部６２、画像生成機能部６３、単語抽出機能部６４、関連情報検索機能部６５を有する構成である。文書管理機能部６１は会議等で使用される発表資料の画像のファイルを管理する。

ネットワーク制御機能部６２は通信Ｉ／Ｆ５７を制御してプロジェクタ１１との連携を行う。ネットワーク制御機能部６２はプロジェクタ１１から特定位置情報や結果表示領域情報を受信する。特定位置情報は発表者によって指定された位置（座標）を表す。結果表示領域情報は発表者によって指定された結果表示領域のサイズを表す。

単語抽出機能部６４は、文書管理機能部６１が管理している発表資料の画像のファイルとプロジェクタ１１から受信した特定位置情報とに基づき、後述のようにキーワードとなる単語を抽出する。関連情報検索機能部６５はキーワードとなる単語によりＷｅｂや指定データベース等から関連情報を検索する。画像生成機能部６３は検索した関連情報（検索結果）をプロジェクタ１１から送られてきた結果表示領域のサイズに収まるように検索結果画像を生成する。検索結果画像はプロジェクタ１１に送信される。

図６〜図９はスクリーンに投影される画像の一例のイメージ図である。図６の画像７１はプロジェクタ１１が文書サーバ１０から取得した発表資料の画像をスクリーン上に投影した様子を表している。

図７の画像７２は発表者７４が行ったジェスチャにより、スクリーン上に投影されている発表資料の画像の一部として「クラウド」という単語の表示位置７３が検出され、選択された検索対象としてハイライト表示されている。

図８の画像７５は発表者７４が行ったジェスチャにより、検索結果画像を表示したい結果表示領域７６の位置及びサイズが指定され、表示されている。結果表示領域７６は例えば検索結果画面をポップアップ表示したい位置及びサイズを表している。

図８の画像７５が表示されたあと、文書サーバ１０は発表資料の画像のファイルとプロジェクタ１１から受信した特定位置情報とに基づき、後述のようにキーワードとなる単語を抽出する。また、文書サーバ１０は、キーワードとなる単語によりＷｅｂや指定データベース等から関連情報を検索する。文書サーバ１０はプロジェクタ１１から受信した結果表示領域情報に基づき、適切な情報量の検索結果画像を生成する。

ここで、適切な情報量とは、例えば結果表示領域のサイズが小さい場合、単語の概要の説明文等であり、結果表示領域のサイズが大きい場合、単語の詳細な説明文、単語に関する写真、動画等である。なお、文書サーバ１０は検索結果画像の生成時、発表資料の画像のフォント設定（フォント色、サイズ、明朝体やゴシック体などの書式など）や背景色などに応じて、発表の聴衆者にとって、より見やすい形式で検索結果画像を生成するようにしてもよい。生成された検索結果画像はプロジェクタ１１に転送される。

プロジェクタ１１は文書サーバ１０から転送された検索結果画像７８を、図９に示すように、発表資料の画像７７の発表者が指定した結果表示領域に合成し、スクリーン上に投影する。なお、プロジェクタ１１は発表者７４が行ったジェスチャにより、検索結果画像７８の表示位置を移動することもできる。

図１０はプロジェクタの処理手順の一例を示すフローチャートである。ステップＳ１において、ジェスチャ認識機能部４５はカメラ３１が撮影した映像を監視する。ステップＳ２において、ジェスチャ認識機能部４５はカメラ３１が撮影した映像から発表者の特定のジェスチャを認識する。

ステップＳ３において、キーワード指定のジェスチャであると認識すると、座標検出機能部４４は、ジェスチャにより発表者によって指定された発表資料の画像上の位置（選択範囲）を検出する。ステップＳ４に進み、画像合成機能部４３は選択範囲をハイライト表示するように発表資料の画像を合成する。

ステップＳ５において、結果表示領域指定のジェスチャであると認識すると、ステップＳ６に進み、ジェスチャ認識機能部４５は、すでにキーワード指定されているか否かを判定する。すでにキーワード指定されていれば、ネットワーク制御機能部４２はステップＳ７に進み、発表者によって指定された発表資料の画像上の位置（選択範囲）を特定位置情報として送信すると共に、発表者によって指定された結果表示領域のサイズを結果表示領域情報として文書サーバ１０に送信する。

ステップＳ８において、ネットワーク制御機能部４２は文書サーバ１０から検索結果画像を受信する。ステップＳ９において、画像合成機能部４３は文書サーバ１０から送られてきた検索結果画像を発表資料の画像の結果表示領域に合成する。映像出力機能部４１は検索結果画像を合成した発表資料の画像の表示を行う。

ステップＳ６において、キーワード指定されていなければ、ネットワーク制御機能部４２はステップＳ７〜Ｓ９の処理を行わない。また、文書サーバ１０は特定位置情報が示す発表資料の画像上の位置（選択範囲）からキーワードとなる単語を検出できなければ、検索する対象が不明なため、関連情報の検索を行わない。

また、ステップＳ１０において、検索結果画像の表示位置移動のジェスチャであると認識すると、画像合成機能部４３はステップＳ１１に進み、文書サーバ１０から送られてきた検索結果画像を発表資料の画像に再合成することで、検索結果画像の表示位置を発表者が指定した場所に移動させる。なお、ステップＳ１０において、検索結果画像の表示位置移動のジェスチャであると認識しなければ、画像合成機能部４３はステップＳ１１の処理を行わない。

図１０のフローチャートに示すように、プロジェクタ１１はカメラ３１が撮影した映像から発表者のジェスチャを認識し、ジェスチャと対応付けられた発表者からのキーワード指定、結果表示領域指定、検索結果画像の表示位置移動などの指示を受け付けることができる。

図１１は文書サーバの処理手順の一例を示すフローチャートである。ステップＳ２１において、ネットワーク制御機能部６２はプロジェクタ１１から特定位置情報及び結果表示領域情報を受信する。ステップＳ２２において、単語抽出機能部６４は、文書管理機能部６１が管理している発表資料（発表中文書）の画像のファイルとプロジェクタ１１から受信した特定位置情報とに基づき、キーワードとなる単語を抽出する。

ステップＳ２３において、関連情報検索機能部６５はキーワードとなる単語により関連情報を検索する。検索はＷｅｂや指定データベースなどを対象とする。具体的な検索方法や検索先の決定方法などは本実施形態の特徴でないため、説明を省略する。

ステップＳ２４において、関連情報検索機能部６５は検索した関連情報（検索結果）を受信する。ステップＳ２５において、画像生成機能部６３は検索結果をプロジェクタ１１から送られてきた結果表示領域のサイズに収まるように適切な情報量に加工した検索結果画像を生成する。なお、ステップＳ２５の処理の詳細は、後述する。ステップＳ２６において、ネットワーク制御機能部６２は、生成した検索結果画像をプロジェクタ１１に送信する。

図１１のフローチャートに示すように、文書サーバ１０は文書管理機能部６１が管理している発表資料（発表中文書）の画像のファイルとプロジェクタ１１から受信した発表者によって指定された位置とに基づき、発表者がスクリーン上で選択した単語を抽出することができる。結果、文書サーバ１０は発表者がスクリーン上で選択した単語をキーワードとして検索した関連情報から検索結果画像を生成して、プロジェクタ１１に送信することができる。

図１２は、結果表示領域のサイズ対して適切な情報量で構成される検索結果画像の一例のイメージ図である。図１２（Ａ）は結果表示領域のサイズが小さい場合の検索結果画像である。図１２（Ａ）に示すように、結果表示領域のサイズが小さい場合の検索結果画像は例えば文字（説明文）によるキーワードの概要を表示する。

図１２（Ｂ）及び図１２（Ｃ）は結果表示領域のサイズが大きい場合の検索結果画像である。結果表示領域のサイズが大きい場合の検索結果画像は例えば図１２（Ｂ）に示すような文字（説明文）によるキーワードの詳細や、図１２（Ｃ）に示すようなキーワードに関する写真、映像などを表示する。

検索結果画像に文字を表示する場合は、指定データベース内の各情報に、概要や詳細説明といったカテゴリを予め設定しておいてもよい。また、概要や詳細説明といったカテゴリの設定が無くとも、検索結果画像に文字を表示する場合は、指定データベース内の各情報を、文節の区切りや文字数で切ってもよい。

画像生成機能部６３は、検索結果をプロジェクタ１１から送られてきた結果表示領域のサイズに収まるように適切な情報量に加工した検索結果画像を図１３及び図１４に示す手順で生成する。

図１３及び図１４は、検索結果画像を生成する処理手順の一例を示すフローチャートである。図１３及び図１４が示す処理は図１１のステップＳ２５の処理に対応する。

ステップＳ３１では画像生成機能部６３がフォント設定の設定値を参照する。ここで言うフォント設定とは、例えば検索結果画像の文字に反映させるフォント色、サイズ、明朝体やゴシック体などの書式である。フォント設定の設定値は自動又は手動の何れかに設定できる。

フォント設定の設定値に「自動」が設定されていると、画像生成機能部６３はステップＳ３２において、検索結果画像を表示するスライドやページである発表資料の画像（発表用データ）のフォント設定や背景色、並びに、結果表示領域のサイズ、関連情報に基づいてフォント設定を自動で決定する。例えば画像生成機能部６３はフォントのサイズや書式を発表資料の画像と統一する。また、例えば関連情報の情報量が多い場合、画像生成機能部６３はフォントのサイズを１つ小さくする。なお、自動で決定する内容は発表者などが細かく設定できるようにしてもよい。

フォント設定の設定値に「手動」が設定されていると、画像生成機能部６３はステップＳ３３に進み、発表者などが事前に登録しておいたフォント設定を補助記憶装置５４などの不揮発性の記憶装置から読み込む。なお、フォント設定は事前に複数登録できるようにしてもよい。

ステップＳ３４において、画像生成機能部６３は検索結果画像の構成設定の設定値を参照する。ここで言う検索結果画像の構成設定とは、例えば検索結果画像を文字で構成するのか、写真で構成するのか、文字と写真とで構成するのか、等の設定である。検索結果画像の構成設定の設定値は自動又は手動の何れかに設定できる。なお、検索結果画像の構成は文字、写真に限定するものではなく、映像、音声の再生ボタン、Ｗｅｂページへのリンクなどで構成してもよい。本実施の形態では一例として文字、写真で構成される検索結果画像を示している。

検索結果画像の構成設定の設定値に「自動」が設定されていると、画像生成機能部６３はステップＳ３５において、検索結果に写真があるかを判定する。画像生成機能部６３は検索結果に写真が無ければステップＳ３６に進み、検索結果画像の構成設定を文字による構成に決定する。

画像生成機能部６３は検索結果に写真が有ればステップＳ３７に進み、検索結果に文字が有るかを判定する。画像生成機能部６３は検索結果に文字が無ければステップＳ３８に進み、検索結果画像の構成設定を写真による構成に決定する。画像生成機能部６３は検索結果に文字が有ればステップＳ３９に進み、検索結果画像の構成設定を文字及び写真による構成に決定する。

検索結果画像の構成設定の設定値に「手動」が設定されていると、画像生成機能部６３はステップＳ４０において、発表者などが事前に登録しておいた検索結果画像の構成設定を補助記憶装置５４などの不揮発性の記憶装置から読み込む。なお、検索結果画像の構成設定は事前に複数登録できるようにしてもよい。

ステップＳ３６、Ｓ３８〜Ｓ４０に続いてステップＳ４１に進み、画像生成機能部６３は決定もしくは読み込んだ検索結果画像の構成設定を確認する。決定もしくは読み込んだ検索結果画像の構成設定が文字、写真などの単一の情報で構成される場合、画像生成機能部６３は結果表示領域全体に文字、写真などの単一の情報を配置する。

決定もしくは読み込んだ検索結果画像の構成設定が文字及び写真などの複数の情報で構成される場合、画像生成機能部６３はステップＳ４２に進み、結果表示領域における文字及び写真などの複数の情報のレイアウト（配置場所、サイズ）を決定して配置する。

結果表示領域における文字及び写真などの複数の情報のレイアウトの決定方法は、例えばサイズの場合、情報の数（例えば文字と写真であれば２つ）によって等分割する、写真を配置する場所のサイズと文字を配置する場所のサイズを２：１に分割する、などが考えられる。また、例えば配置場所の場合、結果表示領域における文字及び写真などの複数の情報のレイアウトの決定方法は、左に文字、右に写真を配置する、上部に写真、下部に文字を配置する、などが考えられる。なお、結果表示領域における文字及び写真などの複数の情報のレイアウトの決定方法は発表者などが細かく設定できるようにしてもよい。

ステップＳ４３に進み、画像生成機能部６３は決定もしくは読み込んだ検索結果画像の構成設定に文字があるかを判定する。決定もしくは読み込んだ検索結果画像の構成設定に文字があれば、画像生成機能部６３はステップＳ４４に進み、ステップＳ３２で決定又はステップＳ３３で読み込んだフォント設定と、ステップＳ４２で決定した結果表示領域における文字及び写真などの複数の情報のレイアウトにより、文字数（総文字数や１行あたりの文字数）、行数、行間等を決定する。

ステップＳ４５に進み、画像生成機能部６３は決定した文字数などに収まるように検索結果の文字を調整する。ここで言う調整とは、例えば検索結果の文字の文字数がステップＳ４４で決定した総文字数より多い場合、収まるだけの文節で区切ったり、文節の途中であっても文字数で区切ったりする処理である。なお、調整の内容は発表者などが設定できるようにしてもよい。また、ステップＳ４３において、決定もしくは読み込んだ検索結果画像の構成設定に文字が無ければ、画像生成機能部６３はステップＳ４４、Ｓ４５の処理を行わない。

ステップＳ４６に進み、画像生成機能部６３は決定もしくは読み込んだ検索結果画像の構成設定に写真があるかを判定する。決定もしくは読み込んだ検索結果画像の構成設定に写真があれば、画像生成機能部６３はステップＳ４７に進み、決定した結果表示領域における写真のレイアウトにより、写真を拡大縮小する。なお、決定もしくは読み込んだ検索結果画像の構成設定に写真がなければ、画像生成機能部６３はステップＳ４７の処理を行わない。

そして、ステップＳ４８に進み、画像生成機能部６３はステップＳ３１〜Ｓ４７の結果に基づき、検索結果画像を生成する。なお、本実施形態では検索結果画像と表現しているがスクロールできるようにしたり、ページ送りできるようにしたりしてもよく、静止画像に限定するものではない。

以上、本実施形態に係る投影システム１によれば、発表者のジェスチャにより発表資料の画像から検索対象とする単語をキーワードとして指定し、その単語をキーワードとして検索した結果を、発表資料の画像上の発表者が指定した結果表示領域に合成して表示することができる。

実施例１は発表者がジェスチャをすることにより発表資料の画像から検索対象とする単語をキーワードとして指定するものである。実施例２は発表者の音声で検索対象とする単語をキーワードとして指定するものである。なお、実施例２は一部を除いて実施例１と同様である。そこで、実施例１と同一部分については適宜説明を省略する。

投影システム１の構成は図１と同様であるため、説明を省略する。図１５は本実施形態に係るプロジェクタの他の例のハードウェア構成図である。図１５のプロジェクタ１１は図２のハードウェア構成に加えて、音声入力部１０１と音声出力部１０２とを有する構成である。

音声入力部１０１は発表者の発言（声）を音声データとして収集する。音声入力部１０１は例えばマイクである。音声入力部１０１は、プロジェクタ１１に内蔵されていてもよいし、プロジェクタ１１に外付けされていてもよい。音声出力部１０２は音声データを出力する。音声出力部１０２は例えばスピーカである。音声出力部１０２はプロジェクタ１１に内蔵されていてもよいし、プロジェクタ１１に外付けされていてもよい。

図１６は、本実施形態に係るプロジェクタの他の例の機能構成図である。図１６のプロジェクタ１１は図３の機能構成に加えて、音声出力機能部１１１と音声入力機能部１１２とを有する構成である。音声出力機能部１１１は音声出力部１０２を制御して音声データの出力を行わせる。音声入力機能部１１２は音声入力部１０１を制御して発表者の発言を音声データとして収集させる。

文書サーバ１０のハードウェア構成は図４と同様であるため、説明を省略する。図１７は本実施形態に係る文書サーバの他の例の機能構成図である。図１７の文書サーバ１０は図５の機能構成に加えて、音声認識機能部１２１を有する構成である。音声認識機能部１２１は音声データをテキストデータに変換する。

ネットワーク制御機能部６２はプロジェクタ１１から音声データや結果表示領域情報を受信する。音声データは、プロジェクタ１１で収集された発表者の発言を録音したものである。音声認識機能部１２１はネットワーク制御機能部６２がプロジェクタ１１から受信した音声データをテキストデータに変換する。

関連情報検索機能部６５は、音声認識機能部１２１が音声データから変換したテキストデータをキーワードとしてＷｅｂや指定データベース等から関連情報を検索する。画像生成機能部６３は検索した関連情報（検索結果）をプロジェクタ１１から送られてきた結果表示領域のサイズに収まるように検索結果画像を生成する。検索結果画像はプロジェクタ１１に送信される。

図１８はスクリーンに投影される画像の他の例のイメージ図である。まず、プロジェクタ１１は文書サーバ１０から取得した発表資料の画像７１を図６に示すようにスクリーン上に投影する。その後、発表者は「音声によるキーワード入力開始」を示すジェスチャを行ったあと、図１８に示すように、検索対象としたいキーワードとして「クラウド」と発言する。検索対象としたいキーワードの発言後、発表者は「音声によるキーワード入力終了」を示すジェスチャを行う。なお、発表者７４はジェスチャにより、検索結果画像を表示したい結果表示領域７６の位置及びサイズを指定する。

発表者が「音声によるキーワード入力開始」を示すジェスチャを行ってから「音声によるキーワード入力終了」を示すジェスチャを行うまでの間、音声入力部１０１は発表者の発言の音声データを収集する。収集された発表者の発言の音声データはプロジェクタ１１から文書サーバ１０に送信される。

音声認識機能部１２１はプロジェクタ１１から受信した音声データをテキストデータに変換する。関連情報検索機能部６５は音声認識機能部１２１が音声データから変換したテキストデータをキーワードとして抽出する。キーワードを抽出したあとの処理は実施例１と同様であるため、説明を省略する。

図１９はプロジェクタの処理手順の他の例を示すフローチャートである。なお、図１９のフローチャートでは図１０のフローチャートに示した結果表示領域指定のジェスチャであると認識したときの処理（Ｓ５〜Ｓ９）と検索結果画像の表示位置移動のジェスチャであると認識したときの処理（Ｓ１０〜Ｓ１１）とを省略している。

ステップＳ５１において、ジェスチャ認識機能部４５はカメラ３１が撮影した映像を監視する。ステップＳ５２において、ジェスチャ認識機能部４５はカメラ３１が撮影した映像から発表者の特定のジェスチャを認識する。

ステップＳ５３において、音声によるキーワード入力開始のジェスチャであると認識すると、音声入力機能部１１２はステップＳ５４に進み、音声入力部１０１を制御して発表者の発言の音声入力を開始する。

ステップＳ５５において、音声によるキーワード入力終了のジェスチャであると認識すると、音声入力機能部１１２はステップＳ５６に進み、すでに音声入力が開始されているか否かを判定する。既に音声入力が開始されていれば、音声入力機能部１１２はステップＳ５７に進み、音声入力部１０１を制御して発表者の発言の音声入力を終了する。

ステップＳ５８に進み、ネットワーク制御機能部４２は音声によるキーワード入力開始を示すジェスチャを行ってから音声によるキーワード入力終了を示すジェスチャを行うまでの間、収集した発表者の発言の音声データを文書サーバ１０に転送する。

ステップＳ５６において、すでに音声入力が開始されていなければ、音声入力機能部１１２はステップＳ５７の処理を行わない。また、ステップＳ５６において、すでに音声入力が開始されていなければ、ネットワーク制御機能部４２はステップＳ５８の処理を行わない。なお、ステップＳ５５において、音声によるキーワード入力終了のジェスチャであると認識しなければ、ステップＳ５６〜Ｓ５８の処理は行われない。

図１９のフローチャートに示すように、プロジェクタ１１はカメラ３１が撮影した映像から発表者のジェスチャを認識し、ジェスチャと対応付けられた発表者からの音声によるキーワード入力開始、音声によるキーワード入力終了、結果表示領域指定、検索結果画像の表示位置移動などの指示を受け付けることができる。

図２０は文書サーバの処理手順の他の例を示すフローチャートである。ステップＳ６１において、ネットワーク制御機能部６２はプロジェクタ１１が収集した発表者の発言の音声データを受信する。ステップＳ６２において、音声認識機能部１２１はプロジェクタ１１から受信した音声データを音声認識によりテキストデータに変換し、キーワードとして抽出する。なお、キーワードを抽出したあとのステップＳ６３〜Ｓ６６の処理は図１１のステップＳ２３〜Ｓ２６と同様であるため、説明を省略する。

図２０のフローチャートに示すように、文書サーバ１０はプロジェクタ１１から受信した発表者の発言の音声データを音声認識することで、発表者が発言したキーワードを抽出することができる。結果、文書サーバ１０は発表者が発言したキーワードにより検索した関連情報から検索結果画像を生成して、プロジェクタ１１に送信することができる。

以上、本実施形態に係る投影システム１によれば、発表者の音声で検索対象とする単語をキーワードとして指定し、その単語をキーワードとして検索した結果を、発表資料の画像上の発表者が指定した結果表示領域に合成して表示することができる。

実施例２は発表者の発言を録音した音声データの音声認識を文書サーバ１０で行うものである。実施例３は発表者の発言を録音した音声データの音声認識をプロジェクタ１１で行うものである。実施例３ではプロジェクタ１１から文書サーバ１０に送信するデータがデータサイズの大きい音声データからデータサイズの小さいテキストデータへと変化するため、レスポンスの向上が期待できる。また、音声によるキーワード入力開始及び音声によるキーワード入力終了を音声で指示できるため、音声によるキーワード入力開始及び音声によるキーワード入力終了のジェスチャを覚えなくてもよい。なお、実施例３は一部を除いて実施例１又は２と同様である。そこで、実施例１又は２と同一部分については適宜説明を省略する。

投影システム１の構成は図１と同様であるため、説明を省略する。また、プロジェクタ１１のハードウェア構成は図１５と同様であるため、説明を省略する。図２１は、本実施形態に係るプロジェクタの他の例の機能構成図である。図２１のプロジェクタ１１は図１６の機能構成に加えて、音声認識機能部２０１を有する構成である。音声認識機能部２０１は、音声入力機能部１１２が音声入力部１０１を制御して収集した発表者の発言の音声データをテキストデータに変換する。

文書サーバ１０のハードウェア構成は図４と同様であるため、説明を省略する。図２２は本実施形態に係る文書サーバの他の例の機能構成図である。図２２の文書サーバ１０は図１７の文書サーバ１０の機能構成から単語抽出機能部６４及び音声認識機能部１２１を削除した構成である。

ネットワーク制御機能部６２はプロジェクタ１１からキーワードや結果表示領域情報を受信する。キーワードは、発表者の発言の音声データを音声認識により変換したテキストデータである。関連情報検索機能部６５は、プロジェクタ１１から受信したキーワードでＷｅｂや指定データベース等から関連情報を検索する。画像生成機能部６３は検索した関連情報（検索結果）をプロジェクタ１１から送られてきた結果表示領域のサイズに収まるように検索結果画像を生成する。検索結果画像はプロジェクタ１１に送信される。

図２３はスクリーンに投影される画像の他の例のイメージ図である。まず、プロジェクタ１１は、文書サーバ１０から取得した発表資料の画像２１１を図２３に示すようにスクリーン上に投影する。

発表者は「音声によるキーワード入力開始」を示す文言の一例として「情報検索」を発言した後、検索したいキーワードの一例として「クラウド」を発言する。その後、発表者は「音声によるキーワード入力終了」を示す文言の一例としての「検索開始」を発言している。なお、発表者７４はジェスチャにより、検索結果画像を表示したい結果表示領域の位置及びサイズを指定する。

発表者の発言は、常時、プロジェクタ１１へ入力されている。音声認識機能部２０１は発表者の発言の音声データをテキストデータに変換する。ネットワーク制御機能部４２は変換されたテキストデータから「音声によるキーワード入力開始」を示す文言及び「音声によるキーワード入力終了」を示す文言を検知する。

ネットワーク制御機能部４２は「音声によるキーワード入力開始」を示す文言を検知してから「音声によるキーワード入力終了」を示す文言を検知するまでの間、変換されたテキストデータをキーワードとして文書サーバ１０に送信する。関連情報検索機能部６５はプロジェクタ１１から受信したキーワードを抽出する。キーワードを抽出したあとの処理は実施例１又は２と同様であり、説明を省略する。

図２４はプロジェクタの処理手順の他の例を示すフローチャートである。なお、図２４のフローチャートでは図１０のフローチャートに示した結果表示領域指定のジェスチャであると認識したときの処理（Ｓ５〜Ｓ９）と検索結果画像の表示位置移動のジェスチャであると認識したときの処理（Ｓ１０〜Ｓ１１）とを省略している。

ステップＳ７１において、音声認識機能部２０１は発表者の発言の音声データを音声認識によりテキストデータに変換する。ステップＳ７２において、ネットワーク制御機能部４２は「音声によるキーワード入力開始」を示す文言を検知すると、ステップＳ７３の処理に進み、ステップＳ７４で「音声によるキーワード入力終了」を示す文言を検知するまでテキストデータをキーワードとして記憶する。

ステップＳ７４で「音声によるキーワード入力終了」を示す文言を検知すると、ネットワーク制御機能部４２はステップＳ７５に進み、ステップＳ７３で記憶したキーワードを文書サーバ１０に転送する。

図２４のフローチャートに示すように、プロジェクタ１１は発表者の発言を録音した音声データから音声によるキーワード入力開始、音声によるキーワード入力終了などの指示を受け付けることができる。

図２５は、文書サーバの処理手順の他の例を示すフローチャートである。ステップＳ８１において、ネットワーク制御機能部６２はプロジェクタ１１からキーワードのテキストデータを受信する。なお、キーワードを受信したあとのステップＳ８２〜Ｓ８５の処理は図２０のステップＳ６３〜Ｓ６６と同様であるため、説明を省略する。

図２５のフローチャートに示すように、文書サーバ１０はキーワードをプロジェクタ１１から受信できる。結果、文書サーバ１０は発表者が発言したキーワードにより検索した関連情報から検索結果画像を生成して、プロジェクタ１１に送信することができる。

以上、本実施形態に係る投影システム１によれば、発表者の音声で検索対象とする単語をキーワードとして指定し、その単語をキーワードとして検索した結果を、発表資料の画像上の発表者が指定した結果表示領域に合成して表示することができる。

実施例１は発表者がジェスチャをすることにより発表資料の画像から検索対象とする単語をキーワードとして指定するものである。実施例２及び３は発表者の音声で検索対象とする単語をキーワードとして指定するものである。

実施例４は発表者が発表の際に使用している物をカメラ３１で撮影して検索対象とする単語をキーワードあるいはパターン画像として指定するものである。なお、実施例４は一部を除いて実施例１〜３と同様である。そこで、実施例１〜３と同一部分については適宜説明を省略する。

投影システム１の構成は図１と同様であるため、説明を省略する。また、プロジェクタ１１のハードウェア構成は図２と同様であるため、説明を省略する。さらに、プロジェクタ１１の機能構成は図３と同様であるため、説明を省略する。

文書サーバ１０のハードウェア構成は図４と同様であるため、説明を省略する。図２６は本実施形態に係る文書サーバの他の例の機能構成図である。図２６の文書サーバ１０は図５の機能構成に加えて、画像認識機能部２２１を有し、図５の単語抽出機能部６４に替えて単語・パターン画像抽出機能部２２２を有する構成である。画像認識機能部２２１は写真データをテキストデータあるいはパターンデータに変換する。

ネットワーク制御機能部６２はプロジェクタ１１から写真データや結果表示領域情報を受信する。写真データは、発表者が発表の際に使用している物をプロジェクタ１１のカメラ３１で撮影したものである。画像認識機能部２２１はネットワーク制御機能部６２がプロジェクタ１１から受信した写真データをテキストデータあるいはパターンデータに変換する。単語・パターン画像抽出機能部２２２は画像認識機能部２２１が写真データから変換したテキストデータあるいはパターンデータをキーワードあるいはパターン画像として抽出する。

関連情報検索機能部６５は、画像認識機能部２２１が写真データから変換したテキストデータあるいはパターンデータを、キーワードあるいはパターン画像としてＷｅｂや指定データベース等から関連情報を検索する。画像生成機能部６３は検索した関連情報（検索結果）をプロジェクタ１１から送られてきた結果表示領域のサイズに収まるように検索結果画像を生成する。検索結果画像はプロジェクタ１１に送信される。

図２７はスクリーンに投影される画像の他の例のイメージ図である。まず、プロジェクタ１１は、文書サーバ１０から取得した発表資料の画像２３１を図２７に示すようにスクリーン上に投影する。その後、発表者は「写真によるキーワードあるいはパターン画像入力開始」を示すジェスチャを行ったあと、検索対象としたいキーワードあるいはパターン画像として、発表者が発表で使用している小惑星探査機の模型２３２をカメラ３１に撮影させる。撮影された小惑星探査機の模型２３２の写真データはプロジェクタ１１から文書サーバ１０に送信される。なお、プロジェクタ１１が行う撮影は、写真（静止画像）に限るものではなく、映像（動画像）であってもよい。

画像認識機能部２２１はプロジェクタ１１から受信した写真データをテキストデータあるいはパターンデータに変換する。単語・パターン画像抽出機能部２２２は画像認識機能部２２１が写真データから変換したテキストデータあるいはパターンデータをキーワードあるいはパターン画像として抽出する。キーワードあるいはパターン画像を抽出したあとの処理は実施例１と同様であるため、説明を省略する。

図２８はプロジェクタの処理手順の他の例を示すフローチャートである。なお、図２８のフローチャートでは図１０のフローチャートに示した結果表示領域指定のジェスチャであると認識したときの処理（Ｓ５〜Ｓ９）と検索結果画像の表示位置移動のジェスチャであると認識したときの処理（Ｓ１０〜Ｓ１１）とを省略している。

ステップＳ９１において、ジェスチャ認識機能部４５はカメラ３１が撮影した映像を監視する。ステップＳ９２において、ジェスチャ認識機能部４５はカメラ３１が撮影した映像から発表者の特定のジェスチャを認識する。ステップＳ９３において、カメラ制御機能部４６は写真によるキーワードあるいはパターン画像入力のジェスチャであると認識するとステップＳ９４に進み、指定時間待つ。カメラ制御機能部４６は、ステップＳ９５に進み、カメラ３１を制御して発表者が発表で使用している小惑星探査機の模型２３２を撮影する。ステップＳ９６に進み、ネットワーク制御機能部４２は撮影した小惑星探査機の模型２３２の写真データを文書サーバ１０に転送する。ステップＳ９３において、写真によるキーワードあるいはパターン画像入力のジェスチャであると認識しなければ、ステップＳ９４〜Ｓ９６の処理は行われない。

図２８のフローチャートに示すように、プロジェクタ１１はカメラ３１が撮影した映像から発表者のジェスチャを認識し、ジェスチャと対応付けられた発表者からの写真によるキーワードあるいはパターン画像入力、結果表示領域指定、検索結果画像の表示位置移動などの指示を受け付けることができる。

図２９は文書サーバの処理手順の他の例を示すフローチャートである。ステップＳ１０１において、ネットワーク制御機能部６２はプロジェクタ１１が撮影した小惑星探査機の模型２３２の写真データを受信する。ステップＳ１０２において、画像認識機能部２２１はプロジェクタ１１から受信した写真データを画像認識によりテキストデータあるいはパターンデータに変換する。

単語・パターン画像抽出機能部２２２は画像認識機能部２２１が写真データから変換したテキストデータあるいはパターンデータをキーワードあるいはパターン画像として抽出する。写真データを画像認識によりテキストデータあるいはパターンデータに変換する処理は既存の技術を利用できる。なお、キーワードあるいはパターン画像を抽出したあとのステップＳ１０３〜Ｓ１０６の処理は、図１１のステップＳ２３〜Ｓ２６と同様であるため、説明を省略する。

図２９のフローチャートに示すように、文書サーバ１０はプロジェクタ１１から受信した写真データを画像認識することにより、撮影した写真データからキーワードあるいはパターン画像を抽出することができる。結果として、文書サーバ１０は写真データから抽出したキーワードあるいはパターン画像により検索した関連情報から検索結果画像を生成して、プロジェクタ１１に送信することができる。

以上、本実施形態に係る投影システム１によれば、発表者が発表の際に使用している物の写真データで検索対象とする単語をキーワードあるいはパターン画像として指定し、その単語をキーワードあるいはパターン画像として検索した結果を、発表資料の画像上の発表者が指定した結果表示領域に合成して表示することができる。

以上、本実施の形態によれば、結果表示領域のサイズを指定でき、さらに、結果表示領域のサイズに収まるように適切な情報量に加工した検索結果画像を生成できる。これにより本実施の形態によれば、結果表示領域を例えば説明が終わって表示不要な図面の上などに配置できる。

また、本実施の形態によれば、結果表示領域のサイズが小さい場合に単語の概要、結果表示領域のサイズが大きい場合に単語の詳細な説明文、単語に関する写真、動画等から検索結果画像を生成できる。このように、発表者は発表中の状況（進行状況や発表の聴衆者の理解度など）に応じた検索結果画像をスクリーン上に表示できる。結果として、発表者はスムーズかつ効率の良い発表を実現できる。

本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。なお、特許請求の範囲に記載した画像を投影して表示する手段は例えば映像出力機能部４１に相当する。

使用者に検索対象を指定させる手段、及び、使用者に検索結果の表示領域を画像上で指定させる手段は例えば座標検出機能部４４、ジェスチャ認識機能部４５、カメラ制御機能部４６に相当する。

使用者に指定された検索対象の検索を行ったサーバから検索結果画像を受信し、検索結果画像を検索結果の表示領域に合成して表示する手段は例えば画像合成機能部４３に相当する。

１ 投影システム
１０ 文書サーバ
１１、１１Ａ、１１Ｂ プロジェクタ
１２、１３ ネットワーク
２０ バス
２１ ＲＡＭ
２２ ＣＰＵ
２３ フラッシュメモリ
２４ 通信Ｉ／Ｆ
２５ ＥＥＰＲＯＭ
２６ 操作部
２７ カメラ制御部
２８ 映像入力部
２９ 映像出力部
３０ ランプ
３１ カメラ
４１ 映像出力機能部
４２ ネットワーク制御機能部
４３ 画像合成機能部
４４ 座標検出機能部
４５ ジェスチャ認識機能部
４６ カメラ制御機能部
５０ ＰＣ
５１ 入力装置
５２ 出力装置
５３ 記録媒体読取装置
５４ 補助記憶装置
５５ 主記憶装置
５６ ＣＰＵ
５７ 通信Ｉ／Ｆ
５８ 記録媒体
５９ バス
６１ 文書管理機能部
６２ ネットワーク制御機能部
６３ 画像生成機能部
６４ 単語抽出機能部
６５ 関連情報検索機能部
７１、７２、７５、７７、１３１、２１１、２３１ 画像
７３ 表示位置
７４ 発表者
７６ 結果表示領域
７８ 検索結果画像
１０１ 音声入力部
１０２ 音声出力部
１１１ 音声出力機能部
１１２ 音声入力機能部
１２１、２０１ 音声認識機能部
２２１ 画像認識機能部
２２２ 単語・パターン画像抽出機能部
２３２ 小惑星探査機の模型

特開２０１０−２１９９２８号公報

Claims (11)

1. 画像を投影して表示する手段と、
   使用者に検索対象を指定させる手段と、
   使用者に検索結果の表示領域を前記画像上で指定させる手段と、
   使用者に指定された前記検索対象の検索を行ったサーバから検索結果画像を受信し、前記検索結果画像を前記検索結果の表示領域に合成して表示する手段と
   を有することを特徴とするプロジェクタ。
2. 前記使用者に検索対象を指定させる手段は、
   撮影手段によって撮影された映像から使用者の前記画像上の位置の指定による検索対象指定のジェスチャを認識する手段と、
   使用者によって指定された前記画像上の位置を検出する手段と、
   前記検索対象を、使用者によって指定された前記画像上の位置で前記サーバに送信する手段と
   を有することを特徴とする請求項１のプロジェクタ。
3. 前記使用者に検索対象を指定させる手段は、
   撮影手段によって撮影された映像から使用者の音声による検索対象指定のジェスチャを認識する手段と、
   使用者によって音声で指定された前記検索対象を音声データで前記サーバに送信する手段と
   を有することを特徴とする請求項１のプロジェクタ。
4. 前記使用者に検索対象を指定させる手段は、
   音声入力手段によって録音された音声を音声認識して音声データからテキストデータに変換する手段と、
   変換されたテキストデータから使用者の音声による検索対象の指定を認識する手段と、
   前記テキストデータから使用者によって指定された前記検索対象をテキストデータで前記サーバに送信する手段と
   を有することを特徴とする請求項１のプロジェクタ。
5. 前記使用者に検索対象を指定させる手段は、
   撮影手段によって撮影された映像から写真による検索対象指定のジェスチャを認識する手段と、
   写真で指定された前記検索対象を写真データで前記サーバに送信する手段と
   を有することを特徴とする請求項１のプロジェクタ。
6. プロジェクタと、該プロジェクタに接続されたサーバとを有する投影システムであって、
   前記プロジェクタは、
   画像を投影して表示する手段と、
   使用者に検索対象を指定させる手段と、
   使用者に検索結果の表示領域を前記画像上で指定させる手段と、
   使用者に指定された前記検索対象の検索を行った前記サーバから検索結果画像を受信し、前記検索結果画像を前記検索結果の表示領域に合成して表示する手段と
   を有し、
   前記サーバは、
   使用者に指定された前記検索対象及び前記検索結果の表示領域を、前記プロジェクタから通知される手段と、
   使用者に指定された前記検索対象の検索を行う手段と、
   前記検索結果の表示領域のサイズに収まるように検索結果を調整して検索結果画像を生成する手段と、
   前記検索結果画像を前記プロジェクタに送信する手段と
   を有する
   ことを特徴とする投影システム。
7. 前記使用者に検索対象を指定させる手段は、
   撮影手段によって撮影された映像から使用者の前記画像上の位置の指定による検索対象指定のジェスチャを認識する手段と、
   使用者によって指定された前記画像上の位置を検出する手段と、
   前記検索対象を、使用者によって指定された前記画像上の位置で前記サーバに送信する手段と
   を有することを特徴とする請求項６の投影システム。
8. 前記使用者に検索対象を指定させる手段は、
   撮影手段によって撮影された映像から使用者の音声による検索対象指定のジェスチャを認識する手段と、
   使用者によって音声で指定された前記検索対象を音声データで前記サーバに送信する手段と
   を有することを特徴とする請求項６の投影システム。
9. 前記使用者に検索対象を指定させる手段は、
   音声入力手段によって録音された音声を音声認識して音声データからテキストデータに変換する手段と、
   変換されたテキストデータから使用者の音声による検索対象の指定を認識する手段と、
   前記テキストデータから使用者によって指定された前記検索対象をテキストデータで前記サーバに送信する手段と
   を有することを特徴とする請求項６の投影システム。
10. 前記使用者に検索対象を指定させる手段は、
    撮影手段によって撮影された映像から写真による検索対象指定のジェスチャを認識する手段と、
    写真で指定された前記検索対象を写真データで前記サーバに送信する手段と
    を有することを特徴とする請求項６の投影システム。
11. プロジェクタによって実行される情報検索表示方法であって、
    画像を投影して表示するステップと、
    使用者に検索対象を指定させるステップと、
    使用者に検索結果の表示領域を前記画像上で指定させるステップと、
    使用者に指定された前記検索対象の検索を行ったサーバから検索結果画像を受信し、前記検索結果画像を前記検索結果の表示領域に合成して表示するステップと
    を有することを特徴とする情報検索表示方法。

Images