JP2009186553A - 背面カメラ付きプロジェクタ - Google Patents

Abstract

【課題】プロジェクタの背後を広く撮像することができるカメラ付きプロジェクタを提供する。
【解決手段】画像データを投影する投影部２を前面に有するプロジェクタにおいて、被撮像物の画像を結像させるレンズと、前記レンズで結像された被撮像物の画像を撮像して撮像データを生成するイメージセンサーとから構成される背面カメラ３を、少なくとも前記レンズの先端がプロジェクタ本体の背面から突出するように、プロジェクタ本体の背面に設け、前記投影部の最短投影距離Ｆ１と、背面カメラ３の最短撮像距離Ｆ２とが、次式を満足するように構成する。Ｆ１＜Ｆ２ （１）なお、背面カメラ３を、駆動手段により、上下方向及び左右方向の少なくとも一方に回動するように構成することが好ましい。
【選択図】図４

Description

本発明は、背後を撮像することができるプロジェクタに関する。

近年、ＡＤＳＬやＦＴＴＨ等の広域帯通信網が整備されつつあることから、遠隔地に離れた者が、互いの姿を見ながら会議するテレビ会議システムが普及しつつある。このようなテレビ会議システムは、例えば特許文献１に示されるように従来から知られている。この特許文献１に示されるテレビ会議システムは、複数のカメラと複数のプロジェクタと、前記カメラが撮影した画像を整合する整合装置と、前記複数のカメラ、前記複数のプロジェクタ、前記整合装置間で、画像及び音声データを通信する通信手段とから構成されている。

このようなテレビ会議システムでは、プロジェクタと、カメラが別体であり、テレビ会議を行う会議場を設定するのに大変手間がかかり、手軽に任意の部屋でテレビ会議を行うことができなかった。そこで、特許文献２に示されるようなテレビ会議装置が提案されている。図１０に特許文献２に示されるテレビ会議装置２００を示す。この特許文献２に示されるテレビ会議装置２００は、画像を撮像し「画像データ」を生成して出力する撮像装置２０１と、音声を取得して「音声データ」を出力するマイクロフォンと、ネットワークに接続し、「画像データ」及び「音声データ」の送受信を行う送受信部２０２と、相手側の撮像装置２０１が撮像した相手側の会議の参加者３５０の「画像データ」を送受信部２０２を介して取得しスクリーン２５０に投影する投影部２０３とから構成されている。なお、撮像装置２０１は、装置本体２０４に取り付けられたアーム２０５の先端に取り付けられている。

一般的なプロジェクタの使用距離は、１．５ｍ以上であり、スクリーン２５０から離して設置しなければならない。このために、会議の参加者３０１〜３０４が、テレビ会議装置２００の側方に座ることになり、会議の参加者３０１〜３０４を撮像する場合には、特定の人物３０１のみしか撮像することができず、テレビ会議の臨場感が著しく失われてしまうという問題があった。
特開２００１−５１７３９５号公報 特開２００２−２６２２５０号公報

本発明は、上記問題を解決し、プロジェクタの背後を広く撮像することができるカメラ付きプロジェクタを提供することを目的としてなされたものである。

上記課題を解決するためになされた請求項１に記載の発明は、画像データを投影する投影部を前面に有するプロジェクタにおいて、
被撮像物の画像を結像させるレンズと、前記レンズで結像された被撮像物の画像を撮像して撮像データを生成するイメージセンサーとから構成される背面カメラを、プロジェクタ本体の背面に設け、
前記投影部の最短投影距離Ｆ１と、前記背面カメラの最短撮像距離Ｆ２とが、次式を満足するように構成したことを特徴とする。
Ｆ１＜Ｆ２ （１）

請求項２に記載の発明の背面カメラは、駆動手段により、上下方向及び左右方向の少なくとも一方に回動するように構成されていることを特徴とする。

請求項３に記載の発明は、請求項１又は請求項２の発明において、更に、イメージセンサーが撮像した撮像データを格納する格納部と、
前記格納部で格納された撮像データを、画像データの領域の内側及び外側の少なくとも一方に配置して、投影部に入力される合成画像データを生成する画像合成手段を有することを特徴とする。

請求項４に記載の発明は、請求項１〜３に記載の発明において、更に、撮像データから人を認識する人認識手段を有することを特徴とする。

請求項５に記載の発明の、人認識手段は、撮像データから１又は複数の人の顔を認識し、撮像データから顔を含む領域をトリミングして、１又は複数の顔画像データを生成し、
画像合成手段は、前記人認識手段が生成した１又は複数の顔画像データを、画像データの領域の内側及び外側の少なくとも一方に配置して合成画像データを生成することを特徴とする。

請求項６に記載の発明は、請求項４に記載の発明において、更に、音声を取得する、１つ又は複数の指向性マイクロフォンと、
前記複数の指向性マイクロフォンが取得した音声から発言者を特定する発言者特定手段を有し、
人認識手段は、撮像データから人の顔を認識し、撮像データから顔を含む領域をトリミングして、顔画像データを生成し、
画像合成手段は、前記発言者特定手段が特定した発言者の顔画像データを、強調して画像データの領域の内側及び外側の少なくとも一方に配置して合成画像データを生成することを特徴とする。

請求項７に記載の発明は、請求項３に記載の発明において、更に、音声を取得する、１つ又は複数の指向性マイクロフォンと、
前記複数の指向性マイクロフォンが取得した音声から発言者を特定する発言者特定手段を有し、
背面カメラは、前記発言者特定手段が特定した発言者を撮像して撮像データを生成し、
画像合成手段は、前記撮像データを、画像データの領域の内側及び外側の少なくとも一方に配置して合成画像データを生成することを特徴とする。

請求項１に記載の発明は、被撮像物の画像を結像させるレンズと、前記レンズで結像された被撮像物の画像を撮像して撮像データを生成するイメージセンサーとから構成される背面カメラを、プロジェクタ本体の背面に設け、前記投影部の最短投影距離Ｆ１と、前記背面カメラの最短撮像距離Ｆ２とが、次式を満足するように構成したことを特徴とする。
Ｆ１＜Ｆ２ （１）
このため、（１）式を満足するような広画角の近接投影型プロジェクタはスクリーンに近い位置に載置することが可能となることから、プロジェクタの背後を広く撮像することが可能となった。例えばテレビ会議において、会議の出席者が背面カメラ付きプロジェクタの背後に座ることが可能となり、会議の出席者全員を撮像することが可能となった。また、プロジェクタの他に、別途撮像用のカメラを用意する必要が無くなった。あるいは、本発明の背面機能付きプロジェクタを、プレーヤの動作を入力手段として使用するコンピュータゲームの画像を投影ために使用する場合には、プロジェクタをスクリーンに近い位置に載置することが可能であるため、プレーヤを撮像することが可能となり、別途撮像用のカメラを用意する必要が無くなった。

請求項２に記載の発明の背面カメラは、駆動手段により、上下方向及び左右方向の少なくとも一方に回動するように構成されていることを特徴とする。このため、被撮像物が、前記背面カメラの視野内に入らない場合に、前記駆動手段を駆動させることにより、前記背面カメラを回動させて、前記被撮像物を前記背面カメラの視野内に入れることが可能となり、前記被撮像物を撮像することが可能となった。

請求項３に記載の発明は、請求項１又は請求項２の発明において、更に、イメージセンサーが撮像した撮像データを格納する格納部と、前記格納部で格納された撮像データを、画像データの領域の内側及び外側の少なくとも一方に配置して、投影部に入力される合成画像データを生成する画像合成手段を有することを特徴とする。このため、本発明をテレビ会議で使用する場合には、資料を前記画像データとして投影するとともに、同時に、テレビ会議の出席者を投影することが可能となり、テレビ会議の臨場感を著しく向上させることが可能となった。

請求項４に記載の発明は、請求項１〜３に記載の発明において、更に、撮像データから人を認識する人認識手段を有することを特徴とする。このため、撮像データから人の部位や、人の動作をプログラムに引き渡して、利用することが可能となった。

請求項５に記載の発明の、人認識手段は、撮像データから１又は複数の人の顔を認識し、撮像データから顔を含む領域をトリミングして、１又は複数の顔画像データを生成し、画像合成手段は、前記人認識手段が生成した１又は複数の顔画像データを、画像データの領域の内側及び外側の少なくとも一方に配置して合成画像データを生成することを特徴とする。このため、本発明をテレビ会議で使用する場合に、テレビ会議の出席者の顔以外の領域を投影しないことにより、出席者がより注目され、テレビ会議の臨場感をより向上させることが可能となった。

請求項６に記載の発明は、請求項４に記載の発明において、更に、音声を取得する、１つ又は複数の指向性マイクロフォンと、前記複数の指向性マイクロフォンが取得した音声から発言者を特定する発言者特定手段を有し、人認識手段は、撮像データから人の顔を認識し、撮像データから顔を含む領域をトリミングして、顔画像データを生成し、画像合成手段は、前記発言者特定手段が特定した発言者の顔画像データを、強調して画像データの領域の内側及び外側の少なくとも一方に配置して合成画像データを生成することを特徴とする。このため、発言者が強調して投影されることにより、初対面で互いの肉声を知らない場合であっても、発言者が誰かを認知することが可能となり、円滑に会議を行うことが可能となった。

請求項７に記載の発明は、請求項３に記載の発明において、更に、音声を取得する、１つ又は複数の指向性マイクロフォンと、前記複数の指向性マイクロフォンが取得した音声から発言者を特定する発言者特定手段を有し、背面カメラは、前記発言者特定手段が特定した発言者を撮像して撮像データを生成し、画像合成手段は、前記撮像データを、画像データの領域の内側及び外側の少なくとも一方に配置して合成画像データを生成することを特徴とする。このため、発言者が投影されることにより、初対面で互いの肉声を知らない場合であっても、発言者が誰かを認知することが可能となり、円滑に会議を行うことが可能となった。

以下に、図面を参照しつつ本発明の好ましい実施の形態を示す。
図１は本発明の実施の形態を示す背面カメラ付きプロジェクタ４０の背面図である。図２は図１のＡ−Ａ断面図であり、図３は、図１のＢ−Ｂ断面図である。

図１〜３に示されるように、背面カメラ付きプロジェクタ４０のプロジェクタ本体１は、箱形形状をしている。図２に示されるように、プロジェクタ本体１の前面には、画像をスクリーン等に投影する投影部２が設けられている。また、プロジェクタ本体１の背面には、後で詳細に説明する背面カメラ３が設けられている。

図４に本発明の実施の形態を示す背面カメラ付きプロジェクタ４０のブロック図を示して、背面カメラ付きプロジェクタ４０の内部の構成の説明をする。背面カメラ付きプロジェクタ４０は主に、背面カメラ３、ＣＰＵ１２、ＲＡＭ１３、ＲＯＭ１４、データ入出力部１５、指向性マイクロフォン１６、操作パネル２０、ランプ制御回路２１、ランプ２２、照明光学系２３、光変調素子２４、結像光学系２５、画像信号入力部２７、画像処理回路２８、画像格納メモリ２９、光変調素子ドライブ回路３０とから構成されている。背面カメラ３、ＣＰＵ１２、ＲＡＭ１３、ＲＯＭ１４、データ入出力部１５、指向性マイクロフォン１６、操作パネル２０、ランプ制御回路２１、画像処理回路２８は相互にバス３５で接続されている。

ＣＰＵ（Ｃｅｎｔｒａｌ ＰｒｏｃｅＳＳｉｎｇ Ｕｎｉｔの略）１２は、ＲＡＭ（Ｒａｎｄｏｍ ＡｃｃｅＳＳ Ｍｅｍｏｒｙの略）１３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略）１４と協動して、各種演算、処理を行うものである。

ＲＡＭ１３は、ＣＰＵ１２が処理するデータを、そのアドレス空間に一時的に格納する格納部である。

ＲＯＭ１４には、背面カメラ付きプロジェクタ４０を制御する各種プログラムやパラメータが格納されている。当該各種プログラムが、ＣＰＵ１２で処理されることにより、各種機能を実現している。ＲＯＭ１４には、後述する人認識手段１４ｂや画像合成手段１４ａ、発言者特定手段１４ｃ等のプログラムが格納されている。なお、バス３５に、不揮発性メモリやハードディスク等の記憶装置を接続して構成し、前記格納装置に前記各種プログラムやパラメータを格納する構造にしても差し支えない。

画像合成手段１４ａは、後述する「撮像データ」や「顔画像データ」を、投影部２で投影する「画像データ」の領域の内側及び外側の少なくとも一方に配置して、「合成画像データ」を生成する手段である。

人認識手段１４ｂは、「撮像データ」から人の部位（例えば顔や人のシルエット）や、人の動きを認識する手段である。

発言者特定手段１４ｃは、後述する複数の指向性マイク１６が集音した音声の強弱により、音源の方向や位置を特定して、発言者を特定する手段である。

なお、画像合成手段１４ａ、人認識手段１４ｂ、発言者特定手段１４ｃを、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）として構成することとしても差し支えない。

操作パネル２０は、プロジェクタ本体１の外表面に設けられている。この操作パネル２０は、背面カメラ付きプロジェクタ４０の各種設定を変更し、背面カメラ付きプロジェクタ４０を操作するためのものである。ユーザーが操作パネル２０を操作すると、「設定変更信号」や「操作信号」が生成され、バス３５を介して、各種プログラムに引き渡されるようになっている。

データ入出力部１５は、外部から「画像データ」等のデータが入力され、このデータを取得するインターフェースである。また、データ入出力部１５は、データを外部に出力するインターフェースである。データ入出力部１５は例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、ＵＳＢ（ＵｎｖｅｒＳａｌ Ｓｅｒｉａｌ ＢｕＳの略、ＵＳＢ１．０、ＵＳＢ１．１、ＵＳＢ２．０を含む）、ＩＥＥＥ１３９４、ＲＳ２３２、ＲＳ４２２その他通信インターフェースを含めることができる。あるいはデータ入出力部１５は、無線を用いたものであってもよく、この場合のインターフェースとしては、ＩＥＥＥ８０２に規定されているいわゆる無線ＬＡＮやＢｌｕｅｔｏｏｔｈ、その他の無線インターフェースを含めることができる。

また、データ入出力部１５は、ＣＤ−ＲＯＭドライブや、ＤＶＤ−ＲＯＭドライブ等のリムバブルディスクを読み取る装置であっても差し支えない。

なお、データ入出力部１５が取得する「画像データ」には、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ＥｘｐｅｒｔＳ Ｇｒｏｕｐの略）、ＢＭＰ（Ｂｉｔｍａｐの略）、ＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔの略）、ＰＮＧ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ ＧｒａｐｈｉｃＳの略）、ＧＩＦ（ＧｒａｐｈｉｃＳ Ｉｎｅｒｃｈａｎｇｅ Ｆｏｒｍａｔの略）等の画像データや、ワードプロセッサソフト、表計算ソフト、プレゼーテンションソフト等のビジネスソフトによって作成された「画像データ」等が含まれる。

指向性マイクロフォン１６は、単一指向性を持つマイクロフォンであり、所定の方向から来る音に対して最も感度が良くなっているマイクロフォンである。本実施形態では、指向性マイクロフォン１６は、集音部をプロジェクタ本体１の背後側に向けて、設けられている。指向性マイクロフォン１６は、１つ又は複数設けられている。指向性マイクロフォン１６が複数である場合には、それぞれの集音部を異なる方向に向けて設けられている。指向性マイクロフォン１６が、２つ設けられている場合には、発言者特定手段１４ｃは、２次元方向について（平面的に）、発言者を特定することが可能となる。また、１つ以上の指向性マイクロフォン１６の上下方向の集音方向を、他の指向性マイクロフォン１６の上下方向の集音方向と変えて、３つ以上指向性マイクロフォン１６を設けると、３次元方向について（立体的に）、発言者を特定することが可能となる。

背面カメラ３は、主にレンズと、イメージセンサーから構成されている。なお、これらレンズ及びイメージセンサーは、ドーム状の透明カバーで被覆されている。本実施形態の背面カメラ３は、ドームカメラである。少なくとも前記レンズの先端は、プロジェクタ本体１の背面から突出している。レンズは、被撮像物の画像をイメージセンサー上で結像させるものである。なお、前記レンズにズーム機構を持たせても差し支えない。イメージセンサーは、光を検出して電荷を発生させるフォトダイオード（画素）を二次元に配置したものである。イメージセンサーには、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ ＳｅｎＳｏｒ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｗｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）が含まれる。前記レンズで結像された被撮像物の画像は、イメージセンサーの画素上で撮像され、「撮像データ」が生成される。

前記レンズ及びイメージセンサーから構成される背面カメラ３は、１つのユニットとなっていて、当該ユニットが、複数の軸により軸支され、回動可能となっている。アクチュエータやギア等から構成される駆動手段により、前記ユニットが上下方向及び左右方向に回動するようになっている。このように構成することにより、被撮像物が、背面カメラ３の視野内に入らない場合に、前記駆動手段を駆動させて、前記ユニットを回動させることにより、被撮像物を、背面カメラ３の視野内に入れることが可能となる。

画像信号入力部２７は、外部からアナログ若しくはデジタルの「画像信号」が入力されるインターフェースである。画像信号入力部２７には、ＶＧＡ端子（Ｖｉｄｅｏ ＧｒａｐｈｉｃＳ Ａｒｒａｙの略）やＤＶＩ−Ｄ端子、ＤＶＩ−Ｉ端子等が含まれる。画像信号入力部２７は、パーソナルコンピュータ等の外部装置が接続され、前記外部装置が出力するアナログ若しくはデジタルの「画像信号」が入力されるようになっている。

投影部２は、ランプ制御回路２１、ランプ２２、照明光学系２３、光変調素子２４、結像光学系２５、画像処理回路２８、画像格納メモリ２９、光変調素子ドライブ回路３０とから構成されている。

ランプ制御回路２１は、ランプ２２に電流を供給するものである。ランプ２２は、水銀ランプやＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等であり、ランプ制御回路２１から電流が供給されると、発光するようになっている。照明光学系２３は、ランプ２２が発光した拡散光をより均一な照明光に集光し、光変調素子２４に出光するものである。

光変調素子２４は、ＬＣＤ（Ｌｉｑｕｉｄ ＣｒｙＳｔａｌ ＤｉＳｐｌａｙの略、液晶表示素子）であり、透過性の多数の画素から構成されている。光変調素子２４は、光変調素子ドライブ回路３０から取得した信号電極駆動信号及び走査電極駆動信号に基づいて、前記多数の画素を階調表現して「投影画像」を生成する。なお、光変調素子２４は、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）等の光変調素子であっても差し支えない。

結像光学系２５は、多数のレンズから構成されている。結合光学系２５は、光変調素子２４を透過した照明光を、スクリーン７５等に結像するものである。発明の背面カメラ付きプロジェクタ４０に使用される結像光学系２５は、広角レンズであり、投影角度α（図５に示す）は、８０°〜１６０°、投影距離Ｆ１（図５に示す、プロジェクタ本体１の前面から、投影面７５までの距離）は、０．１ｍ〜２．０ｍとなっている。

画像処理回路２８は、データ入出力部１５が取得した「画像信号」、画像信号入力部２７が取得した「画像データ」を、バス３５を介して取得し、必要に応じてシャープネス補正、ガンマ補正、コントラスト補正、ホワイトバランス補正、台形補正等の画像処理を行い、「投影画像データ」を生成する回路である。「投影画像データ」は、光変調素子２４の画素の座標に対応する点について、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のそれぞれの原色で、階調表現したデータである。

画像格納メモリ２９は、画像処理回路２８が生成した「投影画像データ」を、一時的にそのアドレス空間に格納するものである。

光変調素子ドライブ回路３０は、画像格納メモリ２９から「投影画像データ」が入力され、この「投影画像データ」に基づいて、光変調素子２４の信号電極に印加する信号電極駆動信号、及び走査電極に印加する走査電極駆動信号を出力するものである。

（背面カメラ付きプロジェクタの使用方法）
図５に、本発明の背面カメラ付きプロジェクタ４０の使用方法を示した説明図を示す。本発明の背面カメラ付きプロジェクタ４０は、広角レンズを備えた近接プロジェクタなので、図５に示されるようにスクリーン７５に近設して設置される。すなわち、背面カメラ付きプロジェクタ４０は、ユーザーＡ〜Ｆの前方に設置される。図５では、ユーザーＡ〜Fは、背面カメラ付きプロジェクタ４０の後方に位置していて、会議机９０を取り囲むように位置している。図５において、Ｆ２は、背面カメラ３の撮像距離であり、背面カメラ３のイメージセンサーから被撮像物（ユーザー）までの距離である。本発明では、最短投影距離Ｆ１と、最短撮像距離Ｆ２の関係は以下の式を満足するようになっている。
Ｆ１＜Ｆ２ （１）
後述するように、背面カメラ３を回動させる場合、背面カメラ３とユーザ（例えばＡ）を結ぶ直線がＦ２となる。

（第１の実施形態のフロー）
図６に第１の実施形態のフローを示して、以下第１の実施形態について本発明を説明する。この第１の実施形態は、遠隔地に離れた者が、互いの姿を見ながら会議するテレビ会議を実施する実施形態のフローである。遠隔地に離れて設置された背面カメラ付きプロジェクタ４０は、専用回線や公衆回線を介して、データ入出力部１５で相互に接続されている。また、データ入出力部１５や画像信号入力部２７にコンピュータ装置を接続すると、このコンピュータ装置が出力する「画像データ」や「画像信号」を、投影部２で投影することができる。

背面カメラ付きプロジェクタ４０の電源をＯＮにすると、図６のフローが開始し、Ｓ１２「画像取り込み機能使用？」の選択に進む。Ｓ１２の選択において、会議の出席者が操作パネル２０を操作することにより、画像取り込み機能を使用するか否かを選択する。会議の出席者が、画像取り込み機能を使用することを選択した場合には、Ｓ１３「取込部位選択」の選択に進む。一方で、会議の出席者が、画像取込機能を使用することを選択しない場合には、Ｓ２０「画像投影」の処理に進む。

Ｓ１３「取込部位選択」の選択において、会議の出席者は、操作パネル２０を操作することにより、背面カメラ３が取り込む部位を選択する。背面カメラ３が取り込む部位は、会議の出席者の「顔」、若しくは「全景」である。Ｓ１３の選択において、会議の出席者が操作パネル２０を操作して、「顔」を取り込むことを選択した場合には、Ｓ１４「画像取込」の処理に進む。一方で、会議の出席者が操作パネル２０を操作して、「全景」を取り込むことを選択した場合には、Ｓ１８「画像取込」の処理に進む。

Ｓ１４「画像取込」の処理において、背面カメラ３は、背面カメラ付きプロジェクタ４０の背後方向を撮像して、「撮像データ」を生成する。この「撮像データ」は、バス３５を介してＲＡＭ１３に一時的に格納される。Ｓ１４の処理が終了すると、Ｓ１５「画像認識」の処理に進む。

Ｓ１５「画像認識」の処理において、ＲＯＭ１４に格納されている人認識手段１４ｂのプログラムが、ＲＡＭ１３にロードされ、人認識手段１４ｂが起動する。人認識手段１４ｂは、「撮像データ」に含まれる会議の出席者の１又は複数の顔を認識する。例えば、人認識手段１４ｂは、「撮像データ」の全領域の「色データ」と、ＲＯＭ１４に格納された複数の「顔認識色データ」とを比較し、いずれかの「顔認識色データ」に一致する色データの領域を顔画像として認識する。このような「撮像データ」に含まれる人の顔を認識する方法は、特開平１０−３３４２１３に詳細に説明され、従来から行われている手法である。Ｓ１５の処理が終了すると、Ｓ１６「画像抽出」の処理に進む。

Ｓ１６「画像抽出」の処理において、人認識手段１４ｂは、Ｓ１５の処理で認識した会議の出席者の顔を含む領域である「顔画像データ」をトリミングして抽出し、ＲＡＭ１３に一時的に格納する。なお、この「顔画像データ」は、データ入出力部１５から、相手側の背面カメラ付きプロジェクタ４０に送信される。Ｓ１６の処理が終了すると、Ｓ１７「画像合成」の処理に進む。

Ｓ１７「画像合成」の処理において、ＲＯＭ１４に格納されている画像合成手段１４ａのプログラムが、ＲＡＭ１３にロードされ、画像合成手段１４ａが起動する。Ｓ１７の処理の前に、予め、相手側の背面カメラ付きプロジェクタ４０で撮像された「相手側顔画像データ」は、データ入出力部１５から取得され、ＲＡＭ１３に格納されている。画像合成手段１４ａは、「顔画像データ」及び「相手側顔画像データ」を、「画像データ」の領域の内側及び外側の少なくとも一方に配置して合成し、「合成画像データ」を生成し、一時的にＲＡＭ１３に格納する。なお、「画像データ」には、データ入出力部１５が取得した「画像データ」だけでなく、画像信号入力部２７に入力された「画像信号」も含まれる。

図７に「合成画像データ」の説明図を示す。図７の例では、画像合成手段１４ａは、会議の出席者Ａ〜Ｆの「顔画像データ」５０を、「画像データ」５１の領域の上方の外側に並列して配置して合成している。また、画像合成手段１４ａは、データ入出力部１５が取得した、「相手側顔画像データ」５２を、「画像データ」５１の領域の下方の外側に並列して配置して合成している。Ｓ１７の処理が終了すると、Ｓ２０「画像投影」の処理に進む。

Ｓ１８「画像取込」の処理において、背面カメラ３は、背面カメラ付きプロジェクタ４０の背後方向を撮像して、背面の全景である「撮像データ」を生成する。この「撮像データ」は、バス３５を介してＲＡＭ１３に一時的に格納される。なお、「撮像データ」は、データ入出力部１５から、相手側の背面カメラ付きプロジェクタ４０に送信される。Ｓ１８の処理が終了すると、Ｓ１９「画像合成」の処理に進む。

Ｓ１９「画像合成」の処理において、ＲＯＭ１４に格納されている画像合成手段１４ａのプログラムが、ＲＡＭ１３にロードされ、画像合成手段１４ａが起動する。Ｓ１９の処理の前に、予め、相手側の背面カメラ付きプロジェクタ４０で撮像された「相手側撮像データ」は、データ入出力部１５から取得され、ＲＡＭ１３に格納されている。画像合成手段１４ａは、「撮像データ」及び「相手側撮像データ」を、「画像データ」の領域の内側及び外側の少なくとも一方に配置して合成し、「合成画像データ」を生成し、一時的にＲＡＭ１３に格納する。なお、「画像データ」には、データ入出力部１５が取得した「画像データ」だけでなく、画像信号入力部２７に入力された「画像信号」も含まれる。Ｓ１９の処理が終了すると、Ｓ２０の処理に進む。

Ｓ２０「画像投影」の処理において、ＣＰＵ１２は、Ｓ１７の処理でＲＡＭ１３に格納された「合成画像データ」若しくは「画像データ」を、バス３５を介して、画像処理回路２８に出力する処理を行う。画像処理回路２８に入力された「合成画像データ」若しくは「画像データ」は、画像処理回路２８「投影画像データ」に画像処理され、画像格納メモリ２９のアドレス空間に一時的に格納される。画像格納メモリ２９のアドレス空間に一時的に格納された「投影画像データ」は、光変調素子ドライブ回路３０に出力され、光変調素子２４で「投影画像」が生成されて、スクリーン７５に投影される。Ｓ２０の処理が終了すると、Ｓ１２の選択に戻る。

なお、背面カメラ３は、前記駆動手段により、上下・左右に回動するようになっている。例えば、会議の出席者が操作パネル２０を操作することにより、前記駆動手段を駆動させて、背面カメラ３を駆動して、プロジェクタ本体１の背面の任意の方向を、背面カメラ３で撮像することができるようになっている。あるいは、Ｓ１５「画像認識」の処理において、人認識手段１４ａが、「撮像データ」に人の顔が存在しないと判断した場合には、前記駆動手段を駆動して、背面カメラ３を上下・左右に回動させて、会議の出席者が背面カメラ３の視野内に入るようにする。

以上詳細に説明したように、投影部２の最短投影距離Ｆ１と、背面カメラ３の最短撮像距離Ｆ２とが、次式を満足するように構成した。
Ｆ１＜Ｆ２ （１）
このため、本発明の背面カメラ付きプロジェクタ４０をスクリーン７５に近い位置に載置することが可能となり、会議の出席者が背面カメラ付きプロジェクタ４０の背後に座ることが可能となり、会議の出席者全員を撮像することが可能となった。

（第２の実施形態）
次に第２の実施形態について本発明を説明をする。第２の実施形態は、テレビ会議において、発言者を強調して表示する実施形態である。発言者特定手段１４ｃは、複数の指向性マイク１６が集音した音の強弱により、音源の方向や位置を特定して、発言者を特定する。

図６のフローのＳ１７の処理において、画像合成手段１４ａは、発言者特定手段１４ｃが特定した発言者の「顔画像データ」を強調して「画像データ」の領域の内側及び外側の少なくとも一方に配置して「合成画像データ」を生成する。

なお、発言者特定手段１４ｃが特定した発言者の「顔画像データ」を強調して配置する方法には、以下の方法が含まれる。
（１）発言者特定手段１４ｃが特定した発言者の「顔画像データ」を、「合成画像データ」中に大きく表示する。
（２）発言者特定手段１４ｃが特定した発言者の「顔画像データ」のみを、「合成画像データ」に表示する。
（３）発言者特定手段１４ｃが特定した発言者の「顔画像データ」の外縁に、外枠を表示する。

また、Ｓ１９の処理において、画像合成手段１４ａは、発言者特定手段１４ｃが特定した発言者の「撮像データ」を強調して、「画像データ」の領域の内側及び外側の少なくとも一方に配置して「合成画像データ」を生成する。
なお、特定手段１４ｃが特定した発言者の「撮像データ」を強調して配置する方法には、以下の方法が含まれる。
（４）発言者特定手段１４ｃが特定した発言者の方向に、背面カメラ３を回動させて、当該発言者を撮像する。
（５）発言者特定手段１４ｃが特定した発言者を、拡大して撮像する。背面カメラ３のレンズにズーム機構を有している場合には、当該ズーム機構により、前記発言者を拡大して撮像する。あるいは、撮像した「撮像データ」をトリミングして、撮像データに含まれる発言者を拡大することにしても差し支えない。

このように、第２の実施形態では、発言者特定手段１４ｃが、発言者を特定し、当該発言者の「顔画像データ」を強調して表示することにしたので、発言者を特定することが可能となった。このため、初対面で互いの肉声を知らない場合であっても、発言者が誰かを認知することが可能となり、円滑に会議を行うことが可能となった。

（第３の実施形態）
次に第３の実施形態について本発明を説明をする。第３の実施形態は、背面カメラ３で撮像した「撮像データ」を、コンピュータゲームのプログラムに引き渡す実施形態である。ＣＣＤカメラで撮像した撮像データを、コンピュータゲームの入力手段として使用する技術は、特開２００５−２５３８７１号公報に示されるように知られている。本実施形態は、背面カメラ３で撮像した「撮像データ」を、コンピュータゲームの入力手段として使用する実施形態である。データ入出力部１５は、通信線で、コンピュータゲーム機と接続される。

コンピュータゲーム機から出力される画像データは、前記通信線を介して、データ入出力部１５に入力され、投影部２で投影される。背面カメラ３で、コンピュータゲームのプレーヤを連続的に撮像して「撮像データ」を生成し、データ入出力部１５からコンピュータゲーム機に出力する。コンピュータゲーム機は、「撮像データ」から、プレーヤの動きを検出して、コンピュータゲームのプログラムに引き渡す。

図８に、コンピュータゲームが、テニスゲーム１２０である場合の実施形態を示す。テニスゲーム１２０の場合には、背面カメラ３で連続的に撮像された「撮像データ」から、プレーヤ体や手の動き等の動作を検出し、テニスゲームのプログラムに、前記動作の情報を引き渡す。テニスゲームのプログラムは、前記動作の情報に基づき、テニスゲームのキャラクタ１２１の体やラケット１２２の動きに反映させる。また、背面カメラ３で連続的にプレーヤを撮像して「撮像データ」を生成し、この「撮像データ」を前記ゲームのプログラムが画像処理を行い、プレーヤ自身の姿もしくはシルエットを前記ゲームの表示画面１２５に合成することにしても差し支えない。

図９にコンピュータゲームが格闘ゲーム１４０である場合の実施形態を示す。格闘ゲーム１４０の場合には、背面カメラ３で連続的に撮像された「撮像データ」から、プレーヤの突きや蹴り等の動作を検出して、格闘ゲーム１４０のプログラムに、前記動作の情報を引き渡す。格闘ゲーム１４０のプログラムは、前記動作の情報に基づき、格闘ゲームのキャラクタ１４１の突きや蹴りの動き等を反映させる。プレーヤが身をかわした場合には、背面カメラ３で連続的に撮像された「撮像データ」から、プレーヤが身をかわした動作を検出して、格闘ゲーム１４０のプログラムに、前記動作の情報を引き渡す。格闘ゲーム１４０のプログラムは、前記動作の情報に基づき、格闘ゲーム１４０のキャラクタ１４１の身をかわした動きを反映させる。また、背面カメラ３で連続的にプレーヤを撮像して「撮像データ」を生成し、この「撮像データ」を前記ゲームのプログラムが画像処理を行い、プレーヤ自身の姿もしくはシルエットを前記ゲームの表示画面１４５に合成することにしても差し支えない。

あるいは、プレーヤの姿をゲームの表示画面に合成して表示するゲームでは、背面カメラ３で連続的にプレーヤを撮像して「撮像データ」を生成し、この「撮像データ」を前記ゲームのプログラムが左右反転させる処理を行い、プレーヤの姿を前記ゲームの表示画面に合成する。あるいは、プレーヤのシルエットを、前記ゲームの表示画面に合成することとしても差し支えない。

背面カメラ３の視野内に、プレーヤが入らない場合には、背面カメラ３の駆動手段は、自動的若しくはプレーヤの操作パネル２０の操作により、背面カメラ３が上下・左右に回動して、プレーヤが背面カメラ３の視野内に入るようにする。例えば、本発明の背面カメラ付きプロジェクタ４０を床に設置して、背面カメラ３がプレーヤの足下しか撮像できない場合には、背面カメラ３は、駆動手段で上方に回動して、プレーヤの全身が撮像できるようにする。

このように、第３の実施形態では、ゲーム用のカメラを別途用意しなくても、本発明の背面カメラ付きプロジェクタ４０を使用することにより、コンピュータゲームをプレイすることが可能となった。

なお、コンピュータゲームのプログラム自体を、ＲＯＭ１４等の格納装置に格納する構成にしても差し支えない。この場合には、背面カメラ３で連続的に撮像されたプレーヤの「撮像データ」は、バス３５を介して、一時的にＲＡＭ１３に格納され、人認識手段１４ｂが、ＲＡＭ１３に格納された「撮像データ」からプレーヤの動作を検出し、この動作の情報を、前記コンピュータゲームのプログラムに引き渡すようになっている。また、プレーヤの姿をゲームの表示画面に合成して表示するゲームでは、画像合成手段１４ａが、「撮像データ」を左右反転させる処理を行い、プレーヤの姿を前記ゲームの表示画面に合成する処理を行う。

以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う背面カメラ付きプロジェクタもまた技術的範囲に包含されるものとして理解されなければならない。

本発明の実施の形態を示す背面カメラ付きプロジェクタの背面図である。 図１のＡ−Ａ断面図である。 図１のＢ−Ｂ断面図である。 本発明の実施の形態を示す背面カメラ付きプロジェクタのブロック図である。 本発明の背面カメラ付きプロジェクタの使用方法を示した説明図である。 本発明のフロー図である。 合成画像データの説明図である。 テニスゲームの説明図である。 格闘ゲームの説明図である。 従来のテレビ会議装置の説明図である。

符号の説明

１ プロジェクタ本体
２ 投影部
３ 背面カメラ
１２ ＣＰＵ
１３ ＲＡＭ
１４ ＲＯＭ
１４ａ 画像合成手段
１４ｂ 人認識手段
１４ｃ 発言者特定手段
１５ データ入出力部
１６ 指向性マイクロフォン
２０ 操作パネル
２１ ランプ制御回路
２２ ランプ
２３ 照明光学系
２４ 光変調素子
２５ 結像光学系
２７ 画像信号入力部
２８ 画像処理回路
２９ 画像格納メモリ
３０ 光変調素子ドライブ回路
３５ バス
４０ 背面カメラ付きプロジェクタ
５０ 顔画像データ
５１ 画像データ
５２ 相手側顔画像データ
５３ 合成画像データ
７５ スクリーン
９０ 会議机
１２０ テニスゲーム
１２１ キャラクタ
１２２ ラケット
１２５ 表示画面
１４０ 格闘ゲーム
１４５ 表示画面
２００ テレビ会議装置
２０１ 撮像装置
２０２ 送受信部
２０３ 投影部
２０４ 装置本体
２０５ アーム
３０１〜３０４ 会議の参加者
３５０ 相手側の会議の参加者
Ａ〜Ｆ ユーザー（会議の出席者）
α 投影角度
Ｆ１ 投影距離
Ｆ２ 撮像距離

Claims (7)

1. 画像データを投影する投影部を前面に有するプロジェクタにおいて、
   被撮像物の画像を結像させるレンズと、前記レンズで結像された被撮像物の画像を撮像して撮像データを生成するイメージセンサーとから構成される背面カメラを、プロジェクタ本体の背面に設け、
   前記投影部の最短投影距離Ｆ１と、前記背面カメラの最短撮像距離Ｆ２とが、次式を満足するように構成したことを特徴とする背面カメラ付きプロジェクタ。
   Ｆ１＜Ｆ２ （１）
2. 背面カメラが、駆動手段により、上下方向及び左右方向の少なくとも一方に回動するように構成したことを特徴とする請求項１に記載の背面カメラ付きプロジェクタ。
3. イメージセンサーが撮像した撮像データを格納する格納部と、
   前記格納部で格納された撮像データを、画像データの領域の内側及び外側の少なくとも一方に配置して、投影部に入力される合成画像データを生成する画像合成手段を有することを特徴とする請求項１又は請求項２のいずれかに記載の背面カメラ付きプロジェクタ。
4. 撮像データから人を認識する人認識手段を有することを特徴とする請求項１〜請求項３のいずれかに記載の背面カメラ付きプロジェクタ。
5. 人認識手段は、撮像データから１又は複数の人の顔を認識し、撮像データから顔を含む領域をトリミングして、１又は複数の顔画像データを生成し、
   画像合成手段は、前記人認識手段が生成した１又は複数の顔画像データを、画像データの領域の内側及び外側の少なくとも一方に配置して合成画像データを生成することを特徴とする請求項４に記載の背面カメラ付きプロジェクタ。
6. 音声を取得する、１つ又は複数の指向性マイクロフォンと、
   前記複数の指向性マイクロフォンが取得した音声から発言者を特定する発言者特定手段を有し、
   人認識手段は、撮像データから人の顔を認識し、撮像データから顔を含む領域をトリミングして、顔画像データを生成し、
   画像合成手段は、前記発言者特定手段が特定した発言者の顔画像データを、強調して画像データの領域の内側及び外側の少なくとも一方に配置して合成画像データを生成することを特徴とする請求項４に記載の背面カメラ付きプロジェクタ。
7. 音声を取得する、１つ又は複数の指向性マイクロフォンと、
   前記複数の指向性マイクロフォンが取得した音声から発言者を特定する発言者特定手段を有し、
   背面カメラは、前記発言者特定手段が特定した発言者を撮像して撮像データを生成し、
   画像合成手段は、前記撮像データを、画像データの領域の内側及び外側の少なくとも一方に配置して合成画像データを生成することを特徴とする請求項３に記載の背面カメラ付きプロジェクタ。

Images