JP2012027302A

JP2012027302A - 投影機能付き撮像装置

Info

Publication number: JP2012027302A
Application number: JP2010166810A
Authority: JP
Inventors: Hitomi Naganuma; ひとみ長沼
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-07-26
Filing date: 2010-07-26
Publication date: 2012-02-09

Abstract

【課題】投影機能を利用した効果的な撮像が行えるようにする。
【解決手段】投影面に画像の投影を行っている状態で投影光路中に中間物体５３が検知されると、投影領域６１が適当なサイズで撮像画面６２に収まるように自動的にズーミングが行われる。また、中間物体３５の位置が検出され、その位置に基づいて、物体５３の少なくとも一部を含み、かつ投影領域６１よりも狭い部分領域６３にのみ投影が行われるようにする。撮像指示に伴って撮像が行われ、生成された画像データが記録媒体に記録される。
【選択図】図６

Description

本発明は画像を投影する機能を持った撮像装置に関する。

画像の投影機能（プロジェクタ機能）を持ったデジタルカメラにおいて、投影時に人物が投影光路中に入ったことを顔認識によって検知し、防眩のために投影輝度を下げるものがある（例えば、特許文献１参照）。

特開２００８−１９６３７号公報

しかしながら、特許文献１には、投影光路中の物体（人物）を投影像とともに撮像して記録するという考え方はなく、そのための配慮はなされていない。

本発明に係る投影機能付き撮像装置は、画像を投影面に投影する投影手段と、投影面に投影された像を撮像可能な撮像手段と、投影面までの光路中に物体が存在するか否かを検出するとともに、存在する場合はその物体の位置を検出する検出手段と、投影時に、検出された物体の位置に基づいて投影制御を行うとともに、該制御時に撮像が指示されると、撮像手段による撮像を行って画像データを取得し、その画像データを記録媒体に記録する制御手段とを具備することを特徴とする。

本発明によれば、投影手段による投影像を利用した効果的な撮像が可能となる。

本発明の一実施形態におけるプロジェクタ内蔵デジタルカメラの制御ブロック図。投影光路中に物体（人物）が存在する場合の撮像を説明する図。投影時の動作を説明するフローチャート。図３に続くフローチャート。自動ズームによる撮像領域と投影領域との関係を示す図。投影光路中に物体が存在する場合の投影制御の一例を説明する図。投影光路中に物体が存在する場合の投影制御の他の例を説明する図。投影光路中に物体が存在する場合の投影制御の更に他の例を説明する図。図６と同様の図で、部分領域６３の大きさが異なる例を示す。図６と同様の図で、部分領域６３の形状が異なる例を示す。

図面に基づいて本発明の一実施形態を説明する。
図１は本実施形態におけるプロジェクタ内蔵デジタルカメラのブロック図である。撮影レンズ１は、焦点調節のための合焦光学系および画角調整用のズーム光学系を含む。撮影レンズ１を透過した光束は、ＣＣＤ等の撮像素子２に導かれ、撮像素子２の光電変換出力は、Ａ／Ｄ変換回路３でデジタル画像信号に変換される。撮像およびＡ／Ｄ変換のタイミングは、タイミングジェネレータ４によって制御される。

ＣＰＵ５は、上記デジタル画像信号に種々のデジタル処理を施して画像データを生成する。画像データは、バッファメモリ６に一時記憶された後、カメラ背面等に設けられた液晶モニタ７に画像として表示される。

撮影モード時には、上記撮像が繰り返され、その都度得られる画像データに基づく画像が液晶モニタ７に逐次更新表示される。この逐次更新表示は、ライブビュー表示またはスルー画表示と呼ばれ、撮影者はその表示画像を見ながら構図を決定する。撮影指示がなされると、改めて撮像が行われ、それによって生成された画像データは、コンピュータで扱うことが可能な画像ファイルとして、インターフェース８を介して記録媒体９に記録される。再生モードでは、記録媒体９に記録された画像データを読み出して液晶モニタ７に表示することができる。

ＡＦ（オートフォーカス）モータ１０は、ＣＰＵ５からの指示に応じて撮影レンズ１の合焦光学系を駆動し、焦点調節を行う。ＡＦ方式は問わないが、画像データを用いたコントラストＡＦが一般的である。ズームモータ１１は、ＣＰＵ５からの指示に応じて撮影レンズ１のズーム光学系を駆動し、ズーミング（画角調整）を行う。

プロジェクタモジュール３０は、記録媒体９等に記録された画像データを外部に投影するためのもので、高輝度ＬＥＤ等の光源３１と、反射型または透過型の液晶パネル３２と、投影レンズ３３とを有する。投影モードにおいて、ユーザが投影すべき画像データを選択すると、ＣＰＵ５はその画像データを液晶パネル３２に表示するとともに、光源３１を点灯する。これにより、光源光が液晶パネル３２に入射して投影光像が形成され、その光像が投影レンズ３３を介して外部の投影面（壁面等）に投影される。投影面における像のサイズは、カメラから投影面までの距離（以下、投影距離）に依存する。また、投影レンズ３３の焦点調節は、モータ３４により自動で行うことができるし、手動調節も可能である。

ＣＰＵ５は、操作部１２からの入力に応答して各部を制御し、撮像、再生、投影等の種々のカメラ動作を行う。操作部１２は、電源ボタンやレリーズボタン、ズームボタン、その他の複数の操作部材を含む。

次に、画像投影時の撮像について説明する。
本実施形態のカメラでは、上記プロジェクタモジュール３０を用いた投影時も撮像および画像記録が許容される。プロジェクタモジュール３０の投影窓と、撮影レンズ１に光を取り込むための撮影窓は、カメラの同一面上に近接配置され、このため投影面に形成された投影像を撮影レンズ１で捕らえることができる。これによれば、例えば図２に示すように、カメラ５１と投影面５２との間の投影光路中に人物５３を立たせ、投影像を背景にして、あるいは投影光を人物に敢えて重畳させて人物撮影を行うといった使い方ができる。その際、ＣＰＵ５は、人物の立ち位置に応じて投影領域を変えたり、投影像が人物に被らないようしたり、人物の位置と他の位置とで投影する画像を変えるといった投影制御を行う。

図３，図４は上記の制御を実現するためのＣＰＵ５の処理手順の一例を示している。
このプログラムは予めメモリ１３に格納されたもので、ユーザによる投影開始操作（例えば、投影モードの設定操作）に伴ってＣＰＵ５により起動される。ステップＳ１では、投影を開始する。すなわち、記録媒体９に記録されているいずれかの画像データを読み出し、液晶パネル３２に表示するとともに、光源３１をオンする。

ステップＳ２では、撮像素子２による撮像を行って画像データを得る。撮像にあたっては、投影面における投影領域全体が撮影画面に収まるように、撮影レンズ１を例えばワイド端位置に設定して行う。ステップＳ３では、ステップＳ２で得られた画像データに基づき、撮影画面の複数のＡＦエリアに対してコントラストＡＦ制御（多点ＡＦ）を行う。例えば、撮影画面全体を複数のＡＦエリアに分割してＡＦを行う。ここでのＡＦ制御は、各ＡＦエリアの被写体距離を求めるためのものであり、ステップＳ４で全エリアの被写体距離が判明するまでステップＳ２，Ｓ３を繰り返す。ステップＳ４が肯定されるとステップＳ４ａに進み、全エリアの被写体距離のうちの最遠距離を投影距離（投影面までの距離）とする。

ステップＳ５では、投影距離に基づき、撮影画面内に投影領域が適度の大きさで収まるように自動ズーム（画角調整）を行う。ここで、投影距離によって投影領域の大きさが一義的に決まり、その大きさによって、画面内に投影領域が予め決められた大きさで収まるような撮影レンズ１の焦点距離が決まる。そこで、予め投影距離に適当な焦点距離を対応づけたテーブルをメモリ１３に格納しておき、上記ステップＳ５では、ステップＳ４ａで設定した投影距離に基づいてテーブルから焦点距離を抽出し、その焦点距離となるようにズーム光学系を駆動する。なお、電子ズームを併用してもよい。

図５は投影面における投影領域６１と、ステップＳ５での自動ズーム後の撮像領域６２との関係を示している。ここでの投影領域６１は、後述するステップＳ９の投影制御を行わないときの通常の投影領域である。図の例では、投影領域６１の４辺側に余白が残るように、撮像領域６２が投影領域６１よりも若干大きくなっている。撮像領域６２を投影領域６１と同等か若干小さくして余白が残らないようにすることも可能である。余白の有無は、予めユーザが選択できるようにしてもよい。

ステップＳ６では、上記投影距離に応じた位置に投影レンズ３３を駆動し、投影像が鮮明に映るようにする。なお、投影レンズ３３の焦点調節は手動操作で行ってもよく、この場合は、逆に投影レンズ３３の位置に基づいて投影距離を得る。

ステップＳ７では、上述した多点ＡＦ結果に基づき、投影光路中に何らかの物体（以下、中間物体）が存在するか否かを判定する。各ＡＦエリアの被写体距離が実質的に全て等しければ中間物体は存在しないと判断し、そうでなければ中間物体が存在すると判断する。

中間物体が存在すると判断した場合はステップＳ８に進み、各ＡＦエリアの被写体距離に基づいて、中間物体の画面内における位置を推定する。被写体距離＜投影距離を満たすＡＦエリアには中間物体が存在し、被写体距離＝撮影距離のＡＦエリアには中間物体は存在しないと判断できる。ステップＳ９では、中間物体の位置に基づく投影制御を行う（後で詳述する）。ステップＳ１０では、撮影レンズ１のＡＦ制御を行って中間物体に合焦させる。

一方、ステップＳ７で中間物体が存在しないと判定された場合はステップＳ１１に進み、通常の投影制御を行う。この場合の投影領域は、図５の通常投影領域６１に固定される。ステップＳ１２では、撮影レンズ１のＡＦ制御を行って投影面に合焦させる。

ステップＳ１０，Ｓ１２の後はステップＳ１３（図４）に進み、ユーザによる投影画像の変更操作がなされたか否かを判定し、否定されるとステップＳ１５に進む。ステップＳ１３が肯定されるとステップＳ１４に進み、投影画像を変更する。すなわち、撮影者が選んだ画像を新たに投影用の液晶パネル３２に表示する。

ステップＳ１５ではレリーズボタンのレリーズ操作の有無を判定し、否定されるとステップＳ１８に進む。ステップＳ１５が肯定されるとステップＳ１６で撮像を行って画像データを生成し、ステップＳ１７では、その画像データから生成した画像ファイルを記録媒体９に記録する。ステップＳ１８では投影終了操作（例えば、投影モードの解除操作）がなされたか否かを判定し、否定されるとステップＳ２に戻り、肯定されると処理を終了する。なお、上記ステップＳ１６は静止画の撮像であるが、動画撮影を行うことも可能である。

次に、中間物体の位置に基づく投影制御（ステップＳ９）について詳述する。
カメラは、以下の（例１）〜（例３）の機能を全て備えており、その何れかを予めユーザが選択する。ただし、いずれか１または２の機能を持つカメラであってもよい。

（例１）光路中に中間物体が存在する場合は、その中間物体を撮像しようとしていると判断し、投影によって効果的な背景を形成する。例えば図６に示すように、通常の投影領域６１のうち、中間物体の一部（ここでは人物の頭部）を含む部分領域６３にのみ投影を行う。図の斜線部分が投影される領域を示している。部分領域６３の位置や大きさは、ステップＳ８の位置認識結果に基づいて設定する。領域６１のうち領域６３以外の部分は、液晶パネル３１の該当するドット部分を遮光状態とすることで、実質的に投影が行われないようにする。

（例２）上述とは逆に、領域６１のうち部分領域６３には投影を行わず、それ以外の領域に投影を行う（図７参照）。

（例３）領域６１のうち部分領域６３とそれ以外の領域に、それぞれ異なる画像を投影する（図８参照）。これは、液晶パネル３２の領域６３に相当する部分とその他の部分とに別々の画像を表示することで達成できる。

（例１）〜（例３）において、投影中は、上記ステップＳ２〜Ｓ１０の処理が繰り返し行われるので、中間物体が画面内で移動すると、それに追従して部分領域６３の位置や大きさも自動的に変化する。すなわち、中間物体が横方向に移動すると部分領域６３も同方向に移動し、中間物体が前後（光軸方向）に移動すると、部分領域６３の大きさが変化する（投影面に近づくほど小）。動画撮影では、その変化の様子を撮影することができる。

投影する画像は、ユーザ自身が撮像した画像データであってもよいし、予めプリインストールされている専用の（投影時の撮像を前提として作られた）画像データであってもよい。後者の場合は、例えば幾何学模様あるいは無地のパターンであってもよく、複数の画像からユーザが事前に選択できるようにすることが望ましい。また、例えばメーカのＷｅｂサーバから画像をダウンロードすることで、選択肢を増やせるようにしてもよい。

さらに、中間物体の一部を含む領域を部分領域６３としたが、中間物体の全体を含む領域であってもよい（図９参照）。また、部分領域６３の形状は矩形に限定されず、予めメモリ１３に格納された複数の形状テンプレートからユーザが選択できるようにしてもよい。このテンプレートもＷｅｂサーバからダウンロードできるようにしてもよい。図１０はハート形の形状テンプレートを選択した例を示している。

なお、ユーザによる投影画像や形状テンプレートの事前選択は、それらを実際に投影した状態で行えるようにすることが望ましい。

ユーザが部分領域６３の形状を任意に設定できるようにしてもよい。例えば、液晶モニタ７にタッチパネルを配したカメラでは、ユーザがタッチパネル上に図形を描くと、その図形が部分領域６３の形状の選択肢として登録されるようにしてもよい。また、部分領域６３の形状は特に定めなくてもよい。例えば上述の多点ＡＦにおいて、ＡＦエリアをより細かく分割すれば、部分領域６３の形状を自動的に中間物体の形状に近づけることができる。

なお、中間物体が複数検出された場合は、部分領域６３の数も複数となる。あるいは、複数の部分領域６３を連結して１個の部分領域としてもよい。

以上では中間物体の種類は考慮していないが、中間物体が人物のときに限ってステップＳ９の制御を行うようにしてもよい。この場合は、公知の顔認識技術を用いてステップＳ７の判定を行ったり、顔の位置や大きさの検出、またそれらに基づく体の位置の推定等も顔認識技術を利用でき、その結果を部分領域６３の設定に反映させることができる。

なお、撮像を考慮しない通常の投影モードが別に選択できるようにしてもよい。

１撮影レンズ
２撮像素子
５ＣＰＵ
９記録媒体
３０プロジェクタモジュール
５１カメラ
５２投影面
５３投影光路中の人物
６１投影面における投影領域
６２撮像領域
６３部分領域

Claims

画像を投影面に投影する投影手段と、
前記投影面に投影された像を撮像可能な撮像手段と、
前記投影面までの光路中に物体が存在するか否かを検出するとともに、存在する場合はその物体の位置を検出する検出手段と、
投影時に、前記検出された物体の位置に基づいて投影制御を行うとともに、該制御時に撮像が指示されると、前記撮像手段による撮像を行って画像データを取得し、その画像データを記録媒体に記録する制御手段とを具備することを特徴とする投影機能付き撮像装置。
前記制御手段は、前記光路中に物体が検出されないときは、通常投影領域に投影を行い、物体が検出されたときは、当該物体の少なくとも一部を含み、かつ前記通常投影領域よりも狭い部分領域にのみ投影を行うことを特徴とする請求項１に記載の投影機能付き撮像装置。
前記制御手段は、前記光路中に物体が検出されないときは、通常投影領域に投影を行い、物体が検出されたときは、当該物体の少なくとも一部を含み、かつ前記通常投影領域よりも狭い部分領域には投影を行わず、前記通常投影領域のうち前記部分領域を除いた領域に投影を行うことを特徴とする請求項１に記載の投影機能付き撮像装置。
前記制御手段は、前記光路中に物体が検出されないときは、通常投影領域に投影を行い、物体が検出されたときは、当該物体の少なくとも一部を含み、かつ前記通常投影領域よりも狭い部分領域に第１の画像を投影し、前記通常投影領域のうち前記部分領域を除いた領域に第２の画像を投影することを特徴とする請求項１に記載の投影機能付き撮像装置。
ユーザ操作に応じて前記部分領域の形状を選択または作成可能としたことを特徴とする請求項１〜４のいずれか１項に記載の投影機能付き撮像装置。
前記検出手段は、画像データ中の人物の顔を認識する顔認識手段であることを特徴とする請求項１〜５のいずれか１項に記載の投影機能付き撮像装置。
前記投影面までの距離を検出し、該距離に基づいて撮影画角を設定する画角設定手段を更に備えることを特徴とする請求項１〜６のいずれか１項に記載の投影機能付き撮像装置。