JP2014035756A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】投影対象の手前に位置する被写体の存在に関わらず所望の投影画像を投影すること。
【解決手段】投影制御部４１は、入力される画像信号に応じた投影画像を投影部１９によりスクリーン１１０等の投影対象に向けて投影させる制御を実行する。画像取得部４３は、撮像部１８により撮像された画像であって、投影部１９により投影画像１３０が投影されているスクリーン１１０等の投影対象と、撮像部１８からみてスクリーン１１０等の投影対象より手前に位置する被写体１２０とが含まれる画像を取得する。被写体検出部４４は、撮像部１８により撮像された撮像画像から、被写体１２０の領域を検出する。投影画像処理部４６は、被写体検出部４４により検出された被写体１２０の領域に対して所定の画像処理を、投影部１９により投影される投影画像を対象に行う。
【選択図】図５

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来から、壁やスクリーン等の投影対象に向けて投影画像を投影するいわゆるプロジェクタの機能が搭載されたデジタルカメラが知られている（例えば、特許文献１参照）。このような機能が搭載されたデジタルカメラは、投影画像を投影対象に対し投影すると同時に、当該投影画像が投影されている投影対象を背景として、デジタルカメラと投影対象との間に存在する人物等を被写体として動画像や静止画像を撮像することができる。

特開２０１１−１００９８号公報

しかしながら、特許文献１を含め従来のデジタルカメラがこのような撮像を行うと、被写体に対して投影画像の少なくとも一部が重畳して投影される。したがって、被写体の形状如何によっては、投影画像が歪んでしまう等、所望の状態で投影画像を投影できないため、投影画像の鮮明さが損なわれてしまう。

本発明は、このような状況に鑑みてなされたものであり、投影対象の手前に位置する被写体の存在に関わらず所望の投影画像を投影することを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
入力される画像信号に応じた投影画像を投影手段により投影対象に向けて投影させる制御を実行する投影制御手段と、
撮像手段により撮像された画像であって、前記投影手段により投影画像が投影されている前記投影対象と、前記投影手段からみて前記投影対象より手前に位置する被写体とが含まれる画像を取得する画像取得手段と、
前記撮像手段により撮像された撮像画像から、前記被写体の領域を検出する被写体検出手段と、
前記被写体検出手段により検出された被写体の領域に対して所定の画像処理を、前記投影手段により投影される投影画像を対象に行う投影画像処理手段と、
を備えることを特徴とする。

本発明によれば、投影対象の手前に位置する被写体の存在に関わらず所望の投影画像を投影することができる。

本発明の実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。 投影対象の一例であるスクリーンの手前に被写体が存在する状態で、図１の画像処理装置が投影画像をスクリーンに投影した状態を示す図である。 図１の画像処理装置が実行する透明化の画像処理の概要について説明する図である。 図２と対比する図であって、投影対象の一例であるスクリーンの手前に被写体が存在する状態で、画像処理装置が、顔領域が透明化された投影画像をスクリーンに投影した状態を示す図である。 図１の画像処理装置の機能的構成のうち、このような投影制御処理を実行するための機能的構成を示す機能ブロック図である。 記憶部に記憶されている判別画像テーブルの表示例を示している。 図５の機能的構成を有する図の画像処理装置が実行する投影制御処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。
画像処理装置１は、例えばデジタルカメラとして構成される。

画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、出力部１６と、入力部１７と、撮像部１８と、投影部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、出力部１６、入力部１７、撮像部１８、投影部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。

出力部１６は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
入力部１７は、電源ボタン、シャッタボタン等各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。なお、ここでいう各種ボタン等には、ハードウェアボタンのみならず、出力部１６の画面に表示されるソフトウェアボタンも含まれる。即ち、入力部１７は、出力部１６のディスプレイに積層されるタッチパネルも含むように構成されている。

撮像部１８は、被写体を撮像し、当該被写体の像を含む画像（以下、「撮像画像」と称する）のデジタル信号（画像信号）をＣＰＵ１１に供給する。ここで、撮像画像のデジタル信号（画像信号）を、「撮像画像のデータ」と適宜呼ぶ。

投影部１９は、各種画像のデータを投影画像のデータと取得して、当該投影画像を壁やスクリーン等の投影対象に投影する。
投影画像のデータは、特に限定されず、撮像部１８により撮像されているリアルタイムの撮像画像のデータであってもよいし、記憶部２０に記憶された画像のデータ（過去に撮像済みの撮像画像のデータや、他装置から送信されて通信部２１に受信された画像のデータ等）であってもよい。
本実施形態では、投影部１９は、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）素子を用いた公知のＤＬＰ（登録商標）方式で構成されたいわゆるプロジェクタにより構成される。

記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、撮像画像等の各種画像のデータを記憶する。
記憶部２０はまた、複数の被写体を判別するための判別画像テーブルを記憶している。判別画像テーブルの詳細については、後述の図３を参照して説明する。

通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。

図２は、投影対象の一例であるスクリーン１１０の手前、即ち、スクリーン１１０と画像処理装置１との間に被写体１２０が存在する状態で、画像処理装置１が投影画像１３０をスクリーン１１０に投影した状態を示す図である。以下、説明の便宜上、スクリーン１１０から見て、画像処理装置１側を「手前」と呼ぶ。

図２（１）に示すように、スクリーン１１０の手前に被写体１２０が存在する環境で、画像処理装置１の投影部１９により投影画像が投影されたスクリーン１１０が、画像処理装置１の撮像部１８により撮像される場合がある。
この場合、図２（２）に示すように、スクリーン１１０に単に投影されようとした投影画像１３０のうち、被写体１２０及びその周囲に投影された部分（特に顔１４０に投影された部分）が、当該被写体１２０（特に顔）の形状に応じて歪んで表示され、その結果、投影画像全体の鮮明さが損なわれてしまう。即ち、鮮明さが損なわれた投影画像１３０が投影されたスクリーン１１０と、その手前に存在する被写体１２０とが写る撮像画像となってしまう。
そこで、本実施形態の画像処理装置１は、投影画像１３０のうち、被写体１２０及びその周囲に投影された部分のデータ（画像信号）に対して、所定の画像処理を施すことで、当該被写体１２０の存在に関わらず鮮明な投影画像１３０の投影を可能にする。
この場合の所定の画像処理の種類は、特に限定されないが、本実施形態では、投影画像のうち被写体１２０の顔１４０に投影される部分を透明化する画像処理が採用されている。
以下、このような。透明化の画像処理の概要について、上述した図２に加えて図３を参照して説明する。

図３は、図１の画像処理装置１が実行する透明化の画像処理の概要について説明する図である。
画像処理装置１のＣＰＵ１１は、ユーザにより入力部１７の投影開始ボタンが押下されると、投影部１９がスクリーン１１０に対し投影画像１３０を通常に投影するように制御する。この場合、上述したように、スクリーン１１０の手前に人物たる被写体１２０が存在すると（図２（１）参照）、スクリーン１１０に投影された投影画像１３０のうち、被写体１２０及びその周囲に投影された部分（特に顔１４０部分）が、当該被写体１２０の顔１４０の形状に合わせて歪んでしまう（図２（２）参照）。
そこで、画像処理装置１のＣＰＵ１１は、投影画像１３０内の歪んでいる部分（即ち、被写体１２０の顔１４０に投影されている部分）を特定すべく、図２（１）に示す状態で、図２（２）の様子を撮像部１８に撮像させる。即ち、画像処理装置１のＣＰＵ１１は、撮影が指示されると、投影画像１３０が通常に投影されているスクリーン１１０の手前に被写体１２０が存在する状態で、スクリーン１１０の投影面全体（即ち、スクリーン１１０に投影された投影画像１３０全体）が画角に入るように撮像部１８に撮像させる。
このような撮像部１８による撮像の結果、図３（１）に示す撮像画像ｇ１（静止画ｇ１）が得られる。この図３（１）に示す撮像画像ｇ１には、投影画像１３０が投影された被写体１２０の像１２０ｇ（以下、「被写体像１２０ｇ」と呼ぶ）と、投影画像１３０が投影されたスクリーン１１０の像１３０ｇ（以下、「スクリーン像１３０ｇ」と呼ぶ）とが含まれている。被写体像１２０ｇの顔領域においては、投影画像１３０が被写体１２０の形状に合わせて歪んでいる様子が写し出される。従って、この時点で撮像された撮像画像ｇ１は、特に被写体像１２０ｇの顔領域が不鮮明な状態で撮像されている。

そこで、画像処理装置１のＣＰＵ１１は、図３（２）に示すように、撮像画像ｇ１のデータに対し顔特徴点解析を施すことにより、被写体像１２０ｇの顔領域１４０ｇを検出する。
次に、画像処理装置１のＣＰＵ１１は、図３（３）に示すように、検出した顔領域１４０ｇのみが透明（例えば画素値０）となり、それ以外が黒等の一定色となる画像ｇ２（以下、「顔検出画像ｇ２」と呼ぶ）のデータを生成する。
そして、画像処理装置１のＣＰＵ１１は、顔検出画像ｇ２のデータと、投影画像ｇ３（これまでの投影画像１３０（図２参照）と同一の画像ｇ３）のデータとを合成することによって、図３（４）に示す合成画像ｇ４のデータを生成する。即ち、合成画像ｇ４とは、投影画像１３０のうち、顔領域１４０ｇのみが透明化されたものである。
このようにして、投影画像ｇ３（投影画像１３０と同一の画像ｇ３）に対して、検出した顔領域１４０ｇを透明化する画像処理が実行される。

図４は、図２と対比する図であって、投影対象の一例であるスクリーン１１０の手前、即ち、スクリーン１１０と画像処理装置１との間に被写体１２０が存在する状態で、画像処理装置１が、顔領域１４０ｇが透明化された投影画像ｇ４をスクリーン１１０に投影した状態を示す図である。

図４（１）は、図２（１）と同一の図であって、スクリーン１１０の手前に被写体１２０が存在する環境で、画像処理装置１の投影部１９により、顔領域１４０ｇが透明化された投影画像ｇ４（図３（４）参照）が投影されたスクリーン１１０が、画像処理装置１の撮像部１８により撮像される様子を示している。
この場合、図４（２）に示すように、スクリーン１１０に対して投影画像ｇ４が投影されると、被写体１２０の顔１４０には透明な部分が投影される（単に投影部１９の光源の光が照射される）ので、図２（２）のような歪みは生ぜず、その結果、このような状態で撮像部１８により撮像が行われると、鮮明さが際立った投影画像１３０が投影されたスクリーン１１０と、その手前に存在する被写体１２０とが写る撮像画像が得られる。

以上図２乃至図４を参照して説明した、画像処理装置１により実行される一連の処理を、「投影制御処理」と呼ぶ。
即ち、投影制御処理とは、ユーザにより入力部１７の投影開始ボタンが押下されたことにより画像処理装置１の動作モードが投影状態に変更されたことを契機として開始される、次のような一連の処理をいう。
即ち、画像処理装置１は、先ず、投影画像を投影対象に投影する。この場合、投影対象の手前には被写体が存在することを前提とする。画像処理装置１は、被写体及び投影対象を撮像することによって、前処理用の撮像画像（静止画像）のデータを得る。次に、画像処理装置１は、前処理用の撮像画像のデータに対して、被写体の顔領域の検出処理を施す。そして、画像処理装置１は、検出された顔領域の情報に基づいて、投影画像のうち被写体の顔に投射される領域（以下、「投影画像の顔領域」と呼ぶ）を透明化する画像処理を実行する。画像処理装置１は、画像処理実行後の投影画像、即ち顔領域が透明化された投影画像を、投影対象に投影する。画像処理装置１は、被写体及び投影対象を撮像し、その結果得られる記録用の撮像画像（静止画像）のデータをリムーバブルメディア３１等に記録させる。このような一連の処理が、投影制御処理である。
ここで、顔領域の検出処理の手法は、特に限定されないが、例えば、各学習テンプレートに基づいて、ニューラルネットワーク（ＮＮ）、アダブースト（ＡｄａＢｏｏｓｔ）、サポートベクターマシン（ＳＶＭ）と呼ばれるアルゴリズムに従って顔領域を推定して検出する手法を採用することができる。
ニューラルネットワーク（ＮＮ：Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、アダブースト（ＡｄａＢｏｏｓｔ）、サポートベクターマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）、による顔検出処理は、公知の技術であるため、本実施形態では、詳細な説明については省略する。

図５は、図１の画像処理装置１の機能的構成のうち、このような投影制御処理を実行するための機能的構成を示す機能ブロック図である。
ＣＰＵ１１においては、投影制御処理の実行が制御される場合、投影制御部４１と、撮像制御部４２と、画像取得部４３と、被写体検出部４４と、判別部４５と、投影画像処理部４６と、が機能する。
なお、図５は例示であり、画像処理装置１にＧＡ（Ｇｒａｐｈｉｃｓ Ａｃｃｅｌｅｒａｔｏｒ）等の画像処理専用のハードウェアを備えて、ＣＰＵ１１の機能の少なくとも一部を当該ハードウェアに委譲してもよい。
また、記憶部２０は、上述したように、複数の被写体を判別するための複数の判別画像を含む判別画像テーブルを記憶している。

ここで、図６を参照して、記憶部２０に記憶されている判別画像テーブルについて説明する。図６は、記憶部２０に記憶されている判別画像テーブルの表示例を示している。
判別画像テーブルには、判別の対象となるｎ個の判別画像２０１−１、２０１−２、２０１−３、２０１−４、２０１−５、・・・２０１−ｎの各データと、これらの判別画像に付された優先度と、これらの判別画像に対する画像処理のＯＮ（発揮状態）又はＯＦＦ（非発揮状態）を示す判別設定フラグと、が対応付けられて記憶されている。以下、複数の判別画像２０１−１、２０１−２、２０１−３、２０１−４、２０１−５、・・・２０１―ｎを個々に区別する必要がない場合、これらをまとめて、「判別画像２０１」と単に称する。
「判別画像２０１」とは、撮像部１８により撮像された撮像画像（前処理用の撮像画像）に含まれる被写体の顔を判別するために用いられる、予め既知の人物の顔を含む画像をいう。
「優先度」とは、撮像部１８により撮像された撮像画像から複数の被写体の形状（顔領域）が検出された場合、複数の被写体のうち何れの被写体を透明化の画像処理の対象とするのかについてか、又は、何れの被写体から透明化の画像処理の対象に設定するのかについて決定するための順位である。優先度は、１〜５まで設定され、優先度「５」が最高位であり、優先度が下がっていく（「１」に近づいていく）に従って、画像処理の対象になる順位が低くなる。例えば、撮像画像に優先度「３」の判別画像２０１−１に含まれる顔領域と類似する顔領域を有する被写体Ａが存在したとする。なお、以下、判別画像に含まれる顔領域と類似する顔領域を有する被写体を、単に「判別画像に類似する被写体」と表現する。また、撮像画像に、優先度「５」の判別画像２０１−４に類似する被写体Ｂが存在したとする。この場合について、各々の判別画像２０１−１，２０１−４に対応する判別フラグがＯＮである場合について考える。この場合、ＣＰＵ１１は、撮像画像に含まれる２つの被写体のうち、優先度「５」の被写体Ｂを、透明化の画像処理の対象に設定する。
ユーザは、入力部１７を操作して、画像処理装置１の処理モードを切り替えることによって、各優先度の情報及び判別設定フラグの情報を任意に変更することができる。

図５に戻り、投影制御部４１は、入力される画像信号（投影対象の画像のデータ）に応じた投影画像を、投影部１９からスクリーン１１０等の投影対象に投影させる制御を実行する。また、投影制御部４１は、後述の投影画像処理部４６により画像処理が行われた後においては、投影画像処理部４６により画像処理が行われた投影画像を、投影部１９から投影対象に投影させる制御を実行する。

撮像制御部４２は、投影制御部４１の制御により投影画像１３０が投影された投影対象（及びその手前に存在する被写体）を撮像部１８に撮像させる制御を実行する。
画像取得部４３は、撮像制御部４２の制御により撮像部１８により撮像された撮像画像であって、投影部１９により投影画像が投影されているスクリーン１１０等の投影対象及びその手前に位置する被写体とが含まれる撮像画像を取得する。画像取得部４３は、取得した撮像画像のデータを被写体検出部４４へ供給する。

被写体検出部４４は、撮像制御部４２の制御により撮像された撮像画像のデータから、スクリーン１１０の手前に位置する被写体の形状を検出する。具体的には、被写体検出部４４は、撮像画像のデータに対して顔特徴点解析を施すことにより、被写体の顔領域を検出する。
この場合、被写体検出部４４は、投影制御部４１により投影された投影画像と、撮像制御部４２により撮像された撮像画像とで画像が異なる領域を被写体１２０（図４参照）の形状として検出する。具体的には、被写体検出部４４は、投影画像と撮影画像とを、ブロック（小領域）単位でパターンマッチングして、マッチしないブロックの集合体の形状を、撮像画像の被写体の形状として検出する。これにより、被写体検出部４４は、投影画像と撮像画像とを区別して、撮像画像のデータの被写体に対して顔特徴点解析を施すことができる。

また、被写体検出部４４は、投影部１９からの１のオブジェクト（例えば、スクリーン１１０や、被写体１２０等）までの距離の情報に基づいて、投影部１９からスクリーン１１０までの距離が短い対象を被写体１２０の形状として検出する。被写体検出部４４は、１のオブジェクト（例えば、スクリーン１１０や、被写体１２０等）に対する各焦点距離を用いて、各オブジェクトまでの距離の情報として予測演算する。これにより、被写体検出部４４は、投影画像と撮像画像とを区別して、撮像画像のデータの被写体に対して顔特徴点解析を施すことができる。被写体検出部４４は、検出した被写体１２０（図３参照）の顔領域１４０ｇ（図３参照）の情報を判別部４５及び投影画像処理部４６へ供給する。

判別部４５は、撮像制御部４２の制御により撮像された撮像画像のデータを比較対象として設定すると共に、記憶部２０の判別画像テーブルに記憶されている判別画像のデータを比較相手として設定して、比較対象と比較相手との各被写体が略一致するか否かを判別する。判別部４５は、判別結果を投影画像処理部４６へ通知する。

投影画像処理部４６は、判別部４５により比較対象と比較相手との各被写体が略一致すると判別された場合に、投影画像の被写体の顔領域を透明化させる画像処理を、当該投影画像のデータに対して施す。そして、投影画像処理部４６により顔領域が透明化された投影画像が、スクリーン等の投影対象に投影される。

次に、図７を参照して、このような図５の機能的構成の画像処理装置１が実行する投影制御処理について説明する。
図７は、図５の機能的構成を有する図１の画像処理装置１が実行する投影制御処理の流れを説明するフローチャートである。

投影制御処理は、ユーザにより入力部１７の投影開始ボタンが押下されたことにより画像処理装置１の動作モードが投影状態に変更されたことを契機として開始され、次のような処理が繰り返し実行される。

ステップＳ１１において、投影制御部４１は、スクリーン１１０に投影画像を投影させる制御を実行する。この処理において投影される投影画像１３０は、まだ透明化されていないため、図２（２）に示すように、被写体１２０及びその周囲に投影された部分（特に顔１４０）が歪んで表示されている。

ステップＳ１２において、撮像制御部４２は、入力部１７のシャッタボタンが押下されたか否かを判定する。この処理では、撮像制御部４２は、シャッタボタンが押下されたか否かを判定することで、ユーザが撮像画像（静止画）を撮像したいと所望しているか否かを判定する。シャッタボタンが押下されていない場合には、ステップＳ１２においてＮＯであると判定されて、処理はステップＳ１２に戻る。即ち、シャッタボタンが押下されるまでの間、ステップＳ１２の処理が繰り返し実行され、投影制御処理は待機状態となる。シャッタボタンが押下された場合には、ステップＳ１２においてＹＥＳであると判定されて、処理はステップＳ１３に進む。

ステップＳ１３において、撮像制御部４２は、投影制御部４１により投影された投影画像１３０（静止画）を撮像する制御を実行する。この処理において撮像される撮像画像は、前処理用の撮像画像のデータとして取得される。

ステップＳ１４において、被写体検出部４４は、ステップＳ１３において撮像された前処理用の撮像画像のデータに対する顔特徴点解析に基づいて被写体の顔領域を検出する。

ステップＳ１５において、判別部４５は、ステップＳ１３において撮像した撮像画像に含まれる被写体が、記憶部２０に記憶されている被写体と略一致するか否かを判定する。この処理では、判別部４５は、撮像部１８により撮像された投影画像に含まれる被写体が、記憶部２０に記憶されている判別画像テーブルの各判別画像２０１に含まれる被写体と略一致するか否かを判定する。撮像画像に含まれる被写体が、記憶部２０に記憶されている被写体と略一致していないと判定した場合には、ステップＳ１５においてＮＯであると判定されて、処理はステップＳ１７に進む。これに対し、撮像画像に含まれる被写体が、記憶部２０に記憶されている被写体と略一致していると判定した場合には、ステップＳ１５においてＹＥＳであると判定されて、処理はステップＳ１６に進む。

ステップＳ１６において、投影画像処理部４６は、投影画像の顔領域を透明化する画像処理を行う。
この処理では、投影画像処理部４６は、投影画像のうち、ステップＳ１５において略一致したと判定された被写体の顔領域１４０ｇを透明化させる画像処理を、当該投影画像のデータに対して施す。そして、投影制御部４１は、投影画像処理部４６により顔領域１４０ｇが透明化された投影画像が、スクリーン１１０等の投影対象に投影される。

ステップＳ１７において、撮像制御部４２は、ステップＳ１６において透明化され、投影制御部４１により投影された投影画像１３０（静止画）を撮像する制御を実行する。この処理では、撮像制御部４２は、ステップＳ１６において透明化された投影画像１３０（静止画）が撮像される。

ステップＳ１８において、撮像制御部４２は、ステップＳ１７において撮像された撮像画像のデータをリムーバブルメディア３１に記録する。
ステップＳ１９において、投影制御部４１は、投影制御処理の終了指示を受け付けたか否かを判定する。終了指示を受け付けていない場合には、ステップＳ１９においてＮＯであると判定されて、処理はステップＳ１２に戻る。即ち、終了指示を受け付けるまでの間ステップＳ１２乃至Ｓ１９の処理が繰り返し行われる。これに対し、終了指示を受け付けた場合には、ステップＳ１９においてＹＥＳであると判定されて、投影制御処理は終了となる。

以上説明したように、本実施形態の画像処理装置１は、投影制御部４１と、画像取得部４３と、被写体検出部４４と、判別部４５と、投影画像処理部４６と、を備える。投影制御部４１は、入力される画像信号に応じた投影画像を投影部１９によりスクリーン１１０等の投影対象に向けて投影させる制御を実行する。画像取得部４３は、撮像部１８により撮像された画像であって、投影部１９により投影画像１３０が投影されているスクリーン１１０等の投影対象と、撮像部１８からみてスクリーン１１０等の投影対象より手前に位置する被写体１２０とが含まれる画像を取得する。被写体検出部４４は、撮像部１８により撮像された撮像画像から、被写体１２０の領域を検出する。投影画像処理部４６は、被写体検出部４４により検出された被写体１２０の領域に対して所定の画像処理を、投影部１９により投影される投影画像１３０を対象に行う。
これにより、被写体１２０（特に顔領域１４０ｇ）に対し投影される投影画像１３０に対し画像処理が行われることから、スクリーン１１０等の投影対象の手前に位置する被写体１２０の存在に関わらず鮮明な投影画像１３０を投影することができる。

さらに、画像処理装置１の投影画像処理部４６は、投影画像中の被写体の領域に対する所定領域（顔領域１４０ｇ）については、前記入力される画像信号に応じた画像を投影しない透明化の画像処理を行う。
これにより、被写体１２０（特に顔１４０）に対し投影される投影画像１３０に対し透明化の画像処理が行われることから、スクリーン１１０等の投影対象の手前に位置する被写体１２０の存在に関わらず鮮明な投影画像１３０を投影することができる。

さらに、画像処理装置１の被写体検出部４４は、投影部１９からスクリーン１１０等の投影対象までの距離が短い対象を被写体１２０の形状として検出する。
これにより、投影画像処理部４６は、スクリーン１１０等の投影対象の手前に被写体１２０が存在している場合であっても、投影画像１３０に含まれるオブジェクトと、スクリーン１１０の手前に存在する被写体１２０と、を区別して画像処理を行うことができる。したがって、スクリーン１１０等の投影対象の手前に位置する被写体１２０の存在に関わらず鮮明な投影画像１３０を投影することができる。

さらに、画像処理装置１の被写体検出部４４は、投影制御部４１により投影される投影画像１３０と撮像画像とで画像が異なる領域を被写体の形状として検出する。
これにより、投影画像処理部４６は、スクリーン１１０等の投影対象の手前に被写体１２０が存在している場合であっても、投影画像１３０に含まれるオブジェクトと、撮像画像に含まれるスクリーン１１０の手前に存在する被写体１２０と、を区別して画像処理を行うことができる。したがって、スクリーン１１０等の投影対象の手前に位置する被写体１２０の存在に関わらず鮮明な投影画像１３０を投影することができる。

さらに、画像処理装置１は、記憶部２０と、判別部４５と、をさらに備えることができる。この場合、記憶部２０は、被写体１２０を特定する判別画像２０１を含む判別画像テーブルを記憶する。判別部４５は、撮像部１８により撮像される撮像画像に含まれる被写体１２０と、記憶部２０に記憶されている被写体１２０を特定する判別画像２０１に含まれる被写体とが略一致するか否かを判別する。
そして、投影画像処理部４６は、判別部４５により略一致すると判別された場合に、投影画像１３０中の該当領域（顔領域１４０ｇ）の画像を透明化する画像処理を行う。
これにより、ユーザは、スクリーン１１０等の投影対象の手前に存在する被写体１２０の種別に応じて画像処理を行うか否かを決定することができる。したがって、スクリーン１１０等の投影対象の手前に位置する被写体１２０のうち、所望する被写体１２０の存在に関わらず鮮明な投影画像１３０を投影することができる。

さらに、画像処理装置１の記憶部２０に含まれる判別画像テーブルは、被写体１２０を特定する判別画像に関連付けて優先度を記憶する。そして、投影画像処理部４６は、被写体検出部４４により該被写体の形状が複数検出された場合に、優先度に応じて各該当領域（顔領域１４０ｇ）の投影画像の透明度を可変する画像処理を実行する。
これにより、ユーザは、スクリーン１１０等の投影対象の手前に存在する被写体１２０の優先度を予め設定することにより、画像処理を行うか否かを予め決定することができる。したがって、スクリーン１１０等の投影対象の手前に位置する被写体１２０のうち、所望する被写体１２０の存在に関わらず鮮明な投影画像１３０を投影することができる。

さらに、画像処理装置１は、判別部４５をさらに備える。判別部４５は、撮像画像の被写体１２０が投影画像の一部と略一致するか否かを判別する。そして、被写体検出部４４は、判別部４５により被写体１２０が投影画像１３０の一部と略一致すると判別された場合に、撮像画像から該被写体１２０の形状（特に、顔領域１４０ｇ）を検出する。
これにより、ユーザは、スクリーン１１０等の投影対象の手前に存在する被写体１２０の画像を予め設定することにより、画像処理を行うか否かを予め決定することができる。したがって、スクリーン１１０等の投影対象の手前に位置する被写体１２０のうち、所望する被写体１２０の存在に関わらず鮮明な投影画像１３０を投影することができる。

さらに、画像処理装置１の画像取得部４３は、投影画像処理部４６により画像処理が行われた投影画像が投影されたスクリーン１１０等の投影対象を被写体が撮像された画像と共に取得する。
これにより、被写体１２０に対し投影される画像処理が行われた投影画像１３０を取得することから、スクリーン１１０等の投影対象の手前に位置する被写体１２０の存在に関わらず鮮明な投影画像１３０を取得することができる。

さらに、画像処理装置１は、撮像制御部４２と、投影部１９と、撮像部１８と、をさらに備える。撮像制御部４２は、投影部１９により投影画像が投影されている投影対象と、被写体と、を撮像部１８により撮像させる制御を実行する。投影部１９は、投影制御部４１により制御されてスクリーン１１０等の投影対象に投影画像を投影する。撮像部１８は、撮像制御部４２により制御されて投影対象及び被写体を撮像する。
これにより、スクリーン１１０等の投影対象の手前に位置する被写体１２０の存在に関わらず投影された投影画像１３０を撮像することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、被写体検出部４４は、撮像制御部４２により撮像された撮像画像に対し顔特徴点解析を行うことにより被写体１２０の顔領域１４０ｇの検出を行っているがこれに限られるものではない。例えば、被写体検出部４４は、撮像制御部４２による撮像画像が動画像である場合に、被写体を追尾することで該被写体の形状を検出することができる。これにより、静止画だけではなく、動画に対しても不鮮明な動画を綺麗な動画として撮像することができる。

上述の実施形態では、被写体検出部４４は、各オブジェクトに対する各焦点距離に基づいて各オブジェクトまでの距離の情報を予測演算しているがこれに限られるものではない。例えば、被写体検出部４４は、超音波やレーザ等を用いた測距センサを用いて、各オブジェクトまでの距離の情報に基づいて各オブジェクトまでの距離の情報として演算予測することができる。これにより、焦点距離では測定できない環境下においても適切に各オブジェクトまでの焦点距離を測定することができる。

上述の実施形態では、投影画像処理部４６は、投影制御部４１により投影される投影画像中の被写体を透明化する画像処理を行っているがこれに限られるものではない。例えば、投影画像処理部４６は、投影制御部４１により投影される画像中の所定領域（特に顔領域１４０ｇ）の画像を色つきの半透明化する画像処理を行うことができる。これにより、画像処理が行われている対象を明確に把握することができる。

上述の実施形態では、投影画像処理部４６は、投影制御部４１により投影される画像中の被写体の顔領域の画像を透明化する画像処理を行っているがこれに限られるものではない。例えば、投影画像処理部４６は、投影制御部４１により投影される画像中の被写体の全部の領域を透明化する画像処理を行うことができる。

また、上述の実施形態では、投影画像処理部４６は、投影画像の顔領域を透明化する画像処理を行っているがこれに限られるものではない。
例えば、投影画像処理部４６は、被写体検出部４４により該被写体の形状が検出された場合に、投影制御部４１により投影される投影画像中の顔や体等の該当領域の画像を記憶部２０に記憶されている被写体の画像に置き換える画像処理を行うことができる。
この場合、記憶部２０には、被写体を特定する画像に該被写体の画像と置き換えるための複数の置換画像を含む置換画像テーブルを判別画像テーブルとは別にさらに記憶する。置換画像テーブルには、置換の対象となるｍ個の置換画像（図示せず）が記憶されている。
この場合、投影画像処理部４６は、撮像画像のうち略一致したと判定された被写体の顔領域１４０ｇを認識する。次に、投影画像処理部４６は、投影画像のうち、認識した顔領域１４０ｇに相当する領域の画像を、置換画像テーブルに記憶されている置換画像に置き換えた画像のデータを生成する。これにより、投影画像処理部４６は、投影画像の顔領域を置換画像に置き換える処理を行うことができる。そして、投影制御部４１は、投影画像処理部４６により顔領域１４０ｇに相当する領域の画像を置換画像に置き換えた画像を投影画像としてスクリーン１１０に投影する。これにより、投影画像１３０が不鮮明である場合であっても、予め記憶部２０に記憶された置換画像に置き換えられるため、鮮明な投影画像１３０を投影することができる。

また、上述の実施形態では、撮像制御部４２は、シャッタボタンが押下されたこと（ステップＳ１２）を契機として、投影画像１３０（静止画）を前処理用の撮像画像のデータとして撮像する制御を実行している（ステップＳ１３）がこれに限られるものではない。例えば、撮像制御部４２は、ステップＳ１３において、ユーザの入力部１７の操作に基づき前処理用の撮像指示が行われたことを契機として、投影画像１３０（静止画）を前処理用の撮像画像のデータとして撮像する制御を実行することができる。この場合、撮像制御部４２は、ステップＳ１７において、入力部１７のシャッタボタンが押下されたことを契機として、透明化された投影画像１３０（静止画）を撮像する制御を実行することができる。

また、上述の実施形態では、本発明が適用される画像処理装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、撮像機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図５の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
入力される画像信号に応じた投影画像を投影手段により投影対象に向けて投影させる制御を実行する投影制御手段と、
撮像手段により撮像された画像であって、前記投影手段により投影画像が投影されている前記投影対象と、前記投影手段からみて前記投影対象より手前に位置する被写体とが含まれる画像を取得する画像取得手段と、
前記撮像手段により撮像された撮像画像から、前記被写体の領域を検出する被写体検出手段と、
前記被写体検出手段により検出された被写体の領域に対して所定の画像処理を、前記投影手段により投影される投影画像を対象に行う投影画像処理手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記投影画像処理手段は、前記投影画像中の前記被写体の領域に対する所定領域については、前記入力される画像信号に応じた画像を投影しない透明化の画像処理を行う
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記投影画像処理手段は、前記投影画像中の前記所定領域の画像を色つき半透明化とする画像処理を行う
ことを特徴とする付記２に記載の画像処理装置。
［付記４］
前記被写体検出手段は、前記投影手段から前記投影対象までの距離が短い対象を被写体の形状として検出する
ことを特徴とする付記１に記載の画像処理装置。
［付記５］
前記被写体検出手段は、前記投影画像と前記撮像画像とで画像が異なる領域を被写体の形状として検出する
ことを特徴とする付記１に記載の画像処理装置。
［付記６］
被写体を特定する画像を記憶する記憶手段と、
前記撮像画像に含まれる被写体と、前記記憶手段に記憶されている前記画像に含まれる被写体とが略一致するか否かを判別する判別手段と、
をさらに備え、
前記投影画像処理手段は、前記判別手段により略一致すると判別された場合に、前記投影画像中の前記該当領域の画像を透明化する画像処理を行う
ことを特徴とする付記１、４又は５のうち何れか１つに記載の画像処理装置。
［付記７］
前記記憶手段は、前記被写体を特定する画像に関連する該被写体の画像をさらに記憶し、
前記投影画像処理手段は、前記被写体検出手段により該被写体の形状が検出された場合に、前記投影制御手段により投影される画像中の該当領域の画像を、前記記憶手段に記憶されている前記被写体の画像に置き換える
ことを特徴とする付記６に記載の画像処理装置。
［付記８］
前記記憶手段は、前記被写体を特定する画像に関連付けて優先度をさらに記憶し、
前記投影画像処理手段は、前記被写体検出手段により該被写体の形状が複数検出された場合に、前記優先度に応じて各該当領域の画像の透明度を可変する画像処理を実行する
ことを特徴とする付記６に記載の画像処理装置。
［付記９］
前記撮像画像の前記被写体が前記投影画像の一部と略一致するか否かを判別する判別手段をさらに備え、
前記被写体検出手段は、前記判別手段により前記被写体が前記投影画像の一部と略一致すると判別された場合に、前記撮像画像から該被写体の形状を検出する
ことを特徴とする付記１、２、３又は５のうち何れか１つに記載の画像処理装置。
［付記１０］
前記画像取得手段は、前記投影画像処理手段により画像処理が行われた投影画像が投影された前記投影対象を前記被写体が撮像された画像と共に取得する
ことを特徴とする付記１乃至９のうち何れか１つに記載の画像処理装置。
［付記１１］
前記被写体検出手段は、前記撮像画像が動画像である場合に、前記被写体を追尾することで該被写体の形状を検出する
ことを特徴とする付記１０に記載の画像処理装置。
［付記１２］
前記投影手段により投影画像が投影されている前記投影対象と、前記被写体と、を前記撮像手段により撮像させる制御を実行する撮像制御手段と、
前記投影制御手段により制御されて前記投影対象に前記投影画像を投影する投影手段と、
前記撮像制御手段により制御されて前記投影対象及び前記被写体を撮像する撮像手段と、
を備えることを特徴とする付記１乃至１１のうち何れか１つに記載の画像処理装置。
［付記１３］
所定の画像処理を行う投影画像処理手段が実行する画像処理方法であって、
入力される画像信号に応じた投影画像を投影手段により投影対象に向けて投影させる制御を実行する投影制御ステップと、
撮像手段により撮像された画像であって、前記投影手段により投影画像が投影されている前記投影対象と、前記投影手段からみて前記投影対象より手前に位置する被写体とが含まれる画像を取得する画像取得ステップと、
前記撮像手段により撮像された撮像画像から、前記被写体の領域を検出する被写体検出ステップと、
前記被写体検出ステップにより検出された被写体の領域に対して所定の画像処理を、前記投影手段により投影される投影画像を対象に行う投影画像処理ステップと、
を含むことを特徴とする画像処理方法。
［付記１４］
所定の画像処理を行う投影画像処理手段が実行するコンピュータに、
入力される画像信号に応じた投影画像を投影手段により投影対象に向けて投影させる制御を実行する投影制御手段と、
撮像手段により撮像された画像であって、前記投影手段により投影画像が投影されている前記投影対象と、前記投影手段からみて前記投影対象より手前に位置する被写体とが含まれる画像を取得する画像取得手段と、
前記撮像手段により撮像された撮像画像から、前記被写体の領域を検出する被写体検出手段と、
前記被写体検出手段により検出された被写体の領域に対して所定の画像処理を、前記投影手段により投影される投影画像を対象に行う投影画像処理手段と、
を実行させることを特徴とするプログラム。

１・・・画像処理装置１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・出力部、１７・・・入力部、１８・・・撮像部、１９・・・投影部、２０・・・記憶部、２１・・・通信部、２２・・・ドライブ、３１・・・リムーバブルメディア、４１・・・投影制御部、４２・・・撮像制御部、４３・・・画像取得部、４４・・・被写体検出部、４５・・・判別部、４６・・・投影画像処理部

Claims (14)

1. 入力される画像信号に応じた投影画像を投影手段により投影対象に向けて投影させる制御を実行する投影制御手段と、
   撮像手段により撮像された画像であって、前記投影手段により投影画像が投影されている前記投影対象と、前記投影手段からみて前記投影対象より手前に位置する被写体とが含まれる画像を取得する画像取得手段と、
   前記撮像手段により撮像された撮像画像から、前記被写体の領域を検出する被写体検出手段と、
   前記被写体検出手段により検出された被写体の領域に対して所定の画像処理を、前記投影手段により投影される投影画像を対象に行う投影画像処理手段と、
   を備えることを特徴とする画像処理装置。
2. 前記投影画像処理手段は、前記投影画像中の前記被写体の領域に対する所定領域については、前記入力される画像信号に応じた画像を投影しない透明化の画像処理を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記投影画像処理手段は、前記投影画像中の前記所定領域の画像を色つき半透明化とする画像処理を行う
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記被写体検出手段は、前記投影手段から前記投影対象までの距離が短い対象を被写体の形状として検出する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記被写体検出手段は、前記投影画像と前記撮像画像とで画像が異なる領域を被写体の形状として検出する
   ことを特徴とする請求項１に記載の画像処理装置。
6. 被写体を特定する画像を記憶する記憶手段と、
   前記撮像画像に含まれる被写体と、前記記憶手段に記憶されている前記画像に含まれる被写体とが略一致するか否かを判別する判別手段と、
   をさらに備え、
   前記投影画像処理手段は、前記判別手段により略一致すると判別された場合に、前記投影画像中の前記該当領域の画像を透明化する画像処理を行う
   ことを特徴とする請求項１、４又は５のうち何れか１項に記載の画像処理装置。
7. 前記記憶手段は、前記被写体を特定する画像に関連する該被写体の画像をさらに記憶し、
   前記投影画像処理手段は、前記被写体検出手段により該被写体の形状が検出された場合に、前記投影制御手段により投影される画像中の該当領域の画像を、前記記憶手段に記憶されている前記被写体の画像に置き換える
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記記憶手段は、前記被写体を特定する画像に関連付けて優先度をさらに記憶し、
   前記投影画像処理手段は、前記被写体検出手段により該被写体の形状が複数検出された場合に、前記優先度に応じて各該当領域の画像の透明度を可変する画像処理を実行する
   ことを特徴とする請求項６に記載の画像処理装置。
9. 前記撮像画像の前記被写体が前記投影画像の一部と略一致するか否かを判別する判別手段をさらに備え、
   前記被写体検出手段は、前記判別手段により前記被写体が前記投影画像の一部と略一致すると判別された場合に、前記撮像画像から該被写体の形状を検出する
   ことを特徴とする請求項１、２、３又は５のうち何れか１項に記載の画像処理装置。
10. 前記画像取得手段は、前記投影画像処理手段により画像処理が行われた投影画像が投影された前記投影対象を前記被写体が撮像された画像と共に取得する
    ことを特徴とする請求項１乃至９のうち何れか１項に記載の画像処理装置。
11. 前記被写体検出手段は、前記撮像画像が動画像である場合に、前記被写体を追尾することで該被写体の形状を検出する
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記投影手段により投影画像が投影されている前記投影対象と、前記被写体と、を前記撮像手段により撮像させる制御を実行する撮像制御手段と、
    前記投影制御手段により制御されて前記投影対象に前記投影画像を投影する投影手段と、
    前記撮像制御手段により制御されて前記投影対象及び前記被写体を撮像する撮像手段と、
    を備えることを特徴とする請求項１乃至１１のうち何れか１項に記載の画像処理装置。
13. 所定の画像処理を行う投影画像処理手段が実行する画像処理方法であって、
    入力される画像信号に応じた投影画像を投影手段により投影対象に向けて投影させる制御を実行する投影制御ステップと、
    撮像手段により撮像された画像であって、前記投影手段により投影画像が投影されている前記投影対象と、前記投影手段からみて前記投影対象より手前に位置する被写体とが含まれる画像を取得する画像取得ステップと、
    前記撮像手段により撮像された撮像画像から、前記被写体の領域を検出する被写体検出ステップと、
    前記被写体検出ステップにより検出された被写体の領域に対して所定の画像処理を、前記投影手段により投影される投影画像を対象に行う投影画像処理ステップと、
    を含むことを特徴とする画像処理方法。
14. 所定の画像処理を行う投影画像処理手段が実行するコンピュータに、
    入力される画像信号に応じた投影画像を投影手段により投影対象に向けて投影させる制御を実行する投影制御手段と、
    撮像手段により撮像された画像であって、前記投影手段により投影画像が投影されている前記投影対象と、前記投影手段からみて前記投影対象より手前に位置する被写体とが含まれる画像を取得する画像取得手段と、
    前記撮像手段により撮像された撮像画像から、前記被写体の領域を検出する被写体検出手段と、
    前記被写体検出手段により検出された被写体の領域に対して所定の画像処理を、前記投影手段により投影される投影画像を対象に行う投影画像処理手段と、
    を実行させることを特徴とするプログラム。
    

Images