JP2005094741A - 撮像装置及び画像合成方法 - Google Patents

Abstract

【課題】 撮影者と被撮影者とを同一画像に記録することができる携帯電話機を提供する。
【解決手段】 第１カメラ部１６で撮像した撮影者側の画像データから撮影者の顔領域を検出する顔領域検出回路４５と、第２カメラ部１７で撮像した被撮影者側の画像データから被撮影者の領域と、被撮影者が含まれない領域とを判別する領域判別回路４６と、領域判別回路４６の判別結果に基づいて、被撮影者が含まれない領域に、顔領域検出回路４５で検出された撮影者の顔領域を合成する画像合成回路４８とを設ける。撮影者と被撮影者とが合成された画像が表示画面１５に表示される。
【選択図】 図２

Description

本発明は、被写体を撮像して画像データを出力する撮像装置、及び撮像で得られた画像を合成して合成画像を生成する画像合成方法に関する。

デジタルカメラや携帯電話機、ＰＤＡ（Personal Digital Assistance）といった電子機器には、ＣＣＤ型やＣＭＯＳ型等の撮像素子が組み込まれており、簡単な操作にて被写体を撮影することが可能となっている。例えば、携帯電話機では、本体に組み込まれている撮像素子を用いて被写体を撮像し、取得した画像を備え付けの液晶画面に表示したり、相手に送信したりすることができる。

この種の携帯電話機には、特許文献１に示すように、１つの撮像素子が組み込まれているタイプや、特許文献２に示すように、携帯電話機本体の正面と背面との両方にそれぞれ撮像素子が組み込まれているタイプがある。

ところで、１つの撮像素子が組み込まれている携帯電話機で被撮影者と撮影者とを撮影する場合は、例えば、最初に被撮影者を撮影し、その後、撮像素子の向きを撮影者側に変えてから撮影者を撮影する。

一方、携帯電話機本体の正面と背面との両方にそれぞれ撮像素子が組み込まれている携帯電話機で同様の撮影をする場合は、例えば、最初に、背面の撮像素子で被撮影者を撮影し、次に、正面の撮像素子で撮影者を撮影する。このように、携帯電話機本体の正面と背面とに撮像素子が搭載されている携帯電話機では、撮像素子の向きを変えることなく撮影者と被撮影者とを撮影することができる。このように撮影して取得した被撮影者と撮影者との画像は、それぞれ別々に液晶画面に表示される。

特開２０００−２５３１１８号公報 特開２００３−０６０７６５号公報

上述した携帯電話機はいずれも、撮影者が携帯電話機を保持する必要があるため、被撮影者と撮影者とを同一時に撮像することができない。また、携帯電話機本体の正面と背面との両方に撮像素子を搭載した携帯電話機についても、正面側の撮像素子と背面側の撮像素子とを選択して用いるため、やはり被撮影者と撮影者とを同一時に撮像することができない。

そのため、従来の携帯電話機では、例えば、数人で記念撮影を行なう場合、撮影者は記念撮影に加わることができないという問題があった。また、被撮影者を撮像した後に撮影者を撮像したところで、被撮影者を撮像して得た画像と、撮影者を撮像して得た画像とは別個の画像になってしまうため、一体感が損なわれるという問題があった。かかる問題は、携帯電話機のみならず、デジタルカメラといった他のタイプの撮像装置においても同様に生じていた。

本発明は、上記事情を考慮してなされたもので、撮影者と被撮影者との一体感を損なうことがないように、撮影者と被撮影者とを同一画像に記録することができる撮像装置、及びこの撮像装置を用いて合成画像を生成する画像合成方法を提供することを目的とする。

上記目的を達成するために、本発明では、第１被写体を撮像して得た第１画像から第１被写体の顔領域を検出し、第２被写体を撮像して得た第２画像の中の第２被写体が含まれない領域に、第１被写体の顔領域を合成することを特徴とする。ここで、顔領域とは、顔の部分のみならず、例えば胴体部分等と顔の部分とを含む領域であっても良いし、人物領域の全体であっても良い。

撮像装置に備えられた表示部に第２画像を表示するとともに、第１被写体のフレーミング中に第２被写体の顔領域を第２画像と合成表示することが好ましい。また、第２画像から第２被写体の顔領域を検出し、第１画像のうち前記第１被写体が含まれない領域に第２被写体の顔領域を合成しても良い。

所定の切り取りパターンに従って、第２画像に合成される顔領域を切り取っても良い。さらに、顔領域から検出された目の位置情報に基づいて、切り取りパターンの領域を定めても良い。特に、両目の中心位置に基づいて切り取りパターンの領域を定めるのが好ましい。

顔領域を拡大又は縮小させた後に第２画像と合成しても良い。第１画像及び第２以外の画像から、第１被写体と第２被写体の身長比を検出し、得られた身長比に応じて顔領域の拡大・縮小を行うことが好ましい。また、第１画像及び第２画像に共通に含まれる基準物を検出し、基準物を基準として第１被写体と第２被写体との身長比を検出し、得られた身長比に応じて顔領域の拡大・縮小を行っても良い。

第１画像と第２画像の色味又は明るさがほぼ同じになるように、第１画像と第２画像の少なくとも一方に対して画像補正を行った後に画像合成を行っても良い。また、撮像装置に備えられた通信手段を介して、第１画像又は第２画像に対応する画像データを外部入力しても良い。さらに、第１被写体である撮影者を撮像する第１撮像手段と、第２被写体である被撮影者側を撮像する第２撮像手段とを撮像装置に備え、第１画像及び第２画像を同一の撮影動作で得ることが好ましい。

本発明によれば、第１被写体を撮像して得た第１画像から第１被写体の顔領域を検出し、第２被写体を撮像して得た第２画像の中の第２被写体が含まれない領域に、第１被写体の顔領域を合成するから、別々の画像に含まれる被写体を同一の画像に記録し表示することが可能となる。また、複数の撮像素子を用いて第１画像と第２画像を同位置の撮影動作にて得るようにしたので、撮影者は被撮影者との思い出を共有することができる。

（第１の実施形態）
図１は、本発明の一実施例である携帯電話機２の外観斜視図である。携帯電話機２は、上部本体１０と下部本体１１とが、ヒンジ部１２を介して回動自在に係合された構成となっている。上部本体１０の背面には通信アンテナ１３が収納されており、この通信アンテナ１３を介して電波信号の送受信が行なわれる。また、前面には、通信相手の音声や着信メロディを出力する受話スピーカ１４および表示画面１５（例えばＬＣＤ）が設けられている。

さらに、上部本体１０の前面側には、第１カメラ部１６が組み込まれ、背面側に第２カメラ部１７が組み込まれている。第１カメラ部１６の撮像レンズ１８は携帯電話機２の前面に露出しており、また、第２カメラ部１７の撮像レンズ１９は携帯電話機２の背面に露出している。

下部本体１１には、携帯電話機２を操作するための操作部２０が設けられており、電話番号の入力や文字入力などを行なう多数の操作ボタン２１と、携帯電話機２の動作モードを設定するモード設定ボタン２２と、撮像を行うためのシャッタボタン２３と、話し手の音声を集音する送話マイク２４と、各種データの入出力を行なうための外部インターフェース２５（以下、「インターフェース」は「Ｉ／Ｆ」と記載）とが設けられている。モード設定ボタン２２は、電話使用モードと、通常撮像モードと、合成撮像モードとの間で動作モードを変更する。

ヒンジ部１２には、携帯電話２の使用時に上部本体１０と下部本体１１とが図示する所定の角度で係止するように、クリック機構（図示せず）が設けられている。非使用時には、上部本体１０と下部本体１１とが相対するように携帯電話機２が折り畳まれる。

図２に携帯電話機２のブロック図を示す。第１カメラ部１６は撮像レンズ１８と撮像素子２８とからなり、撮像レンズ１８によって結像された被写体像は、撮像素子２８によって画像信号に変換される。この画像信号は信号処理回路２９において信号処理され、画像データにデジタル変換される。この画像データはフレームメモリ３０に一時的に蓄積される。

また、第２カメラ部１７も第１カメラ部１６と同様の構成をしており、撮像レンズ１９によって結像された被写体像は撮像素子３１によって画像信号に変換される。この画像信号は、信号処理回路３２で画像データに変換され、フレームメモリ３３に一時的に蓄積される。

第１カメラ部１６と第２カメラ部１７との動作はいずれもＣＰＵ３５によって制御されている。ＣＰＵ３５はその他にも音声信号処理回路３７を制御して、受話スピーカ３８へ出力される受話音声信号と、送話マイク３９から入力される送話音声信号に対して所定の信号処理を行う。

モード設定ボタン２２を操作して、通常撮像モードを選択し、例えば、第１カメラ部１６での撮像を可能にした場合、フレームメモリ３０に蓄積された画像データはドライバ４０に入力され、表示画面１５にスルー画像として表示される。このスルー画像を見ながらユーザーは被写体のフレーミングを行う。

シャッタボタン２３を押下して撮像を行うと、信号処理回路２９で生成された画像データは図示しない圧縮伸長回路において圧縮処理され、記憶メモリ４１に保存される。この記憶メモリ４１に保存された画像データが読み出され、データ伸長され、ドライバ４０へ送られると、撮像した画像が表示画面１５に表示される。モード設定ボタン２２及び操作ボタン２１を操作することにより、記憶メモリ４１に保存された画像データを、外部Ｉ／Ｆ２５を介してメモリカード等の記憶媒体（不図示）に保存し、あるいは専用のプリンタ（不図示）に出力することもできる。また、記憶メモリ４１に保存された画像データが、ＣＰＵ３５を介して無線通信Ｉ／Ｆ４３に送られると、ここで画像データは無線信号に変調される。無線信号に変調された画像データは通信アンテナ４４から公衆通信回線（不図示）に送信される。なお、第２カメラ部１７での撮像を可能にした場合についても同様の処理が実行される。

モード設定ボタン２２を操作して、合成撮像モードを選択した場合、第１カメラ部１６と第２カメラ部１７とを用いた同時撮像が可能となる。表示画面１５に表示されるスルー画像は、モード設定ボタン２２を操作することで、第１カメラ部１６と第２カメラ部１７との間でスルー画像を切り替えることができる。表示画面１５に表示されるスルー画像を見ながらユーザーは撮像を行なう被写体を決定する。

シャッタボタン２３が押下されると、第１カメラ部１６と第２カメラ部１７との撮像が同時に実行される。第１カメラ部１６と信号処理回路２９とで取得した画像データは、ＣＰＵ３５によって顔領域検出回路４５に読み出される。顔領域検出回路４５では、例えば、図３に示すように、被写体として撮影者５０を撮像した場合、第１撮像フレーム５５内の顔領域５１の検出が行なわれる。ここで、「顔領域」とは、顔の部分のみならず、胴体部分等と顔部分とを含む領域であっても良いし、人物全体の領域であっても良い。なお、顔領域５１を検出する方法としては、例えば、特開平８−１８４９２５号公報、特開２００１−２１８０２０号公報などに記載されているように、画像中の黒領域（閾値よりも高い濃度の領域）の中から頭髪部を抽出し、この頭髪部の形状に基づいて顔領域の輪郭に相当するラインを抽出する方法など、公知の手法を適用することができる。

一方、第２カメラ部１７とデータ処理回路３２とで取得した画像データは、領域判別回路４６に読み出される。領域判別回路４６では、例えば、図３に示すように、被写体として被撮影者５２を撮像した場合、第２撮像フレーム５４内の被撮影者５２の領域と、被撮影者５２の周辺領域５３との判別が行われる。なお、被撮影者５２と周辺領域５３との判別に関しては、例えば特開２０００−３５０１２３号公報に記載されているように、被写体距離情報、画面内における被写体の位置情報などを利用した方法を適用することができる。

切り取りパターン用メモリ４７には、顔領域検出回路４５で検出された撮影者５０の顔領域５１を切り取る際に用いられる切り取りパターンに関するデータが保存されている。この切り取りパターンには、例えば、楕円型、星型、矩形などがあり、ユーザーは、操作部２０で所定の操作を行うことにより、所望のパターンを選択することができる。ＣＰＵ３５は、顔領域検出回路４５で検出された顔領域５１を、選択された切り取りパターンに従って切り取る。切り取られた顔領域５１の画像データは、ＣＰＵ３５によって画像合成回路４８に送られる。なお、切り取りパターンとして、人物領域の輪郭に従って自動合成されるものであっても良く、この場合には人物領域の全体を合成することができる。

画像合成回路４８では、領域判別回路４６での判別結果と、前記切り取りパターンとに基づいて、顔領域検出回路４５で検出された顔領域５１の画像データが、第２撮像フレーム５４内の周辺領域５３に合成され、合成画像データが生成される。また、文字データが記憶メモリ４１に保存されている場合には、画像合成時に文字データがＣＰＵ３５によって読み出される。この文字データは、顔領域５１の画像データとともに、第２撮像フレーム５４内の周辺領域５３に合成される。なお、上述した文字データの作成や保存は、操作部２０で所定の操作を行なうことによりＣＰＵ３５によって実行される。

このようにして合成された合成画像データは一旦記録メモリ４１に保存され、ＣＰＵ３５によってドライバ４０に送られることで、合成画像が表示画面１５に表示される。また、モード設定ボタン２２及び操作ボタン２１で所定の操作を行なうと、合成画像データは、無線信号に変調され、通信アンテナ４４から公衆通信回線に送信され、あるいは外部Ｉ／Ｆ２５を介して記憶媒体や専用プリンタなどに出力される。

このように構成された携帯電話機２の作用について説明する。携帯電話機２のモード設定ボタン２２を操作して、合成撮像モードを選択する。文字データを合成する場合は、操作部２０を操作して文字データを作成し、これを記憶メモリ４１に保存する。また、操作部２０を操作することにより、所望の切り取りパターンを選択する。本実施形態では、楕円型の切り取りパターンを選択する。さらに、表示画面１５に第２カメラ部１７で取得した画像データをスルー画像として表示できるように設定しておく。

図３に示すように、第１カメラ部１６を撮影者５０に向け、第２カメラ部１７を被撮影者５２に向ける。表示画面１５には、第２カメラ部１７によって取得した被撮影者５２側の画像データがスルー画像として表示される。撮影者５０はスルー画像を見ながら携帯電話機２を動かし、表示画面１５に被撮影者５２と被撮影者５２の周辺領域５３とが表示されるようにフレーミングを行う（ステップＳ１（図４参照））。

次に、モード設定ボタン２２を操作して、表示画面１５に第１カメラ部１６による撮影者５０側のスルー画像を表示する。撮影者５０はスルー画像を見ながら、表示画面１５に撮影者５０自身の顔が表示されるようにフレーミングを行う（Ｓ２）。撮影者５０は、第１カメラ部１６のスルー画像と第２カメラ部１７のスルー画像とを見ながら、撮影者５０と被撮影者５２との表示画面１５上における配置の最終確認を行い、好みの画像が表示されたときにシャッタボタン２３を押下する（Ｓ３）。好みの画像が得られない場合は、フレーミングをやり直す（Ｓ１）。

撮影者５０がシャッタボタン２３を押下すると、第１カメラ部１６は撮影者５０を撮像し、それと同時に第２カメラ部１７は被撮影者５２を撮像する（Ｓ４）。ＣＰＵ３５は、第１カメラ部１６で撮像された画像（第１撮像画像）に対応する画像データを顔領域検出回路４５に送る。顔領域検出回路４５は、第１撮像画像から撮影者５０の顔領域５１を検出する。ＣＰＵ３５は、検出した顔領域５１を楕円型の切り取りパターンに従って切り取り、楕円型で切り取った顔領域５１を画像合成回路４８に出力する（Ｓ５）。また、ＣＰＵ３５は、第２カメラ部１７で撮像された画像（第２撮像画像）に対応する画像データを領域判別回路４６に送る。領域判別回路４６は、第２撮像画像内の被撮影者５２の領域と、被撮影者５２の周辺領域５３とを判別し（Ｓ６）、ＣＰＵ３５を介して判別結果を画像合成回路４８に出力する。

画像合成回路４８は、領域判別回路４６の判別結果に基づいて、第２撮像画像内の被撮影者５２の周辺領域５３に、顔領域検出回路４５で検出された撮影者５０の顔領域５１の画像データと、記憶メモリ４１に保存されている文字データとを合成し、合成画像データを生成する（Ｓ７）。

画像合成回路４８で生成された合成画像データをＣＰＵ３５によって読み出し、表示画面１５に出力すると、図５に示すように、楕円型で切り取られた撮影者５０の顔領域５１と、文字５６とが被撮影者５２の周辺領域５３に表示される（Ｓ８）。また、ＣＰＵ３５は、合成画像データを外部Ｉ／Ｆ２５を介して記憶媒体に保存し、あるいは通信アンテナ４４から公衆通信回線に送信するなど、操作部２０の操作入力に応じて適宜の処理を実行する。

このように、第２撮像画像内の周辺領域５３に、撮影者５０の顔領域５１を合成して合成画像に対応する合成画像データを生成し、この合成画像を表示画面１５で表示することで、撮影者５０が被撮影者５２とともに表示されるため、撮影者５０は被撮影者５２との一体感や思い出などを共有することができる。

なお、上記実施形態では、表示画面１５に表示されるスルー画像を、モード設定ボタン２２を操作することにより、第１カメラ部１６側のスルー画像と第２カメラ部１７側のスルー画像とを切り替えて表示するようにしたが、表示画面１５を２分割して、第１カメラ部１６側のスルー画像と第２カメラ部１７側のスルー画像とを同時に表示画面１５に表示するようにしても良い。

また、顔領域検出回路４５によって検出された顔領域５１の合成を行なう箇所を表示画面１５上で予め指定しておき、その指定した箇所に、所望の切り取りパターンに基づいた枠を設け、この枠内に撮影者５０のスルー画像を表示するようにしても良い。このように構成することで、第１カメラ部１６側のスルー画像と第２カメラ部１７側のスルー画像とを同時に視認することができ、さらに、領域判別回路４６による処理を行うことなく、被撮影者５２の周辺領域５３に、撮影者５０の画像を位置させることができる。この場合、撮影者５０が携帯電話機２を動かすことにより撮像範囲を調整し、あるいは被撮影者５２を移動させることによって表示画面１５内に被撮影者５２が含まれない領域を作り出し、その領域に枠を位置させるようにすれば良い。

被撮影者５２の顔領域に対し、撮影者５０の顔領域５１が過度に大きい、あるいは小さい場合は、撮影者５０の顔領域５１を縮小又は拡大して合成しても良い。これにより、撮影者５０と被撮影者５２の顔のサイズを均等にすることができる。

上記実施形態では、顔領域５１を含む一定範囲を切り取っているが、目の位置が切り取り範囲の中心に位置することが好ましい。例えば、顔領域検出回路４５において、顔領域５１の画像データから顔の輪郭と両目の位置を検出する。なお、特開２００１−２１８０２０号公報に開示されているように、顔領域内における黒領域の対として、両目を抽出することができる。検出された輪郭情報により顔の横幅と縦幅が算出され、両目の位置情報より、両目を結ぶ線分の中心位置が算出される。そして、前記横幅と縦幅の値に基づき、例えば矩形状の切り取りパターンが形成され、両目の中心位置が前記切り取りパターンの横方向の中心と一致するように顔領域５１が切り取られる。これにより、顔領域５１が切り取りパターンにおける一定領域に確実に収められる。また、撮影者５０の両目が切り取り領域内の中心に確実に収められるので、手ぶれなどによる画面の揺らぎを抑えることができる。よって、撮影者５０は、表示画面１５に表示される第２カメラ部１７側のスルー画像を見ながら被撮影者５２のフレーミングにだけ注力することができる。

上記実施形態では、撮影者の顔領域と合成される画像として、被撮影者（人物）を含む画像が用いられているが、背景部分と区別できる画像、例えば建物を含む画像と撮影者の顔領域とを合成することもできる。

上記実施形態では、人物の顔の部分のみが合成されているが、人物領域の全体を切り取る切り取りパターンを用いて、人物全体の領域を合成する場合は、第１、第２カメラ部で撮影される被写体の構図や、ズーム状態等の撮影状況により、得られる人物画像の大きさが第１撮像画像、第２撮像画像で大きく異なってしまうことが懸念される。このため、事前に撮影された画像より全被写体の身長比を算出して、被写体画像の拡大・縮小を行った後に画像合成を行うことが好ましい。

例えば、画像データが記録される画像ファイルに撮影日時情報がタグ情報として記録されている場合は、この撮影日時情報から直近の１つあるいは複数の撮像画像データを読み出し、被写体の顔の特徴（目、鼻、口の位置や髪型）の情報を得るとともに、複数の被撮影者が同一の画像に含まれている場合は、その身長比を算出する。図６に示す例では、第１被写体６１が含まれる３つの撮像済み画像６０ａ，６０ｂ，６０ｃを読み出し、被写体を抽出する。第１撮影済み画像６０ａより、第１被写体６１と第２被写体６２の身長比が１：１であると判定する。同様に、第２の撮影済み画像６０ｂより、第１被写体６１と第３被写体６３との比が1：0.7であり、第３の撮影済み画像６０ｃより、第１被写体６１と第４被写体６４との比が1：1.3であると判定する。この情報は、画像合成前に携帯電話機２に記憶される。

そして、図７に示すように、第１被写体６１と第２被写体６２とが含まれる第１撮像画像６５と、第３被写体６３と第４被写体６４とが含まれる第２撮像画像６６とを合成する場合に、第３，第４被写体６３，６４の画像を抽出した後、被写体間の身長比情報を読み出して、第３，第４被写体６３，６４を第１被写体に合わせて拡大あるいは縮小し、第１撮像画像６５と合成する。これにより、合成画像６７内の被写体間の大きさの関係が、実際と異なってしまうのを防止することができる。

ここで、人物領域の全体ではなく、バストアップ画像（例えば、顔部分と胴体部分の一部を含む画像）を顔領域として合成する場合には、人物の全体像が合成画像に含まれないので、その合成位置によっては、合成画像中の身長差が実際と異なるような印象を与えてしまうことが懸念される。このため、上記身長比情報に基づいて画像合成を行う場合には、複数の被写体の頭の位置が実際の身長を反映するように、画像合成の位置を決定することが好ましい。

上記実施形態では、撮像装置（携帯電話機）の両側にそれぞれカメラ部が設けられているため、一方のカメラ部での撮影が順光になり他方が逆光になる場合が考えられる。このため、２つの撮影画像の明るさや色味が同じになるように、一方の撮影画像に対して画像処理を施した後に、画像合成を行うことが好ましい。また、第１、第２カメラ部に備えられた撮影レンズの性能（明るさやディストーション）が大きく異なる場合には、その性能差を考慮して個々の撮像画像を補正した後、画像合成を行うのが好ましい。

上記実施形態では、携帯電話機を例にして説明しているが、両側に撮像素子を備えたPDA (Personal Digital Assistant)やデジタルカメラ等の撮像装置に対しても同様に適用することができる。

（第２の実施形態）
図８は、単一の撮像素子を備えたデジタルカメラ７０を用いて、第１撮影者７１及び第２撮影者７２を順次撮影し、第１，第２撮影者７１，７２の合成画像を生成する実施形態を表したものである。本実施形態では、撮像装置としてデジタルカメラが用いられているが、携帯電話機やPDAといった他のタイプの撮像装置に対しても同様に適用することができる。

デジタルカメラ７０のブロック図を図９に示す。デジタルカメラ７０の動作はＣＰＵ７３によって総括的に制御される。カメラ部７４において、被写体像が撮像レンズ７５を介して撮像素子７６上に結像され、撮像素子７６において光電変換されて画像信号を得る。この画像信号は信号処理回路７７において信号処理され、画像データにデジタル変換される。この画像データはフレームメモリ７８に一時的に蓄積される。

モード切替部７９は、通常撮影モード、合成撮影モード及び再生モードとの間で、デジタルカメラ７０の動作モードを切り替える際に使用される。また、操作部８０は、デジタルカメラ７０の設定を変更する際に使用される。通常撮影モード又は合成撮影モードにおいてシャッタボタン８１が押圧されると、信号処理回路７７で生成された画像データは図示しない圧縮伸長回路において圧縮処理され、記憶メモリ８２に保存される。この画像データは、ドライバ８３を介して表示画面８４に表示し、あるいは外部Ｉ／Ｆ８５を介して外部メモリ（不図示）に記録することができる。

無線通信Ｉ／Ｆ８６，及び通信アンテナ８７は、例えばBlueTooth（登録商標）に準拠しており、撮影により得られた画像データを他のデジタルカメラや画像合成サーバなどの端末に送信することができる。また、公衆通信回線（不図示）を介して画像データを送信するようにしても良い。

なお、顔領域検出回路４５、領域判別回路４６、切り取りパターンメモリ４７、及び画像合成回路４８については、上記第１の実施形態にて説明したものと同一であるため、同一の符号を付して詳細な説明は省略する。

モード切替ダイヤルを操作して、合成撮影モードが選択されると、２回の撮影を行い、得られた２フレーム分の画像を合成して合成画像を生成する。図１０に示すように、第１撮影者７１が第２撮影者７２を撮影して第１撮像画像９１が生成され、次いで第２撮影者７２が第１撮影者７１の撮影を行うことで、第２撮像画像９２が生成される。第２撮像画像９２に対応する画像データは、CPU７３によって顔領域検出回路４５に読み出され、上記第１の実施形態と同様にして第１撮影者７１の顔領域が抽出される。抽出された顔領域に対応する画像データは、第２撮影者７２と重ならないように、第１撮像画像データと合成され、合成画像９４に対応する画像データが記録メモリ８２に出力される。

なお、本実施形態では、第１撮影者７１の顔領域を抽出しているが、第２撮影者７２の顔領域を抽出して、これを第２撮像画像９２と合成しても良い。

図１０の例では、各々の撮影は独立して行われているが、図１１に示すように、第１撮影者７１、第２撮影者７２の順で撮影を行う場合に、領域判別回路４６において第１撮影者７１に対応する画像データを抽出し、第２撮影者７２の撮影時（フレーミング中）に第１撮影者７１を半透明表示してもよい。この場合は、第２撮影者７２の撮影が行われた後に、抽出済みの第１撮影者７１の画像を半透明表示された部分に合成することで、合成画像を得ることができる。半透明表示された第１撮影者７１を基準としながら第２撮影者７２のフレーミングを行うことで、複数の被写体の位置を容易に揃えることができる。

また、図１２に示すように、撮影済みの画像に合成用の枠を表示し、フレーミング中に被撮影者の顔領域をスルー表示しても良い。すなわち、図示しない記録媒体から撮影済みの画像データを読み出して、表示画面８４に撮影済み画像９５を表示する。そして、撮影者が自ら指定し、あるいは人物９６以外の部分（例えば背景部分）を自動検出して、任意の領域に合成枠９７を表示する。そして、フレーミング時に得られた画像から、被撮影者９８の顔領域を抽出し、これを合成枠９７内に表示することで、合成枠９７内で被撮影者９８の顔領域がスルー表示される。

なお、第１，第２撮像画像９１，９２の背景がほぼ同じである場合には、背景部分のうち、基準となる背景物（看板や木など）を定め、この背景物を基準として合成すべき画像を拡大・縮小するようにしても良い。基準となる背景物の指定は、フレーミング中に撮影者が指定しても良いし、第１，第２撮像画像９１，９２から自動抽出しても良い。

（第３の実施形態）
上記実施形態では、単一の撮像装置を用いて合成画像を生成しているが、複数の撮像装置を用いても良い。図１３に示す実施形態では、第１撮影者１００Ａが有する第１デジタルカメラ１０１を用いて第２撮影者１００Ｂを撮影して第１撮像画像を得、第２撮影者１００Ｂが有する第２デジタルカメラ１０２を用いて第１撮影者１００Ａを撮影することで、第２撮像画像を得る。そして、第２撮像画像に対応する画像データを、第２デジタルカメラ１０２から第１デジタルカメラ１０１に送信する。第１デジタルカメラ１０１において、第２撮像画像から第１撮影者１００Ａの画像を切り出して、第１撮像画像の背景領域に合成して合成画像を得る。この合成画像に対応する画像データは、第２デジタルカメラ１０２に送信される。

さらに、第１撮像画像から第２撮影者１００Ｂの画像を切り出して、第２撮像画像の背景領域と合成しても良い。

また、図１４に示すように、第１，第２デジタルカメラ１０１，１０２で得られた画像データを、画像合成サーバ１０５に送信し、当該画像合成サーバ１０５にて画像合成を行い、得られた合成画像データを各デジタルカメラ１０１，１０２に送信するようにしても良い。

なお、各撮影者１００Ａ，１００Ｂが自分の画像を撮影し（すなわち、第１デジタルカメラ１０１を用いて第１撮影者１００Ａを撮影し、第２デジタルカメラ１０２を用いて第２撮影者１００Ｂを撮影する）、得られた画像データを送信して合成画像を生成しても良く、この場合は２人の撮影者１００Ａ，１００Ｂが互いに離れた場所にいても合成画像を生成することができる。

第１デジタルカメラ１０１から第２デジタルカメラ１０２へ撮影済み画像データを送った後、第２デジタルカメラ１０２で撮影を行う場合に、図１１で示したように、撮影済み画像を表示し、その背景領域に被写体をスルー表示しても良い。

上記実施形態では、２台のデジタルカメラ１０１，１０２を用いて画像合成を行っているが、３台以上のデジタルカメラを用いても良い。

本発明を実施した携帯電話機の外観を示す斜視図である。 携帯電話機の電気的構成を示すブロック図である。 第１の実施形態において、撮影者と被撮影者とを撮像する様子を示す説明図である。 合成画像を生成する手順を示すフローチャートである。 合成画像が表示された表示画面を示す説明図である。 撮影済み画像から被写体の身長比を検出する手順の一例を示す説明図である。 被写体の身長比に基づいて画像を拡大・縮小した後に、画像合成を行う手順を示す説明図である。 第２の実施形態において、２人の撮影者を交互に撮影する様子を示す説明図である。 デジタルカメラの電気的構成を示すブロック図である。 合成画像を生成する手順を示す説明図である。 一方の撮影者の画像を半透明表示させて撮影を行う手順を示す説明図である。 合成枠内に一方の撮影者の画像をスルー表示させて撮影を行う手順を示す説明図である。 第３の実施形態において、２人の撮影者を交互に撮影する様子を示す説明図である。 第３の実施形態の別の例を示す説明図である。

符号の説明

２ 携帯電話機
１５ 表示画面
１６ 第１カメラ部
１７ 第２カメラ部
４５ 顔領域検出回路
４６ 領域判別回路
４７ 切り取りパターン用メモリ
４８ 画像合成回路
５０ 撮影者
５１ 顔領域
５２ 被撮影者
５３ 周辺領域
６１〜６４ 被写体
７０，１０１，１０２ デジタルカメラ
７１，１００Ａ 第１撮影者
７２，１００Ｂ 第２撮影者

Claims (24)

1. 被写体を撮像して画像データを出力する撮像装置において、
   第１被写体を撮像して得た第１画像から、前記第１被写体の顔領域を検出する顔領域検出手段と、
   第２被写体を撮像して得た第２画像の中の前記第２被写体が含まれない領域に、前記顔検出手段により検出された前記第１被写体の顔領域を合成する画像合成手段と、を備えたことを特徴とする撮像装置。
2. 前記画像合成手段により合成された合成画像を表示出力する表示手段を備えたことを特徴とする請求項１記載の撮像装置。
3. 前記第２画像から、前記第２被写体の領域と前記第２被写体が含まれない領域とを判別する判別手段を備え、前記画像合成手段は、前記判別手段の判別結果に基づいて、前記顔領域を合成することを特徴とする請求項１又は２記載の撮像装置。
4. 外部機器との間で前記画像データを送受信する通信手段を更に備え、前記第１画像又は前記第２画像に対応する画像データは前記通信手段を介して外部入力されることを特徴とする、請求項１ないし３のいずれかに記載の撮像装置。
5. 前記画像合成手段は、所定の切り取りパターンに従って切り取られた顔領域を合成することを特徴とする請求項１ないし４のいずれかに記載の撮像装置。
6. 前記顔領域から目の位置情報を検出し、前記位置情報に基づいて前記切り取りパターンの領域を定めることを特徴とする請求項５記載の撮像装置。
7. 前記位置情報は、両目の中心位置を示す情報であることを特徴とする請求項６記載の撮像装置。
8. 複数の前記切り取りパターンを記憶する記憶手段を備え、前記複数の切り取りパターンのうちの１つが選択されることを特徴とする請求項５記載の撮像装置。
9. 前記画像合成手段は、前記顔領域を拡大又は縮小させた後に前記第２画像と合成することを特徴とする請求項１ないし８のいずれかに記載の撮像装置。
10. 前記第１被写体である撮影者を撮像する第１撮像手段と、前記第２被写体である被撮影者側を撮像する第２撮像手段とを備え、前記表示手段は、前記第１撮像手段によって得られた画像と、前記第２撮像手段によって得られた画像とを同時に出力表示することを特徴とする請求項２又は３記載の撮像装置。
11. 前記第１撮像手段、および第２撮像手段は同時に撮像することが可能であることを特徴とする請求項１０記載の撮像装置。
12. 前記画像合成手段は、前記第１画像と前記第２画像の色味又は明るさがほぼ同じになるように、前記第１画像と前記第２画像の少なくとも一方に対して画像補正を行った後に画像合成を行うことを特徴とする、請求項１ないし１１のいずれかに記載の撮像装置。
13. 撮像装置を用いて第１被写体を撮像して得た第１画像から前記第１被写体の顔領域を検出し、第２被写体を撮像して得た第２画像の中の前記第２被写体が含まれない領域に、前記第１被写体の顔領域を合成することを特徴とする画像合成方法。
14. 前記撮像装置に備えられた表示部に第２画像を表示するとともに、前記第１被写体のフレーミング中に前記第２被写体の顔領域を前記第２画像と合成表示することを特徴とする、請求項１３記載の画像合成方法。
15. 前記第２画像から前記第２被写体の顔領域を検出し、前記第１画像のうち前記第１被写体が含まれない領域に前記第２被写体の顔領域を合成することを特徴とする、請求項１３又は１４に記載の画像合成方法。
16. 前記第２画像に合成される前記顔領域は、所定の切り取りパターンに従って切り取られることを特徴とする、請求項１３〜１５のいずれかに記載の画像合成方法。
17. 前記顔領域から目の位置情報を検出し、前記位置情報に基づいて前記切り取りパターンの領域を定めることを特徴とする請求項１６記載の画像合成方法。
18. 前記位置情報は、両目の中心位置を示す情報であることを特徴とする請求項１７記載の画像合成方法。
19. 前記顔領域を拡大又は縮小させた後に前記第２画像と合成することを特徴とする請求項１３〜１８のいずれかに記載の画像合成方法。
20. 前記第１画像及び前記第２以外の画像から、前記第１被写体と前記第２被写体の身長比を検出し、得られた身長比に応じて前記顔領域の拡大・縮小を行うことを特徴とする、請求項１９記載の画像合成方法。
21. 前記第１画像及び前記第２画像に共通に含まれる基準物を検出し、前記基準物を基準として前記第１被写体と前記第２被写体との身長比を検出し、得られた身長比に応じて前記顔領域の拡大・縮小を行うことを特徴とする、請求項１９記載の画像合成方法。
22. 前記第１画像と前記第２画像の色味又は明るさがほぼ同じになるように、前記第１画像と前記第２画像の少なくとも一方に対して画像補正を行った後に画像合成を行うことを特徴とする、請求項１３〜２１のいずれか記載の画像合成方法。
23. 前記第１画像又は前記第２画像に対応する画像データは、前記撮像装置に備えられた通信手段を介して外部入力されることを特徴とする、請求項１３〜２２のいずれかに記載の画像合成方法。
24. 前記第１被写体である撮影者を撮像する第１撮像手段と、前記第２被写体である被撮影者側を撮像する第２撮像手段とが前記撮像装置に備えられ、前記第１画像及び前記第２画像は同一の撮影動作で得られることを特徴とする、請求項１３〜２２のいずれかに記載の画像合成方法。
    
    

Images