JP2020036347A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】複数の画像を合成する際に、ユーザの好みにより適合した合成画像を生成できるようにする画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】画像処理装置において、ＣＰＵ１１は、撮像制御部５１と、顔認識部５２と、合成位置解析部５４と、画像合成部５５とを備える。撮像制御部５１は、第１の画像と、第２の画像とを取得する。顔認識部５２は、第１の画像における被写体と第２の画像における被写体との関連性を判定する。合成位置解析部５４は、顔認識部５２により判定された被写体の関連性に基づいて、第１の画像における第２の画像の合成位置を決定する。画像合成部５５は、合成位置解析部５４により決定された合成位置で、第１の画像と第２の画像とを合成する。【選択図】図３

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、複数の撮像装置から得られる複数の画像を、同時に表示できる合成画像の技術が知られている。
例えば、特許文献１には、一方の画像における一部の除去された領域を透明化して、他方の画像に合成する技術が記載されている。

特開２００９−２５３５５４号公報

しかしながら、上記特許文献１に記載された技術は、単に、複数の画像を合成する技術であるため、合成結果がユーザの好みとは適合しない虞があった。

本発明は、複数の画像を合成する際に、ユーザの好みにより適合した合成画像を生成できるようにすることを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
第１の画像と、第２の画像とを取得する画像取得手段と、
前記第１の画像における被写体と前記第２の画像における被写体との関連性を判定する関連性判定手段と、
前記関連性判定手段により判定された被写体の関連性に基づいて、前記第１の画像における前記第２の画像の合成位置を決定する決定手段と、
前記決定手段により決定された合成位置で、前記第１の画像と前記第２の画像とを合成する画像合成手段と、
を備えることを特徴とする。

本発明によれば、複数の画像を合成する際に、ユーザの好みにより適合した合成画像を生成できる。

本発明の一実施形態に係る画像処理装置の外観構成を示す模式図であり、図１（Ａ）は前面図、図１（Ｂ）は背面図である。 本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。 図２の画像処理装置の機能的構成のうち、二方向撮影処理を実行するための機能的構成を示す機能ブロック図である。 第１撮像部１６Ａによって撮像される前面画像の一例を示す模式図である。 第２撮像部１６Ｂによって撮像される背面画像の一例を示す模式図である。 前面画像において空き領域が特定された状態を示す模式図である。 前面画像において合成位置の候補が特定された状態を示す模式図である。 前面画像に背景画像が合成された状態を示す模式図である。 図３の機能的構成を有する図２の画像処理装置が実行する二方向撮影処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の一実施形態に係る画像処理装置の外観構成を示す模式図であり、図１（Ａ）は前面図、図１（Ｂ）は背面図である。
また、図２は、本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。
画像処理装置１は、例えばデジタルカメラとして構成される。

画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、第１撮像部１６Ａと、第２撮像部１６Ｂと、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、二方向撮影処理のためのプログラム等、ＲＯＭ１２に記録されているプログラム、または、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、第１撮像部１６Ａ、第２撮像部１６Ｂ、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

第１撮像部１６Ａは、画像処理装置１の前面側（出力部１８の表示画面に対する反対側の面）に設置され、画像処理装置１の前面側の被写体を撮像する。なお、以下、第１撮像部１６Ａによって撮像される撮像画像を「前面画像」と呼ぶ。
第２撮像部１６Ｂは、画像処理装置１の後面側（出力部１８の表示画面と同じ側）に設置され、画像処理装置１の後面側の被写体を撮像する。第２撮像部１６Ｂは、主に撮影者の顔を撮像することが想定されることから、撮影のために撮影者が画像処理装置１を保持した状態で、撮影者の顔全体が画角に収まる焦点距離のレンズが備えられる。なお、以下、第２撮像部１６Ｂによって撮像される撮像画像を「背面画像」と呼ぶ。

第１撮像部１６Ａ及び第２撮像部１６Ｂは、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、第１撮像部１６Ａあるいは第２撮像部１６Ｂの出力信号として出力される。
このような第１撮像部１６Ａあるいは第２撮像部１６Ｂの出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、後述する顔の特徴のデータや各種画像のデータ等を記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。
なお、図示はしないが、画像処理装置１には、ストロボ発光装置等の撮影を補助するハードウェアを適宜備えることができる。

図３は、このような画像処理装置１の機能的構成のうち、二方向撮影処理を実行するための機能的構成を示す機能ブロック図である。
二方向撮影処理とは、第１撮像部１６Ａによって前面側の被写体を撮影する際に、第２撮像部１６Ｂによって後面側の被写体を併せて撮影し、後面側の被写体の撮像画像を前面側の被写体の撮像画像に合成する一連の処理をいう。

二方向撮影処理が実行される場合、図３に示すように、ＣＰＵ１１において、撮像制御部５１と、顔認識部５２と、空き領域解析部５３と、合成位置解析部５４と、画像合成部５５と、表示制御部５６とが機能する。
また、記憶部１９の一領域には、顔認識情報記憶部７１と、画像記憶部７２とが設定される。
顔認識情報記憶部７１には、互いに関連性を有する複数の顔の特徴のデータが記憶される。例えば、顔認識情報記憶部７１には、画像処理装置１を使用する家族全員の顔の特徴のデータが記憶される。
画像記憶部７２には、第１撮像部１６Ａによって撮像された画像のデータ、第２撮像部１６Ｂによって撮像された画像のデータ及び画像合成部５５によって合成された合成画像のデータが適宜記憶される。

撮像制御部５１は、第１撮像部１６Ａ及び第２撮像部１６Ｂに前面画像及び背面画像のライブビュー画像を取得させる。
また、撮像制御部５１は、シャッターボタンが半押しされた場合に、合焦位置、絞り及び露出等のパラメータを撮影時を想定した値に固定して、撮像画像として取得が予測される前面画像（以下、「ハーフシャッター時の前面画像」と呼ぶ。）を第１撮像部１６Ａに撮像させる。
また、撮像制御部５１は、シャッターボタンが全押しされた場合に、第１撮像部１６Ａに記録用の前面画像を撮像させる。さらに、撮像制御部５１は、記録用の背面画像の撮像を指示する操作が行われた場合に、第２撮像部１６Ｂに前面画像に合成する記録用の背面画像を撮像させる。なお、撮像制御部５１は、シャッターボタンが全押しされた場合に第１撮像部１６Ａに前面画像を撮像させ、その後、シャッターボタンが再度全押しされた場合等、記録用の背面画像の撮像を指示する操作が行われた場合に、第２撮像部１６Ｂに記録用の背面画像を撮像させる。

図４は、第１撮像部１６Ａによって撮像される前面画像の一例を示す模式図である。また、図５は、第２撮像部１６Ｂによって撮像される背面画像の一例を示す模式図である。
図４及び図５においては、図４の前面画像に含まれる複数の人物の集合写真を、図５の背面画像に含まれる人物が撮影した例を示している。なお、図５の背面画像に含まれる人物（被写体Ｆ７）は、図４の前面画像に含まれる複数の人物の一部（被写体Ｆ１〜Ｆ６）と関連性（例えば、「家族」等の関係）を有するものとして、顔認識情報記憶部７１に顔の特徴のデータが記憶されている。

顔認識部５２は、シャッターボタンが半押しされた場合に、前面画像及び背面画像に含まれる被写体の顔を認識する。また、顔認識部５２は、顔認識情報記憶部７１に記憶された顔の特徴のデータを参照して、前面画像及び背面画像に含まれる関連性を有する顔を検出する。
空き領域解析部５３は、前面画像における被写体の配置を解析し、主要な被写体が写されていない領域を空き領域として特定する。例えば、空き領域解析部５３は、合焦状態等に基づいて、主要な被写体と背景とを検出し、主要な被写体が写されていない領域（即ち、背景の領域）を空き領域として特定する。

図６は、前面画像において空き領域が特定された状態を示す模式図である。
図６に示すように、図４の前面画像において、複数の人物が集合した中央の領域が主要な被写体が写されている領域として特定され、その周辺の領域が空き領域（図６中の斜線部）として特定されている。

合成位置解析部５４は、顔認識部５２によって認識された関連性を有する顔の領域と、空き領域解析部５３によって特定された空き領域とに基づいて、前面画像を解析し、前面画像において背面画像を合成する位置（合成位置）を特定する。具体的には、合成位置解析部５４は、前面画像において、背面画像に含まれる被写体の顔と関連性を有する被写体の顔の領域を特定し、特定した顔の領域に近い空き領域を選択する。なお、空き領域が広範囲に特定されている場合、設定された大きさの範囲を部分的に指定して、空き領域を選択することが可能である。
このとき、合成位置解析部５４は、前面画像において、背景画像に含まれる被写体の顔と関連性を有する被写体の顔の領域が複数特定された場合、それぞれの顔の領域に近い空き領域を背景画像の合成位置の複数の候補として特定する。なお、合成位置解析部５４は、これら複数の合成位置の候補に優先順位を設定し、二方向撮影処理の実行時には、この優先順位に従って、合成位置を選択する。優先順位の設定方法としては、例えば、顔認識情報記憶部７１に記憶された顔の特徴のデータと一致度合が大きい顔の領域の順、空き領域の大きい順等を採用することができる。

図７は、前面画像において合成位置の候補が特定された状態を示す模式図である。
図７に示すように、被写体Ｆ１〜Ｆ６は、被写体Ｆ７と関連性を有することから、顔認識部５２によって関連性を有する顔として検出されている。そして、図７に示す例では、被写体Ｆ１〜Ｆ６に近い空き領域のうち３箇所（合成位置Ｃ１〜Ｃ３）が、合成位置の候補として特定されている。

画像合成部５５は、シャッターボタンの半押しが行われた場合に、ハーフシャッター時の前面画像において、合成位置解析部５４によって特定された合成位置の候補となる位置に、背面画像のライブビュー画像を合成する。なお、このとき、背面画像のライブビュー画像に代えて、シャッターボタンの半押しが行われたタイミングにおける背面画像を固定的に合成してもよい。
また、画像合成部５５は、記録用の背面画像の撮像を指示する操作が行われた場合に、記録用の前面画像において、合成位置解析部５４によって特定された合成位置の候補となる位置に、第２撮像部１６Ｂによって撮像された記録用の背面画像を合成する。
ここで、画像合成部５５は、前面画像における合成位置の候補となる位置に背面画像のライブビュー画像あるいは記録用の背面画像を合成する場合、前面画像において検出された顔の大きさと同等のサイズに、背面画像において検出された顔の大きさをリサイズした上で合成する。
そして、画像合成部５５は、記録用の前面画像と記録用の背景画像との合成画像を画像記憶部７２に記憶する。

図８は、前面画像に背景画像が合成された状態を示す模式図である。
図８に示す例では、合成位置Ｃ１に背面画像が合成された場合を示している。
なお、背面画像のライブビュー画像が合成される場合、合成位置Ｃ１には、リアルタイムに撮像された背面画像が順次表示される。

表示制御部５６は、第１撮像部１６Ａ及び第２撮像部１６Ｂによって取得されるライブビュー画像を出力部１８のディスプレイに表示させる。また、表示制御部５６は、画像合成部５５によって合成された合成画像を出力部１８のディスプレイに表示させる。例えば、表示制御部５６は、前面画像のハーフシャッター時の前面画像と背面画像のライブビュー画像との合成画像や、記録用の前面画像と記録用の背面画像との合成画像を出力部１８のディスプレイに表示させる。

次に、動作を説明する。
図９は、図３の機能的構成を有する図２の画像処理装置１が実行する二方向撮影処理の流れを説明するフローチャートである。
二方向撮影処理は、ユーザによる入力部１７への二方向撮影処理開始の操作により開始される。

ステップＳ１において、撮像制御部５１は、ユーザによる入力部１７への操作を受け付ける。
ステップＳ２において、撮像制御部５１は、ユーザによる入力部１７への操作がシャッターボタンの半押しであるか否かの判定を行う。
ユーザによる入力部１７への操作がシャッターボタンの半押しでない場合、ステップＳ２においてＮＯと判定されて、処理はステップＳ１に移行する。
一方、ユーザによる入力部１７への操作がシャッターボタンの半押しである場合、ステップＳ２においてＹＥＳと判定されて、処理はステップＳ３に移行する。

ステップＳ３において、顔認識部５２は、顔認識情報記憶部７１に記憶された顔の特徴のデータを参照して、前面画像及び背面画像に含まれる被写体の顔の中で、関連性を有する顔を検出する。
ステップＳ４において、顔認識部５２は、前面画像及び背面画像に含まれる被写体の顔の中で、関連性を有する顔が検出されたか否かの判定を行う。
前面画像及び背面画像に含まれる被写体の顔の中で、関連性を有する顔が検出されない場合、ステップＳ４においてＮＯと判定されて、処理はステップＳ９に移行する。
一方、前面画像及び背面画像に含まれる被写体の顔の中で、関連性を有する顔が検出された場合、ステップＳ４においてＹＥＳと判定されて、処理はステップＳ５に移行する。

ステップＳ５において、空き領域解析部５３は、前面画像における被写体の配置を解析し、主要な被写体が写されていない領域を空き領域として特定する。
ステップＳ６において、合成位置解析部５４は、顔認識部５２によって認識された関連性を有する顔の領域と、空き領域解析部５３によって特定された空き領域とに基づいて、前面画像を解析し、前面画像において背面画像を合成する位置を特定する。
ステップＳ７において、画像合成部５５は、前面画像において検出された顔の大きさと同等のサイズに、背面画像において検出された顔の大きさをリサイズして、ハーフシャッター時の前面画像において、合成位置解析部５４によって特定された合成位置の候補となる位置に、背面画像のライブビュー画像を合成する。

ステップＳ８において、表示制御部５６は、ハーフシャッター時の前面画像に背面画像のライブビュー画像が合成された合成画像を表示する。
ステップＳ９において、撮像制御部５１は、ユーザによる入力部１７への操作を受け付ける。
ステップＳ１０において、撮像制御部５１は、ユーザによる入力部１７への操作がシャッターボタンの全押しであるか否かの判定を行う。
ユーザによる入力部１７への操作がシャッターボタンの全押しでない場合、ステップＳ１０においてＮＯと判定されて、処理はステップＳ９に移行する。
一方、ユーザによる入力部１７への操作がシャッターボタンの全押しである場合、ステップＳ１０においてＹＥＳと判定されて、処理はステップＳ１１に移行する。

ステップＳ１１において、撮像制御部５１は、記録用の前面画像を第１撮像部１６Ａに撮像させる。
ステップＳ１２において、撮像制御部５１は、記録用の背面画像の撮像を指示する操作が行われたか否かの判定を行う。例えば、シャッターボタンへの再度の全押し操作を記録用の背面画像の撮像を指示する操作としてよい。
記録用の背面画像の撮像を指示する操作が行われた場合、ステップＳ１２においてＹＥＳと判定されて、処理はステップＳ１５に移行する。
一方、記録用の背面画像の撮像を指示する操作が行われていない場合、ステップＳ１２においてＮＯと判定されて、処理はステップＳ１３に移行する。

ステップＳ１３において、画像合成部５５は、前面画像において検出された顔の大きさと同等のサイズに、背面画像において検出された顔の大きさをリサイズして、記録用の前面画像において、合成位置解析部５４によって特定された合成位置の候補となる位置に、背面画像のライブビュー画像を合成する。
ステップＳ１４において、表示制御部５６は、記録用の前面画像に背面画像のライブビュー画像が合成された合成画像を表示する。
ステップＳ１４の後、処理はステップＳ１２に移行する。
ステップＳ１５において、撮像制御部５１は、記録用の前面画像に合成する記録用の背面画像を第２撮像部１６Ｂに撮像させる。

ステップＳ１６において、画像合成部５５は、前面画像において検出された顔の大きさと同等のサイズに、背面画像において検出された顔の大きさをリサイズして、記録用の前面画像において、合成位置解析部５４によって特定された合成位置の候補となる位置に、記録用の背面画像を合成する。
ステップＳ１７において、表示制御部５６は、記録用の前面画像に記録用の背面画像が合成された合成画像を表示する。このとき、記録用の前面画像において、合成位置解析部５４によって特定された合成位置の候補となる位置が複数ある場合、表示制御部５６は、画像合成部５５によって各合成位置に背面画像が合成された合成画像を出力部１８のディスプレイに順に表示させる。ただし、画像合成部５５によって各合成位置に背面画像が合成された合成画像を出力部１８のディスプレイに並べて表示することとしてもよい。

ステップＳ１８において、画像合成部５５は、記録用の前面画像と記録用の背面画像との合成画像を確定する操作が行われたか否かの判定を行う。
つまり、各合成位置に背面画像が合成された合成画像が出力部１８のディスプレイに順に表示された場合は、当該順に表示される合成画像のうち、現在ディスプレイに表示されている合成画像に対するユーザの操作（合成画像を確定する操作）が行われたか否かが判定される。
また、各合成位置に背面画像が合成された合成画像が出力部１８のディスプレイに並べて表示された場合は、ユーザのディスプレイに対する操作により、所望の合成画像を選択する操作（合成画像を確定する操作）が行われたか否かが判定される。
背面画像を合成する合成位置を確定する操作が行われていない場合、ステップＳ１８においてＮＯと判定されて、処理はステップＳ１６に移行する。
一方、背面画像を合成する合成位置を確定する操作が行われた場合、ステップＳ１８においてＹＥＳと判定されて、処理はステップＳ１９に移行する。

ステップＳ１９において、画像合成部５５は、確定された記録用の前面画像と記録用の背面画像との合成画像を画像記憶部７２に記憶する。
つまり、ステップＳ１８において、各合成位置に背面画像が合成された合成画像を出力部１８のディスプレイに順に表示され、当該順に表示される合成画像のうち、現在ディスプレイに表示されている合成画像に対するユーザの操作が行われた場合には、ディスプレイに表示されている合成画像が画像記憶部７２に記憶される。
また、ステップＳ１８において、各合成位置に背面画像が合成された合成画像を出力部１８のディスプレイに並べて表示され、ユーザのディスプレイに対する操作により、所望の合成画像を選択する操作が行われた場合には、選択された合成画像が画像記憶部７２に記憶される。
ステップＳ１９の後、二方向撮影処理は終了となる。
このような処理により、前面画像において、背面画像における被写体と関連性を有する位置に、背面画像を合成して表示することができる。
したがって、複数の画像を合成する際に、ユーザの好みにより適合した合成画像を生成することが可能となる。

［変形例１］
上記実施形態において、画像合成部５５は、シャッターボタンの半押しが行われた場合に、ハーフシャッター時の前面画像を固定し、ハーフシャッター時の前面画像において、合成位置解析部５４によって特定された合成位置の候補となる位置に、背面画像のライブビュー画像を合成するものとして説明した。即ち、前面画像と背面画像とのうち、前面画像を先に固定する場合の例について説明した。
これに対し、背面画像を先に固定し、その後、前面画像の被写体を任意のタイミングで撮影することが可能である。
具体的には、背面画像のハーフシャッター操作（背面画像を固定する操作）を行う機能を入力部１７におけるボタン等のいずれかに割り当てておき、撮像制御部５１が、背面画像のハーフシャッター操作に対応して、ハーフシャッター時の背面画像を取得する。その後、前面画像のライブビュー画像において前面画像の被写体の状態を見ながら、撮影者が任意のタイミングで前面画像の撮像を指示すると、撮像制御部５１は、前面画像を取得する。このとき、前面画像のライブビュー画像が表示されている際に、合成位置解析部５４によって特定される前面画像の合成位置の候補となる位置に、画像合成部５５によってハーフシャッター時の背面画像を合成して表示することとしてもよい。
これにより、前面画像及び背面画像のうち、被写体が撮影に適した状態となったものを優先して撮像し、他方をより適切なタイミングで撮像することができる。

［変形例２］
上記実施形態において、前面画像と背面画像とを撮像する際に、一方の撮像条件（シャッター速度、ホワイトバランス、色あるいは画像の明るさ等）に他方の撮像条件を併せることが可能である。即ち、撮像された前面画像及び背面画像の明るさ、色あるいはホワイトバランス等が同様となるように、撮像制御部５１が、一方の画像を基準として、他方の画像の撮像条件を調整することが可能である。
これにより、前面画像に背面画像を合成した場合に、互いの画質が大きく異なることを抑制でき、違和感の少ない合成画像とすることができる。

［変形例３］
上記実施形態において、ステップＳ４で関連性を有する顔が検出されない場合、処理はステップＳ９に移行するものとしたが、これに限られない。
つまり、ステップＳ４で関連性を有する顔が検出されない場合、前面画像と背面画像とを合成せずに別個に保存するようにしてもよい。
このようにすることで、前面画像と背面画像とが互いに関連性のない合成画像が無用に生成されるのを防ぐことができる。

以上のように構成される画像処理装置１は、撮像制御部５１と、顔認識部５２と、合成位置解析部５４と、画像合成部５５とを備える。
撮像制御部５１は、第１の画像と、第２の画像とを取得する。
顔認識部５２は、第１の画像における被写体と第２の画像における被写体との関連性を判定する。
合成位置解析部５４は、顔認識部５２により判定された被写体の関連性に基づいて、第１の画像における第２の画像の合成位置を決定する。
画像合成部５５は、合成位置解析部５４により決定された合成位置で、第１の画像と第２の画像とを合成する。
これにより、第１の画像において、第２の画像における被写体と関連性を有する位置に、第２の画像を合成することができる。
したがって、複数の画像を合成する際に、ユーザの好みにより適合した合成画像を生成することが可能となる。

また、顔認識部５２は、撮影に関する所定のタイミングにおいて、第１の画像における第２の画像の合成位置を特定する。
これにより、撮影に関する所定のタイミング（例えば、ハーフシャッター操作時等）に、第１の画像における第２の画像の合成位置を撮影者に提示することが可能となる。

また、画像処理装置１は、顔認識情報記憶部７１を備える。
顔認識情報記憶部７１は、第１の画像における被写体と第２の画像における被写体との所定の関連性を記憶する。
顔認識部５２は、第１の画像における被写体と第２の画像における被写体とが顔認識情報記憶部７１に記憶された所定の関連性を有するか否かを判定する。
合成位置解析部５４は、顔認識部５２により第１の画像における被写体と第２の画像における被写体とが顔認識情報記憶部７１に記憶された所定の関連性を有すると判定された場合、当該関連性に基づいて第１の画像における第２の画像の合成位置を決定する。
これにより、第１の画像の被写体と第２の画像の被写体との関連性を反映させて、第２の画像の合成位置を決定することができる。
したがって、複数の画像を合成する際に、ユーザの好みにより適合した合成画像を生成することが可能となる。

また、画像処理装置１は、空き領域解析部５３を有する。
空き領域解析部５３は、第１の画像における第２の画像を合成すべき領域を特定する。
合成位置解析部５４は、空き領域解析部５３により特定された合成すべき領域内で、合成位置を決定する。
これにより、第２の画像を合成するのに適した領域内で、第２の画像の合成位置を決定することができる。

また、画像処理装置１は、撮像制御部５１と、空き領域解析部５３と、合成位置解析部５４と、画像合成部５５とを備える。
撮像制御部５１は、第１撮像部１６Ａにより第１の方向が撮像された第１の画像と、第１撮像部１６Ａとは異なる第２撮像部１６Ｂにより第２の方向が撮像された第２の画像とを取得する。
空き領域解析部５３は、撮像制御部５１により取得された第１の画像における第２の画像を合成すべき領域を特定する。
合成位置解析部５４は、空き領域解析部５３により特定された領域内で、第１の画像における第２の画像の合成位置を決定する。
画像合成部５５は、合成位置解析部５４により決定された合成位置で、第１の画像と第２の画像とを合成する。
これにより、第１の方向が撮像された第１の画像において、第１の方向とは異なる第２の方向が撮像された第２の画像における被写体と関連性を有する位置に、第２の画像を合成することができる。
したがって、複数の画像を合成する際に、ユーザの好みにより適合した合成画像を生成することが可能となる。

また、画像処理装置１は、撮像制御部５１と、表示制御部５６と、入力部１７と、画像合成部５５とを備える。
撮像制御部５１は、第１の方向を撮像した第１の画像と、第２の方向を撮像した第２の画像とを同時に順次取得する。
表示制御部５６は、撮像制御部５１により取得された第１の画像及び第２の画像をディスプレイに順次表示させる。
入力部１７は、表示制御部５６による第１の画像及び第２の画像の表示中に、第１の所定の指示を入力する。
また、表示制御部５６は、入力部１７により第１の所定の指示が入力された場合、第１の画像及び第２の画像の一方の画像の表示を固定した状態で、第１の画像及び第２の画像の他方の画像を継続して表示させる。
また、入力部１７は、表示制御部５６によりディスプレイに表示された第１の画像及び第２の画像の表示中に第２の所定の指示を入力する。
画像合成部５５は、入力部１７により第１の所定の指示が入力された時点に対応する第１の画像と入力部１７により第２の所定の指示が入力された時点に対応する第２の画像とを合成する。
これにより、同時に順次撮像される第１の画像及び第２の画像において、それぞれに対する所定の指示が入力されたタイミングでの第１の画像及び第２の画像を合成することが可能となる。

また、画像処理装置１は、撮像制御部５１と、画像合成部５５と、表示制御部５６と、入力部１７と、を備える。
撮像制御部５１は、第１の方向を撮像した第１の画像と、第１の画像の撮像に対応づけて第２の方向を撮像した第２の画像とを取得する。
画像合成部５５は、第１の画像において第２の画像を複数の位置のいずれかに各々合成した複数の候補画像を生成する。
表示制御部５６は、画像合成部５５により生成された複数の候補画像をディスプレイに表示させる。
入力部１７は、表示制御部５６によりディスプレイに表示された複数の候補画像のうち、特定の候補画像を選択する。
また、画像合成部５５は、入力部１７により選択された特定の候補画像を画像記憶部７２に記録させる。
これにより、第１の画像において複数の位置のいずれかに第２の画像が合成された候補画像の中から、ユーザの好みにより適合した合成画像を簡単に選択することが可能となる。

また、画像合成部５５は、第１の画像及び第２の画像の撮像条件の少なくとも一方を他方に合わせるように調整する。
これにより、第１の画像に第２の画像を合成した場合に、互いの画質が大きく異なることを抑制でき、違和感の少ない合成画像とすることができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、画像処理装置１の前面側及び背面側の被写体を撮像する場合を例に挙げて説明したが、これに限られない。即ち、画像処理装置１の前面側と側面側等、異なる方向の画像を撮像する場合に本発明を適用することができる。
また、上述の実施形態では、画像処理装置１において、前面画像及び背面画像を撮像する場合を例に挙げて説明したが、これに限られない。即ち、前面画像あるいは背面画像等、一方の画像を他の装置によって撮像し、これらの画像を対象として、本発明を適用することができる。

また、上述の実施形態では、本発明が適用される画像処理装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図２のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ
Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図２のＲＯＭ１２や、図２の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
第１の画像と、第２の画像とを取得する画像取得手段と、
前記第１の画像における被写体と前記第２の画像における被写体との関連性を判定する関連性判定手段と、
前記関連性判定手段により判定された被写体の関連性に基づいて、前記第１の画像における前記第２の画像の合成位置を決定する決定手段と、
前記決定手段により決定された合成位置で、前記第１の画像と前記第２の画像とを合成する画像合成手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記決定手段は、撮影に関する所定のタイミングにおいて、前記第１の画像における前記第２の画像の合成位置を特定することを特徴とする付記１に記載の画像処理装置。
［付記３］
前記第１の画像における被写体と前記第２の画像における被写体との所定の関連性を記憶する記憶手段を更に備え、
前記関連性判定手段は、前記第１の画像における被写体と前記第２の画像における被写体とが前記記憶手段に記憶された所定の関連性を有するか否かを判定し、
前記決定手段は、前記関連性判定手段により前記第１の画像における被写体と前記第２の画像における被写体とが前記記憶手段に記憶された所定の関連性を有すると判定された場合、当該関連性に基づいて前記第１の画像における前記第２の画像の合成位置を決定することを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
前記第１の画像における前記第２の画像を合成すべき領域を特定する領域特定手段を有し、
前記決定手段は、前記領域特定手段により特定された前記合成すべき領域内で、前記合成位置を決定することを特徴とする付記１から３のいずれか１つに記載の画像処理装置。
［付記５］
第１の撮像手段により第１の方向が撮像された第１の画像と、第１の撮像手段とは異なる第２の撮像手段により第２の方向が撮像された第２の画像とを取得する画像取得手段と、
前記画像取得手段により取得された前記第１の画像における前記第２の画像を合成すべき領域を特定する領域特定手段と、
前記領域特定手段により特定された領域内で、前記第１の画像における前記第２の画像の合成位置を決定する決定手段と、
前記決定手段により決定された合成位置で、前記第１の画像と前記第２の画像とを合成する画像合成手段と、
を備えることを特徴とする画像処理装置。
［付記６］
第１の方向を撮像した第１の画像と、第２の方向を撮像した第２の画像とを同時に順次取得する画像取得手段と、
前記画像取得手段により取得された前記第１の画像及び前記第２の画像を表示手段に順次表示させる第１の表示制御手段と、
前記第１の表示制御手段による前記第１の画像及び前記第２の画像の表示中に、第１の所定の指示を入力する第１の入力手段と、
前記第１の入力手段により第１の所定の指示が入力された場合、前記第１の画像及び前記第２の画像の一方の画像の表示を固定した状態で、前記第１の画像及び前記第２の画像の他方の画像を継続して表示させる第２の表示制御手段と、
前記第２の表示制御手段により前記表示手段に表示された前記第１の画像及び前記第２の画像の表示中に第２の所定の指示を入力する第２の入力手段と、
前記第１の入力手段により第１の所定の指示が入力された時点に対応する第１の画像と前記第２の入力手段により第２の所定の指示が入力された時点に対応する第２の画像とを合成する合成手段と、
を備えることを特徴とする画像処理装置。
［付記７］
第１の方向を撮像した第１の画像と、前記第１の画像の撮像に対応づけて第２の方向を撮像した第２の画像とを取得する画像取得手段と、
前記第１の画像において前記第２の画像を複数の位置のいずれかに各々合成した複数の候補画像を生成する生成手段と、
前記生成手段により生成された複数の候補画像を表示手段に表示させる表示制御手段と、
前記表示制御手段により前記表示手段に表示された複数の候補画像のうち、特定の候補画像を選択する選択手段と、
前記選択手段により選択された特定の候補画像を記録手段に記録させる記録制御手段と、
を備えることを特徴とする画像処理装置。
［付記８］
前記第１の画像及び前記第２の画像の撮像条件の少なくとも一方を他方に合わせるように調整する調整手段を更に備えたことを特徴とする付記１から７のいずれか１つに記載の画像処理装置。
［付記９］
第１の画像と、第２の画像とを取得する画像取得ステップと、
前記第１の画像における被写体と前記第２の画像における被写体との関連性を判定する関連性判定ステップと、
前記関連性判定ステップにおいて判定された被写体の関連性に基づいて、前記第１の画像における前記第２の画像の合成位置を決定する決定ステップと、
前記決定ステップにおいて決定された合成位置で、前記第１の画像と前記第２の画像とを合成する画像合成ステップと、
を含むことを特徴とする画像処理方法。
［付記１０］
コンピュータに、
第１の画像と、第２の画像とを取得する画像取得機能と、
前記第１の画像における被写体と前記第２の画像における被写体との関連性を判定する関連性判定機能と、
前記関連性判定機能により判定された被写体の関連性に基づいて、前記第１の画像における前記第２の画像の合成位置を決定する決定機能と、
前記決定機能により決定された合成位置で、前記第１の画像と前記第２の画像とを合成する画像合成機能と、
を実現させることを特徴とするプログラム。
［付記１１］
画像処理装置において用いられる画像処理方法であって、
第１の撮像手段により第１の方向が撮像された第１の画像と、第１の撮像手段とは異なる第２の撮像手段により第２の方向が撮像された第２の画像とを取得する画像取得ステップと、
前記画像取得ステップにおいて取得された前記第１の画像における前記第２の画像を合成すべき領域を特定する領域特定ステップと、
前記領域特定ステップにおいて特定された領域内で、前記第１の画像における前記第２の画像の合成位置を決定する決定ステップと、
前記決定ステップにおいて決定された合成位置で、前記第１の画像と前記第２の画像とを合成する画像合成ステップと、
を含むことを特徴とする画像処理方法。
［付記１２］
コンピュータに、
第１の撮像手段により第１の方向が撮像された第１の画像と、第１の撮像手段とは異なる第２の撮像手段により第２の方向が撮像された第２の画像とを取得する画像取得機能と、
前記画像取得機能により取得された前記第１の画像における前記第２の画像を合成すべき領域を特定する領域特定機能と、
前記領域特定機能により特定された領域内で、前記第１の画像における前記第２の画像の合成位置を決定する決定機能と、
前記特定機能により決定された合成位置で、前記第１の画像と前記第２の画像とを合成する画像合成機能と、
を実現させることを特徴とするプログラム。
［付記１３］
画像処理装置において用いられる画像処理方法であって、
第１の方向を撮像した第１の画像と、第２の方向を撮像した第２の画像とを同時に順次取得する画像取得ステップと、
前記画像取得ステップにおいて取得された前記第１の画像及び前記第２の画像を表示手段に順次表示させる第１の表示制御ステップと、
前記第１の表示制御ステップにおける前記第１の画像及び前記第２の画像の表示中に、第１の所定の指示を入力する第１の入力ステップと、
前記第１の入力ステップにおいて第１の所定の指示が入力された場合、前記第１の画像及び前記第２の画像の一方の画像の表示を固定した状態で、前記第１の画像及び前記第２の画像の他方の画像を継続して表示させる第２の表示制御ステップと、
前記第２の表示制御ステップにおいて前記表示手段に表示された前記第１の画像及び前記第２の画像の表示中に第２の所定の指示を入力する第２の入力ステップと、
前記第１の入力ステップにより第１の所定の指示が入力された時点に対応する第１の画像と前記第２の入力ステップにおいて第２の所定の指示が入力された時点に対応する第２の画像とを合成する合成ステップと、
を含むことを特徴とする画像処理方法。
［付記１４］
コンピュータに、
第１の方向を撮像した第１の画像と、第２の方向を撮像した第２の画像とを同時に順次取得する画像取得機能と、
前記画像取得機能により取得された前記第１の画像及び前記第２の画像を表示手段に順次表示させる第１の表示制御機能と、
前記第１の表示制御機能による前記第１の画像及び前記第２の画像の表示中に、第１の所定の指示を入力する第１の入力機能と、
前記第１の入力機能により第１の所定の指示が入力された場合、前記第１の画像及び前記第２の画像の一方の画像の表示を固定した状態で、前記第１の画像及び前記第２の画像の他方の画像を継続して表示させる第２の表示制御機能と、
前記第２の表示制御機能により前記表示手段に表示された前記第１の画像及び前記第２の画像の表示中に第２の所定の指示を入力する第２の入力機能と、
前記第１の入力機能により第１の所定の指示が入力された時点に対応する第１の画像と前記第２の入力機能により第２の所定の指示が入力された時点に対応する第２の画像とを合成する合成機能と、
を実現させることを特徴とするプログラム。
［付記１５］
画像処理装置において用いられる画像処理方法であって、
第１の方向を撮像した第１の画像と、前記第１の画像の撮像に対応づけて第２の方向を撮像した第２の画像とを取得する画像取得ステップと、
前記第１の画像において前記第２の画像を複数の位置のいずれかに各々合成した複数の候補画像を生成する生成ステップと、
前記生成ステップにおいて生成された複数の候補画像を表示手段に表示させる表示制御ステップと、
前記表示制御ステップにおいて前記表示手段に表示された複数の候補画像のうち、特定の候補画像を選択する選択ステップと、
前記選択ステップにおいて選択された特定の候補画像を記録手段に記録させる記録制御ステップと、
を含むことを特徴とする画像処理方法。
［付記１６］
コンピュータに、
第１の方向を撮像した第１の画像と、前記第１の画像の撮像に対応づけて第２の方向を撮像した第２の画像とを取得する画像取得機能と、
前記第１の画像において前記第２の画像を複数の位置のいずれかに各々合成した複数の候補画像を生成する生成機能と、
前記生成機能により生成された複数の候補画像を表示手段に表示させる表示制御機能と、
前記表示制御機能により前記表示手段に表示された複数の候補画像のうち、特定の候補画像を選択する選択機能と、
前記選択機能により選択された特定の候補画像を記録手段に記録させる記録制御機能と、
を実現させることを特徴とするプログラム。

１・・・画像処理装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６Ａ・・・第１撮像部，１６Ｂ・・・第２撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・撮像制御部，５２・・・顔認識部，５３・・・空き領域解析部，５４・・・合成位置解析部，５５・・・画像合成部，５６・・・表示制御部，７１・・・顔認識情報記憶部，７２・・・画像記憶部

上記目的を達成するため、本発明の一態様の画像処理装置は、
第１の方向を撮像した第１の画像と、前記第１の画像の撮像に対応づけて第２の方向を撮像した第２の画像とを取得する画像取得手段と、
前記第１の画像において前記第２の画像を複数の位置のいずれかに各々合成した複数の候補画像を生成する生成手段と、
前記生成手段により生成された複数の候補画像を表示手段に表示させる表示制御手段と、
前記表示制御手段により前記表示手段に表示された複数の候補画像のうち、特定の候補画像を選択する選択手段と、
前記選択手段により選択された特定の候補画像を記録手段に記録させる記録制御手段と、
を備えることを特徴とする。

Claims (7)

1. 第１の画像と、第２の画像とを取得する画像取得手段と、
   前記第１の画像における被写体と前記第２の画像における被写体との関連性を判定する関連性判定手段と、
   前記関連性判定手段により判定された被写体の関連性に基づいて、前記第１の画像における前記第２の画像の合成位置を決定する決定手段と、
   前記決定手段により決定された合成位置で、前記第１の画像と前記第２の画像とを合成する画像合成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記決定手段は、撮影に関する所定のタイミングにおいて、前記第１の画像における前記第２の画像の合成位置を特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の画像における被写体と前記第２の画像における被写体との所定の関連性を記憶する記憶手段を更に備え、
   前記関連性判定手段は、前記第１の画像における被写体と前記第２の画像における被写体とが前記記憶手段に記憶された所定の関連性を有するか否かを判定し、
   前記決定手段は、前記関連性判定手段により前記第１の画像における被写体と前記第２の画像における被写体とが前記記憶手段に記憶された所定の関連性を有すると判定された場合、当該関連性に基づいて前記第１の画像における前記第２の画像の合成位置を決定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１の画像における前記第２の画像を合成すべき領域を特定する領域特定手段を有し、
   前記決定手段は、前記領域特定手段により特定された前記合成すべき領域内で、前記合成位置を決定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記第１の画像及び前記第２の画像の撮像条件の少なくとも一方を他方に合わせるように調整する調整手段を更に備えたことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
6. 第１の画像と、第２の画像とを取得する画像取得ステップと、
   前記第１の画像における被写体と前記第２の画像における被写体との関連性を判定する関連性判定ステップと、
   前記関連性判定ステップにおいて判定された被写体の関連性に基づいて、前記第１の画像における前記第２の画像の合成位置を決定する決定ステップと、
   前記決定ステップにおいて決定された合成位置で、前記第１の画像と前記第２の画像とを合成する画像合成ステップと、
   を含むことを特徴とする画像処理方法。
7. コンピュータに、
   第１の画像と、第２の画像とを取得する画像取得機能と、
   前記第１の画像における被写体と前記第２の画像における被写体との関連性を判定する関連性判定機能と、
   前記関連性判定機能により判定された被写体の関連性に基づいて、前記第１の画像における前記第２の画像の合成位置を決定する決定機能と、
   前記決定機能により決定された合成位置で、前記第１の画像と前記第２の画像とを合成する画像合成機能と、
   を実現させることを特徴とするプログラム。

Images