JP2020048025A - 撮影装置、撮影装置の作動プログラム及び作動方法 - Google Patents

Abstract

【課題】複数枚の画像の全体同士を合成する従来と比較して、合成画像に写し込む被写体の決定に関する自由度が大きい撮影装置、撮影装置の作動プログラム及び作動方法を提供する。【解決手段】撮影装置の一例である携帯端末は、被写体を撮影する撮影部と、撮影部が撮影した画像をライブビュー表示する表示部と、抽出部と、合成部と、表示制御部とを有している。撮影部は、第１画像を取得する。抽出部は、第１画像の一部を、画像合成する合成対象として抽出する。合成部は、撮影部で撮影され、第１画像とは異なる第２画像に対して合成対象を合成する。表示制御部は、合成対象が合成された第２画像を表示部にライブビュー表示する。【選択図】図１７

Description

本開示の技術は、撮影装置、撮影装置の作動プログラム及び作動方法に関する。

デジタルカメラなどの撮影装置を用いた撮影手法において、１枚目の撮影画像と２枚目の撮影画像を重ね合わせるというように、連続して撮影される複数枚の撮影画像の全体同士を重ね合わせた合成画像を得る撮影手法が知られている（特許文献１及び特許文献２）。こうした撮影手法は、多重露光撮影などと呼ばれる。

また、特許文献１及び特許文献２に記載の撮影装置は、ＬＣＤなどのディスプレイを有しており、ディスプレイに被写体をライブビュー表示する機能を有している。ライブビュー表示は、撮影画像を、スルー画像としてディスプレイに逐次表示する機能である。特許文献１及び特許文献２に記載の撮影装置は、スルー画像としてライブビュー表示される２枚目の撮影画像に直前に撮影した１枚目の撮影画像を合成することで、ディスプレイを通じてユーザが合成画像を確認できるようにしている。

特開２０１３−１４３７２５号公報 特開２０１２−２３５２２７号公報

特許文献１及び特許文献２に記載の従来の撮影装置は、前述のように、複数枚の画像の全体同士を重ね合わせている。そのため、例えば、１枚目の撮影画像において、ユーザが合成を希望する特定の被写体の他にも、ユーザが合成を希望しない不要な被写体が写り込んでいる場合は、合成画像においては、不要な被写体も合成されてしまう。

もちろん、撮影の際に、撮影画像に不要な被写体が写り込まないように構図を工夫する余地はある。しかしながら、写し込みたい特定の被写体と写り込ませたくない不要な被写体との位置関係上の制約から、構図の工夫にも限界があり、撮影画像において、不要な被写体の写り込みを排除することが困難である場合も多い。

不要な被写体の写り込みを排除することが困難な場合、例えば、合成画像に写し込みたい被写体の選択又は写り込ませたくない被写体の排除など、ユーザが希望する合成画像の内容の決定に関する自由度が小さくなってしまうという問題があった。

本開示は、複数枚の画像の全体同士を合成する従来と比較して、合成画像に写し込む被写体の決定に関する自由度が大きい撮影装置、撮影装置の作動プログラム及び作動方法を提供することを目的とする。

上記目的を達成するために、本開示の撮影装置は、被写体を撮影する撮影部と、撮影部が撮影した画像をライブビュー表示する表示部と、表示部に表示する画像として第１画像を取得する画像取得部と、第１画像の一部を、画像合成する合成対象として抽出する抽出部と、撮影部で撮影され、第１画像とは異なる第２画像に対して合成対象を合成する合成部と、合成対象が合成された第２画像を表示部にライブビュー表示する制御を行う表示制御部と、を備えている。

合成対象は、第１画像内の一部の領域に写り込むマーク又は文字列を含むことが好ましい。

文字列には、メッセージが含まれており、マークには、文字、図形、模様及びこれらから選択された２以上の組み合わせのうちの少なくとも１つが含まれることが好ましい。

抽出部は、第１画像内においてマーク又は文字列の輪郭を判定して、判定した輪郭に沿ってマーク又は文字列を抽出することが好ましい。

第１画像は、撮影部で撮影された画像であって、表示部にライブビュー表示されることが好ましい。

抽出部は、ライブビュー表示中の第１画像の中から、合成対象を抽出することが好ましい。

第１画像のライブビュー表示中に、合成対象の指定を受け付ける第１指定受付部を備えていることが好ましい。

ライブビュー表示中の第１画像の中から合成対象が抽出された後、表示制御部は、合成対象が合成された第２画像のライブビュー表示を開始することが好ましい。

抽出部が、第１画像の中から、合成対象を抽出した場合において、表示制御部は、表示部において、抽出された合成対象と抽出元の第１画像の背景とを識別するための視覚上の演出を行うことが好ましい。

第２画像のライブビュー表示中に画像保存指示が入力された場合において、合成対象が合成された第２画像を保存用の合成画像としてメモリに記録する記録部を備えていることが好ましい。

第２画像のライブビュー表示中に、第２画像内の合成対象の編集指示として、合成対象の表示位置、表示姿勢、表示サイズ、及び表示色の少なくとも１つの指定を受け付ける第２指定受付部を備えていることが好ましい。

合成対象に文字が含まれている場合に、文字をキャラクターコードに変換するＯＣＲ処理部と、キャラクターコードに基づいて文字のフォントを変更するフォント変更部とを備えており、合成部は、フォント変更後の文字を第２画像に合成することが好ましい。

本開示の撮影装置の作動プログラムは、被写体を撮影する撮影部、及び撮影部が撮影した画像をライブビュー表示する表示部を備えた撮影装置の作動プログラムであって、表示部に表示する画像として第１画像を取得する画像取得ステップと、第１画像の一部を、画像合成する合成対象として抽出する抽出ステップと、撮影部で撮影され、第１画像とは異なる第２画像に対して、合成対象を合成する合成ステップと、合成対象が合成された第２画像を表示部にライブビュー表示する制御を行う表示制御ステップと、をコンピュータに実行させる。

本開示の撮影装置の作動方法は、被写体を撮影する撮影部、及び撮影部が撮影した画像をライブビュー表示する表示部を備えた撮影装置の作動方法であって、表示部に表示する画像として第１画像を取得する画像取得ステップと、第１画像の一部を、画像合成する合成対象として抽出する抽出ステップと、撮影部で撮影され、第１画像とは異なる第２画像に対して、合成対象を合成する合成ステップと、合成対象が合成された第２画像を表示部にライブビュー表示する制御を行う表示制御ステップと、を備えている。

本開示の技術によれば、複数枚の画像の全体同士を合成する従来と比較して、合成画像に写し込む被写体の決定に関する自由度を大きくすることができる。

撮影装置の一例である携帯端末を用いてユーザが撮影している様子を示す図である。 携帯端末の電気構成の概略を示す図である。 携帯端末の機能ブロック図である。 合成撮影モードの処理手順を示すフローチャートである。 合成撮影をするシーンの一例を示す図である。 第１画像をライブビュー表示している様子を示す図である。 第１画像内の合成対象を抽出する領域を指定している様子を示す図である。 合成対象の抽出方法の説明図である。 合成対象を抽出した直後の状態を示す図である。 第２画像をライブビュー表示している様子を示す図である。 第２画像の構図を決めている様子を示す図である。 合成対象の拡縮操作を示す図である。 合成対象の回転操作を示す図である。 合成対象の移動操作を示す図である。 画像保存指示の操作を示す図である。 合成画像のポストビュー表示を示す図である。 合成撮影の第１例の要約図である。 合成撮影の第２例の要約図である。 合成撮影の第３例の要約図である。 合成撮影の第４例の要約図である。 第１画像をメモリから読み出す変形例を示す図である。 ＯＣＲ処理及びフォント変更処理をする変形例を示す図である。 合成対象として矩形領域を抽出する変形例を示す図である。 ターゲットマークを使用せずに合成対象を検出する例を示す図である。 図２４において検出された合成対象が識別表示される様子を示す図である。

以下、図面を参照して、本開示の技術に係る実施形態の一例について説明する。図１に示すように、携帯端末１０は、例えばスマートフォンである。携帯端末１０は、携帯電話として機能する他に、アプリなどと呼ばれる各種のアプリケーションプログラムを実行するコンピュータとして機能する。また、携帯端末１０は、写真撮影を行うことも可能であり、撮影装置の一例である。

携帯端末１０の本体内には、被写体を撮影する撮影部１１（図２参照）が内蔵されている。携帯端末１０は、本体の前面には、タッチパネルディスプレイ１２が設けられている。携帯端末１０は、撮影部１１で撮影した撮影画像を、スルー画像としてタッチパネルディスプレイ１２に逐次表示するライブビュー表示が可能である。

ライブビュー表示においては、撮影部１１は、例えば、１秒間に３０フレームのフレームレートで撮影画像を出力し、タッチパネルディスプレイ１２に表示されるスルー画像もそのフレームレートで更新される。そのため、ライブビュー表示されるスルー画像は、動画として視認される。被写体がライブビュー表示されるため、ユーザＵは、タッチパネルディスプレイ１２の表示を通じて、被写体及び撮影画像の構図を確認しながら、撮影を行うことができる。

図２に一例として示すように、携帯端末１０は、撮影部１１、タッチパネルディスプレイ１２、ＣＰＵ（Central Processing Unit）１４、操作スイッチ１６、ワークメモリ１７、ストレージデバイス１８、メディアコントローラ１９、外部Ｉ／Ｆ（Interface）２１、及び通信部２２を備えている。これらはバスライン２３を介して通信可能に接続されている。

ＣＰＵ１４は、オペレーティングシステムを実行することにより、主制御部２６、及び表示制御部３１として機能する。主制御部２６は、携帯端末１０の各部を統括的に制御する。表示制御部３１は、タッチパネルディスプレイ１２の表示を制御する。また、ＣＰＵ１４は、撮影部１１が撮影する画像に対して画像処理を施す画像処理部３２としても機能する。

ワークメモリ１７は、ＣＰＵ１４が各種のプログラムを実行する際のワークエリアとして使用される揮発性のメモリであり、ＲＡＭ（Random Access Memory）が使用される。また、ワークメモリ１７は、後述するようにライブビュー表示及び画像処理を行う際の作業用メモリとして使用される。

ストレージデバイス１８には、オペレーティングシステムの他、アプリケーションプログラム（ＡＰ）２７などの各種のプログラムが格納されている。アプリケーションプログラム２７としては、後述する写真合成アプリケーションプログラムの他、画像表示ソフト、ウエブブラウザ及びメールアプリケーションプログラムなどがある。

また、ストレージデバイス１８には、ユーザが携帯端末１０を使用して撮影した画像などのユーザのデータを格納するユーザ領域２８が設けられている。ストレージデバイス１８は、例えば、フラッシュメモリなどの不揮発性メモリである。なお、ストレージデバイス１８としては、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）などを使用してもよい。

タッチパネルディスプレイ１２は、ストレージデバイス１８に格納されている、ＧＵＩ（Graphical User Interface）として機能する操作画面、及び撮影部１１が撮影した画像などを表示する表示部の一例である。また、タッチパネルディスプレイ１２は、ユーザＵの指などによるタッチ操作を検知する機能を備えており、タッチ操作を検知して、主制御部２６に対して、操作指示を入力するための入力デバイスの一例である。タッチパネルディスプレイ１２は、周知のように、例えば、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Organic Electro-Luminescence）ディスプレイなどの表示部と、抵抗膜方式又は静電容量方式などのタッチパネル部とで構成される。

操作スイッチ１６は、携帯端末１０の本体に設けられたマルチファンクションキー及び電源ボタンなどの各種の機械的な操作部であり、主制御部２６に対して操作指示を入力する入力デバイスの一例である。

主制御部２６は、タッチパネルディスプレイ１２及び操作スイッチ１６からの操作指示の入力を受け付ける操作受付部である。

表示制御部３１は、主制御部２６の制御の下、操作画面及び画像などをタッチパネルディスプレイ１２に表示する制御を行う。表示制御部３１は、操作画面及び画像などのデータを、タッチパネルディスプレイ１２が取り扱えるビデオ信号に変換する処理などを行って、タッチパネルディスプレイ１２に出力する。

画像処理部３２は、撮影部１１が撮影した撮影画像に対して、輝度補正及び圧縮伸長処理といった一般的な画像処理の他、後述する画像抽出及び画像合成などの各種の画像処理を施す。

メディアコントローラ１９は、メモリーカード２９などの着脱自在のリムーバブルメディアに対するデータの書き込みと読み出しを行う。

外部Ｉ／Ｆ２１は、例えばＵＳＢ（Universal Serial Bus）コネクタなどのインタフェースである。外部Ｉ／Ｆ２１には、充電ケーブル、通信ケーブル、及びＵＳＢメモリなどが接続される。

通信部２２は、アンテナ及び通信制御回路を有しており、移動体通信網及び無線ＬＡＮ（Local Area Network）を通じた無線通信、及び近距離無線通信などの通信機能を担う。

撮影部１１は、例えば、撮影レンズ１１Ａ、イメージセンサ１１Ｂ、ＡＤ（Analog-to-digital）変換器（Ａ／Ｄ）１１Ｃ、画像入力コントローラ１１Ｄ、画像信号処理回路１１Ｅ、タイミングジェネレータ（ＴＧ）１１Ｆ、及びドライバ１１Ｇを有している。

撮影レンズ１１Ａは、被写体からの光を集光して、イメージセンサ１１Ｂの撮像面に被写体像を結像させる。

イメージセンサ１１Ｂは、被写体光を撮像する撮像素子であり、被写体光を光電変換して、アナログの画像信号として出力する。イメージセンサ１１Ｂとしては、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが使用される。イメージセンサ１１Ｂは、ライブビュー表示の際には、予め設定されたフレームレートで、アナログの画像信号を逐次出力する。

ＡＤ変換器１１Ｃは、イメージセンサ１１Ｂからのアナログの画像信号をデジタルの画像信号に変換する。画像入力コントローラ１１Ｄは、ＡＤ変換器１１Ｃから入力されるデジタルの画像信号を、撮影画像としてワークメモリ１７に記録する。画像入力コントローラ１１Ｄは、ライブビュー撮影が行われている間は、撮影画像をスルー画像としてワークメモリ１７に記録する。ワークメモリ１７内において、スルー画像は、ライブビュー表示に使用され、イメージセンサ１１Ｂのフレームレートに合わせて逐次更新される。

画像信号処理回路１１Ｅは、画像入力コントローラ１１Ｄがワークメモリ１７に記録した撮影画像に対して、ホワイトバランス処理、ガンマ補正処理、及びＹＣ変換処理などの各種の信号処理を施す。ホワイトバランス処理は、撮影画像に含まれるＲ（赤）、Ｇ（緑）、Ｂ（青）の各画像信号のゲインを調整してホワイトバランスを調整する処理である。ガンマ補正処理は、予め記憶されているガンマ特性に応じて、画像信号に対して行われる階調変換処理である。ＹＣ処理は、Ｒ、Ｇ、Ｂの画像信号を輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換する処理である。画像信号処理回路１１Ｅが処理を施した撮影画像は、ワークメモリ１７に書き戻される。

タイミングジェネレータ１１Ｆは、主制御部２６の制御下で、イメージセンサ１１Ｂの動作タイミングを規定するタイミング信号を発生する。ドライバ１１Ｇは、タイミングジェネレータ１１Ｆからのタイミング信号に基づいて、イメージセンサ１１Ｂを駆動する。

表示制御部３１は、撮影部１１が作動して、携帯端末１０が撮影装置として機能している場合、撮影部１１が撮影した撮影画像をスルー画像としてタッチパネルディスプレイ１２にライブビュー表示する制御を行う。ライブビュー表示は、例えば、撮影部１１の起動と同時に開始される。そして、ライブビュー表示は、シャッタボタンの操作に応じた画像保存動作の実行中は一時的に中断されるが、基本的には、撮影部１１の動作が終了するまでの間、継続される。

より具体的には、撮影部１１は上述したフレームレートで撮影画像を逐次出力し、撮影画像はワークメモリ１７に出力される。撮影画像は、画像信号処理回路１１Ｅで信号処理が施された後、ワークメモリ１７に記録される。ライブビュー表示においては、撮影画像はスルー画像としてワークメモリ１７に記録されて、上述したフレームレートで逐次更新される。ワークメモリ１７内には、逐次出力される撮影画像を記録するエリアが２面設けられており、一方のエリアの撮影画像を表示中に、他方のエリアの撮影画像が更新される。表示に使用されるエリアと更新に使用されるエリアとは交互に切り替えられる。表示制御部３１は、ワークメモリ１７内において逐次更新されるスルー画像を読み出して、タッチパネルディスプレイ１２の表示を逐次更新することによって、ライブビュー表示を実現する。また、ここでは、ライブビュー表示を行うために、撮影部１１が行う撮影をライブビュー撮影と呼ぶ。

また、ライブビュー表示中に、ユーザＵによってシャッタボタンが操作されると、画像保存指示が入力される。画像保存指示が入力されると、そのタイミングで撮影された撮影画像が、ストレージデバイス１８のユーザ領域２８又はメモリーカード２９のうちの予め設定された保存先に保存される。保存に際しては、画像処理部３２は、撮影画像に対して圧縮処理を施した後、圧縮された撮影画像を、ユーザ領域２８又はメモリーカード２９に記録する。画像処理部３２は、メモリーカード２９へ撮影画像を記録する際には、メディアコントローラ１９を介して行う。

保存用の撮影画像としては、スルー画像として用いるためにワークメモリ１７に記録された画像でもよいし、シャッタボタンの操作のタイミングで新たに撮影部１１が取得した画像でもよい。また、スルー画像用の撮影画像の解像度を低くして、保存用の撮影画像の解像度を、スルー画像用の撮影画像の解像度よりも高くしてもよい。

携帯端末１０には、アプリケーションプログラム２７の１つとして、スルー画像に対して画像合成を施してライブビュー表示する写真合成アプリケーションプログラムがインストールされている。写真合成アプリケーションプログラムは、例えば、スルー画像として第１画像をライブビュー表示中に、第１画像の一部を合成対象として抽出する。そして、抽出した合成対象を、第１画像と異なる第２画像と合成し、合成対象が合成された第２画像をスルー画像としてライブビュー表示する機能を携帯端末１０において実現する。写真合成アプリケーションプログラムは、コンピュータである携帯端末１０を撮影装置として機能させる作動プログラムの一例である。

図３に示すように、写真合成アプリケーションプログラムが起動されると、ＣＰＵ１４は、画像処理部３２は、抽出部３２Ａ及び合成部３２Ｂとして機能する。また、ワークメモリ１７には、画像メモリ１７Ａ及びＶＲＡＭ（Video Random access memory）１７Ｂとして機能する領域が設けられている。

画像メモリ１７Ａは、撮影部１１から出力される撮影画像がスルー画像として一時的に記録される領域である。ＶＲＡＭ１７Ｂは、画像処理部３２において、画像処理が施されたスルー画像が記録される領域である。画像処理部３２は、画像メモリ１７Ａに記録されたスルー画像に対して画像処理を施して、処理済みのスルー画像をＶＲＡＭ１７Ｂに記録する。表示制御部３１は、ＶＲＡＭ１７Ｂに記録されたスルー画像をタッチパネルディスプレイ１２に出力する。

写真合成アプリケーションプログラムが起動されると、撮影部１１が第１画像Ｐ１のライブビュー撮影を開始する。画像メモリ１７Ａには、第１画像Ｐ１がスルー画像として記録される。画像メモリ１７Ａ内の第１画像Ｐ１は、撮影部１１のフレームレートに従って出力される最新の撮影画像に逐次更新される。第１画像Ｐ１は、撮影部１１が撮影するスルー画像であり、合成対象Ｏ１の抽出元になる画像である。より詳細には、第１画像Ｐ１がスルー画像としてライブビュー表示される場合は、ライブビュー表示中の複数枚の第１画像Ｐ１の中から、最終的に合成対象Ｏ１の抽出元になる第１画像Ｐ１が選択される。抽出部３２Ａは、選択された第１画像Ｐ１から合成対象Ｏ１を抽出する。

第１画像Ｐ１は、画像処理部３２によって画像メモリ１７Ａから読み出される。第１画像Ｐ１は、画像処理部３２によって輝度補正などの画像処理が施された後、ＶＲＡＭ１７Ｂに記録される。表示制御部３１は、スルー画像の第１画像Ｐ１をタッチパネルディスプレイ１２にライブビュー表示する。画像処理部３２は、表示部の一例であるタッチパネルディスプレイ１２に表示する画像として第１画像Ｐ１を画像メモリ１７Ａから取得する画像取得部の一例である。

また、表示制御部３１は、第１画像Ｐ１をライブビュー表示する際には、第１画像Ｐ１内において合成対象Ｏ１を抽出するための指定領域ＤＡを指定するためのＧＵＩとして、ターゲットマーク４６（図６参照）をタッチパネルディスプレイ１２に表示する。

抽出部３２Ａは、第１画像Ｐ１の一部を、画像合成する合成対象Ｏ１として抽出する。具体的には、抽出部３２Ａは、第１画像Ｐ１のうち、合成対象Ｏ１を抽出する抽出領域として指定された領域を指定領域ＤＡと判定して、指定領域ＤＡから合成対象Ｏ１を抽出する。主制御部２６は、タッチパネルディスプレイ１２を通じてユーザＵが行う、第１画像Ｐ１の一部を抽出領域として指定する指定操作を受け付ける。この指定操作は、後述するように、ターゲットマーク４６を使用して行われる。主制御部２６は、受け付けた指定操作の情報を、抽出部３２Ａに入力する。

抽出部３２Ａは、指定操作の情報に基づいて第１画像Ｐ１内の指定領域ＤＡを判定し、判定した指定領域ＤＡの中から、合成対象Ｏ１を抽出する。主制御部２６は、第１画像Ｐ１のライブビュー表示中に合成対象Ｏ１の指定を受け付ける第１指定受付部の一例である。

抽出部３２Ａは、指定領域ＤＡの中から、例えば、マーク又は文字列を抽出する。マークには、文字、図形、模様及びこれらの中から選択された２以上の組み合わせのうちの少なくとも１つが含まれる。文字は、数字及び記号を含む概念である。マークには、会社名、商品名、店名、駅名、又は地名などを示すロゴが含まれる。模様には、縞模様、チェック柄、及びドット柄などが含まれる。また、マークには、文字、数字又は記号のいずれか１字で構成されるものも含まれる。

文字列には、手書きの文字又は印字された文字で構成されるメッセージ、交通安全の標語、観光地の歓迎又は送迎の挨拶文、商品の広告文などが含まれる。メッセージは、例えば、「先日はありがとう」又は「入学おめでとう」といった、特定の人に向けて思いを伝える言葉であり、お祝いの言葉、お礼の言葉、及び挨拶文などが含まれる。

この他、観光名所で観光客に提供されるスタンプなどの印章又は印影もマークに含まれる。また、お寺又は神社において、参拝客に対して提供される印章又は印影である御朱印なども、マーク又は文字列のいずれかに含まれる。また、マーク又は文字列に含まれる文字は、日本語に限らず、英語、中国語、韓国語など外国語でもよい。

抽出部３２Ａは、例えば、指定領域ＤＡ内における画像のコントラストに基づいてマーク又は文字列の輪郭を判定して、判定した輪郭に応じた領域をマーク又は文字列として抽出する。第１画像Ｐ１の中から合成対象Ｏ１が抽出されると、画像メモリ１７Ａには、抽出された合成対象Ｏ１が記録される。

撮影部１１は、画像メモリ１７Ａに合成対象Ｏ１が保持された状態で、第２画像Ｐ２のライブビュー撮影を開始する。画像メモリ１７Ａには、第２画像Ｐ２がスルー画像として記録される。タッチパネルディスプレイ１２においては、第２画像Ｐ２のライブビュー表示が開始される。第２画像Ｐ２は、撮影部１１が撮影するスルー画像であり、合成対象Ｏ１が合成される合成先の画像である。

合成部３２Ｂは、第２画像Ｐ２と合成対象Ｏ１とを合成する。合成部３２Ｂは、初期状態では、合成対象Ｏ１を、タッチパネルディスプレイ１２の表示画面の中央に表示されるように配置し、この合成対象Ｏ１と第２画像Ｐ２とを重ね合わせる。合成対象Ｏ１が合成された第２画像Ｐ２はＶＲＡＭ１７Ｂに記録される。表示制御部３１は、合成対象Ｏ１が合成された第２画像Ｐ２のライブビュー表示を開始する。

また、主制御部２６は、タッチパネルディスプレイ１２を通じて入力された操作指示に基づいて、タッチパネルディスプレイ１２内における合成対象Ｏ１の表示位置、表示姿勢、表示サイズ、及び表示色の少なくとも１つの指定を受け付ける。主制御部２６が受け付けた操作指示は、合成部３２Ｂに入力される。合成部３２Ｂは、入力された操作指示に基づいて、第２画像Ｐ２内における合成対象Ｏ１の表示位置などを変更する。

また、通常の撮影の場合と同様に、合成対象Ｏ１が合成された第２画像Ｐ２のライブビュー表示中に、ユーザＵによってシャッタボタンが操作されると、画像保存指示が入力される。画像保存指示が入力されると、そのタイミングで、合成対象Ｏ１が合成された第２画像Ｐ２が、保存用の合成画像として、ストレージデバイス１８のユーザ領域２８又はメモリーカード２９のうちの予め設定された保存先に保存される。保存に際しては、画像処理部３２が合成画像に対して圧縮処理を施して、圧縮された合成画像を、ユーザ領域２８又はメモリーカード２９に記録する。画像処理部３２は、合成対象Ｏ１が合成された第２画像Ｐ２を保存用の合成画像としてメモリに記録する記録部の一例である。

上記構成による作用について図４に示すフローチャート及び図５から図１７の携帯端末１０の使用例などを示す図に従って、説明する。図５は、ユーザＵが携帯端末１０を使用して撮影を行うシーンを示す。

図５に示すシーンは、ユーザＵが旅行で出かけた「富士山」が見える場所であり、その場所には、古びた「フジカラー及び富士フイルム」のロゴ４２を表示する看板４１がある。本例では、この場所において、「富士山（ふじさん）」と「富士（ふじ）フイルム」との語感の類似性に基づいて、ユーザＵが、「富士山」と「フジカラー及び富士フイルム」のロゴ４２という２つの被写体を組み合わせた合成写真の撮影を思い付き、その撮影を、携帯端末１０を使用して行う例で説明する。本例のロゴ４２は、詳細には、「フジカラー」という商品名を示す装飾的な文字列と、ベタ塗の楕円内に「富士フイルム」という会社名を示す文字列が白抜きにされた、装飾的な文字列及び図形の組み合わせとが二段書きにされたものである。

図４に示すように、携帯端末１０において、写真合成アプリケーションプログラムが起動されると、携帯端末１０は、合成撮影モードに移行する。合成撮影モードにおいては、まず、ステップＳ１００１に示すように、撮影部１１において第１画像Ｐ１のライブビュー撮影が開始されて、タッチパネルディスプレイ１２において第１画像Ｐ１のライブビュー表示が開始される。

図６に示すように、携帯端末１０において、表示制御部３１は、第１画像Ｐ１のライブビュー表示が開始されると、第１画像Ｐ１に重ねてターゲットマーク４６を表示する。本例のターゲットマーク４６は、左右一対のカギ形の括弧で構成される。もちろん、本例のターゲットマーク４６の形状は一例であり、例えば、矩形の枠線などで構成されてもよい。ターゲットマーク４６は、例えば、タッチパネルディスプレイ１２の表示画面の中央に配置される。

ステップＳ１００２において、携帯端末１０は、ターゲットマーク４６を表示した状態で、第１画像Ｐ１内において合成対象Ｏ１を抽出する抽出領域の指定を待機する。

ユーザＵは、合成対象Ｏ１が決まった場合は、その合成対象Ｏ１がターゲットマーク４６内に収まるように、第１画像Ｐ１の構図を決める。本例では、合成対象Ｏ１は、ロゴ４２であるため、図７に示すように、ロゴ４２をターゲットマーク４６内に収めるため、表示画面の中央にロゴ４２が位置するように、第１画像Ｐ１の構図を決める。構図の決定は、携帯端末１０を動かして被写体との相対的な位置関係を調整したり、携帯端末１０にズーム機能がある場合にはズーム機能を利用しながら行われる。

図７に示すように、タッチパネルディスプレイ１２において、ターゲットマーク４６内にロゴ４２が収まった状態で、ターゲットマーク４６の周辺が指Ｆでタップされると、そのタップ操作を、携帯端末１０の主制御部２６は、合成対象Ｏ１を含む抽出領域の指定操作として受け付ける（ステップＳ１００２でＹ）。主制御部２６は、ターゲットマーク４６の位置に応じた座標情報を、受け付けた指定操作の情報として抽出部３２Ａに入力する。座標情報は、例えば、ターゲットマーク４６で囲われる矩形の領域を画定するための座標情報である。

ステップＳ１００３において、抽出部３２Ａは、主制御部２６から入力された指定操作の情報に基づいて、抽出領域として指定された矩形の領域を指定領域ＤＡと判定する。抽出部３２Ａは、例えば、コントラストに基づく輪郭抽出技術を用いて、指定領域ＤＡ内から合成対象Ｏ１を抽出する。具体的には、抽出部３２Ａは、指定領域ＤＡ内における画素のコントラストに基づいて、コントラストの大きい境界部分を、抽出する合成対象Ｏ１の輪郭と判定する。

図８に示すように、ロゴ４２は、複数の文字４２Ａで構成される文字列と、楕円４２Ｂなどの図形で構成される。文字４２Ａ及び楕円４２Ｂの輪郭部分は、背景とのコントラストが大きい境界部分となる。このため、抽出部３２Ａは、指定領域ＤＡ内において、文字４２Ａ及び楕円４２Ｂと背景との境界部分を、抽出する文字４２Ａ及び楕円４２Ｂの輪郭部分と判定する。そして、抽出部３２Ａは、判定した輪郭に沿って文字４２Ａ及び楕円４２Ｂを抽出する。

抽出部３２Ａは、複数の文字４２Ａ及び楕円４２Ｂのそれぞれの輪郭を個別に認識する。その一方で、抽出部３２Ａは、抽出された複数の文字４２Ａ及び楕円４２Ｂの相対的な位置関係については、第１画像Ｐ１内に写り込んだ状態を維持し、複数の文字４２Ａ及び楕円４２Ｂで構成されるロゴ４２を、１つの合成対象Ｏ１として取り扱う。

なお、本例においては、楕円４２Ｂ内に白抜きで「富士フイルム」の文字が入っている。この白抜きの文字については、輪郭を判定しなくてもよい。楕円４２内において白抜きの文字とその背景は色が異なっているため、楕円４２Ｂの形状で画像を抽出すれば、楕円４２Ｂ内の白抜きの文字を識別できるためである。もちろん、白抜きの文字について輪郭を判定して、その内側部分を合成対象Ｏ１から除外してもよい。その場合は、抽出された楕円４２の合成対象Ｏ１において、白抜きの文字部分は透明になる。

図９に示すように、抽出部３２Ａが、第１画像Ｐ１の中から、合成対象Ｏ１であるロゴ４２を抽出した場合において、表示制御部３１は、タッチパネルディスプレイ１２において、抽出された合成対象Ｏ１であるロゴ４２と、抽出元の第１画像Ｐ１の背景とを識別するための視覚上の演出を行う。図９に示す例は、視覚上の演出として、予め設定された時間の間、抽出したロゴ４２を小刻みに拡縮する視覚上のバイブレーションを行う例である。これにより、抽出したロゴ４２が、抽出元の第１画像Ｐ１の背景から浮き上がったように見えるため、ユーザＵはロゴ４２が合成対象Ｏ１として抽出されたことを明確に認識することができる。なお、視覚上の演出としては、バイブレーションの他に、予め設定された時間の間、抽出した合成対象Ｏ１を拡大させて表示する状態を継続させてもよい。この他、抽出した合成対象Ｏ１を点滅させたり、色を変更したりといった視覚上の演出を採用してもよい。

合成対象Ｏ１が抽出されると、ステップＳ１００４に示すように、撮影部１１は、第２画像Ｐ２のライブビュー撮影を直ちに開始する。第２画像Ｐ２のライブビュー撮影が開始されると、ステップＳ１００５において、合成部３２Ｂは、抽出された合成対象Ｏ１を第２画像Ｐ２に合成する。そして、ステップＳ１００６において、表示制御部３１は、タッチパネルディスプレイ１２において、合成対象Ｏ１が合成された第２画像Ｐ２をライブビュー表示する。

図１０は、合成対象Ｏ１であるロゴ４２が合成された第２画像Ｐ２がライブビュー表示されている様子を示す。図１０に示すように、表示制御部３１は、合成対象Ｏ１が合成された第２画像Ｐ２をライブビュー表示する際には、初期状態では、ロゴ４２を、タッチパネルディスプレイ１２の表示画面の中央に表示する。さらに、表示制御部３１は、例えば、タッチパネルディスプレイ１２の表示画面の下方位置に、色変更ボタン４７とシャッタボタン４８とをＧＵＩとして表示する。色変更ボタン４７は、後述するように、合成対象Ｏ１の色を変更するために使用される操作ボタンである。シャッタボタン４８は、画像保存指示を入力するための操作ボタンであり、合成対象Ｏ１が合成された第２画像Ｐ２を、保存用の合成画像として保存するための操作ボタンである。

ユーザＵは、このように合成対象Ｏ１が合成された第２画像Ｐ２のライブビュー表示を見ながら、第２画像Ｐ２の構図、及び第２画像Ｐ２の被写体と合成対象Ｏ１との相対的な位置関係を決める。

具体的には、図１１に示すように、本例では、ユーザＵは、「フジカラー及び富士フイルム」のロゴ４２と「富士山」とを組み合わせた合成写真の撮影をしようと考えている。そのため、ユーザＵは、第２画像Ｐ２の被写体として「富士山」が写り込むように、携帯端末１０の位置及び向きを調節する。そして、第２画像Ｐ２内の「富士山」の位置、サイズ及び画角などを調節する。こうした操作により、ユーザＵは、第２画像Ｐ２の構図を決める。

こうした第２画像Ｐ２の構図の決定と並行して、ユーザＵは、第２画像Ｐ２の被写体である「富士山」と合成対象Ｏ１であるロゴ４２との相対的な位置関係を決める。それに際して、合成対象Ｏ１であるロゴ４２の表示位置、表示姿勢、表示サイズ又は表示色などの編集を行う。

ステップＳ１００７において、主制御部２６は、第２画像Ｐ２内の合成対象Ｏ１の編集指示の入力を待機する。編集指示が入力された場合は（Ｓ１００７でＹ）、Ｓ１００８に進み、画像処理部３２は、編集指示の内容に従って第２画像Ｐ２内で合成対象Ｏ１を編集する。図１２から図１４は、編集指示の例示である。

図１２は、合成対象Ｏ１であるロゴ４２の表示サイズを拡縮する編集指示を示す。表示サイズを拡縮する場合には、例えば、ピンチアウト又はピンチインといったジェスチャで行われる。ピンチアウトは、タッチパネルディスプレイ１２において、２本の指Ｆで表示画面をタッチした状態で、２本の指Ｆの間隔を拡げるジェスチャである。２本の指Ｆでロゴ４２の上下又は左右をタッチした状態で、ピンチアウトが行われると、ロゴ４２の表示サイズが拡大される。ピンチアウトとは反対に、ピンチインは、２本の指Ｆの間隔を狭めるジェスチャである。ピンチインが行われると、ロゴ４２の表示サイズが縮小される。

図１３は、合成対象Ｏ１であるロゴ４２の表示姿勢を変化させる編集指示の一例であり、ロゴ４２を回転させる例を示す。ロゴ４２を回転させる場合は、ユーザＵは、タッチパネルディスプレイ１２において、ロゴ４２の上下又は左右を２本の指Ｆでタッチした状態で、２本の指Ｆの間隔を維持したまま、２本の指Ｆを回転させるジェスチャを行う。

図１４は、合成対象Ｏ１であるロゴ４２の表示位置を移動させる編集指示を示す。ロゴ４２の表示位置を移動させる場合は、ユーザＵは、タッチパネルディスプレイ１２において、１本の指Ｆでロゴ４２をタッチした状態で、移動したい方向に向けて指Ｆをスライドさせるジェスチャを行う。こうしたジェスチャはスワイプなどと呼ばれる。

また、色変更ボタン４７がタップされると、表示色を選択するためのパレット（図示せず）が表示される。このパレットには、複数の色が配列されており、その中から希望する色を指定すると、指定した色にロゴ４２の表示色が変更される。なお、色変更ボタン４７を指Ｆでタップすると、白と黒、白と赤、白と黒と赤というように、色変更ボタン４７をタップする回数に応じて、予め決められた複数色の間で変更されるようにしてもよい。色変更は、例えば、合成対象Ｏ１の色と背景の色とが色彩上重なって合成対象Ｏ１が見えにくくなるのを回避する目的で行われる。あるいは、ユーザＵの感性に基づいて、背景の色に合わせて合成対象Ｏ１の色を変化させることを目的として色変更が行われてもよい。

主制御部２６は、合成対象Ｏ１に対するこうしたジェスチャを、編集指示として受け付ける。主制御部２６は、第２画像Ｐ２のライブビュー表示中に、第２画像Ｐ２内の合成対象Ｏ１の編集指示を受け付ける第２指定受付部の一例である。主制御部２６は、受け付けた編集指示を合成部３２Ｂに送信する。合成部３２Ｂは、受信した編集指示に基づいて、第２画像Ｐ２内の合成対象Ｏ１を編集する。

本例では、例えば、図１５に示すように、第２画像Ｐ２内の「富士山」を背景に、富士山の冠雪部分の下方に、ロゴ４２が配置されるように、第２画像Ｐ２の構図の決定及びロゴ４２の編集が行われる。

ステップＳ１００９において、主制御部２６は、合成対象Ｏ１であるロゴ４２と第２画像Ｐ２とが合成された合成画像の画像保存指示を待機する。図１５に示すように、第２画像Ｐ２のライブビュー表示中に、シャッタボタン４８が指Ｆでタップされると、主制御部２６は、シャッタボタン４８のタップ操作を、合成画像の画像保存指示として受け付ける。

合成画像の画像保存指示が入力されると（ステップＳ１００９でＹ）、合成部３２Ｂは、シャッタボタン４８がタップ操作されたタイミングで撮影された第２画像Ｐ２を確定し、確定した第２画像Ｐ２内におけるロゴ４２の表示位置などを確定する。合成部３２Ｂは、確定した第２画像Ｐ２に表示位置などが確定したロゴ４２を合成し、その第２画像Ｐ２を、保存用の合成画像として、画像メモリ１７Ａに出力する。画像処理部３２は、画像メモリ１７Ａに出力された保存用の合成画像に対して、圧縮処理を施す。画像処理部３２は、圧縮処理済みの合成画像を、ストレージデバイス１８のユーザ領域２８又はメモリーカード２９に記録して、合成画像を保存する（ステップＳ１０１０）。

図１６に示すように、合成画像が保存される場合において、表示制御部３１は、保存される合成画像を、タッチパネルディスプレイ１２に予め設定された時間だけ静止画として表示する、いわゆるポストビュー表示を行う。これにより、ユーザＵは、合成画像内における、第２画像Ｐ２の被写体の構図及びロゴ４２の表示位置などを確認することができる。

携帯端末１０は、合成撮影モードが終了するまで（ステップＳ１０１１でＹ）、ステップＳ１００１からステップＳ１０１０までの処理を繰り返す。

図１７は、合成撮影モードにおける携帯端末１０の処理をまとめた図である。要するに、携帯端末１０において、抽出部３２Ａは、スルー画像としてライブビュー表示される第１画像Ｐ１の中から、その一部であるロゴ４２を、画像合成する合成対象Ｏ１として抽出する。そして、合成部３２Ｂは、撮影部１１で撮影され、第１画像Ｐ１とは異なる第２画像Ｐ２に対して合成対象Ｏ１（ロゴ４２）を合成し、表示制御部３１が、合成対象Ｏ１が合成された第２画像Ｐ２をライブビュー表示する。

このように、携帯端末１０によれば、第１画像Ｐ１全体ではなく、第１画像Ｐ１のうちのユーザＵが希望する特定の被写体を合成対象Ｏ１として抽出することができる。その結果として、ユーザＵが希望しない不要な被写体を合成対象Ｏ１から排除することが可能となる。

また、携帯端末１０によれば、第１画像Ｐ１から抽出した合成対象Ｏ１と合成される第２画像Ｐ２は、合成対象Ｏ１が合成された態様でライブビュー表示される。そのため、ユーザＵは、第２画像Ｐ２の構図及び第２画像Ｐ２内に挿入される合成対象Ｏ１の位置といった、第２画像Ｐ２の被写体と合成対象Ｏ１との合成状態をライブビュー表示で確認しながら、第２画像Ｐ２において合成対象Ｏ１と組み合わせる被写体を選択することができる。

そのため、本開示の撮影装置の一例である携帯端末１０は、複数枚の画像の全体同士を合成する従来の多重露光撮影技術と比較して、合成画像に写し込む被写体の決定に関する自由度を大きくすることができる。

また、上記例では、抽出部３２Ａは、第１画像Ｐ１内においてマーク又は文字列（一例としてロゴ４２）の輪郭を判定して、判定した輪郭に沿ってマークを合成対象Ｏ１として抽出している。そのため、例えば、マーク又は文字列とその背景とを含む矩形領域を合成対象Ｏ１として抽出する場合と比較して、マーク又は文字列の背景に写り込む不要な被写体を排除することができる。

また、上記例では、第１画像Ｐ１は、撮影部１１で撮影された画像であり、タッチパネルディスプレイ１２にライブビュー表示される画像である。このような第１画像Ｐ１から合成対象Ｏ１を抽出できるため、ユーザＵは、旅行先などユーザＵが現に存在する環境において、ユーザＵが見つけた印象的なマーク又は文字列などを合成対象Ｏ１として抽出しやすい。

また、第１指定受付部の一例である主制御部２６は、第１画像Ｐ１のライブビュー表示中に、合成対象Ｏ１の指定を受け付ける。そのため、ユーザＵは、ライブビュー表示で第１画像Ｐ１内の合成対象Ｏ１の表示サイズ及び表示位置などを確認しながら合成対象Ｏ１を指定できるため、合成対象Ｏ１を選択しやすい。

また、ライブビュー表示中の第１画像Ｐ１から合成対象Ｏ１が抽出された後、表示制御部３１は、抽出された合成対象Ｏ１が合成された第２画像Ｐ２のライブビュー表示を開始する。そのため、第１画像Ｐ１から第２画像Ｐ２への表示切り替え操作などが不要であり、操作が簡単である。

また、携帯端末１０は、合成対象Ｏ１が合成された第２画像Ｐ２を合成画像として保存できる。こうすれば、ユーザＵは、後で合成画像を鑑賞したり、知人に合成画像を送ったりすることができるため、楽しみが広がる。

また、第２指定受付部の一例である主制御部２６は、第２画像Ｐ２のライブビュー表示中に、第２画像Ｐ２内の合成対象Ｏ１の編集指示を受け付ける。第２画像Ｐ２の被写体と合成対象Ｏ１の相対的な位置関係を確認できるため、合成対象Ｏ１の編集がしやすい。

また、上記例では、合成対象Ｏ１として、文字を含むマークの一例であるロゴ４２を例に説明した。具体的には、「フジカラー及び富士フイルム」と「富士山」という語感の類似性から着想を得て、「フジカラー及び富士フイルム」というロゴ４２と「富士山」という２つの被写体を合成した合成写真を撮影する例を示した。こうした撮影行為は、ある１つの被写体を撮りたいという要求ではなく、文字とその文字と関連する別の被写体とを組み合わせて撮りたいという、ユーザの要求に応えるものである。

さらに、こうした撮影行為は、合成対象Ｏ１として選択した文字を起点として、文字と組み合わせる第２画像Ｐ２の被写体を決定する行為だけではなく、第２画像Ｐ２内における文字のレイアウト及び文字に合わせた第２画像Ｐ２の構図など、ユーザに対して２つの被写体の組み合わせに関してクリエイティブな発想を促すことができる。こうした撮影行為は、写真撮影の新たな楽しみ方であり、新たな撮影体験とも呼べる行為である。

というのも、過去に撮影された複数枚の写真を素材として、これらの素材を組み合わせて合成写真を作成するという写真コラージュという手法は、従来から存在する。しかしながら、携帯端末１０の写真合成機能が提供する撮影体験は、過去の写真のコラージュとは次のように異なる。

すなわち、携帯端末１０の写真合成機能によれば、旅行先など、ユーザが現に存在する環境において、ユーザのその時の気分及びその時の雰囲気に応じて、印象に残る文字をその環境から切り取るという行為が可能である。さらに、切り取った文字を起点として、ユーザの感性で、その文字にフィットする被写体を見つけて、両者を組み合わせた合成写真をその場で撮影することができる。こうした撮影体験は、いわば、ユーザの現在の環境及び感性に合わせた、即席の写真コラージュともいうべきものであり、こうした写真撮影の楽しみ方は、従来の写真コラージュとは明確に異なる、全く新しい撮影体験といえる。

図１８〜図２０は、上記例の他に、携帯端末１０が提供する写真撮影の楽しみ方の例を示す。図１８に示す例は、ユーザの旅行先の駅名である「おこっぺ」というロゴ５２と、そこで食べた「アイスクリーム」とを組み合わせた合成写真を撮影する例である。図１８に示す例では、ホームに設置されている駅名を表示する表示板５１を第１画像Ｐ１として撮影し、その表示板５１から、「おこっぺ」という平仮名部分のロゴ５２を合成対象Ｏ１として抽出している。そして、「アイスクリーム」を被写体とする第２画像Ｐ２が撮影されて、合成対象Ｏ１のロゴ５２が第２画像Ｐ２に合成されている。

このように、携帯端末１０の写真合成機能を用いれば、「おこっぺ」という旅行先の駅名のロゴ５２と、そこで食べた「アイスクリーム」とを合成した合成写真を撮影することで、関連する２つの思い出を１つの写真に重ね合わせて残すといった楽しみ方が可能となる。しかも、携帯端末１０によれば、旅行から帰った後に複数枚の写真をコラージュするといった作業をすることなく、旅行先で即座に合成写真の作成が可能となる。旅行先において強く印象に残った思い出を即座に合成写真として残すことが可能となるため、旅行から帰った後に撮影済みの写真を編集する場合と比べて、強く印象に残った思い出を鮮明な形で残しやすい。また、こうした合成写真を複数枚まとめた旅行のアルバムを作成しておくことで、旅行先でユーザがその時に感じた印象及び雰囲気をいつまでも思い出せる形で保存することも可能である。

図１９に示す例は、ユーザが仲間とビアガーデンに行ったときに、ビアガーデンの店名である「〇×ビアガーデン」という店名のロゴ５４と、乾杯をしている仲間たちとを組み合わせた合成写真を撮影する例である。図１９に示す例では、店名のロゴ５４が表示されている看板５３を第１画像Ｐ１として撮影し、その第１画像Ｐ１から、「〇×ビアガーデン」というロゴ５４を合成対象Ｏ１として抽出している。その後に、乾杯をしている仲間たちを被写体とする第２画像Ｐ２が撮影されて、合成対象Ｏ１のロゴ５４が第２画像Ｐ２に合成される。

このように、携帯端末１０の写真合成機能を用いれば、「〇×ビアガーデン」という店名のロゴ５４と、その店で乾杯をしている仲間たちとを合成した合成写真を撮影することで、図１８に示す例と同様に、関連する２つの思い出を１つの写真に重ね合わせて残すといった楽しみ方が可能となる。

しかも、図１９に示す例では、「〇×ビアガーデン」というロゴ５４が、全体として円弧状に配列されており、その円弧状に合わせるように、乾杯をしている仲間たちの手の上げ方及び姿勢が調節されている。具体的には、三人のうちの中央の人のビールを持った手の位置が最も高く、その両脇の二人の手の位置が、ロゴ５４の円弧形状に合わせて少し低くなっている。また、両脇の二人の頭の位置及び姿勢も、ロゴ５４の円弧形状に合わせて調節されている。

この合成写真の撮影に際しては、「〇×ビアガーデン」というロゴ５４は第１画像Ｐ１から抽出されて、第２画像Ｐ２と合成した状態でライブビュー表示される。本例のように、第２画像Ｐ２に写る被写体が人である場合は、携帯端末１０を操作して撮影するユーザと被写体との間で、例えば、「もっと高く手をあげて」、「頭をかがめて」、又は「背を丸めて」というように、コミュニケーションを取ることができる。このようにユーザと被写体がコミュニケーションをとりながら、ロゴ５４の形状に合わせて、被写体のポージングを決めるといったことも可能となる。図１９に示すこのような例も写真撮影の新しい楽しみ方又は新しい撮影体験の一例と言える。

図２０に示す例は、「ふじお君 入学おめでとう。」という、手書きで書かれたお祝いの言葉を示すメッセージ５６と、「ランドセル」とを組み合わせた合成写真を撮影する例である。図２０に示す例では、メッセージ５６を書いたメモ５５を第１画像Ｐ１として撮影し、その第１画像Ｐ１から、「ふじお君 入学おめでとう。」というメッセージ５６を合成対象Ｏ１として抽出している。そして、「ランドセル」を被写体とする第２画像Ｐ２が撮影されて、合成対象Ｏ１のメッセージ５６が第２画像Ｐ２に合成されている。メッセージ５６の合成に際しては、ランドセルの蓋の部分にメッセージ５６が収まるように、メッセージ５６の姿勢及び表示サイズが編集されている。

このように、携帯端末１０の写真合成機能を用いれば、メッセージ５６とそれに関連する被写体とを合成して、簡単にメッセージカードのような合成写真を作成することも可能である。メッセージ５６は、第１画像Ｐ１に写り込む文字列の一例である。図２０に示す、「入学おめでとう」というメッセージ５６とそれに関連するランドセルとの組み合わせのように、大切な手紙とそれと関連する被写体とを重ね合わせた合成写真は、将来的に思い出深い写真になると考えられる。携帯端末１０によれば、こうした合成写真を簡単に残すことができる。

「変形例１」
また、上記例では、第２画像Ｐ２だけでなく、第１画像Ｐ１もライブビュー表示が可能なスルー画像の例で説明したが、図２１に示すように、第１画像Ｐ１はスルー画像でなくてもよい。すなわち、第１画像Ｐ１は、過去に撮影されて、メモリーカード２９又はストレージデバイス１８のユーザ領域２８などに保存された撮影画像の中から読み出された画像でもよい。合成撮影モードの際には、保存済みの撮影画像の中から、１枚の第１画像Ｐ１がユーザによって選択されて、タッチパネルディスプレイ１２に表示される。

ここで、抽出領域が指定されると、抽出部３２Ａは、抽出領域として指定された指定領域ＤＡから合成対象Ｏ１を抽出する。そして、抽出した合成対象Ｏ１が合成された第２画像Ｐ２が表示される。以降の処理は、上記例と同様である。

本例の場合は、主制御部２６の制御の下、メモリーカード２９又はユーザ領域２８から第１画像Ｐ１が読み出される。第１画像Ｐ１は画像メモリ１７Ａに記録される。メモリーカード２９又はユーザ領域２８から読み出される第１画像Ｐ１は圧縮されている。画像処理部３２は、画像メモリ１７Ａから第１画像Ｐ１を読み出して、第１画像Ｐ１に対して伸長処理を施す。抽出部３２Ａは、伸長処理が施された第１画像Ｐ１から合成対象Ｏ１を抽出する。本例においても、画像処理部３２は、表示部の一例であるタッチパネルディスプレイ１２に表示する画像として第１画像Ｐ１を取得する画像取得部として機能する。

このように、過去の撮影画像を第１画像Ｐ１として利用できれば、例えば、ユーザＵが旅行先で見つけた被写体に基づいて、ユーザＵが、過去に撮影した撮影画像に写し込まれたマーク又は文字列を連想した場合に、その被写体と、被写体から連想したマーク又は文字列との合成写真を得るといった楽しみ方が可能となる。また、合成撮影を行ってメモリーカード２９又はユーザ領域２８に記録した合成画像を、第１画像Ｐ１として利用してもよい。こうすれば、複数回の合成が可能となるので、さらに楽しみ方が広がる。

また、第１画像Ｐ１としては、メモリーカード２９又はユーザ領域２８に保存されている撮影画像だけでなく、インターネットなどを介してサーバからダウンロードした画像を第１画像Ｐ１として利用できるようにしてもよい。サーバから画像をダウンロードする場合も、いったんはメモリーカード２９又はユーザ領域２８に記録されるため、その後の処理は、メモリーカード２９又はユーザ領域２８から撮影画像を第１画像Ｐ１として利用する場合と同様である。

「変形例２」
また、図２２に示すように、合成対象Ｏ１として抽出されるメッセージ５６を、文字の輪郭に応じた画素の集合である画像データとして抽出するのではなく、キャラクターコードの集合に変換するＯＣＲ（Optical Character Recognition）処理を行って、文字のフォントを変更可能としてもよい。

図２２に示す例では、画像処理部３２は、抽出部３２Ａ及び合成部３２Ｂに加えて、ＯＣＲ処理部３２Ｃ及びフォント変更部３２Ｄとして機能する。抽出部３２Ａは、例えば、図２０に示した例と同様に、第１画像Ｐ１から、合成対象Ｏ１として、「ふじお君 入学おめでとう。」という手書きのメッセージ５６を抽出する。抽出部３２Ａは、コントラストに基づいて文字の輪郭を判定して、その輪郭に応じてメッセージ５６を画像データとして抽出する。

ＯＣＲ処理部３２Ｃは、画像データとして抽出されたメッセージ５６に基づいて、メッセージ５６に含まれる各文字を１文字ずつ、キャラクターコードに変換する。こうしたＯＣＲ処理は、パターン認識などの周知の技術を用いて行われる。フォント変更部３２Ｄは、ＯＣＲ処理部３２Ｃからキャラクターコードを受け取り、キャラクターコードに基づいて、メッセージ５６の文字のフォントを変更する。フォントの指定は、例えば、フォントの候補をＧＵＩとしてタッチパネルディスプレイ１２に表示して、ユーザに選択させる方法で行われる。合成部３２Ｂは、フォント変更後の文字で構成されるメッセージ５６Ａを第２画像Ｐ２に合成する。

「変形例３」
上記例では、ロゴなどのマーク又はメッセージなどの文字列を合成対象Ｏ１として抽出する場合において、マーク又はメッセージの輪郭に沿って抽出した例で説明したが、輪郭に沿って抽出するのではなく、図２３に示すように、矩形の指定領域ＤＡを矩形のまま合成対象Ｏ１として抽出してもよい。

図２３に示す例では、第１画像Ｐ１において、矩形の指定領域ＤＡが指定される。抽出部３２Ａは、輪郭の判定を行わずに、指定領域ＤＡを矩形のまま合成対象Ｏ１として抽出する。合成部３２Ｂは、抽出した矩形の合成対象Ｏ１を第２画像Ｐ２に合成する。この場合には、抽出された合成対象Ｏ１に、マーク又は文字列だけでなく、その背景も写り込むことになる。輪郭を判定する上記例と比較すると、見栄えの点で劣る場合もあるが、本例では、抽出処理が簡単になるというメリットもある。なお、抽出する合成対象Ｏ１の形状としては、矩形以外でも、真円、楕円、長円形又は菱形などでもよい。

図２３に示す例の場合には、抽出した合成対象Ｏ１に含まれる不要な部分を画像処理によって消去できるような消しゴム機能を設けてもよい。消しゴム機能は、例えば、タッチパネルディスプレイ１２に消しゴムを模したアイコンをＧＵＩとして表示し、ユーザがそのアイコンを合成対象Ｏ１の不要な部分に移動操作して、移動した位置の画像を消去するというものである。消去された部分は、透明になり、透明部分は、合成対象Ｏ１の背景となる第２画像Ｐ２が表示される。これによれば、輪郭抽出という比較的高度な画像処理を行わずに、合成対象Ｏ１の不要な部分を消去できるというメリットがある。

「変形例４」
また、図２４及び図２５に示す例は、第１画像Ｐ１内の合成対象Ｏ１の指定方法に関する変形例である。上記実施形態では、図７に示したように、ターゲットマーク４６を使用して、ターゲットマーク４６と合成対象Ｏ１とを重ね合わせた状態で、ターゲットマーク４６付近をタップさせることにより、合成対象Ｏ１の抽出領域を指定させている。

これに対して、図２４及び図２５に示す例は、ターゲットマーク４６を使用することなく、タッチパネルディスプレイ１２に表示されている第１画像Ｐ１内に含まれる合成対象Ｏ１を自動的に認識する。図２４に示すように、例えば、タッチパネルディスプレイ１２の表示画面の任意の箇所が指Ｆでタップされると、抽出部３２Ａが、表示中の第１画像Ｐ１を画像解析して、合成対象Ｏ１の候補になるマーク又は文字列の一例であるロゴ４２を検出する。

そして、第１画像Ｐ１内においてロゴ４２が検出されると、図２５に示すように、検出したロゴ４２の部分を、例えば、枠線６１で識別表示する。ユーザが希望する合成対象Ｏ１と一致している場合には、再びタッチパネルディスプレイ１２の任意の箇所がタップされると、検出したロゴ４２が合成対象Ｏ１として確定する。このようにすれば、ターゲットマーク４６と合成対象Ｏ１とを重ね合わせる操作が不要となるため、操作が簡単である。

なお、第１画像Ｐ１から、複数のマーク又は文字列が検出された場合は、検出された複数の候補を枠線６１で識別表示して、その中からユーザが希望する候補をタップすると、その候補が合成対象Ｏ１として確定されるようにしてもよい。

また、第１画像Ｐ１内の合成対象Ｏ１の指定方法については、上記実施形態のターゲットマーク４６を使用する方法及び上記変形例４の方法の他に、タッチパネルディスプレイ１２の表示画面上で、ユーザが行うジェスチャを通じて合成対象Ｏ１を指定させる方法でもよい。ジェスチャとしては、例えば、合成対象Ｏ１を２本の指Ｆでつまむピンチインを行うことにより合成対象Ｏ１を指定させてもよいし、合成対象Ｏ１を１本の指Ｆでタップしたり、合成対象Ｏ１を始点にスワイプするといったジェスチャで指定させてもよい。

この他、上記実施形態は、本発明の趣旨を逸脱しない範囲で種々の変形が可能である。例えば、上記例においては、第１画像Ｐ１から合成対象Ｏ１を抽出し、第２画像Ｐ２のライブビュー表示に切り替わった時点で、直ちにシャッタボタン４８が表示される例で説明している。直ちにシャッタボタン４８を表示させる代わりに、シャッタボタン４８を表示する操作をワンアクション追加してもよい。例えば、色変更ボタン４７と反対側の右下隅にシャッタボタン４８を呼び出すための操作ボタンを表示しておき、この操作ボタンがタップされたときにシャッタボタン４８が表示されるようにしてもよい。この場合には、上記実施形態と比較して、操作がひと手間加わる代わりに、不用意にシャッタボタン４８が操作されるリスクを軽減できるというメリットがある。

上記実施形態において、合成対象Ｏ１は、第１画像Ｐ１内の一部の領域に写り込むマーク又は文字列を含むものとして説明したが、第１画像Ｐ１内のマーク又は文字列が写り込んでいない部分（例えば、人の顔又は印象的な建造物など）を合成対象Ｏ１としてもよい。この場合でも、従来の多重露光撮影技術と比較して、合成画像に写し込む被写体の決定に関する自由度を大きくするという効果は得られる。なお、コントラストに基づいて合成対象Ｏ１を抽出する場合は、マーク又は文字列に限らず、背景とのコントラストがある対象であれば、抽出することが可能である。もちろん、合成対象Ｏ１にマーク又は文字列が含まれていれば、上述のとおり様々な楽しみ方ができるため好ましい。

また、上記実施形態では、第２画像Ｐ２内の１箇所に合成対象Ｏ１を挿入する例で説明したが、合成対象Ｏ１をコピーして、第２画像Ｐ２内の複数個所に合成対象Ｏ１を挿入できるようにしてもよい。この場合には、例えば、合成対象Ｏ１に対する編集指示のメニューに合成対象Ｏ１のコピー機能を設ける。そして、第２画像Ｐ２のライブビュー表示中に、コピー指示をすると、第２画像Ｐ２内で合成対象Ｏ１がコピーされて、第２画像Ｐ２内の複数個所に挿入される。この場合において、合成対象Ｏ１の表示位置、表示姿勢、色変更については、各合成対象Ｏ１毎に編集できるようにすることが好ましい。

上記実施形態において、撮影装置の一例として、スマートフォンなどの携帯端末１０を例に説明したが、スマートフォン以外でもよく、携帯が可能であれば、例えば、タブレット端末でもよいし、カメラ専用機である通常のデジタルカメラでもよい。

また、写真合成アプリケーションプログラムを一例として示した撮影装置の作動プログラムは、携帯端末１０の販売時に予めストレージデバイス１８にインストールされていてもよいし、ユーザが携帯端末１０を購入後、携帯端末１０を使用してサーバにアクセスして、サーバから作動プログラムをダウロードしてインストールしてもよい。

また、本開示の携帯端末１０が実行する合成撮影モードの処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

また、上記実施形態において、図４に一例として示した合成撮影モードの複数のステップの組み合わせは、本開示の撮影装置の作動方法に相当する。

また、上記実施形態において、例えば、画像取得部、抽出部、合成部及び表示制御部といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、下記に示す各種のプロセッサ（Processer）を用いることができる。各種プロセッサとしては、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field‐Programmable Gate Array）などの製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

また、上記各種処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせなど）で実行してもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、システムオンチップ（System On Chip：ＳＯＣ）などのように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。

このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）を用いることができる。

また、本開示の技術は、撮影装置の作動プログラムに加えて、撮影装置の作動プログラムを非一時的に記憶するコンピュータで読み取り可能な記憶媒体（ＵＳＢメモリ又はＤＶＤ（Digital Versatile Disc）−ＲＯＭ（Read Only Memory）など）にもおよぶ。

１０ 携帯端末（撮影装置）
１１ 撮影部
１１Ａ 撮影レンズ
１１Ｂ イメージセンサ
１１Ｃ ＡＤ変換器（Ａ／Ｄ）
１１Ｄ 画像入力コントローラ
１１Ｅ 画像信号処理回路
１１Ｆ タイミングジェネレータ（ＴＧ）
１１Ｇ ドライバ
１２ タッチパネルディスプレイ
１６ 操作スイッチ
１７ ワークメモリ
１７Ａ 画像メモリ
１８ ストレージデバイス
１９ メディアコントローラ
２１ 外部Ｉ／Ｆ
２２ 通信部
２３ バスライン
２６ 主制御部
２７ アプリケーションプログラム（ＡＰ）
２８ ユーザ領域
２９ メモリーカード
３１ 表示制御部
３２ 画像処理部
３２Ａ 抽出部
３２Ｂ 合成部
３２Ｃ ＯＣＲ処理部
３２Ｄ フォント変更部
４１、５３ 看板
４２、５２、５４ ロゴ
４２Ａ 文字
４２Ｂ 楕円
４６ ターゲットマーク
４７ 色変更ボタン
４８ シャッタボタン
５１ 表示板
５５ メモ
５６、５６Ａ メッセージ
６１ 枠線
ＤＡ 指定領域
Ｆ 指
Ｏ１ 合成対象
Ｐ１ 第１画像
Ｐ２ 第２画像

Claims (14)

1. 被写体を撮影する撮影部と、
   前記撮影部が撮影した画像をライブビュー表示する表示部と、
   前記表示部に表示する画像として第１画像を取得する画像取得部と、
   前記第１画像の一部を、画像合成する合成対象として抽出する抽出部と、
   前記撮影部で撮影され、前記第１画像とは異なる第２画像に対して前記合成対象を合成する合成部と、
   前記合成対象が合成された前記第２画像を前記表示部にライブビュー表示する制御を行う表示制御部と、
   を備えている撮影装置。
2. 前記合成対象は、前記第１画像内の一部の領域に写り込むマーク又は文字列を含む請求項１に記載の撮影装置。
3. 前記文字列には、メッセージが含まれており、
   前記マークには、文字、図形、模様及びこれらから選択された２以上の組み合わせのうちの少なくとも１つが含まれる請求項２に記載の撮影装置。
4. 前記抽出部は、前記第１画像内において前記マーク又は前記文字列の輪郭を判定して、判定した輪郭に沿って前記マーク又は前記文字列を抽出する請求項２又は３に記載の撮影装置。
5. 前記第１画像は、前記撮影部で撮影された画像であって、前記表示部にライブビュー表示される請求項１から４のいずれか１項に記載の撮影装置。
6. 前記抽出部は、前記ライブビュー表示中の前記第１画像の中から、前記合成対象を抽出する請求項５に記載の撮影装置。
7. 前記第１画像のライブビュー表示中に、前記合成対象の指定を受け付ける第１指定受付部を備えている請求項６に記載の撮影装置。
8. 前記ライブビュー表示中の前記第１画像の中から前記合成対象が抽出された後、
   前記表示制御部は、前記合成対象が合成された前記第２画像のライブビュー表示を開始する請求項６又は７に記載の撮影装置。
9. 前記抽出部が、前記第１画像の中から、前記合成対象を抽出した場合において、
   前記表示制御部は、前記表示部において、抽出された前記合成対象と抽出元の前記第１画像の背景とを識別するための視覚上の演出を行う請求項１から８のいずれか１項に記載の撮影装置。
10. 前記第２画像のライブビュー表示中に画像保存指示が入力された場合において、前記合成対象が合成された前記第２画像を保存用の合成画像としてメモリに記録する記録部を備えている請求項１から９のいずれか１項に記載の撮影装置。
11. 前記第２画像のライブビュー表示中に、前記第２画像内の前記合成対象の編集指示として、前記合成対象の表示位置、表示姿勢、表示サイズ、及び表示色の少なくとも１つの指定を受け付ける第２指定受付部を備えている請求項１から１０のいずれか１項に記載の撮影装置。
12. 前記合成対象に文字が含まれている場合に、前記文字をキャラクターコードに変換するＯＣＲ処理部と、
    前記キャラクターコードに基づいて前記文字のフォントを変更するフォント変更部とを備えており、
    前記合成部は、フォント変更後の前記文字を前記第２画像に合成する請求項１から１１のいずれか１項に記載の撮影装置。
13. 被写体を撮影する撮影部、及び撮影部が撮影した画像をライブビュー表示する表示部を備えた撮影装置の作動プログラムであって、
    前記表示部に表示する画像として第１画像を取得する画像取得ステップと、
    前記第１画像の一部を、画像合成する合成対象として抽出する抽出ステップと、
    撮影部で撮影され、前記第１画像とは異なる第２画像に対して、前記合成対象を合成する合成ステップと、
    前記合成対象が合成された前記第２画像を前記表示部にライブビュー表示する制御を行う表示制御ステップと、をコンピュータに実行させる撮影装置の作動プログラム。
14. 被写体を撮影する撮影部、及び撮影部が撮影した画像をライブビュー表示する表示部を備えた撮影装置の作動方法であって、
    前記表示部に表示する画像として第１画像を取得する画像取得ステップと、
    前記第１画像の一部を、画像合成する合成対象として抽出する抽出ステップと、
    撮影部で撮影され、前記第１画像とは異なる第２画像に対して、前記合成対象を合成する合成ステップと、
    前記合成対象が合成された前記第２画像を前記表示部にライブビュー表示する制御を行う表示制御ステップと、を備えている撮影装置の作動方法。