JP2017079395A - 合成画像作成装置 - Google Patents

Abstract

【課題】合成画像撮影が容易にできる合成画像作成装置を提供すること。【解決手段】第１の動画像と該第１の動画像の後に撮影される第２の動画像を合成して合成画像を作成する合成画像作成装置において、第１の動画像の中で、特定の被写体を判定する画像判定部と、第１の動画像の画面で、特定の被写体が含まれる特定範囲と含まれない非特定範囲を分ける境界を設定する境界設定部と、第２の動画像の撮影時に、該第２の動画像のライブビュー画像と共に前記境界を表示する表示制御部と、第１の動画像における特定範囲の画像と、第２の動画像における非特定範囲に対応する範囲の画像を合成して合成画像を生成する合成部を備える。【選択図】図４

Description

本発明は、画像合成用の画像を撮影する技術に関する。

動画の処理技術および処理装置の高度化が進んでおり動画に対して動画を合成することも一般的になっている。そして、画像合成の設定操作を簡単に行うことができる撮像装置も色々提案されている。例えば、動画に付帯させるコメント等の合成用画像の位置や大きさを設定し、設定された条件で合成用画像を撮影動画に合成する撮像装置も提案されている（特許文献１）。

特開２０１２−７０１６２号公報

例えば、画面中央に２つの画像の境界を予め定めておき、１回目の撮影と２回目の撮影をそれぞれの領域で行って合成画像を作成する方式では、撮影は容易であるが、作成される合成画像は単純すぎて面白みに欠ける。また、上記方式では、被写体が画面内を大きく移動するシーンでは、対応できない。

１回目撮影での被写体と２回目撮影での被写体を自然に組み合わせて、撮影することができれば、初心者でも合成画像撮影を手軽に楽しむことができるはずである。しかし、１回目撮影での被写体の動きに合わせて、２回目の撮影で、被写体の位置を的確に指示するのは難しい。

本願発明は、合成画像撮影が容易にできる合成画像作成装置を提供することを目的とする。

上記目的を達成するために、第１の動画像と該第１の動画像の後に撮影される第２の動画像を合成して合成画像を作成する合成画像作成装置において、前記第１の動画像の中で、特定の被写体を判定する画像判定部と、前記第１の動画像の画面で、前記特定の被写体が含まれる特定範囲と含まれない非特定範囲を分ける境界を設定する境界設定部と、前記第２の動画像の撮影時に、該第２の動画像のライブビュー画像と共に前記境界を表示する表示制御部と、前記第１の動画像における前記特定範囲の画像と、前記第２の動画像における前記非特定範囲に対応する範囲の画像を合成して合成画像を生成する合成部を備える。

本発明によれば、合成画像撮影が容易にできる合成画像作成装置を提供することができる。

撮像システムの全体構成図である。 制御部関連のハードウェアブロック図である。 合成画像の撮影シーンの例である。 １回目撮影と２回目撮影のライブビュー画像を対比して示す図である。 図４の２つの動画像から生成された合成画像を示す図である。 １回目撮影と２回目撮影のライブビュー画像を対比して示す図である。 図６の２つの動画像から生成された合成画像を示す図である。 端末装置における撮影処理の手順を説明するメインのフローチャートである。 合成画像撮影処理の手順を説明するフローチャート１である。 合成画像撮影処理の手順を説明するフローチャー２である。 合成画像撮影処理の手順を説明するフローチャート３である。 境界候補設定の手順を説明するサブルーチンである 端末装置の表示部の画面例である。 境界設定処理の一例を説明する図である。 ２回目撮影時に表示されるライブビュー画像の例である。

以下、図面に従って本発明の実施形態を説明する。図１は、合成画像作成装置が含まれる撮像システム１の全体構成図である。

撮像システム１は、撮像装置１０と端末装置１００から構成される。撮像装置１０は、画像（動画、静止画）を撮影する撮影機能や、撮影した画像を送信する通信機能を有する。端末装置１００は、通信機能、画像処理機能及び画像記録機能等を備える情報処理端末である。端末装置１００は、ＰＣ（personal computer）でも良いし、あるいはタブレット端末や携帯端末（スマートフォン）でもよい。

また、端末装置１００は、合成用画像を撮影し、撮影された合成用画像から合成画像を作成する合成画像作成装置を有する。撮像装置１０と端末装置１００とは、Ｗｉ−Ｆｉ等の無線で接続される。なお、接続は、有線でも可である。

撮像装置１０は、撮影光学系２０、撮像素子２５、信号処理部３０、圧縮部３５、ＲＡＭ４０、通信部４５、記憶部５０、操作部５５及び制御部６０を有する。

撮影光学系２０は、被写体像を撮像素子２５に結像する。撮影光学系２０は、以下不図示の、光学レンズ群、ピント及びズームのためのレンズ駆動部、絞り、絞り駆動部等を有する。撮影光学系２０は、撮影時には、制御部６０からの指示に応じてＡＥ・ＡＦを実行する。

撮像素子２５は、ＣＣＤやＣＭＯＳから構成され、被写体像を光電変換して、画像信号を出力する。信号処理部３０は、撮像素子２５から出力された画像信号のノイズを低減するＣＤＳ部や、画像信号を所定レベルに増幅するＡＧＣ部を有する。

圧縮部３５は、画像信号をデジタル化して画像データに変換して、ＭＰＥＧ４あるいはＨ．２６４等の所定のフォーマットで圧縮処理を行う。ＲＡＭ（Random Access Memory）４０は、圧縮部３５の処理用に画像データを展開するワーキングエリアや、通信時のバッファーメモリである。

通信部４５は、ＵＳＢ接続により直接的に外部機器と画像データの通信を行ったり、あるいはＷｉ−Ｆｉ等により直接あるいはネットワークを介して外部と画像データの通信を行う。記憶部５０は、ＨＤＤ（Hard Disk Drive）あるいはフラッシュメモリ等から構成される不揮発性の記憶部である。記憶部５０には、画像データ、制御プログラムや各種データが記憶される。

操作部５５は、撮影者が各種操作指示を入力するもので、具体的にはボタンやダイヤル(不図示)である。操作部５５は、操作指示を制御部６０に通知する。制御部６０は、撮像装置１０全体を統括的に制御する制御部である。制御部６０は、ＣＰＵ（Central Processing Unit、不図示）を有し、記憶部５０に記憶された制御プログラムを読込んだＣＰＵが制御処理を実行する。

撮像装置１０から画像データが送信される流れを簡単に説明する。通信部４５を介して端末装置１００からの撮影モード指示あるいは撮影指示を受けると、制御部６０は、指示に応じて例えば動画像の撮影を実行する。

なお、制御部６０は、端末装置１００から後述する合成画像撮影の指示を受けた場合には、２回目撮影時に、境界部分で、１回目撮影との差が目立たないようなＡＥ・ＡＦの条件を設定するよう撮影光学系２０を制御する。

信号処理部３０は、撮像素子２５で光電変換された被写体像を画像信号として出力する。圧縮部３５は、画像信号を所定のフォーマットに圧縮する。撮像装置１０は、圧縮された画像データを通信部４５から端末装置１００に送信する。

端末装置１００は、制御部１１０、通信部１４０、記憶部１５０、表示部１６０、操作部１７０、ＲＡＭ（Random Access Memory）１８０及びカメラ部１９０を有する。

制御部１１０は、端末装置１００全体を統括的に制御するものである。通信部１４０は、ＵＳＢ接続により直接的に外部機器と画像データの通信を行ったり、あるいはＷｉ−Ｆｉ等により直接あるいはネットワークを介して外部と画像データの通信を行うものである。

記憶部１５０は、ＨＤＤあるいはフラッシュメモリ等から構成される不揮発性の記憶部である。記憶部１５０には、撮影された画像データである画像ファイル１５２、制御用のプログラム１５４や各種データが記憶される。

表示部１６０は、ＬＣＤや有機ＥＬ等から構成され、端末装置１００への各種指示画面（メニュー画面）や撮影画像等を表示するものである。操作部１７０は、各種操作指示を入力するもので、具体的にはボタンやタッチパネル(不図示)である。

ＲＡＭ１８０は、画像データあるいは制御プログラムを展開するワーキングエリアである。カメラ部１９０は、端末装置１００に内蔵された撮影装置である。カメラ部１９０は、撮像装置１０の撮影光学系２０、撮像素子２５、信号処理部３０等と同等な機能を有する。なお、以下では、合成される動画像が撮像装置１０で撮影された例で説明するが、カメラ部１９０で取得された動画像であっても同様である。

制御部１１０は、ＣＰＵ（Central Processing Unit）２００を有し、記憶部１５０に記憶された制御用のプログラム１５４を読込んだＣＰＵが、以下説明する各種制御処理を実行する。制御部１１０は、全体制御部１１２、画像処理部１１４、画像記録部１１６、表示制御部１１８、操作判定部１２０、動き判定部１２２、画像判定部１２４、境界設定部１２６及び合成部１２８を、個別の機能部として有する。

全体制御部１１２は、端末装置１００の全体を制御するもので、また、画像処理部１１４から合成部１２８までの各種個別処理を統括する。

画像処理部１１４は、動画像データに対し補間処理、色調整処理、圧縮処理や伸張処理等を行う。画像記録部１１６は、撮像装置１０から送信された画像データを画像ファイル１５２として記録する。

表示制御部１１８は、撮像装置１０から送信された画像データを表示部１６０にライブビュー画像として表示させる。あるいは、表示制御部１１８は、画像ファイル１５２から読み出され伸張された画像を表示する。また、表示制御部１１８は、各種指示画面（メニュー画面）を表示部１６０に表示させる。操作判定部１２０は、操作部１７０から入力された操作指示に応じた内容を、全体制御部１１２に通知する。

動き判定部１２２は、合成画像撮影モードで、動画像を解析して、動きのある被写体を判定する。画像判定部１２４は、合成画像撮影モードで、動画像を解析して、所定以上の動きのある被写体や所定サイズ以上の人物を、特定の被写体として判定する。なお、画像判定部１２４は、人物については、人物の体だけでなく、人物と直接つながっている物も人物の一部をみなす。また、画像判定部１２４は、顔検出機能により、人物の有無を判定する。

画像判定部１２４は、例えば、人物の高さが画面高さの１／３以上あれば、その人物を特定の被写体として判定する。また、人物以外の被写体でも、画像判定部１２４は、例えば１秒以内に画面の縦横いずれも１／１０以上移動すれば、特定の被写体と判定する。

境界設定部１２６は、合成画像撮影モードの１回目撮影の動画像（１回目撮影画像とも呼ぶ）で、特定被写体の存在する範囲（特定範囲と呼ぶ）を判定して、境界を設定し、設定した境界を２回目撮影の動画像（２回目撮影画像とも呼ぶ）に基づくライブビュー画面上に表示する。

具体的には、境界設定部１２６は、合成画像撮影モードの１回目撮影の動画像で、特定範囲と非特定範囲をそれぞれ判定し、特定範囲と非特定範囲を分ける境界を設定する。境界設定部１２６は、合成画像撮影モード時の２回目の撮影時のライブビュー画像に設定した境界を画面上に表示する。なお以下では、合成画像撮影モードの１回目撮影の動画像を第１の動画像と呼び、合成画像撮影モードの２回目撮影の動画像を第２の動画像とも呼ぶ。

合成部１２８は、１回目撮影画像から特定範囲の画像を抽出し、２回目撮影画像から非特定範囲に対応する範囲の画像を抽出し、両者を合成して合成画像を生成する。

動き判定部１２２、画像判定部１２４、境界設定部１２６及び合成部１２８をまとめて 合成画像作成装置１３０とも呼ぶ。

図２は、制御部１１０関連のハードウェアブロック図である。前述のように、制御部１１０を構成するＣＰＵ２００に、通信部１４０、プログラム１５４が記憶された記憶部１５０、表示部１６０及びＲＡＭ１８０が、バスラインで接続される。

図３は、合成画像の撮影シーンの例である。撮像装置１０と端末装置１００は、Ｗｉ−Ｆｉ等の無線で接続される。撮影者Ｎは、端末装置１００を両手に持って撮影をしている状態である。ここでは、撮像装置１０は、複数回撮影による動画像間での画面のズレを無くすために、三脚３００に取付けられる。撮像装置１０で撮影された被写体Ｍの動画像が、端末装置１００で受信される。撮影者Ｎは、表示部１６０に表示されるライブビュー画像で、モニタすることができる。

図４〜図７を用いて、合成画像の撮影例を具体的に説明する。図４と図５は、境界Ｂが固定される例である。図６と図７は、境界Ｂが変化する例である。

図４は、合成画像撮影時に、表示部１６０に表示される１回目撮影のライブビュー画像と２回目撮影のライブビュー画像を対比して示す図である。

図４の、左列が１回目撮影の動画像Ｐのライブビュー画像で、右列が２回目撮影の動画像Ｑのライブビュー画像である。１回目撮影のライブビュー画像は、画像Ｐ１→画像Ｐ２→画像Ｐ３の順に進む。画像Ｐ１は撮影開始時の画像である。画像Ｐ２は、撮影開始時後２秒後の画像である。画像Ｐ３は、撮影終了時（例えば、開始後５秒後）の画像である。

１回目撮影で、被写体Ｍは、右手に持った花束を、向かって左側に差し出すように動くとする。１回目撮影で、画像判定部１２４は、被写体Ｍを特定被写体と判定する。境界設定部１２６は、特定被写体である被写体Ｍの移動を解析して、境界Ｂを設定する。撮影終了時の画像Ｐ３で、設定された境界Ｂが破線で示される。１回目撮影の動画像データと設定された境界Ｂのデータが、画像ファイル１５２に記憶される。

２回目撮影のライブビュー画像は、画像Ｑ１→画像Ｑ２→画像Ｑ３の順に進む。画像Ｑ１は撮影開始時の画像で、画像Ｐ１に対応する。画像Ｑ２は、撮影開始時後２秒後の画像で、画像Ｐ２に対応する。画像Ｑ３は、撮影終了時（開始後５秒後）の画像で、画像Ｐ３に対応する。

２回目撮影のライブビュー画像では、境界Ｂにより画面が左右に分割される。画面右側をａ領域、画面左側をｂ領域とする。ａ領域が被写体Ｍａが存在する特定領域、ｂ領域が被写体Ｍａが存在しない非特定領域である。ａ領域には１回目撮影で撮影された動画像Ｐが表示され、ｂ領域には２回目撮影のライブビュー画像（動画像Ｑ）が表示される。撮影者に領域を示すための領域情報Ｅとして、ａ領域にはＮｏ１、ｂ領域にはＮｏ２が表示される。

撮影開始時に、画像Ｑ１のａ領域には、１回目撮影の画像Ｐ１のａ領域に相当する画像Ｐ１ａが表示される。画像Ｑ１のｂ領域には、２回目撮影の画像Ｑのｂ領域に相当する画像Ｑ１ｂが表示される。

そして、撮影開始２秒後には、画像Ｑ２のａ領域には、１回目撮影の画像Ｐ２のａ領域に相当する画像Ｐ２ａが表示される。画像Ｑ２のｂ領域には、２回目撮影の画像Ｑのｂ領域に相当する画像Ｑ２ｂが表示される。

撮影開始５秒後には、画像Ｑ３のａ領域には、１回目撮影の画像Ｐ３のａ領域に相当する動画像Ｐ３ａが表示される。画像Ｑ３のｂ領域には、２回目撮影の画像Ｑのｂ領域に相当する動画像Ｑ３ｂが表示される。なお、２回目の撮影は、１回目の撮影終了のタイミングで、自動的に終了されるようにしてもよいし、撮影者の操作で終了されるようにしてもよい。

図５は、図４の２つの動画像から生成された合成画像を示す図である。合成部１２８により、１回目撮影画像の特定領域（ａ領域）の画像と２回目撮影画像の非特定領域（ｂ領域）の画像から、合成画像が生成される。合成画像Ｒ１→合成画像Ｒ２→合成画像Ｒ３の順に進む。１回目撮影の被写体Ｍａと２回目撮影の被写体Ｍｂが、同期したように撮影される。これにより、あたかも、被写体Ｍａから被写体Ｍｂに花束が手渡されたような光景が表現することができる。

以上により、合成画像撮影の境界が、予め設定した位置ではなく、１回目撮影時の被写体の位置や動きに応じた位置に設定されるので、２回目撮影での被写体の移動位置等を適切に設定することができる。

また、２回目撮影時のライブビュー画像に１回目撮影の特定領域が同時に表示されるので、２回目撮影での被写体の動きを、１回目撮影時の被写体の動きと同期させることも容易になる。

図６と図７を用いて、境界Ｂを変化させる例を説明する。図６は、合成画像撮影時に、表示部１６０に表示される１回目撮影の動画像Ｐのライブビュー画像と２回目撮影の動画像Ｑのライブビュー画像を対比して示す図である。

図６の、左列が１回目撮影のライブビュー画像で、右列が２回目撮影のライブビュー画像である。１回目撮影のライブビュー画像は、画像Ｐ１０→画像Ｐ１１→画像Ｐ１２→画像Ｐ１３の順に進む。画像Ｐ１０は撮影開始時の画像で、以降は、例えば２秒間隔で撮影されたとする。画像Ｐ１３は、撮影終了時の画像である。

１回目撮影で、被写体Ｍは、左右に移動しながら、右手に持った花束を、向かって左側に差し出すように動くとする。画像判定部１２４は、被写体Ｍのサイズを解析して、特定被写体と判定する。境界設定部１２６は、被写体Ｍにより境界Ｂ１を設定する。画像Ｐ１０では、設定された境界Ｂが破線で示される。なお、境界設定部１２６による境界Ｂ１の設定に時間がかかる場合もあるので、境界Ｂは、撮影開始時には直ちに表示されず、次の画像Ｐ１１以降から表示開始されることもある。

以降、境界設定部１２６は、被写体Ｍのサイズと動きを解析して、順次、境界Ｂを設定する。画像Ｐ１１、画像Ｐ１２、画像Ｐ１３で、それぞれ設定された、境界Ｂ２，境界Ｂ３、境界Ｂ４を示す。以上のようにして、境界は、Ｂ１→Ｂ２→Ｂ３→Ｂ４のように移動する。

２回目撮影のライブビュー画像は、画像Ｑ１０→画像Ｑ１１→画像Ｑ１２→画像Ｑ１３の順に進む。

図４の例と同様に、２回目撮影のライブビュー画像では、境界Ｂより画面が左右に分割される。画面右側をａ領域、画面左側をｂ領域とする。ａ領域には１回目撮影の動画像Ｐが表示され、ｂ領域には２回目撮影の動画像Ｑが表示される。図４と同様に、領域情報Ｅも表示される。

撮影開始時に、画像Ｑ１０のａ領域には、１回目撮影の画像Ｐ１０のａ領域に相当する画像Ｐ１０ａが表示される。画像Ｑ１０のｂ領域には、２回目撮影の画像Ｑのｂ領域に相当する画像Ｑ１０ｂが表示される。

２回目撮影開始時の画像Ｑ１０では、現在の境界Ｂ１が実線で表示され、次の境界Ｂ２が破線で表示される。さらに、境界Ｂ１から境界Ｂ２に変化するので、境界Ｂの移動方向を予告する矢印Ｋが表示される。境界設定部１２６は、次の境界Ｂを破線で示めしたり、あるいは矢印Ｋを表示して、境界の予告を行う。次の境界と矢印Ｋは、いずれか一方だけ表示されるようにしてもよい。

２回目撮影開始２秒後の画像Ｑ１１では、現在の境界Ｂ２が実線で表示され、次の境界Ｂ３が破線で表示され、矢印Ｋも左下向きで表示される。また、２回目撮影開始４秒後の画像Ｑ１２では、現在の境界Ｂ３が実線で表示され、次の境界Ｂ４が破線で表示され、矢印Ｋは右上向きで表示される。そして、２回目撮影終了時の画像Ｑ１２では、現在の境界Ｂ４のみが実線で表示される。

図７は、図６の２つの動画像から生成された合成画像の表示例である。合成部１２８により、１回目撮影と２回目撮影の動画像から合成画像が生成される。合成画像Ｒ１→合成画像Ｒ２→合成画像Ｒ３→合成画像Ｒ４の順に進む。境界を移動させることで、図５での合成画像に比べて、より動きのある合成画像を取得することができる。

以上により、境界Ｂが移動する場合に、境界の次の位置や移動方向が画面に予告されるので、２回目撮影の範囲や被写体の移動位置等を適切に設定することができる。これにより、１回目撮影時に、被写体が画面内を大きく移動しても、破たんのない合成画像を得ることができる。そして、２つに被写体ＭａとＭｂの関係を、よりダイナミックに演出して撮影することができる。

なお、境界が短時間で変化するとかえって煩わしくなるので、境界設定部１２６は、境界設定の時間間隔を、多少長くする（例えば、２秒程度）方が望ましい。

〈画像合成撮影処理〉
次に、画像合成撮影処理の手順を、図８〜図１５を用いて説明する。図８は、端末装置における撮影処理の手順を説明するメインのフローチャートである。なお、以下では、図３の撮影シーン例で紹介したように、カメラとして外部カメラ（撮像装置１０）を利用する場合を説明するが、内蔵のカメラ部１９０の場合でも、基本的に同じである。

全体制御部１１２は、表示部１６０にメニュー表示を行う(ステップＳ１０)。図１３は、端末装置１００の表示部１６０の画面例である。全体制御部１１２は、表示制御部１１８により、画面１６０ａ等を表示する。

全体制御部１１２は、表示されたメニュー画面で撮影者により外部カメラモードが選択されたかを判断する(ステップＳ１２)。全体制御部１１２は、メニュー画面で外部カメラモードが選択されていないと判断すると(ステップＳ１２ＮＯ)、他の選択されたモードを実行するが、説明は省略する。

ここでは、メニュー画面で外部カメラ１６１が選択されたとする。全体制御部１１２は、メニュー画面で外部カメラモードが選択されたと判断すると(ステップＳ１２ＹＥＳ)、外部カメラとの接続処理を行う(ステップＳ１４)。全体制御部１１２は、通信部１４０を介して、使用可能な撮像装置１０を検出し、検出された撮像装置１０と通信し、接続を確立する。

全体制御部１１２は、表示部１６０に外部カメラ用のメニュー表示を行う(ステップＳ１６)。全体制御部１１２は、表示制御部１１８により、図１３の画面１６０ｂのようなメニューを表示する。撮影者は、画面１６０ｂの項目を選択する。

全体制御部１１２は、画面１６０ｂで、静止画撮影が選択されたか(ステップＳ１８)、通常の動画撮影が選択されたか(ステップＳ２０)、合成画像撮影が選択されたか(ステップＳ２２)、あるいは画像再生が選択されたか(ステップＳ２６)を判断する。

全体制御部１１２は、静止画撮影が選択され(ステップＳ１８ＹＥＳ)、通常の動画撮影が選択され(ステップＳ２０ＹＥＳ)、あるいは画像再生が選択された (ステップＳ２６ＹＥＳ)と判断すると、それぞれ対応する処理を実行する。静止画撮影、通常の動画撮影、画像再生の各処理の説明は、省略する。

全体制御部１１２は、合成画像撮影が選択されたと判断すると(ステップＳ２２ＹＥＳ)、合成画像撮影モードを実行する(ステップＳ２４)。また、全体制御部１１２は、図１３の画面１６０ｂの「戻る」が選択されたかを判断する (ステップＳ２８)。全体制御部１１２は、図１３の画面１６０ｂの「戻る」が選択されたと判断すると(ステップＳ２８ＹＥＳ)、ステップＳ１２に戻る。また、全体制御部１１２は、いずれのボタンも選択されない場合（ステップＳ１８ＮＯ、ステップＳ２０ＮＯ、ステップＳ２２ＮＯ、ステップＳ２６ＮＯ、ステップＳ２８ＮＯ）には、ステップＳ１８に戻る。

合成画像撮影モードについて説明する。図９〜図１１は、合成画像撮影モードにおける合成画像撮影処理の手順を説明するフローチャート１，２，３である。画像合成撮影処理は、主に端末装置１００の全体制御部１１２、動き判定部１２２、画像判定部１２４、境界設定部１２６及び合成部１２８によって、実行される。

全体制御部１１２は、表示部１６０にメニュー表示を行う(ステップＳ４０)。全体制御部１１２は、表示制御部１１８により、図１３の画面１６０ｃのようなメニューを表示する。

全体制御部１１２は、撮影者により１回目撮影が選択されたかを判断する(ステップＳ４２)。図１３の画面１６０ｃで「１回目撮影」がタップされると、１回目撮影が選択される。全体制御部１１２は、１回目撮影が選択されたと判断すると(ステップＳ４２ＹＥＳ)、全体制御部１１２は、１回目撮影を実行する。

全体制御部１１２は、撮像装置１０に、合成画像撮影の１回目撮影の指示やライブビュー画像の送信を指示する。あわせて、全体制御部１１２は、必要な撮影条件（撮影モードや画質等）を撮像装置１０に送信する。

全体制御部１１２は、撮像装置１０で撮影されたライブビュー画像を受信し、受信したライブビュー画像を表示部１６０に表示する(ステップＳ４４)。動き判定部１２２及び画像判定部１２４は、受信したライブビュー画像に基づき、画像判定を行う(ステップＳ４６)。具体的には、動き判定部１２２は、ライブビュー画像を解析して、動きのある被写体を判定する。また、画像判定部１２４は、ライブビュー画像を解析して、所定以上の動きのある被写体や所定サイズ以上の人物を、特定の被写体として判定する。なお、この時に、境界設定部１２６が境界を判定して、判定した境界を表示部１６０に表示するようにしてもよい。

全体制御部１１２は、撮影者により撮影開始操作がされたかを判断する(ステップＳ４８)。全体制御部１１２は、端末装置１００の所定のボタンが操作されると、操作開始と判断する。全体制御部１１２は、撮影開始操作がされていないと判断すると(ステップＳ４８ＮＯ)、ステップＳ４４に戻る。

全体制御部１１２は、撮影開始操作がされたと判断すると(ステップＳ４８ＹＥＳ)、全体制御部１１２は、撮像装置１０に撮影開始を指示する(ステップＳ５０)。撮像装置１０は、端末装置１００からの撮影開始指示を受けて、ＡＥ・ＡＦ等の撮影条件を設定し、１回目の動画像撮影を開始する。撮像装置１０は、撮影した動画像を順次端末装置１００に送信する。

全体制御部１１２は、撮像装置１０で撮影された１回目撮影の動画像を受信し、受信した１回目撮影画像をライブビュー画像として表示部１６０に表示する(ステップＳ５２)。画像記録部１１６は、画像ファイル１５２への動画像データ記録を開始する。動き判定部１２２、画像判定部１２４及び境界設定部１２６は、受信した動画像に基づき、境界候補設定を行う(ステップＳ５４)。

図１２は、境界候補設定の手順を説明するサブルーチンである。画像判定部１２４は、動画像に人物が存在するかを判断する(ステップＳ１３０)。画像判定部１２４は、動画像に人物が存在すると判断すると(ステップＳ１３０ＹＥＳ)、その人物を特定被写体に判定する(ステップＳ１３２)。前述のように、画像判定部１２４は、例えば、画像パターンの特徴を使って類似度などで解析する顔検出機能等により、人物の有無を判定する。そして、画像判定部１２４は、例えば、人物の高さが画面高さの１／３以上あれば、特定被写体と判定する。

また、画像判定部１２４は、人物の形状を判定する(ステップＳ１３６)。人物については、人物の体だけでなく、人物と直接つながっている物も人物の一部をみなす。このような、つながっているかどうかの判定も、画像のパターンの分析で画像判定部１２４が行うものとする。顔検出もそうであったが、得られた画像の陰影や色のパターンと、人体姿勢パターンデータベースのような、人体の様々な姿勢の画像パターン辞書などと比較して、人体各部の形状と位置、配置などから判定が可能である。また、その部位特有の動き（関節部を中心とした折り曲げや旋回やなど）を参照して動きの特徴を利用して判断してもよい。動きのスピードなどを考慮して判定してもよい。

手の動きが検出されると、それが画像として手の特徴を有するものであれば、動きは関節の折り曲げから起こっていることを判定、その関節をたどって行けば、胴体がどこにあるかや、相当する位置にある顔の判定なども考慮して、得られた画面内のどの位置に人物がいるかが判定可能である。また、近年、画像の距離分布を検出する技術が普及しつつあり、そうした技術を併用してもよい。つまり、画像判定部１２４は、前記第１の動画像の中で、所定以上動きのある部位を検出し、それに関連する被写体を画像のパターンや動きや距離分布の特徴から特定の被写体（例えば人物部）と判定する。

画像判定部１２４は、動画像に人物が存在しないと判断すると(ステップＳ１３０ＮＯ)、動きのある被写体を特定被写体と判定する(ステップＳ１３４)。動き判定部１２２が、被写体の動きを判定する。画像判定部１２４は、大きく動くものを対象とするために、例えば１秒以内に画面の縦横いずれも１／１０以上移動するものを、特定被写体と判定する。

さらに、動き判定部１２２は、特定被写体の動きを判定する(ステップＳ１３８)。動き判定部１２２は、所定時間経過したかを判断する(ステップＳ１４０)。動き判定部１２２が、所定時間間隔（例えば２秒）で、特定被写体が動いた範囲を判定するためである。動き判定部１２２は、特定被写体が動いた範囲を判定する(ステップＳ１４２)。動き判定部１２２は、所定時間経過していないと判断すると(ステップＳ１４０ＮＯ)、ステップＳ１３８に戻る。動き判定部１２２は、所定時間経過したと判断すると(ステップＳ１４０ＹＥＳ)、ステップＳ１４２に進む。

境界設定部１２６は、判定された特定被写体が動いた範囲に基づき、境界候補を設定する(ステップＳ１４４)。図１４は、境界設定処理の一例を説明する図である。図１４の画面は、図４の画像Ｐ２と同一の画面である。ステップＳ１３６で、画像判定部１２４により、人物（被写体Ｍ）と人物が持つ花が特定被写体と判定されたとする。

境界設定部１２６は、画面を所定間隔のブロックＣに区分し、各ブロックＣの中で、特定被写体Ｍを含むブロックCａを判定する。境界設定部１２６は、太線で囲まれたブロックＣａからなる領域を特定被写体の領域とし、特定被写体の領域の位置と形状により、破線で示す境界Ｂを設定する。図１４の例では、特定被写体の領域形状に合わせて、境界Ｂを右下がりの直線に設定している。図９のステップＳ５６に進む。

全体制御部１１２は、設定された境界候補をライブビュー画像に重畳して表示部１６０に表示する(ステップＳ５６)。なお、図４で示したように、１回目撮影途中では、境界候補を表示しないで、撮影終了後に表示するようにしてもよい。また、１回目撮影途中での境界候補の表示／非表示は、初期設定で選択できるようにしてもよい。

全体制御部１１２は、撮影者により撮影終了操作がされたかを判断する(ステップＳ５８)。全体制御部１１２は、撮影終了操作がされていないと判断すると(ステップＳ５８ＮＯ)、ステップＳ５２に戻る。全体制御部１１２は、撮影終了操作がされたと判断すると(ステップＳ５８ＹＥＳ)、撮像装置１０に撮影終了を指示する(ステップＳ６０)。画像記録部１１６は、画像ファイル１５２を閉じて、１回目撮影の動画像データ記録を終了する (ステップＳ６２)。

全体制御部１１２は、設定された境界候補を表示部１６０に表示する(ステップＳ６４)。境界候補の表示は、境界候補のみ表示しても良いし、境界候補を重畳した動画像を再生表示してもよい。また、図６で示したような境界候補が移動する場合には、境界候補のみを順番に表示してもよいし、各境界候補と各境界候補の切換わり時の動画像を順番に表示してもよい。

全体制御部１１２は、撮影者により境界候補が承認されたかを判断する(ステップＳ６６)。撮影者は、表示された境界候補を見て、適当であるかを判断する。全体制御部１１２は、境界候補が承認されたと判断すると(ステップＳ６６ＹＥＳ)、画像記録部１１６は、境界候補情報を、撮影された動画データと共に画像ファイル１５２に記録する。

全体制御部１１２は、境界候補が承認されないと判断すると(ステップＳ６６ＮＯ)、撮影者からの指示で、境界の変更あるいは境界候補を削除する。境界設定部１２６は、撮影者から境界の変更を指示された場合には、指示に応じて境界を変更する。撮影者から境界候補の削除が指示された場合には、全体制御部１１２は、１回目撮影を再度行う。全体制御部１１２は、ステップＳ６６またはステップＳ６８の後に、ステップＳ４２に戻る。

全体制御部１１２は、１回目撮影が選択されていないと判断すると(ステップＳ４２ＮＯ)、２回目撮影が選択されたかを判断する (ステップＳ８０)。図１３の画面１６０ｃで撮影者により「２回目撮影」がタップされると、２回目撮影が選択される。

全体制御部１１２は、２回目撮影が選択されていないと判断すると(ステップＳ８０ＮＯ)、図１３の画面１６０ｃで「戻る」が選択されたかを判断する (ステップＳ８２)。全体制御部１１２は、「戻る」が選択されたと判断すると (ステップＳ８２ＹＥＳ) 、合成画像撮影モードを終了して、図８のステップＳ１６に戻る。全体制御部１１２は、「戻る」が選択されていないと判断すると (ステップＳ８２ＮＯ) 、ステップＳ４０に戻る。

全体制御部１１２は、２回目撮影が選択されたと判断すると(ステップＳ８０ＹＥＳ)、撮影者に１回目撮影画像を選択させる(ステップＳ８４)。１回目撮影画像が複数存在する場合もあるからである。全体制御部１１２は、例えば、１回目撮影画像のスタート画面を並べて表示部１６０に表示して、撮影者に選択させる。１回目撮影画像が１つしかない場合には、ステップＳ８０は省略される。

全体制御部１１２は、１回目撮影画像が選択された場合に、選択された１回目撮影画像の代表画像とその境界を表示する(ステップＳ８６)。代表画像は、開始画像でも終了画像でもよい。全体制御部１１２は、境界に従って２回目撮影のライブビュー画像を表示する(ステップＳ８８)。

全体制御部１１２は、撮像装置１０に、境界部分が目立たないようなＡＥ・ＡＦを指示する(ステップＳ９０)。撮像装置１０の制御部６０は、２回目撮影において、例えば、１回目撮影と、絞り・シャッター値・ピント距離等をなるべく変化させないように制御する。

全体制御部１１２は、２回目撮影の撮影開始操作がされたかを判断する(ステップＳ９２)。全体制御部１１２は、２回目撮影の撮影開始操作がされていないと判断すると(ステップＳ９２ＮＯ)、図１３の画面１６０ｃの「戻る」が選択されたかを判断する (ステップＳ９４)。全体制御部１１２は、「戻る」が選択されたと判断すると (ステップＳ９４ＹＥＳ)、ステップＳ８０に戻る。全体制御部１１２は、「戻る」が選択されていないと判断すると (ステップＳ９４ＮＯ)、ステップＳ８８に戻る。

全体制御部１１２は、２回目撮影の撮影開始操作がされたと判断すると(ステップＳ９２ＹＥＳ)、全体制御部１１２は、２回目撮影を開始する。全体制御部１１２は、撮像装置１０に、２回目撮影の開始及び２回目撮影画像の送信を指示する(ステップＳ９６)。 全体制御部１１２は、撮像装置１０で撮影された２回目撮影画像を受信する(ステップＳ１１０)。

合成部１２８は、画像ファイル１５２に記録された１回目撮影画像を読み出し、読み出した１回目撮影画像から特定範囲の画像を抽出し、２回目撮影画像から非特定範囲に対応する範囲の画像を抽出し、両者を合成して合成画像を生成する。前述のように、特定範囲は１回目撮影画像での特定被写体が存在する範囲で、非特定範囲は１回目撮影画像での特定被写体体が存在しない範囲である。

全体制御部１１２は、生成された合成画像を表示部１６０に表示する(ステップＳ１１２)。そして、画像記録部１１６は、生成された合成画像を画像ファイルに記録する。なお、２回目撮影時のライブビュー画像表示では、図５等で説明した合成画像を表示する代わりに、他の表示も可能である。図１５は、２回目撮影時に表示されるライブビュー画像の例である。

図１５の上に示す画像Ｑ２０は、図５等で説明した合成画像である。ライブビュー画像の画面が、境界Ｂによって、特定領域であるａ領域と非特定領域であるｂ領域に分割される。ａ領域には、１回目撮影画像のａ領域部分であるＰａが表示され、ｂ領域には２回目撮影画像のｂ領域部分であるＱｂが表示される。

図１５の中央に示す画像Ｑ２１は、ライブビュー画像のａ領域を黒や青等で、表示する例である。この例によれば、１回目撮影画像の一部を抽出して表示する処理をなくすことができ、合成部１２８によるライブビュー画像の表示処理負荷を低減させることができる。

図１５の下に示す画像Ｑ２２は、ライブビュー画像に境界Ｂを重畳して示すのみで、ａ領域ｂ領域共に２回目撮影画像をそのまま表示する例である。境界Ｂを重畳する処理のみであるので、画像Ｑ２１の例に比べて、更にライブビュー画像の表示処理負荷を低減することができる。

境界設定部１２６は、画像ファイル１５２に記録された境界情報に基づき、境界が所定時間後に移動されるかを判断する(ステップＳ１１４)。境界設定部１２６は、境界が所定時間後に移動されると判断すると(ステップＳ１１４ＹＥＳ)、境界設定部１２６は、画面に移動予告を表示する(ステップＳ１１６)。移動予告は、図６で説明したような例である。境界設定部１２６は、境界が所定時間後に移動されないと判断すると(ステップＳ１１４ＮＯ)、ステップＳ１１６をスキップして、ステップＳ１１８に進む。

全体制御部１１２は、撮影者により２回目撮影の終了操作がされたかを判断する(ステップＳ１１８)。全体制御部１１２は、２回目撮影の終了操作がされていないと判断する(ステップＳ１１８ＮＯ)、ステップＳ１１０に戻る。

全体制御部１１２は、２回目撮影の終了操作がされたと判断すると(ステップＳ１１８ＹＥＳ)、撮像装置１０に撮影終了を指示する(ステップＳ１２０)。なお、全体制御部１１２は、撮影時間を１回目撮影の時間と一致させるようにしてもよく、１回目撮影時間と同じ時間が経過したら、２回目撮影を終了させるようにしてもよい。

全体制御部１１２は、生成された合成画像を再度表示して、合成画像を保存記録するかを撮影者に問い合わせる。全体制御部１１２は、記録ＯＫであると撮影者から指示があったかを判断する(ステップＳ１２２)。

全体制御部１１２は、記録ＯＫであるとの指示がないと判断する(ステップＳ１２２ＮＯ)、画像ファイル１５２から記録された合成画像を消去して、ステップＳ４０に戻る。全体制御部１１２は、記録ＯＫであるとの指示があったと判断する(ステップＳ１２２ＹＥＳ)、画像記録部１１６は、画像ファイル１５２を閉じて、合成画像の記録を終了する(ステップＳ１２４)。全体制御部１１２は、ステップＳ１２４の後、ステップＳ４０に戻る。

〈変形例〉
上記実施形態は、以下のような変形も可能である。
・境界Ｂを直線で示したが、直線には限るものではない。境界Ｂは折れ曲がった形状でもよいし、曲線でもよい。
・２枚の撮影画像を合成する例を示したが、３枚あるいがそれ以上の撮影画像を合成する場合でも、本実施形態は適用可能である。例えば、２回目撮影で、更に、領域ｂを２回目撮影時の特定被写体を含む領域ｂ１と、含まない領域ｂ２の２つに分けるようにする。そして、３回目撮影で、領域ｂ２を撮影範囲として、新たな被写体を撮影すれば、３回撮影の合成画像を得ることができる。
・上記実施形態として、カメラ装置と端末装置が別体で構成された撮像システムの例を説明したが、カメラ部と端末装置が一体構成された撮像システムでもよい。
・また、撮像装置は、通常のカメラではなく、内視鏡装置や顕微鏡装置であってもよい。また、合成画像作成装置を、端末装置に搭載したが、撮像装置に搭載してもよい。
・撮像装置１０は、画像データを圧縮して端末装置１００に送信する例を示したが、端末装置１００に送信される画像データは、非圧縮の画像データであってもよい。
・制御部１１０は、制御プログラムを読込んだＣＰＵによるソフトウェア処理により実現されると説明したが、制御部１１０は、一部あるいは全部をハードウェアで構成したものであってもよい。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。

１ 撮像システム
１０ 撮像装置
２０ 撮影光学系
２５ 撮像素子
３０ 信号処理部
３５ 圧縮部
４０ ＲＡＭ
４５ 通信部
５０ 記憶部
５５ 操作部
６０ 制御部
１００端末装置
１１０ 制御部
１１２ 全体制御部
１１４ 画像処理部
１１６ 画像記録部
１１８ 表示制御部
１２０ 操作判定部
１２２ 動き判定部
１２４ 画像判定部
１２６ 境界設定部
１２８ 合成部
１３０ 合成画像作成装置
１４０ 通信部
１５０ 記憶部
１５２ 画像ファイル
１５４ プログラム
１６０ 表示部
１７０ 操作部
１８０ ＲＡＭ
１９０ カメラ部
２００ ＣＰＵ

Claims (9)

1. 第１の動画像と該第１の動画像の後に撮影される第２の動画像を合成して合成画像を作成する合成画像作成装置において、
   前記第１の動画像の中で、特定の被写体を判定する画像判定部と、
   前記第１の動画像の画面で、前記特定の被写体が含まれる特定範囲と含まれない非特定範囲を分ける境界を設定する境界設定部と、
   前記第２の動画像の撮影時に、該第２の動画像のライブビュー画像と共に前記境界を表示する表示制御部と、
   前記第１の動画像における前記特定範囲の画像と、前記第２の動画像における前記非特定範囲に対応する範囲の画像を合成して合成画像を生成する合成部を備える、
   ことを特徴とする合成画像作成装置。
2. 前記表示制御部は、前記生成された合成画像を表示する
   ことを特徴とする請求項１に記載の合成画像作成装置。
3. 前記画像判定部は、前記第１の動画像の中で、所定以上動きのある部位を検出し、それに関連する被写体を前記特定の被写体と判定する
   ことを特徴とする請求項１に記載の合成画像作成装置。
4. 前記画像判定部は、前記第１の動画像の中で、人物及び該人物に接触している物体を前記特定の被写体と判定する
   ことを特徴とする請求項１に記載の合成画像作成装置。
5. 前記境界設定部は、前記特定の被写体の変化に応じて、前記境界の位置を移動させる
   ことを特徴とする請求項１に記載の合成画像作成装置。
6. 前記表示制御部は、前記第２の動画像のライブビュー画像に前記設定された境界を表示する場合に、前記移動する前記境界の位置を予告表示する
   ことを特徴とする請求項５に記載の合成画像作成装置。
7. 前記境界設定部は、前記第１の動画像の中で、前記特定の被写体の変化に合わせて、前記境界を１つ設定する
   ことを特徴とする請求項１に記載の合成画像作成装置。
8. 前記第２の動画像の撮影時に、該第２の動画像を撮影する撮影装置に、前記第１の動画像の撮影時間に合わせて撮影終了を指示する制御部を備える
   ことを特徴とする請求項１に記載の合成画像作成装置。
9. 第１の動画像と該第１の動画像の後に撮影される第２の動画像を合成して合成画像を作成する合成画像作成方法において、
   前記第１の動画像の中で、特定の被写体を検出するステップと、
   前記第１の動画像の画面で、前記特定の被写体が含まれる特定範囲と含まれない非特定範囲を分ける境界を設定するステップと
   前記第２の動画像の撮影時に前記設定された境界を画面に表示するステップと、
   前記第１の動画像における前記特定範囲の画像と、前記第２の動画像における前記非特定範囲に対応する範囲の画像を合成して合成画像を生成するステップを含む、
   ことを特徴とする合成画像作成方法。