JP2021150865A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】ユーザが部分画像を適切に選択することができる画像処理装置、画像処理方法、及び画像処理プログラムを得る。【解決手段】連続的に撮影して得られた複数の撮影画像であり、それぞれが複数の被写体を含む撮影画像を取得し、複数の撮影画像のうちの１枚である基準撮影画像を含み、かつ、基準撮影画像内の複数の被写体のうちの１つを含むエリアに対応する部分画像を差し替える合成処理を行うための操作画面を表示する制御を行い、操作画面において１つのエリアが選択されている場合、基準撮影画像内の選択されているエリアに表示する部分画像を、複数の撮影画像の中の差し替え候補となる複数の部分画像の何れかに選択的に差し替える合成処理を行う。【選択図】図４

Description

本開示は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

複数の被写体の集合写真を連続的に撮影し、撮影された複数の集合写真である複数の撮影画像から部分画像（例えば人の顔）を選択し、選択した部分画像を抽出し、抽出した部分画像を、基準となる合成画像の指定された部分に合成する撮影装置が開示されている（特許文献１参照）。

被写体を複数回撮影して撮影回数分の撮影画像を取得し、撮影画像群の中から設定した基準画像と基準画像以外の比較画像とに基づいて被写体の動領域を検出する技術が開示されている（特許文献２参照）。この技術では、検出した動領域の検出結果に応じて比較画像における合成領域を設定し、設定した合成領域の部分画像を基準画像に合成することにより合成画像を生成する。特許文献２においても、撮影画像の一例として複数の人を被写体とした集合写真が例示されており、例えば、基準画像内に含まれる一部の人の顔が別の撮影画像の部分画像に差し替えられる。

特開２００１−４５３５５号公報 特開２０１４−２２５８７０号公報

特許文献１には、合成する部分画像を選択する記載はあるものの、ユーザが部分画像を選択するために、撮影装置がどのような情報をユーザに提示するかについて記載されていない。

特許文献２に記載の技術では、合成領域を選択させるための操作画面において、複数の被写体が写っている撮影画像の外側に、差し替え候補の部分画像の一覧が表示される。しかしながら、撮影画像の外側に差し替え候補の部分画像の一覧を表示する方法では、撮影画像と差し替え候補の部分画像とが別々の表示領域に表示されるため、適切な部分画像をユーザが選択しにくい、という問題があった。

本開示は、以上の事情を鑑みてなされたものであり、ユーザが部分画像を適切に選択することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

本開示の画像処理装置は、少なくとも一つのプロセッサを備える画像処理装置であって、プロセッサは、連続的に撮影して得られた複数の撮影画像であり、それぞれが複数の被写体を含む撮影画像を取得し、複数の撮影画像のうちの１枚である基準撮影画像を含み、かつ、基準撮影画像内の複数の被写体のうちの１つを含むエリアを選択可能な操作画面であって、エリアに対応する部分画像を、複数の撮影画像のうち基準撮影画像とは別のタイミングで撮影された撮影画像のエリアに対応する部分画像に差し替える合成処理を行うための操作画面を表示する制御を行い、操作画面において基準撮影画像の１つのエリアが選択されている場合、基準撮影画像内の選択されているエリアに表示する部分画像を、複数の撮影画像の中の差し替え候補となる複数の部分画像の何れかに選択的に差し替える合成処理を行う。

なお、本開示の画像処理装置は、プロセッサが、操作画面において、差し替え候補となる複数の部分画像の中から、１枚の部分画像を選択するための操作オブジェクトを表示する制御を行ってもよい。

また、本開示の画像処理装置は、プロセッサが、少なくとも１つのエリアに対応する操作オブジェクトを表示する制御を行ってもよい。

また、本開示の画像処理装置は、プロセッサが、操作画面において１つのエリアが選択された場合に、操作画面の全てのエリアのうち選択された１つのエリアのみに対応する操作オブジェクトを表示する制御を行ってもよい。

また、本開示の画像処理装置は、操作オブジェクトが、時系列の複数の撮影画像から１枚の部分画像を選択するためのシークバーであってもよい。

また、本開示の画像処理装置は、プロセッサが、各部分画像の選択基準を示す指標値を算出し、シークバーの時系列方向と交差する方向に対する長さを、部分画像の選択基準を示す指標値の大きさに応じた長さにしてシークバーを表示する制御を行ってもよい。

また、本開示の画像処理装置は、プロセッサが、各部分画像の選択基準を示す指標値を算出し、部分画像に対応する位置に指標値を更に表示する制御を行ってもよい。

また、本開示の画像処理装置は、指標値が、被写体の複数の感情のうちの何れか１つの感情を表す度合い、被写体の合焦の度合い、撮影画像のブレを表す値、被写体の血色の度合い、又は被写体の姿勢を表す度合いであってもよい。

また、本開示の画像処理装置は、指標値が、被写体の複数の感情のうちの何れか１つの感情を表す度合いであり、プロセッサが、複数の感情の中から、選択基準として用いられる指標値を表す感情を選択するための操作オブジェクトを更に表示する制御を行ってもよい。

また、本開示の画像処理方法は、連続的に撮影して得られた複数の撮影画像であり、それぞれが複数の被写体を含む撮影画像を取得し、複数の撮影画像のうちの１枚である基準撮影画像を含み、かつ、基準撮影画像内の複数の被写体のうちの１つを含むエリアを選択可能な操作画面であって、エリアに対応する部分画像を、複数の撮影画像のうち基準撮影画像とは別のタイミングで撮影された撮影画像のエリアに対応する部分画像に差し替える合成処理を行うための操作画面を表示する制御を行い、操作画面において基準撮影画像の１つのエリアが選択されている場合、基準撮影画像内の選択されているエリアに表示する部分画像を、複数の撮影画像の中の差し替え候補となる複数の部分画像の何れかに選択的に差し替える合成処理を行う処理を画像処理装置が備えるプロセッサが実行するものである。

また、本開示の画像処理プログラムは、連続的に撮影して得られた複数の撮影画像であり、それぞれが複数の被写体を含む撮影画像を取得し、複数の撮影画像のうちの１枚である基準撮影画像を含み、かつ、基準撮影画像内の複数の被写体のうちの１つを含むエリアを選択可能な操作画面であって、エリアに対応する部分画像を、複数の撮影画像のうち基準撮影画像とは別のタイミングで撮影された撮影画像のエリアに対応する部分画像に差し替える合成処理を行うための操作画面を表示する制御を行い、操作画面において基準撮影画像の１つのエリアが選択されている場合、基準撮影画像内の選択されているエリアに表示する部分画像を、複数の撮影画像の中の差し替え候補となる複数の部分画像の何れかに選択的に差し替える合成処理を行う処理を画像処理装置が備えるプロセッサに実行させるためのものである。

本開示によれば、ユーザが部分画像を適切に選択することができる。

画像処理システムの構成の一例を示すブロック図である。 画像処理装置のハードウェア構成の一例を示すブロック図である。 第１実施形態に係る画像処理装置の機能的な構成の一例を示すブロック図である。 第１実施形態に係る操作画面の一例を示す図である。 第１実施形態に係る操作画面の一例を示す図である。 変形例に係る操作画面の一例を示す図である。 変形例に係る操作画面の一例を示す図である。 第１実施形態に係る画像表示処理の一例を示すフローチャートである。 第２実施形態に係る画像処理装置の機能的な構成の一例を示すブロック図である。 第２実施形態に係る操作画面の一例を示す図である。 第２実施形態に係る画像表示処理の一例を示すフローチャートである。 変形例に係る操作画面の一例を示す図である。 変形例に係る操作画面の一例を示す図である。

以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。

［第１実施形態］
まず、図１を参照して、本実施形態に係る画像処理システム１０の構成を説明する。図１に示すように、画像処理システム１０は、画像処理装置１２及び撮影装置１４を含む。画像処理装置１２及び撮影装置１４は、有線通信及び無線通信の少なくとも一方によって互いに通信が可能とされる。

撮影装置１４は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子を備える。撮影装置１４は、被写体を連続的に撮影することが可能とされる。ここでいう連続的に撮影とは、予め定められた時間間隔で被写体を複数回撮影することを意味し、例えば、動画撮影が挙げられる。また、動画撮影ではなく、静止画像の連写撮影でもよい。上記時間間隔は、一定の時間間隔でもよいし、異なる時間間隔でもよい。なお、以下では、撮影装置１４が被写体を撮影して得られた画像を「撮影画像」という。撮影装置１４の例としては、デジタルカメラ又はカメラ機能付きのスマートフォン等が挙げられる。

次に、図２を参照して、本実施形態に係る画像処理装置１２のハードウェア構成を説明する。画像処理装置１２の例としては、スマートフォン、タブレット端末、又はパーソナルコンピュータ等が挙げられる。

図２に示すように、画像処理装置１２は、ＣＰＵ（Central Processing Unit）２０、一時記憶領域としてのメモリ２１、及び不揮発性の記憶部２２を含む。また、画像処理装置１２は、液晶ディスプレイ等のディスプレイ２３、ユーザが入力を行う入力部２４、及び撮影装置１４との通信に用いられる通信Ｉ／Ｆ（InterFace）２５を含む。ＣＰＵ２０、メモリ２１、記憶部２２、ディスプレイ２３、入力部２４、及び通信Ｉ／Ｆ２５は、バス２６に接続される。

記憶部２２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はフラッシュメモリ等によって実現される。記憶媒体としての記憶部２２には、画像処理プログラム３０が記憶される。ＣＰＵ２０は、記憶部２２から画像処理プログラム３０を読み出してからメモリ２１に展開し、展開した画像処理プログラム３０を実行する。

次に、図３を参照して、本実施形態に係る画像処理装置１２の機能的な構成について説明する。図３に示すように、画像処理装置１２は、取得部４０、検出部４２、分割部４４、及び表示制御部４６を含む。ＣＰＵ２０が画像処理プログラム３０を実行することで、取得部４０、検出部４２、分割部４４、及び表示制御部４６として機能する。

取得部４０は、撮影装置１４が複数の被写体を連続的に撮影して得られた複数の撮影画像であり、それぞれが複数の被写体を含む撮影画像を、通信Ｉ／Ｆ２５を介して取得する。本実施形態では、被写体として人を適用した例を説明する。

検出部４２は、取得部４０により取得された複数の撮影画像のうちの１枚である基準撮影画像ＫＧ（図４参照）に対して、公知の顔検出処理を行うことによって複数の被写体のそれぞれの顔領域を検出する。なお、本実施形態では、基準撮影画像ＫＧとして、取得部４０により取得された複数の撮影画像の１枚目の撮影画像、すなわち、時系列的に最初に撮影された撮影画像を適用した例を説明するが、これに限定されない。基準撮影画像ＫＧとして、取得部４０により取得された複数の撮影画像の最後の撮影画像を適用してもよいし、１枚目及び最後の撮影画像以外の１枚の撮影画像を適用してもよい。

分割部４４は、基準撮影画像ＫＧを、検出部４２により検出された複数の顔領域をそれぞれ含み、互いに重複しない複数のエリアに分割する。以下では、分割部４４により分割された各エリアを分割エリアという。本実施形態では、複数の撮影画像は同じ解像度であるため、基準撮影画像ＫＧで得られた複数の分割エリアと同様に基準撮影画像ＫＧ以外の撮影画像も複数の分割エリアに分割が可能である。また、以下では、各撮影画像の分割エリアに対応する部分を「部分画像」という。

表示制御部４６は、基準撮影画像ＫＧを含み、かつ、基準撮影画像ＫＧ内の複数の被写体のうちの１つを含む分割エリアを選択可能な操作画面ＳＧ（図４参照）を表示する制御を行う。この操作画面ＳＧは、分割エリアに対応する部分画像ＢＧ（図４参照）を、複数の撮影画像のうち基準撮影画像ＫＧとは別のタイミングで撮影された撮影画像の分割エリアに対応する部分画像ＢＧに差し替える合成処理を行うための操作画面である。

また、表示制御部４６は、操作画面ＳＧにおいて基準撮影画像ＫＧの１つの分割エリアが選択されている場合、基準撮影画像ＫＧ内の選択されている分割エリアに表示する部分画像ＢＧを、複数の撮影画像の中の差し替え候補となる複数の部分画像ＢＧの何れかに選択的に差し替える合成処理を行う。

図４に、操作画面ＳＧの一例を示す。操作画面ＳＧは、基準撮影画像ＫＧと、基準撮影画像ＫＧ上に重畳されて表示される後述するシークバーＳＢとを含む画面である。図４では、各撮影画像に４人の被写体が写っている例を示している。また、図４の破線は、各分割エリアの境界線を示している。

図４に示すように、表示制御部４６は、操作画面ＳＧにおいて、差し替え候補となる複数の部分画像ＢＧの中から、１枚の部分画像ＢＧを選択するための操作オブジェクトの一例としてのシークバーＳＢを表示する制御を行う。本実施形態では、表示制御部４６は、各分割エリアに対応するシークバーＳＢを、分割エリア内のそれぞれに表示する制御を行う。図４の例では、シークバーＳＢが、各分割エリアの下部に表示されている例を示している。シークバーＳＢの表示位置は、各分割エリア内の下部以外の位置でもよいし、分割エリア毎に異なる位置でもよいし、分割エリア外の位置でもよい。シークバーＳＢを分割エリア外に表示する場合は、シークバーＳＢと分割エリアとの対応関係を示すマーク又は番号等を表示することが好ましい。

シークバーＳＢは、時系列の複数の撮影画像から１枚の部分画像ＢＧを選択するための操作オブジェクトである。本実施形態では、シークバーＳＢの時系列方向を操作画面ＳＧの左右方向としている。ユーザは、何れか１つのシークバーＳＢのスライダＳＤを時系列方向に動かすことによって、差し替え対象となる分割エリアの部分画像ＢＧを選択し、かつ差し替え候補となる複数の部分画像ＢＧの何れかを選択する。ここでいう差し替え候補となる複数の部分画像ＢＧとは、操作画面ＳＧに表示中（すなわち、スライダＳＤによって選択中）の部分画像ＢＧとは異なるタイミングで撮影された複数の撮影画像それぞれの同じ分割エリアに対応する部分画像ＢＧである。すなわち、シークバーＳＢ上のスライダＳＤの位置が、時系列の複数の撮影画像の中における、選択された部分画像ＢＧを含む撮影画像の撮影タイミングを表す。

表示制御部４６は、操作画面ＳＧに表示中の部分画像ＢＧを、シークバーＳＢのスライダＳＤによって選択された部分画像ＢＧに差し替える合成処理を行う。なお、表示制御部４６は、この合成処理後に、操作画面ＳＧにおける各分割画像の境界部分を滑らかにすることによって目立たなくさせる画像処理を行ってもよい。

スライダＳＤの操作に連動して、選択される部分画像ＢＧが切り替わる。これにより、図５に示すように、ユーザは、シークバーＳＢのスライダＳＤを左右方向に動かすことによって、例えば、被写体全員が最も笑顔になっている部分画像ＢＧを選択することができる。図５においては、図４とはスライダＳＤの位置が異なっており、図４の部分画像ＢＧが差し替えられた状態を示している。本実施形態では、ユーザは、シークバーＳＢのスライダＳＤを左右方向に動かしながら、表示制御部４６による合成処理によって操作画面ＳＧ内でスライダＳＤの位置に応じて部分画像ＢＧが差し替えられた合成画像を視認することができる。この結果、ユーザが部分画像ＢＧを適切に選択することができる。

なお、図６に示すように、表示制御部４６は、操作画面ＳＧにおいて何れの分割エリアも選択されてない場合は、シークバーＳＢを表示しなくてもよい。この場合、図７に示すように、表示制御部４６は、操作画面ＳＧにおいて１つの分割エリアが選択された場合に、操作画面ＳＧの全ての分割エリアのうち選択された１つの分割エリアのみに対応するシークバーＳＢを表示する制御を行う。図７では、左上の分割エリアが選択されている例を示している。この形態例におけるユーザが分割エリアを選択する操作の例としては、分割エリア内の何れかの位置をタップする操作、分割エリア内の何れかの位置にカーソルを合わせる操作、及び分割エリアに予め割り当てられた番号をキーボードから入力する操作等が挙げられる。

次に、図８を参照して、本実施形態に係る画像処理装置１２の作用を説明する。ＣＰＵ２０が画像処理プログラム３０を実行することによって、図８に示す画像表示処理が実行される。画像表示処理は、例えば、ユーザによって入力部２４を介して実行指示が入力された場合に実行される。

図８のステップＳ１０で、取得部４０は、撮影装置１４が複数の被写体を連続的に撮影して得られた複数の撮影画像であり、それぞれが複数の被写体を含む撮影画像を、通信Ｉ／Ｆ２５を介して取得する。ステップＳ１２で、検出部４２は、前述したように、ステップＳ１０で取得された複数の撮影画像のうちの１枚である基準撮影画像ＫＧに対して、公知の顔検出処理を行うことによって複数の被写体のそれぞれの顔領域を検出する。

ステップＳ１４で、分割部４４は、前述したように、基準撮影画像ＫＧを、ステップＳ１２で検出された複数の顔領域をそれぞれ含み、互いに重複しない複数の分割エリアに分割する。ステップＳ１６で、表示制御部４６は、前述したように、基準撮影画像ＫＧを含み、かつ、基準撮影画像ＫＧ内の複数の被写体のうちの１つを含む分割エリアを選択可能な操作画面ＳＧを表示する制御を行う。

ステップＳ１８で、表示制御部４６は、ステップＳ１６で表示された操作画面ＳＧに対するユーザによる操作を受け付けるまで待機する。操作画面ＳＧにおいてユーザによって入力部２４を介した操作が行われると、ステップＳ１８の判定が肯定判定となり、処理はステップＳ２０に移行する。

ステップＳ２０で、表示制御部４６は、ステップＳ１８で受け付けた操作がシークバーＳＢ上のスライダＳＤの操作であるか否かを判定する。この判定が肯定判定となった場合は、処理はステップＳ２２に移行する。

ステップＳ２２で、表示制御部４６は、前述したように、ユーザが操作したシークバーＳＢに対応する分割エリアの部分画像ＢＧを、スライダＳＤの位置に応じた部分画像ＢＧに差し替える合成処理を行う。ステップＳ２２の処理が終了すると、処理はステップＳ１８に戻る。

一方、ステップＳ１８で受け付けられた操作が操作画面ＳＧの表示終了の操作であった場合、ステップＳ２０の判定が否定判定となり、画像表示処理が終了する。なお、表示制御部４６は、表示終了の操作を受け付けたタイミングで操作画面ＳＧに表示中の合成画像を記憶部２２に記憶する制御を行ってもよい。また、例えば、表示制御部４６は、操作画面ＳＧ内に、表示中の合成画像の保存をユーザが指示するための保存ボタンを表示する制御を行ってもよい。

以上説明したように、本実施形態によれば、基準撮影画像ＫＧ内の分割エリアに表示する部分画像ＢＧを、複数の撮影画像の中の差し替え候補となる複数の部分画像ＢＧの何れかに選択的に差し替える合成処理を行う。従って、ユーザが部分画像を適切に選択することができる。

［第２実施形態］
開示の技術の第２実施形態を説明する。なお、本実施形態に係る画像処理システム１０の構成及び画像処理装置１２のハードウェア構成は、第１実施形態と同一であるため、説明を省略する。

図９を参照して、本実施形態に係る画像処理装置１２の機能的な構成について説明する。なお、第１実施形態に係る画像処理装置１２の機能部と同一の機能を有する機能部については、同一の符号を付して説明を省略する。図９に示すように、画像処理装置１２は、取得部４０、検出部４２、分割部４４、表示制御部４６Ａ、及び算出部４８を含む。ＣＰＵ２０が画像処理プログラム３０を実行することで、取得部４０、検出部４２、分割部４４、表示制御部４６Ａ、及び算出部４８として機能する。

算出部４８は、各部分画像ＢＧの選択基準を示す指標値を算出する。本実施形態では、指標値として、被写体の複数の感情（例えば、喜怒哀楽）のうちの何れか１つの感情を表す度合いとして、被写体が楽しんでいる度合い（以下、「楽しみ度」という）を適用した例を説明する。具体的には、画像処理装置１２は、各撮影画像の各被写体の顔領域の部分と、ディープラーニング等のＡＩ（Artificial Intelligence）技術によって得られた学習済みモデルとを用いて、各撮影画像における各被写体の楽しみ度を算出する。この学習済みモデルとしては、例えば、人の顔領域の画像を入力とし、被写体が楽しんでいる度合いを出力としたディープニューラルネットワークが挙げられる。なお、各部分画像ＢＧの選択基準を示す指標値は、楽しみ度以外の被写体の感情を表す度合いでもよいし、被写体の合焦の度合いでもよい。また、各部分画像ＢＧの選択基準を示す指標値は、撮影画像のブレを表す値でもよいし、被写体の血色の度合いでもよいし、被写体の姿勢を表す度合い（例えば、被写体が正面を向いている度合い）でもよい。

表示制御部４６Ａは、第１実施形態に係る表示制御部４６が有する機能に加えて、更に以下の機能を有する。図１０に示すように、表示制御部４６Ａは、シークバーＳＢの時系列方向と交差（本実施形態では直交）する方向（図１０の例では上下方向）に対する長さを、各部分画像ＢＧについて算出部４８により算出された指標値の大きさに応じた長さにしてシークバーＳＢを表示する制御を行う。図１０では、各撮影画像の各部分画像ＢＧについて算出された楽しみ度が高いほど、その撮影画像の撮影タイミングに応じた位置のシークバーＳＢの長さが長くなっている例を示している。これにより、ユーザは、指標値の大きさを容易に把握することができる結果、例えば、楽しみ度が最も高い部分画像ＢＧを容易に選択することができる。

次に、図１１を参照して、本実施形態に係る画像処理装置１２の作用を説明する。ＣＰＵ２０が画像処理プログラム３０を実行することによって、図１１に示す画像表示処理が実行される。画像表示処理は、例えば、ユーザによって入力部２４を介して実行指示が入力された場合に実行される。図１１における図８と同一の処理を実行するステップについては、同一のステップ番号を付して説明を省略する。

図１１では、図８のステップＳ１６の代わりにステップＳ１６Ａが実行され、ステップＳ１４とステップＳ１６Ａの間でステップＳ１５が実行される。

図１１のステップＳ１５で、算出部４８は、前述したように、各部分画像ＢＧの選択基準を示す指標値を算出する。ステップＳ１６Ａで、表示制御部４６Ａは、前述したように、基準撮影画像ＫＧを含み、かつ、基準撮影画像ＫＧ内の複数の被写体のうちの１つを含む分割エリアを選択可能な操作画面ＳＧを表示する制御を行う。この際、表示制御部４６Ａは、シークバーＳＢの時系列方向と交差する方向に対する長さを、各部分画像ＢＧについてステップＳ１５で算出された指標値の大きさに応じた長さにしてシークバーＳＢを表示する制御を行う。

以上説明したように、本実施形態によれば、第１実施形態と同様の効果を奏することができる。

なお、上記第２実施形態において、表示制御部４６Ａは、被写体の複数の感情の中から、各部分画像ＢＧの選択基準として用いられる指標値を表す感情を選択するための操作オブジェクトを更に表示する制御を行ってもよい。この場合、表示制御部４６Ａは、操作オブジェクトの一例として、図１２に示す感情を選択するためのボタンＢＴを表示する。ユーザは、ボタンＢＴを指定することによって、各部分画像ＢＧの選択基準として用いられる指標値を表す感情を切り替えることができる。この形態例では、算出部４８は、指標値として、ボタンＢＴの操作によって指定された被写体の感情を表す度合いを算出する。また、この形態例において、シークバーＳＢの時系列方向と交差する方向に対する長さを第１実施形態のように一定の長さとしてもよい。

また、上記第２実施形態において、図１３に示すように、表示制御部４６Ａは、各分割エリアに対応する部分画像ＢＧについて算出部４８により算出された指標値を、部分画像ＢＧに対応する位置に更に表示する制御を行ってもよい。図１３では、指標値を表す数字が、各部分画像ＢＧに対応する分割エリアの右上に表示されている例を示している。また、図１３の例では、表示制御部４６Ａは、指標値を０以上１００以下の値に正規化し、指標値を表す数字とともに円グラフを表示する制御を行っている。また、この形態例において、シークバーＳＢの時系列方向と交差する方向に対する長さを第１実施形態のように一定の長さとしてもよい。

また、上記各実施形態では、各分割エリアに対応する部分画像ＢＧを差し替える場合について説明したが、これに限定されない。各被写体を含む部分画像ＢＧにおける顔領域の部分のみを差し替える形態としてもよい。

また、上記各実施形態において、例えば、取得部４０、検出部４２、分割部４４、表示制御部４６、４６Ａ、及び算出部４８といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。

また、上記各実施形態では、画像処理プログラム３０が記憶部２２に予め記憶（インストール）されている態様を説明したが、これに限定されない。画像処理プログラム３０は、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、画像処理プログラム３０は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

１０ 画像処理システム
１２ 画像処理装置
１４ 撮影装置
２０ ＣＰＵ
２１ メモリ
２２ 記憶部
２３ ディスプレイ
２４ 入力部
２５ 通信Ｉ／Ｆ
２６ バス
３０ 画像処理プログラム
４０ 取得部
４２ 検出部
４４ 分割部
４６、４６Ａ 表示制御部
４８ 算出部
ＢＧ 部分画像
ＢＴ ボタン
ＫＧ 基準撮影画像
ＳＢ シークバー
ＳＤ スライダ
ＳＧ 操作画面

Claims (11)

1. 少なくとも一つのプロセッサを備える画像処理装置であって、
   前記プロセッサは、
   連続的に撮影して得られた複数の撮影画像であり、それぞれが複数の被写体を含む撮影画像を取得し、
   前記複数の撮影画像のうちの１枚である基準撮影画像を含み、かつ、前記基準撮影画像内の複数の前記被写体のうちの１つを含むエリアを選択可能な操作画面であって、前記エリアに対応する部分画像を、前記複数の撮影画像のうち前記基準撮影画像とは別のタイミングで撮影された撮影画像の前記エリアに対応する部分画像に差し替える合成処理を行うための操作画面を表示する制御を行い、
   前記操作画面において前記基準撮影画像の１つの前記エリアが選択されている場合、前記基準撮影画像内の選択されている前記エリアに表示する前記部分画像を、複数の撮影画像の中の差し替え候補となる複数の部分画像の何れかに選択的に差し替える合成処理を行う
   画像処理装置。
2. 前記プロセッサは、前記操作画面において、前記差し替え候補となる複数の部分画像の中から、１枚の前記部分画像を選択するための操作オブジェクトを表示する制御を行う
   請求項１に記載の画像処理装置。
3. 前記プロセッサは、少なくとも１つの前記エリアに対応する前記操作オブジェクトを表示する制御を行う
   請求項２に記載の画像処理装置。
4. 前記プロセッサは、前記操作画面において１つの前記エリアが選択された場合に、前記操作画面の全てのエリアのうち選択された１つの前記エリアのみに対応する前記操作オブジェクトを表示する制御を行う
   請求項３に記載の画像処理装置。
5. 前記操作オブジェクトは、時系列の前記複数の撮影画像から１枚の前記部分画像を選択するためのシークバーである
   請求項２から請求項４の何れか１項に記載の画像処理装置。
6. 前記プロセッサは、各部分画像の選択基準を示す指標値を算出し、前記シークバーの時系列方向と交差する方向に対する長さを、前記部分画像の選択基準を示す指標値の大きさに応じた長さにして前記シークバーを表示する制御を行う
   請求項５に記載の画像処理装置。
7. 前記プロセッサは、各部分画像の選択基準を示す指標値を算出し、前記部分画像に対応する位置に前記指標値を更に表示する制御を行う
   請求項１から請求項６の何れか１項に記載の画像処理装置。
8. 前記指標値は、前記被写体の複数の感情のうちの何れか１つの感情を表す度合い、前記被写体の合焦の度合い、撮影画像のブレを表す値、前記被写体の血色の度合い、又は前記被写体の姿勢を表す度合いである
   請求項６又は請求項７に記載の画像処理装置。
9. 前記指標値は、前記被写体の複数の感情のうちの何れか１つの感情を表す度合いであり、
   前記プロセッサは、前記複数の感情の中から、選択基準として用いられる前記指標値を表す感情を選択するための操作オブジェクトを更に表示する制御を行う
   請求項６から請求項８の何れか１項に記載の画像処理装置。
10. 連続的に撮影して得られた複数の撮影画像であり、それぞれが複数の被写体を含む撮影画像を取得し、
    前記複数の撮影画像のうちの１枚である基準撮影画像を含み、かつ、前記基準撮影画像内の複数の前記被写体のうちの１つを含むエリアを選択可能な操作画面であって、前記エリアに対応する部分画像を、前記複数の撮影画像のうち前記基準撮影画像とは別のタイミングで撮影された撮影画像の前記エリアに対応する部分画像に差し替える合成処理を行うための操作画面を表示する制御を行い、
    前記操作画面において前記基準撮影画像の１つの前記エリアが選択されている場合、前記基準撮影画像内の選択されている前記エリアに表示する前記部分画像を、複数の撮影画像の中の差し替え候補となる複数の部分画像の何れかに選択的に差し替える合成処理を行う
    処理を画像処理装置が備えるプロセッサが実行する画像処理方法。
11. 連続的に撮影して得られた複数の撮影画像であり、それぞれが複数の被写体を含む撮影画像を取得し、
    前記複数の撮影画像のうちの１枚である基準撮影画像を含み、かつ、前記基準撮影画像内の複数の前記被写体のうちの１つを含むエリアを選択可能な操作画面であって、前記エリアに対応する部分画像を、前記複数の撮影画像のうち前記基準撮影画像とは別のタイミングで撮影された撮影画像の前記エリアに対応する部分画像に差し替える合成処理を行うための操作画面を表示する制御を行い、
    前記操作画面において前記基準撮影画像の１つの前記エリアが選択されている場合、前記基準撮影画像内の選択されている前記エリアに表示する前記部分画像を、複数の撮影画像の中の差し替え候補となる複数の部分画像の何れかに選択的に差し替える合成処理を行う
    処理を画像処理装置が備えるプロセッサに実行させるための画像処理プログラム。

Images