JP2010010883A - 画像処理装置、及び画像処理方法 - Google Patents

Abstract

【課題】連続撮影された写真を用いて、簡便な操作で画像を合成し、撮影者が意図した写真を作成する。
【解決手段】連続して撮影された画像群に含まれる第１画像が表示される表示画面と、ユーザにより擦られた前記表示画面上の摩擦位置を検出する摩擦位置検出部と、前記摩擦位置に対応する前記第１画像の画素領域と、前記画像群に含まれる第２画像の画素領域とを合成する画像合成部とを備え、前記画像合成部は、前記ユーザにより擦られた摩擦量が大きくなるに連れて前記第１画像と前記第２画像との間の撮影時間差が大きくなるように前記第１画像に合成される第２画像を切り替える、画像処理装置が提供される。
【選択図】図１０

Description

本発明は、画像処理装置、及び画像処理方法に関する。

近年、複数枚の写真を連続して撮影する連写機能を搭載した撮像装置が広く普及してきた。また、最近では、連写機能を利用して撮影された複数枚の写真を１枚の写真に合成することにより、合成前の写真よりも高画質な写真を出力する技術が開発されている。通常、このような写真の合成加工は、撮像装置において自動的に実行されるか、或いは、写真データをパーソナルコンピュータ（以下、ＰＣ）等に移動して、ＰＣ上で実行される。例えば、下記の特許文献１には、撮像装置において自動的に複数枚の写真が合成され、その合成写真が１枚の静止画像として表示される構成が記載されている。

写真を合成する目的としては、例えば、異なる撮像範囲の写真を合成してパノラマ写真を生成するというものがある。他の目的として、最近では、撮像素子が持つ画素サイズ以下の移動量で移動しながら撮影された複数枚の写真を合成することにより撮像素子の解像度よりも高い解像度の写真を生成するという技術も知られている。また、連続撮影した写真を合成せず、例えば、連続撮影された複数枚の写真の中から、撮影者の意図に合った写真を撮影者に選択させるという手法も用いられる。この手法は、撮影時に人物が目を瞑ってしまったり、或いは、撮像範囲に意図しない物体が入ってしまったりした写真を回避できるという点で非常に有効な手法である。

特開２０００− ４１１７０号公報

しかしながら、集合写真のように多くの人物が被写体に含まれている場合、連続撮影しても、全ての人が目を瞑っていない写真を撮影するのは難しいことが多い。このように、連続撮影したとしても、連続撮影された複数枚の写真の中に撮影者の意図に合致した写真が含まれていない場合がある。このような場合、撮影者は、意図に合致した写真を得ることができない。また、写真データをＰＣ等に移動して画像処理アプリケーションによる写真の補正や合成等を行うためには高度な操作技術や知識が求められるため、撮影者にとって大きな負担になっている。その結果、撮影者は、意図した写真を得ることを諦め、意図した写真に比較的近い写真を選択して我慢することになる。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮影者が意図した写真を得るために、連続撮影された複数枚の写真を簡単な操作で部分的に合成することが可能な、新規かつ改良された画像処理装置、及び画像処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、連続して撮影された画像群に含まれる第１画像が表示される表示画面と、ユーザにより擦られた前記表示画面上の摩擦位置を検出する摩擦位置検出部と、前記摩擦位置に対応する前記第１画像の画素領域と、前記画像群に含まれる第２画像の画素領域とを合成する画像合成部と、を備え、前記画像合成部は、前記ユーザにより擦られた摩擦量が大きくなるに連れて前記第１画像と前記第２画像との間の撮影時間差が大きくなるように前記第１画像に合成される第２画像を切り替える、画像処理装置が提供される。

また、前記画像合成部は、前記摩擦量が大きくなるに連れて前記第１画像に対する前記第２画像の合成比率を増加させ、前記摩擦量が所定の閾値を超過した段階で前記第２画像を前記第１画像からの撮影時間差がより大きい画像に切り替えるように構成されていてもよい。

また、前記画像合成部は、前記摩擦量が所定の閾値を所定量だけ超過するまで前記画素領域に切り替え前の前記第２画像を表示し、当該所定量を超過した段階で前記第２画像を切り替えるように構成されていてもよい。

また、前記摩擦量は、前記画素領域が摩擦された回数、摩擦時の押圧力、摩擦方向、及び摩擦早さの中から選択される１つの量又は複数の組み合わせにより決定される量であってもよい。

また、前記画像群は、撮影時に変更可能な任意のパラメータを変化させながら連続して撮影された複数の画像であってもよい。

また、前記パラメータは、被写界深度、画像エフェクト、又はフラッシュを制御するための制御パラメータであってもよい。

また、上記課題を解決するために、本発明の別の観点によれば、連続して撮影された画像群に含まれる第１画像が表示画面上に表示されている場合に、ユーザにより擦られた前記表示画面上の摩擦位置が検出される摩擦位置検出ステップと、前記摩擦位置に対応する前記第１画像の画素領域と、前記画像群に含まれる第２画像の画素領域とが合成される画像合成ステップと、を含み、前記画像合成ステップでは、前記ユーザにより擦られた摩擦量が大きくなるに連れて前記第１画像と前記第２画像との間の撮影時間差が大きくなるように前記第１画像に合成される第２画像が切り替わる、画像処理方法が提供される。

以上説明したように本発明によれば、連続撮影された複数枚の写真を簡単な操作で部分的に合成することが可能になる。その結果、撮影者は、複数枚の写真を部分的に合成して意図した写真を得ることができるようになる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［説明の流れについて］
ここで、後述する説明の流れについて簡単に述べる。まず、図１、図２を参照しながら、本発明の実施形態に係る技術が目的とするところについて簡単に説明する。この中で、同実施形態に係る技術が解決しようとする具体的な課題についても説明する。次いで、図３を参照しながら、同実施形態の技術に関する原理説明を行う。その後、図４〜図９を参照しながら、当該技術を実現することが可能な同実施形態に係る画像処理装置１００の機能構成について説明する。

次いで、図１０を参照しながら、当該画像処理装置１００の動作について説明する。さらに、図１１を参照しながら、当該動作に含まれる深度算出処理の流れについて説明する。次いで、図１２Ａ〜図１２Ｃを参照しながら、同実施形態に係る技術の一応用例について説明する。さらに、図１３を参照しながら、同実施形態に係る他の応用例について説明する。最後に、図１４、図１５を参照しながら、同実施形態に係る画像処理装置１００、及び撮像装置２００のハードウェア構成例について説明する。以下、順次説明する。

［目的］
まず、図１、及び図２を参照しながら、以下で説明する実施形態に係る技術が目的とするところについて簡単に説明する。図１、図２は、連続撮影された被写体像の一例を模式的に示した説明図である。以下の説明において、図１の例をケース１、図２の例をケース２と呼ぶことにする。

まず、図１を参照する。図１には、時刻ｔ１に撮影された写真Ｐ（ｔ１）と、時刻ｔ２に撮影された写真Ｐ（ｔ２）とが描画されている。但し、時刻ｔ１、ｔ２は、連続する撮影時刻である。また、写真Ｐ（ｔ１）、Ｐ（ｔ２）には、２つの被写体像（被写体Ａ、被写体Ｂ）が撮像されている。ここでは、被写体Ａ及び被写体Ｂの「瞬き」に注目する。

ケース１の場合、写真Ｐ（ｔ１）に含まれる被写体Ａは、瞬きをした瞬間に撮影されたものである。そのため、写真Ｐ（ｔ１）に含まれる被写体Ａに関しては、撮影者の意図に合致した状態ではない。但し、写真Ｐ（ｔ１）に含まれる被写体Ｂは、瞬きをしておらず、撮影者の意図に合致した状態（ＯＫ）である。

このように、撮影者の意図に合致しない被写体像が含まれる写真Ｐ（ｔ１）は、撮影者の意図に合致した写真ではない。一方、写真Ｐ（ｔ２）に含まれる被写体Ａ及び被写体Ｂは、瞬きをしておらず、撮影者の意図に合致した状態（ＯＫ）である。そのため、写真Ｐ（ｔ２）は、撮影者の意図に合致した写真である。ケース１のように、連続撮影された複数枚の写真の中に、撮影者の意図に合致した写真（写真Ｐ（ｔ２））が含まれている場合、撮影者は、意図に合致した写真Ｐ（ｔ２）を選択すればよい。

次に、図２を参照する。図２には、図１と同様に、時刻ｔ１に撮影された写真Ｐ（ｔ１）と、時刻ｔ２に撮影された写真Ｐ（ｔ２）とが描画されている。ケース２の場合も、時刻ｔ１、ｔ２は、連続する撮影時刻である。また、写真Ｐ（ｔ１）、Ｐ（ｔ２）には、２つの被写体像（被写体Ａ、被写体Ｂ）が撮像されている。

ケース２の場合も、写真Ｐ（ｔ１）に含まれる被写体Ａは、瞬きをした瞬間に撮影されたものである。そのため、写真Ｐ（ｔ１）に含まれる被写体Ａに関しては、撮影者の意図に合致した状態ではない。但し、写真Ｐ（ｔ１）に含まれる被写体Ｂは、瞬きをしておらず、撮影者の意図に合致した状態（ＯＫ）である。つまり、撮影者の意図に合致しない被写体像が含まれる写真Ｐ（ｔ１）は、撮影者の意図に合致した写真ではない。

一方で、写真Ｐ（ｔ２）に含まれる被写体Ａは、瞬きをしておらず、撮影者の意図に合致した状態（ＯＫ）である。但し、写真Ｐ（ｔ２）に含まれる被写体Ｂは、瞬きをした瞬間に撮影されたものである。そのため、写真Ｐ（ｔ２）は、撮影者の意図に合致した写真ではない。ケース１のように、連続撮影された複数枚の写真の中に、撮影者の意図に合致した写真（写真Ｐ（ｔ２））が含まれている場合、撮影者は、意図に合致した写真Ｐ（ｔ２）を選択すればよい。しかし、ケース２の場合、この手法を用いることができない。

上記のように、短時間に複数回のシャッターを切ってコマ送りのように連続して撮影された写真の中に、撮影者の意図に合う写真が存在する場合には、その意図に合う写真をピックアップする手法が適用できる。しかし、上記の例と同様、撮影者の意図しない被写体像を含まない写真が連続撮影された写真の中に含まれていない場合、意図に合う写真をピックアップする手法を適用することができない。例えば、集合写真のように、多数の人物像が撮像範囲に含まれている場合、全員が瞬きをしていない瞬間を捕らえるのは難しく、ケース２のような状況になる確率が高い。

こうした現状に鑑み、以下で説明する実施形態に係る技術は、ケース２のような場合でも、撮影者の意図に合致した写真を得ることができるようにするものである。但し、同実施形態に係る技術は、被写体の瞬きに対する対策として適用されるだけでなく、後述する応用例でも示すように、多種多様なケースに適用可能である。また、同実施形態に係る技術の適用範囲は写真に限定されるものではなく、例えば、放送データや映像データを構成する動画像フレームや種々の静止画像についても適用範囲に含まれる。但し、以下では、説明の都合上、連続撮影された「写真」と表記することにする。

＜実施形態＞
以下、本発明の一実施形態について説明する。本実施形態は、連続撮影された複数枚の写真を合成する技術に関する。但し、当該技術は、所定のパラメータを変化させながら連続的に撮影された複数枚の写真に対しても適用される。また、本実施形態は、写真が表示された画面上をユーザが擦ることにより、その擦る動作に応じて連続撮影された他の写真を合成処理する技術に関する。そのため、当該技術は、ユーザの操作体系に関する。

［原理説明］
まず、図３を参照しながら、本実施形態の手法について原理説明を行う。図３は、本実施形態に係る技術の原理を説明するための原理説明図である。

図３には、タッチパネルと、連続撮影された複数枚の写真とが模式的に示されている。これらの写真は、パラメータを変化させながら連続して撮影されたものである。但し、連続撮影時に撮像機構に関するパラメータを変化させていなくても、１つのパラメータである「時間」が変化している点に注意されたい。撮像機構に関するパラメータとしては、例えば、被写界深度、エフェクト、逆光補正、フラッシュ等がある。

被写界深度は、焦点距離、及び絞り値等に依存して決定されるものである。例えば、焦点距離が短くなればなるほど被写界深度は深くなり、さらに、絞りが絞り込まれるほど被写界深度が深くなる。エフェクトとしては、例えば、レンズフィルタや種々のデジタルフィルタによる効果を施すものや、任意の背景画を合成したり、写真全体をセピア色に変化させたりする効果を施すものがある。レンズフィルタによる効果としては、例えば、偏光フィルタ、減光フィルタ、色補正フィルタ、色彩強調フィルタ等がある。なお、フラッシュについては、例えば、点灯／消灯の切り替えや輝度の調整量がパラメータ値となる。

これらのパラメータを変化させつつ連続して撮影された複数枚の写真は、図３の中で、パラメータの変化方向（経時方向）に沿って配列されている。実際には、撮影時刻の情報に基づいて写真データが整列されることにより、パラメータの変化方向に沿って写真データが整列される。但し、通常は、撮影時刻の情報に基づいて写真データが並べて管理されているため、ユーザに特別な操作が要求されない点に注意されたい。このように整列された写真データの先頭に位置する写真がタッチパネルに表示される。つまり、連続撮影された複数枚の写真の中で、最初に撮影された写真がタッチパネルに表示される。

ここで、ユーザは、タッチパネルに表示された写真を見ながらタッチパネルの表面を指で擦ることにより、指で擦った画素領域について、表示された写真と他の写真とを合成することができる。このとき、本実施形態では、ユーザにより指で擦られた位置又は領域、当該位置又は領域を指が往復した回数、押圧力、指の本数、又は指の移動速度等の摩擦情報が写真の合成処理に用いられる。当該合成処理においては、例えば、指が往復した回数又は押圧力等に応じて、よりパラメータ量の大きい写真が合成される。このとき、ユーザにより指で擦られた位置又は領域のみが合成される。そのため、ユーザは、簡単な操作で写真の一部分だけを合成処理することができる。

例えば、図２に示したケース２の場合、タッチパネルには、写真Ｐ（ｔ１）が表示されている。上記の通り、写真Ｐ（ｔ１）は、被写体Ａが瞬きしている点で撮影者の意図に合わないものである。一方、写真Ｐ（ｔ２）は、被写体Ｂが瞬きしており、こちらの写真も撮影者の意図に沿うものではない。

しかし、写真Ｐ（ｔ１）に写っている被写体Ａの一部（目の周囲）を写真Ｐ（ｔ２）の被写体Ａの一部（目の周囲）で置き換えれば、撮影者の意図に合致する写真が出来上がる。そこで、ユーザは、タッチパネルに表示された写真Ｐ（ｔ１）を見ながら、被写体Ａの一部（目の周囲）を指で擦る動作を行う。この動作により、写真Ｐ（ｔ１）の中で擦られた部分だけが徐々に写真Ｐ（ｔ２）に合成され、最終的に写真Ｐ（ｔ２）に写っている被写体Ａの一部に置き換えられる。その結果、被写体Ａ、及び被写体Ｂがいずれも瞬きしていない所望の写真が得られる。

このように、本実施形態に係る技術は、ユーザの擦る動作により、ユーザが意図する合成位置や合成範囲、或いは、合成度合い等を変更して、ユーザが行う一連の動作により合成画像を生成するというものである。また、ユーザが行う操作は、タッチパネルの表面を擦る動作だけであり、画像処理アプリケーション等とは比べものにならないほど簡単な操作で写真の合成処理が可能になる。つまり、本実施形態に係る技術は、このような利便性の高い操作体系を提供するものでもある。

なお、上記の説明の中で、タッチパネルは、表示手段、及び入力手段の一例として説明に用いたものである。また、タッチパネルを擦るための指以外の手段としては、例えば、スタイラス等が用いられることもある。さらに、タッチパネルの画面には、連続撮影された最初の写真が表示されていなくてもよく、例えば、ユーザが指定した撮影時点の写真や所定の撮影時点に対応する写真が表示されていてもよい。また、複数本の指で擦られた場合に、合成された写真が元に戻るように構成されていてもよい。このように、本実施形態はこれに限定されず、種々の変形が可能である。

以上、本実施形態の原理説明を行った。以下では、本実施形態に係る技術を実現するための具体的な画像処理装置１００の機能構成及び一連の動作について説明する。これまで、具体性を強調するために合成処理対象として「写真」という表現を用いて説明してきたが、以下の説明の中では、より広範な意味を含む「画像」という表現を用いる。

［画像処理装置１００の機能構成］
ここで、図４を参照しながら、本実施形態に係る画像処理装置１００の機能構成について説明する。図４は、本実施形態に係る画像処理装置１００の機能構成を示す説明図である。なお、図４には、画像処理装置１００に対して連続撮影された写真データを提供する撮像装置２００も描画されている。この撮像装置２００及び画像処理装置１００により、画像処理システムが形成される。

図４に示すように、画像処理装置１００は、主に、表示入力部１１０と、画像合成部１３０とにより構成される。

（表示入力部１１０）
表示入力部１１０は、主に、表示部１１２と、摩擦位置検出部１１４とにより構成される。上記のタッチパネルは、表示入力部１１０の一例である。

表示部１１２は、撮像装置２００により撮影された画像を表示するためのディスプレイデバイスである。また、表示部１１２の機能は、図１４に示すハードウェア資源のうち、出力部９１８により実現される。また、表示部１１２には、摩擦位置検出部１１４が設けられている。摩擦位置検出部１１４は、表示部１１２と一体に形成されていてもよいし、別体として形成されていてもよい。但し、摩擦位置検出部１１４は、表示部１１２の画面上に設けられ、表示部１１２に表示された画像が透過して見えるように構成されている。

摩擦位置検出部１１４は、ユーザにより擦られた位置を検出するものである。特に、摩擦位置検出部１１４は、表示部１１２の画面上に表示された画像の中で、どの位置又は領域がユーザにより擦られたかを検出するものである。また、摩擦位置検出部１１４は、ユーザにより擦られた際に掛かった押圧力を検知できるように構成されていてもよい。さらに、摩擦位置検出部１１４は、ユーザにより直接接触されていなくても、表示部１１２に近接した画面上の空間にユーザの指等が存在するのを検知し、摩擦位置として認識できる機能を有していてもよい。つまり、ここで言う摩擦位置は、ユーザが表示部１１２の画面上で空を描くように行った動作に対する位置情報を含むものであってもよい。

このようにして検出された摩擦位置の情報は、摩擦位置検出部１１４から画像合成部１３０の摩擦情報検出部１３２に入力される。

（画像合成部１３０）
画像合成部１３０は、主に、摩擦情報検出部１３２と、合成比率設定部１３４と、合成処理部１３６とにより構成される。なお、画像合成部１３０の機能は、例えば、図１４に示すハードウェア資源のうち、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録されたコンピュータプログラムに基づいてＣＰＵ９０２により実現されうる。

（摩擦情報検出部１３２）
摩擦情報検出部１３２は、表示入力部１１０の摩擦位置検出部１１４により入力された摩擦位置の情報に基づいて種々の摩擦情報を検出する。この摩擦情報としては、例えば、ユーザに擦られた画素領域、当該画素領域の往復摩擦回数、摩擦の早さ、摩擦の方向、又は摩擦された軌跡の形状等が含まれる。

摩擦情報検出部１３２は、例えば、摩擦位置検出部１１４から逐次検出される摩擦位置の情報を蓄積しておき、その蓄積された情報を解析することにより、これらの摩擦情報を検出することができる。摩擦情報検出部１３２により検出された摩擦情報は、合成比率設定部１３４に入力される。以下では、説明の都合上、摩擦情報として「摩擦回数」「画素領域」が検出されたものとして説明する。

（合成比率設定部１３４）
合成比率設定部１３４は、摩擦情報検出部１３２により検出された摩擦情報に基づいて画像の合成比率を設定する。ここで言う画像の合成比率とは、表示部１１２に表示されている画像（以下、表示画像）における擦られた画素領域の画素値と、合成される画像（以下、被合成画像）の画素値とを合成する際の合成比率を意味している。例えば、合成比率設定部１３４は、摩擦回数が多くなるに連れて、被合成画像の重みが大きくなるように画素値の合成比率を設定する。但し、摩擦回数に応じて合成する画像を切り替える場合、合成比率は、１又は０に固定されたままである。

ここで、合成比率の設定方法について、具体例を挙げて説明する。まず、撮像装置２００により、３枚の画像（画像Ｐ（ｔ１）、画像Ｐ（ｔ２）、画像Ｐ（ｔ３）；ｔ１＜ｔ２＜ｔ３）が撮影され、画像処理装置１００に入力されているものとする。また、画像Ｐ（ｔ１）が表示部１１２に表示されているものとする。このとき、ユーザにより画像Ｐ（ｔ１）が表示された表示部１１２が擦られると、摩擦位置検出部１１４により摩擦位置が検出され、摩擦情報検出部１３２により摩擦回数が合成比率設定部１３４に入力される。

摩擦回数が１回の場合、例えば、ユーザにより擦られた画像Ｐ（ｔ１）の画素領域が持つ画素値Ｄ１と、画像Ｐ（ｔ２）の画素領域が持つ画素値Ｄ２とが１：１で合成され、画素値Ｄ’＝（Ｄ１＋Ｄ２）／２が算出されるように合成比率が設定される。摩擦回数が２回の場合、例えば、ユーザにより擦られた画像Ｐ（ｔ１）の画素領域が持つ画素値Ｄ１と、画像Ｐ（ｔ２）の画素領域が持つ画素値Ｄ２とが１：２で合成され、画素値Ｄ’＝（Ｄ１＋２＊Ｄ２）／３が算出されるように合成比率が設定される。このような構成にすることで、擦るに連れて表示画像がパラメータの大きい被合成画像に徐々に変化していく様子が表現できる。

一方、摩擦回数に応じて合成する画像を切り替える場合は次のようになる。摩擦回数が１回の場合、ユーザにより擦られた画像Ｐ（ｔ１）の画素領域が持つ画素値Ｄ１が、画像Ｐ（ｔ２）の画素領域が持つ画素値Ｄ２に置き換えられる。つまり、その画素領域に対応する合成後の画素値Ｄ’はＤ’＝Ｄ２になる。上記の表現を用いれば、画素値Ｄ１と画素値Ｄ２との間の合成比率が０：１ということになる。また、摩擦回数が２回の場合、ユーザにより擦られた画像Ｐ（ｔ１）の画素領域が持つ画素値Ｄ１が、画像Ｐ（ｔ３）の画素領域が持つ画素値Ｄ３に置き換えられる。つまり、その画素領域に対応する合成後の画素値Ｄ’はＤ’＝Ｄ３になる。上記の表現を用いれば、画素値Ｄ１と画素値Ｄ３との間の合成比率が０：１ということになる。

上記の設定方法は一例であり、本実施形態はこれに限定されるものではないが、このような設定方法を用いることにより、摩擦情報に応じた合成比率が設定されうる。また、画像の合成方法については後段において詳細に説明する。このようにして設定された合成比率は、合成処理部１３６に入力される。

（合成処理部１３６）
合成処理部１３６は、連続撮影された画像群のうち、最初又は所定の撮影時点に対応する画像を表示部１１２に表示させる。その後、ユーザは、表示部１１２に表示された画像を見ながら表示部１１２の画面上を擦る動作を行う。この擦る動作に応じて摩擦情報が検出され、当該摩擦情報に応じて合成比率設定部１３４により合成比率が設定される。この合成比率が入力されると、合成処理部１３６は、合成比率設定部１３４により設定された合成比率に基づき、撮像装置２００により連続撮影された画像を表示部１１２に表示させた画像に合成する。さらに、合成処理部１３６は、合成後の画像を表示部１１２に表示させ、再びユーザに提示する。

（画像合成処理の詳細説明）
ここで、図５〜図９を参照しながら、上記の画像合成処理について、より詳細に説明する。図５は、画像のピクセル数に対応するマトリックスを示す説明図である。図６は、ブラシマトリックスの一例を示す説明図である。図７は、入力操作の一例を示す説明図である。図８は、深度マトリックスの一例を示す説明図である。

まず、図５を参照する。画像合成部１３０は、図５に示すマトリックスの情報を保持している。このマトリックスは、画像のピクセル数と同じサイズのデータ格納領域を示しており、例えば、各セルに深度の情報が保持される行列データである。ここで言う深度とは、どの画像がどれだけの割合で合成（表示）されているかを示す指標である。初め、このマトリックスには所定値が格納されており、ユーザによる摩擦動作に応じてマトリックスに格納された深度が更新される。この深度に応じて、画像合成部１３０により合成される被合成画像の撮影時点が決定されたり、表示画像に合成される被合成画像の比率が設定されたりする。

次いで、図６を参照する。図６は、ユーザにより擦られた画素領域に対応するマトリックス値を更新するためのブラシマトリックスである。つまり、このブラシマトリックスは、マトリックスの値に加算される深度を設定するためのものである。この例では、５ピクセル×５ピクセルのサイズを持つブラシマトリックスが設定されている。また、このブラシマトリックスは、中心の値が１．０であり、外側に向かって値が小さくなるように深度が設定されている。ユーザにより擦られた位置が検出されると、その検出位置の画素とブラシマトリックスの中心とが一致するように位置が調整され、ブラシマトリックスの値がマトリックスの値に加算される。

まず、図７に示すように、ある画素領域がユーザにより擦られる。図７には、ユーザの指により擦られた位置とマトリックスの位置との間の対応関係が分かるように両者が模式的に描画されている。実際、マトリックスは行列データであるから、図７のようにマトリックスが直接押圧されることはない。しかし、画像合成部１３０は、図７に示すイメージのように、ユーザが押圧した位置の情報を取得してマトリックス上の位置を認識しているのである。このようにしてユーザにより擦る動作が行われると、画像合成部１３０により、ブラシマトリックスに格納された深度がマトリックスの値に加算される。この様子を示したのが図８である。

図８の例は、マトリックスの各セルに初期値として深度１０．０が格納されており、ユーザにより擦られた位置にブラシマトリックスの値が加算された状態のマトリックスを示したものである。図７に示すように、ある画素領域がユーザにより擦られると、画像合成部１３０により、その画素領域に合うようにブラシマトリックスの位置が調整される。そして、画像合成部１３０により、ブラシマトリックスの各セルに格納された深度の値が、その各セルに対応するマトリックスの各セルに格納された深度の値に加算される。図６に示すようにブラシマトリックスが設定されていると、加算後のマトリックスは、図８に示すようなものになる。

もし、ユーザにより繰り返し同じ画素領域が擦られると、その擦られた部分のマトリックスの値が繰り返し加算されていくことになる。そのため、摩擦回数が大きくなるに連れてマトリックスに格納された深度の値が大きくなる。また、ユーザが同じ画素領域に接触し続けた時間や、その画素領域を押圧した圧力に応じてブラシマトリックスの値が複数回加算されるように構成されていてもよい。さらに、ある画素領域をユーザが擦る際に、その摩擦速度が小さいほど又は大きいほど、ブラシマトリックスの加算回数が多くなるように構成されていてもよい。このような構成にすることで、画像合成部１３０は、様々な種類の摩擦情報に応じてマトリックスの値を制御することができるようになる。

このようにして得られる画素毎の深度は、表示される画像の決定や合成比率の決定に利用される。これらの決定に際して、例えば、図９に示すような変換表が用いられる。図９の変換表は、表示する画像を決定するためのものである。この変換表は、マトリックスの値が含まれる数値範囲を示す欄と、その数値範囲に対応する画像の区分を示す欄とにより構成されている。

例えば、ある画素に対応するマトリックスの値（深度）が１１．０であった場合、この画素は、「画像１、画像２」に対応する数値範囲１０．０〜２０．０に含まれる。そのため、この画素の画素値は、互いに対応する画像１及び画像２の画素値を用いて算出される。また、画像１及び画像２の画素を合成する際の合成比率は、合成比率設定部１３４により、マトリックスの値に応じて決定される。深度が１１．０の場合、画像１の画素値Ｄ１と画像２の画素値Ｄ２との間の合成比率は、例えば、Ｄ１：Ｄ２＝９：１に決定される。従って、合成画像の画素値Ｄ’は、Ｄ’＝０．９＊Ｄ１＋０．１＊Ｄ２となる。

画素値Ｄが３原色に対応するＲ，Ｇ，Ｂの値を持つ場合、画素値Ｄ１（Ｒ１，Ｇ１，Ｂ１）、及び画素値Ｄ２（Ｒ２，Ｇ２，Ｂ２）を合成した合成後の画素値Ｄ’（Ｒ’，Ｇ’，Ｂ’）は、下記の式（１）のように表現される。その結果、画像１及び画像２の中でユーザにより擦られた画素領域は、このようにしてアルファブレンドされて表示される。なお、ＹＣｂＣｒやＣＭＹＫ等の他の色空間表現に対しても、同様に画素値を合成することで合成画像の画素値が算出される。

ここで、再び図９に示した変換表に注目して頂きたい。図９に示した変換表の中で、マトリックスの値が数値範囲０．０〜１０．０の場合、或いは、数値範囲が２０．０〜３０．０の場合、表示される画像がそれぞれ画像１、或いは、画像２のみとなるように設定されている。つまり、ユーザによる擦り動作が繰り返されてマトリックスの値が漸次大きくなっても、これらの数値範囲に加算後の深度が含まれている間、擦られている画素領域の画素値が被合成画像のもので固定された状態となる。この状態は、所謂「溜め」を表現したものである。

例えば、図２に示したケース２の場合、ユーザは、時間的に後で撮影された写真Ｐ（ｔ２）の一部分（被写体Ａの目の周囲）だけをそのまま写真Ｐ（ｔ１）と置き換えたいと考えるであろう。もし、上記の「溜め」が無い場合、ユーザは、表示される合成画像を確認しつつ、擦り動作を繰り返しながら写真Ｐ（ｔ２）が単独で表示される一瞬を慎重に探ることになる。また、その一瞬を外してしまうと、画素値が合成されたものとなり、画質が低下してしまう。しかし、上記の「溜め」が設定されていれば、写真Ｐ（ｔ２）単独で表示された後で、ある程度擦り動作を行っても画素値が変わらない。そのため、ユーザは、表示される画像を参照しながら擦り動作を繰り返し、写真Ｐ（ｔ２）単独で表示された時点を容易に、且つ、安心して見つけることができるようになる。

以上、画像合成処理の詳細について説明した。上記の通り、画像合成部１３０の合成比率設定部１３４及び合成処理部１３６により、撮像装置２００で連続撮影された画像の一部がユーザの擦り動作に応じて合成される。この合成された画像は、表示入力部１１０の表示部１１２に入力され、ユーザに対して提示される。但し、表示部１１２には、合成処理部１３６により画像が合成される度に合成後の画像が表示される。

以上説明したように、本実施形態に係る画像処理装置１００は、ユーザによる摩擦動作に応じて、連続撮影された複数枚の画像を合成するというものである。特に、画像処理装置１００は、摩擦情報に応じて合成される画像を切り替えたり、合成比率を調整したりする構成に特徴がある。上記の通り、画像処理装置１００の構成を適用することで、ユーザによる摩擦動作に応じて画像の一部分だけが滑らかに合成されていく操作体系が実現され、ユーザは、簡単な操作で意図に合致した画像を得ることが可能になる。

［撮像装置２００の機能構成］
ここで、図４を参照しながら、撮像装置２００の機能構成について簡単に説明する。但し、撮像装置２００の機能は、図１５に示したハードウェア構成により実現される。

撮像装置２００が有する機能の中で、本実施形態において重要なのはパラメータ変更部２１０の機能である。パラメータ変更部２１０は、撮像装置２００が連続撮影を実行する際に、制御可能な種々のパラメータを画像単位で変化させる機能を有している。パラメータ変更部２１０が制御するパラメータとしては、例えば、例えば、被写界深度、エフェクト、逆光補正、フラッシュ等がある。パラメータ変更部２１０により、これらのパラメータが徐々に変更されつつ、連続して被写体像が撮影されるのである。但し、パラメータの変更は、パラメータ変更部２１０により自動的に実行されてもよいし、ユーザにより手動で実行されてもよい。

［画像処理装置１００の動作説明］
次に、図１０を参照しながら、本実施形態に係る画像処理装置１００の動作説明を行う。図１０は、本実施形態に係る画像処理装置１００の動作を模式的に示す説明図である。但し、ここでは人物写真の瞬きを補正する例を示して説明している。

図１０には、時刻ｔ１に撮影された写真Ｐ（ｔ１）と、時刻ｔ２に撮影された写真Ｐ（ｔ２）とが描画されている。時刻ｔ１、ｔ２は、連続する撮影時刻である。また、写真Ｐ（ｔ１）、Ｐ（ｔ２）には、２つの被写体像（被写体Ａ、被写体Ｂ）が撮像されている。

写真Ｐ（ｔ１）に含まれる被写体Ａは、瞬きをした瞬間に撮影されたものである。一方、写真Ｐ（ｔ１）に含まれる被写体Ｂは、瞬きをしておらず、撮影者の意図に合致した状態（ＯＫ）である。また、写真Ｐ（ｔ２）に含まれる被写体Ａは、瞬きをしておらず、撮影者の意図に合致した状態（ＯＫ）である。一方、写真Ｐ（ｔ２）に含まれる被写体Ｂは、瞬きをした瞬間に撮影されたものである。この場合、ユーザは、写真Ｐ（ｔ２）に写っている被写体Ｂの目の部分を写真Ｐ（ｔ１）のもので置き換えたいと考えるであろう。

このとき、ユーザは、図１０に示すように、写真Ｐ（ｔ２）に写っている被写体Ｂの目の周囲を擦るだけで、その摩擦領域に対応する写真Ｐ（ｔ１）の画像を合成することができる。つまり、ユーザにより写真Ｐ（ｔ２）の画素領域が擦られると、画像処理装置１００は、その画素領域に対応する写真Ｐ（ｔ２）及び写真Ｐ（ｔ１）の画像を合成する（Ｓ１００）。このような合成処理により、ユーザが所望するように、被写体Ａも被写体Ｂも瞬きしていない合成画像が生成されるのである。

このように、ユーザは、瞬きをしてしまっている人物の目の周りを擦ることで、擦った部分だけ時間を進めることができる。このように画像全体ではなく、こすった部分のみを変化させることで、ユーザの意図した位置や範囲だけ深度を変化させることができる。

（合成処理Ｓ１００の詳細）
ここで、図１１を参照しながら、画像処理装置１００による合成処理Ｓ１００の流れについて、より詳細に説明する。図１１は、本実施形態に係る画像処理装置１００による合成処理の流れを示す説明図である。ここで示す一連の処理は、画像処理装置１００が有する機能構成の中で、主に、画像合成部１３０の機能により実現される。

図１１に示すように、まず、画像合成部１３０は、ユーザにより擦られた位置の画素領域にブラシマトリックスの位置を合わせ、ブラシマトリックスの各セルに格納された深度値をマトリックスの値に加算する（Ｓ１０２）。次いで、画像合成部１３０は、変換表を参照してマトリックスの値に対応する画像を選択することで、どの画像を合成（表示）するかを選択する（Ｓ１０４）。次いで、画像合成部１３０は、マトリックスの値に基づいて、ユーザにより擦られた画素領域の画素値を算出し、合成後の表示画像を構成する画素値として該当するピクセルを埋め（Ｓ１０６）、一連の処理を終了する。これらの処理により、ユーザの摩擦動作に応じた合成画像が生成される。

［応用例１：花火撮影］
次に、図１２Ａ〜図１２Ｃを参照しながら、本実施形態の一応用例について述べる。図１２Ａ〜図１２Ｃは、本実施形態に係る技術を花火撮影の場面に適用した場合の例を示す説明図である。ここで示す花火撮影の場面は、撮影者が意図する被写体像が時間差で現れる場合の例である。このように、被写体の状態を制御できないような場面に対しても、本実施形態に係る画像処理装置１００は好適に用いられる。

図１２Ａ〜図１２Ｃは、２つの花火が破裂する瞬間を狙って連続的に撮影された画像を模式的に示したものである。なお、これらの一連の画像は、左側花火が最初に破裂し、その数秒後に右側花火が破裂した状態を撮影したものである。

まず、図１２Ａを参照する。図１２Ａの撮影時点は、左側花火が破裂した瞬間である。左側花火については、撮影者の意図した通り、花火が最大に開いた状態の撮影が出来ている。しかし、この撮影時点では、右側花火は破裂前であり、撮影者の意図しているものよりも花火の直径が小さい。

次に、図１２Ｂを参照する。図１２Ｂの撮影時点は、右側花火が破裂した瞬間である。右側花火については、撮影者の意図した通り、花火が最大に開いた状態の撮影が出来ている。しかし、この撮影時点では、左側花火が既に消滅してしまっている。そこで、撮影者は、図１２Ａの画像に写っている右側花火を図１２Ｂに写っている右側花火で置き換えたいと考えるであろう。そこで、擦った部分だけ時間を進めることができる本実施形態の技術が用いられる。

まず、撮影者は、図１２Ａに示した画像の中で右側花火を囲った枠内で擦る操作を行う。すると、擦られた枠内だけ時間が進むため、徐々に図１２Ｂの右側花火の画像が合成されて表示されてくる。さらに擦ると、図１２Ｃに示すように、図１２Ｂに示した右側花火の画像が完全に合成され、左側花火と右側花火が共に破裂した瞬間の状態にある合成画像が生成される。本来、時間差で破裂する２つの花火が同時に破裂する瞬間というのは捉えられないが、本実施形態の技術を用いると、そのような合成画像が容易に生成できるようになるのである。

［応用例２：風景撮影］
次に、図１３を参照しながら、本実施形態の一応用例について述べる。図１３は、本実施形態に係る技術を風景撮影の場面に適用した場合の例を示す説明図である。ここで示す風景撮影の場面は、手前と奥とに被写体が存在し、手前と奥とに対して同時にフォーカスを合わせられない場合の例である。このように、どうしても撮影が困難な場面に対しても、本実施形態に係る画像処理装置１００は好適に用いられる。

図１３には、写真Ｐ（ｔ１）、及び写真Ｐ（ｔ２）が示されている。写真Ｐ（ｔ１）は、奥にフォーカスが合うように撮影された写真である。一方、写真Ｐ（ｔ２）は、手前にフォーカスが合うように撮影された写真である。風景を撮影する場合、奥の建物や山等にフォーカスを合わせると、手前の木々の葉等にはフォーカスが合わなくなる。逆に、手前の木々の葉等にフォーカスを合わせると、奥の建物や山等にはフォーカスが合わなくなる。このような場面においても、撮影者は、奥と手前とに共にフォーカスが合った画像を撮影したいと考えるであろう。そこで、擦った部分だけパラメータ（フォーカス）を移動することができる本実施形態の技術が用いられる。

まず、撮影者は、被写界震度を変化させながら連続撮影を行う。そして、撮影者は、写真Ｐ（ｔ１）の中で手前の被写体を囲った枠内で擦る操作を行う。すると、擦られた枠内だけ被写界震度が進むため、徐々に写真Ｐ（ｔ２）の画像が合成されて表示されてくる。さらに擦ると、図１３に合成画像として示した通り、写真Ｐ（ｔ２）に含まれる手前の画像が完全に合成され、奥の被写体と手前の被写体とに対して共にフォーカスが合った合成画像が生成される。本来、奥と手前とに同時にフォーカスが合った画像というのは得られないが、本実施形態の技術を用いることにより、そのような合成画像が容易に生成できるようになるのである。

以上、本実施形態に係る２つの応用例を示した。もちろん、本実施形態の適用範囲はこれに限定されず、摩擦情報の種類やパラメータの種類に応じて様々な応用が可能である。

［画像処理装置１００のハードウェア構成例］
上記の画像処理装置１００が有する各構成要素の機能は、例えば、図１５に示すハードウェア構成を有する情報処理装置により、上記の機能を実現するためのコンピュータプログラムを用いて実現することが可能である。図１５は、上記の画像処理装置１００の各構成要素が有する機能を実現することが可能な情報処理装置のハードウェア構成を示す説明図である。この情報処理装置の形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の携帯情報端末、ゲーム機、又は各種の情報家電等の形態がこれに含まれる。

図１５に示すように、前記の情報処理装置は、主に、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０６と、ホストバス９０８と、ブリッジ９１０と、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とにより構成される。

ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、例えば、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する。ＲＡＭ９０６は、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等を一時的又は永続的に格納する。これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８によって相互に接続されている。また、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続されている。

入力部９１６は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等の操作手段である。また、入力部９１６は、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントロール手段（所謂、リモコン）であってもよい。なお、入力部９１６は、上記の操作手段を用いて入力された情報を入力信号としてＣＰＵ９０２に伝送するための入力制御回路等により構成されている。

出力部９１８は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌ）、又はＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。

記憶部９２０は、各種のデータを格納するための装置であり、例えば、ハードディスクドライブ（ＨＤＤ；Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。

ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ ＤＶＤメディア、コンパクトフラッシュ（ＣＦ；Ｃｏｍｐａｃｔ Ｆｌａｓｈ）（登録商標）、メモリースティック、又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ Ｃａｒｄ）、又は電子機器等であってもよい。

接続ポート９２４は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。

通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。

［撮像装置２００のハードウェア構成例］
次いで、上記の撮像装置２００のハードウェア構成例について説明する。上記の撮像装置２００が有する各構成要素の機能は、例えば、図１５に示すハードウェア構成により実現することが可能である。図１５は、上記の撮像装置２００の各構成要素が有する機能を実現することが可能なハードウェア構成の一例を示す説明図である。

図１５に示すように、撮像装置２００は、主に、制御部（例えば、ＣＰＵ；Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８０２と、位置取得部８０４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８０６と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８０８と、バス８１０と、撮像部８１２と、画像処理部８１４と、表示部８１６と、記憶媒体（例えば、Ｆｌａｓｈ Ｍｅｍｏｒｙ等）８１８とにより構成される。

図中には明示しないが、ユーザによる操作を受け付ける入力部をさらに備えていてもよい。この入力部の機能は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等の操作手段により実現される。また、入力部は、赤外線やその他の電波、或いは、光波等を利用して制御信号を送信することが可能なリモートコントロール手段（所謂、リモコン）であってもよい。

制御部８０２は、例えば、ＣＰＵ等により実現され、ＲＡＭ８０６、ＲＯＭ８０８、又は記録媒体８１８等に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ８０８は、例えば、制御部８０２に読み込まれるプログラムや演算に用いるデータ等を格納する。ＲＡＭ８０６は、例えば、制御部８０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等を一時的又は永続的に格納する。これらの構成要素は、例えば、高速なデータ伝送が可能なバス８１０によって相互に接続されている。

位置取得部８０４は、撮像装置の位置情報を取得する手段である。位置情報取得部８０４は、例えば、通信可能な基地局にアクセスして当該基地局がカバーするエリアの情報を位置情報として取得してもよいし、或いは、測位用の衛星システム（ＧＰＳ；Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等から位置情報を取得してもよい。位置情報としては、例えば、撮像装置２００が位置する緯度、経度、又はエリアを特定可能な情報である。

撮像部８１２は、光学系を介して被写体の像を取得する手段である。撮像部８１２は、主に、レンズ８２２と、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）８２４と、ＡＦ制御部８２６と、ＡＥ制御部８２８とにより構成される。

レンズ８２２は、光学系を構成し、被写体により反射された光をＣＣＤ８２４に集光する。ＣＣＤ８２４は、半導体素子により構成され、レンズ８２２により集光された光を各素子で受光し、その受光した光を光電変換して出力する固体撮像素子である。ＣＣＤ８２４は、各素子が受光した光の強度に応じて電気信号を出力するため、その電気信号に基づいて画像信号を形成することができる。尚、上記撮像装置２００は、ＣＣＤ８２４に代えて、他の半導体素子により形成されたイメージセンサーを利用していてもよい。ＡＦ制御部８２６は、ピントを自動的に調整するためのオートフォーカス機構である。また、ＡＥ制御部８２８は、シャッター速度や絞り値を自動的に調整するための自動露出（ＡＥ；Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）制御機構である。

画像処理部８１４は、ＣＣＤ８２４により出力された画像信号を表示部８１６で表示可能な画像データの形式に変換することができる。例えば、画像処理部８１４は、当該画像信号をＢＭＰ、ＧＩＦ、ＪＰＥＧ、ＰＩＣＴ、又はＰＩＮＧ等の符号化形式に対応する画像データに変換することができる。また、画像処理部８１４は、画像データのサイズを変更したり、輝度や色調を調整したり、或いは、ガンマ補正やシャープネスの調整等をしたりする。さらに、画像処理部８１４は、撮像部８１２により連続して撮影された複数の画像信号から動画像データを生成することもできる。

表示部８１６は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌ）、又はＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等のディスプレイ装置であり、取得した情報を利用者に対して視覚的に通知することが可能な装置である。

記録媒体８１８は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等により構成される。例えば、記録媒体８１８は、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ ＤＶＤメディア、コンパクトフラッシュ（登録商標）（ＣＦ；ＣｏｍｐａｃｔＦｌａｓｈ）、メモリースティック、ＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）、又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等である。また、撮像装置２００は、記録媒体８１８として、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ Ｃａｒｄ）や電子機器等を利用するように構成されていてもよい。

［まとめ］
最後に、本実施形態の画像処理装置が有する機能構成と、当該機能構成が奏する作用効果について簡単に纏める。

まず、本実施形態に係る画像処理装置の機能構成は次のように表現することができる。

当該画像処理装置は、連続して撮影された画像群に含まれる第１画像が表示される表示画面と、ユーザにより擦られた前記表示画面上の摩擦位置を検出する摩擦位置検出部と、前記摩擦位置に対応する前記第１画像の画素領域と、前記画像群に含まれる第２画像の画素領域とを合成する画像合成部とを備える。但し、前記画像合成部は、前記ユーザにより擦られた摩擦量が大きくなるに連れて前記第１画像と前記第２画像との間の撮影時間差が大きくなるように前記第１画像に合成される第２画像を切り替える機能を有する。

このように、上記の画像処理装置は、連続して撮影された画像群に含まれる第１画像を表示画面に表示する機能を有する。第１画像としては、例えば、画像群に含まれる画像の中で撮影時点が最も新しいものが選択されるように構成される。また、上記の画像処理装置は、摩擦位置検出部により、ユーザにより擦られた前記表示画面上の摩擦位置を検出する機能を有する。摩擦位置検出部により摩擦位置が検出されることで、ユーザにより指定された画素領域が特定される。

さらに、上記の画像処理装置は、画像合成部により、前記摩擦位置に対応する前記第１画像の画素領域と、前記画像群に含まれる第２画像の画素領域とを合成する。このように構成されることで、撮影時点が異なる第２画像の一部が第１画像に合成される。このとき、ユーザにより指定された画素領域のみが第１画像に合成されるため、実際には撮影が困難な画像を生成することも可能になる。さらに、画像合成部により実行される合成処理は、ユーザによる摩擦動作により実現されるため、利便性の高い簡単な操作体系が提供される。特に、ユーザが画素領域を指定する操作、合成割合の設定操作、被合成画像の選択操作が一連の摩擦動作のみで実現できるため、格別に高い利便性が提供される。

また、上記の画像合成部は、前記ユーザにより擦られた摩擦量が大きくなるに連れて前記第１画像と前記第２画像との間の撮影時間差が大きくなるように前記第１画像に合成される第２画像を切り替える。このような構成にすることで、ユーザは、擦る動作を繰り返すことにより被合成画像を順次切り替えていくことが可能になる。その結果、被合成画像の切り替え処理についても一連の摩擦動作に組み込まれ、さらに利便性の高い操作体系が実現されるのである。

また、前記画像合成部は、前記摩擦量が大きくなるに連れて前記第１画像に対する前記第２画像の合成比率を増加させ、前記摩擦量が所定の閾値を超過した段階で前記第２画像を前記第１画像からの撮影時間差がより大きい画像に切り替えるように構成されていてもよい。このように構成されることで、被合成画像の切り替え処理、及び表示画像と被合成画像との合成比率の調整処理が一連の摩擦動作に応じて実現されるようになる。つまり、連続的な摩擦動作により、表示画像から被合成画像へと合成画像がシームレスに変化していくことになる。その結果、ユーザは、より直感的な処理により合成画像を生成できるようになる。

また、前記画像合成部は、前記摩擦量が所定の閾値を所定量だけ超過するまで前記画素領域に切り替え前の前記第２画像を表示し、当該所定量を超過した段階で前記第２画像を切り替えるように構成されていてもよい。このように構成されることで、第１画像の一部が第２画像に完全に切り替わった後、擦り動作が継続されたとしても所定時間だけ第２画像が切り替わらないため、その完全に切り替わったタイミングを容易に見つけることができるようになる。その結果、第１画像の一部を第２画像に完全に置き換えた画像を意図している場合に、「溜め」がある分だけ正確にタイミングを捉えることができると共に、ユーザが安心して擦り動作を進めることができるようになる。

また、前記摩擦量は、前記画素領域が摩擦された回数、摩擦時の押圧力、摩擦方向、及び摩擦早さの中から選択される１つの量又は複数の組み合わせにより決定される量であってもよい。さらに、前記画像群は、撮影時に変更可能な任意のパラメータを変化させながら連続して撮影された複数の画像であってもよい。そして、前記パラメータは、被写界深度、画像エフェクト、又はフラッシュを制御するための制御パラメータであってもよい。但し、上記の画像処理装置の構成は、これらの例に限定されず、画像群を撮影する撮像装置の機能や構成に応じて、種々の変形が可能である。

［効果］
ここで、本実施形態を適用することにより得られる効果について簡単に纏める。但し、本実施形態の各構成により得られる具体的な効果については、これまでの説明の中で既に述べている。そのため、ここで述べるのは、これらの具体的な効果を纏めたものである。まず、上記の実施形態に係る技術を用いると、連続撮影した画像を容易な操作体系で合成することが可能になるという効果が得られる。また、ユーザが意図する位置又は範囲や合成度合いを一連の摩擦動作により変化させて画像を合成することが可能になるという効果が得られる。さらに、実際には撮影が困難な画像を容易に生成することが可能になるという効果が得られる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

連続撮影された被写体像の一例を示す説明図である。 連続撮影された被写体像の一例を示す説明図である。 本発明の一実施形態に係る画像処理技術の原理説明図である。 本実施形態に係る画像処理装置の機能構成を示す説明図である。 撮像素子の画素に対応するマトリックスの一例を示す説明図である。 本実施形態に係るブラシマトリックスの一例を示す説明図である。 本実施形態に係る入力操作の一例を示す説明図である。 本実施形態に係る深度マトリックスの一例である。 本実施形態に係る変換表の一例を示す説明図である。 本実施形態に係る画像処理装置の動作説明図である。 本実施形態に係る深度算出処理の流れを示す説明図である。 連続撮影により撮影される一被写体像の例を示す説明図である。 連続撮影により撮影される一被写体像の例を示す説明図である。 本実施形態に係る合成画像の一例を示す説明図である。 本実施形態に係る画像処理技術の一応用例を示す説明図である。 本実施形態に係る画像処理装置（情報処理装置）のハードウェア構成例を示す説明図である。 本実施形態に係る撮像装置のハードウェア構成例を示す説明図である。

符号の説明

１００ 画像処理装置
１１０ 表示入力部
１１２ 表示部
１１４ 摩擦位置検出部
１３０ 画像合成部
１３２ 摩擦情報検出部
１３４ 合成比率設定部
１３６ 合成処理部
２００ 撮像装置
２１０ パラメータ変更部

Claims (7)

1. 連続して撮影された画像群に含まれる第１画像が表示される表示画面と、
   ユーザにより擦られた前記表示画面上の摩擦位置を検出する摩擦位置検出部と、
   前記摩擦位置に対応する前記第１画像の画素領域と、前記画像群に含まれる第２画像の画素領域とを合成する画像合成部と、
   を備え、
   前記画像合成部は、前記ユーザにより擦られた摩擦量が大きくなるに連れて前記第１画像と前記第２画像との間の撮影時間差が大きくなるように前記第１画像に合成される第２画像を切り替える、画像処理装置。
2. 前記画像合成部は、前記摩擦量が大きくなるに連れて前記第１画像に対する前記第２画像の合成比率を増加させ、前記摩擦量が所定の閾値を超過した段階で前記第２画像を前記第１画像からの撮影時間差がより大きい画像に切り替える、請求項１に記載の画像処理装置。
3. 前記画像合成部は、前記摩擦量が所定の閾値を所定量だけ超過するまで前記画素領域に切り替え前の前記第２画像を表示し、当該所定量を超過した段階で前記第２画像を切り替える、請求項２に記載の画像処理装置。
4. 前記摩擦量は、前記画素領域が摩擦された回数、摩擦時の押圧力、摩擦方向、及び摩擦早さの中から選択される１つの量又は複数の組み合わせにより決定される量である、請求項３に記載の画像処理装置。
5. 前記画像群は、撮影時に変更可能な任意のパラメータを変化させながら連続して撮影された複数の画像である、請求項１に記載の画像処理装置。
6. 前記パラメータは、被写界深度、画像エフェクト、又はフラッシュを制御するための制御パラメータである、請求項５に記載の画像処理装置。
7. 連続して撮影された画像群に含まれる第１画像が表示画面上に表示されている場合に、ユーザにより擦られた前記表示画面上の摩擦位置が検出される摩擦位置検出ステップと、
   前記摩擦位置に対応する前記第１画像の画素領域と、前記画像群に含まれる第２画像の画素領域とが合成される画像合成ステップと、
   を含み、
   前記画像合成ステップでは、前記ユーザにより擦られた摩擦量が大きくなるに連れて前記第１画像と前記第２画像との間の撮影時間差が大きくなるように前記第１画像に合成される第２画像が切り替わる、画像処理方法。

Images