JP2013143725A - 画像表示装置、画像表示方法及びプログラム - Google Patents

Abstract

【課題】撮像される物体自体の品質を低下させることなく、当該物体の内容に対して親和性の高い画像を表示する。
【解決手段】携帯端末１００であって、特定の被写体が連続して撮像された複数の画像を逐次取得する第１取得部７ｂと、取得された複数の画像のうち、一の画像から所定の画像に対応する画像領域を抽出する特徴量演算部７ｅと、抽出された所定の画像に対応する処理済み画像を記録部６から取得する第２取得部７ｆと、一の画像における所定の画像に対応する画像領域が抽出された位置に、第２取得部により取得された処理済み画像を合成した合成画像を生成する合成画像生成部７ｈと、生成された合成画像を表示部９に逐次表示させる表示制御部８と、を備えている。
【選択図】図１

Description

本発明は、画像表示装置、画像表示方法及びプログラムに関する。

従来、携帯端末等を用いて撮像された画像から、例えば二次元バーコードなどのコントラストの大きい専用のマーカーを検出し、検出されたマーカーの位置に空間的に位置を合わせた仮想オブジェクト（例えば、三次元モデル等）を追加表示することによって、ユーザの現実の環境を拡張しようとする拡張現実（augmented reality：ＡＲ）技術が知られている（例えば、特許文献１参照）。

特開２０１１−７６５８９号公報

しかしながら、上記の技術では、仮想オブジェクトを追加表示したい位置にマーカーを設ける必要があるため、被写体の一部分或いは全体に仮想オブジェクトを表示したい場合には、被写体とは全く関係のないマーカーを被写体の一部分或いは全体に配置しなければならず、当該被写体自体の品質が低下してしまうといった問題がある。また、表示される仮想オブジェクトは、撮像された物体に関連するものの、当該画像の内容（特に、主要被写体）とはかけ離れた違和感のあるものが表示されてしまう虞もある。

本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、撮像される被写体自体の品質を低下させることなく、当該被写体の内容に対して親和性の高い画像を表示することができる画像表示装置、画像表示方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る画像表示装置は、
予め特定の被写体を含む所定の画像と、当該所定の画像に所定の画像変換処理が施された処理済み画像とを対応付けて記録する記録手段と、前記特定の被写体が連続して撮像された複数の画像を逐次取得する第１取得手段と、この第１取得手段により取得された前記複数の画像のうち、一の画像から前記所定の画像に対応する画像領域を抽出する抽出手段と、この抽出手段により抽出された前記所定の画像に対応する処理済み画像を前記記録手段から取得する第２取得手段と、前記一の画像における前記所定の画像に対応する画像領域が抽出された位置に、前記第２取得手段により取得された前記処理済み画像を合成した合成画像を生成する生成手段と、この生成手段により生成された前記合成画像を表示手段に逐次ライブビュー表示させる表示制御手段と、を備えることを特徴としている。

また、本発明に係る画像表示方法は、
予め特定の被写体を含む所定の画像と、当該所定の画像に対して所定の画像変換処理が施された処理済み画像とを対応付けて記録する記録手段を備える画像表示装置を用いた画像表示方法であって、前記特定の被写体が連続して撮像された複数の画像を逐次取得する処理と、取得された前記複数の画像のうち、一の画像から前記所定の画像に対応する画像領域を抽出する処理と、抽出された前記所定の画像に対応する処理済み画像を前記記録手段から取得する処理と、前記一の画像における前記所定の画像に対応する画像領域が抽出された位置に、取得された前記処理済み画像を合成した合成画像を生成する処理と、生成された前記合成画像を表示手段に逐次表示させる処理と、を含むことを特徴としている。

また、本発明に係るプログラムは、
予め特定の被写体を含む所定の画像と、当該所定の画像に対して所定の画像変換処理が施された処理済み画像とを対応付けて記録する記録手段を備える画像表示装置のコンピュータを、前記特定の被写体が連続して撮像された複数の画像を逐次取得する第１取得手段、この第１取得手段により取得された前記複数の画像のうち、一の画像から前記所定の画像に対応する画像領域を抽出する抽出手段、この抽出手段により抽出された前記所定の画像に対応する処理済み画像を前記記録手段から取得する第２取得手段、前記一の画像における前記所定の画像に対応する画像領域が抽出された位置に、前記第２取得手段により取得された前記処理済み画像を合成した合成画像を生成する生成手段、この生成手段により生成された前記合成画像を表示手段に逐次表示させる表示制御手段、として機能させることを特徴としている。

本発明によれば、撮像される被写体自体の品質を低下させることなく、当該被写体の内容に対して親和性の高い画像を表示することができる。

本発明を適用した実施形態１の携帯端末の概略構成を示すブロック図である。 図１の携帯端末に登録されている第１処理済み画像テーブルの一例を示す図である。 図１の携帯端末に抽出された特徴点情報の一例を模式的に示す図である。 図１の携帯端末による画像登録処理に係る動作の一例を示すフローチャートである。 図４の画像登録処理に係る画像の一例を模式的に示す図である。 図１の携帯端末による画像表示処理に係る動作の一例を示すフローチャートである。 図６の画像表示処理を説明するための図である。 図６の画像表示処理に係る画像の一例を模式的に示す図である。 図６の画像表示処理に係る画像の一例を模式的に示す図である。 図６の画像表示処理を説明するための図である。 本発明を適用した実施形態２の携帯端末の概略構成を示すブロック図である。 図１１の携帯端末による画像登録処理に係る動作の一例を示すフローチャートである。 図１２の携帯端末による画像表示処理に係る動作の一例を示すフローチャートである。 図１２の画像表示処理を説明するための図である。 図１２の画像表示処理を説明するための図である。 本発明に係る画像表示システムの概略構成を示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

［実施形態１］
図１は、本発明を適用した実施形態１の携帯端末１００の概略構成を示すブロック図である。
図１に示すように、携帯端末１００は、中央制御部１、メモリ２、撮像部３、撮像制御部４、画像データ生成部５、記録部６、画像処理部７、表示制御部８、表示部９、送受話部１０、通信制御部１１、操作入力部１２等を備えている。
なお、携帯端末１００は、例えば、通信機能を具備する撮像装置や、携帯電話やＰＨＳ（Personal Handy-phone System）などの移動体通信網で用いられる移動局、ＰＤＡ（Personal Data Assistants）等から構成されている。

中央制御部１は、携帯端末１００の各部を制御する。具体的には、中央制御部１は、携帯端末１００の各部を制御するＣＰＵ（図示略）を具備し、各種処理プログラム（図示略）に従って各種の制御動作を行う。

メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像情報等を一時的に記録するバッファメモリや、中央制御部１などのワーキングメモリ、当該携帯端末１００の機能に係る各種プログラムやデータが格納されたプログラムメモリ等（何れも図示略）を備えている。

撮像部３は、特定の被写体Ｓを撮像してフレーム画像Ｆの画像信号を生成する。
ここで、特定の被写体Ｓとは、二次元画像であっても良いし、３次元形状の立体であっても良い。例えば、特定の被写体Ｓを二次元画像とした場合には、壁面に配置された写真等が挙げられる（図７参照）。

また、撮像部３は、レンズ部３ａと、電子撮像部３ｂとを備えている。
レンズ部３ａは、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部３ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部３ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部３は、レンズ部３ａを通過する光の量を調整する絞りを備えていても良い。

撮像制御部４は、撮像部３による被写体の撮像を制御する。即ち、撮像制御部４は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部４は、タイミング発生器、ドライバにより電子撮像部３ｂを走査駆動して、所定周期毎に光学像を電子撮像部３ｂにより二次元の画像信号に変換させ、当該電子撮像部３ｂの撮像領域から１画面分ずつフレーム画像Ｆを読み出して画像データ生成部５に出力させる。
また、撮像制御部４は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体の撮像条件の調整制御を行う。

画像データ生成部５は、電子撮像部３ｂから転送されたフレーム画像Ｆのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
また、画像データ生成部５は、生成したフレーム画像ＦのＹＵＶデータを水平及び垂直ともに所定倍率で縮小処理を行って、ライブビュー表示用の低解像度（例えば、ＶＧＡやＱＶＧＡサイズ等）の画像データを生成する。具体的には、画像データ生成部５は、表示部９によるライブビュー画像の所定の表示フレームレートに応じた所定のタイミングで、フレーム画像ＦのＹＵＶデータからライブビュー表示用の低解像度の画像データを生成する。

そして、画像処理部７は、生成された各フレーム画像ＦのＹＵＶデータをメモリ２に順次出力し、当該メモリ２に格納させる。

記録部６は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、各種データの書き込みや読み出しを行う。具体的には、記録部６は、例えば、画像情報をＥｘｉｆ形式の画像ファイルとして記録し、画像処理部７の符号化部（図示略）により所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化された記録用の画像情報を少なくとも一つ記録する。

また、記録部６は、第１処理済み画像テーブルＴ１（図２参照）を記録している。
第１処理済み画像テーブルＴ１は、画像登録処理により登録された情報を記録するテーブルである。具体的には、図２に示すように、第１処理済み画像テーブルＴ１は、登録処理の対象となる画像を識別するための「画像ＩＤ」（例えば、「Ａ」〜「Ｃ」、…）と、当該画像の特徴情報に係る「特徴情報」（例えば、「特徴情報１」〜「特徴情報３」、…）と、当該画像に対して所定の画像変換処理が施された処理済み画像Ｐ２の画像データに係る「処理済み画像」（例えば、「第１処理済み画像」〜「第３処理済み画像」、…）とが対応付けられている。

ここで、画像ＩＤは、特定の被写体Ｓを含む所定の画像Ｐ１を識別するものである。即ち、画像ＩＤは、撮像部３によりライブビュー画像として撮像される特定の被写体Ｓと略等しい物体を撮像対象として撮像された所定の画像Ｐ１と対応付けられている。例えば、額装された写真の場合（図７参照）、記録部６に記録されている当該写真の元画像の画像データと対応付けて画像ＩＤが登録される。
なお、「画像ＩＤ」を「Ａ」〜「Ｃ」として模式的に表すが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

また、特徴情報は、後述する画像処理部７の特徴量演算部７ｅにより抽出された特徴点に係る形や色などの各種の特徴量を含む。例えば、特徴情報をＳＩＦＴ（Scale-Invariant Features Transform）特徴量を用いて表す場合には、各特徴点のＸＹ平面空間での座標位置と、ｍ次元の特徴ベクトルにより規定される（図３参照）。
また、特徴情報は、登録処理の対象となる所定の画像Ｐ１の画像データに対して正方形変換処理が施されることで生成された第１正方形画像Ｐ１ａ（図５（ｂ）参照）から抽出された複数の特徴点に係る情報を含む。ここで、正方形変換処理とは、具体的には、所定の画像Ｐ１の短辺側を長辺側に合わせるように相対的に拡大する処理や、長辺側を短辺側に合わせるように相対的に縮小する処理等を含む。
なお、特徴情報としては、ＳＵＲＦ（Speeded Up Robust Features）特徴量を用いて表しても良いし、特徴点の輝度レベルを８ｂｉｔ（２５６段階）で表現した輝度値（０〜２５５）を用いて良いし、ＲＧＢの各色成分を８ｂｉｔ（２５６段階）で表現したＲＧＢ値（０〜２５５）を用いても良い。
また、ＳＩＦＴ特徴量やＳＵＲＦ特徴量は、公知の技術であるので、ここでは詳細な説明を省略する。
なお、「特徴情報」を「特徴情報１」〜「特徴情報３」として模式的に表すが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

また、画像変換処理の種類としては、例えば、後述する画像変換処理部７ａによる各種のアート変換処理（例えば、「色鉛筆風」、「油彩画風」、「水彩画風」等；詳細後述）、輪郭強調処理、階調補正処理、２値化処理等が挙げられる。
なお、処理済み画像Ｐ２は、一枚の静止画像であっても良いし、複数のフレーム画像からなる動画像であっても良い。また、動画像を構成するフレーム画像Ｆの各々は、画像変換処理が施されているか否かは任意に変更可能である。
なお、「処理済み画像」を「第１処理済み画像」〜「第３処理済み画像」として模式的に表すが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

このように、記録部６は、予め特定の被写体Ｓを撮像した所定の画像Ｐ１から抽出された複数の特徴点と対応付けて、当該所定の画像Ｐ１に対して所定の画像変換処理が施された処理済み画像Ｐ２を記録する。
なお、記録部６は、例えば、不揮発性メモリ（フラッシュメモリ）等の記録媒体を備えて構成されても良く、この場合、当該記録媒体の着脱機構を具備しても良い。

画像処理部７は、画像変換処理部７ａ、第１取得部７ｂ、画像領域特定部７ｃ、正方形画像生成部７ｄ、特徴量演算部７ｅ、第２取得部７ｆ、四辺形画像生成部７ｇ、合成画像生成部７ｈを具備している。

画像変換処理部７ａは、登録処理の対象である所定の画像Ｐ１に対して画像変換処理を施す。
画像変換処理とは、画像の視覚的効果を変換させる処理であり、静止画像の表示態様を変化させる処理や、静止画像から複数のフレーム画像Ｆ、…からなる動画像を生成する処理等を含む。

具体的には、画像変換処理部７ａは、登録処理の対象である所定の画像Ｐ１を各種の視覚的効果を有する画像に加工するアート変換処理を施す。
ここで、アート変換処理とは、処理対象となる所定の画像Ｐ１の視覚的効果、即ち、表示部９に表示された状態における表示態様を変化させる画像処理のことである。アート変換処理としては、例えば、色鉛筆で書いたような視覚的効果を有する画像に加工する「色鉛筆風」（図５（ｃ）参照）や、油彩絵の具で描いたような視覚的効果を有する画像に加工する「油彩画風」や、水彩絵の具で描いたような視覚的効果を有する画像に加工する「水彩画風」等が挙げられるが、一例であってこれらに限られるものではなく、適宜任意に変更可能である。
画像変換処理部７ａは、ユーザによる操作入力部１２の所定操作に基づいて指定された所定の処理内容のアート変換処理（例えば、「色鉛筆風」等）を所定の画像Ｐ１に対して施す。具体的には、画像変換処理部７ａは、記録部６に記録されている画像のうち、ユーザによる操作入力部１２の所定操作に基づいて指定された所定の画像Ｐ１の画像データ（ＹＵＶデータ）を複製して、登録処理の対象として取得する（図５（ａ）参照）。その後、画像変換処理部７ａは、当該画像データに対して、ユーザによる操作入力部１２の所定操作に基づいて指定された所定の処理内容のアート変換処理（例えば、「色鉛筆風」等）を施して、絵画調の画像に加工された処理済み画像Ｐ２（図５（ｃ）参照）を生成する。

なお、画像を各種の視覚的効果を有する画像に加工する技術は、例えば、公知の画像処理関連のソフトウェアを用いた処理と略同様の処理によって実現され、ＨＳＶ色空間における色相、彩度、明度などを変更したり各種のフィルタを用いることで行われるが、公知の技術であるので、詳細な説明を省略する。また、「○○風」とは、公知の画像処理関連のソフトウェアによって実現可能なアート変換処理が施された視覚的効果のことを言う。

なお、画像変換処理としては、所定の画像Ｐ１を絵画調の画像に加工するアート変換処理に限られるものではなく、例えば、輪郭強調処理、階調補正処理、２値化処理など適宜任意に変更することができる。また、画像変換処理部７ａは、所定の画像Ｐ１を複数のフレーム画像からなる動画像に変換しても良い。

第１取得部７ｂは、複数のフレーム画像Ｆ、…を逐次取得する。
即ち、第１取得部７ｂは、特定の被写体Ｓが連続して撮像された複数の画像を逐次取得する。具体的には、撮像部３により特定の被写体Ｓ（例えば、額装された写真等）が連続して撮像されて画像データ生成部５により逐次生成された複数のフレーム画像Ｆ、…のライブビュー表示用の低解像度の画像データをメモリ２から逐次取得する。

画像領域特定部７ｃは、特定の画像領域Ａを特定する。
即ち、画像領域特定部７ｃは、第１取得部７ｂにより取得された複数の画像のうち、一の画像内の特定の画像領域Ａを特定する。具体的には、画像領域特定部７ｃは、第１取得部７ｂにより取得された複数のフレーム画像Ｆ、…のうち、一のフレーム画像Ｆのライブビュー表示用の低解像度の画像データに含まれる四辺形枠状の特定の画像領域Ａを特定する（図８（ａ）参照）。また、画像領域特定部７ｃは、例えば、一のフレーム画像Ｆのライブビュー表示用の低解像度の画像データのコントラストを算出し、隣接する領域の色（例えば、白色等）に対してコントラストの変化の大きい色（例えば、黒色等）からなる領域を特定の画像領域Ａとして特定する。
具体的には、例えば、額装された写真を撮像する場合には、画像領域特定部７ｃは、当該写真の撮像により生成された一のフレーム画像Ｆ内で所定の色からなる矩形状の額縁Ｇに対応する四辺形枠状の特定の画像領域Ａを特定する。
なお、特定の画像領域Ａとして、所定の色からなる四辺形枠状のものを例示したが、一例であってこれに限られるものではなく、当該特定の画像領域Ａは一のフレーム画像Ｆ内で他の領域と識別可能な色や形状からなる領域であれば適宜任意に変更可能である。

正方形画像生成部７ｄは、正方形画像を生成する。
即ち、正方形画像生成部７ｄは、画像領域特定部７ｃにより特定された四辺形枠状の特定の画像領域Ａの内側の四辺形領域Ａ１の画像に対して正方形変換処理を行って第２正方形画像Ｐ３を生成する。具体的には、正方形画像生成部７ｄは、例えば、四辺形枠状の特定の画像領域Ａの４つの頂点の内側の角部の座標位置を特定し、当該４つの内側の角部により囲まれた領域内で、直線検出処理（例えば、ハフ変換処理など）を行って四辺形枠状の特定の画像領域Ａの内側の四辺形領域Ａ１を特定する（図８（ｂ）参照）。その後、正方形画像生成部７ｄは、四辺形領域Ａ１の画像の画像データを取得し、当該画像データに対して正方形変換処理を施し、短辺側を長辺側に合わせるように相対的に拡大したり、長辺側を短辺側に合わせるように相対的に縮小することで第２正方形画像Ｐ３（図８（ｃ）参照）を生成する。
なお、正方形画像生成部７ｄは、四辺形枠状の特定の画像領域Ａの４つの頂点の内側の角部により囲まれた領域を四辺形領域Ａ１として特定しても良い。例えば、額装された写真の場合に、額縁Ｇの内側の縁部が写真と重なっている場合には、平面視にて額縁Ｇと写真との間に隙間が存在しないため、正方形画像生成部７ｄは、四辺形枠状の特定の画像領域Ａの４つの頂点の内側の角部のうち、隣合う２つの角部どうしを結ぶ４つの辺により囲まれた領域を四辺形領域Ａ１として特定する。

また、正方形画像生成部７ｄは、登録処理の対象となる所定の画像Ｐ１、即ち、画像変換処理部７ａによりアート変換処理が施される前の画像の画像データを複製して取得し、当該画像データに対して正方形変換処理を施して第１正方形画像Ｐ１ａ（図５（ｂ）参照）を生成する。
ここで、第１正方形画像Ｐ１ａ及び第２正方形画像Ｐ３の水平及び垂直の各方向の画素数は、互いに等しくなっているのが好ましい。この場合、第１正方形画像Ｐ１ａ及び第２正方形画像Ｐ３は、原点（０，０）の位置を一致させた状態で、水平方向に最も遠く、且つ、垂直方向に最も遠い画素（ｘｎ，ｙｍ）の位置が一致するようになっている。

特徴量演算部７ｅは、複数のフレーム画像Ｆ、…のうち、一のフレーム画像Ｆから有効な特徴点を抽出する特徴抽出処理を行う。
即ち、特徴量演算部７ｅは、第１取得部７ｂにより取得された複数のフレーム画像Ｆ、…のうち、一のフレーム画像Ｆから有効な特徴点を複数抽出する。具体的には、特徴量演算部７ｅは、画像領域特定部７ｃにより特定された特定の画像領域Ａ内からコントラストの境界で構成されるコーナーなどの画素の周囲の領域に多くの濃淡情報をもつ有効な特徴点を複数抽出する。
例えば、特徴量演算部７ｅは、ライブビュー表示用の一のフレーム画像Ｆのうち、正方形画像生成部７ｄにより生成された第２正方形画像Ｐ３の画像データに対して所定の特徴抽出処理を施して特徴点を複数抽出し、有効な特徴点におけるＳＩＦＴ特徴量（各画素のＸＹ平面空間での座標位置、ｍ次元の特徴ベクトル等）を算出する。また、特徴量演算部７ｅは、抽出された特徴点に係る各種の情報を対応付けて、特徴点情報Ｄ（図３参照）としてメモリ２に一時的に記録させる。
図３に示すように、ＳＩＦＴ特徴量は、特徴点を所定の順序で番号付けた「特徴点Ｎｏ．」（例えば、「１」〜「３」、…）と、各特徴点のＸＹ平面空間での座標位置を規定する「ｘ座標」及び「ｙ座標」（例えば、「36、120」〜「612、398」、…）と、各特徴点のｍ次元の特徴ベクトルに係る「特徴情報」（例えば、「127，25,68,495,54,2,866,…」〜「68，5,47,2,5,9,87,56,475,…」、…）とが対応付けられている。
なお、「特徴点Ｎｏ．」を「１」〜「３」として模式的に表し、また、「ｘ座標」及び「ｙ座標」を「36、120」〜「612、398」として模式的に表し、また、「特徴情報」を「127，25,68,495,54,2,866,…」〜「68，5,47,2,5,9,87,56,475,…」として模式的に表すが、一例であってこれらに限られるものではなく、適宜任意に変更可能である。

また、特徴量演算部７ｅは、正方形画像生成部７ｄにより生成された第１正方形画像Ｐ１ａの画像データに対して、上記と同様に所定の特徴抽出処理を施して、有効な特徴点におけるＳＩＦＴ特徴量（各画素のＸＹ平面空間での座標位置、ｍ次元の特徴ベクトル等）を算出する。

第２取得部７ｆは、記録部６から処理済み画像Ｐ２を取得する。
具体的には、第２取得部７ｆは、画像領域特定部７ｃにより特定された特定の画像領域Ａ内から抽出された複数の特徴点と、記録部６の第１処理済み画像テーブルＴ１に記録されている複数の特徴点との相違度を算出する相違度算出部ｆ１を具備し、この相違度算出部ｆ１により算出された相違度に基づいて、第１処理済み画像テーブルＴ１から処理済み画像Ｐ２を特定する。

即ち、相違度算出部ｆ１は、特徴量演算部７ｅにより抽出された複数の特徴点と記録部６に記録されている複数の特徴点との相違度を算出する。具体的には、相違度算出部ｆ１は、第２正方形画像Ｐ３から抽出された複数の特徴点の各々の特徴情報（特徴点情報Ｄ）をメモリ２から読み出して取得するとともに、各処理済み画像Ｐ２に対応する第１正方形画像Ｐ１ａから予め抽出された複数の特徴点の各々の特徴情報を第１処理済み画像テーブルＴ１から読み出して取得する。そして、相違度算出部ｆ１は、第２正方形画像Ｐ３から抽出された複数の特徴点の各々の特徴情報と第１正方形画像Ｐ１ａから予め抽出された複数の特徴点の各々の特徴情報とを対応する次元毎に比較し、所定の演算式に従って画像どうしの相違度を算出する。
第２取得部７ｆは、相違度算出部ｆ１により算出された相違度が所定の判定値以下となったか否かを判定する。この判定の結果、相違度が所定の判定値以下となったと判定されると、第２取得部７ｆは、当該相違度の算出に用いられた第１正方形画像Ｐ１ａの複数の特徴点と対応付けられた処理済み画像Ｐ２の画像データを記録部６から取得する。

このように、第２取得部７ｆは、特徴量演算部７ｅにより抽出された複数の特徴点と類似する各特徴点と対応付けられた処理済み画像Ｐ２を記録部６から取得する。
なお、第２取得部７ｆの構成は、一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、相違度算出部ｆ１を具備するか否かは適宜任意に変更可能である。また、第２取得部７ｆは、特徴量演算部７ｅにより一の画像から所定の画像に対応する画像領域が抽出された場合には、抽出された所定の画像に対応する処理済み画像Ｐ２を記録部６から取得するようにしても良い。

四辺形画像生成部７ｇは、処理済み画像Ｐ２から四辺形画像Ｐ２ａを生成する。
即ち、四辺形画像生成部７ｇは、画像領域特定部７ｃにより特定された四辺形枠状の特定の画像領域Ａの傾きに対応させるように、第２取得部７ｆにより取得された処理済み画像Ｐ２の画像データに対して射影変換処理を行って四辺形画像Ｐ２ａの画像データを生成する（図９参照）。具体的には、四辺形画像生成部７ｇは、例えば、四辺形枠状の特定の画像領域Ａ或いは当該画像領域の内側の四辺形領域Ａ１に対して直線検出処理（例えば、ハフ変換処理など）を行って、四辺形を構成する４つの線分の傾きを特定する。そして、四辺形画像生成部７ｇは、第２取得部７ｆにより取得された処理済み画像Ｐ２の４つの辺（上下左右の各辺）の傾きを４つの線分の傾きに対応させるように、当該処理済み画像Ｐ２の画像データに対して射影変換処理を施して、特定の画像領域Ａの内側の四辺形領域Ａ１と略等しい形状の四辺形画像Ｐ２ａの画像データを生成する。

合成画像生成部７ｈは、複数のフレーム画像Ｆ、…のうち、一のフレーム画像Ｆに対して、処理済み画像Ｐ２を合成した合成画像Ｆａを生成する。
即ち、合成画像生成部７ｈは、一のフレーム画像Ｆの画像領域のうち、当該一のフレーム画像Ｆから抽出された複数の特徴点に対応する画像領域（例えば、四辺形領域Ａ１）に対して、第２取得部７ｆにより取得された処理済み画像Ｐ２を合成した合成画像Ｆａを生成する。具体的には、合成画像生成部７ｈは、一のフレーム画像Ｆの画像領域のうち、画像領域特定部７ｃにより特定された特定の画像領域Ａ内に処理済み画像Ｐ２を合成した合成画像Ｆａを生成する。
例えば、合成画像生成部７ｈは、ライブビュー表示用の一のフレーム画像Ｆの画像領域の中で、特定の画像領域Ａの内側の四辺形領域Ａ１の各隅部の座標位置を特定し、当該四辺形領域Ａ１と重なるように、四辺形画像生成部７ｇにより生成された当該四辺形領域Ａ１と略等しい形状の処理済み画像Ｐ２の四辺形画像Ｐ２ａを合成した合成画像Ｆａの画像データを生成する。
そして、合成画像生成部７ｈは、生成された各合成画像Ｆａの画像データをメモリ２に順次出力し、当該メモリ２に格納させる。

表示制御部８は、メモリ２に一時的に記憶されている表示用の画像データを読み出して表示部９に表示させる制御を行う。
具体的には、表示制御部８は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１の制御下にてメモリ２から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから所定の再生フレームレート（例えば、３０ｆｐｓ）で読み出して、これらのデータを元にビデオ信号を発生して表示部９に出力する。
また、表示制御部８は、合成画像生成部７ｈにより生成された合成画像Ｆａを表示部９に逐次表示させる。即ち、表示制御部８は、一のフレーム画像Ｆに対応する合成画像Ｆａの画像データをメモリ２から逐次取得して、当該合成画像Ｆａを表示部９に逐次ライブビュー表示させる（図１０参照）。

表示部９は、例えば、液晶表示パネルから構成され、表示制御部８からのビデオ信号に基づいて撮像部３により撮像された画像などを表示画面に表示する。具体的には、表示部９は、静止画撮像モードや動画撮像モードにて、撮像部３及び撮像制御部４により撮像され画像データ生成部５により生成された複数のフレーム画像Ｆ、…を所定の表示フレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部９は、静止画として記録される画像のレックビュー画像を表示したり、動画として記録中の画像を表示する。

送受話部１０は、通信ネットワークＮを介して接続された外部機器の外部ユーザとの通話を行う。
具体的には、送受話部１０は、マイク１０ａ、スピーカ１０ｂ、データ変換部１０ｃ等を備えている。そして、送受話部１０は、マイク１０ａから入力されるユーザの送話音声をデータ変換部１０ｃによりＡ／Ｄ変換処理して送話音声データを中央制御部１に出力するとともに、中央制御部１の制御下にて、通信制御部１１から出力されて入力される受話音声データ等の音声データをデータ変換部１０ｃによりＤ／Ａ変換処理してスピーカ１０ｂから出力する。

通信制御部１１は、通信ネットワークＮ及び通信アンテナ１１ａを介してデータの送受信を行う。
即ち、通信アンテナ１１ａは、当該携帯端末１００が無線基地局（図示略）との通信で採用している所定の通信方式（例えば、Ｗ−ＣＤＭＡ(Wideband Code Division Multiple Access)方式、ＣＤＭＡ２０００方式、ＧＳＭ（Global System for Mobile Communications；登録商標）方式等）に対応したデータの送受信が可能なアンテナである。そして、通信制御部１１は、所定の通信方式に対応する通信プロトコルに従って、この通信方式で設定される通信チャネルにより無線基地局との間で通信アンテナ１１ａを介してデータの送受信を行う。
即ち、通信制御部１１は、中央制御部１から出力されて入力される指示信号に基づいて、通信相手の外部機器に対して、当該外部機器の外部ユーザとの通話中の音声の送受信や、電子メールのデータの送受信を行う。
なお、通信制御部１１の構成は一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、図示は省略するが、無線ＬＡＮモジュールを搭載し、アクセスポイント（Access Point）を介して通信ネットワークＮにアクセス可能な構成としても良い。

なお、通信ネットワークＮは、携帯端末１００を無線基地局やゲートウェイサーバ（図示略）等を介して接続する通信ネットワークである。また、通信ネットワークＮは、専用線や既存の一般公衆回線を利用して構築された通信ネットワークであり、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の様々な回線形態を適用することが可能である。また、通信ネットワークＮには、例えば、電話回線網、ＩＳＤＮ回線網、専用線、移動体通信網、通信衛星回線、ＣＡＴＶ回線網等の各種通信ネットワーク網と、ＩＰネットワーク、ＶｏＩＰ（Voice over Internet Protocol）ゲートウェイ、インターネットサービスプロバイダ等が含まれる。

操作入力部１２は、携帯端末１００本体に対して各種指示を入力するためのものである。
具体的には、操作入力部１２は、被写体の撮影指示に係るシャッタボタン、モードや機能等の選択指示に係る上下左右のカーソルボタンや決定ボタン、電話の発着信や電子メールの送受信等の実行指示に係る通信関連ボタン、テキストの入力指示に係る数字ボタンや記号ボタン等の各種ボタン（何れも図示略）を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部１２は、操作されたボタンに応じた操作指示を中央制御部１に出力する。中央制御部１は、操作入力部１２から出力され入力された操作指示に従って所定の動作（例えば、被写体の撮像、電話の発着信、電子メールの送受信等）を各部に実行させる。

なお、操作入力部１２は、表示部９と一体となって設けられたタッチパネルを有していても良く、ユーザによるタッチパネルの所定操作に基づいて、当該所定操作に応じた操作指示を中央制御部１に出力しても良い。

＜画像登録処理＞
次に、携帯端末１００による画像登録処理について図４及び図５を参照して説明する。
図４は、画像登録処理に係る動作の一例を示すフローチャートである。図５は、画像登録処理に係る画像の一例を模式的に示す図であり、図５（ａ）は、登録処理の対象となる所定の画像Ｐ１を模式的に表し、図５（ｂ）は、第１正方形画像Ｐ１ａを模式的に表し、図５（ｃ）は、処理済み画像Ｐ２を模式的に表している。

図４に示すように、先ず、記録部６に記録されている所定数の画像の中で、ユーザによる操作入力部１２の所定操作に基づいて所定の画像Ｐ１（図５（ａ）参照）が指定されると（ステップＳ１）、正方形画像生成部７ｄは、当該所定の画像Ｐ１の画像データを複製して記録部６から取得する（ステップＳ２）。その後、正方形画像生成部７ｄは、当該画像データに対して正方形変換処理を施して、短辺側を長辺側に合わせるように相対的に拡大したり、長辺側を短辺側に合わせるように相対的に縮小することで第１正方形画像Ｐ１ａ（図５（ｂ）参照）を生成する（ステップＳ３）。

次に、特徴量演算部７ｅは、正方形画像生成部７ｄにより生成された第１正方形画像Ｐ１ａの画像データに対して所定の特徴抽出処理を施して特徴点を複数抽出し、有効な特徴点におけるＳＩＦＴ特徴量を算出する（ステップＳ４）。

その後、画像変換処理部７ａは、処理対象の所定の画像Ｐ１の画像データを複製して記録部６から取得した後、ユーザによる操作入力部１２の所定操作に基づいて指定された所定の処理内容の画像変換処理（例えば、アート変換処理等）を施して、処理済み画像Ｐ２（図５（ｃ）参照）を生成する（ステップＳ５）。

そして、記録部６は、処理対象の画像の「画像ＩＤ」と、特徴量演算部７ｅにより抽出された特徴点に係る「特徴情報」と、画像変換処理部７ａにより生成された処理済み画像Ｐ２の画像データ「処理済み画像」とを対応付けて第１処理済み画像テーブルＴ１（図２参照）に登録する（ステップＳ６）。
上記の各処理は、ユーザにより登録対象として指定された全ての画像について行われ、全ての画像に関する情報の登録が完了すると、当該画像登録処理が終了する。

＜画像表示処理＞
次に、携帯端末１００による画像表示処理について図６〜図１０を参照して説明する。
図６は、画像表示処理に係る動作の一例を示すフローチャートである。また、図７は、画像表示処理を説明するための図である。また、図８は、画像表示処理に係る画像の一例を模式的に示す図であり、図８（ａ）は、フレーム画像Ｆ内の特定の画像領域Ａを模式的に表し、図８（ｂ）は、特定の画像領域Ａの内側の四辺形領域Ａ１を模式的に表し、図８（ｃ）は、第２正方形画像Ｐ３を模式的に表している。また、図９は、画像表示処理に係る四辺形画像Ｐ２ａの一例を模式的に示す図である。また、図１０は、画像表示処理を説明するための図である。

図６に示すように、先ず、ユーザによる操作入力部１２の所定操作に基づいて撮像モードが選択された後、撮像制御部４の制御下にて、撮像部３により特定の被写体Ｓの撮像が行われると（ステップＳ１１）、表示制御部８は、画像データ生成部５により生成された複数のフレーム画像Ｆ、…を所定の表示フレームレートで逐次更新しながらライブビュー画像を表示部９に表示させる（ステップＳ１２；図７参照）。

次に、画像処理部７の第１取得部７ｂは、画像データ生成部５により逐次生成された複数のフレーム画像Ｆ、…のライブビュー表示用の低解像度の画像データをメモリ２から逐次取得する（ステップＳ１３）。続けて、画像領域特定部７ｃは、取得された複数のフレーム画像Ｆ、…のうち、一のフレーム画像Ｆのライブビュー表示用の低解像度の画像データに含まれる四辺形枠状の特定の画像領域Ａ（図８（ａ）参照）を特定する（ステップＳ１４）。これにより、画像領域特定部７ｃは、例えば、額装された写真を特定の被写体Ｓとして撮像する場合に、矩形状の額縁Ｇに対応する四辺形枠状の特定の画像領域Ａを特定する。

次に、正方形画像生成部７ｄは、四辺形枠状の特定の画像領域Ａの４つの頂点の内側の角部により囲まれた領域内で四辺形領域Ａ１（図８（ｂ）参照）を特定した後（ステップＳ１５）、四辺形領域Ａ１の画像の画像データに対して正方形変換処理を施して、短辺側を長辺側に合わせるように相対的に拡大したり、長辺側を短辺側に合わせるように相対的に縮小することで第２正方形画像Ｐ３（図８（ｃ）参照）を生成する（ステップＳ１６）。
次に、特徴量演算部７ｅは、正方形画像生成部７ｄにより生成された第２正方形画像Ｐ３の画像データに対して所定の特徴抽出処理を施して特徴点を複数抽出し、有効な特徴点におけるＳＩＦＴ特徴量を算出する（ステップＳ１７）。そして、特徴量演算部７ｅは、抽出された特徴点に係る各種の情報を対応付けて、特徴点情報Ｄ（図３参照）としてメモリ２に一時的に記録させる。

次に、第２取得部７ｆの相違度算出部ｆ１は、第１処理済み画像テーブルＴ１から各処理済み画像Ｐ２の第１正方形画像Ｐ１ａから予め抽出された複数の特徴点の各々の特徴情報を読み出して取得した後（ステップＳ１８）、メモリ２に一時的に記録されている特徴点情報Ｄを取得し、互いの特徴情報を対応する次元毎に比較して、所定の演算式に従って画像どうしの相違度を算出する（ステップＳ１９）。
そして、第２取得部７ｆは、相違度算出部ｆ１により算出された相違度が所定の判定値以下となったか否かを判定する（ステップＳ２０）。ここで、相違度が所定の判定値以下であると判定されると（ステップＳ２０；ＹＥＳ）、第２取得部７ｆは、当該相違度の算出に用いられた第１正方形画像Ｐ１ａの複数の特徴点と対応付けられた処理済み画像Ｐ２の画像データを記録部６から取得する（ステップＳ２１）。

一方、ステップＳ２０にて、相違度が所定の判定値よりも大きいと判定されると（ステップＳ２０；ＮＯ）、中央制御部１のＣＰＵは、処理をステップＳ１に戻し、撮像制御部４の制御下にて、撮像部３により特定の被写体Ｓの撮像が行われる。その後、中央制御部１は、ステップＳ２以降の各処理を上記と同様にして実行する。
なお、ステップＳ２０の判定にて、所定の判定値以下となった相違度が複数あった場合には、第２取得部７ｆは、相違度が最も小さいものを特定して、当該相違度の算出に用いられた複数の特徴点と対応付けられた処理済み画像Ｐ２の画像データを取得する。

その後、四辺形画像生成部７ｇは、四辺形枠状の特定の画像領域Ａにおける四辺形を構成する４つの線分の傾きを特定した後、当該４つの線分の傾きに処理済み画像Ｐ２の４つの辺の傾きを対応させるように、処理済み画像Ｐ２の画像データに対して射影変換処理を施して四辺形画像Ｐ２ａの画像データを生成する（ステップＳ２２）。
続けて、合成画像生成部７ｈは、ライブビュー表示用の一のフレーム画像Ｆの画像領域の中で、特定の画像領域Ａの内側の四辺形領域Ａ１と重なるように当該四辺形領域Ａ１と略等しい形状の処理済み画像Ｐ２の四辺形画像Ｐ２ａを合成した合成画像Ｆａの画像データを生成する（ステップＳ２３）。そして、合成画像生成部７ｈは、各合成画像Ｆａの画像データをメモリ２に順次出力し、当該メモリ２に格納させる。

次に、表示制御部８は、メモリ２から一のフレーム画像Ｆに対応する合成画像Ｆａの画像データを取得して、当該合成画像Ｆａを表示部９にライブビュー表示させる（ステップＳ２４；図１０参照）。即ち、表示部９には、一のフレーム画像Ｆのうち、特定の画像領域Ａの内側の四辺形領域Ａ１の部分が処理済み画像Ｐ２の四辺形画像Ｐ２ａに置き換えられた合成画像Ｆａが表示される。

その後、中央制御部１のＣＰＵは、画像表示処理の終了指示が入力されたか否かを判定する（ステップＳ２５）。具体的には、中央制御部１のＣＰＵは、例えば、ユーザによる操作入力部１２のシャッタボタンの所定操作（例えば、全押し操作等）に基づいて被写体の撮像指示が入力されたか否かや、選択決定ボタンの所定操作に基づいて撮像モードとは異なるモードが設定されたか否か等に応じて、画像表示処理の終了指示が入力されたか否かを判定する。
ステップＳ２５にて、画像表示処理の終了指示が入力されていないと判定されると（ステップＳ２５；ＮＯ）、中央制御部１のＣＰＵは、処理をステップＳ１に戻し、それ以降の処理の実行を制御する。
一方、画像表示処理の終了指示が入力されたと判定されると（ステップＳ２５；ＹＥＳ）、中央制御部１のＣＰＵは、画像表示処理を終了する。

以上のように、実施形態１の携帯端末１００によれば、逐次取得された複数のフレーム画像Ｆ、…のうち、一のフレーム画像Ｆから特徴点を複数抽出し、当該複数の特徴点と類似する各特徴点と対応付けられた処理済み画像Ｐ２を記録部６から取得して、一のフレーム画像Ｆの画像領域のうち、当該一のフレーム画像Ｆから抽出された複数の特徴点に対応する画像領域に対して、処理済み画像Ｐ２を合成した合成画像Ｆａを生成するので、被写体とは全く関係のないマーカーを用いなくとも所定の画像変換処理が施された特定の被写体Ｓの内容に対する親和性の高い処理済み画像Ｐ２を含む合成画像Ｆａを逐次表示させることができる。つまり、複数のフレーム画像Ｆ、…を逐次ライブビュー表示させる際、当該複数のフレーム画像Ｆ、…のうちの一のフレーム画像Ｆの複数の特徴点と類似する各特徴点が記録部６に記録されている場合に、当該各特徴点と対応付けられた処理済み画像Ｐ２をフレーム画像Ｆ内に合成することで、表示される画像の一部分を処理済み画像Ｐ２に置換したライブビュー画像（合成画像Ｆａ）を逐次表示することができ、ライブビュー画像の視認者に対して、現実の被写体の内容に対して親和性を低下させることなく興趣性のより高い画像を提供することができる。
このように、撮像される物体自体の品質を低下させることなく、当該物体の内容に対して親和性の高い画像を表示することができる。

また、一のフレーム画像Ｆ内の特定の画像領域Ａ内から特徴点を複数抽出するので、特徴点の抽出範囲を制限することで当該複数の特徴点と類似する各特徴点の特定を適正に、且つ、高速に行うことができ、記録部６からの処理済み画像Ｐ２の取得を適正に行うことができる。
さらに、一のフレーム画像Ｆの画像領域のうち、特定の画像領域Ａ内に処理済み画像Ｐ２を合成した合成画像Ｆａを生成するので、特定の画像領域Ａを利用することで一のフレーム画像Ｆの画像領域内にて処理済み画像Ｐ２を適正な位置に合成することができる。
さらに、四辺形枠状の特定の画像領域Ａの傾きに対応させるように、処理済み画像Ｐ２に対して射影変換処理を行って四辺形画像Ｐ２ａを生成して、一のフレーム画像Ｆの画像領域のうち、特定の画像領域Ａ内に処理済み画像Ｐ２の四辺形画像Ｐ２ａを合成した合成画像Ｆａを生成するので、特定の被写体Ｓを斜めから撮像することで特定の画像領域Ａが直角四辺形状になっていない場合であっても、四辺形枠状の特定の画像領域Ａの傾きに合わせた形状の処理済み画像Ｐ２の四辺形画像Ｐ２ａを一のフレーム画像Ｆの画像領域に合成することができ、合成画像Ｆａの視認者に対して違和感を生じさせ難くすることができる。

また、一のフレーム画像Ｆから抽出された複数の特徴点と記録部６に記録されている複数の特徴点との相違度を算出し、算出された相違度が所定の判定値以下となった複数の特徴点と対応付けられた処理済み画像Ｐ２を記録部６から取得するので、所定の画像Ｐ１の内容に対する親和性の高い処理済み画像Ｐ２の特定を適正に行うことができる。特に、四辺形枠状の特定の画像領域Ａの内側の四辺形領域Ａ１の画像に対して正方形変換処理を行って生成された第２正方形画像Ｐ３から抽出された複数の特徴点と記録部６に記録されている所定の画像Ｐ１を正方形に変換した第１正方形画像Ｐ１ａから予め抽出された複数の特徴点との相違度を算出することで、画像どうしの向き、即ち、水平及び垂直の各方向の影響を排除して相違度を算出することができ、当該算出処理の高速化を図ることができる。

［実施形態２］
図１１は、本発明を適用した実施形態２の携帯端末２００の概略構成を示すブロック図である。
なお、実施形態２の携帯端末２００は、以下に詳細に説明する以外の点で上記実施形態１の携帯端末１００と略同様の構成をなし、詳細な説明は省略する。

図１１に示すように、実施形態２の携帯端末２００の記録部６には、第２処理済み画像テーブルＴ２が記録されている。
第２処理済み画像テーブルＴ２は、第１処理済み画像テーブルＴ１と同様に、「画像ＩＤ」と、「特徴情報」と、「処理済み画像」とが対応付けられたものであるが、このうち、「特徴情報」は、登録処理の対象となる所定の画像Ｐ１の画像データ自体から抽出された複数の特徴点に係る情報を含む。

また、画像処理部２０７は、画像変換処理部７ａと、第１取得部７ｂと、特徴量演算部７ｅと、第２取得部７ｆと、合成画像生成部７ｈとを具備している。
なお、画像変換処理部７ａ及び第１取得部７ｂの機能は、上記実施形態１と同様であり、その詳細な説明は省略する。

特徴量演算部７ｅは、複数のフレーム画像Ｆ、…のうち、一のフレーム画像Ｆからコントラストの境界で構成されるコーナーなどの画素の周囲の領域に多くの濃淡情報をもつ有効な特徴点を抽出する特徴抽出処理を行う。
具体的には、特徴量演算部７ｅは、例えば、ライブビュー表示用の一のフレーム画像Ｆの画像データに対して所定の特徴抽出処理を施して特徴点を複数抽出し、有効な特徴点におけるＳＩＦＴ特徴量（各画素のＸＹ平面空間での座標位置、ｍ次元の特徴ベクトル等）を算出する。また、特徴量演算部７ｅは、抽出された特徴点に係る各種の情報を対応付けて、特徴点情報Ｄ（図３参照）としてメモリ２に一時的に記録させる。
また、特徴量演算部７ｅは、例えば、登録処理の対象となる所定の画像Ｐ１の画像データに対して、上記と同様に所定の特徴抽出処理を施して特徴点を複数抽出し、有効な特徴点におけるＳＩＦＴ特徴量（各画素のＸＹ平面空間での座標位置、ｍ次元の特徴ベクトル等）を算出する。

なお、特徴量演算部７ｅは、特徴点を抽出する前に、例えば、ＡＦ評価値等を利用して予め主要被写体が含まれる特定の被写体領域Ａ２（図１４参照）を特定しておき、当該特定の被写体領域Ａ２内から特徴点を抽出するようにしても良い。

第２取得部７ｆの相違度算出部ｆ１は、特徴量演算部７ｅにより抽出された複数の特徴点と記録部６に記録されている複数の特徴点との相違度を算出する。具体的には、相違度算出部ｆ１は、一のフレーム画像Ｆから抽出された複数の特徴点の各々の特徴情報をメモリ２から読み出して取得するとともに、各処理済み画像Ｐ２に対応する所定の画像Ｐ１から予め抽出された複数の特徴点の各々の特徴情報を第２処理済み画像テーブルＴ２から読み出して取得する。そして、相違度算出部ｆ１は、一のフレーム画像Ｆから抽出された複数の特徴点の各々の特徴情報と所定の画像Ｐ１から予め抽出された複数の特徴点の各々の特徴情報とを対応する次元毎に比較し、所定の演算式に従って画像どうしの相違度を算出する。
第２取得部７ｆは、相違度算出部ｆ１により算出された相違度が所定の判定値以下となったか否かを判定する。この判定の結果、相違度が所定の判定値以下となったと判定されると、第２取得部７ｆは、当該相違度の算出に用いられた所定の画像Ｐ１の複数の特徴点と対応付けられた処理済み画像Ｐ２の画像データを記録部６から取得する。

合成画像生成部７ｈは、複数のフレーム画像Ｆ、…のうち、一のフレーム画像Ｆに対して、処理済み画像Ｐ２を合成した合成画像Ｆｂを生成する。
即ち、合成画像生成部７ｈは、一のフレーム画像Ｆの画像領域のうち、当該一のフレーム画像Ｆから抽出された複数の特徴点に対応する画像領域に対して、第２取得部７ｆにより取得された処理済み画像Ｐ２を合成した合成画像Ｆｂを生成する。具体的には、合成画像生成部７ｈは、例えば、ライブビュー表示用の一のフレーム画像Ｆの画像領域の中で、主要被写体が含まれる特定の被写体領域Ａ２（例えば、写真に対応する領域等）を特定し、当該特定の被写体領域Ａ２と重なるように処理済み画像Ｐ２を合成した合成画像Ｆｂの画像データを生成する。
このとき、特定の被写体領域Ａ２の形状が矩形状ではない場合には、合成画像生成部７ｈは、処理済み画像Ｐ２の画像データに対して射影変換処理を施して、当該処理済み画像Ｐ２の四辺形画像Ｐ２ａの画像データを生成し、当該四辺形画像Ｐ２ａを一のフレーム画像Ｆの画像領域に合成するようにしても良い。

＜画像登録処理＞
次に、携帯端末２００による画像登録処理について図１２を参照して説明する。
図１２は、画像登録処理に係る動作の一例を示すフローチャートである。
なお、実施形態２の携帯端末２００による画像登録処理は、以下に詳細に説明する以外の点で上記実施形態１の携帯端末１００による画像登録処理と略同様であり、詳細な説明は省略する。

図１２に示すように、上記実施形態１の画像登録処理と略同様に、先ず、記録部６に記録されている所定数の画像の中で、ユーザによる操作入力部１２の所定操作に基づいて所定の画像Ｐ１（図５（ａ）参照）が指定されると（ステップＳ１）、特徴量演算部７ｅは、当該所定の画像Ｐ１の画像データを複製して記録部６から取得する（ステップＳ５２）。
次に、特徴量演算部７ｅは、取得された所定の画像Ｐ１の画像データに対して所定の特徴抽出処理を施して特徴点を複数抽出し、有効な特徴点におけるＳＩＦＴ特徴量を算出する（ステップＳ５３）。

その後、画像変換処理部７ａは、処理対象の所定の画像Ｐ１の画像データを複製して記録部６から取得した後、ユーザによる操作入力部１２の所定操作に基づいて指定された所定の処理内容の画像変換処理（例えば、アート変換処理等）を施して、処理済み画像Ｐ２（図５（ｃ）参照）を生成する（ステップＳ５４）。

そして、記録部６は、処理対象の画像の「画像ＩＤ」と、特徴量演算部７ｅにより抽出された特徴点に係る「特徴情報」と、画像変換処理部７ａにより生成された処理済み画像Ｐ２の画像データ「処理済み画像」とを対応付けて第２処理済み画像テーブルＴ２に登録する（ステップＳ５５）。
上記の各処理は、ユーザにより登録対象として指定された全ての画像について行われ、全ての画像に関する情報の登録が完了すると、当該画像登録処理が終了する。

＜画像表示処理＞
次に、携帯端末２００による画像表示処理について図１３〜図１５を参照して説明する。
図１３は、画像表示処理に係る動作の一例を示すフローチャートである。また、図１４及び図１５は、画像表示処理を説明するための図である。
なお、実施形態２の携帯端末２００による画像表示処理は、以下に詳細に説明する以外の点で上記実施形態１の携帯端末１００による画像表示処理と略同様であり、詳細な説明は省略する。

図１３に示すように、上記実施形態１の画像登録処理と略同様に、先ず、ユーザによる操作入力部１２の所定操作に基づいて撮像モードが選択された後、撮像制御部４の制御下にて、撮像部３により特定の被写体Ｓの撮像が行われると（ステップＳ１１）、表示制御部８は、画像データ生成部５により生成された複数のフレーム画像Ｆ、…を所定の表示フレームレートで逐次更新しながらライブビュー画像を表示部９に表示させる（ステップＳ１２；図１４参照）。

次に、画像処理部２０７の第１取得部７ｂは、上記実施形態１の画像登録処理と略同様に、画像データ生成部５により逐次生成された複数のフレーム画像Ｆ、…のライブビュー表示用の低解像度の画像データをメモリ２から逐次取得する（ステップＳ１３）。続けて、特徴量演算部７ｅは、取得された複数のフレーム画像Ｆ、…のうち、一のフレーム画像Ｆのライブビュー表示用の低解像度の画像データに対して所定の特徴抽出処理を施して特徴点を複数抽出し、有効な特徴点におけるＳＩＦＴ特徴量を算出する（ステップＳ６４）。そして、特徴量演算部７ｅは、抽出された特徴点に係る各種の情報を対応付けて、特徴点情報Ｄとしてメモリ２に一時的に記録させる。

次に、第２取得部７ｆの相違度算出部ｆ１は、第２処理済み画像テーブルＴ２から各処理済み画像Ｐ２に対応する所定の画像Ｐ１から予め抽出された複数の特徴点の各々の特徴情報を読み出して取得した後（ステップＳ６５）、メモリ２に一時的に記録されている特徴点情報Ｄを取得し、互いの特徴情報を対応する次元毎に比較して、所定の演算式に従って画像どうしの相違度を算出する（ステップＳ６６）。
そして、第２取得部７ｆは、上記実施形態１の画像登録処理と略同様に、相違度算出部ｆ１により算出された相違度が所定の判定値以下となったか否かを判定する（ステップＳ２０）。ここで、相違度が所定の判定値以下であると判定されると（ステップＳ２０；ＹＥＳ）、上記実施形態１の画像登録処理と略同様に、第２取得部７ｆは、当該相違度の算出に用いられた所定の画像Ｐ１の複数の特徴点と対応付けられた処理済み画像Ｐ２の画像データを記録部６から取得する（ステップＳ２１）。

一方、ステップＳ２０にて、相違度が所定の判定値よりも大きいと判定されると（ステップＳ２０；ＮＯ）、上記実施形態１の画像登録処理と略同様に、中央制御部１のＣＰＵは、処理をステップＳ１に戻し、撮像制御部４の制御下にて、撮像部３により特定の被写体Ｓの撮像が行われる。その後、中央制御部１は、ステップＳ２以降の各処理を上記と同様にして実行する。

その後、合成画像生成部７ｈは、ライブビュー表示用の一のフレーム画像Ｆの画像領域の中で、主要被写体である矩形状の写真に対応する特定の被写体領域Ａ２を特定し、当該特定の被写体領域Ａ２と重なるように処理済み画像Ｐ２を合成した合成画像Ｆｂの画像データを生成する（ステップＳ６７）。そして、合成画像生成部７ｈは、各合成画像Ｆｂの画像データをメモリ２に順次出力し、当該メモリ２に格納させる。

次に、表示制御部８は、メモリ２から一のフレーム画像Ｆに対応する合成画像Ｆｂの画像データを取得して、当該合成画像Ｆｂを表示部９にライブビュー表示させる（ステップＳ６８；図１５参照）。即ち、表示部９には、一のフレーム画像Ｆのうち、主要被写体である矩形状の写真に対応する特定の被写体領域Ａ２の部分が処理済み画像Ｐ２に置き換えられた合成画像Ｆｂが表示される。

その後、中央制御部１のＣＰＵは、上記実施形態１の画像登録処理と略同様に、画像表示処理の終了指示が入力されたか否かを判定する（ステップＳ２５）。
ここで、画像表示処理の終了指示が入力されていないと判定されると（ステップＳ２５；ＮＯ）、中央制御部１のＣＰＵは、処理をステップＳ１に戻し、それ以降の処理の実行を制御する。一方、画像表示処理の終了指示が入力されたと判定されると（ステップＳ２５；ＹＥＳ）、中央制御部１のＣＰＵは、画像表示処理を終了する。

以上のように、実施形態２の携帯端末２００によれば、上記実施形態１の携帯端末１００と同様に、複数のフレーム画像Ｆ、…を逐次ライブビュー表示させる際、当該複数のフレーム画像Ｆ、…のうちの一のフレーム画像Ｆの複数の特徴点と類似する各特徴点が記録部６に記録されている場合に、当該各特徴点と対応付けられた処理済み画像Ｐ２をフレーム画像Ｆ内に合成することで、表示される画像の一部分を処理済み画像Ｐ２に置換したライブビュー画像（合成画像Ｆｂ）を逐次表示することができ、ライブビュー画像の視認者に対して、現実の被写体の内容に対して親和性を低下させることなく興趣性のより高い画像を提供することができる。
このように、撮像される物体自体の品質を低下させることなく、当該物体の内容に対して親和性の高い合成画像Ｆｂを表示することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態１、２では、第１及び第２処理済み画像テーブルＴ１、Ｔ２を携帯端末１００、２００の記録部６に記録するようにしたが、当該テーブルを携帯端末１００、２００と所定の通信ネットワークＮを介して接続されたサーバ３００に記録しておいても良い（図１６参照）。

即ち、図１６に示すように、携帯端末１００（２００）とサーバ３００とは所定の通信ネットワークＮを介して各種情報を送受信可能に接続された画像表示システムを構成している。
サーバ３００は、例えば、Ｗｅｂ（World Wide Web）サーバとしてインターネット上に所定のページを開設する機能を具備するものであり、携帯端末１００からのアクセスに応じて当該携帯端末１００に所定の情報を送信する。
具体的には、サーバ３００は、第３処理済み画像テーブルＴ３を記録する記録手段（図示略）を備え、上記実施形態１、２における画像登録処理にて登録された情報が携帯端末１００から所定の通信ネットワークＮを介して送信されて当該第３処理済み画像テーブルＴ３に記録する。
また、サーバ３００は、画像表示処理にて、携帯端末１００から所定の通信ネットワークＮを介して第３処理済み画像テーブルＴ３に記録されている複数の特徴点の各々の特徴情報の読み出しが指示されると、指示された特徴情報を読み出して所定の通信ネットワークＮを介して携帯端末１００に送信する。また、サーバ３００は、画像表示処理にて、携帯端末１００から所定の通信ネットワークＮを介して第３処理済み画像テーブルＴ３に記録されている処理済み画像Ｐ２の読み出しが指示されると、指示された処理済み画像Ｐ２の画像データを読み出して所定の通信ネットワークＮを介して携帯端末１００に送信する。

このような構成としても、上記実施形態１、２と同様に、撮像される物体自体の品質を低下させることなく、当該物体の内容に対して親和性の高い合成画像Ｆａ（Ｆｂ）を表示することができる。

なお、上記変形例にあっては、携帯端末１００側で画像登録処理を行うようにしたが、当該画像登録処理をサーバ３００側で行っても良い。即ち、サーバ３００に、上記実施形態１、２等に係る正方形画像生成部７ｄや特徴量演算部７ｅや画像変換処理部７ａ等を具備する画像処理部を搭載しておき、当該画像処理部による画像登録処理の実行によって、「画像ＩＤ」と、「特徴情報」と、「処理済み画像」とを対応付けて第３処理済み画像テーブルＴ３に登録するようにしても良い。

また、上記実施形態１、２並びに変形例にあっては、第１〜第３処理済み画像テーブルＴ１〜Ｔ３の各々に複数の処理済み画像Ｐ２（例えば、画像処理を異ならせたものや、動画像等）を記録しておき、画像表示処理の際に、ユーザによる操作入力部１２等の所定操作に基づいて指定された何れか一の処理済み画像Ｐ２を第１〜第３処理済み画像テーブルＴ１〜Ｔ３から取得するようにしても良い。

また、上記実施形態１、２並びに変形例にあっては、第１〜第３処理済み画像テーブルＴ１〜Ｔ３を設け、当該テーブルに予め生成された処理済み画像Ｐ２を記録しておくようにしたが、画像表示処理の際に、画像変換処理部７ａが所定の画像Ｐ１に対して所定の画像変換処理を行って処理済み画像Ｐ２を生成し、第２取得部７ｆは、当該処理済み画像Ｐ２を取得するようにしても良い。

さらに、携帯端末１００、２００、画像表示システムの構成は、上記実施形態１、２並びに変形例に例示したものは一例であり、これに限られるものではなく、適宜任意に変更することができる。

加えて、上記実施形態１、２並びに変形例にあっては、各機能を、携帯端末１００（２００）の中央制御部１の制御下にて、第１取得部７ｂ、特徴量演算部７ｅ、第２取得部７ｆ、合成画像生成部７ｈ、表示制御部８が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリに、第１取得処理ルーチン、特徴点抽出処理ルーチン、第２取得処理ルーチン、生成処理ルーチン、表示制御処理ルーチンを含むプログラムを記憶しておく。そして、第１取得処理ルーチンにより中央制御部１のＣＰＵを、特定の被写体Ｓが連続して撮像された複数の画像を逐次取得するように機能させても良い。また、特徴点抽出処理ルーチンにより中央制御部１のＣＰＵを、取得された複数の画像のうち、一の画像から所定の画像に対応する画像領域を抽出するように機能させても良い。また、第２取得処理ルーチンにより中央制御部１のＣＰＵを、抽出された所定の画像に対応する処理済み画像Ｐ２を記録手段から取得するように機能させても良い。また、生成処理ルーチンにより中央制御部１のＣＰＵを、一の画像における所定の画像に対応する画像領域が抽出された位置に、取得された処理済み画像Ｐ２を合成した合成画像Ｆａを生成するように機能させても良い。また、表示制御処理ルーチンにより中央制御部１のＣＰＵを、生成された合成画像Ｆａを表示手段に逐次表示させるように機能させても良い。

同様に、その他の機能についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

〔付記〕
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
＜請求項１＞
予め特定の被写体を含む所定の画像と、当該所定の画像に所定の画像変換処理が施された処理済み画像とを対応付けて記録する記録手段と、
前記特定の被写体が連続して撮像された複数の画像を逐次取得する第１取得手段と、
この第１取得手段により取得された前記複数の画像のうち、一の画像から前記所定の画像に対応する画像領域を抽出する抽出手段と、
この抽出手段により抽出された前記所定の画像に対応する処理済み画像を前記記録手段から取得する第２取得手段と、
前記一の画像における前記所定の画像に対応する画像領域が抽出された位置に、前記第２取得手段により取得された前記処理済み画像を合成した合成画像を生成する生成手段と、
この生成手段により生成された前記合成画像を表示手段に逐次ライブビュー表示させる表示制御手段と、
を備えることを特徴とする画像表示装置。
＜請求項２＞
前記抽出手段は、前記第１取得手段により取得された前記複数の画像のうち、一の画像から特徴点を複数抽出する特徴点抽出手段を更に備え、
前記第２取得手段は、前記特徴点抽出手段により抽出された複数の特徴点と類似する各特徴点と対応付けられた前記処理済み画像を前記記録手段から取得し、
前記生成手段は、前記一の画像の画像領域のうち、当該一の画像から抽出された複数の特徴点に対応する画像領域に対して、前記第２取得手段により取得された前記処理済み画像を合成した合成画像を生成することを特徴とする請求項１に記載の画像表示装置。
＜請求項３＞
前記一の画像内の特定の画像領域を特定する特定手段を更に備え、
前記特徴点抽出手段は、前記特定手段により特定された前記特定の画像領域内から前記特徴点を複数抽出することを特徴とする請求項２に記載の画像表示装置。
＜請求項４＞
前記生成手段は、前記一の画像の画像領域のうち、前記特定手段により特定された前記特定の画像領域内に前記処理済み画像を合成した合成画像を生成することを特徴とする請求項３に記載の画像表示装置。
＜請求項５＞
前記特定手段により特定された四辺形枠状の前記特定の画像領域の傾きに対応させるように、前記第２取得手段により取得された前記処理済み画像に対して射影変換処理を行って四辺形画像を生成する射影変換処理手段を更に備え、
前記生成手段は、前記一の画像の画像領域のうち、前記特定の画像領域内に前記射影変換処理手段により生成された前記処理済み画像の四辺形画像を合成した合成画像を生成することを特徴とする請求項３又は４に記載の画像表示装置。
＜請求項６＞
前記特徴点抽出手段により抽出された複数の特徴点と前記記録手段に記録されている複数の特徴点との相違度を算出する算出手段を更に備え、
前記第２取得手段は、前記算出手段により算出された相違度が所定の判定値以下となった複数の特徴点と対応付けられた前記処理済み画像を前記記録手段から取得することを特徴とする請求項２〜５の何れか一項に記載の画像表示装置。
＜請求項７＞
前記記録手段は、前記所定の画像を正方形に変換した第１正方形画像から予め抽出された複数の特徴点と前記処理済み画像とを対応付けて記録し、
前記特定手段により特定された四辺形枠状の前記特定の画像領域の内側の四辺形領域の画像に対して正方形変換処理を行って第２正方形画像を生成する正方形画像生成手段を更に備え、
前記算出手段は、前記特徴点抽出手段により前記第２正方形画像から抽出された複数の特徴点と前記記録手段に記録されている前記第１正方形画像から予め抽出された複数の特徴点との相違度を算出することを特徴とする請求項６に記載の画像表示装置。
＜請求項８＞
予め特定の被写体を含む所定の画像と、当該所定の画像に対して所定の画像変換処理が施された処理済み画像とを対応付けて記録する記録手段を備える画像表示装置を用いた画像表示方法であって、
前記特定の被写体が連続して撮像された複数の画像を逐次取得する処理と、
取得された前記複数の画像のうち、一の画像から前記所定の画像に対応する画像領域を抽出する処理と、
抽出された前記所定の画像に対応する処理済み画像を前記記録手段から取得する処理と、
前記一の画像における前記所定の画像に対応する画像領域が抽出された位置に、取得された前記処理済み画像を合成した合成画像を生成する処理と、
生成された前記合成画像を表示手段に逐次表示させる処理と、
を含むことを特徴とする画像表示方法。
＜請求項９＞
予め特定の被写体を含む所定の画像と、当該所定の画像に対して所定の画像変換処理が施された処理済み画像とを対応付けて記録する記録手段を備える画像表示装置のコンピュータを、
前記特定の被写体が連続して撮像された複数の画像を逐次取得する第１取得手段、
この第１取得手段により取得された前記複数の画像のうち、一の画像から前記所定の画像に対応する画像領域を抽出する抽出手段、
この抽出手段により抽出された前記所定の画像に対応する処理済み画像を前記記録手段から取得する第２取得手段、
前記一の画像における前記所定の画像に対応する画像領域が抽出された位置に、前記第２取得手段により取得された前記処理済み画像を合成した合成画像を生成する生成手段、
この生成手段により生成された前記合成画像を表示手段に逐次表示させる表示制御手段、
として機能させることを特徴とするプログラム。

１００、２００ 携帯端末
１ 中央制御部
６ 記録部
Ｔ１ 第１処理済み画像テーブル
Ｔ２ 第２処理済み画像テーブル
Ｔ３ 第３処理済み画像テーブル
７、２０７ 画像処理部
７ａ 画像変換処理部
７ｂ 第１取得部
７ｃ 画像領域特定部
７ｄ 正方形画像生成部
７ｅ 特徴量演算部
７ｆ 第２取得部
ｆ１ 相違度算出部
７ｇ 四辺形画像生成部
７ｈ 合成画像生成部
８ 表示制御部
９ 表示部
Ｎ 通信ネットワーク

Claims (9)

1. 予め特定の被写体を含む所定の画像と、当該所定の画像に所定の画像変換処理が施された処理済み画像とを対応付けて記録する記録手段と、
   前記特定の被写体が連続して撮像された複数の画像を逐次取得する第１取得手段と、
   この第１取得手段により取得された前記複数の画像のうち、一の画像から前記所定の画像に対応する画像領域を抽出する抽出手段と、
   この抽出手段により抽出された前記所定の画像に対応する処理済み画像を前記記録手段から取得する第２取得手段と、
   前記一の画像における前記所定の画像に対応する画像領域が抽出された位置に、前記第２取得手段により取得された前記処理済み画像を合成した合成画像を生成する生成手段と、
   この生成手段により生成された前記合成画像を表示手段に逐次ライブビュー表示させる表示制御手段と、
   を備えることを特徴とする画像表示装置。
2. 前記抽出手段は、前記第１取得手段により取得された前記複数の画像のうち、一の画像から特徴点を複数抽出する特徴点抽出手段を更に備え、
   前記第２取得手段は、前記特徴点抽出手段により抽出された複数の特徴点と類似する各特徴点と対応付けられた前記処理済み画像を前記記録手段から取得し、
   前記生成手段は、前記一の画像の画像領域のうち、当該一の画像から抽出された複数の特徴点に対応する画像領域に対して、前記第２取得手段により取得された前記処理済み画像を合成した合成画像を生成することを特徴とする請求項１に記載の画像表示装置。
3. 前記一の画像内の特定の画像領域を特定する特定手段を更に備え、
   前記特徴点抽出手段は、前記特定手段により特定された前記特定の画像領域内から前記特徴点を複数抽出することを特徴とする請求項２に記載の画像表示装置。
4. 前記生成手段は、前記一の画像の画像領域のうち、前記特定手段により特定された前記特定の画像領域内に前記処理済み画像を合成した合成画像を生成することを特徴とする請求項３に記載の画像表示装置。
5. 前記特定手段により特定された四辺形枠状の前記特定の画像領域の傾きに対応させるように、前記第２取得手段により取得された前記処理済み画像に対して射影変換処理を行って四辺形画像を生成する射影変換処理手段を更に備え、
   前記生成手段は、前記一の画像の画像領域のうち、前記特定の画像領域内に前記射影変換処理手段により生成された前記処理済み画像の四辺形画像を合成した合成画像を生成することを特徴とする請求項３又は４に記載の画像表示装置。
6. 前記特徴点抽出手段により抽出された複数の特徴点と前記記録手段に記録されている複数の特徴点との相違度を算出する算出手段を更に備え、
   前記第２取得手段は、前記算出手段により算出された相違度が所定の判定値以下となった複数の特徴点と対応付けられた前記処理済み画像を前記記録手段から取得することを特徴とする請求項２〜５の何れか一項に記載の画像表示装置。
7. 前記記録手段は、前記所定の画像を正方形に変換した第１正方形画像から予め抽出された複数の特徴点と前記処理済み画像とを対応付けて記録し、
   前記特定手段により特定された四辺形枠状の前記特定の画像領域の内側の四辺形領域の画像に対して正方形変換処理を行って第２正方形画像を生成する正方形画像生成手段を更に備え、
   前記算出手段は、前記特徴点抽出手段により前記第２正方形画像から抽出された複数の特徴点と前記記録手段に記録されている前記第１正方形画像から予め抽出された複数の特徴点との相違度を算出することを特徴とする請求項６に記載の画像表示装置。
8. 予め特定の被写体を含む所定の画像と、当該所定の画像に対して所定の画像変換処理が施された処理済み画像とを対応付けて記録する記録手段を備える画像表示装置を用いた画像表示方法であって、
   前記特定の被写体が連続して撮像された複数の画像を逐次取得する処理と、
   取得された前記複数の画像のうち、一の画像から前記所定の画像に対応する画像領域を抽出する処理と、
   抽出された前記所定の画像に対応する前記処理済み画像を前記記録手段から取得する処理と、
   前記一の画像における前記所定の画像に対応する画像領域が抽出された位置に、取得された前記処理済み画像を合成した合成画像を生成する処理と、
   生成された前記合成画像を表示手段に逐次表示させる処理と、
   を含むことを特徴とする画像表示方法。
9. 予め特定の被写体を含む所定の画像と、当該所定の画像に対して所定の画像変換処理が施された処理済み画像とを対応付けて記録する記録手段を備える画像表示装置のコンピュータを、
   前記特定の被写体が連続して撮像された複数の画像を逐次取得する第１取得手段、
   この第１取得手段により取得された前記複数の画像のうち、一の画像から前記所定の画像に対応する画像領域を抽出する抽出手段、
   この抽出手段により抽出された前記所定の画像に対応する処理済み画像を前記記録手段から取得する第２取得手段、
   前記一の画像における前記所定の画像に対応する画像領域が抽出された位置に、前記第２取得手段により取得された前記処理済み画像を合成した合成画像を生成する生成手段、
   この生成手段により生成された前記合成画像を表示手段に逐次表示させる表示制御手段、
   として機能させることを特徴とするプログラム。