JP2011234274A - 画像処理装置及び方法、並びにプログラム - Google Patents

Abstract

【課題】ユーザの撮像行為の目的に合致し、かつより自然で現実味のある画像となるように、撮像画像を加工すること。
【解決手段】時間変化特性情報記憶部６０は、実世界における色が一定の法則に従って時間方向に変化する経時色変化対象について、実世界での色の時間変化の特性を示す時間色変化特性情報を記憶する。条件差分取得部５４は、補正対象の撮像画像が示す時刻を現時刻とし、補正後の画像が示す時刻を補正時刻とし、現時刻と補正時刻との差分を条件差分時間として取得する。特定領域検出部５５は、補正対象の撮像画像の中から、経時色変化対象を含む領域を特定領域として検出する。特定領域補正部５７は、時間色変化特性情報に基づいて、経時色変化対象について条件差分時間の間に実世界で生ずる色の変化に対応するように、特定領域のデータを補正する。
【選択図】図４

Description

本発明は、画像処理装置及び方法、並びにプログラムに関し、特に、ユーザの撮像行為の目的に合致し、かつより自然で現実味のある画像となるように、撮像画像を加工することを可能とする技術に関する。

従来、電子表示装置が鑑賞用の画像を表示したり、カーナビゲーション装置が地図等の情報確認用の画像を表示する、といった表示技術の分野が存在する。このような表示技術の分野においては、時間変化や天候変化に応じた演出表示が行われている（特許文献１乃至４参照）。
一方、ユーザがカメラを用いて撮像する、といった撮像技術の分野も存在する。このような撮像技術の分野でも、デジタルカメラの登場により、撮像画像の表示が可能になり、さらに近年では、撮像画像を加工して表示することも可能になっている。

特開平０５−１９９４９１号公報 特開平０７−２１０１２３号公報 特開平０８−１６５８６号公報 特開２００２−２８６４６１号公報

しかしながら、撮像技術の分野では、一般的には、ユーザがデジタルカメラを用いて撮像するという撮像行為の方が、その結果得られた撮像画像をユーザが確認する行為よりも主要な行為となる。ここで、撮像行為とは、ユーザの主観的な目的を伴う行為であり、当該目的が達成した画像を創り出すという能動的行為である。このため、ユーザが創造したともいえる撮像画像に対しては、撮像行為という能動的行為の目的に合致した加工を施すことが要求される。
一方で、表示技術の分野においては、表示対象の画像は、ユーザとは別の他人が創造した画像であることが多い。そして、このような他人が創造した画像を鑑賞したり確認する行為が主要な行為となる。即ち、表示技術の分野とは、撮像行為等の能動的行為よりも、一方的に提示された画像をユーザが鑑賞又は確認するという受動的な行為が主要な行為であるとして、発達してきた分野である。
よって、表示技術の分野の技術、例えば特許文献１乃至４に記載の技術をそのまま撮像技術の分野に適用しても、ユーザの撮像行為の目的に合致した加工を撮像画像に施すことは困難である。

例えば、ユーザが、紅葉やサクラ開花等の景観を撮像するために所定の場所に訪れたが、見頃の時期から少し外れた時期に訪れてしまって、紅葉やサクラ開花が未だ見頃になっていない景観しか撮像できないような場合を想定してみる。
この場合のユーザの撮像行為の目的は、紅葉やサクラ開花が見頃になった景観を撮像することであったはずである。ところが、この場合では、紅葉やサクラ開花が未だ見頃になっていない景観が写っている撮像画像しか得られない。このような撮像画像は、撮像行為の目的が達成されていない画像である。このため、撮像行為の目的が達成された画像となるように、即ち、紅葉やサクラ開花が見頃になった景観が写っている画像となるように、撮像画像を加工することが要求される。
しかしながら、特許文献１乃至４に記載の技術を単に適用しても、このような要求に応えることは困難である。即ち、特許文献１乃至４に記載の技術とは、時間変化や天候変化に応じて、表示する絵柄や画像を自動的に選択して表示する第１技術か、或いは、色や輝度等の表示用調整データを予め設定しておき、現在の季節、日時、天候等に応じて画像全体を補正する第２技術である。前者の第１技術では、選択して表示する絵柄や画像は予め用意しておく必要があるところ、実世界の樹木の像を予め用意しておくことは現実的で無い。後者の第２の技術では、樹木の葉や花の部分だけでなく、画像全体の色や輝度が補正されてしまうため、不自然で現実味に欠ける補正しかできない。

なお、従来、3次元CG(Computer Graphics)や建築用の景観シミュレーションソフトウェアの中には、色々な視点から眺めた建築物の景観をレンダリングしたり、樹木等周囲の景観や季節変化による日陰等をシミュレーションできるものが存在する。
しかしながら、これらのシミュレーションソフトウェアにより得られる画像は、実世界を撮像した結果得られる撮像画像（写真画像）と比較すると、仮想的かつ人工的な画像であることが明らかであり、不自然で現実味に欠けるものであった。
さらにまた、これらのシミュレーションソフトウェアは、そもそも設計データや３次元形状モデル等実世界とは別なものに基づいて、シミュレーション描画することが前提とされている。このため、これらのシミュレーションソフトウェアを、実世界の景観等を撮像した結果得られる撮影画像の加工用としてそのまま適用することは非常に困難である。

以上まとめると、ユーザの撮像行為の目的に合致し、かつより自然で現実味のある画像となるように、撮像画像を加工したいという要望が挙げられている。しかしながら、特許文献１乃至４を含む従来の技術では、当該要望に十分に応えることはできない。このため、当該要望に十分に応えることが可能な技術の実現が求められている。

本発明は、このような状況に鑑みてなされたものであり、ユーザの撮像行為の目的に合致し、かつより自然で現実味のある画像となるように、撮像画像を加工することを目的とする。

本発明の一態様によると、
実世界における所定の特徴が一定の法則に従って時間方向に変化する経時変化対象について、前記特徴の実世界での時間変化の特性を示す時間変化特性情報を保持する保持手段と、
補正対象の画像のデータを取得する補正対象取得手段と、
前記補正対象の画像が示す時刻を現時刻とし、補正後の画像が示す時刻を補正時刻とし、前記現時刻と前記補正時刻との差分を条件差分時間として取得する差分取得手段と、
前記補正対象の画像の中から、前記経時変化対象を含む領域を特定領域として検出する検出手段と、
前記保持手段に保持された前記時間変化特性情報に基づいて、前記経時変化対象について前記条件差分時間の間に実世界で生ずる前記特徴の変化に対応するように、前記特定領域のデータを補正する補正手段と、
を備える画像処理装置を提供する。

本発明の別の態様によると、上述した本発明の一態様に係る画像処理装置に対応する画像処理方法及びプログラムの各々を提供する。

本発明によれば、ユーザの撮像行為の目的に合致し、かつより自然で現実味のある画像となるように、撮像画像を加工することができる。

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 落葉樹の色度の時間変化を示すxyY表色系の色度図である。 図１の撮像装置が実行する経時変化補正処理の結果の一例を示す図である。 図１の撮像装置が有する機能のうち、経時変化補正処理を実現する機能についての機能的構成を示す機能ブロック図である。 図４の撮像装置が実行する経時変化補正処理の流れを説明するフローチャートである。 図１の撮像処理装置が実行する撮像処理であって、図５の経時変化補正処理をサブルーチン処理として含む撮像処理の流れを示すフローチャートである。 図１の撮像処理装置が実行する表示処理であって、図５の経時変化補正処理をサブルーチン処理として含む表示処理の流れを示すフローチャートである。 図５の経時変化補正処理で用いられるGUI画像の一例を示す図である。 所定の経時色変化対象から区分された複数の部分対象毎の時間色変化特性情報を用いた補正の結果の一例を示す図である。 経時変化対象が落葉樹である場合の葉の色の変化を示す、確率過程に基づく色の状態遷移の一例を示している。 図１の撮像装置が実行する経時変化補正処理の結果の一例であって、図３とは異なる例を示す図である。

以下、本発明の一実施形態を図面に基づいて説明する。

図１は、本発明に係る画像処理装置の一実施形態としての撮像装置１のハードウェアの構成を示すブロック図である。撮像装置１は、例えばデジタルカメラにより構成することができる。

撮像装置１は、CPU（Central Processing Unit）１１と、ROM（Read Only Memory）１２と、RAM（Random Access Memory）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、操作部１７と、表示部１８と、記憶部１９と、通信部２０と、GPS（Global Positioning System）部２１と、ドライブ２２と、を備えている。

CPU１１は、ROM１２に記録されているプログラムに従って各種の処理を実行する。又は、CPU１１は、記憶部１９からRAM１３にロードされたプログラムに従って各種の処理を実行する。
RAM１３にはまた、CPU１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

例えば本実施形態では、後述する図４の撮像画像取得部５１乃至時間変化特性情報決定部５９の各機能を実現するプログラムが、ROM１２や記憶部１９に記憶されている。従って、CPU１１が、これらのプログラムに従った処理を実行することで、後述する図４の撮像画像取得部５１乃至時間変化特性情報決定部５９の各機能を実現することができる。

CPU１１、ROM１２、及びRAM１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、操作部１７、表示部１８、記憶部１９、通信部２０、及びGPS部２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、AFE（Analog Front End）等から構成される。
光電変換素子は、例えばCMOS（Complementary Metal Oxide Semiconductor）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換（撮像）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D（Analog/Digital）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
なお、以下、撮像部１６の出力信号を、「撮像画像のデータ」と呼ぶ。従って、撮像部１６からは撮像画像のデータが出力されて、CPU１１等に適宜供給される。

操作部１７は、レリーズ釦４１を含む各種釦等で構成され、ユーザの指示操作を受け付ける。
表示部１８は、各種画像を表示する。
記憶部１９は、DRAM（Dynamic Random Access Memory）等で構成され、撮像部１６から出力された撮像画像のデータを一時記憶する。また、記憶部１９は、各種画像処理に必要な各種データ、例えば、画像のデータ、各種フラグの値、閾値等も記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
GPS部２１は、GPS（Global Positioning System）用の複数の衛星からGPS信号を受信して、このGPS信号に基づいて撮像装置１の現在位置を示す緯度及び経度の情報（以下、「GPS位置情報」と呼ぶ）を生成する。

入出力インターフェース１５にはまた、必要に応じてドライブ２２が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。そして、それらから読み出されたプログラムが、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像データ等の各種データも、記憶部１９と同様に記憶することができる。

このようなハードウェア構成を有する撮像装置１は、本実施形態では、経時変化補正処理を実行する。
経時変化補正処理とは、実世界に存在する経時変化対象の時間方向の変化に応じて、撮像画像に含まれる当該経時変化対象の像を補正する処理をいう。

ここで、実世界における所定の特徴が一定の法則に従って時間方向に変化するものを、本明細書では、「経時変化対象」と呼称している。
なお、経時変化対象の所定の特徴を変化させる「一定の法則」とは、任意の自然法則を含む任意の種類の法則で足り、数式化できなともよく、また例えば時間の経過とともに色が赤くなっていく傾向にあるという程度の単純な法則でもよい。また、１種類の法則のみで経時変化対象の所定の特徴の変化が決定づけられる場合もあるし、複数の法則の他、乱数等の不確定要素も組み合わさって、経時変化対象の所定の特徴の変化が決定づけられる場合もある。

以下の説明では、説明の便宜上、「所定の特徴」として「色」に着目する。即ち、経時変化対象の一例として、一定の法則に従って時間方向に色が変化するものについて、以下説明する。このようなものを、以下、「経時色変化対象」と呼ぶ。

例えば、カエデ等の落葉樹は、日本国では秋になると紅葉するため、即ち、時間の経過とともにその葉の色が赤、黄、褐色等に徐々に変化していくため、経時色変化対象の一例である。
図２は、落葉樹の色度の時間変化を示すxyY表色系の色度図である。具体的には図２（Ａ）は、落葉樹の一種類であるイチョウの色度の時間変化を示すxyY表色系の色度図であり、図２（Ｂ）は、落葉樹の別の種類であるイロハカエデの色度の時間変化を示すxyY表色系の色度図である。
図２（Ａ）において、曲線ＬｄＡ，ＬｍＡ，ＬｕＡは、イチョウの各層部の葉の色度が、１０月乃至１２月にかけて矢印の方向に推移していくことを示している。即ち、曲線ＬｄＡは、イチョウの下層部の葉の色度の時間変化を示している。曲線ＬｍＡは、イチョウの中層部の葉の色度の時間変化を示している。曲線ＬｕＡはイチョウの下層部の葉の色度の時間変化を示している。
図２（Ｂ）において、曲線ＬｄＢ，ＬｍＢ，ＬｕＢは、イロハカエデの各層部の葉の色度が、１０月乃至１２月にかけて矢印の方向に推移していくことを示している。即ち、曲線ＬｄＢは、イロハカエデの下層部の葉の色度の時間変化を示している。曲線ＬｍＢは、イロハカエデの中層部の葉の色度の時間変化を示している。曲線ＬｕＢはイロハカエデの下層部の葉の色度の時間変化を示している。
図２に示すように、イチョウとイロハカエデとは共に、時間の経過とともに葉の色が変化していくことがわかる。具体的には、同一の樹木内で比較すると、ここでは、図２（Ａ）内の曲線ＬｄＡ，ＬｍＡ，ＬｕＡ同士を比較したり、図２（Ｂ）内の曲線ＬｄＢ，ＬｍＢ，ＬｕＢ同士を比較すると、変化の法則性は、各層部によって色度変化や時期が微妙に異なるが、ほぼ同じ傾向であることがわかる。一方で、イチョウとイロハカエデといったように異なる種類の樹木間で比較すると、ここでは、図２（Ａ）の曲線ＬｄＡと図２（Ｂ）の曲線ＬｄＢ同士、図２（Ａ）の曲線ＬｍＡと図２（Ｂ）の曲線ＬｍＢ同士、及び図２（Ａ）の曲線ＬｕＡと図２（Ｂ）の曲線ＬｕＢ同士を比較すると、変化の法則性は、イチョウとイロハカエデといった樹木の各々の種類に応じて異なっていることがわかる。
このような落葉樹の他、経時色変化対象の例としては、ウメやサクラといった花木や、頭上の空間（空）等が挙げられる。即ち、ウメやサクラといった花木においては、日本国では早春から春にかけて徐々に開花していくことで、枝付近の色が赤やピンクに徐々に変化していく。また、頭上の空間においては、１日の間に時間の経過とともに空の色が徐々に変化していく。

このような経時色変化対象の像が撮像画像に含まれている場合に、撮像装置１は、経時色変化対象の像を含む領域を補正対象として特定する。なお、このような領域を、以下、「特定領域」と呼ぶ。
また、撮像装置１は、補正条件として、撮像時刻とは別の時刻、又は撮像時刻との差分時間を取得する。撮像装置１は、補正条件として撮像時刻とは別の時刻を取得した場合、撮像時刻を現在時刻と、取得した時刻を補正時刻として、現在時刻と補正時刻との差分時間を求める。なお、以下、このようにして求められた差分時間や、補正条件として取得された差分時間を、「条件差分時間」と呼ぶ。
そして、撮像装置１は、経時色変化対象について条件差分時間の間に実世界で生ずる色の変化に応じて、特定領域のデータの色空間の座標を補正する。
このような一連の処理が、経時変化補正処理である。

さらに以下、図３を参照して、経時変化補正処理について具体的に説明する。
図３は、経時変化補正処理の結果の一例を示している。
例えば、紅葉の見頃の時期よりも少し前の時刻ＴＮに、家と落葉樹を含むシーンが撮像された結果、図３（Ｂ）に示すような家像４２と落葉樹像４３Ｎとを含む撮像画像４１Ｎのデータが得られたとする。なお、撮像画像４１Ｎを撮像する装置は、撮像装置１であってもよいし、他の装置であってもよい。
このように、撮像画像４１Ｎの撮像時刻（現在時刻）は、紅葉の見頃の時期よりも少し前の時刻ＴＮであったため、ユーザが、紅葉の見頃の時期の画像を得たいと所望したとする。このような場合、ユーザは、操作部１７（図１）を操作することによって、紅葉の見頃の時期に相当する未来の時刻ＴＦを設定することができる。
この場合、撮像装置１は、撮像の時刻ＴＮと設定された時刻ＴＦとの差分時間を、条件差分時間として求める。
また、撮像装置１は、撮像画像４１Ｎのデータに基づいて、落葉樹像４３Ｎの葉の部分を特定領域として検出する。
そして、撮像装置１は、落葉樹についての条件差分時間の間に実世界で生ずる葉の色の変化に応じて、特定領域のデータの色空間の座標を補正する。
これにより、図３（Ｂ）に示す撮像画像４１Ｎのデータから、図３（Ａ）に示す補正画像４１Ｆのデータが得られる。即ち、撮像の時刻ＴＮから時刻ＴＦまで時間が経過すると実世界では落葉樹の紅葉が進むため、落葉樹の葉の色は、赤色、黄色、褐色等が多くなる。このため、特定領域として検出された葉の部分の多くが赤色、黄色、又は褐色等になるように補正された落葉樹像４３Ｆが、補正画像４１Ｆに含まれる。一方で、実世界の家は時間経過による色の変化は生じないとして、撮像画像４１Ｎ内の家像４２は特定領域として検出されない。その結果、家像４２は、補正されずにそのままの状態で補正画像４１Ｆに含まれる。

なお、１日単位でみると、実世界の家の色も朝昼晩によって刻々と変化する場合がある。ただし、図３の例では、実世界の落葉樹の葉の色の時間変化とは、日本国の秋から冬までといった長期的なスパンでの時間変化を意味しているため、このような１日単位の時間変化は無視している。しかしながら、このような１日単位の時間変化を考慮して、経時変化補正処理を実行することも当然ながら可能である。

ここで、経時色変化対象についての実世界での色の時間変化に応じた補正を可能にするために、経時色変化対象についての実世界での色の時間変化の特性を示す情報が、撮像装置１に予め保持されているものとする。なお、このような情報を、以下、「時間色変化特性情報」と呼ぶ。
例えば、実世界の経時色変化対象について、その色の時間推移を実測した情報や、その色の時間変化の法則性を示す情報が、時間色変化特性情報の一例である。
具体的には例えば、図２（Ａ）に示す曲線ＬｄＡ，ＬｍＡ，ＬｕＡを特定可能な情報を、イチョウの時間色変化特性情報として採用することができる。
この場合、撮像装置１は、撮像画像中のイチョウの葉の部分を特定領域として、当該イチョウの時間色変化特性情報を用いて特定領域の色空間の座標を補正する。即ち、撮像装置１は、図２（Ａ）に示す曲線ＬｄＡ，ＬｍＡ，ＬｕＡのうち、撮像の時刻ＴＮに対応する点（同図中灰色の点）の色度座標と、補正後の時刻ＴＦに対応する点（同図中黒色の点）の色度座標とに基づいて、補正内容を決定する。そして、撮像装置１は、決定した補正内容に従って、特定領域のデータの色空間の座標を補正する。

さらに、ユーザは、撮像の時刻ＴＮに対して未来の時刻のみならず、過去の時刻も設定することができる。例えば、撮像の時刻ＴＮに対して過去の時刻ＴＰが設定された場合にも、経時変化補正処理として、上述した一連の処理が実行される。
これにより、図３（Ｂ）に示す撮像画像４１Ｎのデータから、図３（Ｃ）に示す補正画像４１Ｐのデータが得られる。
即ち、撮像の時刻ＴＮから時刻ＴＰまで時間が戻る（逆方向に経過する）と、実世界の落葉樹は紅葉前の状態となるため、その葉の色は緑色が多くなる。このため、特定領域として検出された葉の部分の多くが緑色となるように補正された落葉樹像４３Ｐが、補正画像４１Ｐに含まれる。一方で、実世界の家は時間経過による色の変化は生じないとして、撮像画像４１Ｎ内の家像４２は特定領域として検出されない。その結果、家像４２は、補正されずにそのまま補正画像４１Ｐに含まれる。

図４は、このような経時変化補正処理を実行する撮像装置１の機能的構成を示す機能ブロック図である。

図４に示すように、撮像装置１は、経時変化補正処理を実現すべく、撮像画像取得部５１と、撮像条件取得部５２と、補正条件取得部５３と、条件差分取得部５４と、特定領域検出部５５と、変化データ取得部５６と、特定領域補正部５７と、補正画像生成部５８と、時間変化特性情報決定部５９と、時間変化特性情報記憶部６０と、を備えている。

本実施形態では、撮像画像取得部５１乃至時間変化特性情報決定部５９の各々は、図１に示す構成のうち、CPU１１というハードウェアと、ROM１２等に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。
また、時間変化特性情報記憶部６０は、図１に示す構成のうち、撮像装置１のRAM１３若しくは記憶部１９、又はリムーバブルメディア３１内の一領域として構成されている。なお、時間変化特性情報記憶部６０は、撮像装置１以外の他の装置、例えばサーバ等に保持され、撮像装置１が、経時変化補正処理を実行する際に通信部２０を制御して、他の装置に保持された時間変化特性情報記憶部６０にアクセスするようにしてもよい。

このような撮像画像取得部５１乃至時間変化特性情報決定部５９の各々の詳細にについて、図５を適宜参照しつつ説明する。
図５は、図４の撮像装置１が実行する経時変化補正処理の流れを説明するフローチャートである。

ステップＳ１において、時間変化特性情報決定部５９は、例えば、山並み、山林、樹木等のシーンを１単位としたり、樹木や植生の各種類を１単位として設定し、設定した単位毎に、時間色変化特性情報をそれぞれ設定する。
なお、前述の単位は例示であり、任意の単位を採用することができる。この場合、階層化した単位を採用することもできる。
例えば上述したイチョウやイロハカエデ等の落葉樹の所定の種類が単位として採用された場合、当該単位をさらに、空間方向の複数の単位に区分（階層化）することもできる。即ち、同一の日時であっても、紅葉の進み具合は、日本国の南部の九州地方と北部の東北地方とでは異なる。そこで、落葉樹の所定の種類の単位の下層の単位として、日本国の各地方を採用することができる。この場合、所定種類の落葉樹について、日本国の各地方毎に、葉の色の時間変化を示す時間色変化特性情報がそれぞれ設定されることになる。
また、時間色変化特性情報の形態は特に限定されず、例えば、HSB値（色相H、彩度S、及び明度Bの各値）の時間推移、XYZ色度座標の色度の時間推移、L*a*b*色空間座標の時間推移等を採用することができる。
このようにして、時間変化特性情報決定部５９により単位毎に設定された時間色変化特性情報は、時間変化特性情報記憶部６０に記憶される。

なお、このようなステップＳ１の処理と、後述するステップＳ２以降の処理とは、時間的に連続している必要は特に無く、ステップＳ２の処理前にステップＳ１の処理が終了していれば足りる。即ち、予めステップＳ１の処理が実行されて、各単位毎の時間色変化特性情報が時間変化特性情報記憶部６０に記憶された後であれば、撮像装置１は、任意のタイミングで、ステップＳ２以降の処理を実行することができる。
従って、経時変化補正処理が、後述する図６の撮像処理や図７の表示処理のサブルーチン処理として実行される場合、各単位毎の時間色変化特性情報が時間変化特性情報記憶部６０に既に記憶されているときには、ステップＳ１の処理は適宜省略することができる。

ステップＳ２において、撮像画像取得部５１は、撮像画像のデータを取得する。
ここで、撮像画像の撮像時刻（現在時刻）は、ステップＳ２の処理タイミングと同期した時刻である必要は特に無く、ステップＳ２の処理以前の任意の時刻でよい。即ち、撮像画像取得部５１は、過去の任意のタイミングで撮像された撮像画像のデータを取得することができる。
また、撮像画像のデータは、撮像装置１によって撮像されたものである必要は特に無く、別の装置によって撮像されたものでもよい。
従って、撮像画像取得部５１は、撮像部１６から出力された撮像画像のデータを直接取得する他、他の装置から送信されて通信部２０に受信された撮像画像のデータや、リムーバブルメディア３１からドライブ２２によって読み出された撮像画像のデータ等を適宜取得することができる。
なお、以下、図５のフローチャートの流れの理解を容易なものとすべく、ステップＳ２の処理で、図３（Ｂ）に示すような家像４２と落葉樹像４３Ｎとを含む撮像画像４１Ｎのデータが取得された場合における、後述する各ステップの処理の例を、「具体例」と呼ぶ。

ステップＳ３において、撮像条件取得部５２は、ステップＳ２の処理で取得された撮像画像のデータに関する撮像条件を取得する。
撮像条件としては、撮像画像の撮像時刻（現在時刻）や、基準時刻（例えば紅葉の見頃の時期）と撮像時刻との差分時間といった、撮像画像の時間条件が少なくとも含まれている。
具体例としては、撮像画像４１Ｎの撮像時刻は、紅葉の見頃の時期よりも少し前の時刻ＴＮであるため、当該時刻ＴＮが撮像条件の少なくとも１つとして取得される。
その他の条件は、任意であり、本実施形態では、撮像位置等、撮像画像の位置条件が撮像条件にさらに含まれている。例えば、撮像画像が撮像装置１により撮像されたものである場合、撮像時点にGPS部２１（図１）から出力されたGPS位置情報が、撮像画像の位置条件として取得される。また、ユーザが操作部１７（図１）を操作して撮像画像についての位置情報を入力した場合、入力された位置情報が、撮像画像の位置条件として取得される。

ステップＳ４において、補正条件取得部５３は、ステップＳ２の処理で取得された撮像画像のデータに対する補正条件を取得する。
補正条件としては、補正時刻や、基準時刻（例えば紅葉の見頃の時期）と補正時刻との差分時間といった、補正後の画像の時間条件が少なくとも含まれている。
具体例としては、例えばユーザが、操作部１７（図１）を操作することによって、紅葉の見頃の時期に相当する未来の時刻ＴＦを設定した場合には、当該未来の時刻ＴＦが補正条件の少なくとも１つとして取得される。
その他の条件は、任意であり、本実施形態では、補正後の画像により表現される場所等、位置条件が補正条件にさらに含まれている。例えば、補正後の画像により表現される場所がステップＳ４の処理時点の撮像装置１の存在場所である場合には、ステップＳ４の処理時点にGPS部２１から出力されたGPS位置情報が、補正条件の１つである位置条件として取得される。また、ユーザが操作部１７を操作して補正後の位置情報を入力した場合、入力された位置情報が、補正条件の１つである位置条件として取得される。
補正条件の取得手法は、特に限定されず、例えば、ユーザが操作部１７を操作することによって設定した条件を、補正条件として取得する手法を採用することができる。また例えば、ユーザの操作を介さずに撮像装置１が自律的な判断で設定した条件、即ち自動的に設定した条件を、補正条件として取得する手法を採用することができる。さらに、これらの手法を単体で用いてもよいし、組み合わせて用いてもよい。

ステップＳ５において、条件差分取得部５４は、ステップＳ３の処理で取得された撮像条件と、ステップＳ４の処理で取得された補正条件との差分（以下、「条件差分」と呼ぶ）を取得する。
上述したように、撮像条件及び補正条件の各々には時間条件が少なくとも含まれている。よって、撮像時刻（現在時刻）と補正時刻との差分時間、即ち条件差分時間が、条件差分の１つとして少なくとも取得される。
具体例としては、撮像の時刻ＴＮと未来時刻ＴＦとの差分時間（＝ＴＦ−ＴＮ）が、条件差分時間として取得される。
また、本実施形態では、撮像条件及び補正条件の各々には位置条件が少なくとも含まれている。よって、撮像画像の位置条件と補正後の位置条件との差分、即ち、緯度や経度等の補正前後の偏差を示す情報（このような情報を、以下、「条件差分位置」と呼ぶ）も、条件差分の１つとして取得される。

ステップＳ６において、撮像画像取得部５１は、撮像画像のデータを、カラー領域画像の形態に変換する。
即ち、本実施形態では、撮像画像のデータは、明度情報（輝度情報）と色彩情報とが分離されていない色空間（RGB空間やXYZ空間）の各画素の色情報の集合体である。このため、撮像画像のデータをそのまま用いると、領域毎の特徴が判別しにくく、後述するステップＳ７の特定領域のデータの抽出の精度に影響を及ぼすおそれもある。
そこで、撮像画像取得部５１は、撮像画像のデータを構成する各画素の色情報を、明度情報（輝度情報）と色彩情報とが分離された色空間（HSV空間やL*a*b*空間等）の色情報に変換する。このような明度情報と色彩情報とが分離された色空間で表現される画像を、ここでは「カラー領域画像」と呼称している。
具体例としては、図３（Ｂ）に示す撮像画像４１Ｎのデータが、カラー領域画像の形態に変換される。ただし、以下の具体例の説明では、説明の便宜上、図３（Ｂ）をそのまま参照して説明する。

ステップＳ７において、特定領域検出部５５は、撮像画像のデータから、特定領域のデータを検出する。
特定領域は、経時色変化対象の像を含む領域であれば足り、その種類は特に限定されない。例えば、空、山並み、山林、樹木、海川湖沼、人物の顔等の像を含む領域のデータが、特定領域のデータとして検出される。
さらに、ステップＳ７の処理で検出される特定領域の個数は、特に限定されず、単数であってもよいし、任意の複数であってもよい。
複数の特定領域が検出される場合には、任意の一の特定領域は、他の特定領域と関連する領域であってもよいし、他の特定領域とは独立した領域であってもよい。即ち、複数の特定領域の各々の種類は、他の特定領域と同一となる場合もあるし、異なる場合もある。なお、ここでは、説明の便宜上、経時色変化対象の種類毎に特定領域が検出されるものとする。
具体例としては、図３（Ｂ）に示す撮像画像４１Ｎのうち、落葉樹像４３Ｎの葉の部分のデータのみが、特定領域のデータとして検出される。

ステップＳ８において、特定領域補正部５７は、ステップＳ７の処理で検出された１以上の特定領域の中から、所定の１つを、処理の対象として注目すべき領域（以下、「注目領域」と呼ぶ）として抽出する。
具体例としては、図３（Ｂ）に示す撮像画像４１Ｎのうち、落葉樹像４３Ｎの葉の部分（特定領域）が、注目領域として抽出される。

ステップＳ９において、特定領域補正部５７は、ステップＳ７の処理で注目領域として抽出した特定領域を構成する各画素の中から、所定の１つを、処理の対象として注目すべき画素（以下、「注目画素」と呼ぶ）として設定する。
具体例としては、図３（Ｂ）に示す撮像画像４１Ｎの落葉樹像４３Ｎの葉の部分（注目領域）を構成する画素群のうち、所定の１つの画素が、注目画素に設定される。

ステップＳ１０において、変化データ取得部５６は、ステップＳ５の処理で取得された条件差分と、ステップＳ８の処理で注目領域として設定された特定領域の種類等に基づいて、適切な時間色変化特性情報を時間変化特性情報記憶部６０から特定し、特定された時間色変化特性情報に基づいて、注目画素に対する変化データを取得する。
ステップＳ１１において、特定領域補正部５７は、注目画素のデータを、当該変化データに変換する。
ここで、変化データとは、注目画素の更新後の色度座標（画素値の１種類）をいい、時間色変化特性情報そのものを示すデータであってもよいし、時間色変化特性情報に基づいて生成されるデータであってもよい。なお、変化データとして取得される色度座標の色空間は、特に限定されないが、ステップＳ６の処理で変換されたカラー領域画像により特定される色空間であれば、変化データをそのまま注目画素の補正後の画素値として採用できるので好適である。
具体例としては、例えば、ステップＳ２の処理で取得された撮像画像４１Ｎに含まれる落葉樹像４３Ｎが、イチョウの像であり、図２（Ａ）に示す曲線ＬｄＡ，ＬｍＡ，ＬｕＡを特定可能な情報が、ステップＳ１の処理で時間色変化特性情報として設定されたものとする。この場合、ステップＳ１０の処理で、図２（Ａ）に示す曲線ＬｄＡ，ＬｍＡ，ＬｕＡのうち、撮像の時刻ＴＮに対応する点（同図中灰色の点）の色度座標と、補正後の時刻ＴＦに対応する点（同図中黒色の点）の色度座標とに基づいて、注目画素の変化データが取得される。そして、ステップＳ１１の処理で、注目画素のデータが、当該変化データに取得される。

ステップＳ１２において、特定領域補正部５７は、注目画素は、注目領域内の最後の画素か否かを判定する。
注目領域内に注目画素として未だ設定されていない画素が存在する場合、ステップＳ１２においてＮＯであると判定されて、処理はステップＳ９に戻され、それ以降の処理が繰り返される。
即ち、注目領域内の各画素の各々が注目画素に設定される毎に、ステップＳ９乃至Ｓ１２のループ処理が繰り返し実行され、条件差分にとって適切な色を示す色度座標が、注目画素の変化データとして取得され、注目画素のデータ（画素値）が変化データにその都度更新される。
その後、注目領域内の全画素が注目画素に設定されて、全画素のデータが各々の変化データに変換されると、ステップＳ１２においてＹＥＳであると判定されて、処理はステップＳ１３に進む。
具体例としては、図３（Ｂ）に示す撮像画像４１Ｎの落葉樹像４３Ｎの葉の部分（注目領域）を構成する画素群の全てが、注目画素に設定されて、当該葉の部分を構成する画素群の全画素のデータが各々の変化データに変換されると、ステップＳ１２においてＹＥＳであると判定されて、処理はステップＳ１３に進む。

ステップＳ１３において、特定領域補正部５７は、注目領域は、ステップＳ７の処理で検出された１以上の特定領域の中で最後の特定領域か否かを判定する。
ステップＳ７の処理で検出された１以上の特定領域の中に、注目領域として未だ設定されていない特定領域が存在する場合、ステップＳ１３においてＮＯであると判定されて、処理はステップＳ８に戻されそれ以降の処理が繰り返される。
即ち、ステップＳ７の処理で検出された１以上の特定領域の各々が注目領域に設定される毎に、ステップＳ９乃至Ｓ１３のループ処理が繰り返し実行され、注目領域を構成する各画素のデータ（画素値）が、条件差分にとって適切な色を示す色度座標の各々に変換される。
その後、ステップＳ７の処理で検出された１以上の特定領域の全てが注目領域に設定されて、全注目領域についての補正が終了すると、ステップＳ１３においてＹＥＳであると判定されて、処理はステップＳ１４に進む。
具体例としては、図３（Ｂ）に示す撮像画像４１Ｎのうち特定領域は、落葉樹像４３Ｎの葉の部分のみであるため、当該葉の部分が注目領域に設定されて補正が終了すると、ステップＳ１３においてＹＥＳであると判定されて、処理はステップＳ１４に進む。

ステップＳ１４において、補正画像生成部５８は、ステップＳ８乃至Ｓ１３のループ処理の繰り返しの結果得られた、１以上の補正後の特定領域の各々のデータを、撮像画像のデータに合成することによって、補正画像のデータを生成する。
具体例としては、図３（Ｂ）に示す落葉樹像４３Ｎの葉の部分の補正後のデータが、撮像画像４１Ｎのデータに合成され、その結果、図３（Ａ）に示す補正画像４１Ｆのデータ（ただし、この段階のデータの形態はカラー領域画像である）が生成される。

ステップＳ１５において、補正画像生成部５８は、補正画像のデータに対して、アンチエリアシング処理、スムージング処理、鮮鋭化処理等の後処理を適宜実行する。

ステップＳ１６において、補正画像生成部５８は、補正画像のデータを、カラー領域画像の形態から元の形態、即ちRGB空間やXYZ空間の色情報の形態に変換する。
具体例としては、補正画像４１Ｆのデータが、図３（Ａ）に示すように、図３には図示せぬカラー領域画像の形態から、図３（Ａ）に示すような色情報の形態に変換される。

これにより、経時変化補正処理が終了する。
このようにして、撮像画像のデータが補正され、その結果、１以上の特定領域の各々が条件差分にとって適切な色に変化した補正画像のデータが得られる。
具体例としては、図３（Ｂ）に示す撮像画像４１Ｎのデータから、図３（Ａ）に示す補正画像４１Ｆのデータが得られる。即ち、撮像の時刻ＴＮから未来の時刻ＴＦまで時間が経過すると実世界では落葉樹の紅葉が進むため、落葉樹の葉の色は、赤色、黄色、褐色等が多くなる。このため、特定領域として検出された葉の部分の多くが赤色、黄色、又は褐色等になるように補正された落葉樹像４３Ｆが、補正画像４１Ｆに含まれる。一方で、実世界の家は時間経過による色の変化は生じないとして、撮像画像４１Ｎ内の家像４２は特定領域として検出されない。その結果、家像４２は、補正されずにそのままの状態で補正画像４１Ｆに含まれる。

以上、図２乃至図５を参照して、経時変化補正処理について説明した。
このような経時変化補正処理の結果得られた補正画像のデータは、各種各様の処理に用いることができる。換言すると、経時変化補正処理は、各種各様の処理前後に独立して実行される他、各種各様のサブルーチン処理とすることもできる。
例えば、経時変化補正処理は、撮像処理や表示処理のサブルーチン処理とすることもできる。なお、撮像処理とは、撮像画像のデータを記録するまでの一連の処理をいう。表示処理とは、撮像画像を表示するまでの一連の処理をいう。
経時変化補正処理をサブルーチン処理として含む撮像処理では、経時変化補正処理の結果得られた補正画像のデータを記録することが可能になる。また、経時変化補正処理をサブルーチン処理として含む表示処理では、経時変化補正処理の結果得られた補正画像を表示することが可能になる。
以下、経時変化補正処理をサブルーチン処理として含む撮像処理と表示処理との各々について、その順番で個別に説明する。

図６は、本発明が適用される撮像処理であって、経時変化補正処理をサブルーチン処理として含む撮像処理の流れを示すフローチャートである。

撮像処理は、例えばユーザが撮像を指示する操作を操作部１７（図１）に対して行った場合、その操作を契機として開始される。即ち、次のような処理が実行される。

ステップＳ２１において、図１のCPU１１は、スルー撮像とスルー表示を行う。
即ち、CPU１１は、撮像部１６による撮像動作を継続させ、その間に所定時間間隔毎に撮像部１６から順次出力される撮像画像（以下、「フレーム画像」と適宜呼ぶ）のデータを、RAM１３や記憶部１９等のメモリに一時的に記憶させる。このようなCPU１１の一連の処理が、ここでいう「スルー撮像」である。
また、CPU１１は、スルー撮像時にメモリに一時的に記録された各フレーム画像のデータを順次読み出して、それぞれに対応するフレーム画像を表示部１８に順次表示させる。このようなCPU１１の一連の処理が、ここでいう「スルー表示」である。なお、スルー表示されているフレーム画像を、以下、「スルー画像」と呼ぶ。

ステップＳ２２において、CPU１１は、所定の撮像条件を設定するか又は取得する。

ステップＳ２３において、CPU１１は、レリーズ釦４１（図１）が半押しの状態であるか否かを判定する。
ユーザがレリーズ釦４１を半押ししていない場合、ステップＳ２３においてＮＯであると判定され、処理はステップＳ２３に戻される。即ち、ユーザがレリーズ釦４１を半押しするまでの間、ステップＳ２３の判定処理が繰り返されて、撮像処理は待機状態になる。

その後、ユーザがレリーズ釦４１を半押しすると、ステップＳ２３においてＹＥＳであると判定されて、処理はステップＳ２４に進む。
ステップＳ２４において、CPU１１は、撮影条件等に基づいてＡＦ処理（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ処理：オートフォーカス処理）等を実行する。

ステップＳ２５において、CPU１１は、スルー画像のデータに対して、経時変化補正処理（図５）を施す。

ステップＳ２６において、CPU１１は、ステップＳ２５の経時変化補正処理による補正後のスルー画像を表示部１８に表示させる。
この場合の表示形態は、特に限定されないが、本実施形態では後述する図８に示すような表示形態が採用されている。

ステップＳ２７において、CPU１１は、レリーズ釦４１が全押しの状態であるか否かを判定する。

ユーザがレリーズ釦４１を全押ししていない場合、ステップＳ２７においてＮＯであると判定され、処理はステップＳ２８に進む。
ステップＳ２８において、CPU１１は、レリーズ釦４１が解除されたか否かを判定する。
ユーザの指等がレリーズ釦４１から離された場合、ステップＳ２８においてＹＥＳであると判定されて、撮像処理は終了となる。
これに対して、ユーザの指等がレリーズ釦４１から離されていない場合、ステップＳ２８においてＮＯであると判定されて、処理はステップＳ２３に戻され、それ以降の処理が繰り返される。即ち、レリーズ釦４１の半押し状態が継続している限り、ステップＳ２３ＹＥＳ乃至Ｓ２８のループ処理が繰り返し実行される。

その後、ユーザが、所望の色に変化した補正画像を視認して、例えば紅葉の見頃の時期の様子が表現された補正画像を視認して、レリーズ釦４１を全押しすると、ステップＳ２７においてＹＥＳであると判定されて、処理はステップＳ２９に進む。
ステップＳ２９において、CPU１１は、撮像部１６を制御して、撮像画像のデータを取得する。取得された撮像画像のデータは、RAM１３や記憶部１９等のメモリに一時的に記憶される。

ステップＳ３０において、CPU１１は、ステップＳ２９の処理で取得した撮像画像のデータに対して、経時変化補正処理（図５）を施す。
なお、この場合、直前のステップＳ２５の処理で用いた条件差分を流用するならば、図５のステップＳ１乃至Ｓ５の処理は適宜省略することができる。

ステップＳ３１において、CPU１１は、ステップＳ３０の経時変化補正処理による補正後の撮像画像（補正画像）を表示部１８に表示させる。
この場合の表示形態は、特に限定されないが、本実施形態では後述する図８に示すような表示形態が採用されている。

ステップＳ３２において、CPU１１は、ステップＳ２９の処理で取得した撮像画像のデータ、及び、ステップＳ３０の経時変化補正処理による補正後の撮像画像（補正画像）のデータを、リムーバブルメディア３１等に記録する処理（以下、「画像記録処理」と呼ぶ）を実行する。
これにより、撮像処理は終了となる。

以上、経時変化補正処理をサブルーチン処理として含む撮像処理について説明した。
次に、経時変化補正処理をサブルーチン処理として含む表示処理について説明する。

図７は、本発明が適用される表示処理であって、経時変化補正処理をサブルーチン処理として含む表示処理の流れを示すフローチャートである。

表示処理は、例えばユーザが所定の画像の表示を指示する操作を操作部１７（図１）に対して行った場合、その操作を契機として開始される。即ち、次のような処理が実行される。

ステップＳ４１において、図１のCPU１１は、ユーザにより指示された画像を表示画像として、当該表示画像のデータを取得する。
なお、表示画像のデータは、撮像装置１によって撮像されたものである必要は特に無く、別の装置によって撮像又は生成されたものでもよい。
従って、CPU１１は、リムーバブルメディア３１に記録されている撮像画像のデータの他、リムーバブルメディア３１に記録されている別の画像のデータも、表示画像のデータとして取得することができる。さらに、CPU１１は、他の装置から送信されて通信部２０に受信された各種各様の画像のデータを、表示画像のデータとして適宜取得することもできる。

ステップＳ４２において、CPU１１は、ステップＳ４１の処理でデータとして取得した表示画像を表示部１８に表示させる。

ステップＳ４３において、CPU１１は、補正条件の設定操作があったか否かを判定する。
本実施形態では、ユーザは操作部１７を操作することで、表示画像に対する補正条件、即ち、補正時刻等の時間条件や、補正位置等の位置条件を設定することができる。なお、このような補正条件の設定操作の具体例については、図８を参照して後述する。

このような補正条件の設定操作がなされていない場合、ステップＳ４３においてＮＯであると判定され、処理はステップＳ４６に進む。従って、この場合には、経時変化補正処理が実行されないので、元の表示画像がそのまま表示部１８に表示され続ける。

ステップＳ４６において、CPU１１は、表示処理の終了指示がなされたか否かを判定する。

表示処理の終了指示がなされた場合、ステップＳ４６においてＹＥＳであると判定されて、表示処理は終了となる。
これに対して、表示処理の終了指示がなされない場合、ステップＳ４６においてＮＯであると判定されて、処理はステップＳ４３に戻され、それ以降の処理が繰り返される。
即ち、表示処理の終了指示がなされない場合には、補正条件の設定操作がなされるまでの間、ステップＳ４３ＮＯ，Ｓ４６ＮＯのループ処理が繰り返され、表示処理は待機状態となり、元の表示画像がそのまま表示部１８に表示され続ける。
その後、補正条件の設定操作がなされると、ステップＳ４３においてＹＥＳであると判定されて、処理はステップＳ４４に進む。

ステップＳ４４において、CPU１１は、表示画像のデータに対して、経時変化補正処理（図５）を施す。

ステップＳ４５において、CPU１１は、ステップＳ４４の経時変化補正処理による補正後の表示画像を表示する。
この場合の表示形態は、特に限定されないが、本実施形態では後述する図８に示すような表示形態が採用されている。

その後、処理はステップＳ４６に進み、それ以降の処理が繰り返される。
即ち、ユーザは、所望の色に補正された表示画像が表示されるまで、補正条件を変更することができる。補正条件が変更されると、ステップＳ４３の処理でＹＥＳであると判定されて、ステップＳ４４の処理で、変更後の補正条件に基づいて表示画像が補正され、ステップＳ４５の処理で、変更後の補正条件に基づく補正後の表示画像が表示される。

さらに、図８を参照して、表示処理を具体的に説明する。

図８は、経時変化補正処理で用いられるGUI（Graphical User Interface）画像の一例を示している。

GUI画像１０１は、落葉樹の葉の色を変化させる経時変化補正処理の実行の際に用いられ、補正条件として時間情報の設定操作を受け付け、当該補正条件に従った経時変化補正処理の結果得られた補正画像を表示させることができる。
GUI画像１０１には、図８中上方から順に、画像表示領域１１１、日時表示領域１１２、補正条件変更バー１１３、紅葉見頃表示領域１１４、及び、サンプル紅葉画像表示領域１１５が設けられている。

画像表示領域１１１には、経時変化補正処理の対象となる画像が表示される。
なお、図８において、画像表示領域１１１に表示されている画像を区分している白い線は、特定領域とそれ以外の領域を区別するか、又は２つの特定領域を区別する境界線である。

日時表示領域１１２には、撮像時刻（現在時刻）と補正時刻とを少なくとも含む日時が表示される。
ここで、撮影時刻は、下向き三角形状のポインタ１２１によって表わされる。

補正条件変更バー１１３は、補正時刻として設定可能な時間帯を示している。
補正条件変更バー１１３内のポインタ１２２は、補正時刻を示している。
ユーザは、操作部１７（図１）を操作して、例えば日時表示領域１１２の表示内容を参考にしながら、補正条件変更バー１１３内でポインタ１２２を左右に自在に移動させることで、所望の日時を補正時刻として設定することができる。

紅葉見頃表示領域１１４には、最も紅葉が見頃になる度合を基準「０」として、見頃になる前の度合をマイナスで表現し、見頃になった後の度合をプラスで表現した各数値が表示される。なお、「-7」と「+7」との表示の間に引かれた実線は、この間が紅葉の見頃の時期であることを示している。
例えば、日時表示領域１１２に表示されている「10/21」の下方には、「-28」が紅葉見頃表示領域１１４に表示されている。このことは、10月21日の時点では、紅葉の見頃の度合は「-28」であること、即ち、見頃になる前の段階であって、後28レベル程の色の変化が必要であることを意味している。
従って、ユーザは、補正条件変更バー１１３内のポインタ１２２を移動させて補正時刻を設定する場合、紅葉見頃表示領域１１４の表示内容を参考にすることもできる。即ち、ユーザは、補正条件変更バー１１３内のポインタ１２２を「-7」と「+7」との間に移動させることによって、見頃の時期を補正時刻として容易に設定することができる。

サンプル紅葉画像表示領域１１５には、紅葉の度合を段階的に示した葉のサンプル画像が表示される。
従って、ユーザは、補正条件変更バー１１３内のポインタ１２２を移動させて補正時刻を設定する場合、サンプル紅葉画像表示領域１１５の表示内容を参考にすることもできる。即ち、ユーザは、補正条件変更バー１１３内のポインタ１２２を所望の色の葉のサンプル画像の上に移動させることによって、所望の紅葉度合の時期を補正時刻として容易に設定することができる。

このようなGUI画像１０１が表示部１８の画面として表示されている状態で、図７の表示処理のステップＳ４１の処理で、表示画像のデータが取得されると、当該表示画像は画像表示領域１１１に表示される。
なお、この場合、図５のステップＳ３の処理は、即ち撮像条件の取得の処理は、この段階で実行されて、取得された撮像条件から特定される撮像時刻を示す位置に、日時表示領域１１２のポインタ１２１が表示されるものとする。
また、図示はしないが、補正条件変更バー１１３内のポインタ１２２の位置は、デフォルトの位置、例えば撮像時刻を示すポインタ１２１の下方の位置に表示されるものとする。

その後、ユーザが、操作部１７（図１）を操作して、補正条件変更バー１１３内でポインタ１２２を図８に示す位置まで移動させると、ステップＳ４３の処理でＹＥＳであると判定されて、ステップＳ４４の処理で経時変化補正処理が実行される。
即ち、図５のステップＳ５の処理で、図８に示すポインタ１２１とポインタ１２２との間の距離に相当する時間が、条件差分時間として算出される。
そして、図８の画像表示領域１１１に表示されている表示画像が撮像画像として取り扱われて、ステップＳ７の処理で、図８に示す白い線に沿って区分された領域のうちの幾つかの領域のデータ、例えば、落葉樹群を含む領域のデータが、特定領域のデータとして検出される。
これらの幾つかの特定領域のデータの各々に対して、ステップＳ８乃至Ｓ１３のループ処理がその都度繰り返されて、各特定領域の各画素の色度座標が補正される。その後、ステップＳ１４乃至Ｓ１６の処理が実行されることで、補正後の表示画像（補正画像）のデータが生成される。

すると、図７のステップＳ４５の処理で、補正後の表示画像が、図８の画像表示領域１１１に表示される。
即ち、サンプル紅葉画像表示領域１１５内の葉のサンプル画像のうち、図８のポインタ１２２の位置の下方の葉のサンプル画像と近い色になった特定領域を有する画像が、補正後の表示画像として画像表示領域１１１に表示される。
換言すると、図８の例では、ポインタ１２２の位置の下方の日時表示領域１１２には、紅葉の見頃の範囲内の「-7」が表示されている。従って、紅葉の見頃の度合が「-7」程度の色になった特定領域を有する画像が、補正後の表示画像として画像表示領域１１１に表示される。

このとき、ユーザは、補正後の表示画像が所望の色になっていないと判断した場合には、操作部１７（図１）を操作して、補正条件変更バー１１３内でポインタ１２２を適当な位置まで移動させるとよい。
これにより、補正条件が変更されるので、ステップＳ４３の処理でＹＥＳであると判定されて、ステップＳ４４の処理で、変更後の補正条件に基づいて表示画像が補正され、ステップＳ４５の処理で、変更後の補正条件に基づく補正後の表示画像、即ちユーザの所望の色により近づいた表示画像が表示される。

以上、図８のGUI画像１０１を用いた表示処理について説明したが、GUI画像１０１はその他各種処理でも用いることができる。例えば図６の撮像処理のステップＳ２５やＳ３０の処理の際に、全く同様にGUI画像１０１を用いることもできる。

以上説明したように、本実施形態の撮像装置１は、経時色変化対象について、実世界での色の時間変化の特性を示す時間色変化特性情報を保持している場合、次の第１乃至第４の機能を実現することができる。
即ち、第１の機能とは、補正対象の撮像画像のデータを取得する機能である。第２の機能とは、補正対象の撮像画像の撮像時刻と補正時刻との差分を条件差分時間として取得する機能である。第３の機能とは、補正対象の撮像画像の中から、経時色変化対象を含む領域を特定領域として検出する機能である。第４の機能とは、時間色変化特性情報に基づいて、経時色変化対象について条件差分時間の間に実世界で生ずる色の変化に対応するように、特定領域のデータを補正する機能である。
これにより、次の（１）乃至（３）に示す効果を奏することが可能になる。

（１）例えば、経時色変化対象としては、日本国の秋頃に徐々に紅葉していく落葉樹や、日本国の春頃に開花率に応じて徐々に全体が花の色に変化していく樹木を採用することができる。
ここで、例えば、ユーザは、紅葉やサクラ開花等の景観を撮像するために所定の場所に訪れたが、見頃の時期から少し外れた時期に訪れてしまって、紅葉やサクラ開花が未だ見頃になっていない景観しか撮像できないような場合を想定してみる。
このような場合であっても、ユーザは、本実施形態の撮像装置１を操作して、紅葉やサクラ開花が未だ見頃になっていない景観を撮像するだけで、その撮像画像から、落葉樹の葉やサクラの木等が見頃の時期の色に変化した補正画像を容易に得ることができる。即ち、当該補正画像は、紅葉やサクラ開花が見頃になっている景観画像（ユーザの撮像行為の目的に合致した景観画像）であって、かつ、自然でリアルな景観画像となっている。そこで、このような補正画像のデータを記録することで、撮像の失敗（撮像行為の目的が未達成という意）を減らしたり、カバーすることが可能になる。
このように、ユーザの撮像行為の目的に合致し、かつより自然で現実味のある画像となるように、撮像画像を加工することが可能になる。

（２）さらに、補正時刻は自在に設定可能とされている。
このため、最初に設定した補正時刻によって補正された補正画像が、ユーザにとって所望の景観画像となっていなかった場合には、ユーザは、補正時刻を前後に微調整する操作をすることができる。このような操作を行う度に新たな補正画像が得られるため、ユーザは、所望の景観画像を容易かつ短時間に得ることが可能になる。
即ち、撮像画像の撮影状況にかかわらず、例えば撮像位置や撮像時刻（季節や日時）にかかわらず、ユーザは、所望の景観画像を容易かつ短時間に得ることが可能になる。

（３）さらに、このような補正時刻を設定するために、本実施形態の撮像装置１は、図８のGUI画像１０１を表示させて、ユーザの操作を受け付けることもできる。
これにより、ユーザにとっては、撮影日時（現在時刻）や補正したい日時（補正時刻）と、紅葉や開花の見頃の時期との相対関係を容易に視認できるし、また、紅葉や開花の度合いも容易に視認できる。
さらに、ユーザは、補正日時マーク（図８の例ではポインタ１２２）を、時間目盛上で左右や前後にスライド移動させる等の簡単な操作を行うだけで、所望の紅葉や開花の度合の補正を行うことが可能になる。

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、前記実施形態では、補正色変化対象毎の時間色変化特性情報が採用されたが、時間色変化特性情報の種類は、特にこれに限定されない。
具体的には例えば、上述したように、同一の落葉樹であっても、葉の色の変化は、樹木内での葉の位置や層、日射量や遮蔽等の様々な要因によってバラつき、空間的又は時間的に一様ではない複雑なものとなる。
そこで、所定の経時色変化対象から区分された複数の部分対象毎の時間色変化特性情報を採用してもよい。例えば、補正色変化対象が山林や樹木である場合には、上層部、中層部、及び下層部の各々を部分対象として採用したり、日当たり部分と日陰となる部分との各々を部分対象として採用してもよい。
図９は、所定の経時色変化対象から区分された複数の部分対象毎の時間色変化特性情報を用いた補正の結果の一例を示している。
図９（Ａ）は、経時色変化対象が樹木であって、上層部、中層部、及び下層部の各々を部分対象として採用した場合の補正の結果の一例を示している。一番上の樹木の像が、第１の時刻に撮像された撮像画像に含まれる樹木の像を示している。中央の樹木の像は、第１の時刻から所定時間が経過した第２の時刻を補正時刻とした場合の補正後の樹木の像を示しており、上層部、中層部、及び下層部の各々の色の変化（紅葉度合）が異なっていることがわかる。一番下の樹木の像は、さらに第２の時刻から所定時間が経過した第３の時刻を補正時刻とした場合の補正後の樹木の像を示しており、同様に、上層部、中層部、及び下層部の各々の色の変化が異なっていることがわかる。
図９（Ｂ）は、経時色変化対象が樹木であって、高日当たり部分、中日当たり部分、及び日陰となる部分の各々を部分対象として採用した場合の補正の結果の一例を示している。一番上の樹木の像が、第１の時刻に撮像された撮像画像に含まれる樹木の像を示している。中央の樹木の像は、第１の時刻から所定時間が経過した第２の時刻を補正時刻とした場合の補正後の樹木の像を示しており、高日当たり部分、中日当たり部分、及び日陰となる部分の各々の色の変化（紅葉度合）が異なっていることがわかる。一番下の樹木の像は、さらに第２の時刻から所定時間が経過した第３の時刻を補正時刻とした場合の補正後の樹木の像を示しており、同様に、高日当たり部分、中日当たり部分、及び日陰となる部分の各々の色の変化が異なっていることがわかる。
図９（Ｃ）は、経時色変化対象が山林（樹木の集合体）であって、上層部、中層部、及び下層部の各々を部分対象として採用した場合の補正の結果の一例を示している。一番上の山林の像が、第１の時刻に撮像された撮像画像に含まれる山林の像を示している。中央の山林の像は、第１の時刻から所定時間が経過した第２の時刻を補正時刻とした場合の補正後の山林の像を示しており、上層部、中層部、及び下層部の各々の色の変化（紅葉度合）が異なっていることがわかる。一番下の山林の像は、さらに第２の時刻から所定時間が経過した第３の時刻を補正時刻とした場合の補正後の山林の像を示しており、同様に、上層部、中層部、及び下層部の各々の色の変化が異なっていることがわかる。

例えば、前記実施形態では、経時色変化対象についての実世界で生ずる色の変化は、実測されたが、特にこれに限定されず、確率過程に基づく色の状態遷移を算出するようにしてもよい。
図１０は、経時変化対象が落葉樹である場合の葉の色の変化を示す、確率過程に基づく色の状態遷移の一例を示している。
即ち、図１０は、紅葉の進展の段階又は葉の色度が、マルコフ過程（Malkov process）に従って、次の段階又は色度に変化すると仮定する確率モデル（マルコフモデル）の一例を示している。
図１０の例では、楕円が１つの状態を示しており、GY(黄緑)、Y(彩度の高い黄)、ｙ（彩度の低い黄）、ｙｒ（黄赤）の４種類の状態が例示されている。また、矢印に付された数字は、矢印の元の状態から矢印の状態に遷移する場合（同一状態に維持する場合含む）の状態遷移確率（State Transitional Probability）を示している。

例えば、前記実施形態では、経時変化対象として、実世界における色が一定の法則に従って時間方向に変化する経時色変化対象を採用したが、実世界における所定の特徴が一定の法則に従って時間方向に変化するものであれば任意の対象を採用することができる。
具体的には例えば、所定の特徴として、樹木の大きさ、成長、繁茂の度合等、樹木の空間占有率を採用すると、当該所定の特徴は、大きくなる或いは高くなるといった法則に従って時間方向に変化していく。このため、実世界における空間占有率が一定の法則に従って時間方向に変化する経時変化対象を採用することもできる。なお、このような経時変化対象を、以下、「経時大きさ変化対象」と呼ぶ。

さらに以下、図１１を参照して、経時大きさ変化対象に対する経時変化補正処理について具体的に説明する。
図１１は、経時大きさ変化対象における経時変化補正処理の結果の一例を示している。
例えば、時刻ＴＮに、家と樹木を含むシーンが撮像された結果、図１１（Ｂ）に示すような家像８２と樹木像８３Ｎとを含む撮像画像８１Ｎのデータが得られたとする。なお、撮像画像８１Ｎを撮像する装置は、撮像装置１であってもよいし、他の装置であってもよい。
ここで、ユーザが、当該樹木が生長した様子の画像を得たいと所望したとする。このような場合、ユーザは、操作部１７（図１）を操作することによって、未来の時刻ＴＦを設定することができる。
この場合、撮像装置１は、撮像の時刻ＴＮと未来の時刻ＴＦとの差分時間を、条件差分時間として求める。
また、撮像装置１は、撮像画像８１Ｎのデータに基づいて、樹木像８３Ｎを特定領域として検出する。
そして、撮像装置１は、樹木についての条件差分時間の間に実世界で生ずる空間占有率（大きさや高さ）の変化に応じて、特定領域のデータを補正する。
これにより、図１１（Ｂ）に示す撮像画像８１Ｎのデータから、図１１（Ａ）に示す補正画像８１Ｆのデータが得られる。即ち、撮像の時刻ＴＮから時刻ＴＦまで時間が経過すると実世界では樹木の生長が進む。このため、特定領域として検出された樹木像８３Ｎよりも空間占有率が大きくなった（サイズが大きくなった）樹木像８３Ｆが、補正画像８１Ｆに含まれる。一方で、実世界の家は時間経過によって空間占有率は変化しないとして、撮像画像８１Ｎ内の家像８２は特定領域として検出されない。その結果、家像８２は、補正されずにそのままの状態で補正画像８１Ｆに含まれる。
さらに、ユーザは、撮像の時刻ＴＮに対して未来の時刻のみならず、過去の時刻も設定することができる。例えば、撮像の時刻ＴＮに対して過去の時刻ＴＰが設定された場合にも、経時変化補正処理として、上述した一連の処理が実行される。
これにより、図１１（Ｂ）に示す撮像画像８１Ｎのデータから、図１１（Ｃ）に示す補正画像８１Ｐのデータが得られる。
即ち、撮像の時刻ＴＮから時刻ＴＰまで時間が戻る（逆方向に経過する）と、実世界の樹木は生長前の状態となるため、その空間占有率（大きさや高さ）は小さくなる。このため、特定領域として検出された樹木像８３Ｎよりも空間占有率が小さくなった（サイズが小さくなった）樹木像８３Ｐが、補正画像８１Ｐに含まれる。一方で、実世界の家は時間経過によって空間占有率は変化しないとして、撮像画像８１Ｎ内の家像８２は特定領域として検出されない。その結果、家像８２は、補正されずにそのままの状態で補正画像８１Ｐに含まれる。

例えば、前記実施形態では、経時変化補正処理で用いる補正時刻は、ユーザが操作部１７を操作することで指示していたが、特にこれに限定されず、撮像装置１がユーザの操作を介在せずに自律的に、即ち自動的に補正時刻を設定してもよい。
具体的には例えば、条件差分取得部５４（図４）等は、経時変化対象についての所定の特徴（色や空間占有率）の変化の段階を予測し、予測した変化の段階のうちの所定の段階を示す時刻を補正時刻として決定してもよい。
例えば落葉樹が経時色変化対象として採用されている場合には、条件差分取得部５４等は、紅葉の進み具合を予測し、見頃の時期を補正時刻として決定することができる。
なお、この場合の予測の手法は、特に限定されない。例えば、条件差分取得部５４等は、各地域毎の過去の見頃の平均日のデータや、各地域毎の月別の平均気温等の気象統計データ等の実測データから、紅葉の進み具合を予測し、見頃の時期を補正時刻として決定することができる。この場合、実測データから所定の予測式を予め作成しておき、条件差分取得部５４等は、当該予測式を用いた予測演算をすることによって、紅葉の進み具合を予測し、見頃の時期を補正時刻として決定してもよい。

例えば、前記実施形態では、経時変化補正処理の補正対象の画像のデータは、撮像画像のデータとされたが、特にこれに限定されず、経時変化対象の像を含めば、任意の画像のデータを補正対象とすることができる。
この場合、撮像画像取得部５１は、撮像部１６から出力された撮像画像のデータを補正対象として直接取得する他、他の装置から送信されて通信部２０に受信された画像のデータや、リムーバブルメディア３１からドライブ２１によって読み出された画像のデータ等を適宜補正対象として取得することができる。

また例えば、上述した実施形態では、本発明が適用される画像処理装置は、デジタルカメラ等の撮像装置として構成される例として説明した。しかしながら、本発明は、撮像装置に特に限定されず、撮像機能の有無を問わず、上述の画像処理を実行可能な電子機器一般に適用することができる。具体的には例えば、本発明は、パーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk）等により構成される。光磁気ディスクは、MD（Mini-Disk）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のROM１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

１・・・撮像装置、１１・・・CPU、１２・・・ROM、１３・・・RAM、１６・・・撮像部、１７・・・操作部、１８・・・表示部、１９・・・記憶部、２０・・・通信部、２１・・・ドライブ、３１・・・リムーバブルメディア、５１・・・撮像画像取得部、５２・・・撮像条件取得部、５３・・・補正条件取得部、５４・・・条件差分取得部、５５・・・特定領域検出部、５６・・・変化データ取得部、５７・・・特定領域補正部、５８・・・補正画像生成部、５９・・・時間変化特性情報決定部、６０・・・時間変化特性情報記憶部

Claims (11)

1. 実世界における所定の特徴が一定の法則に従って時間方向に変化する経時変化対象について、前記特徴の実世界での時間変化の特性を示す時間変化特性情報を保持する保持手段と、
   補正対象の画像のデータを取得する補正対象取得手段と、
   前記補正対象の画像が示す時刻を現時刻とし、補正後の画像が示す時刻を補正時刻とし、前記現時刻と前記補正時刻との差分を条件差分時間として取得する差分取得手段と、
   前記補正対象の画像の中から、前記経時変化対象を含む領域を特定領域として検出する検出手段と、
   前記保持手段に保持された前記時間変化特性情報に基づいて、前記経時変化対象について前記条件差分時間の間に実世界で生ずる前記特徴の変化に対応するように、前記特定領域のデータを補正する補正手段と、
   を備える画像処理装置。
2. 前記保持手段は、複数種類の前記経時変化対象毎に前記時間変化特性情報を保持しており、
   前記検出手段は、前記経時変化対象の種類毎に前記特定領域を検出し、
   前記補正手段は、前記経時変化対象の種類毎に、その種類に対応する前記時間変化特性情報に基づいて、その種類の前記経時変化対象について前記条件差分時間の間に実世界で生ずる前記特徴の変化に対応するように、その種類に対応する前記特定領域のデータを補正する、
   請求項１に記載の画像処理装置。
3. 前記保持手段は、所定の経時変化対象から区分された複数の部分対象毎に、前記時間変化特性情報を保持しており、
   前記補正手段は、前記複数の部分対象毎に、その部分対象に対応する前記時間変化特性情報に基づいて、その部分対象について前記条件差分時間の間に実世界で生ずる前記特徴の変化に対応するように、前記特定領域内のその部分対象の像のデータを補正する、
   請求項１又は２に記載の画像処理装置。
4. 前記補正手段は、
   さらに、前記経時変化対象について前記条件差分時間の間に実世界で生ずる前記特徴の変化を、確率過程に基づく前記特徴の状態遷移として算出し、
   算出した前記状態遷移に基づいて、前記特定領域のデータを補正する
   請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記保持手段は、複数の場所毎に前記時間変化特性情報を保持しており、
   前記差分取得手段は、さらに、前記補正対象の画像が示す位置を現在位置とし、前記補正後の画像が示す位置を補正位置とし、前記現在位置と前記補正位置との差異を条件差分位置として取得し、
   前記補正手段は、さらに、前記条件差分位置に基づいて、前記保持手段に保持された前記複数の場所毎の前記時間変化特性情報の中から１以上の時間変化特性情報を選択し、選択した前記１以上の変化特性情報に基づいて前記特定領域のデータを補正する、
   請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記補正時刻を、絶対時刻又は所定の基準時刻に対する相対時刻でユーザが指定する操作を受け付ける操作手段をさらに備え、
   前記差分取得手段は、前記ユーザにより指定されて前記操作手段により受け付けられた前記補正時刻を認識し、前記現時刻と認識した前記補正時刻との差分を前記条件差分時間として取得する、
   請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記差分取得手段は、
   さらに、前記特徴の変化の段階を予測し、
   予測した変化の段階のうちの所定の段階を示す時刻を補正時刻として決定し、前記現時刻と決定した前記補正時刻との差分を前記条件差分時間として取得する、
   請求項１乃至５の何れか１項に記載の画像処理装置。
8. 前記経時変化対象は、植物であり、実世界において一定の法則に従って時間方向に変化する前記特徴は、前記植物の少なくとも一部の色である、
   請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記経時変化対象は、植物であり、実世界において一定の法則に従って時間方向に変化する前記特徴は、前記植物の少なくとも一部の空間占有率である、
   請求項１乃至７の何れか１項に記載の画像処理装置。
10. 実世界における所定の特徴が一定の法則に従って時間方向に変化する経時変化対象について、前記特徴の実世界での時間変化の特性を示す時間変化特性情報を保持する保持手段を有する画像処理装置が、
    補正対象の画像のデータを取得する補正対象取得ステップと、
    前記補正対象の画像が示す時刻を現時刻とし、補正後の画像が示す時刻を補正時刻とし、前記現時刻と前記補正時刻との差分を条件差分時間として取得する差分取得ステップと、
    前記補正対象の画像の中から、前記経時変化対象を含む領域を特定領域として検出する検出ステップと、
    前記保持手段に保持された前記時間変化特性情報に基づいて、前記経時変化対象について前記条件差分時間の間に実世界で生ずる前記特徴の変化に対応するように、前記特定領域のデータを補正する補正ステップと、
    を含む画像処理方法。
11. 実世界における所定の特徴が一定の法則に従って時間方向に変化する経時変化対象について、前記特徴の実世界での時間変化の特性を示す時間変化特性情報を保持する保持手段を有する画像処理装置を制御するコンピュータに、
    補正対象の画像のデータを取得する補正対象取得機能と、
    前記補正対象の画像が示す時刻を現時刻とし、補正後の画像が示す時刻を補正時刻とし、前記現時刻と前記補正時刻との差分を条件差分時間として取得する差分取得機能と、
    前記補正対象の画像の中から、前記経時変化対象を含む領域を特定領域として検出する検出機能と、
    前記保持手段に保持された前記時間変化特性情報に基づいて、前記経時変化対象について前記条件差分時間の間に実世界で生ずる前記特徴の変化に対応するように、前記特定領域のデータを補正する補正機能と、
    を実現させるプログラム。