JP2012093977A - 画像処理装置及び方法、並びにプログラム - Google Patents
画像処理装置及び方法、並びにプログラム Download PDFInfo
- Publication number
- JP2012093977A JP2012093977A JP2010241067A JP2010241067A JP2012093977A JP 2012093977 A JP2012093977 A JP 2012093977A JP 2010241067 A JP2010241067 A JP 2010241067A JP 2010241067 A JP2010241067 A JP 2010241067A JP 2012093977 A JP2012093977 A JP 2012093977A
- Authority
- JP
- Japan
- Prior art keywords
- sky
- image
- color
- correction
- correction information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】ユーザの撮像行為の目的に合致し、かつ、より自然で現実味のある空の状態を表現できる画像処理を実現可能にすること。
【解決手段】空領域特定部４２は、原画像のデータについて、空の像を含む領域を空領域として特定する。空画像生成部４３は、空領域の基本となる基本色を設定し、空領域の各画素が示す空の高度をそれぞれ求め、基本色及び高度に基づいて、空領域の各画素が示す空の色をそれぞれ変換するための補正情報として、空画像のデータを生成する。合成部４４は、原画像のデータと、空画像生成部４３により補正情報として生成された画像のデータとを合成することによって、原画像のデータに対して、空領域の色が補正後の色に変換された合成画像のデータを生成する。
【選択図】図２
【解決手段】空領域特定部４２は、原画像のデータについて、空の像を含む領域を空領域として特定する。空画像生成部４３は、空領域の基本となる基本色を設定し、空領域の各画素が示す空の高度をそれぞれ求め、基本色及び高度に基づいて、空領域の各画素が示す空の色をそれぞれ変換するための補正情報として、空画像のデータを生成する。合成部４４は、原画像のデータと、空画像生成部４３により補正情報として生成された画像のデータとを合成することによって、原画像のデータに対して、空領域の色が補正後の色に変換された合成画像のデータを生成する。
【選択図】図２
Description
本発明は、画像処理装置及び方法、並びにプログラムに関し、特に、ユーザの撮像行為の目的に合致した画像処理であって、より自然で現実味のある空の状態を表現できる画像処理を実現可能な技術に関する。
従来、電子表示装置が鑑賞用の画像を表示したり、カーナビゲーション装置が地図等の情報確認用の画像を表示する、といった表示技術の分野が存在する。このような表示技術の分野においては、時間変化や天候変化に応じた演出表示が行われている（特許文献１乃至４参照）。
一方、ユーザがカメラを用いて撮像画像を撮像する、といった撮像技術の分野も存在する。このような撮像技術の分野でも、デジタルカメラの登場により、撮像画像の表示が可能になり、さらに近年では、画像処理が施された撮像画像を表示することも可能になっている。
一方、ユーザがカメラを用いて撮像画像を撮像する、といった撮像技術の分野も存在する。このような撮像技術の分野でも、デジタルカメラの登場により、撮像画像の表示が可能になり、さらに近年では、画像処理が施された撮像画像を表示することも可能になっている。
しかしながら、撮像技術の分野では、一般的には、ユーザがデジタルカメラを用いて撮像するという撮像行為の方が、その撮像行為の結果として得られる撮像画像をユーザが確認する行為よりも主要な行為となる。ここで、撮像行為とは、ユーザの主観的な目的を伴う行為であり、当該目的が達成した画像を創り出すという能動的行為である。このため、ユーザが創造したともいえる撮像画像のデータに対しては、撮像行為という能動的行為の目的に合致した画像処理を施すことが要求される。
一方で、表示技術の分野においては、表示対象の画像は、ユーザとは別の他人が創造した画像であることが多い。そして、このような他人が創造した画像を鑑賞したり確認する行為が、ユーザの主要な行為となる。即ち、表示技術の分野とは、撮像行為等の能動的行為よりも、一方的に提示された画像をユーザが鑑賞又は確認するという受動的な行為が主要な行為であるとして、発達してきた分野である。
よって、表示技術の分野の技術、例えば特許文献１乃至４に記載の技術をそのまま撮像技術の分野に適用しても、ユーザの撮像行為の目的に合致した画像処理を撮像画像のデータに施すことは困難である。
一方で、表示技術の分野においては、表示対象の画像は、ユーザとは別の他人が創造した画像であることが多い。そして、このような他人が創造した画像を鑑賞したり確認する行為が、ユーザの主要な行為となる。即ち、表示技術の分野とは、撮像行為等の能動的行為よりも、一方的に提示された画像をユーザが鑑賞又は確認するという受動的な行為が主要な行為であるとして、発達してきた分野である。
よって、表示技術の分野の技術、例えば特許文献１乃至４に記載の技術をそのまま撮像技術の分野に適用しても、ユーザの撮像行為の目的に合致した画像処理を撮像画像のデータに施すことは困難である。
例えば、ユーザが、デジタルカメラを用いて、所定場所から見える空の景観の画像を、撮像画像として撮像する場合を考える。ただし、ユーザの撮像行為の目的は、当該所定場所から見える空であって、かつ、所望の状態（所望の色等）になっている空の景観の画像を得ることであるとする。
ここで、同一の所定場所であっても、時が違えば、空の状態は異なる。例えば、一日の間であっても異なる時刻では、具体的には例えば明け方と夕暮れとでは、空の状態、特に空の色は大きく異なる。
そこで、ユーザは、その撮像行為の目的を達成すべく、所定場所まで赴き、空が所望の状態になっていると想定される時刻になるまで待機して、空の景観の画像を撮像する。
しかしながら、この場合に得られる撮像画像は、必ずしも所望の状態の空が写っている画像、即ち撮像行為の目的が達成されている画像とは限らない。
ここで、同一の所定場所であっても、時が違えば、空の状態は異なる。例えば、一日の間であっても異なる時刻では、具体的には例えば明け方と夕暮れとでは、空の状態、特に空の色は大きく異なる。
そこで、ユーザは、その撮像行為の目的を達成すべく、所定場所まで赴き、空が所望の状態になっていると想定される時刻になるまで待機して、空の景観の画像を撮像する。
しかしながら、この場合に得られる撮像画像は、必ずしも所望の状態の空が写っている画像、即ち撮像行為の目的が達成されている画像とは限らない。
というのも、空の状態は、天気等の各種条件によって異なり、これらの各種条件が時や場所を隔てて同一になる確率は非常に低いからである。
例えば、連続する２日間の其々の同一時刻であっても、２日間の天気が異なれば、具体的には例えば前の日が快晴であったのに対して次の日が曇りや雨であったならば、空の状態、特に空の色は大きく異なる。さらに、たとえ２日間で天気が変化しなくても、例えば晴れが続いたとしても、其々の同一時刻における各種条件、例えば、気圧、温度、湿度、水蒸気、塵、エアロゾル等が異なってくるため、空の状態、特に空の色も異なってくる。
さらにまた、例えば、同日同時刻であっても、異なる場所では、具体的には例えばユーザの居所と、そこから遠隔の所定場所（撮像場所）とでは、気候、水蒸気、塵、煤煙等の各種条件が異なってくるために、空の状態、特に空の色も異なってくる。
例えば、連続する２日間の其々の同一時刻であっても、２日間の天気が異なれば、具体的には例えば前の日が快晴であったのに対して次の日が曇りや雨であったならば、空の状態、特に空の色は大きく異なる。さらに、たとえ２日間で天気が変化しなくても、例えば晴れが続いたとしても、其々の同一時刻における各種条件、例えば、気圧、温度、湿度、水蒸気、塵、エアロゾル等が異なってくるため、空の状態、特に空の色も異なってくる。
さらにまた、例えば、同日同時刻であっても、異なる場所では、具体的には例えばユーザの居所と、そこから遠隔の所定場所（撮像場所）とでは、気候、水蒸気、塵、煤煙等の各種条件が異なってくるために、空の状態、特に空の色も異なってくる。
このように、ユーザにとって、単にデジタルカメラを用いて撮像操作（レリーズ釦の押下操作等）をしただけでは、空が所望の状態（所望の色等）になっている画像、即ち、当該ユーザの撮像行為の目的が達成された画像を得ることは困難である。
そこで、デジタルカメラが、撮像画像のデータに対して画像処理を施して、撮像行為の目的が達成された画像のデータに変換することが要求される。
そこで、デジタルカメラが、撮像画像のデータに対して画像処理を施して、撮像行為の目的が達成された画像のデータに変換することが要求される。
しかしながら、特許文献１乃至４に記載の技術を単に適用しても、このような要求に応えることは困難である。
即ち、特許文献１乃至４に記載の技術とは、時間変化や天候変化に応じて、表示する絵柄や画像を自動的に選択して表示する第１技術か、或いは、色や輝度等の表示用調整データを予め設定しておき、現在の季節、日時、天候等に応じて画像全体を補正する第２技術である。
前者の第１技術では、選択して表示する絵柄や画像は予め用意しておく必要があるところ、所定場所から見える景観の画像を予め用意しておくことは現実的でない。後者の第２の技術では、空の色だけでなく、画像全体の色や輝度が一律に補正されてしまうため、不自然で現実味に欠ける補正しかできない。
即ち、特許文献１乃至４に記載の技術とは、時間変化や天候変化に応じて、表示する絵柄や画像を自動的に選択して表示する第１技術か、或いは、色や輝度等の表示用調整データを予め設定しておき、現在の季節、日時、天候等に応じて画像全体を補正する第２技術である。
前者の第１技術では、選択して表示する絵柄や画像は予め用意しておく必要があるところ、所定場所から見える景観の画像を予め用意しておくことは現実的でない。後者の第２の技術では、空の色だけでなく、画像全体の色や輝度が一律に補正されてしまうため、不自然で現実味に欠ける補正しかできない。
なお、従来、３次元CG(Computer Graphics)や建築用の景観シミュレーションソフトウェアの中には、色々な視点から眺めた建築物の景観をレンダリングしたり、樹木等周囲の景観や季節変化による日陰等をシミュレーションできるものが存在する。
しかしながら、これらのシミュレーションソフトウェアにより得られる画像は、実世界を撮像した結果得られる撮像画像（写真画像）と比較すると、仮想的かつ人工的な画像であることが明らかであり、不自然で現実味に欠けるものであった。
さらにまた、これらのシミュレーションソフトウェアは、そもそも設計データや３次元形状モデル等実世界とは別なものに基づいて、シミュレーション描画することが前提とされている。このため、これらのシミュレーションソフトウェアを、実世界の景観等を撮像した結果得られる撮像画像の加工用としてそのまま適用することは非常に困難である。
しかしながら、これらのシミュレーションソフトウェアにより得られる画像は、実世界を撮像した結果得られる撮像画像（写真画像）と比較すると、仮想的かつ人工的な画像であることが明らかであり、不自然で現実味に欠けるものであった。
さらにまた、これらのシミュレーションソフトウェアは、そもそも設計データや３次元形状モデル等実世界とは別なものに基づいて、シミュレーション描画することが前提とされている。このため、これらのシミュレーションソフトウェアを、実世界の景観等を撮像した結果得られる撮像画像の加工用としてそのまま適用することは非常に困難である。
以上まとめると、ユーザの撮像行為の目的に合致し、かつより自然で現実味のある画像となるように、撮像画像を加工したいという要望が挙げられている。しかしながら、特許文献１乃至４を含む従来の技術では、当該要望に十分に応えることはできない。このため、当該要望に十分に応えることが可能な技術の実現が求められている。
本発明は、このような状況に鑑みてなされたものであり、ユーザの撮像行為の目的に合致した画像処理であって、より自然で現実味のある空の状態を表現できる画像処理を実現することを目的とする。
本発明の一態様によると、
空の像を含む原画像のデータを取得する原画像取得手段と、
前記原画像取得手段により取得された前記原画像のデータについて、前記空の像を含む領域を空領域として特定する空領域特定手段と、
前記空領域特定手段により特定された前記空領域の基本となる色を、基本色として設定し、前記空領域の各部分における空の高度をそれぞれ求め、前記基本色及び前記高度に基づいて、前記空領域の前記各部分における空の状態をそれぞれ変換するための補正情報を生成する補正情報生成手段と、
前記原画像取得手段により取得された前記原画像のデータを、前記補正情報生成手段により生成された前記補正情報に基づいて補正することによって、状態が変換した空の像を含む画像のデータを生成する補正手段と、
を備えることを特徴とする画像処理装置。
空の像を含む原画像のデータを取得する原画像取得手段と、
前記原画像取得手段により取得された前記原画像のデータについて、前記空の像を含む領域を空領域として特定する空領域特定手段と、
前記空領域特定手段により特定された前記空領域の基本となる色を、基本色として設定し、前記空領域の各部分における空の高度をそれぞれ求め、前記基本色及び前記高度に基づいて、前記空領域の前記各部分における空の状態をそれぞれ変換するための補正情報を生成する補正情報生成手段と、
前記原画像取得手段により取得された前記原画像のデータを、前記補正情報生成手段により生成された前記補正情報に基づいて補正することによって、状態が変換した空の像を含む画像のデータを生成する補正手段と、
を備えることを特徴とする画像処理装置。
本発明の別の態様によると、上述した本発明の一態様に係る画像処理装置に対応する画像処理方法及びプログラムの各々を提供する。
本発明によれば、撮像画像内の空の状態を、撮像時の空の状態とは異なり、かつ、他の自然な空の状態へと変換できるようにすることができる。
以下、図面に基づいて、本発明の画像処理装置の実施形態として、第１実施形態と第２実施形態について、その順番で個別に説明する。
〔第１実施形態〕
図１は、本発明の画像処理装置の第１実施形態としての撮像装置１のハードウェアの構成を示すブロック図である。撮像装置１は、例えばデジタルカメラにより構成することができる。
図１は、本発明の画像処理装置の第１実施形態としての撮像装置１のハードウェアの構成を示すブロック図である。撮像装置１は、例えばデジタルカメラにより構成することができる。
撮像装置１は、CPU（Central Processing Unit）１１と、ROM（Read Only Memory）１２と、RAM（Random Access Memory）１３と、計時部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、操作部１８と、表示部１９と、記憶部２０と、通信部２１と、傾き検出部２２と、GPS（Global Positioning System）部２３と、ドライブ２４と、を備えている。
CPU１１はROM１２に記録されているプログラムに従って、又は、記憶部２０からRAM１３にロードされたプログラムに従って、各種の処理を実行する。
RAM１３にはまた、CPU１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
RAM１３にはまた、CPU１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
例えば本実施形態では、後述する図２の原画像取得部４１乃至合成部４４の各機能を実現するプログラムが、ROM１２や記憶部２０に記憶されている。従って、CPU１１が、これらのプログラムに従った処理を実行することで、図２の原画像取得部４１乃至合成部４４の各機能を実現することができる。
計時部１４は、計時動作を行い、現在時刻等をCPU１１に通知する。
CPU１１、ROM１２、RAM１３、及び計時部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、操作部１８、表示部１９、記憶部２０、通信部２１、傾き検出部２２、GPS部２３、及びドライブ２４が接続されている。
撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
イメージセンサは、光電変換素子や、AFE（Analog Front End）等から構成される。
光電変換素子は、例えばCMOS（Complementary Metal Oxide Semiconductor）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換（撮像）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D（Analog/Digital）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。
なお、以下、撮像部１７の出力信号を、「撮像画像のデータ」と呼ぶ。従って、撮像部１７からは撮像画像のデータが出力されて、CPU１１等に適宜供給される。
光電変換素子は、例えばCMOS（Complementary Metal Oxide Semiconductor）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換（撮像）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D（Analog/Digital）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。
なお、以下、撮像部１７の出力信号を、「撮像画像のデータ」と呼ぶ。従って、撮像部１７からは撮像画像のデータが出力されて、CPU１１等に適宜供給される。
操作部１８は、各種釦等で構成され、ユーザの指示操作を受け付ける。
表示部１９は、液晶ディスプレイ等で構成され、各種画像を表示する。
記憶部２０は、DRAM（Dynamic Random Access Memory）等で構成され、撮像部１７から出力された撮像画像のデータを一時記憶する。また、記憶部２０は、各種画像処理に必要な各種データ、例えば、画像のデータ、各種フラグの値、閾値等も記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
表示部１９は、液晶ディスプレイ等で構成され、各種画像を表示する。
記憶部２０は、DRAM（Dynamic Random Access Memory）等で構成され、撮像部１７から出力された撮像画像のデータを一時記憶する。また、記憶部２０は、各種画像処理に必要な各種データ、例えば、画像のデータ、各種フラグの値、閾値等も記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
傾き検出部２２は、加速度センサ等で構成され、撮像装置１の傾きの度合いとして、撮像装置１の仰俯角や、光軸周りの撮像装置１の回転角等を検出する。ここで、撮像装置１の仰俯角とは、撮像部１７の光学レンズ部の光軸が水平面となす角度をいう。
GPS部２３は、複数のGPS衛星との距離を算出することで、撮像装置１の現在位置を測定する。
ドライブ２４には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。ドライブ２４によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。
図２は、図１の撮像装置１の機能的構成のうち、画像合成処理の実行機能を実現する機能的構成例を示す機能ブロック図である。
ここで、画像合成処理とは、空の像を含む原画像のデータと、空画像のデータとを合成するまでの一連の処理をいう。空画像とは、原画像内において、空の像を含む領域（以下、「空領域」と呼ぶ）の色が変化し、空領域以外の領域が例えば透明になっている画像をいう。
ここで、画像合成処理とは、空の像を含む原画像のデータと、空画像のデータとを合成するまでの一連の処理をいう。空画像とは、原画像内において、空の像を含む領域（以下、「空領域」と呼ぶ）の色が変化し、空領域以外の領域が例えば透明になっている画像をいう。
CPU１１は、このような画像合成処理を実行すべく、原画像取得部４１と、空領域特定部４２と、空画像生成部４３と、合成部４４と、表示制御部４５と、を備えている。
このように、本実施形態では、原画像取得部４１乃至表示制御部４５の各々は、図１に示す構成のうち、CPU１１というハードウェアと、ROM１２等に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。
しかしながら、これは例示であって、原画像取得部４１乃至表示制御部４５の機能の少なくとも一部を、CPU１１以外の他の構成要素に移譲させることも当然可能である。
しかしながら、これは例示であって、原画像取得部４１乃至表示制御部４５の機能の少なくとも一部を、CPU１１以外の他の構成要素に移譲させることも当然可能である。
また、本実施形態では、記憶部２０の一領域として、空色記憶部５１が設けられている。
なお、空色記憶部５１が記憶部２０の一領域として設けられていることは例示にすぎず、その他例えばリムーバブルメディア３１の一領域として設けられるようにしてもよい。また、空色記憶部５１は、撮像装置１に設けられている必要は特になく、例えば通信部２１を介して接続される他の装置内に設けられていてもよい。
なお、空色記憶部５１が記憶部２０の一領域として設けられていることは例示にすぎず、その他例えばリムーバブルメディア３１の一領域として設けられるようにしてもよい。また、空色記憶部５１は、撮像装置１に設けられている必要は特になく、例えば通信部２１を介して接続される他の装置内に設けられていてもよい。
原画像取得部４１は、本実施形態では撮像部１７から出力される撮像画像のデータを、原画像のデータとして取得して、空領域特定部４２及び合成部４４に供給する。
なお、原画像のデータは、本実施形態では撮像部１７から出力される撮像画像のデータが採用されているが、本実施形態の例に特に限定されず、空領域を特定可能な画像のデータであれば足り、その供給元は問わない。
例えば、原画像取得部４１は、リムーバブルメディア３１から読み出される画像のデータや、通信部２１を介するインターネット等から供給される画像のデータを、原画像のデータとして取得することもできる。なお、この場合、撮像時における撮像装置（撮像装置１とは限らない）の傾きの度合いも併せて取得可能であるものとする。
例えば、原画像取得部４１は、リムーバブルメディア３１から読み出される画像のデータや、通信部２１を介するインターネット等から供給される画像のデータを、原画像のデータとして取得することもできる。なお、この場合、撮像時における撮像装置（撮像装置１とは限らない）の傾きの度合いも併せて取得可能であるものとする。
空領域特定部４２は、原画像取得部４１から供給された原画像のデータに基づいて、当該原画像内の空領域を特定する。
ここで、空領域を特定する手法は、特に限定されないが、本実施形態では、次のような手法が採用されているものとする。
即ち、空領域特定部４２は、撮像部１７から撮像画像（原画像）のデータが出力された時（以下、「撮像時」と呼ぶ）における、撮像装置１の傾きの度合いを傾き検出部２２から取得する。
即ち、空領域特定部４２は、撮像部１７から撮像画像（原画像）のデータが出力された時（以下、「撮像時」と呼ぶ）における、撮像装置１の傾きの度合いを傾き検出部２２から取得する。
次に、空領域特定部４２は、撮像時の撮像装置１の傾きの度合いのうち、光軸周りの撮像装置１の回転角に基づいて、原画像が正しく垂直に立つように、当該原画像のデータを補正する。
ここで、原画像が正しく垂直に立つとは、撮像時点の地上の３次元実空間における垂直方向に相当する原画像内の方向が、当該原画像の縦方向（画素の上下の配列方向）に一致することをいう。
ここで、原画像が正しく垂直に立つとは、撮像時点の地上の３次元実空間における垂直方向に相当する原画像内の方向が、当該原画像の縦方向（画素の上下の配列方向）に一致することをいう。
次に、空領域特定部４２は、正しく垂直に立つように補正された原画像のデータについて、当該原画像の最上端から下方向に向けて（縦方向に）、色の特性が所定範囲に属する領域（以下、「色領域」と呼ぶ）を探索する。
ここで、色領域のサイズ（解像度）は、特に限定されないが、本実施形態では、例えば、ｋを１以上の整数値として、横方向にｋ個の画素が配置され、縦方向にｋ個の画素が配置されるサイズ（ｋ×ｋのサイズ）とされている。
また、色の特性の所定範囲としては、本実施形態では、空の色として認定し得る範囲として予め定められた色の範囲（彩度、明度、色相の範囲）が採用される。このため、撮像部１７から出力された撮像画像のデータが、ＲＧＢ色空間で表現されている場合、ＨＳＶ色空間（彩度、明度、色相をパラメータとする色空間）のデータに変換された後、上述の色領域の探索が行われる。
ここで、色領域のサイズ（解像度）は、特に限定されないが、本実施形態では、例えば、ｋを１以上の整数値として、横方向にｋ個の画素が配置され、縦方向にｋ個の画素が配置されるサイズ（ｋ×ｋのサイズ）とされている。
また、色の特性の所定範囲としては、本実施形態では、空の色として認定し得る範囲として予め定められた色の範囲（彩度、明度、色相の範囲）が採用される。このため、撮像部１７から出力された撮像画像のデータが、ＲＧＢ色空間で表現されている場合、ＨＳＶ色空間（彩度、明度、色相をパラメータとする色空間）のデータに変換された後、上述の色領域の探索が行われる。
空領域特定部４２は、最初の色領域を検出すると、当該色領域を空領域の最上端領域として、所定条件が満たされる範囲内で、当該最上端領域と連続する領域を拡張していくことにより、空領域を特定する。ここで、所定条件としては、本実施形態では、隣接画素同士の色の特性が、上述した所定範囲内（空の色として認定し得る、彩度、明度、色相の範囲内）であり、かつ、所定の閾値以上の変化がない、という条件が採用されているものとする。
次に、空領域特定部４２は、撮像時の撮像装置１の傾きの度合いのうち仰俯角に基づいて、空領域の最上端と最下端の各高度、即ち高度範囲を算出する。
このような空領域を特定する手法が適用された空領域特定部４２によって、空領域が特定されてその高度範囲が算出されると、当該空領域の座標と高度範囲が空画像生成部４３に通知される。
空画像生成部４３は、空領域特定部４２から通知された空領域の座標位置及び高度範囲を用いて、原画像と同一解像度の画像であって、当該空領域に属する各画素の色を、ユーザの指定に基づいて変化させた画像のデータを、空画像のデータとして生成する。
この場合、本実施形態では、空画像における空領域以外の色は、透明として取り扱われるものとする。そして、本実施形態では、透明の画素は、データ上、所定の画素値が与えられずに、「画素値がない」というフラグが立てられることにより、表現されるものとする。
この場合、本実施形態では、空画像における空領域以外の色は、透明として取り扱われるものとする。そして、本実施形態では、透明の画素は、データ上、所定の画素値が与えられずに、「画素値がない」というフラグが立てられることにより、表現されるものとする。
このような空画像のデータの生成手法は、特に限定されないが、本実施形態では、次のような手法が採用されているものとする。
先ず、本手法では、様々な地域において、異なる時間帯毎に、また、同一時間帯でも異なる天候毎に、実際の空の色が観測されており、これらの観測結果を示す情報が空色記憶部５１に記憶されていることが前提となる。
具体的には例えば、地域、時間帯、及び天候がパラメータとして採用され、これらの３つのパラメータにより特定される状態で実際に観測された空の色が、当該３つのパラメータの組み合わせにより特定されるパターンについての、空の基本色として設定される。
例えば、「日本国の東京都のＡ区」という地域において、「夕方」という時間帯に、「晴れ」という天候であったという状態で実際に観測された空の色が、「日本国の東京都のＡ区」、「夕方」、及び「晴れ」という組み合わせのパターンについての、空の基本色として設定される。
ここで、パラメータとして採用される「時間帯」は、本例の「夕方」のように１日のスパンで区分することも可能であるが、特に本例に限定されず、日本国でみられる春夏秋冬のように長期のスパンで区分することも当然可能である。
本手法では、地域、時間帯、及び天候の組み合わせによって特定されるパターン毎に、実際の観測に基づいて設定された空の基本色を示す情報（以下、「基本色情報」と呼ぶ）が、空色記憶部５１に記憶されていることが前提となる。
具体的には例えば、地域、時間帯、及び天候がパラメータとして採用され、これらの３つのパラメータにより特定される状態で実際に観測された空の色が、当該３つのパラメータの組み合わせにより特定されるパターンについての、空の基本色として設定される。
例えば、「日本国の東京都のＡ区」という地域において、「夕方」という時間帯に、「晴れ」という天候であったという状態で実際に観測された空の色が、「日本国の東京都のＡ区」、「夕方」、及び「晴れ」という組み合わせのパターンについての、空の基本色として設定される。
ここで、パラメータとして採用される「時間帯」は、本例の「夕方」のように１日のスパンで区分することも可能であるが、特に本例に限定されず、日本国でみられる春夏秋冬のように長期のスパンで区分することも当然可能である。
本手法では、地域、時間帯、及び天候の組み合わせによって特定されるパターン毎に、実際の観測に基づいて設定された空の基本色を示す情報（以下、「基本色情報」と呼ぶ）が、空色記憶部５１に記憶されていることが前提となる。
さらに、空の高度に応じた色の補正内容を示す情報（以下、「高度補正情報」と呼ぶ）が、空色記憶部５１に記憶されていることが前提となる。
具体的には、明度、彩度、色相の補正データが高度補正情報として空色記憶部５１に記憶されていることが前提となる。
即ち、同一パターンであっても、空の色は、その高度によって異なってくる。そこで、高度に応じて空の色を補正するための情報が、高度補正情報として空色記憶部５１に記憶されていることが前提となる。
具体的には、明度、彩度、色相の補正データが高度補正情報として空色記憶部５１に記憶されていることが前提となる。
即ち、同一パターンであっても、空の色は、その高度によって異なってくる。そこで、高度に応じて空の色を補正するための情報が、高度補正情報として空色記憶部５１に記憶されていることが前提となる。
また、本手法では、ユーザが、操作部１８を操作することで、地域、日時、及び天候の組み合わせから特定されるパターンのうち、所望のパターンを指定できることも前提となる。
この場合のパターンの指定手法は、撮像装置１側で各種パターンを一意に特定できる手法であれば足り、特に限定されない。
例えば、ユーザが、地域、時間帯、及び天候の各々を独立して１つずつ入力した場合、入力された地域、入力された時間帯、及び入力された天候の組み合わせから特定されるパターンが指定されたことになる。
また例えば、撮像画像の撮像時の状態で特定されるパターンを基礎パターンとして、ユーザが、地域、時間帯、及び天候のうち変更を所望するパラメータのみについて、変更後の値等を入力した場合、基礎パターンに対して、入力された値等が変換されたパターンが指定されたことになる。
さらに例えば、複数のパターンが予めユーザに提示される場合（図１の表示部１９に表示される場合）、ユーザは、提示された複数のパターンの中から所望の１つを選択すると、その選択されたパターンが指定されたことになる。
この場合のパターンの指定手法は、撮像装置１側で各種パターンを一意に特定できる手法であれば足り、特に限定されない。
例えば、ユーザが、地域、時間帯、及び天候の各々を独立して１つずつ入力した場合、入力された地域、入力された時間帯、及び入力された天候の組み合わせから特定されるパターンが指定されたことになる。
また例えば、撮像画像の撮像時の状態で特定されるパターンを基礎パターンとして、ユーザが、地域、時間帯、及び天候のうち変更を所望するパラメータのみについて、変更後の値等を入力した場合、基礎パターンに対して、入力された値等が変換されたパターンが指定されたことになる。
さらに例えば、複数のパターンが予めユーザに提示される場合（図１の表示部１９に表示される場合）、ユーザは、提示された複数のパターンの中から所望の１つを選択すると、その選択されたパターンが指定されたことになる。
このような前提の下、空画像生成部４３は、ユーザによりパターンが指定されると、当該パターンについての空の基本色を空色記憶部５１から認識し、当該空の基本色を、空領域の色として仮設定する。
また、空画像生成部４３は、空領域特定部４２から通知された空領域の高度範囲に基づいて、空領域を構成する各画素の高度をそれぞれ算出する。
次に、空画像生成部４３は、空領域を構成する各画素のそれぞれを、処理の対象として注目すべき画素（以下、「注目画素」と呼ぶ）として設定して、注目画素の色を次のようにして設定する。即ち、空画像生成部４３は、注目画素の高度に応じた補正内容を空色記憶部５１から認識し、当該補正内容に基づいて仮設定した色（空の基本色）を補正し、補正後の色を注目画素の色として設定する。
また、空画像生成部４３は、空領域以外の領域を構成する各画素の色については、透明を設定する。
また、空画像生成部４３は、空領域特定部４２から通知された空領域の高度範囲に基づいて、空領域を構成する各画素の高度をそれぞれ算出する。
次に、空画像生成部４３は、空領域を構成する各画素のそれぞれを、処理の対象として注目すべき画素（以下、「注目画素」と呼ぶ）として設定して、注目画素の色を次のようにして設定する。即ち、空画像生成部４３は、注目画素の高度に応じた補正内容を空色記憶部５１から認識し、当該補正内容に基づいて仮設定した色（空の基本色）を補正し、補正後の色を注目画素の色として設定する。
また、空画像生成部４３は、空領域以外の領域を構成する各画素の色については、透明を設定する。
このようにしてユーザにより設定されたパターンについての空の基本色が各画素の高度に応じてそれぞれ補正された色が、空領域を構成する各画素の色としてそれぞれ設定される。また、それ以外の領域を構成する画素が透明に設定される。
即ち、このような色の設定がなされた画像のデータが、空画像のデータとして生成される。
即ち、このような色の設定がなされた画像のデータが、空画像のデータとして生成される。
合成部４４は、原画像取得部４１により取得された原画像のデータと、空画像生成部４３により生成された空画像のデータとを合成することによって、合成画像のデータを生成する。
具体的には例えば、空領域については透明度が０％（非透明）にされ、それ以外については透明度が１００％（透明）にされた状態で、空画像が原画像の上に重畳されるように、合成画像のデータが生成される。
ここで、空領域の透明度は、０％（非透明）にする必要は特になく、例えば３０％などの半透明にしてもよい。これにより、原画像の色を合成画像に反映させることができる。
具体的には例えば、地域、時間帯、及び天候の３つのパラメータのうち、地域を変更する場合には透明度を０％にして全く違う空に変更するが、地域を変更せずに時間帯や天候だけを変更する場合には透明度を７０％などの半透明にし、時間帯や天候に応じた若干の色変化を表現するようにしてもよい。
また例えば、時間帯を変更する場合には、昼間の青く明るい空に対して夕方の赤みや暗さを表現するために、主に色相や明度の補正度合いを強くし、天候を変更する場合には、例えば晴天の鮮やかさに対して曇天の濁りを表現するために、主に彩度の補正度合いを強くするようにしてもよい。
つまり、地域、時間帯、天候のうちどの内容を変更するかに応じて、色相、彩度、明度のうちどの内容の補正度合いを強くするかを決定するようにしてもよい。
具体的には例えば、空領域については透明度が０％（非透明）にされ、それ以外については透明度が１００％（透明）にされた状態で、空画像が原画像の上に重畳されるように、合成画像のデータが生成される。
ここで、空領域の透明度は、０％（非透明）にする必要は特になく、例えば３０％などの半透明にしてもよい。これにより、原画像の色を合成画像に反映させることができる。
具体的には例えば、地域、時間帯、及び天候の３つのパラメータのうち、地域を変更する場合には透明度を０％にして全く違う空に変更するが、地域を変更せずに時間帯や天候だけを変更する場合には透明度を７０％などの半透明にし、時間帯や天候に応じた若干の色変化を表現するようにしてもよい。
また例えば、時間帯を変更する場合には、昼間の青く明るい空に対して夕方の赤みや暗さを表現するために、主に色相や明度の補正度合いを強くし、天候を変更する場合には、例えば晴天の鮮やかさに対して曇天の濁りを表現するために、主に彩度の補正度合いを強くするようにしてもよい。
つまり、地域、時間帯、天候のうちどの内容を変更するかに応じて、色相、彩度、明度のうちどの内容の補正度合いを強くするかを決定するようにしてもよい。
合成部４４は、合成画像のデータを、表示制御部４５に供給する。
すると、表示制御部４５は、合成部４４から供給されたデータが表現する合成画像、即ち、原画像に対して空領域の色が変化した画像を表示部１９に表示させる。
すると、表示制御部４５は、合成部４４から供給されたデータが表現する合成画像、即ち、原画像に対して空領域の色が変化した画像を表示部１９に表示させる。
また、合成部４４は、ユーザの操作部１８に対する保存の指定操作があった場合、当該合成画像のデータを、例えばリムーバブルメディア３１に保存する。
次に、図３を参照して、以上説明した図２の機能的構成を有する撮像装置１が実行する画像合成処理について説明する。
図３は、図２の機能的構成を有する撮像装置１が実行する画像合成処理の流れの一例を示すフローチャートである。
図３は、図２の機能的構成を有する撮像装置１が実行する画像合成処理の流れの一例を示すフローチャートである。
画像合成処理は、例えば、撮像画像が撮像された後に、ユーザが、当該撮像画像の空の色を変更する指示操作を操作部１８に対して行った場合、その操作を契機として開始される。なお、撮像画像の記録指示操作（シャッタ釦の全押操作等）を、空の色を変更する指示操作として兼用することも可能である。
ステップＳ１において、原画像取得部４１は、原画像のデータを取得する。
ステップＳ２において、空領域特定部４２は、ステップＳ１の処理で取得された原画像のデータを用いて、当該原画像から空領域を特定する処理を実行する。
このようなステップＳ２の処理を、以下、図３の同ステップの記載にあわせて「空領域特定処理」と呼ぶ。空領域特定処理の詳細については、図４のフローチャートを参照して後述する。
空領域特定処理の結果として、空領域の座標位置及び高度範囲が空画像生成部４３に通知されると、処理はステップＳ３に進む。
このようなステップＳ２の処理を、以下、図３の同ステップの記載にあわせて「空領域特定処理」と呼ぶ。空領域特定処理の詳細については、図４のフローチャートを参照して後述する。
空領域特定処理の結果として、空領域の座標位置及び高度範囲が空画像生成部４３に通知されると、処理はステップＳ３に進む。
ステップＳ３において、空画像生成部４３は、地域、時間帯、及び天候により特定される複数のパターンのうち、ユーザにより指定されたパターンを認識する。
即ち、上述したように、ユーザは、操作部１８を操作することで、所望のパターンを指定することができる。例えば、撮像画像の撮像時の状態で特定されるパターンを基礎パターンとして、ユーザが、地域、時間帯、及び天候のうち変更を所望するパラメータのみについて、変更後の値等を入力した場合、基礎パターンに対して、変更を所望するパラメータが入力値等に変換されたパターンが指定されたことになる。
そこで、空画像生成部４３は、このようなユーザによる操作部１８の操作内容を解釈し、その解釈結果に基づいて、ユーザにより指定されたパターンを認識する。
即ち、上述したように、ユーザは、操作部１８を操作することで、所望のパターンを指定することができる。例えば、撮像画像の撮像時の状態で特定されるパターンを基礎パターンとして、ユーザが、地域、時間帯、及び天候のうち変更を所望するパラメータのみについて、変更後の値等を入力した場合、基礎パターンに対して、変更を所望するパラメータが入力値等に変換されたパターンが指定されたことになる。
そこで、空画像生成部４３は、このようなユーザによる操作部１８の操作内容を解釈し、その解釈結果に基づいて、ユーザにより指定されたパターンを認識する。
ステップＳ４において、空画像生成部４３は、ユーザにより指定されたパターンの空の基本色を空色記憶部５１から認識し、空領域の高度に応じて当該基本色を画素単位で補正し、補正後の色を空領域の色として設定することによって、空画像のデータを生成する。
このようなステップＳ４の処理を、以下、図３の同ステップの記載にあわせて「空画像生成処理」と呼ぶ。空画像生成処理の詳細については、図５のフローチャートを参照して後述する。
空画像生成処理の結果、空画像のデータが得られて合成部４４に供給されると、処理はステップＳ５に進む。
このようなステップＳ４の処理を、以下、図３の同ステップの記載にあわせて「空画像生成処理」と呼ぶ。空画像生成処理の詳細については、図５のフローチャートを参照して後述する。
空画像生成処理の結果、空画像のデータが得られて合成部４４に供給されると、処理はステップＳ５に進む。
ステップＳ５において、合成部４４は、ステップＳ１の処理で取得された原画像のデータと、ステップＳ４の処理で生成された空画像のデータとを合成することにより、合成画像のデータを生成する。
ステップＳ６において、表示制御部４５は、ステップＳ５の処理で生成されたデータにより表現される合成画像を、表示部１９に表示させる。
これにより、画像合成処理は終了する。
これにより、画像合成処理は終了する。
次に、図４を参照して、図３の画像合成処理のうち、ステップＳ２の空領域特定処理の詳細な流れについて説明する。
図４は、空領域特定処理の詳細な流れを説明するフローチャートである。
図４は、空領域特定処理の詳細な流れを説明するフローチャートである。
ステップＳ２１において、空領域特定部４２は、撮像時における傾き検出部２２の検出結果のうち、光軸周りの撮像装置１の回転角に基づいて、原画像が正しく垂直に立つように、当該原画像のデータを補正する。
ステップＳ２２において、空領域特定部４２は、ステップＳ２１の処理で補正した原画像のデータについて、当該原画像の最上端から下方向に向けて、色領域を探索する。
ステップＳ２３において、空領域特定部４２は、ステップＳ２２の処理で探索された色領域を起点として、空領域を特定する。
即ち、空領域特定部４２は、探索された色領域を空領域の最上端領域として、所定条件が満たされる範囲内で、当該最上端領域から連続する領域を拡張していくことにより、空領域を特定する。
即ち、空領域特定部４２は、探索された色領域を空領域の最上端領域として、所定条件が満たされる範囲内で、当該最上端領域から連続する領域を拡張していくことにより、空領域を特定する。
ステップＳ２４において、空領域特定部４２は、撮像時における傾き検出部２２の検出結果のうち、撮像装置１の仰俯角に基づいて、ステップＳ２３の処理で特定された空領域の高度範囲を算出する。
これにより、空領域特定処理は終了する。即ち、図３のステップＳ２の処理が終了して、処理はステップＳ３に進む。
すると、上述したように、ステップＳ３の処理で、ユーザにより指定されたパターン（地域、時間帯、天候）が認識され、ステップＳ４の空画像生成処理で、当該パターンに応じた色の空領域を含む空画像のデータが生成される。
すると、上述したように、ステップＳ３の処理で、ユーザにより指定されたパターン（地域、時間帯、天候）が認識され、ステップＳ４の空画像生成処理で、当該パターンに応じた色の空領域を含む空画像のデータが生成される。
そこで、以下、図５を参照して、このようなステップＳ４の空画像生成処理の詳細な流れについて説明する。
図５は、図３の画像合成処理のうち、ステップＳ４の空画像生成処理の詳細な流れを説明するフローチャートである。
図５は、図３の画像合成処理のうち、ステップＳ４の空画像生成処理の詳細な流れを説明するフローチャートである。
ステップＳ３１において、空画像生成部４３は、図３のステップＳ３の処理で認識されたパターン（地域、時間帯、天候）、即ち、ユーザにより指定されたパターンについての空の基本色を、空色記憶部５１に記憶された基本色情報から認識する。
ステップＳ３２において、空画像生成部４３は、図３のステップＳ２の空領域特定処理により特定された空領域を構成する各画素の中から、色を決定すべき１つの画素を注目画素として設定する。
ステップＳ３３において、空画像生成部４３は、注目画素の高度を算出する。具体的には、空画像生成部４３は、図３のステップＳ２の空領域特定処理により特定された空領域の高度範囲のうち最下部の高度を、基準高度として設定する。また、空画像生成部４３は、空領域のうち最下部の画素と注目画素との高度差を算出する。
ここで、高度差の算出の手法としては、より正確性を求める場合には三角関数を用いる手法を採用してもよいが、処理時間等の考慮が必要な場合には、例えば次のような比例計算を用いる手法を採用すればよい。
即ち、空領域の高度範囲がそれほど大きくない場合には、空領域内の２点間の距離の垂直成分と当該２点間の高度差は近似的に比例すると考えてよい。
このように考えた場合、空画像生成部４３は、空領域の最下部を起点として、起点から注目画素までの距離の垂直成分の、起点から空領域の最上部までの距離の垂直成分に対する比率を求める。
次に、空画像生成部４３は、当該比率と、空領域の最下部から最上部までの高度差とを乗算し、その結果得られる角度を、高度差として求める。
そして、空画像生成部４３は、基準高度に対して高度差を加えることにより、注目画素の高度を算出する。
即ち、空領域の高度範囲がそれほど大きくない場合には、空領域内の２点間の距離の垂直成分と当該２点間の高度差は近似的に比例すると考えてよい。
このように考えた場合、空画像生成部４３は、空領域の最下部を起点として、起点から注目画素までの距離の垂直成分の、起点から空領域の最上部までの距離の垂直成分に対する比率を求める。
次に、空画像生成部４３は、当該比率と、空領域の最下部から最上部までの高度差とを乗算し、その結果得られる角度を、高度差として求める。
そして、空画像生成部４３は、基準高度に対して高度差を加えることにより、注目画素の高度を算出する。
ステップＳ３４において、空画像生成部４３は、ステップＳ３３の処理で算出した高度に応じた補正内容を、空色記憶部５１に記憶された高度補正情報に基づいて求める。
なお、この高度補正情報は、上記全てのパターンで共通のものを用いてもよいが、空の基本色と同様に、ユーザにより指定されたパターンに応じて選択するようにしてもよい。
なお、この高度補正情報は、上記全てのパターンで共通のものを用いてもよいが、空の基本色と同様に、ユーザにより指定されたパターンに応じて選択するようにしてもよい。
ステップＳ３５において、空画像生成部４３は、ステップＳ３４の処理で求めた補正内容に応じて、ステップＳ３１の処理で認識した空の基本色を補正する。
ステップＳ３６において、空画像生成部４３は、ステップＳ３５の処理による補正後の色を、注目画素の色として設定する。
ステップＳ３７において、空画像生成部４３は、空領域の全画素について色を設定したか否かを判定する。
空領域を構成する各画素の中に、未だ注目画素に設定されていない画素が存在する場合、当該画素の色は未だ設定されていないので、ステップＳ３７においてＹＥＳであると判定されて、処理はステップＳ３２に戻され、それ以降の処理が繰り返される。即ち、空領域を構成する各画素のそれぞれが注目画素に設定される毎に、ステップＳ３３乃至Ｓ３６の処理が繰り返し実行されて、注目画素となった画素の色がその都度設定される。
このように、ステップＳ３２乃至Ｓ３７のループ処理が繰り返し実行されることによって、空領域を構成する画素毎に、高度に応じて空の基本色が補正された色がそれぞれ設定される。これにより、空領域の色は、一律に同一色になるのではなく、空の基本色をベースにしつつも画素単位で微妙に変化する（高度に応じた変化をしていく）ので、自然な空の色に近付くことになる。
その後、空領域を構成する各画素のうち、最後に注目画素に設定された画素についてのステップＳ３６の処理が終了すると、即ち、空領域の全画素について色が設定されると、ステップＳ３７においてＹＥＳであると判定されて、処理はステップＳ３８に進む。
空領域を構成する各画素の中に、未だ注目画素に設定されていない画素が存在する場合、当該画素の色は未だ設定されていないので、ステップＳ３７においてＹＥＳであると判定されて、処理はステップＳ３２に戻され、それ以降の処理が繰り返される。即ち、空領域を構成する各画素のそれぞれが注目画素に設定される毎に、ステップＳ３３乃至Ｓ３６の処理が繰り返し実行されて、注目画素となった画素の色がその都度設定される。
このように、ステップＳ３２乃至Ｓ３７のループ処理が繰り返し実行されることによって、空領域を構成する画素毎に、高度に応じて空の基本色が補正された色がそれぞれ設定される。これにより、空領域の色は、一律に同一色になるのではなく、空の基本色をベースにしつつも画素単位で微妙に変化する（高度に応じた変化をしていく）ので、自然な空の色に近付くことになる。
その後、空領域を構成する各画素のうち、最後に注目画素に設定された画素についてのステップＳ３６の処理が終了すると、即ち、空領域の全画素について色が設定されると、ステップＳ３７においてＹＥＳであると判定されて、処理はステップＳ３８に進む。
ステップＳ３８において、空画像生成部４３は、原画像と同一解像度であって、空領域を構成する各画素については、ステップＳ３２乃至Ｓ３７のループ処理でそれぞれ設定された色を有し、それ以外の領域は透明となっている画像のデータを、空画像のデータとして生成する。
これにより、空画像生成処理は終了する。即ち、図３のステップＳ４の処理は終了し、処理はステップＳ５に進む。
ステップＳ５の処理で、原画像と空画像とが合成された合成画像のデータが生成され、ステップＳ６の処理で、当該合成画像が表示される。
ステップＳ５の処理で、原画像と空画像とが合成された合成画像のデータが生成され、ステップＳ６の処理で、当該合成画像が表示される。
以上、空領域の透明度を０％（非透明）にする空画像生成処理について説明した。しかしながら、空領域の透明度は、０％にする必要は特になく、半透明（０％を超えた任意の％）であってもよい。この場合の空画像生成処理は、基本的に上述の図５のフローチャートに従った処理になる。ただし、ステップ３８において、上述の処理の代わりに、次のような処理が実行される。
まず、空画像生成部４３は、地域、時間帯、天候のうちどの内容を変更するかに応じて、色相、彩度、明度の各々の補正度合いを取得する。
次に、空画像生成部４３は、原画像のデータを色相、彩度、明度の３つの成分に分割し、色相成分原画像、彩度成分原画像、及び明度成分原画像の各データを生成する。
空画像生成部４３は、空画像のデータについても同様にして、色相成分空画像、彩度成分空画像、明度成分空画像の各データを生成する。
そして、空画像生成部４３は、色相成分空画像の透明度を、色相の補正度合に対応する値に設定し、透明度が設定された色相成分空画像と色相成分原画像との各データを合成することによって、色相成分合成画像のデータを生成する。
同様にして、空画像生成部４３は、彩度成分合成画像と明度成分合成画像との各データも生成する。
最後に、空画像生成部４３は、これら生成された色相成分合成画像、彩度成分合成画像、明度成分合成画像の各データを合成することによって、合成画像のデータを生成する。
まず、空画像生成部４３は、地域、時間帯、天候のうちどの内容を変更するかに応じて、色相、彩度、明度の各々の補正度合いを取得する。
次に、空画像生成部４３は、原画像のデータを色相、彩度、明度の３つの成分に分割し、色相成分原画像、彩度成分原画像、及び明度成分原画像の各データを生成する。
空画像生成部４３は、空画像のデータについても同様にして、色相成分空画像、彩度成分空画像、明度成分空画像の各データを生成する。
そして、空画像生成部４３は、色相成分空画像の透明度を、色相の補正度合に対応する値に設定し、透明度が設定された色相成分空画像と色相成分原画像との各データを合成することによって、色相成分合成画像のデータを生成する。
同様にして、空画像生成部４３は、彩度成分合成画像と明度成分合成画像との各データも生成する。
最後に、空画像生成部４３は、これら生成された色相成分合成画像、彩度成分合成画像、明度成分合成画像の各データを合成することによって、合成画像のデータを生成する。
以上説明したように、本発明の第１実施形態に係る撮像装置１は、原画像取得部４１と、空領域特定部４２と、空画像生成部４３と、合成部４４と、を備えている。
原画像取得部４１は、空の像を含む原画像のデータを取得する。
空領域特定部４２は、原画像のデータについて、空の像を含む領域を空領域として特定する。
空画像生成部４３は、空領域の基本となる基本色を設定し、空領域の各画素が示す空の高度をそれぞれ求め、基本色及び高度に基づいて、空領域の各画素が示す空の色をそれぞれ変換するための補正情報として、空画像のデータを生成する。即ち、空画像生成部４３は、基本色及び高度に基づいて、空領域の各部分の補正後の色を設定し、補正後の色をそれぞれ有する各部分から構成される空領域を含む空画像のデータを、補正情報として生成する。
合成部４４は、原画像のデータと、空画像生成部４３により補正情報として生成された画像のデータとを合成することによって、原画像のデータに対して、空領域の色が補正後の色に変換された合成画像のデータを生成する。
原画像取得部４１は、空の像を含む原画像のデータを取得する。
空領域特定部４２は、原画像のデータについて、空の像を含む領域を空領域として特定する。
空画像生成部４３は、空領域の基本となる基本色を設定し、空領域の各画素が示す空の高度をそれぞれ求め、基本色及び高度に基づいて、空領域の各画素が示す空の色をそれぞれ変換するための補正情報として、空画像のデータを生成する。即ち、空画像生成部４３は、基本色及び高度に基づいて、空領域の各部分の補正後の色を設定し、補正後の色をそれぞれ有する各部分から構成される空領域を含む空画像のデータを、補正情報として生成する。
合成部４４は、原画像のデータと、空画像生成部４３により補正情報として生成された画像のデータとを合成することによって、原画像のデータに対して、空領域の色が補正後の色に変換された合成画像のデータを生成する。
ここで、ユーザが、撮像装置１を用いて、所定場所（例えば日本国の東京都Ａ区）から見える空の景観の画像を、撮像画像として撮像する場合を考える。ただし、ユーザの撮像行為の目的は、当該所定場所（例えば日本国の東京都Ａ区）から見える空であって、かつ、所望の色になっている空の景観の画像を得ることであるとする。
この場合、空画像生成部４３は、基本色として適切な色を設定することで、空領域の各画素が示す空の色として、ユーザの所望の色を設定することが可能になる。このようにして、ユーザの撮像行為の目的に合致した画像処理が実現される。
さらに、空領域に対しては、基本色等の同一色が一律に設定されるわけではなく、各画素の高度に応じて基本色が画素単位で補正された色（補正後の色）がそれぞれ設定されるので、空領域の色は、より自然で現実味のある空の色に変換されることになる。このようにして、より自然で現実味のある空の色を表現できる画像処理が実現可能になる。
この場合、空画像生成部４３は、基本色として適切な色を設定することで、空領域の各画素が示す空の色として、ユーザの所望の色を設定することが可能になる。このようにして、ユーザの撮像行為の目的に合致した画像処理が実現される。
さらに、空領域に対しては、基本色等の同一色が一律に設定されるわけではなく、各画素の高度に応じて基本色が画素単位で補正された色（補正後の色）がそれぞれ設定されるので、空領域の色は、より自然で現実味のある空の色に変換されることになる。このようにして、より自然で現実味のある空の色を表現できる画像処理が実現可能になる。
さらに、本発明の第１実施形態の撮像装置１においては、地域、時間帯、及び天候をパラメータとして、複数のパラメータにより特定されるパターン毎に、基本色の候補となる色（空の基本色）がそれぞれ予め対応付けられている。
そして、ユーザは、操作部１８を操作することによって、複数のパターンのうち、所定のパターンを指定することができる。
この場合のパターンの指定手法は、結果としてパターンを指定できたのと等価になっていれば足り、特に限定されない。
上述したように、例えば、ユーザが、地域、時間帯、及び天候の各々を独立して１つずつ入力した場合、入力された地域、入力された時間帯、及び入力された天候から特定されるパターンが指定されたことになる。
また例えば、撮像画像の撮像時に特定されるパターンを基礎パターンとして、ユーザが、地域、時間帯、及び天候のうち変更を所望するパラメータのみについて、変更後の値等を入力した場合、基礎パターンに対して、パラメータが入力値等に変換されたパターンが指定されたことになる。
さらに例えば、複数のパターンが予めユーザに提示される場合（図１の表示部１９に表示される場合）、ユーザは、提示された複数のパターンの中から所望の１つを選択すると、その選択されたパターンが指定されたことになる。
これにより、空画像生成部４３は、指定された所定のパターンに対応する色を、基本色として設定することができるので、ユーザの撮像行為の目的により合致した画像処理が実現可能になる。
そして、ユーザは、操作部１８を操作することによって、複数のパターンのうち、所定のパターンを指定することができる。
この場合のパターンの指定手法は、結果としてパターンを指定できたのと等価になっていれば足り、特に限定されない。
上述したように、例えば、ユーザが、地域、時間帯、及び天候の各々を独立して１つずつ入力した場合、入力された地域、入力された時間帯、及び入力された天候から特定されるパターンが指定されたことになる。
また例えば、撮像画像の撮像時に特定されるパターンを基礎パターンとして、ユーザが、地域、時間帯、及び天候のうち変更を所望するパラメータのみについて、変更後の値等を入力した場合、基礎パターンに対して、パラメータが入力値等に変換されたパターンが指定されたことになる。
さらに例えば、複数のパターンが予めユーザに提示される場合（図１の表示部１９に表示される場合）、ユーザは、提示された複数のパターンの中から所望の１つを選択すると、その選択されたパターンが指定されたことになる。
これにより、空画像生成部４３は、指定された所定のパターンに対応する色を、基本色として設定することができるので、ユーザの撮像行為の目的により合致した画像処理が実現可能になる。
以上の、本発明の第１実施形態の撮像装置１が奏することが可能な効果を、具体的に説明すると、次のようになる。
例えば、ユーザにとって、地域、時間帯、及び天候から特定されるパターンとして所望のパターンで撮像したのと等価な景観の画像を容易に得ることが可能になる。
即ち、ユーザは、地域、時間帯、及び天候の各パラメータを全く独立に選択して組み合わせることによって、各種各様のパターンを指定することができる。
従って、撮像画像に写る空の色として、撮像地点とは全く別の地域の空の色や、撮像時点とは全く別の時間帯の空の色を反映させることが容易に可能になる。
さらに、パラメータとしての時間帯は、１日単位のスパンのみならず、月単位や年単位のスパンで設定することが可能である。これにより、四季の移り変わり等の長期のスパンでの、空の色の変化を撮像画像に反映させることが容易に可能になる。
このように、ユーザは、撮像画像に写る空の色を、撮像後の任意の時点で、任意の色に変換することができる。従って、ユーザは、景観を撮像する場合、撮像時点の空の状態を何ら考慮する必要がなくなる。
これにより、最終的にデータとして記録される画像について、作画表現の幅や範囲を広げ、ユーザにとって失敗と認識される率を大幅に低減することが可能になる。また、ユーザは、レタッチソフトで修正加工する手間も必要としない。
即ち、ユーザは、地域、時間帯、及び天候の各パラメータを全く独立に選択して組み合わせることによって、各種各様のパターンを指定することができる。
従って、撮像画像に写る空の色として、撮像地点とは全く別の地域の空の色や、撮像時点とは全く別の時間帯の空の色を反映させることが容易に可能になる。
さらに、パラメータとしての時間帯は、１日単位のスパンのみならず、月単位や年単位のスパンで設定することが可能である。これにより、四季の移り変わり等の長期のスパンでの、空の色の変化を撮像画像に反映させることが容易に可能になる。
このように、ユーザは、撮像画像に写る空の色を、撮像後の任意の時点で、任意の色に変換することができる。従って、ユーザは、景観を撮像する場合、撮像時点の空の状態を何ら考慮する必要がなくなる。
これにより、最終的にデータとして記録される画像について、作画表現の幅や範囲を広げ、ユーザにとって失敗と認識される率を大幅に低減することが可能になる。また、ユーザは、レタッチソフトで修正加工する手間も必要としない。
また、本発明の第１実施形態の撮像装置１により、上述した画像合成処理が実行された結果として得られる合成画像のうち、空領域の色は、原画像の空の色が補正された色になっている。さらに、空領域全体で一律に同一色となるように補正されるのではなく、画素単位で、空の高度角（仰俯角）に応じた色にそれぞれ補正される。これにより、補正後の空領域の色は、より自然で現実味のある空の色になる。
即ち、他の被写体と比べて、空という被写体は、田舎や都会、海辺や山裾等の場所の違いによらず、屋外であればどんな場所にでも存在し、撮像画像に写る可能性が高く、かつ写る面積も広い。従って、空の状態によって撮像画像の雰囲気が大きく変化することも多々あるため、空は被写体としての影響力が強い。
本発明の第１実施形態の撮像装置１は、この空の状態のうち、特に影響力の強い空の色を、撮像時とは異なる色であるが、違和感の無い自然な空の色へと自由に変更することが可能となる。
即ち、他の被写体と比べて、空という被写体は、田舎や都会、海辺や山裾等の場所の違いによらず、屋外であればどんな場所にでも存在し、撮像画像に写る可能性が高く、かつ写る面積も広い。従って、空の状態によって撮像画像の雰囲気が大きく変化することも多々あるため、空は被写体としての影響力が強い。
本発明の第１実施形態の撮像装置１は、この空の状態のうち、特に影響力の強い空の色を、撮像時とは異なる色であるが、違和感の無い自然な空の色へと自由に変更することが可能となる。
以上、本発明の画像処理装置の第１実施形態としての撮像装置１について説明した。
次に、本発明の画像処理装置の第２実施形態としての撮像装置１について説明する。
次に、本発明の画像処理装置の第２実施形態としての撮像装置１について説明する。
〔第２実施形態〕
本発明の第２実施形態に係る撮像装置１は、第１実施形態に係る撮像装置１と基本的に同様のハードウェア構成を取ることができる。
従って、図１は、第２実施形態に係る撮像装置１のハードウェアの構成を示すブロック図でもある。第２実施形態に係る撮像装置１は、第１実施形態と同様に、例えばデジタルカメラにより構成することができる。
本発明の第２実施形態に係る撮像装置１は、第１実施形態に係る撮像装置１と基本的に同様のハードウェア構成を取ることができる。
従って、図１は、第２実施形態に係る撮像装置１のハードウェアの構成を示すブロック図でもある。第２実施形態に係る撮像装置１は、第１実施形態と同様に、例えばデジタルカメラにより構成することができる。
図６は、本発明の第２実施形態に係る撮像装置１の機能的構成のうち、画像合成処理の実行機能を実現する機能的構成例を示す機能ブロック図である。
図２と図６とを比較するに、第２実施形態に係る撮像装置１のCPU１１内の機能的構成は、第１実施形態に係る機能的構成と基本的に同様である。
ただし、空画像生成部４３に適用されている空画像のデータの生成手法が、第１実施形態と第２実施形態とでは異なる。即ち、第１実施形態では、実際の観測に基づく空の基本色に基づいて空画像のデータを生成する手法が採用されていた。これに対して、第２実施形態では、シミュレーションに基づいて空画像のデータを生成する手法が採用されている。
ただし、空画像生成部４３に適用されている空画像のデータの生成手法が、第１実施形態と第２実施形態とでは異なる。即ち、第１実施形態では、実際の観測に基づく空の基本色に基づいて空画像のデータを生成する手法が採用されていた。これに対して、第２実施形態では、シミュレーションに基づいて空画像のデータを生成する手法が採用されている。
このような空画像のデータの生成手法の違いにより、記憶部２０内の構成が、第１実施形態と第２実施形態とでは異なる。即ち、第１実施形態では、実際の観測に基づく空の基本色を示す基本色情報が複数のパターン毎に記憶される空色記憶部５１が、記憶部２０に設けられていた。これに対して、第２実施形態では、シミュレーションに用いる情報が記憶される気象状態記憶部６１が、記憶部２０に設けられている。
即ち、気象状態記憶部６１は、空の色を発現させる原因となる太陽や大気の状態を示す情報（以下、「気象状態情報」と呼ぶ）を複数のパターン毎に記憶している。ここで、パターンは、第１実施形態と同様に、地域、時間帯、及び天候の各パラメータの組み合わせにより特定される。
即ち、気象状態記憶部６１は、空の色を発現させる原因となる太陽や大気の状態を示す情報（以下、「気象状態情報」と呼ぶ）を複数のパターン毎に記憶している。ここで、パターンは、第１実施形態と同様に、地域、時間帯、及び天候の各パラメータの組み合わせにより特定される。
このように、第２実施形態では、空画像生成部４３は、気象状態記憶部６１にパターン毎に記憶されている気象状態情報から、所定パターンの太陽や大気の状態を認識する。
次に、空画像生成部４３は、認識された状態を用いて、所定のシミュレーションを実行する。具体的には、空画像生成部４３は、認識された状態に基づいてパラメータを設定し、当該パラメータを用いた大気光散乱シミュレーションを実行する。
そして、空画像生成部４３は、当該シミュレーションの結果に基づいて、空領域の各部分の色を設定し、その後、第１実施形態と同様の手法により、空画像のデータを生成する。
次に、空画像生成部４３は、認識された状態を用いて、所定のシミュレーションを実行する。具体的には、空画像生成部４３は、認識された状態に基づいてパラメータを設定し、当該パラメータを用いた大気光散乱シミュレーションを実行する。
そして、空画像生成部４３は、当該シミュレーションの結果に基づいて、空領域の各部分の色を設定し、その後、第１実施形態と同様の手法により、空画像のデータを生成する。
さらに、以下、第２実施形態に係る空画像生成部４３に適用可能な、空領域の各部分の色の設定手法の一例について説明する。
上述したように、本設定手法では、大気光散乱シミュレーションが実行される。空（天空）の色は、大気光散乱が一因となって決定されるからである。このような大気光散乱は、主にレイリー散乱とミー散乱の２種類に大別される。
レイリー散乱とは、光の波長より小さい空気分子による散乱であり、光の波長の４乗に反比例し、波長によって散乱確率が大きく異なるという特徴を有する散乱である。
そこで先ず、光の波長毎に、多数の光子が、撮像装置１から空領域の各方向に向けて放出されたという仮想の下、空画像生成部４３は、次のようなシミュレーションを実行する。
即ち、空画像生成部４３は、上述の仮想の下に、光子がレイリー散乱を起こしながら大気圏の外に出るまでのシミュレーションを実行する。空画像生成部４３は、シミュレーションの実行中に、光子の軌跡を追い、当該光子が大気圏を出た位置と方向によって、当該光子が撮像装置１に伝達するエネルギーを決定する。
空画像生成部４３は、放出された全光子について、このようなエネルギーの決定を行い、光子の波長毎、また、撮像装置１から放出された方向毎に、各光子のエネルギーの和を取ることにより、各波長の各方向における分光強度を求める。
このようにして、レイリー散乱についての分光強度が、光の波長毎、また、空領域の方向毎に求められる。
なお、このシミュレーションの詳細は、非特許文献１にも記載されている。
そこで先ず、光の波長毎に、多数の光子が、撮像装置１から空領域の各方向に向けて放出されたという仮想の下、空画像生成部４３は、次のようなシミュレーションを実行する。
即ち、空画像生成部４３は、上述の仮想の下に、光子がレイリー散乱を起こしながら大気圏の外に出るまでのシミュレーションを実行する。空画像生成部４３は、シミュレーションの実行中に、光子の軌跡を追い、当該光子が大気圏を出た位置と方向によって、当該光子が撮像装置１に伝達するエネルギーを決定する。
空画像生成部４３は、放出された全光子について、このようなエネルギーの決定を行い、光子の波長毎、また、撮像装置１から放出された方向毎に、各光子のエネルギーの和を取ることにより、各波長の各方向における分光強度を求める。
このようにして、レイリー散乱についての分光強度が、光の波長毎、また、空領域の方向毎に求められる。
なお、このシミュレーションの詳細は、非特許文献１にも記載されている。
一方、ミー散乱とは、光の波長と同程度の塵や雲などのエアロゾル微粒子による散乱であり、光の波長にはあまり依存しないが、その日の天候によって散乱確率が大きく異なるという特徴を有する散乱である。
そこで、空画像生成部４３は、エアロゾルなどの大気の状態を気象状態記憶部６１から認識し、当該大気の状態をパラメータにして、レイリー散乱についてのシミュレーションと同様のシミュレーションを実行する。
これにより、ミー散乱についての分光強度が、光の波長毎、また、空領域の方向毎に求められる。
そこで、空画像生成部４３は、エアロゾルなどの大気の状態を気象状態記憶部６１から認識し、当該大気の状態をパラメータにして、レイリー散乱についてのシミュレーションと同様のシミュレーションを実行する。
これにより、ミー散乱についての分光強度が、光の波長毎、また、空領域の方向毎に求められる。
空画像生成部４３は、光の波長毎、空領域の方向毎に、レイリー散乱についての分光強度とミー散乱についての分光強度の和を算出することにより、光の波長毎、空領域の方向毎の分光強度を求める。
そして、空画像生成部４３は、各方向の波長毎の分光強度に基づいて、空領域の各部分の色をそれぞれ設定する。
そして、空画像生成部４３は、各方向の波長毎の分光強度に基づいて、空領域の各部分の色をそれぞれ設定する。
以上、第２実施形態に係る空画像生成部４３に適用可能な、空領域の各部分の色の設定手法の一例について説明した。
なお、第２実施形態に係る空画像生成部４３に適用可能な、空領域の各部分の色の設定手法は、上述の例に特に限定されず、各種各様の手法を採用することが可能である。
なお、第２実施形態に係る空画像生成部４３に適用可能な、空領域の各部分の色の設定手法は、上述の例に特に限定されず、各種各様の手法を採用することが可能である。
以上説明した図６の機能的構成を有する撮像装置１、即ち第２実施形態に係る撮像装置１は、第１実施形態に係る撮像装置１と同様に、図３のフローチャートの流れに従って、画像合成処理を実行する。
ただし、上述したように、空画像のデータを生成する手法が、第１実施形態と第２実施形態とでは異なる。このため、ステップＳ４の空画像生成処理も、第１実施形態と第２実施形態とでは異なる。
そこで、以下、図７を参照して、第２実施形態に係る撮像装置１が実行する空画像生成処理について説明する。
ただし、上述したように、空画像のデータを生成する手法が、第１実施形態と第２実施形態とでは異なる。このため、ステップＳ４の空画像生成処理も、第１実施形態と第２実施形態とでは異なる。
そこで、以下、図７を参照して、第２実施形態に係る撮像装置１が実行する空画像生成処理について説明する。
図７は、図３の画像合成処理のうち、第２実施形態に係るステップＳ４の空画像生成処理の詳細な流れを説明するフローチャートである。
ステップＳ５１において、空画像生成部４３は、図３のステップＳ３の処理で認識されたパターン（地域、時間帯、天候）、即ち、ユーザにより指定されたパターンについての太陽と大気の状態を、気象状態記憶部６１に記憶された気象状態情報から認識する。
ステップＳ５２において、空画像生成部４３は、ステップＳ５１の処理で認識した太陽と大気の状態に基づいて大気光散乱シミュレーションを実行する。
ステップＳ５３において、空画像生成部４３は、図３のステップＳ２の空領域特定処理で特定された空領域の各部分の色を設定する。
ステップＳ５４において、空画像生成部４３は、原画像と同一解像度であって、空領域を構成する各画素については、ステップＳ５３の処理でそれぞれ設定された色を有し、それ以外の領域は透明となっている画像のデータを、空画像のデータとして生成する。
これにより、第２実施形態に係る空画像生成処理は終了する。即ち、図３のステップＳ４の処理は終了し、処理はステップＳ５に進む。
ステップＳ５の処理で、撮像画像と空画像とが合成された合成画像のデータが生成され、ステップＳ６の処理で、当該合成画像が表示される。
ステップＳ５の処理で、撮像画像と空画像とが合成された合成画像のデータが生成され、ステップＳ６の処理で、当該合成画像が表示される。
以上説明したように、本発明の第２実施形態に係る撮像装置１は、原画像取得部４１と、空領域特定部４２と、空画像生成部４３と、合成部４４と、を備えている。
原画像取得部４１は、空の像を含む原画像のデータを取得する。
空領域特定部４２は、原画像のデータについて、空の像を含む領域を空領域として特定する。
空画像生成部４３は、地域、時間帯、及び天候の３つのパラメータから特定される各種パターンのうち、ユーザにより指定されたパターンについての、太陽と大気の状態を認識する。次に、空画像生成部４３は、これらの太陽と大気の状態に基づいて大気光散乱シミュレーションを実行し、その実行結果に基づいて、空領域特定処理の各部分の色を設定する。そして、空画像生成部４３は、原画像と同一解像度であって、空領域については、ステップＳ５３の処理で設定された色として、それ以外の領域については透明とする空画像のデータを、補正情報として生成する。
合成部４４は、原画像のデータと、空画像生成部４３により補正情報として生成された画像のデータとを合成することによって、原画像のデータに対して、空領域の色が補正後の色に変換された合成画像のデータを生成する。
原画像取得部４１は、空の像を含む原画像のデータを取得する。
空領域特定部４２は、原画像のデータについて、空の像を含む領域を空領域として特定する。
空画像生成部４３は、地域、時間帯、及び天候の３つのパラメータから特定される各種パターンのうち、ユーザにより指定されたパターンについての、太陽と大気の状態を認識する。次に、空画像生成部４３は、これらの太陽と大気の状態に基づいて大気光散乱シミュレーションを実行し、その実行結果に基づいて、空領域特定処理の各部分の色を設定する。そして、空画像生成部４３は、原画像と同一解像度であって、空領域については、ステップＳ５３の処理で設定された色として、それ以外の領域については透明とする空画像のデータを、補正情報として生成する。
合成部４４は、原画像のデータと、空画像生成部４３により補正情報として生成された画像のデータとを合成することによって、原画像のデータに対して、空領域の色が補正後の色に変換された合成画像のデータを生成する。
これにより、第２実施形態に係る撮像装置１は、第１実施形態に係る撮像装置１と同様の効果を奏することができるとともに、さらに、次のような効果を奏することが可能になる。
即ち、上述の第２実施形態の説明では、空画像生成部４３は、気象状態記憶部６１にパターン毎に記憶されている太陽や大気の気象状態情報を用いて空の色をシミュレートしていたが、オプションとして、ユーザが太陽や大気の気象状態を変更できるようにすれば、ある地域において現実にはあり得ない気象状態を設定して、空の色をシミュレートすることも可能になる。
この場合、その地域の気象状態としては現実にあり得ないとしても、空の色としては、あくまでも自然法則に則ってシミュレートされているわけであるから、現実に起こり得る自然な画像となるはずである。
このようにして、第２実施形態に係る撮像装置１は、ユーザの画像創作の可能性を、さらに広げることが可能となる。
即ち、上述の第２実施形態の説明では、空画像生成部４３は、気象状態記憶部６１にパターン毎に記憶されている太陽や大気の気象状態情報を用いて空の色をシミュレートしていたが、オプションとして、ユーザが太陽や大気の気象状態を変更できるようにすれば、ある地域において現実にはあり得ない気象状態を設定して、空の色をシミュレートすることも可能になる。
この場合、その地域の気象状態としては現実にあり得ないとしても、空の色としては、あくまでも自然法則に則ってシミュレートされているわけであるから、現実に起こり得る自然な画像となるはずである。
このようにして、第２実施形態に係る撮像装置１は、ユーザの画像創作の可能性を、さらに広げることが可能となる。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
即ち、本発明の画像処理装置は、上述の第１及び第２の実施形態に限定されず、原画像内の空の状態を、撮像時点の実際の空の状態とは異なり、かつ、他の自然な空の状態へと変換する画像処理を実行可能であれば足り、各種各様の実施形態を取ることができる。
換言すると、第１実施形態に係る撮像装置１は、空の状態として空の色を採用し、次のような画像処理を実行する画像処理装置の一例である。即ち、第１実施形態に係る撮像装置１は、撮像時点の空の色とは異なる空の色を基本色として決定し、原画像内より検出される空領域内の各部分（各画素）の色を、その高度（仰俯角）に応じて基本色が補正された色に変換する、といった第１画像処理を実行する。
第１実施形態に係る撮像装置１は、第１画像処理を実現するに際し、地域、時間帯、及び天候といった３つのパラメータの組み合わせ（パターン）に基づいて、基本色や、高度（仰俯角）に応じた補正内容を決定した。しかしながら、基本色や、高度（仰俯角）に応じた補正内容を決定するために用いるパラメータは、特に第１実施形態の例に限定されず、任意の数の任意の種類のパラメータを採用することができる。
例えば、本発明の画像処理装置は、地域（撮像地域等）と時間帯の少なくとも一方をパラメータとして用いて、基本色や、高度（仰俯角）に応じた補正内容を決定してもよい。
例えば、本発明の画像処理装置は、ユーザが任意に指定した天候を少なくともパラメータとして用いて、基本色や、高度（仰俯角）に応じた補正内容を決定してもよい。
例えば、本発明の画像処理装置は、ユーザが任意に指定した色を少なくともパラメータとして用いて、基本色や、高度（仰俯角）に応じた補正内容を決定してもよい。
例えば、本発明の画像処理装置は、地域（撮像地域等）と時間帯の少なくとも一方をパラメータとして用いて、基本色や、高度（仰俯角）に応じた補正内容を決定してもよい。
例えば、本発明の画像処理装置は、ユーザが任意に指定した天候を少なくともパラメータとして用いて、基本色や、高度（仰俯角）に応じた補正内容を決定してもよい。
例えば、本発明の画像処理装置は、ユーザが任意に指定した色を少なくともパラメータとして用いて、基本色や、高度（仰俯角）に応じた補正内容を決定してもよい。
また、第１実施形態に係る撮像装置１は、次のような第２画像処理を実行する画像処理装置の一例であると把握することもできる。即ち、第１実施形態に係る撮像装置１は、原画像内の空の状態を、撮像時点のパターン（地域、時間帯、天候）とは異なるパターンに対応する空の状態に変換する、といった第２画像処理を実行する。
ここで、撮像時点のパターン（地域、時間帯、天候）とは異なるパターンは、例えば、撮像時点の地域、撮像時点の時間帯、及び撮像時点の天候のうち、任意の数の任意のパラメータを変更させることで実現可能である。
即ち、第１実施形態では、このような第２画像処理は、空の状態を示す情報として、パターン（地域、時間帯、及び天候）毎の空の基本色を示す基本色情報や、高度（仰俯角）に応じた色の補正内容を示す高度補正情報が予め保持されることにより実現された。ここで、高度補正情報としては、例えば、明度、彩度、色相の補正データが採用される。
ここで、撮像時点のパターン（地域、時間帯、天候）とは異なるパターンは、例えば、撮像時点の地域、撮像時点の時間帯、及び撮像時点の天候のうち、任意の数の任意のパラメータを変更させることで実現可能である。
即ち、第１実施形態では、このような第２画像処理は、空の状態を示す情報として、パターン（地域、時間帯、及び天候）毎の空の基本色を示す基本色情報や、高度（仰俯角）に応じた色の補正内容を示す高度補正情報が予め保持されることにより実現された。ここで、高度補正情報としては、例えば、明度、彩度、色相の補正データが採用される。
このような第２画像処理の実現形態は、上述の第１実施形態の例に特に限定されず、適宜変化させてもよい。
例えば、次のようにして実現される第２画像処理を実行する画像処理装置が、第２実施形態の撮像装置１であると把握することもできる。即ち、第２実施形態では、「撮像時点のパターン（地域、時間帯、及び天候）とは異なるパターンに対応する空の状態」が、当該パターンの大気状態等に基づく太陽光の散乱をシミュレーションすることにより求められる。当該シミュレーションの結果に基づいて、第２画像処理が実現される。
また例えば、各地域毎に属性や特徴が予め保持されていれば、本発明の画像処理装置は、ユーザにより指定されたパターンにより特定される地域の属性や特徴に基づいて、第２画像処理を実行することができる。ここで、地域の属性や特徴としては、海洋性、大陸性、海岸に近い、都市か田舎か、工場地帯、田畑、森林等を採用することができる。
また例えば、地域と時間帯の組み合わせ毎に、気象要素、エアロゾルの種類や成分や量、特にエアロゾル粒子の大きさ（これにより回折角度や波長等が異なる）、又はミー散乱の係数等を予め設定しておくことができる。この場合、本発明の画像処理装置は、これらの設定内容に基づいて、第２画像処理を実行することができる。
また例えば、シミュレーションに基づいて第２画像処理が実行される場合には、そのシミュレーションの種類やパラメータ等は、第２実施形態の例に特に限定されない。例えば、本発明の画像処理装置は、地域や時間に応じた気象要素若しくはエアロゾル粒子の大きさ等に基づいて、光の屈折若しくは反射、吸収、回折、散乱等の角度又は角度毎の強度といった要素を、シミュレーションを実行して求めてもよい。なお、これらの要素は、シミュレーションによらず、所定のアルゴリズムにより算出されてもよい。
例えば、次のようにして実現される第２画像処理を実行する画像処理装置が、第２実施形態の撮像装置１であると把握することもできる。即ち、第２実施形態では、「撮像時点のパターン（地域、時間帯、及び天候）とは異なるパターンに対応する空の状態」が、当該パターンの大気状態等に基づく太陽光の散乱をシミュレーションすることにより求められる。当該シミュレーションの結果に基づいて、第２画像処理が実現される。
また例えば、各地域毎に属性や特徴が予め保持されていれば、本発明の画像処理装置は、ユーザにより指定されたパターンにより特定される地域の属性や特徴に基づいて、第２画像処理を実行することができる。ここで、地域の属性や特徴としては、海洋性、大陸性、海岸に近い、都市か田舎か、工場地帯、田畑、森林等を採用することができる。
また例えば、地域と時間帯の組み合わせ毎に、気象要素、エアロゾルの種類や成分や量、特にエアロゾル粒子の大きさ（これにより回折角度や波長等が異なる）、又はミー散乱の係数等を予め設定しておくことができる。この場合、本発明の画像処理装置は、これらの設定内容に基づいて、第２画像処理を実行することができる。
また例えば、シミュレーションに基づいて第２画像処理が実行される場合には、そのシミュレーションの種類やパラメータ等は、第２実施形態の例に特に限定されない。例えば、本発明の画像処理装置は、地域や時間に応じた気象要素若しくはエアロゾル粒子の大きさ等に基づいて、光の屈折若しくは反射、吸収、回折、散乱等の角度又は角度毎の強度といった要素を、シミュレーションを実行して求めてもよい。なお、これらの要素は、シミュレーションによらず、所定のアルゴリズムにより算出されてもよい。
ここで、第２画像処理において、変換される空の状態は、第１及び第２実施形態では、空の色とされたが、特にこれに限定されない。
例えば、本発明の画像処理装置は、雲の状態等を変換する第２画像処理を実行してもよい。
具体的には例えば、パターン（例えば、地域、時間帯、天候等から特定されるパターン）毎に、雲の画像のデータを予め関連付けておくことができる。これにより、本発明の画像処理装置は、原画像内の雲の状態を、撮像時点のパターンとは異なるパターンに対応する雲の状態に変換する、といった第２画像処理を容易に実行することができる。
さらにまた、本発明の画像処理装置は、原画像内より検出された空領域内を、更に、雲が存在する部分を雲部分とし、雲が存在しない部分を空部分として、それぞれ区分することで、空の色及び雲の状態の両状態を変換する第２画像処理を実行することができる。
例えば、本発明の画像処理装置は、雲の状態等を変換する第２画像処理を実行してもよい。
具体的には例えば、パターン（例えば、地域、時間帯、天候等から特定されるパターン）毎に、雲の画像のデータを予め関連付けておくことができる。これにより、本発明の画像処理装置は、原画像内の雲の状態を、撮像時点のパターンとは異なるパターンに対応する雲の状態に変換する、といった第２画像処理を容易に実行することができる。
さらにまた、本発明の画像処理装置は、原画像内より検出された空領域内を、更に、雲が存在する部分を雲部分とし、雲が存在しない部分を空部分として、それぞれ区分することで、空の色及び雲の状態の両状態を変換する第２画像処理を実行することができる。
また、例えば、状態の変換対象は、第１及び第２実施形態では、空領域のみとされたが、特にこれに限定されない。例えば、実際には、空の色が変化すれば、それに応じて、地上に反映される色も変化する。よって、本発明の画像処理装置は、地上の色も空の色に応じて補正してもよい。
また例えば、上述の実施形態では、本発明が適用される画像処理装置は、デジタルカメラ等の撮像装置として構成される例として説明した。しかしながら、本発明は、撮像装置に特に限定されず、撮像機能の有無を問わず（撮像画像のデータは別の装置から取得してもよい）、上述の画像処理を実行可能な電子機器一般に適用することができる。具体的には例えば、本発明は、パーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk）等により構成される。光磁気ディスクは、MD（Mini-Disk）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のROM１２や、図１の記憶部２０に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
１・・・撮像装置、１１・・・CPU、１２・・・ROM、１３・・・RAM、１４・・・計時部、１５・・・バス、１６・・・入出力インターフェース、１７・・・撮像部、１８・・・操作部、１９・・・表示部、２０・・・記憶部、２１・・・通信部、２２・・・傾き検出部、２３・・・GPS部、２４・・・ドライブ、４１・・・原画像取得部、４２・・・空領域特定部、４３・・・空画像生成部、４４・・・合成部、４５・・・表示制御部、５１・・・空色記憶部、６１・・・気象状態記憶部
Claims (10)
- 空の像を含む原画像のデータを取得する原画像取得手段と、
前記原画像取得手段により取得された前記原画像のデータについて、前記空の像を含む領域を空領域として特定する空領域特定手段と、
前記空領域特定手段により特定された前記空領域の基本となる色を、基本色として設定し、前記空領域の各部分における空の高度をそれぞれ求め、前記基本色及び前記高度に基づいて、前記空領域の前記各部分における空の状態をそれぞれ変換するための補正情報を生成する補正情報生成手段と、
前記原画像取得手段により取得された前記原画像のデータを、前記補正情報生成手段により生成された前記補正情報に基づいて補正することによって、状態が変換した空の像を含む画像のデータを生成する補正手段と、
を備えることを特徴とする画像処理装置。 - 前記補正情報は、前記原画像のデータの色を補正する度合いを指定する情報を含み、
前記補正手段は、前記補正情報で指定される補正度合いで前記原画像のデータの色を補正する、
ことを特徴とする請求項１に記載の画像処理装置。 - 前記補正情報は、色相、彩度、明度のうち、いずれの色成分を補正するかを指定する情報を含み、
前記補正手段は、前記原画像のデータにおける前記補正情報で指定される色成分を補正する、
ことを特徴とする請求項１に記載の画像処理装置。 - 前記補正情報は、色相、彩度、明度の各色成分毎に補正度合いを指定する情報を含み、
前記補正手段は、前記補正情報で指定される補正度合いで前記原画像のデータの色相、彩度、明度の各色成分を補正する、
ことを特徴とする請求項１に記載の画像処理装置。 - 前記補正情報生成手段は、
前記基本色及び前記高度に基づいて、前記空領域の各部分の補正後の色を設定し、
前記補正後の色をそれぞれ有する前記各部分から構成される前記空領域を含む画像のデータを、前記補正情報として生成し、
前記補正手段は、
前記原画像のデータと、前記補正情報生成手段により前記補正情報として生成された前記画像のデータとを合成することによって、前記原画像のデータに対して、前記空領域の色が補正後の色に変換された画像のデータを生成する、
ことを特徴とする請求項１に記載の画像処理装置。 - 前記補正情報生成手段は、
前記補正後の色をそれぞれ有する前記空領域を含む画像のデータと、前記原画像のデータの色の補正度合いを指定する情報とを、前記補正情報として生成し、
前記補正手段は、
前記原画像のデータと、前記補正情報生成手段により生成された前記画像のデータとを前記補正度合いで指定される割合で合成することによって、前記原画像のデータに対して、前記空領域の色が指定された補正度合いで補正された画像のデータを生成する、
ことを特徴とする請求項５に記載の画像処理装置。 - 地域、時間帯、及び天候を少なくともパラメータとして、複数のパラメータの組み合わせにより特定されるパターン毎に、前記基本色の候補となる色がそれぞれ予め対応付けられており、
複数の前記パターンのうち、所定のパターンを指定する指定手段をさらに備え、
前記補正情報生成手段は、前記指定手段により指定された前記所定のパターンに対応する色を、前記基本色として設定する、
ことを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。 - 地域、時間帯、及び天候を少なくともパラメータとして、複数のパラメータの組み合わせにより特定されるパターン毎に、更に、色相、彩度、明度の各色成分毎の補正度合いがそれぞれ予め対応付けられており、
前記補正情報生成手段は、前記指定手段により指定された前記所定のパターンに対応する各色成分毎の補正度合いを、更に前記補正情報として生成する、
ことを特徴とする請求項７に記載の画像処理装置。 - 空の像を含む原画像のデータを対象に画像処理を実行する画像処理装置が実行する画像処理方法において、
前記原画像のデータについて、前記空の像を含む領域を空領域として特定する空領域特定ステップと、
前記空領域特定ステップの処理により特定された前記空領域の基本となる色を、基本色として設定し、前記空領域の各部分における空の高度をそれぞれ求め、前記基本色及び前記高度に基づいて、前記空領域の前記各部分における空の状態をそれぞれ変換するための補正情報を生成する補正情報生成ステップと、
前記原画像のデータを、前記補正情報生成ステップの処理により生成された前記補正情報に基づいて補正することによって、状態が変換した空の像を含む画像のデータを生成する補正ステップと、
を含むことを特徴とする画像処理方法。 - 空の像を含む原画像のデータを対象とする画像処理を制御するコンピュータを、
前記原画像のデータについて、前記空の像を含む領域を空領域として特定する空領域特定手段、
前記空領域特定手段により特定された前記空領域の基本となる色を、基本色として設定し、前記空領域の各部分における空の高度をそれぞれ求め、前記基本色及び前記高度に基づいて、前記空領域の前記各部分における空の状態をそれぞれ変換するための補正情報を生成する補正情報生成手段、
前記原画像のデータを、前記補正情報生成手段により生成された前記補正情報に基づいて補正することによって、状態が変換した空の像を含む画像のデータを生成する補正手段、
として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010241067A JP5652126B2 (ja) | 2010-10-27 | 2010-10-27 | 画像処理装置及び方法、並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010241067A JP5652126B2 (ja) | 2010-10-27 | 2010-10-27 | 画像処理装置及び方法、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012093977A true JP2012093977A (ja) | 2012-05-17 |
| JP5652126B2 JP5652126B2 (ja) | 2015-01-14 |
Family
ID=46387230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010241067A Expired - Fee Related JP5652126B2 (ja) | 2010-10-27 | 2010-10-27 | 画像処理装置及び方法、並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5652126B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018067359A (ja) * | 2018-01-24 | 2018-04-26 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム。 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10028A (en) * | 1853-09-20 | Improvement in razor-strops | ||
| JPH11146219A (ja) * | 1997-11-13 | 1999-05-28 | Seiko Epson Corp | 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体 |
| JP2001202525A (ja) * | 1999-11-29 | 2001-07-27 | Eastman Kodak Co | 青い空を含む画像の向きを決定する方法 |
| JP2003087815A (ja) * | 2001-09-06 | 2003-03-20 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム |
| JP2003195742A (ja) * | 2001-12-27 | 2003-07-09 | Fujitsu Ltd | 星座表示装置 |
| JP2006157450A (ja) * | 2004-11-29 | 2006-06-15 | Sony Corp | 撮像装置及び画像処理方法 |
| JP2008017528A (ja) * | 2002-09-12 | 2008-01-24 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
-
2010
- 2010-10-27 JP JP2010241067A patent/JP5652126B2/ja not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10028A (en) * | 1853-09-20 | Improvement in razor-strops | ||
| JPH11146219A (ja) * | 1997-11-13 | 1999-05-28 | Seiko Epson Corp | 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体 |
| JP2001202525A (ja) * | 1999-11-29 | 2001-07-27 | Eastman Kodak Co | 青い空を含む画像の向きを決定する方法 |
| JP2003087815A (ja) * | 2001-09-06 | 2003-03-20 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム |
| JP2003195742A (ja) * | 2001-12-27 | 2003-07-09 | Fujitsu Ltd | 星座表示装置 |
| JP2008017528A (ja) * | 2002-09-12 | 2008-01-24 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
| JP2006157450A (ja) * | 2004-11-29 | 2006-06-15 | Sony Corp | 撮像装置及び画像処理方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018067359A (ja) * | 2018-01-24 | 2018-04-26 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム。 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5652126B2 (ja) | 2015-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112040092B (zh) | 一种实时虚拟场景led拍摄系统及方法 | |
| US11070725B2 (en) | Image processing method, and unmanned aerial vehicle and system | |
| CN110148204B (zh) | 用于在真实环境的视图中表示虚拟对象的方法和系统 | |
| US11893701B2 (en) | Method for simulating natural perception in virtual and augmented reality scenes | |
| JPH04358291A (ja) | 色彩画像変更方法 | |
| CN101422035A (zh) | 光源推定装置、光源推定系统与光源推定方法以及图像高分辨率化装置与图像高分辨率化方法 | |
| WO2006137826A2 (en) | System and method for creating a high resolution material image | |
| JP2006053694A (ja) | 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 | |
| JP5813422B2 (ja) | 森林地立体画像生成方法 | |
| WO2006020356A2 (en) | Diurnal variation of geo-specific terrain temperatures in real-time infrared sensor simulation | |
| CN114125310B (zh) | 拍照方法、终端设备及云端服务器 | |
| WO2006135376A2 (en) | System and method for infrared sensor simulation | |
| JP2023056056A (ja) | データ生成方法、学習方法及び推定方法 | |
| CN115641401A (zh) | 一种三维实景模型的构建方法及相关装置 | |
| JP4144960B2 (ja) | 撮像装置及び画像合成装置並びに方法 | |
| WO2006098750A2 (en) | System and method for adding spatial frequency into an image | |
| CN104299213A (zh) | 一种基于低动态图像的细节特征合成高动态图像的方法 | |
| CN108564654B (zh) | 三维大场景的画面进入方式 | |
| Nakamae et al. | Rendering of landscapes for environmental assessment | |
| JP2008041107A (ja) | 撮像装置及び画像合成装置 | |
| JP5652126B2 (ja) | 画像処理装置及び方法、並びにプログラム | |
| JP5440366B2 (ja) | 画像処理装置及び方法、並びにプログラム | |
| KR101004350B1 (ko) | 음영 기복도 제작 방법 및 장치 | |
| JP5621524B2 (ja) | 画像処理装置及び方法、並びにプログラム | |
| Doumit | The effect of Neutral Density Filters on drones orthomosaics classifications for land-use mapping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131008 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140610 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140805 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141021 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141103 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5652126 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |