JP2016058840A - 撮像装置、画像処理装置、撮像方法及びプログラム - Google Patents

Abstract

【課題】画像に複数のシーンが含まれていても、最適な画質の画像を生成する。【解決手段】実施形態の撮像装置は、画像を撮像する撮像部と、画像を複数の分割画像に分割する分割部と、分割画像毎に、分割画像のシーンを決定する決定部と、分割画像毎に、シーンに応じた補正パラメータにより画像処理を行う処理部と、を備える。【選択図】図２

Description

本発明は撮像装置、画像処理装置、撮像方法及びプログラムに関する。

撮像地点の全方位を撮像し、撮像地点の全方位を一枚の画像（以下「全天球画像」という。）にする技術が知られている。例えば特許文献１には、全天球画像から高精度に逆光領域を検出し、適切な逆光補正を行うことができる画像処理装置の発明が開示されている。

しかしながら従来の技術では、画像に複数のシーンが含まれている場合に、最適な画質の画像を生成することが難しかった。

本発明は、上記に鑑みてなされたものであって、画像に複数のシーンが含まれていても、最適な画質の画像を生成することができる撮像装置、画像処理装置、撮像方法及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、画像を撮像する撮像部と、前記画像を複数の分割画像に分割する分割部と、前記分割画像毎に、前記分割画像のシーンを決定する決定部と、前記分割画像毎に、前記シーンに応じた補正パラメータにより画像処理を行う処理部と、を備える。

本発明によれば、画像に複数のシーンが含まれていても、最適な画質の画像を生成することができるという効果を奏する。

図１は実施形態の撮像装置の例を示す模式図である。 図２は実施形態の撮像装置の構成の例を示す図である。 図３は実施形態の全天球画像の例を示す図である。 図４は実施形態の分割画像の例を示す図である。 図５は実施形態の補正パラメータの例を示す図である。 図６は実施形態の撮像装置が選択したシーンの例を示す模式図である。 図７は実施形態の撮像装置の動作方法の例を示すフローチャートである。 図８は実施形態の屋内／屋外判定方法の例を示すフローチャートである。 図９は実施形態の境界判定方法の例を示すフローチャートである。 図１０は実施形態の画像処理方法の例を示すフローチャートである。 図１１は実施形態の撮像装置のハードウェア構成の例を示す図である。

以下に添付図面を参照して、撮像装置、画像処理装置、撮像方法及びプログラムの実施形態を詳細に説明する。なお、本実施形態においては、２つの撮像部を用いた構成である全天球撮像装置について説明する。しかしながら、本発明は、撮影した画像に複数のカテゴリとシーンが含まれている場合に適用できる。つまり、画像を複数の領域に分割し、分割された領域毎にカテゴリとシーンとを設定することができれば、通常の一眼レフ、やスマートフォン等の撮像装置にも適用できる。

図１は実施形態の撮像装置１００の例を示す模式図である。実施形態の撮像装置１００は、撮像素子１０１、魚眼レンズ１０２、撮像素子１０３、魚眼レンズ１０４、筐体１２１及び撮像スイッチ１２２を備える。撮像素子１０１は、撮像装置１００の前面１８０°以上の画角を有する魚眼レンズ１０２を介した光を電気信号に変換する。撮像素子１０３は、撮像装置１００の背面１８０°以上の画角を有する魚眼レンズ１０４を介した光を電気信号に変換する。撮像素子１０１及び撮像素子１０３は、例えばＣＭＯＳセンサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等である。また筐体１２１の側面には撮像スイッチ１２２がある。なお撮像装置１００は、図１では図示されていないが、種々の操作ボタン、電源スイッチ及びタッチパネル等も備える。

図２は実施形態の撮像装置１００の構成の例を示す図である。実施形態の撮像装置１００は、第１撮像部１、第２撮像部２、記憶部３、合成部４、第１検出部５、第１補正部６、分割部７、判定部８、決定部９、処理部１０、第２検出部１１、算出部１２、第２補正部１３、表示部１４及び選択部１５を備える。

第１撮像部１は第１画像を撮像する。第１画像は撮像装置１００の前面（０°〜１８０°）の被写体を含む画像である。このとき、第１撮像部１の撮影する画角は１８０°以上（好ましくは１８０°以上１９０°以下）である。この第１撮像部１が撮影した第１画像は、後述する背面の第２画像と重複領域を有する。第１撮像部１は第１画像を記憶部３に記憶する。

第２撮像部２は第２画像を撮像する。第２画像は撮像装置１００の背面（１８０°〜３６０°）の被写体を含む画像である。このとき、第２撮像部２の撮影する画角は１８０°以上（好ましくは１８０°以上１９０°以下）である。この第２撮像部２が撮影した第２画像は、先に述べた前面の第１画像と重複領域を有する。第２撮像部２は第２画像を記憶部３に記憶する。

記憶部３は第１画像及び第２画像を記憶する。また記憶部３は、第１画像及び第２画像を合成し、生成される後述の全天球画像を記憶する。また記憶部３は後述の分割画像（全天球画像の一部の領域に対応する画像）毎にカテゴリ及びシーンを記憶する。シーンは、分割画像に含まれる被写体に応じて定まる分割画像の種類を示す。カテゴリは、分割画像をシーンに応じて分類した情報である。分割画像のカテゴリは、屋外を撮像した屋外画像、屋内を撮像した屋内画像、又は、屋外画像と屋内画像との境界に位置する境界画像である。また記憶部３はカテゴリ（の種類）、及び、カテゴリに含まれるシーン（の種類）を記憶する。また記憶部３は、後述の処理部１０により使用される補正パラメータを記憶する。記憶部３は補正パラメータをシーン毎に記憶する。シーン毎に記憶される補正パラメータの例については、図５を参照して後述する。

合成部４は第１画像と第２画像とを、重複領域を重ね合わせることで合成することにより、撮像地点からの全方位の画像を示す全天球画像を生成する。合成部４は全天球画像を記憶部３に記憶する。

図３は実施形態の全天球画像２３の例を示す図である。図３は、第１画像２１及び第２画像２２の重複領域を互いの目印として合成することにより、撮像地点からの全方位の被写体を含む全天球画像２３を生成する場合の例である。なお、全天球画像２３は、正距円筒図法やメルカトル図法等により作成される。この全天球画像２３を、球形に貼り付けて表示を行うと、全方位に渡る画像が表示されることとなる。なお全天球画像２３は動画であっても静止画であってもよい。

図２に戻り、第１検出部５は撮像時の撮像装置１００の天頂方向（撮像時の撮像装置１００の傾き）を検出する。第１検出部５は、例えば加速度センサにより撮像時の撮像装置１００の天頂方向を検出する。第１検出部５は撮像時の天頂方向を示す天頂方向情報を第１補正部６に入力する。

第１補正部６は第１検出部５から天頂方向情報を受け付ける。また第１補正部６は記憶部３から全天球画像を読み出す。第１補正部６は天頂方向情報に基づいて全天球画像を補正する。具体的には、第１補正部６は全天球画像の回転、又は全天球画像の位置の移動により、全天球画像の天頂方向を補正する。これにより撮像時の撮像装置１００の傾きに起因する全天球画像の天頂方向のずれを補正する。第１補正部６は補正後の全天球画像により記憶部３の全天球画像を上書きする。

分割部７は記憶部３から天頂方向のずれが補正された全天球画像を読み出す。分割部７は当該全天球画像を複数の分割画像に分割する。

図４は実施形態の分割画像の例を示す図である。分割部７は全天球画像２３を垂直方向にＮ個（Ｎは２以上の整数）、水平方向に２個に分割することにより、全天球画像を２Ｎ個の分割画像に分割する。具体的には、分割部７は、まず第１画像２１に対応する領域を短冊状にｎ個（ｎ＝Ｎ／２）に分割し、短冊状に分割された領域を更に上半分と下半分に２つに分割することにより、分割画像Ｆｕｎ及び分割画像Ｆｂｎ（１≦ｎ≦Ｎ／２）を得る。同様に、分割部７は、第２画像２２に対応する領域を短冊状にｎ個（ｎ＝Ｎ／２）に分割し、短冊状に分割された領域を更に上半分と下半分に２つに分割することにより分割画像Ｒｕｎ及び分割画像Ｒｂｎ（１≦ｎ≦Ｎ／２）を得る。

図２に戻り、判定部８は記憶部３から全天球画像２３の上半分の分割画像（分割画像Ｆｕｎ（１≦ｎ≦Ｎ／２）及び分割画像Ｒｕｎ（１≦ｎ≦Ｎ／２））を読み出す。判定部８は、それぞれの分割画像について、分割画像のカテゴリの判定処理を行う。判定処理は、屋外を撮像した屋外画像、屋内を撮像した屋内画像、及び、屋外画像と屋内画像との境界に位置する境界画像のいずれかを示す、分割画像のカテゴリ（屋外、屋内又は境界）を判定する処理である。判定処理の詳細については、図８及び図９を参照して後述する。なお判定部８は、上半分のそれぞれの分割画像のカテゴリにより、水平方向の位置が同じ下半分のそれぞれの分割画像（分割画像Ｆｂｎ（１≦ｎ≦Ｎ／２）及び分割画像Ｒｂｎ（１≦ｎ≦Ｎ／２））のカテゴリを判定する。判定部８は、それぞれの分割画像に対して判定されたカテゴリを関連づけて記憶部３に記憶する。

決定部９は分割画像毎に、分割画像のシーンを決定する。具体的には、決定部９は記憶部３から分割画像及び、分割画像のカテゴリを読み出す。そして決定部９はカテゴリに関連付けられた複数のシーンから最適なシーンを認識することにより、分割画像のシーンを決定する。シーンは、後述の処理部１０が分割画像毎に、被写体に応じた補正パラメータを使用して適切な画像処理を行うために決定される。屋内カテゴリのシーンは、例えば料理及び家具等である。屋外カテゴリのシーンは、紅葉、雪、雲及び木等である。なお決定部９は分割画像のカテゴリが境界の場合、分割画像のシーンを決定しない。決定部９は分割画像毎に決定したシーンを記憶部３に記憶する。このため、記憶部３では、各分割画像毎にカテゴリーと、シーンとが対応づけられて記憶されている。なお、カテゴリが境界の場合には、シーンはＮｕｌｌとして記憶される。

処理部１０は分割画像毎に、シーンに応じた補正パラメータにより画像処理を行う。なお、処理部１０は、分割画像のカテゴリが境界の場合、境界画像に隣接する屋外画像に使用される補正パラメータと、境界画像に隣接する屋内画像に使用される補正パラメータと、の中間値の補正パラメータにより画像処理を行う。例えば屋外画像（紅葉）と、屋内画像（料理）に挟まれた境界画像の画像処理には、シーンが紅葉である場合に使用される補正パラメータと、シーンが料理である場合に使用される補正パラメータと、の中間値の補正パラメータが使用される。これにより異なる補正パラメータを使用した画像処理の影響によって、境界画像の領域に生じる不整合を防止することができる。処理部１０は画像処理後の分割画像により記憶部３の分割画像（全天球画像の一部の領域）を上書きする。

ここで、シーンに応じた補正パラメータの例について説明する。

図５は実施形態の補正パラメータの例を示す図である。例えばシーンが料理である場合、処理部１０は、分割画像を明るめにする、露出設定に関する補正パラメータと、分割画像の彩度を上げる、カラーマトリクスパラメータ（色再現補正）に関する補正パラメータと、により画像処理を行う。なお、補正パラメータの実際の数値は、撮影条件などにより適切な数値を設定すれば良い。

図２に戻り、第２検出部１１は記憶部３から画像処理後の分割画像を読み出す。第２検出部１１は当該分割画像の輝度を検出する。第２検出部１１は分割画像の輝度を示す輝度情報を算出部１２に入力する。

算出部１２は第２検出部１１から、それぞれの分割画像の輝度情報を受け付ける。算出部１２は上半分の分割画像と下半分の分割画像のそれぞれについて、水平方向の位置が同じ上半分の分割画像と下半分の分割画像の輝度の差を算出する。算出部１２は水平方向の位置が同じ上半分の分割画像と下半分の分割画像の輝度の差を示す輝度差情報を第２補正部１３に入力する。

第２補正部１３は算出部１２から輝度差情報を受け付ける。第２補正部１３は輝度の差が第１閾値以上となる上半分の分割画像と下半分の分割画像の組の数が、第２閾値以上の場合、上半分の分割画像と下半分の分割画像とで異なる階調特性の補正を行う。これにより輝度のＤレンジの広い全天球画像を得ることができる。第２補正部１３は上半分の分割画像と下半分の分割画像とで異なる階調特性の補正を行った全天球画像により、記憶部３の全天球画像を上書きする。

表示部１４は撮像装置１００の状態等を表示する。表示部１４は、例えば撮像装置１００により撮像を行うときの撮像地点の全方位の状態を示すモニタリング画面を表示する。このとき上述の第１撮像部１、第２撮像部２、記憶部３、合成部４、第１検出部５、第１補正部６、分割部７、判定部８、決定部９、処理部１０、第２検出部１１、算出部１２及び第２補正部１３の処理が、モニタリング中にリアルタイムに行われ、当該処理の結果得られる全天球画像が表示部１４に表示（再生）される。また表示部１４は上述の決定部９により決定された１以上のシーンの種類（紅葉及び料理等）を表示する。

選択部１５は撮像装置１００のユーザの操作に基づいて、表示部１４に表示された１以上のシーンの種類からシーンを選択する。このとき表示部１４は当該シーンとして認識されている１以上の分割画像を、１つの画像として表示（再生）する。また記憶部３は当該シーンとして認識されている１以上の分割画像を、１つの画像として記憶する。これにより撮像装置１００のユーザが撮像したいシーンを含む画像のみの表示及び記憶ができる。

図６は実施形態の撮像装置１００が選択したシーンの例を示す模式図である。図６は撮像装置１００のユーザにより、撮像したいシーンとして犬が選択された場合を示す。このとき表示部１４は被写体として犬を含む１以上の分割画像（図６の例では３枚）を１つの画像として表示する。また記憶部３は被写体として犬を含む１以上の分割画像を１つの画像として記憶する。

次に実施形態の撮像装置１００の動作方法について説明する。

図７は実施形態の撮像装置１００の動作方法の例を示すフローチャートである。

はじめに、第１撮像部１が第１画像を撮像し、第２撮像部２が第２画像を撮像する（ステップＳ１）。次に、合成部４が第１画像と第２画像とを合成することにより、撮像地点の全方位の画像を示す全天球画像を生成する（ステップＳ２）。次に、第１補正部６が天頂方向に合わせて全天球画像の回転、又は全天球画像の位置の移動により、全天球画像の天頂方向を補正する（ステップＳ３）。

次に、分割部７が全天球画像を複数の分割画像に分割する（ステップＳ４）。次に、判定部８が、それぞれの分割画像について、分割画像のカテゴリ（屋内画像／屋外画像）の判定処理を行う（ステップＳ５）。ステップＳ４の屋内／屋外判定処理の詳細については図８を参照して後述する。

次に、判定部８が、それぞれの分割画像について、分割画像のカテゴリ（境界画像）の判定処理を行う（ステップＳ６）。ステップＳ６の境界判定処理の詳細については図９を参照して後述する。

次に、決定部９が分割画像毎に、分割画像のカテゴリに関連付けられた複数のシーンから最適なシーンを認識することにより、分割画像のシーンを決定し、処理部１０が分割画像毎に、シーンに応じた補正パラメータにより画像処理を行う（ステップＳ７）。ステップＳ６の画像処理の詳細については図１０を参照して後述する。

次に、第２補正部１３が全天球画像の階調特性の補正を行う（ステップＳ８）。具体的には、まず第２検出部１１が分割画像の輝度を検出する。次に、算出部１２が上半分の分割画像と下半分の分割画像のそれぞれについて、水平方向の位置が同じ上半分の分割画像と下半分の分割画像の輝度の差を算出する。そして、第２補正部１３が輝度の差が第１閾値以上となる上半分の分割画像と下半分の分割画像の組の数が、第２閾値以上の場合、上半分の分割画像と下半分の分割画像とで異なる階調特性の補正を行う。

次に上述のステップＳ５の屋内／屋外判定方法の詳細について説明する。

図８は実施形態の屋内／屋外判定方法の例を示すフローチャートである。図８では、第１画像２１の上半分の領域に対応する分割画像Ｆｕｎ（１≦ｎ≦Ｎ／２）及び第１画像２１の下半分の領域に対応する分割画像Ｆｂｎ（１≦ｎ≦Ｎ／２）の屋内／屋外判定方法について説明する。

はじめに、判定部８は分割画像Ｆｕｎ（１≦ｎ≦Ｎ／２）に青空を示す画像が含まれているか否かを判定する（ステップＳ２１）。判定部８は、例えば分割画像Ｆｕｎと、予め記憶されている青空を示す画像とを比較し、当該２つの画像の類似度に基づいて分割画像Ｆｕｎに青空を示す画像が含まれているか否かを判定する。青空を示す画像が含まれている場合（ステップＳ２１、Ｙｅｓ）、判定部８は分割画像Ｆｕｎのカテゴリを屋外と判定する（ステップＳ２６）。

青空を示す画像が含まれていない場合（ステップＳ２１、Ｎｏ）、判定部８は分割画像Ｆｕｎに雲を示す画像が含まれているか否かを判定する（ステップＳ２２）。雲を示す画像が含まれている場合（ステップＳ２２、Ｙｅｓ）、判定部８は分割画像Ｆｕｎのカテゴリを屋外と判定する（ステップＳ２６）。

雲を示す画像が含まれていない場合（ステップＳ２２、Ｎｏ）、判定部８は分割画像Ｆｕｎに朝焼け又は夕焼けを示す画像が含まれているか否かを判定する（ステップＳ２３）。朝焼け又は夕焼けを示す画像が含まれている場合（ステップＳ２３、Ｙｅｓ）、判定部８は分割画像Ｆｕｎのカテゴリを屋外と判定する（ステップＳ２６）。

朝焼け又は夕焼けを示す画像が含まれていない場合（ステップＳ２３、Ｎｏ）、判定部８は分割画像Ｆｕｎに夜空を示す画像が含まれているか否かを判定する（ステップＳ２４）。夜空を示す画像が含まれている場合（ステップＳ２４、Ｙｅｓ）、判定部８は分割画像Ｆｕｎのカテゴリを屋外と判定する（ステップＳ２６）。

夜空を示す画像が含まれていない場合（ステップＳ２４、Ｎｏ）、判定部８は分割画像Ｆｕｎのカテゴリを屋内と判定する（ステップＳ２５）。

なお判定部８は、下半分の分割画像Ｆｂｎ（１≦ｎ≦Ｎ／２）のカテゴリは、水平方向の位置が同じ上半分の分割画像Ｆｕｎ（１≦ｎ≦Ｎ／２）を使用して判定する。例えば分割画像Ｆｕ１＝屋外であれば、分割画像Ｆｂ１＝屋外とし、分割画像Ｆｕ２＝屋内であれば、分割画像Ｆｂ２＝屋内とする。

また第２画像２２の上半分の領域に対応する分割画像Ｒｕｎ（１≦ｎ≦Ｎ／２）及び第２画像２２の下半分の領域に対応する分割画像Ｒｂｎ（１≦ｎ≦Ｎ／２）についても、図８のフローチャートと同様である。

次に上述のステップＳ６の境界判定方法の詳細について説明する。

図９は実施形態の境界判定方法の例を示すフローチャートである。図９では、第１画像２１の上半分の領域（分割画像Ｆｕｎ（１≦ｎ≦Ｎ／２））の境界を判定する場合について説明する。なお第１画像２１の下半分の領域（分割画像Ｆｂｎ（１≦ｎ≦Ｎ／２））、並びに、第２画像２２の上半分の領域（分割画像Ｒｕｎ（１≦ｎ≦Ｎ／２））及び第２画像２２の下半分の領域（分割画像Ｒｂｎ（１≦ｎ≦Ｎ／２））についても、図８のフローチャートと同様である。

はじめに、判定部８は変数ｘに１を代入する（ステップＳ４１）。次に、判定部８はＦｕｘ（Ｓ）＝屋内、かつ、Ｆｕｘ＋１（Ｓ）＝屋外であるか否かを判定する（ステップＳ４２）。ここで、Ｆｕｘ（Ｓ）は、図８のフローチャートにより判定された分割画像Ｆｕｘのカテゴリ（屋外又は屋内）を示す。

Ｆｕｘ（Ｓ）＝屋内、かつ、Ｆｕｘ＋１（Ｓ）＝屋外の場合（ステップＳ４２、Ｙｅｓ）、判定部８はＦｕｘ（Ｓ）＝境界とする（ステップＳ４４）。次に、処理はステップＳ４５に進む。

Ｆｕｘ（Ｓ）＝屋内、かつ、Ｆｕｘ＋１（Ｓ）＝屋外でない場合（ステップＳ４２、Ｎｏ）、判定部８はＦｕｘ（Ｓ）＝屋外、かつ、Ｆｕｘ＋１（Ｓ）＝屋内であるか否かを判定する（ステップＳ４３）。

Ｆｕｘ（Ｓ）＝屋外、かつ、Ｆｕｘ＋１（Ｓ）＝屋内の場合（ステップＳ４３、Ｙｅｓ）、判定部８はＦｕｘ（Ｓ）＝境界とする（ステップＳ４４）。次に、処理はステップＳ４５に進む。

Ｆｕｘ（Ｓ）＝屋外、かつ、Ｆｕｘ＋１（Ｓ）＝屋内でない場合（ステップＳ４３、Ｎｏ）、処理はステップＳ４５に進む。

次に、判定部８はｘ＋１＝Ｎ／２であるか否かを判定する（ステップＳ４５）。ｘ＋１＝Ｎ／２でない場合（ステップＳ４５、Ｎｏ）、判定部８はｘにｘ＋１を代入し（ステップＳ４６）、ステップＳ４２に戻る。ｘ＋１＝Ｎ／２の場合（ステップＳ４５、Ｙｅｓ）、処理は終了する。

次に上述のステップＳ７の画像処理方法の詳細について説明する。図１０では、第１画像２１の上半分の領域（分割画像Ｆｕｎ（１≦ｎ≦Ｎ／２））の画像処理を行う場合について説明する。なお第１画像２１の下半分の領域（分割画像Ｆｂｎ（１≦ｎ≦Ｎ／２））、並びに、第２画像２２の上半分の領域（分割画像Ｒｕｎ（１≦ｎ≦Ｎ／２））及び第２画像２２の下半分の領域（分割画像Ｒｂｎ（１≦ｎ≦Ｎ／２））についても、図１０のフローチャートと同様である。

図１０は実施形態の画像処理方法の例を示すフローチャートである。はじめに、決定部９は変数ｘに１を代入する（ステップＳ６１）。次に、決定部９はＦｕｘ（Ｓ）＝屋外であるか否かを判定する（ステップＳ６２）。ここで、Ｆｕｘ（Ｓ）は、図８及び図９のフローチャートにより判定された分割画像Ｆｕｘのカテゴリ（屋外、屋内又は境界）を示す。

Ｆｕｘ（Ｓ）＝屋外の場合（ステップＳ６２、Ｙｅｓ）、決定部９が屋外カテゴリのシーンの中からシーン認識を行い（ステップＳ６３）、分割画像Ｆｕｘのシーンを決定する。屋外カテゴリのシーンは、例えば紅葉、雪、雲及び木等である。次に、処理部１０がシーン毎に最適化された画像処理を分割画像Ｆｕｘに行う（ステップＳ６４）。具体的には、処理部１０がステップＳ６２で決定されたシーンに応じた補正パラメータを使用して分割画像Ｆｕｘの画像処理を行う。次に、処理はステップＳ６９に進む。

Ｆｕｘ（Ｓ）＝屋外でない場合（ステップＳ６２、Ｎｏ）、決定部９はＦｕｘ（Ｓ）＝境界であるか否かを判定する（ステップＳ６５）。

Ｆｕｘ（Ｓ）＝境界でない場合（ステップＳ６５、Ｎｏ）、決定部９が屋内カテゴリのシーンの中からシーン認識を行い（ステップＳ６６）、分割画像Ｆｕｘのシーンを決定する。屋内カテゴリのシーンは、例えば料理及び家具等である。次に、処理部１０がシーン毎に最適化された画像処理を分割画像Ｆｕｘに行う（ステップＳ６７）。具体的には、処理部１０がステップＳ６６で決定されたシーンに応じた補正パラメータを使用して分割画像Ｆｕｘの画像処理を行う。次に、処理はステップＳ６９に進む。

Ｆｕｘ（Ｓ）＝境界の場合（ステップＳ６５、Ｙｅｓ）、処理部１０が隣接する分割画像の画像処理に使用される補正パラメータの中間値の補正パラメータにより分割画像Ｆｕｘの画像処理を行う。処理部１０は、例えば境界画像Ｆｕｘに隣接する屋外画像Ｆｕｘ−１に使用される補正パラメータと、境界画像に隣接する屋内画像Ｆｕｘ＋１に使用される補正パラメータと、の中間値の補正パラメータにより画像処理を行う。（ステップＳ６８）。次に、処理はステップＳ６９に進む。

次に、決定部９はｘ＋１＝ｎであるか否かを判定する（ステップＳ６９）。ｘ＋１＝ｎでない場合（ステップＳ６９、Ｎｏ）、決定部９はｘにｘ＋１を代入し（ステップＳ７０）、ステップＳ６２に戻る。ｘ＋１＝ｎの場合（ステップＳ６９、Ｙｅｓ）、処理は終了する。

最後に、実施形態の撮像装置１００のハードウェア構成の例について説明する。

図１１は実施形態の撮像装置１００のハードウェア構成の例を示す図である。実施形態の撮像装置１００は、撮像素子１０１、魚眼レンズ１０２、撮像素子１０３、魚眼レンズ１０４、画像処理装置１０５、ＣＰＵ１０６、加速度センサ１０７、表示装置１０８、操作ボタン１０９及び記憶媒体１１１を備える。また撮像装置１００はスマートデバイス１１０と通信可能である。

撮像素子１０１は魚眼レンズ１０２から入射する光を結像する。撮像素子１０１に結像した対象物像は第１画像２１を示す画像信号（電気信号）に変換される。撮像素子１０１は画像信号を画像処理装置１０５に入力する。撮像素子１０１及び魚眼レンズ１０２は第１撮像部１（図２参照）に対応する。

撮像素子１０３は魚眼レンズ１０４から入射する光を結像する。撮像素子１０３に結像した対象物像は第２画像２２を示す画像信号（電気信号）に変換される。撮像素子１０３は画像信号を画像処理装置１０５に入力する。撮像素子１０３及び魚眼レンズ１０４は第２撮像部２（図２参照）に対応する。

画像処理装置１０５及びＣＰＵ１０６は、合成部４、第１補正部６、分割部７、判定部８、決定部９、処理部１０、第２検出部１１、算出部１２及び第２補正部１３（図２参照）に対応する。ハードウェアにより実現する機能ブロックは、画像処理装置１０５により実現する。またソフトウェア（プログラム）により実現する機能ブロックは、ＣＰＵ１０６により実現する。なお合成部４、第１補正部６、分割部７、判定部８、決定部９、処理部１０、第２検出部１１、算出部１２及び第２補正部１３のうち、どの機能ブロックをハードウェアにより実現し、どの機能ブロックをソフトウェアにより実現するかは任意に決定してよい。

加速度センサ１０７は撮像時の撮像装置１００の天頂方向を検出する。加速度センサ１０７により検出された情報は、画像処理装置１０５又はＣＰＵ１０６により実現される第１補正部６により処理される。

表示装置１０８、操作ボタン１０９及びスマートデバイス１１０は、撮像装置１００を操作するためのユーザインタフェースである。表示装置１０８、操作ボタン１０９及びスマートデバイス１１０は、表示部１４及び選択部１５（図２参照）に対応する。

記憶媒体１１１は、第１画像２１、第２画像２２及び全天球画像２３等を記憶する。記憶媒体１１１は記憶部３（図２参照）に対応する。

なお合成部４、第１補正部６、分割部７、判定部８、決定部９、処理部１０、第２検出部１１、算出部１２及び第２補正部１３の一部又は全部をプログラムとして実現する場合、合成部４、第１補正部６、分割部７、判定部８、決定部９、処理部１０、第２検出部１１、算出部１２及び第２補正部１３の一部又は全部を含むモジュール構成のプログラムを記憶媒体１１１に格納する。上述のＣＰＵ１０６が、記憶媒体１１１の当該プログラムを実行することにより、図１１では図示されていないＲＡＭ上に合成部４、第１補正部６、分割部７、判定部８、決定部９、処理部１０、第２検出部１１、算出部１２及び第２補正部１３の一部又は全部が実現される。

なお当該プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また当該プログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。

以上説明したように、実施形態の撮像装置では、分割部７が全天球画像を複数の分割画像に分割する。決定部９が分割画像毎に、分割画像のシーンを決定する。これにより処理部１０は分割画像毎に、シーンに応じた補正パラメータを使用して画像処理を行うことができるので、１枚の全天球画像に複数のシーンが含まれていても、最適な画質の全天球画像を生成することができる。

なお、撮像装置を一眼レフカメラや、スマートフォン等の撮像装置に適用した場合でも、分割部７が画像を複数の分割画像に分割する。決定部９が分割画像毎に、分割画像のシーンを決定する。これにより処理部１０は分割画像毎に、シーンに応じた補正パラメータを使用して画像処理を行うことができるので、１枚の画像に複数のシーンが含まれていても、最適な画質の画像を生成することができる。

１ 第１撮像部
２ 第２撮像部
３ 記憶部
４ 合成部
５ 第１検出部
６ 第１補正部
７ 分割部
８ 判定部
９ 決定部
１０ 処理部
１１ 第２検出部
１２ 算出部
１３ 第２補正部
１４ 表示部
１５ 選択部

特開２０１３−１９８０７０号公報

Claims (12)

1. 画像を撮像する撮像部と、
   前記画像を複数の分割画像に分割する分割部と、
   前記分割画像毎に、前記分割画像のシーンを決定する決定部と、
   前記分割画像毎に、前記シーンに応じた補正パラメータにより画像処理を行う処理部と、
   を備える撮像装置。
2. 屋外を撮像した屋外画像、屋内を撮像した屋内画像、及び、前記屋外画像と前記屋内画像との境界に位置する境界画像のいずれかを示す、前記分割画像のカテゴリを判定する判定部を更に備え、
   前記決定部は、前記カテゴリに関連付けられた複数のシーンから最適なシーンを認識することにより前記シーンを決定する、
   請求項１に記載の撮像装置。
3. 前記分割部は、前記画像を垂直方向にＮ個（Ｎは２以上の整数）、水平方向に２個に分割することにより、前記画像を２Ｎ個の前記分割画像に分割し、
   前記判定部は、上半分のそれぞれの前記分割画像を使用して、水平方向の位置が同じ下半分のそれぞれの前記分割画像のカテゴリを判定する、
   請求項１又は２に記載の撮像装置。
4. 前記処理部は、前記分割画像のカテゴリが前記境界画像である場合、前記境界画像に隣接する前記屋外画像に使用される前記補正パラメータと、前記境界画像に隣接する前記屋内画像に使用される前記補正パラメータと、の中間値の補正パラメータにより画像処理を行う、
   請求項２乃至３のいずれか１項に記載の撮像装置。
5. 前記分割画像の輝度を検出する第２検出部と、
   前記上半分の分割画像と前記下半分の分割画像のそれぞれについて、水平方向の位置が同じ前記上半分の分割画像と前記下半分の分割画像の輝度の差を算出する算出部と、
   前記輝度の差が第１閾値以上となる前記上半分の前記分割画像と前記下半分の分割画像の組の数が第２閾値以上の場合、前記上半分の分割画像と前記下半分の分割画像とで異なる階調特性の補正を行う第２補正部と、
   を更に備える請求項３又は４に記載の撮像装置。
6. 前記画像に含まれる１以上の前記シーンの種類を表示する表示部と、
   前記１以上のシーンの種類から前記シーンを選択する選択部と、
   前記選択されたシーンの１以上の前記分割画像を記憶する記憶部と、
   を更に備える請求項２乃至５のいずれか１項に記載の撮像装置。
7. 前記表示部は、前記選択部により選択されたシーンの１以上の前記分割画像を表示する、
   請求項６に記載の撮像装置。
8. 前記撮像部は、第１画像を撮像する第１撮像部と、第２画像を撮像する第２撮像部と、を有し、
   前記第１画像と前記第２画像とを合成することにより、撮像地点の全方位の画像を示す全天球画像を生成する合成部、
   を更に備える請求項１乃至７のいずれか１項に記載の撮像装置。
9. 撮像時の前記撮像装置の天頂方向を検出する第１検出部と、
   前記天頂方向に基づいて前記全天球画像の天頂方向のずれを補正する第１補正部と、
   を更に備える請求項８に記載の撮像装置。
10. 画像を複数の分割画像に分割する分割部と、
    前記分割画像毎に、前記分割画像のシーンを決定する決定部と、
    前記分割画像毎に、前記シーンに応じた補正パラメータにより画像処理を行う処理部と、
    を備える画像処理装置。
11. 撮像部が、画像を撮像するステップと、
    分割部が、前記画像を複数の分割画像に分割するステップと、
    決定部が、前記分割画像毎に、前記分割画像のシーンを決定するステップと、
    処理部が、前記分割画像毎に、前記シーンに応じた補正パラメータにより画像処理を行うステップと、
    を含む撮像方法。
12. 画像を撮像する撮像部を備える撮像装置を、
    前記画像を複数の分割画像に分割する分割部と、
    前記分割画像毎に、前記分割画像のシーンを決定する決定部と、
    前記分割画像毎に、前記シーンに応じた補正パラメータにより画像処理を行う処理部、
    として機能させるためのプログラム。

Images