JP2015194587A - 画像データ処理装置、画像データ処理方法、画像歪み対応処理装置、画像歪み対応処理方法 - Google Patents

Abstract

【課題】画像の歪みが生じている撮像画像データに基づいた画像表示を行う場合において、表示パネルの表示面形状に応じた適切な画像表示が行われるようにする。
【解決手段】画像データ処理装置では、撮像画像データに対して当該撮像画像データの画像の歪み度合いと相関する歪み度情報を付帯させる歪み度情報付帯制御と、歪み度情報が付帯された撮像画像データが記録媒体に記録されるように制御を行う記録制御とを行う。画像歪み対応処理装置では、歪み度情報が付帯された撮像画像データを取得すると共に、歪み度情報に基づいて、撮像画像データの歪み補正処理、又は表示面の曲率が可変とされた曲率可変表示パネルの曲率調整の何れかが行われるように制御を行う画像歪み対応処理を行う。
【選択図】図１

Description

本技術は、撮像素子により得られた撮像画像信号に基づいて生成された撮像画像データについて処理を行う画像データ処理装置とその方法に関し、特に、画像の歪みが生じている撮像画像データについて処理を行う技術分野に関する。また、画像の歪みが生じている撮像画像データについて処理を行う画像歪み対応処理装置とその方法についての技術分野に関する。

国際公開第２００９／０５０８１２号

画像表示が可能な表示パネルとして各種のものが存在している。
例えば、表示面が平面とされた平面表示パネル、表示面が曲面とされた曲面表示パネルが存在している。また、上記特許文献１等には、可撓性を有する表示面の曲率（屈曲率）を変化させることのできる曲率可変表示パネルが開示されている。

一方で、表示コンテンツとしての画像については、例えば撮像装置をパンさせながら複数枚撮像した画像をパノラマ合成したパノラマ画像や、高解像度の撮像素子を用いて広角レンズにより撮像した広角高解像度画像などによって臨場感の向上を図っている。

ここで、上記のようなパノラマ画像や広角高解像度画像は、画角の広さから、通常は歪み（被写体の形状の歪み）が生じた画像とされる。
このように歪みが生じた画像は、これをそのまま平面表示パネル上に表示した場合には観察者に違和感を与えてしまう。また、曲面表示パネルを用いた場合であっても、表示パネルの曲率が画像の歪み度合いに対応したものでない場合には、臨場感を適切に与えることができない虞がある。

そこで、本技術では上記した問題点を克服し、画像の歪みが生じている撮像画像データに基づいた画像表示を行う場合において、表示パネルの表示面形状に応じた適切な画像表示が行われるように図ることを目的とする。

第１に、本技術に係る画像データ処理装置は、撮像素子により得られた撮像画像信号に基づいて生成された撮像画像データに対して、当該撮像画像データの画像の歪み度合いと相関する歪み度情報を付帯させる歪み度情報付帯制御部と、前記歪み度情報が付帯された前記撮像画像データが記録媒体に記録されるように制御を行う記録制御部とを備えるものである。

これにより、例えばパノラマ画像データや広角撮像画像データ等の画像の歪みが生じている撮像画像データに歪み度情報が付帯され、所要の記録媒体に記録される。

第２に、上記した本技術に係る画像データ処理装置は、それぞれが異なる方向を撮像して得られた複数の撮像画像データをパノラマ合成してパノラマ画像データを生成するパノラマ合成処理部を備え、前記歪み度情報付帯制御部は、前記複数の撮像画像データのうち互いの撮像方向の差が最大である一端側撮像画像データと他端側撮像画像データとの撮像方向の差分角度である撮像方向最大差角に基づいて前記歪み度情報を生成し、生成した前記歪み度情報を前記パノラマ画像データとしての撮像画像データに付帯させることが望ましい。
これにより、パノラマ画像データの画像の歪み度合いと適切に相関する歪み度情報がパノラマ画像データに付帯される。

第３に、上記した本技術に係る画像データ処理装置においては、前記歪み度情報付帯制御部は、前記撮像方向最大差角と、前記一端側撮像画像データと前記他端側撮像画像データの画角とに基づいて前記歪み度情報を生成することが望ましい。
これにより、パノラマ画像データの画像の歪み度合いとより適切に相関する歪み度情報がパノラマ画像データに付帯される。

第４に、上記した本技術に係る画像データ処理装置においては、前記パノラマ合成処理部は、スウィングパノラマ撮影により得られた複数の撮像画像データを合成して前記パノラマ画像データを生成することが望ましい。
これにより、パノラマ画像データを生成するにあたり撮像装置を複数台用いる必要がなくなる。

第５に、上記した本技術に係る画像データ処理装置においては、前記歪み度情報付帯制御部は、前記スウィングパノラマ撮影の開始から終了までの時間長であるパノラマ撮影時間長と、前記スウィングパノラマ撮影におけるスウィング動作の平均角速度とに基づいて前記撮像方向最大差角を計算することが望ましい。
これにより、スウィングパノラマ撮影によりパノラマ画像データを生成する場合の撮像方向最大差角が適切に求められる。

第６に、上記した本技術に係る画像データ処理装置においては、前記パノラマ合成処理部は、それぞれが異なる方向を撮像する複数の撮像装置により撮像された複数の撮像画像データを合成して前記パノラマ画像データを生成することが望ましい。
これにより、パノラマ画像データの生成に必要とされる複数の撮像画像データを同時に得ることが可能とされる。

第７に、上記した本技術に係る画像データ処理装置においては、前記歪み度情報付帯制御部は、前記複数の撮像装置のうち撮像方向の角度差が最大である一端側撮像装置と他端側撮像装置に設けられた磁気センサの検出情報に基づき、前記撮像方向最大差角を計算することが望ましい。
これにより、複数の撮像装置による撮像画像データを合成してパノラマ画像データを得る場合の撮像方向最大差角が適切に求められる。

第８に、上記した本技術に係る画像データ処理装置においては、前記歪み度情報付帯制御部は、前記撮像画像データを得るための撮像に用いられたレンズユニットの焦点距離と前記撮像素子のサイズとに基づき計算される画角の情報を前記歪み度情報として前記撮像画像データに付帯させることが望ましい。
これにより、画像の歪みが生じている撮像画像データが広角レンズユニットを介した撮像により得られた撮像画像データである場合に対応して、撮像画像データの画像の歪み度合いと適切に相関する歪み度情報が当該撮像画像データに付帯される。

また、本技術に係る画像データ処理方法は、撮像素子により得られた撮像画像信号に基づいて生成された撮像画像データに対して、当該撮像画像データの画像の歪み度合いと相関する歪み度情報を付帯させる歪み度情報付帯制御手順と、前記歪み度情報が付帯された前記撮像画像データが記録媒体に記録されるように制御を行う記録制御手順とを有するものである。
これにより、上記した本技術に係る画像データ処理装置と同様に、例えばパノラマ画像データや広角撮像画像データ等の画像の歪みが生じている撮像画像データに歪み度情報が付帯され、所要の記録媒体に記録される。

また、本技術に係る画像歪み対応処理は、第一に、撮像素子により得られた撮像画像信号に基づいて生成された撮像画像データであって、当該撮像画像データの画像の歪み度合いと相関する歪み度情報が付帯された撮像画像データを取得する画像取得部と、前記歪み度情報に基づいて、前記撮像画像データの歪み補正処理、又は表示面の曲率が可変とされた曲率可変表示パネルの曲率調整の何れかが行われるように制御を行う画像歪み対応処理部とを備えるものである。

このように歪み度情報に基づいて歪み補正処理、又は曲率可変表示パネルの曲率調整の何れかが行われることで、画像の歪みが生じている撮像画像データに基づく画像を表示面の曲率が固定とされた曲率固定表示パネル、又は曲率可変表示パネルに表示する場合に対応して、観察者に違和感を与えることなく、臨場感を適切に与えることが可能とされる。

第二に、上記した本技術に係る画像歪み対応処理装置においては、前記画像歪み対応処理部は、前記歪み度情報に基づいて前記撮像画像データの歪み補正処理が実行されるように制御を行い、前記歪み補正処理が施された前記撮像画像データに基づく画像が表示面の曲率が固定とされた表示パネルに表示されるように制御を行う第一表示制御部を備えることが望ましい。
これにより、画像の歪みが生じている撮像画像データに基づく画像を表示面の曲率が固定とされた曲率固定表示パネルに表示する場合に対応して、観察者に違和感を与えることなく、臨場感を適切に与えることが可能とされる。

第三に、上記した本技術に係る画像歪み対応処理装置においては、前記画像歪み対応処理部は、前記歪み度情報に基づいて前記曲率可変表示パネルの曲率調整が行われるように制御を行い、前記撮像画像データに基づく画像が前記曲率可変表示パネルに表示されるように制御を行う第二表示制御部を備えることが望ましい。
これにより、画像の歪みが生じている撮像画像データに基づく画像を曲率可変表示パネルに表示する場合に対応して、観察者に違和感を与えることなく、臨場感を適切に与えることが可能とされる。

第四に、上記した本技術に係る画像歪み対応処理装置においては、前記画像歪み対応処理部は、前記歪み度情報が表す歪み度と、前記曲率可変表示パネルの曲率に対応する歪み度との差分に応じた前記歪み補正処理が行われるように制御を行い、前記歪み補正処理が施された前記撮像画像データに基づく画像が前記曲率可変表示パネルに表示されるように制御を行う第三表示制御部を備えることが望ましい。
これにより、曲率可変表示パネルには、当該表示パネルの現在の設定曲率に応じた歪みを有する画像が表示される。

また、本技術に係る画像歪み対応処理方法は、撮像素子により得られた撮像画像信号に基づいて生成された撮像画像データであって、当該撮像画像データの画像の歪み度合いと相関する歪み度情報が付帯された撮像画像データを取得する画像取得手順と、前記歪み度情報に基づいて、前記撮像画像データの歪み補正処理、又は表示面の曲率が可変とされた曲率可変表示パネルの曲率調整の何れかが行われるように制御を行う画像歪み対応処理手順とを有するものである。
これにより、上記した本技術に係る画像歪み対応処理装置と同様に、画像の歪みが生じている撮像画像データに基づく画像を表示面の曲率が固定とされた曲率固定表示パネル、又は曲率可変表示パネルに表示する場合に対応して、観察者に違和感を与えることなく、臨場感を適切に与えることが可能とされる。

本技術によれば、画像の歪みが生じている撮像画像データに基づいた画像表示を行う場合において、表示パネルの表示面形状に応じた適切な画像表示が行われるように図ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

第１の実施の形態の画像表示システムの概要についての説明図である。 パノラマ画像の例を示した図である。 スウィングパノラマ撮影についての説明図である。 シームの例（図４Ａ）、及びシームに従った接合により得られたパノラマ画像の模式図（図４Ｂ）である。 第１の実施の形態の画像データ処理装置（撮像装置）内部のハードウェア構成を示したブロック図である。 パノラマ画像データの画角についての説明図である 第１の実施の形態の画像データ処理装置において実行される処理の手順を示したフローチャートである。 構成・処理例Iに対応する画像歪み対応処理装置（表示装置）の内部ハードウェア構成を示したブロック図である。 歪み補正処理を経たパノラマ画像データに基づく画像が平面表示パネルに表示された様子を示した図である。 曲面表示パネルに当該表示パネルの曲率に対応する歪み度との差分に応じた歪み補正処理を施した画像を表示した際のイメージを示した図である。 構成・処理例IIに対応する画像歪み対応処理装置（表示装置）の内部ハードウェア構成を示したブロック図である。 構成・処理例IIに対応する画像歪み対応処理装置において実行される処理の手順を示したフローチャートである。 構成・処理例IIIに対応する画像歪み対応処理装置において実行される処理の手順を示したフローチャートである。 第２の実施の形態の画像表示システムの概要についての説明図である。 第２の実施の形態の画像表示システムが備える撮像装置、パノラマ画像生成装置（第２の実施の形態の画像データ処理装置）それぞれの内部ハードウェア構成を示したブロック図である。 第２の実施の形態としての歪み度情報の付帯制御、及び記録制御を実現するための具体的な処理手順を示したフローチャートである。 第３の実施の形態の画像データ処理装置の内部ハードウェア構成を示したブロック図である。 第３の実施の形態の画像データ処理装置において実行される処理の手順を示したフローチャートである。

以下、実施の形態を次の順序で説明する。
＜１．第１の実施の形態＞
［1-1．画像表示システムの概要］
［1-2．画像データ処理装置の構成］
［1-3．歪み度情報の付帯制御、記録制御］
［1-4．処理手順］
［1-5．画像歪み対応処理装置］
（構成・処理例Ｉ）
（構成・処理例II）
（構成・処理例III）
＜２．第２の実施の形態＞
［2-1．画像表示システムの概要］
［2-2．画像データ処理装置の構成］
［2-3．歪み度情報の付帯制御、記録制御］
［2-4．処理手順］
＜３．第３の実施の形態＞
［3-1．画像データ処理装置の構成］
［3-2．処理手順］
＜４．実施の形態のまとめ＞
＜５．変形例＞
＜６．本技術＞

＜１．第１の実施の形態＞
［1-1．画像表示システムの概要］

図１は、第１の実施の形態の画像表示システム１００の概要についての説明図である。
画像表示システム１００は、撮像装置１と表示装置２を少なくとも備えている。
撮像装置１は、本技術画像データ処理装置の一実施形態であり、表示装置２は、本技術画像歪み対応処理装置の一実施形態である。

撮像装置１は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどによる撮像素子（後述する撮像素子１１）を備えたデジタルスチルカメラとされ、撮像素子により得られた撮像画像信号に基づいて撮像画像データを生成する。撮像装置１は、撮像画像データとして、いわゆるパノラマ画像データとしての撮像画像データを生成する機能を有している。
パノラマ画像データは、それぞれが異なる方向を撮像して得られた複数の撮像画像データをパノラマ合成して生成された撮像画像データであり、図２に例示するように、画角が比較的広いものとなっている。

第１の実施の形態の場合、パノラマ画像データは、いわゆるスウィングパノラマ撮影によって生成される。

図３は、スウィングパノラマ撮影についての説明図であり、図３Ａはスウィングパノラマ撮影時の撮像装置１の動きを示し、図３Ｂはスウィング中に得られた複数の撮像画像データを模式的に表している。
スウィングパノラマ撮影は、撮像者がある地点（回転軸）Ｃｓにおいて撮像装置１を回転させながら撮像装置１に複数枚の撮像画像データ（静止画像データ）を撮像させる撮影形態を意味する。
以下、スウィングパノラマ撮影時における撮像装置１の回転運動のことを「スイープ」と表記する。
また、スイープ中の撮像により得られた複数枚（ｎ枚とする）の撮像画像データのことを「パノラマ用フレーム画像データＦＭ」と表記し、これに撮像順に応じた番号（０〜（ｎ−１））を「＃」と共に付して各パノラマ用フレーム画像データＦＭを区別する。

パノラマ画像データの生成にあたっては、図３Ｂに示すように、スイープ中に得られたｎ枚のパノラマ用フレーム画像データＦＭ＃０〜ＦＭ＃（ｎ−１）を適切に位置合わせする。なお、図３Ｂに例示したように、このような各パノラマ用フレーム画像データＦＭの位置合わせの結果、一般的にスイープ方向だけでなく、スイープ方向に垂直な方向にも若干の移動が認められる場合もある。これは、撮影者のスイープ時の手振れ等によって生じるズレである。

図３Ｂのような位置合わせを行った上で、パノラマ用フレーム画像データＦＭ＃０〜ＦＭ＃（ｎ−１）について次のように合成処理を行う。

先ず、図３Ｂに示したように、撮像された各フレーム画像データＦＭは隣接するフレーム画像データＦＭと重なり部分を持つので、当該重なり部分を考慮して、各フレーム画像データＦＭに対して最終的なパノラマ画像に使用する領域を決定する。これは言い換えると、パノラマ合成処理における画像のつなぎ目（シーム：seam、以下「シームＳＭ」と表記)を決めていることと同一である。

図４Ａは、シームＳＭの例を示している。
シームＳＭは、図４Ａに示すようにスイープ方向に垂直な直線とすることができる。なお、シームＳＭは、必ずしも直線に限定されるものではなく、非直線（曲線など）とすることもできる。
図４Ａにおいて、シームＳＭ０はパノラマ用フレーム画像データＦＭ＃０，ＦＭ＃１間のつなぎ目、シームＳＭ１はパノラマ用フレーム画像データＦＭ＃１，ＦＭ＃２間のつなぎ目、・・・シームＳＭ（ｎ−２）はパノラマ用フレーム画像データＦＭ＃（ｎ−２），ＦＭ＃（ｎ−１）間のつなぎ目として示している。
なお、これらシームＳＭ０〜ＳＭ（ｎ−２）が合成時の隣接画像間のつなぎ目とされることで、各フレーム画像データＦＭにおいて斜線部とした部分は、最終的なパノラマ画像に使用されない画像領域となる。

パノラマ用フレーム画像データＦＭ＃０〜ＦＭ＃（ｎ−１）の合成は、このように決定したシームＳＭ０〜ＳＭ（ｎ−２）に基づいて行うが、シームＳＭ付近の画像の不自然さを低減することを目的とし、シームＳＭ付近の画像領域についてブレンド処理を行うこともできる。
すなわち、隣接関係にある各フレーム画像データＦＭのシームＳＭ付近の画像領域同士をブレンドし、シームＳＭに従って接合するものである。
なお、フレンド処理は必須ではなく、省略することも可能である。

このように各フレーム画像データＦＭのシームＳＭを決定し、その境界領域で接合、又はブレンド処理することによる接合を行い、最終的に手振れ量を考慮してスイープと垂直な方向の不要な部分をトリミングすることによって、図４Ｂに示すような、スイープ方向を長辺方向とする、画角の広いパノラマ画像データを得ることができる。
なお、図４Ｂでは縦線がシームＳＭを表しており、ｎ個のパノラマ用フレーム画像データＦＭ＃０〜ＦＭ＃（ｎ−１）がシームＳＭ０〜ＳＭ（ｎ−２）でそれぞれ接合されてパノラマ画像データが生成された状態を模式的に示している。

説明を図１に戻す。
本実施の形態の撮像装置１においては、上記のようなスウィングパノラマ撮影が行われて生成されたパノラマ画像データが得られる。パノラマ画像データは、その画角の広さより、画像の歪み（画像内に写し出された被写体の形状の歪み）の発生が避けられない。

撮像装置１においては、このように画像の歪みが生じているパノラマ画像データが生成されることに対応して、図１に歪み度情報付帯制御部１ａ、記録制御部１ｂとしてそれぞれ示す機能を有している。
歪み度情報付帯制御部１ａは、パノラマ画像データのような画像歪みが生じている撮像画像データに対して、当該撮像画像データの画像の歪み度合いと相関する歪み度情報Ｄｓを付帯させる。
記録制御部１ｂは、歪み度情報Ｄｓが付帯された撮像画像データが記録媒体に記録されるように制御を行う。後述するように、撮像装置１においては、記録／再生デバイス１５が設けられ、所要の記録媒体に対して撮像画像データを記録することが可能とされている。

なお、歪み度情報Ｄｓの具体的な取得手法や、歪み度情報付帯制御部１ａ、記録制御部１ｂとしての機能を実現するための具体的な構成については後に改めて説明する。

表示装置２は、画像表示が可能な表示パネル２ｃを備え、撮像装置１の記録制御部１ｂにより記録された撮像画像データに基づく画像表示を行うことが可能とされている。

表示装置２は、図中に画像取得部２ａ、画像歪み対応処理部２ｂとしてそれぞれ示す機能を有している。
画像取得部２ａとしての機能は、歪み度情報Ｄｓが付帯された撮像画像データを取得する機能を表している。
ここで、表示装置２に撮像装置１側から撮像画像データを取得させる手法については各種が考えられる。
例えば、撮像装置１がメモリカードなどのリムーバブルメディアに撮像画像データを記録する場合には、表示装置２は、装填された当該リムーバブルメディアから撮像画像データを読み込んで取得することが可能である。或いは、撮像装置１と表示装置２との間をＵＳＢ（Universal Serial Bus）ケーブル等での有線接続、又は無線接続、又はインターネット等のネットワーク経由で接続させることで、表示装置２に撮像画像データを取得させることもできる。
また、撮像装置１で得られた撮像画像データを撮像装置１、表示装置２以外の他の装置に一旦転送し、当該他の装置から表示装置２に転送するということもできる。この場合、他の装置はインターネット等の所要のネットワークに接続されたサーバ装置とすることができ、その場合には表示装置２はネットワーク経由で当該サーバ装置にアクセスし、撮像画像データを取得することができる。

画像歪み対応処理部２ｂは、歪み度情報Ｄｓに基づいて、撮像画像データの歪み補正処理、又は表示面の曲率が可変とされた曲率可変表示パネルとしての表示パネル２ｃの曲率調整の何れかが行われるように制御を行う。
このような画像歪み対応処理部２ｂとしての機能により、表示パネル２ｃの表示面形状に応じた適切な画像表示が行われるように図ることができる。

なお、画像取得部２ａ、画像歪み対応処理部２ｂとしての機能を実現するための具体的な構成については後に改めて説明する。

［1-2．画像データ処理装置］

図５は、撮像装置１内部のハードウェア構成を示したブロック図である。
撮像装置１は、レンズユニット１０、撮像素子１１、画像処理部１２、パノラマ合成処理部１３、エンコード／デコード部１４、記録／再生デバイス１５、表示部１６、通信部１７、制御部１８、操作部１９、センサ部２０、メモリ部２１、及びバス２２を備えている。図示するように画像処理部１２、パノラマ合成処理部１３、エンコード／デコード部１４、記録／再生デバイス部１５、表示部１６、通信部１７、制御部１８、操作部１９、センサ部２０、及びメモリ部２１は、バス２２を介して相互に接続され、画像データや制御信号等がやりとりされる。

レンズユニット１０は、被写体からの光を集光し、撮像素子１１の撮像面に結像させる。レンズユニット１０は、制御部１８からの指示に従い、適切な画像が得られるように焦点距離、被写体距離、絞りなどを調整する機構を持つ。レンズユニット１０には、光学的に画像のブレを抑止するための手ブレ補正機構を持たせることもできる。

撮像素子１１は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサなどで構成され、レンズユニット１０により結像された被写体像に基づく光を受光して光電変換し、電気信号（撮像画像信号）に変換する。

画像処理部１２は、撮像素子１１からの電気信号をサンプリングするサンプリング回路、アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル信号に所定の画像処理を施す画像処理回路などから構成される。画像処理部１２は、撮像素子１１で得られた撮像信号に基づく画像データ（撮像画像データ）を得る処理を行う。撮像画像データとしては、前述のパノラマ用フレーム画像データＦＭとしても用いられる静止画像データと共に、動画像データの生成も可能とされる。
画像処理部１２により得られた撮像画像データは、メモリ部２１に一時記憶（記録）される。

パノラマ合成処理部１３は、制御部１８からの指示に基づき、前述したパノラマ合成を実現するためのパノラマ合成処理を行う。
具体的には、スウィングパノラマ撮影中に得られたｎ枚のパノラマ用フレーム画像データＦＭ＃０〜ＦＭ＃（ｎ−１）について、図３Ｂに示したような位置合わせ、シームＳＭ０〜ＳＭ（ｎ−２）の決定、それらシームＳＭに従った接合、及び接合後の画像についてのトリミングを行うことによって、パノラマ画像データを生成する。

なお、画像処理部１２やパノラマ合成処理部１３は、専用のハードウエア回路のみではなく、柔軟な画像処理に対応するためにＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等によるソフトウエア処理で実現することも可能である。

エンコード／デコード部１４は、制御部１８からの指示に基づき、撮像画像データについてのエンコード処理、及びエンコードされた状態の撮像画像データについてのデコード処理を行う。
例えば、エンコード／デコード部１４は、静止画撮影時には、画像処理部１２で得られメモリ部２１に一時記憶された撮像画像データをＪＰＥＧ（Joint Photographic Experts Group）形式などの所定の静止画圧縮形式によりエンコードして静止画ファイルとしての画像ファイルを生成する。また、動画撮影時には、画像処理部１２でられメモリ部２１に一時記憶された撮像画像データに基づいて例えばＡＶＣＨＤ（Advanced Video Codec High Definition）形式等の所定の動画圧縮形式によるエンコードを行って動画ファイルとしての画像ファイルを生成する。
またエンコード／デコード部１４は、これら所定の静止画形式、動画形式による画像ファイルをデコードする。

記録／再生デバイス１５は、フラッシュメモリ（Flash Memory）などの半導体メモリを備えたメモリーカード（カード型メモリ装置）、磁気ディスク、光ディスク、光磁気ディスクなどのリムーバブルメディアとしての記録媒体に対する記録再生系回路・機構により構成されている。
記録／再生デバイス１５は、制御部１８からの指示に基づき、エンコード／デコード部１４によるエンコード処理で得られた画像ファイルや各種データを記録媒体に記録する。また記録／再生デバイス１５は、制御部１８からの指示に基づき、記録媒体に記録されている画像ファイルや各種データを再生する。
なお、記録／再生デバイス１５は、撮像装置１に内蔵された記録媒体に対する記録／再生を行うものであってもよい。

表示部１６は、例えばＬＣＤ（Liquid Crystal Display）ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイ等の画像表示が可能なディスプレイを備えており、制御部１８からの指示に基づき画像等の各種情報の表示を行う。
例えば表示部１６は、エンコード／デコード部１４によるデコード処理で得られた撮像画像データに基づく画像の表示を行う。また、表示部１６は、画像信号処理部１２で得られた撮像画像データに基づく画像をいわゆるスルー画として表示する。

通信部１７は外部機器との通信やネットワーク通信を行う。具体的に、通信部１７は３Ｇ，４Ｇ通信などと呼ばれる携帯電話系の移動通信システムやＩＥＥＥ８０２．１１シリーズなどによる無線ＬＡＮ（Local Area Network）などの無線通信、あるいは有線ＬＡＮやＵＳＢなどの有線通信を行うモジュールから構成される。これにより、例えば表示装置２などの外部機器との各種データの受け渡しが可能とされている。

メモリ部２１は、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリで構成され、画像処理部１２で得られた撮像画像データや、制御部１８が扱う各種データなどが一時記憶される。

操作部１９は、シャッタボタン（レリーズボタン）、上下左右矢印キー、決定キー、キャンセルキーなどのハードウエアキー、操作ダイアル、タッチパネル、ズームレバーなどの操作子を備え、ユーザの入力操作を検出し、制御部１８に入力操作に応じた情報（操作入力情報）を伝達する。制御部１８は操作入力情報に応じて撮像装置１の動作を決定し、各部が必要な動作を行うように制御する。

センサ部２０は、角速度を検出するジャイロセンサ、加速度を検出する加速度センサ、現在位置を検出するＧＰＳ（Global Positioning System）センサ、磁場（磁界）の大きさや方向を検出する磁気センサなどを有して構成され、各種情報の検出を行う。

制御部１８は、例えばＣＰＵ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備えたマイクロコンピュータで構成され、例えば上記ＲＯＭに記憶されたプログラムに基づいた処理を実行することで撮像装置１の各部の制御を行う。

ここで、撮像装置１には、パノラマ撮影を行うためのパノラマ撮影モードが用意されている。撮影者は、操作部１９に設けられた所定の操作子を操作してパノラマ撮影モードへの移行を指示するための操作入力を行うことが可能とされている。本例の場合、パノラマ撮影モード時においては、シャッタボタンの押圧操作がパノラマ撮影の開始、終了の操作として割り当てられている。すなわち、パノラマ撮影モード時には、撮影者がシャッタボタンを一度押圧操作するとパノラマ撮影として例えば所定の時間間隔でパノラマ用フレーム画像データＦＭを生成する処理が開始され、再度シャッタボタンが押圧操作されると当該処理が終了する。撮影者は、このような二度のシャッタボタン操作の間に撮像装置１をスイープする。これにより、図３Ｂに示したようなｎ枚のパノラマ用フレーム画像データＦＭが生成される。

制御部１８は、このようなパノラマ撮影によるｎ枚のパノラマ用フレーム画像データＦＭの生成を実現するべく、パノラマ撮影モード時において、シャッタボタンの押圧操作を監視し、シャッタボタンの押圧操作が行われたことに応じて画像信号処理部１２による所定時間間隔ごとの撮像画像データ（静止画）の生成を実行させる。これらパノラマ撮影モード中に生成された撮像画像データは、メモリ部２１に記憶される。そして、制御部１８は、再度シャッタボタンの押圧操作が行われたことに応じて、画像信号処理部１２による上記の所定時間間隔ごとの撮像画像データの生成処理を停止させると共に、メモリ部２１に記憶されたｎ枚の撮像画像データ（パノラマ用フレーム画像データＦＭ）についてのパノラマ合成処理をパノラマ合成処理部１３に実行させて、パノラマ画像データを生成させる。

なお、パノラマ撮影の終了条件は上記のようなシャッタボタンの再度の押圧操作に限定されず、多様に考えられる。例えば、シャッタボタンの押圧操作が解除されたことを終了条件とする（つまりこの場合はパノラマ用フレーム画像データＦＭの生成を継続させるためにシャッタボタンを押圧操作し続けることを要する）こともできる。或いは、スイープ動作が終了したことを終了条件とすることもできる。また、予めパノラマ撮影の角度（スイープによる撮像装置１の回転角度）を１８０度，２７０度、３６０度などから選択させる場合には、パノラマ撮影の開始条件成立（シャッタボタン押圧操作）からの撮像装置１の回転角度が選択された回転角度に達したことを終了条件とすることもできる。この場合、撮像装置１の回転角度は、センサ部２０による検出情報に基づき検出できる。

また、制御部１８は、先に説明した歪み度情報付帯制御部１ａ、記録制御部１ｂとしての機能を実現するための処理を実行する。

［1-3．歪み度情報の付帯制御、記録制御］

ここで、第１の実施の形態では、スウィングパノラマ撮影により得られたパノラマ画像データに対して、歪み度情報Ｄｓを付帯させる。
具体的に、本例においては、歪み度情報Ｄｓとしてパノラマ画像データの画角θの情報を取得し、パノラマ画像データに付帯させる。

図６は、パノラマ画像データの画角θについての説明図である。
図６において、矢印ＳＷは、パノラマ撮影時に撮像装置１が前述した回転軸Ｃｓを中心としてスイープ（回転）された軌跡を模式的に表している。回転角度θｒは、このようなスイープに伴って撮像装置１が回転された角度を意味している。
図中「ａｓ」は、パノラマ撮影の開始時点での撮像装置１の光軸位置、「ａｅ」はパノラマ撮影の終了時点での撮像装置１の光軸位置を模式的に表している。光軸位置ａｓは、パノラマ撮影において最初のパノラマ用フレーム画像データＦＭ＃０が撮像された時点での撮像装置１の光軸位置とみなすことができ、光軸位置ａｅは、パノラマ撮影において最後のパノラマ用フレーム画像データＦＭ＃（ｎ−１）が撮像された時点での撮像装置１の光軸位置とみなすことができる。
なお、これらパノラマ用フレーム画像データＦＭ＃０、パノラマ用フレーム画像データＦＭ＃（ｎ−１）は、互いの撮像方向の差が最大である「一端側撮像画像データ」、「他端側撮像画像データ」とそれぞれ表現することができる。
また、回転角度θｒは、これら一端側撮像画像データと他端側撮像画像データとの撮像方向の差分角度である「撮像方向最大差角」と表現することができる。

ここで、パノラマ撮影時における画角（パノラマ用フレーム画像データＦＭの画角）を画角θａとおく。なお、この場合の画角θａは、レンズの歪みについては考慮しておらず、撮像素子１１のサイズとレンズユニット１０の焦点距離とから求まる画角を意味している。
一端側撮像画像データとしてのパノラマ用フレーム画像データＦＭ＃０について、スイープ方向とは逆方向の画像端の位置は、光軸位置ａｓからθａ／２度だけ同方向にずれた位置と言うことができる。また、他端側撮像画像データとしてのパノラマ用フレーム画像データＦＭ＃（ｎ−１）について、スイープ方向と同方向の画像端の位置は、光軸位置ａｓからθａ／２度だけ同方向にずれた位置と言うことができる。
従って、パノラマ画像データの画角θは、回転角度θｒに対してθａ／２とθａ／２を加算した値、すなわち「θｒ＋θａ」として求めることができる。

この際、回転角度θｒについては、センサ部２０の検出情報に基づいて求めることができる。
具体的に、本例では、回転角度θｒはパノラマ撮影時（スイープ時）の平均角速度ωとパノラマ撮影の開始から終了までの時間長としてのパノラマ撮影時間長Ｔｐとを積算した値として求める。
なお、回転角度θｒは、加速度センサの検出情報に基づいて求めたスイープ時の撮像装置１の移動量から求めることもできる。或いは、回転角度θｒは、磁気センサの検出情報に基づきパノラマ撮影の開始時、終了時の方位角を検出しそれらの角度差として求めることもでき、具体的な検出手法は上記の平均角速度ωとパノラマ撮影時間長Ｔｐとを用いた手法に限定されるものではない。

図５に示した制御部１８は、上記のような「θｒ＋θａ」による計算を行って得た画角θを歪み度情報Ｄｓとして取得する。
そして、制御部１８は、取得した歪み度情報Ｄｓがパノラマ画像データに付帯されるように制御を行う。本例の場合、パノラマ画像データに対する歪み度情報Ｄｓの付帯は、パノラマ画像データをエンコード／デコード部１４がエンコードして得られた画像ファイルのメタデータとして埋め込ませることで行う。すなわち、制御部１８は、取得した歪み度情報Ｄｓが、このようなパノラマ画像データのエンコード後の画像ファイルのメタデータとして埋め込まれるようにエンコード／デコード部１４に対する指示を行う。

さらに、制御部１８は、前記した記録制御部１ｂに対応する処理として、上記のように歪み度情報Ｄｓが付帯された撮像画像データが記録媒体に記録されるように記録／再生デバイス１５に対する指示を行う。

［1-4．処理手順］

図７のフローチャートを参照して、歪み度情報付帯制御部１ａ、記録制御部１ｂとしての機能を実現するために行われるべき具体的な処理手順を説明する。
なお、図７に示す処理は、制御部１８が前述したＲＯＭ等に記憶されたプログラムに従って実行するものである。

図７において、制御部１８は、ステップＳ１０１でパノラマ撮影の開始指示が行われるまで待機している。つまり、本例においては、パノラマ撮影モード時において、操作部１９におけるシャッタボタンが押圧操作されるまで待機する。
そして、パノラマ撮影の開始指示が行われた場合、制御部１８はステップＳ１０２で時間計測を開始し、続くステップＳ１０３でセンサ出力のサンプリングを開始する。具体的には、センサ部２０におけるジャイロセンサが検出している角速度の情報のサンプリングを開始する。
次いで、制御部１８は、ステップＳ１０４で現在の画角θａの情報を取得する。

画角θａの情報を取得したことに応じて、制御部１８はステップＳ１０５でパノラマ撮影の終了指示が行われるまで待機する。すなわち、本例ではシャッタボタンが再度押圧操作されるまで待機する。
そして、パノラマ撮影の終了指示が行われた場合、制御部１８はステップＳ１０６で時間計測（ステップＳ１０２で開始した時間計測）とサンプリング（ステップＳ１０３で開始したサンプリング）を終了する。

続くステップＳ１０７で制御部１８は、計測時間長をパノラマ撮影時間長Ｔｐとして保持し、ステップＳ１０８で平均角速度ωを計算する。すなわち、サンプリングした角速度の平均値を平均角速度ωとして計算する。

上記のようにパノラマ撮影時間長Ｔｐと平均角速度ωの情報を得た上で、制御部１８はステップＳ１０９で「パノラマ撮影時間長Ｔｐ×平均角速度ω」により回転角度θｒを計算し、ステップＳ１１０で「回転角度θｒ×画角θａ」によりパノラマ画像データの画角θを計算する。

画角θを計算したことに応じ、制御部１８はステップＳ１１１で画角θを歪み度情報Ｄｓとして付帯させる処理を行う。すなわち、画角θによる歪み度情報Ｄｓが、パノラマ画像データのエンコード画像ファイルのメタデータとして埋め込まれるようにエンコード／デコード部１４に対する指示を行う。

さらに、制御部１８は、次のステップＳ１１２で、ステップＳ１１１の処理により歪み度情報Ｄｓが付帯されたパノラマ画像データについての記録制御処理を行う。すなわち、当該パノラマ画像データが記録媒体に記録されるように記録／再生デバイス１５に対する指示を行う。
制御部１８は、ステップＳ１１２の記録制御処理を実行したことに応じてこの図に示す処理を終了する。

この図７に示す処理により、前述した歪み度情報付帯制御部１ａ、及び記録制御部１ｂとしての機能が実現される。

［1-5．画像歪み対応処理装置の構成］
（構成・処理例Ｉ）

続いて、表示装置２について説明する。
表示装置２については、その構成及び処理例としてI〜IIIを挙げることができる。
図８は、構成・処理例Iに対応する表示装置２内部のハードウェア構成を示したブロック図である。
本例の表示装置２は、表示パネル２ｃを備えると共に、記録／再生デバイス３０、画像信号処理部３１、表示駆動部３２、通信部３３、制御部３４、操作部３５、及びバス３６を備えている。記録／再生デバイス部３０、画像信号処理部３１、表示制御部３２、通信部３３、制御部３４、及び操作部３５は、バス３６を介して相互に接続され、画像データや制御信号等がやりとりされる。

記録／再生デバイス３０は、図５に示した記録／再生デバイス１５と同様、フラッシュメモリなどの半導体メモリを備えたメモリーカード、磁気ディスク、光ディスク、光磁気ディスクなどのリムーバブルメディアとしての記録媒体に対する記録再生系回路・機構により構成されており、制御部３４からの指示に基づき、記録媒体へのデータ記録、記録媒体に記録された画像ファイル等の各種データの再生を行う。
なお、記録／再生デバイス３０は、表示装置２に内蔵された記録媒体に対する記録／再生を行うものであってもよい。

画像信号処理部３１は、制御部３４からの指示に基づき静止画ファイルとしての画像ファイルや動画ファイルとしての画像ファイルについてのデコード処理を行うと共に、デコードした画像データについて各種の画像信号処理を行う。画像信号処理部３１は、画像信号処理として少なくとも画像歪みを補正する歪み補正処理を実行可能とされている。

表示駆動部３２は、表示パネル２ｃの画素を駆動するための表示駆動回路を備え、制御部３４からの指示に基づき、画像処理部３１によるデコード後の画像データに基づく画像やその他の情報の表示が行われるように表示パネル２ｃを表示駆動する。

本例における表示パネル２ｃは、表示面の曲率が固定とされた表示パネル（曲率固定パネル）とされている。この場合の表示パネル２ｃとしては、表示面が平面とされた平面表示パネル、又は表示面が曲面とされた曲面表示パネルの何れであってもよい。
なお、曲面表示パネルにおける表示面の湾曲は、略長方形状とされた表示面の少なくとも長辺方向（本例では横方向）において為されており、表示面と対面する位置から見た際には、表示面の長辺方向の中央部が最も奥側に位置し、長辺方向の端部が最も手前側に位置する。

通信部３３は、外部機器との有線又は無線による通信やネットワーク通信を行う。
操作部３５は、各種の操作子を備え、ユーザの入力操作を検出し、制御部３４に入力操作に応じた情報（操作入力情報）を伝達する。制御部３４は操作入力情報に応じて表示装置２の動作を決定し、各部が必要な動作を行うように制御する。
なお、表示装置２に対する操作入力はリモートコントローラを介して行われるように構成することもできる。

制御部３４は、例えばＣＰＵ、ＲＯＭ、ＲＡＭを備えたマイクロコンピュータで構成され、例えば上記ＲＯＭに記憶されたプログラムに基づいた処理を実行することで表示装置２の各部の制御を行う。

ここで、上記構成による表示装置２においては、撮像装置１により歪み度情報Ｄｓが付帯されたパノラマ画像データをリムーバブルメディアや通信部３３を経由して取得可能とされている。この点からも理解されるように、記録／再生デバイス３０、又は通信部３３は、前述した画像取得部２ａとしての機能を担うものである。

そして、本例の制御部３４は、このように画像取得部２ａとしての機能を担う記録／再生デバイス３０、又は通信部３３によって取得されたパノラマ画像データに付帯されている歪み度情報Ｄｓに基づいて、パノラマ画像データの歪み補正処理が行われるように画像信号処理部３１に対する指示を行う。
例えば、制御部３４は、記録／再生デバイス３０、又は通信部３３によって取得されたパノラマ画像データの表示を指示する操作入力に応じて、当該パノラマ画像データの歪み補正処理の実行を指示し、歪み補正処理後のパノラマ画像データに基づく画像表示が表示パネル２ｃ上に行われるように表示駆動部３２に対する指示を行う。

この際、歪み補正処理としては、表示パネル２ｃが平面表示パネルである場合には、取得したパノラマ画像データの歪み度をゼロとすることを目標とした補正が行われるようにする。
このような歪み補正処理を経たパノラマ画像データに基づく画像が平面表示パネルとしての表示パネル２ｃに表示されることで、図９に示すように、観察者に違和感を与えない画像表示が実現される。

或いは、表示パネル２ｃが曲面表示パネルである場合には、取得した歪み度情報Ｄｓが表す歪み度と表示パネル２ｃの曲率に対応する歪み度との差分に応じた歪み補正処理が実行されるようにする。具体的には、歪み度情報Ｄｓが表す歪み度と表示パネル２ｃの曲率に対応する歪み度との差分を解消させるための歪み補正処理を実行する。換言すれば、取得したパノラマ画像データの歪み度を表示パネル２ｃの曲率に対応する歪み度と一致させることを目標とした歪み補正処理を実行させる。
ここで、表示パネル２ｃの曲率に対応する歪み度とは、当該曲率による表示パネル２ｃに表示した際に観察者に画像歪みがほぼ知覚されない画像の歪み度を意味する。
この場合の表示装置２においては、表示パネル２ｃの曲率に対応する歪み度の情報が、例えば前述したＲＯＭ等の制御部３４が読み出し可能な記憶装置に記憶されている。制御部３４は、このように記憶された表示パネル２ｃの曲率に対応する歪み度の情報を読み出して取得し、当該取得した歪み度を目標の歪み度として画像信号処理部３１に指示し、歪み補正処理を実行させる。

図１０は、曲面表示パネルとしての表示パネル２ｃに当該表示パネル２ｃの曲率に対応する歪み度との差分に応じた歪み補正処理を施した画像を表示した際のイメージを示している。
このように曲面表示パネルにその曲率に応じた歪みを有する画像が表示されることで、観察者に違和感を与えることなく、臨場感を適切に与えることができる。

（構成・処理例II）

図１１は、構成・処理例IIに対応する表示装置２内部のハードウェア構成を示したブロック図である。
なお、以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。

構成・処理例IIは、表示パネル２ｃが、表示面の曲率が可変とされた曲率可変表示パネルとされた場合に対応したものである。
この場合の表示装置２においては、図８に示した構成に加えて、パネルアクチュエータ３７が設けられている。パネルアクチュエータ３７は、バス３６を介して制御部３４との間で各種信号のやりとりが可能とされている。
この場合の表示パネル２ｃは、可撓性を有しており、パネルアクチュエータ３７が発生する駆動力に応じて表示面の曲率が変化するように構成されている。

図１２は、構成・処理例IIとしての表示装置２において実行される処理の手順を示したフローチャートである。
なお、図１２に示す処理は制御部３４が前述のＲＯＭ等に記憶されたプログラムに基づき実行するものである。また、図１２に示す処理は、例えば記録／再生デバイス３０、又は通信部３３によって取得されたパノラマ画像データの表示を指示する操作入力に応じて開始される。

先ず、制御部３４は、ステップＳ２０１で歪み度情報Ｄｓを取得する処理を実行する。すなわち、記録／再生デバイス３０、又は通信部３３によって取得されたパノラマ画像データに付帯された歪み度情報Ｄｓを取得する。

そして、制御部３４は、続くステップＳ２０２で歪み度情報Ｄｓに基づきパネルアクチュエータ３７を制御する。具体的には、表示パネル２ｃの曲率が、取得した歪み度情報Ｄｓが表す歪み度に対応する曲率となるようにパネルアクチュエータ３７を制御する。
本例の場合、表示装置２には、歪み度と表示パネル２ｃの曲率との対応関係を表す対応関係情報が記憶されている。制御部３４は、このような対応関係情報に基づいて、歪み度情報Ｄｓに対応する曲率の情報を取得し、表示パネル２ｃの曲率が当該取得した曲率に一致するようにパネルアクチュエータ３７を制御する。

これにより、表示パネル２ｃの曲率が、表示対象としてのパノラマ画像データの画像の歪み度に応じた曲率に調整される。

このように曲率調整された表示パネル２ｃにパノラマ画像データが表示された際のイメージは、先の図１０に示したものと同様である。このことからも理解されるように、上記の曲率調整により、画像の歪みが生じている撮像画像データに基づいた画像表示を行う場合において、観察者に違和感を与えることなく、臨場感を適切に与えることができる。

（構成・処理例III）

構成・処理例IIIは、曲率可変表示パネルとしての表示パネル２ｃが用いられる場合において、歪み度情報Ｄｓが表す歪み度と、表示パネル２ｃの曲率に対応する歪み度との差分に応じた歪み補正処理が行われるようにするものである。
ここで、曲率可変表示パネルとしての表示パネル２ｃを備えた表示装置２については、ユーザが表示パネル２ｃの曲率を指定して表示画像を鑑賞するということが考えられる。例えば、表示パネル２ｃの前に複数人が並んで表示画像を鑑賞する際には、端に位置する人の見やすさを考慮すると表示パネル２ｃの曲率をあまり大きくすることはできない。例えばこのようなケースに代表されるように、表示パネル２ｃの曲率はユーザにより指定された曲率から変化させないことが望ましい場合がある。

構成・処理例IIIは、このようにユーザによって表示パネル２ｃの曲率が指定された場合等に対応して、歪み度情報Ｄｓが表す歪み度と表示パネル２ｃの曲率に対応する歪み度との差分に応じた歪み補正処理が行われるようにするものである。
なお、構成・処理例IIIに対応する表示装置２のハードウェア構成は図１１で説明したものと同様となるため、改めての図示による説明は省略する。

図１３は、構成・処理例IIIとしての表示装置２において実行される処理の手順を示したフローチャートである。
なお、図１３に示す処理は制御部３４がＲＯＭ等に記憶されたプログラムに基づき実行するものである。また、図１３に示す処理としても、先の図１２と同様に例えば記録／再生デバイス３０、又は通信部３３によって取得されたパノラマ画像データの表示を指示する操作入力に応じて開始される。
以下、既に説明済みの処理と同内容となる処理については同一のステップ番号を付して詳細説明を省略する。

この場合の制御部３４は、ステップＳ２０１で歪み度情報Ｄｓを取得し、続くステップＳ３０１でパネル曲率情報を取得する。すなわち、表示パネル２ｃの現在における曲率の情報を取得する。なお、制御部３４は自らパネルアクチュエータ３７を制御して表示パネル２ｃの曲率調整を行っているため、表示パネル２ｃの曲率情報を把握している。

制御部３４は、次のステップＳ３０２で表示パネル２ｃの曲率に対応する歪み度と取得した歪み度情報Ｄｓが表す歪み度との差分に応じた歪み補正処理の実行指示を行う。
この場合の表示装置２においては、表示パネル２ｃの曲率と歪み度との対応関係を表す対応関係情報が記憶されており、制御部３４は、このように記憶された対応関係情報に基づいて表示パネル２ｃの曲率に対応する歪み度の情報を取得する。そして、このように取得した表示パネル２ｃの曲率に対応する歪み度と、歪み度情報Ｄｓが表す歪み度との差分に応じた歪み補正処理を実行するように画像信号処理部３１に指示を行う。具体的には、取得したパノラマ画像データの歪み度を表示パネル２ｃの曲率に対応する歪み度と一致させることを目標とした歪み補正処理を実行するように指示を行う。

このような構成・処理例IIIによれば、曲率可変の表示パネル２ｃには、当該表示パネル２ｃの現在の設定曲率に応じた歪みを有する画像が表示されるので、観察者に違和感を与えることなく、臨場感を適切に与えることができる。

＜２．第２の実施の形態＞
［2-1．画像表示システムの概要］

続いて、第２の実施の形態について説明する。
第２の実施の形態は、それぞれが異なる方向を撮像する複数の撮像装置により撮像された複数の撮像画像データを合成してパノラマ画像データを生成するものである。

図１４は、第２の実施の形態の画像表示システム１００Ａの概要についての説明図である。
図示するように画像表示システム１００Ａは、複数（ｎ個）の撮像装置３とパノラマ画像生成装置１Ａと表示装置２とを備えている。
複数の撮像装置３は、それぞれが異なる方向を撮像するように配置されている。具体的には、それぞれの撮像装置３による撮像方向が地点Ｃｓを中心とした放射方向となるように配置されている。
ここで、図１４に示すように、これら複数の撮像装置３については、紙面における最も左側の端部に位置する撮像装置３から順に撮像装置３の番号を付し、撮像装置３−１、撮像装置３−２、…撮像装置３−ｎと表す。撮像装置３−１と撮像装置３−ｎは、撮像方向の角度差が最大である一端側撮像装置と他端側撮像装置と表現することができる。

本例の場合、撮像装置３−１〜３−ｎは、それぞれ雲台にセットされた状態で三脚上に固定されている。雲台により撮像装置３−１〜３−ｎのパン方向の回転角度が調整されて、撮像装置３のそれぞれの撮像方向が上記した方向にセットされている。

パノラマ画像生成装置１Ａは、撮像装置３−１〜３−ｎにより撮像された複数の撮像画像データを合成してパノラマ画像データを生成する。また、パノラマ画像生成装置１Ａは、前述した歪み度情報付帯制御部１ａ及び記録制御部１ｂとしての機能を有する。すなわち、パノラマ画像生成装置１Ａは、本技術に係る画像データ処理装置の実施形態である。

表示装置２は、第１の実施の形態で説明した構成・処理例I〜IIIの何れかによる表示装置２とされている。第１の実施の形態の場合との差異点は、取得するパノラマ画像データ（及びその歪み度情報Ｄｓ）がパノラマ画像生成装置１Ａにより生成されたものとなる点であり、画像取得部２ａ、対応処理部２ｂとしての機能については第１の実施の形態の場合と同様である。

［2-2．画像データ処理装置の構成］

図１５は、撮像装置３、パノラマ画像生成装置１Ａそれぞれの内部ハードウェア構成を示したブロック図である。
撮像装置３は、第１の実施の形態の撮像装置１が備えていたものと同様のレンズユニット１０、撮像素子１１、画像処理部１２、及びセンサ部２０を備えていると共に、制御部４０、通信部４１、及びバス４２を備えている。画像処理部１２、センサ部２０、制御部４０、及び通信部４１は、バス４２を介して相互に接続され、画像データや制御信号等がやりとりされる。

通信部４１は、外部機器との有線又は無線による通信やネットワーク通信を行う。特に本例の場合は、パノラマ画像生成装置１Ａとの間の通信が可能とされている。
制御部４０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭを備えたマイクロコンピュータで構成され、例えば上記ＲＯＭに記憶されたプログラムに従った処理を実行することで撮像装置３の各部の制御を行う。
例えば、制御部４０は、通信部４１を介してパノラマ画像生成装置１Ａの後述する制御部１８Ａからの撮像指示信号が入力されたことに応じて、画像処理部１２に撮像素子１１からの撮像信号に基づく撮像画像データを生成させ、生成された撮像画像データ（パノラマ用フレーム画像データＦＭに相当）を通信部４１を介してパノラマ画像生成装置１Ａに送信する処理を実行する。また、制御部４０は、パノラマ画像生成装置１Ａの制御部１８Ａからの指示に基づき、センサ部２０による検出情報等の各種の情報を通信部４１経由でパノラマ画像生成装置１Ａ側に送信する処理を行う。

パノラマ画像生成装置１Ａは、第１の実施の形態の撮像装置１が備えていたものと同様のパノラマ合成処理部１３、エンコード／デコード部１４、記録／再生デバイス１５、表示部１６、通信部１７、操作部１９、メモリ部２１、及びバス２２を備えていると共に、制御部１８Ａを備えている。
制御部１８Ａは、バス２２に接続されてパノラマ合成処理部１３、エンコード／デコード部１４、記録／再生デバイス１５、表示部１６、通信部１７、操作部１９、及びメモリ部２１との間で相互通信が可能とされている。制御部１８Ａは、例えばＣＰＵ、ＲＯＭ、ＲＡＭを備えたマイクロコンピュータで構成され、例えば上記ＲＯＭに記憶されたプログラムに従った処理を実行することでパノラマ画像生成装置１Ａの各部の制御を行う。

特に、制御部１８Ａは、操作部１９からの操作入力に基づき、通信部１７を介して上記した撮像指示信号を各撮像装置３に送信して、各撮像装置３に撮像画像データの生成及び生成した撮像画像データのパノラマ画像生成装置１Ａ側への送信を実行させる。制御部１８Ａは、各撮像装置３から送信され通信部１７を介して受信された複数の撮像画像データをメモリ部２１に一時記憶させ、このようにメモリ部２１に一時記憶された複数の撮像画像データをパノラマ合成処理部１３により合成させ、パノラマ画像データを生成させる。

［2-3．歪み度情報の付帯制御、記録制御］

先ず、第２の実施の形態における歪み度情報Ｄｓの取得手法について説明する。
本実施の形態においても、パノラマ画像データの歪み度情報Ｄｓとしては、パノラマ画像データの画角θの情報とする。
図１４に示したように、第２の実施の形態の場合におけるパノラマ画像データの画角θは、一端側撮像装置としての撮像装置３−１と他端側撮像装置としての撮像装置３−ｎとの撮像方向の差分角度θｒ’（前述した「撮像方向最大差角」に相当）に対して、撮像装置３−１の画角θａの半値「θａ／２」と撮像装置３−ｎの画角θａの半値「θａ／２」とを加えたものと表すことができる。すなわち、「θｒ’＋θａ」と表すことができる。
なお、第２の実施の形態において、１枚のパノラマ画像データを得るにあたっての各撮像装置３の画角θａは略同一に設定されているとする。

第２の実施の形態において、差分角度θｒ’は、例えば撮像装置３−１と撮像装置３−ｎのセンサ部２０にそれぞれ設けられた磁気センサによる検出情報に基づき求める。具体的に、本例においては、これら磁気センサによる検出情報に基づき、撮像装置３−１の光軸が向く方位角ｄ１と撮像装置３−ｎの光軸が向く方位角ｄｎとを求め、方位角ｄ１と方位角ｄｎの差分を差分角度θｒ’として計算する。
なお、差分角度θｒ’は、例えば地点Ｃｓを中心とした円周方向における撮像装置３の傾き角を検出する傾きセンサの検出情報に基づいて求めることもできる。或いは、差分角度θｒ’は、本例のように雲台を用いる場合には、雲台のパン方向における回転角度情報に基づき求めることもでき、差分角度θｒ’を求めるための手法は磁気センサの検出情報に基づく手法に限定されるものではない。

パノラマ画像生成装置１Ａの制御部１８Ａは、上記の「θｒ’＋θａ」により計算した画角θの情報が、パノラマ画像データの歪み度情報Ｄｓとして付帯されるように制御を行う。本例においても、歪み度情報Ｄｓは、パノラマ画像データをエンコード／デコード部１４がエンコードして得られた画像ファイルのメタデータとして付帯させる。
そして、制御部１８Ａは、このように歪み度情報Ｄｓが付帯されたパノラマ画像データが記録媒体に記録されるように記録／再生デバイス１５に対する指示を行う。

［2-4．処理手順］

図１６は、上記により説明した第２の実施の形態としての歪み度情報Ｄｓの付帯制御、及び記録制御を実現するための具体的な処理手順を示したフローチャートである。
なお、図１６に示す処理は、制御部１８Ａが前述したＲＯＭ等に記憶されたプログラムに従って実行する。
図１６に示す処理は、操作部１９からパノラマ画像データの生成を指示する操作入力が行われたことに応じて開始されるものである。なお、先に説明した各撮像装置３への撮像指示信号の送信、及び当該撮像指示信号に応じて各撮像装置３から送信された撮像画像データに基づくパノラマ画像データの生成を実行させるための処理は、図１６に示す処理と並行して行われる。

図１６において、制御部１８Ａは、ステップＳ４０１で一端側、他端側の撮像装置３（つまり撮像装置３−１と撮像装置３−ｎ）の方位角度情報、画角θａを取得するための処理を実行する。
具体的に、制御部１８Ａは、上記のパノラマ画像データの生成を指示する操作入力に応じて、撮像装置３−１と撮像装置３−ｎの制御部４０に対して磁気センサの検出情報と画角θａの情報の送信を指示する。そして、該指示に応じて撮像装置３−１と撮像装置３−ｎから送信されてきた磁気センサの検出情報と画角θａの情報とを取得し、取得した磁気センサの検出情報に基づいて撮像装置３−１の方位角ｄ１と撮像装置３−ｎの方位角ｄｎとを求める。

このようにステップＳ４０１で方位角ｄ１及び方位角ｄｎの情報と画角θａを取得したことに応じ、制御部１８ＡはステップＳ４０２で、取得した方位角ｄ１と方位角ｄｎの差分を差分角度θｒ’として計算し、続くステップＳ４０３で「θｒ’＋θａ」によりパノラマ画像データの画角θを計算する。

次のステップＳ４０３で制御部１８Ａは、計算した画角θを歪み度情報Ｄｓとしてパノラマ画像データに付帯させる処理を行う。すなわち、画角θによる歪み度情報Ｄｓが、パノラマ画像データのエンコード画像ファイルのメタデータとして埋め込まれるようにエンコード／デコード部１４に対する指示を行う。

さらに、制御部１８Ａは、次のステップＳ４０５で、歪み度情報Ｄｓが付帯されたパノラマ画像データについての記録制御処理を行う。すなわち、当該パノラマ画像データが記録媒体に記録されるように記録／再生デバイス１５に対する指示を行う。
制御部１８Ａは、ステップＳ４０５の記録制御処理を実行したことに応じてこの図に示す処理を終了する。

このように歪み度情報Ｄｓが付帯されたパノラマ画像データが記録媒体に記録されることで、当該記録媒体、或いは通信部１７を経由して表示装置２側に当該パノラマ画像データを取得させることが可能となり、表示装置２においては、歪み度情報Ｄｓが付帯されたパノラマ画像データに基づき、先の構成・処理例I〜IIIとして説明した何れかの画像歪み対応処理が行われる。
これにより、表示パネル２ｃの表示面形状に応じた適切な画像表示が行われるように図ることができる。

＜３．第３の実施の形態＞
［3-1．画像データ処理装置の構成］

第３の実施の形態は、画像の歪みが生じている撮像画像データが広角レンズにより撮像された画像データとされるものである。
図１７は、第３の実施の形態としての撮像装置１Ｂ内部のハードウェア構成を示したブロック図である。
撮像装置１Ｂは、第１の実施の形態の撮像装置１と比較して、レンズユニット１０に代えて広角レンズユニット１０’が設けられ、パノラマ合成処理部１３が省略されたと共に、制御部１８に代えて制御部１８Ｂが設けられた点が異なる。

広角レンズユニット１０’は、撮像素子１１のサイズとの兼ね合いで例えば１００度以上の画角θａを実現する超広角レンズに属するレンズユニットとされている。このような広角レンズユニット１０’を介した撮像により得られた撮像画像データには、画像の歪みが生じる。

制御部１８Ｂは、例えばＣＰＵ、ＲＯＭ、ＲＡＭを備えたマイクロコンピュータで構成され、例えば上記ＲＯＭに記憶されたプログラムに従った処理を実行することで撮像装置１Ｂの各部の制御を行う。

［3-2．処理手順］

図１８は、第３の実施の形態の撮像装置１Ｂにおいて実行される処理の手順を示したフローチャートである。
なお、図１８に示す処理は制御部１８Ｂが前述のＲＯＭ等に格納されたプログラムに従って実行するものである。

図１８において、制御部１８Ｂは、ステップＳ５０１でレリーズ操作が行われるまで待機する。具体的には、操作部１９に設けられたシャッタボタンの押圧操作が行われるまで待機する。

レリーズ操作が行われた場合、制御部１８ＢはステップＳ５０２で広角レンズユニット１０’の画角θａの情報を取得する。具体的には、広角レンズユニット１０’の焦点距離と撮像素子１１のサイズとに基づき計算される画角θａの情報を取得する。
そして、続くステップＳ５０３で制御部１８Ｂは、取得した画角θａの情報を歪み度情報Ｄｓとして撮像画像データ、すなわちステップＳ５０１のレリーズ操作に応じて生成された撮像画像データに付帯させる処理を行う。具体的には、画角θａによる歪み度情報Ｄｓが、当該撮像画像データのエンコード画像ファイルのメタデータとして埋め込まれるようにエンコード／デコード部１４に対する指示を行う。

さらに、制御部１８Ｂは、次のステップＳ５０４で、歪み度情報Ｄｓが付帯された撮像画像データについての記録制御処理を行う。すなわち、当該撮像画像データが記録媒体に記録されるように記録／再生デバイス１５に対する指示を行う。
制御部１８Ｂは、ステップＳ５０４の記録制御処理を実行したことに応じてこの図に示す処理を終了する。

このように歪み度情報Ｄｓが付帯された撮像画像データ（広角撮像画像データ）が記録媒体に記録されることで、当該記録媒体、或いは通信部１７を経由して表示装置２側に当該撮像画像データを取得させることが可能となり、表示装置２においては、歪み度情報Ｄｓが付帯された撮像画像データに基づき、先の構成・処理例I〜IIIとして説明した何れかの画像歪み対応処理が行われる。
これにより、表示パネル２ｃの表示面形状に応じた適切な画像表示が行われるように図ることができる。

なお、広角レンズユニット１０’は、いわゆる交換レンズとされる場合もある。この場合において、特に交換レンズとしての広角レンズユニット１０’が単焦点レンズである場合には、制御部１８Ｂは、広角レンズユニット１０’の画角θａの情報を、例えば広角レンズユニット１０’に記憶されている当該広角レンズユニット１０’の製品情報等に含まれる焦点距離の情報と撮像素子１１のサイズの情報とに基づいて計算により取得することができる。

また、上記では、静止画像としての撮像画像データについて歪み度情報Ｄｓの付帯制御、及び記録制御を行う場合を例示したが、動画像としての撮像画像データについて歪み度情報Ｄｓの付帯制御、及び記録制御を行うこともできる。この場合、ステップＳ５０１では、操作部１９に設けられたＲＥＣボタンの押圧操作等、動画像としての撮像画像データの記録開始を指示する操作入力を待機すればよい。

＜４．実施の形態のまとめ＞

上記のように実施の形態の画像データ処理装置（撮像装置１、パノラマ画像生成装置１Ａ、撮像装置１Ｂ）は、撮像素子１１により得られた撮像画像信号に基づいて生成された撮像画像データに対して、当該撮像画像データの画像の歪み度合いと相関する歪み度情報Ｄｓを付帯させる歪み度情報付帯制御部１ａと、歪み度情報Ｄｓが付帯された撮像画像データが記録媒体に記録されるように制御を行う記録制御部１ｂとを備えている。

これにより、例えばパノラマ画像データや広角撮像画像データ等の画像の歪みが生じている撮像画像データに歪み度情報Ｄｓが付帯され、所要の記録媒体に記録される。
表示装置２側では、このように付帯された歪み度情報Ｄｓに基づいて、撮像画像データを適切に表示するための対応処理（画像歪み対応処理）を行うことが可能となる。
従って、上記した実施の形態としての画像データ処理装置によれば、画像の歪みが生じている撮像画像データに基づいた画像表示を行う場合において、表示パネル２ｃの表示面形状に応じた適切な画像表示が行われるように図ることができる。

また、第１又は第２の実施の形態の画像データ処理装置（撮像装置１、パノラマ画像生成装置１Ａ）は、それぞれが異なる方向を撮像して得られた複数の撮像画像データをパノラマ合成してパノラマ画像データを生成するパノラマ合成処理部１３を備え、歪み度情報付帯制御部１ａは、前記複数の撮像画像データのうち互いの撮像方向の差が最大である一端側撮像画像データと他端側撮像画像データとの撮像方向の差分角度である撮像方向最大差角（θｒ、θｒ’）に基づいて歪み度情報Ｄｓを生成し、生成した歪み度情報Ｄｓをパノラマ画像データとしての撮像画像データに付帯させている。

これにより、パノラマ画像データの画像の歪み度合いと適切に相関する歪み度情報Ｄｓがパノラマ画像データに付帯される。
従って、表示パネル２ｃの表示面形状に応じた適切な画像表示が行われるように図ることができる。

さらに、第１又は第２の実施の形態の画像データ処理装置においては、歪み度情報付帯制御部１ａは、撮像方向最大差角と、一端側撮像画像データと他端側撮像画像データの画角θａとに基づいて歪み度情報Ｄｓを生成している。

これにより、パノラマ画像データの画像の歪み度合いとより適切に相関する歪み度情報Ｄｓがパノラマ画像データに付帯される。
従って、表示パネル２ｃの表示面形状に応じたより適切な画像表示が行われるように図ることができる。

さらにまた、第１の実施の形態の画像データ処理装置においては、パノラマ合成処理部１３は、スウィングパノラマ撮影により得られた複数の撮像画像データを合成してパノラマ画像データを生成する。

これにより、パノラマ画像データを生成するにあたり撮像装置を複数台用いる必要がなくなる。
従って、パノラマ画像データをより簡易に生成することができる。

さらに、第１の実施の形態の画像データ処理装置においては、歪み度情報付帯制御部１ａは、スウィングパノラマ撮影の開始から終了までの時間長であるパノラマ撮影時間長Ｔｐと、スウィングパノラマ撮影におけるスウィング動作の平均角速度ωとに基づいて撮像方向最大差角を計算している。

これにより、スウィングパノラマ撮影によりパノラマ画像データを生成する場合の撮像方向最大差角が適切に求められる。
従って、適切な歪み度情報Ｄｓをパノラマ画像データに付帯させることができ、表示パネル２ｃの表示面形状に応じた適切な画像表示が行われるように図ることができる。

また、第２の実施の形態の画像データ処理装置においては、パノラマ合成処理部１３は、それぞれが異なる方向を撮像する複数の撮像装置３−１〜３−ｎにより撮像された複数の撮像画像データを合成してパノラマ画像データを生成している。

これにより、パノラマ画像データの生成に必要とされる複数の撮像画像データを同時に得ることが可能とされる。
従って、パノラマ画像データの生成に要する時間を短縮化することができる。
また、パノラマ画像データの生成に必要とされる複数の撮像画像データを同時に撮像できるので、スウィングパノラマ撮影の場合のように、動被写体を避けてシームＳＭを決定する必要がなくなり、パノラマ合成処理の簡易化を図ることができる。この点においても、パノラマ画像データの生成に要する時間を短縮化が図られる。

なお、上記では特に言及しなかったが、第２の実施の形態の画像データ処理装置（パノラマ画像生成装置１Ａ）としては、パノラマ合成処理部１３で生成された複数のパノラマ画像データに基づき動画像データを生成し、当該動画像データについての歪み度情報Ｄｓの付帯制御、及び記録制御を行うように構成することもできる。

さらに、第２の実施の形態の画像データ処理装置においては、歪み度情報付帯制御部１ａは、複数の撮像装置３−１〜３−ｎのうち撮像方向の角度差が最大である一端側撮像装置（撮像装置３−１）と他端側撮像装置（撮像装置３−ｎ）に設けられた磁気センサの検出情報に基づき、撮像方向最大差角を計算している。

これにより、複数の撮像装置による撮像画像データを合成してパノラマ画像データを得る場合の撮像方向最大差角が適切に求められる。
従って、適切な歪み度情報Ｄｓをパノラマ画像データに付帯させることができ、表示パネル２ｃの表示面形状に応じた適切な画像表示が行われるように図ることができる。

また、第３の実施の形態の画像データ処理装置においては、歪み度情報付帯制御部１ａは、撮像画像データを得るための撮像に用いられたレンズユニット（広角レンズユニット１０’）の焦点距離と撮像素子１１のサイズとに基づき計算される画角θａの情報を歪み度情報Ｄｓとして撮像画像データに付帯させている。

これにより、画像の歪みが生じている撮像画像データが広角レンズユニット１０’を介した撮像により得られた撮像画像データである場合に対応して、撮像画像データの画像の歪み度合いと適切に相関する歪み度情報Ｄｓが当該撮像画像データに付帯される。
従って、表示パネル２ｃの表示面形状に応じた適切な画像表示が行われるように図ることができる。

また、実施の形態の画像歪み対応処理装置（表示装置２）は、撮像素子１１により得られた撮像画像信号に基づいて生成された撮像画像データであって、当該撮像画像データの画像の歪み度合いと相関する歪み度情報Ｄｓが付帯された撮像画像データを取得する画像取得部２ａと、歪み度情報Ｄｓに基づいて、撮像画像データの歪み補正処理、又は表示面の曲率が可変とされた曲率可変表示パネルの曲率調整の何れかが行われるように制御を行う画像歪み対応処理部２ｂとを備えている。

このように歪み度情報Ｄｓに基づいて歪み補正処理、又は曲率可変表示パネルの曲率調整の何れかが行われることで、画像の歪みが生じている撮像画像データに基づく画像を表示面の曲率が固定とされた曲率固定表示パネル、又は曲率可変表示パネルに表示する場合に対応して、観察者に違和感を与えることなく、臨場感を適切に与えることが可能とされる。
従って、画像の歪みが生じている撮像画像データに基づいた画像表示を行う場合において、表示パネル２ｃの表示面形状に応じた適切な画像表示が行われるように図ることができる。

さらに、実施の形態の画像歪み対応処理装置においては、画像歪み対応処理部２ｂは、歪み度情報Ｄｓに基づいて撮像画像データの歪み補正処理が実行されるように制御を行い、歪み補正処理が施された撮像画像データに基づく画像が表示面の曲率が固定とされた表示パネル２ｃに表示されるように制御を行う第一表示制御部（構成・処理例Iの制御部３４）を備えている。

これにより、画像の歪みが生じている撮像画像データに基づく画像を表示面の曲率が固定とされた曲率固定表示パネルに表示する場合に対応して、観察者に違和感を与えることなく、臨場感を適切に与えることが可能とされる。
従って、画像の歪みが生じている撮像画像データに基づいた画像表示を行う場合において、表示パネル２ｃの表示面形状に応じた適切な画像表示が行われるように図ることができる。

さらにまた、実施の形態の画像歪み対応処理装置においては、画像歪み対応処理部２ｂは、歪み度情報Ｄｓに基づいて曲率可変表示パネルの曲率調整が行われるように制御を行い、撮像画像データに基づく画像が曲率可変表示パネルに表示されるように制御を行う第二表示制御部（構成・処理例IIの制御部３４）を備えている。

これにより、画像の歪みが生じている撮像画像データに基づく画像を曲率可変表示パネルに表示する場合に対応して、観察者に違和感を与えることなく、臨場感を適切に与えることが可能とされる。
従って、画像の歪みが生じている撮像画像データに基づいた画像表示を行う場合において、表示パネル２ｃの表示面形状に応じた適切な画像表示が行われるように図ることができる。

また、実施の形態の画像歪み対応処理装置においては、画像歪み対応処理部２ｂは、歪み度情報Ｄｓが表す歪み度と、曲率可変表示パネルの曲率に対応する歪み度との差分に応じた歪み補正処理が行われるように制御を行い、歪み補正処理が施された撮像画像データに基づく画像が曲率可変表示パネルに表示されるように制御を行う第三表示制御部（構成・処理例IIIの制御部３４）を備えている。

これにより、曲率可変の表示パネル２ｃには、当該表示パネル２ｃの現在の設定曲率に応じた歪みを有する画像が表示されるようになり、観察者に違和感を与えることなく、臨場感を適切に与えることができる。
従って、表示面の曲率をあまり大きくできない等の制約がある下においても、表示パネル２ｃの現在の設定曲率に応じた適切な画像表示が行われるように図ることができる。

＜５．変形例＞

以上、本技術に係る実施の形態を説明したが、本技術は上記で例示した具体例に限定されるべきものではない。
例えば、上記では、歪み度情報Ｄｓをパノラマ画像データの画角θやレンズユニットの焦点距離及び撮像装置１１のサイズに基づき計算される画角θａの情報とする場合を例示したが、歪み度情報Ｄｓとしては、例えば画像の歪み度合いを画像処理により計測した情報とするなど、画像の歪み度合いに相関する情報であれば他の情報とすることもできる。

また、上記では、本技術に係る歪み度情報付帯制御部１ａ、記録制御部１ｂ、画像取得部２ａ、及び画像歪み対応処理部２ｂの各処理がＣＰＵによるソフトウェア処理で実行される場合を例示したが、これらの処理の少なくとも一部をハードウェアにより実行する構成を採ることもできる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜６．本技術＞

なお本技術は以下のような構成も採ることができる。
（１）
撮像素子により得られた撮像画像信号に基づいて生成された撮像画像データに対して、当該撮像画像データの画像の歪み度合いと相関する歪み度情報を付帯させる歪み度情報付帯制御部と、
前記歪み度情報が付帯された前記撮像画像データが記録媒体に記録されるように制御を行う記録制御部とを備える
画像データ処理装置。
（２）
それぞれが異なる方向を撮像して得られた複数の撮像画像データをパノラマ合成してパノラマ画像データを生成するパノラマ合成処理部を備え、
前記歪み度情報付帯制御部は、
前記複数の撮像画像データのうち互いの撮像方向の差が最大である一端側撮像画像データと他端側撮像画像データとの撮像方向の差分角度である撮像方向最大差角に基づいて前記歪み度情報を生成し、生成した前記歪み度情報を前記パノラマ画像データとしての撮像画像データに付帯させる
前記（１）に記載の画像データ処理装置。
（３）
前記歪み度情報付帯制御部は、
前記撮像方向最大差角と、前記一端側撮像画像データと前記他端側撮像画像データの画角とに基づいて前記歪み度情報を生成する
前記（２）に記載の画像データ処理装置。
（４）
前記パノラマ合成処理部は、
スウィングパノラマ撮影により得られた複数の撮像画像データを合成して前記パノラマ画像データを生成する
前記（２）又は（３）に記載の画像データ処理装置。
（５）
前記歪み度情報付帯制御部は、
前記スウィングパノラマ撮影の開始から終了までの時間長であるパノラマ撮影時間長と、前記スウィングパノラマ撮影におけるスウィング動作の平均角速度とに基づいて前記撮像方向最大差角を計算する
前記（４）に記載の画像データ処理装置。
（６）
前記パノラマ合成処理部は、
それぞれが異なる方向を撮像する複数の撮像装置により撮像された複数の撮像画像データを合成して前記パノラマ画像データを生成する
前記（２）又は（３）に記載の画像データ処理装置。
（７）
前記歪み度情報付帯制御部は、
前記複数の撮像装置のうち撮像方向の角度差が最大である一端側撮像装置と他端側撮像装置に設けられた磁気センサの検出情報に基づき、前記撮像方向最大差角を計算する
前記（６）に記載の画像データ処理装置。
（８）
前記歪み度情報付帯制御部は、
前記撮像画像データを得るための撮像に用いられたレンズユニットの焦点距離と前記撮像素子のサイズとに基づき計算される画角の情報を前記歪み度情報として前記撮像画像データに付帯させる
前記（１）に記載の画像データ処理装置。
（９）
撮像素子により得られた撮像画像信号に基づいて生成された撮像画像データに対して、当該撮像画像データの画像の歪み度合いと相関する歪み度情報を付帯させる歪み度情報付帯制御手順と、
前記歪み度情報が付帯された前記撮像画像データが記録媒体に記録されるように制御を行う記録制御手順とを有する
画像データ処理方法。
（１０）
撮像素子により得られた撮像画像信号に基づいて生成された撮像画像データであって、当該撮像画像データの画像の歪み度合いと相関する歪み度情報が付帯された撮像画像データを取得する画像取得部と、
前記歪み度情報に基づいて、前記撮像画像データの歪み補正処理、又は表示面の曲率が可変とされた曲率可変表示パネルの曲率調整の何れかが行われるように制御を行う画像歪み対応処理部とを備える
画像歪み対応処理装置。
（１１）
前記画像歪み対応処理部は、
前記歪み度情報に基づいて前記撮像画像データの歪み補正処理が実行されるように制御を行い、
前記歪み補正処理が施された前記撮像画像データに基づく画像が表示面の曲率が固定とされた表示パネルに表示されるように制御を行う第一表示制御部を備える
前記（１０）に記載の画像歪み対応処理装置。
（１２）
前記画像歪み対応処理部は、
前記歪み度情報に基づいて前記曲率可変表示パネルの曲率調整が行われるように制御を行い、
前記撮像画像データに基づく画像が前記曲率可変表示パネルに表示されるように制御を行う第二表示制御部を備える
前記（１０）に記載の画像歪み対応処理装置。
（１３）
前記画像歪み対応処理部は、
前記歪み度情報が表す歪み度と、前記曲率可変表示パネルの曲率に対応する歪み度との差分に応じた前記歪み補正処理が行われるように制御を行い、
前記歪み補正処理が施された前記撮像画像データに基づく画像が前記曲率可変表示パネルに表示されるように制御を行う第三表示制御部を備える
前記（１０）に記載の画像歪み対応処理装置。
（１４）
撮像素子により得られた撮像画像信号に基づいて生成された撮像画像データであって、当該撮像画像データの画像の歪み度合いと相関する歪み度情報が付帯された撮像画像データを取得する画像取得手順と、
前記歪み度情報に基づいて、前記撮像画像データの歪み補正処理、又は表示面の曲率が可変とされた曲率可変表示パネルの曲率調整の何れかが行われるように制御を行う画像歪み対応処理手順とを有する
画像歪み対応処理方法。

１，１Ｂ…撮像装置、１Ａ…パノラマ画像生成装置、１ａ…歪み度情報付帯制御部、１ｂ…記録制御部、２…表示装置、２ａ…画像取得部、２ｂ…画像歪み対応処理部、２ｃ…表示パネル、１０…レンズユニット、１０’…広角レンズユニット、１１…撮像素子、１２…画像処理部、１３…パノラマ合成処理部、１５，３０…記録／再生デバイス、１８，１８Ａ，１８Ｂ，３４…制御部、３１…画像信号処理部、３７…パネルアクチュエータ

Claims (14)

1. 撮像素子により得られた撮像画像信号に基づいて生成された撮像画像データに対して、当該撮像画像データの画像の歪み度合いと相関する歪み度情報を付帯させる歪み度情報付帯制御部と、
   前記歪み度情報が付帯された前記撮像画像データが記録媒体に記録されるように制御を行う記録制御部とを備える
   画像データ処理装置。
2. それぞれが異なる方向を撮像して得られた複数の撮像画像データをパノラマ合成してパノラマ画像データを生成するパノラマ合成処理部を備え、
   前記歪み度情報付帯制御部は、
   前記複数の撮像画像データのうち互いの撮像方向の差が最大である一端側撮像画像データと他端側撮像画像データとの撮像方向の差分角度である撮像方向最大差角に基づいて前記歪み度情報を生成し、生成した前記歪み度情報を前記パノラマ画像データとしての撮像画像データに付帯させる
   請求項１に記載の画像データ処理装置。
3. 前記歪み度情報付帯制御部は、
   前記撮像方向最大差角と、前記一端側撮像画像データと前記他端側撮像画像データの画角とに基づいて前記歪み度情報を生成する
   請求項２に記載の画像データ処理装置。
4. 前記パノラマ合成処理部は、
   スウィングパノラマ撮影により得られた複数の撮像画像データを合成して前記パノラマ画像データを生成する
   請求項２に記載の画像データ処理装置。
5. 前記歪み度情報付帯制御部は、
   前記スウィングパノラマ撮影の開始から終了までの時間長であるパノラマ撮影時間長と、前記スウィングパノラマ撮影におけるスウィング動作の平均角速度とに基づいて前記撮像方向最大差角を計算する
   請求項４に記載の画像データ処理装置。
6. 前記パノラマ合成処理部は、
   それぞれが異なる方向を撮像する複数の撮像装置により撮像された複数の撮像画像データを合成して前記パノラマ画像データを生成する
   請求項２に記載の画像データ処理装置。
7. 前記歪み度情報付帯制御部は、
   前記複数の撮像装置のうち撮像方向の角度差が最大である一端側撮像装置と他端側撮像装置に設けられた磁気センサの検出情報に基づき、前記撮像方向最大差角を計算する
   請求項６に記載の画像データ処理装置。
8. 前記歪み度情報付帯制御部は、
   前記撮像画像データを得るための撮像に用いられたレンズユニットの焦点距離と前記撮像素子のサイズとに基づき計算される画角の情報を前記歪み度情報として前記撮像画像データに付帯させる
   請求項１に記載の画像データ処理装置。
9. 撮像素子により得られた撮像画像信号に基づいて生成された撮像画像データに対して、当該撮像画像データの画像の歪み度合いと相関する歪み度情報を付帯させる歪み度情報付帯制御手順と、
   前記歪み度情報が付帯された前記撮像画像データが記録媒体に記録されるように制御を行う記録制御手順とを有する
   画像データ処理方法。
10. 撮像素子により得られた撮像画像信号に基づいて生成された撮像画像データであって、当該撮像画像データの画像の歪み度合いと相関する歪み度情報が付帯された撮像画像データを取得する画像取得部と、
    前記歪み度情報に基づいて、前記撮像画像データの歪み補正処理、又は表示面の曲率が可変とされた曲率可変表示パネルの曲率調整の何れかが行われるように制御を行う画像歪み対応処理部とを備える
    画像歪み対応処理装置。
11. 前記画像歪み対応処理部は、
    前記歪み度情報に基づいて前記撮像画像データの歪み補正処理が実行されるように制御を行い、
    前記歪み補正処理が施された前記撮像画像データに基づく画像が表示面の曲率が固定とされた表示パネルに表示されるように制御を行う第一表示制御部を備える
    請求項１０に記載の画像歪み対応処理装置。
12. 前記画像歪み対応処理部は、
    前記歪み度情報に基づいて前記曲率可変表示パネルの曲率調整が行われるように制御を行い、
    前記撮像画像データに基づく画像が前記曲率可変表示パネルに表示されるように制御を行う第二表示制御部を備える
    請求項１０に記載の画像歪み対応処理装置。
13. 前記画像歪み対応処理部は、
    前記歪み度情報が表す歪み度と、前記曲率可変表示パネルの曲率に対応する歪み度との差分に応じた前記歪み補正処理が行われるように制御を行い、
    前記歪み補正処理が施された前記撮像画像データに基づく画像が前記曲率可変表示パネルに表示されるように制御を行う第三表示制御部を備える
    請求項１０に記載の画像歪み対応処理装置。
14. 撮像素子により得られた撮像画像信号に基づいて生成された撮像画像データであって、当該撮像画像データの画像の歪み度合いと相関する歪み度情報が付帯された撮像画像データを取得する画像取得手順と、
    前記歪み度情報に基づいて、前記撮像画像データの歪み補正処理、又は表示面の曲率が可変とされた曲率可変表示パネルの曲率調整の何れかが行われるように制御を行う画像歪み対応処理手順とを有する
    画像歪み対応処理方法。

Images