JP2009200939A - 画像処理装置と画像処理方法および画像処理システム - Google Patents

Abstract

【課題】円形状または環状の全方位画像を展開して得られるパノラマ画像を容易に表示可能とする。
【解決手段】展開処理部は、円形状または環状の全方位画像をパノラマ画像に展開する。分割処理部は、パノラマ画像を、分割後の画像が長手方向に並ぶように分割する。アスペクト比変換部は、分割されたそれぞれの画像を所望のアスペクト比例えばテレビジョン放送規格のアスペクト比の画像に変換する。符号化部は、所望のアスペクト比とされた画像の画像データをそれぞれ圧縮符号化する。パノラマ画像と等しいアスペクト比の表示装置を用いなくとも、所望のアスペクト比である表示装置を利用して容易にパノラマ画像を表示できる。
【選択図】 図２

Description

この発明は、画像処理装置と画像処理方法および画像処理システムに関する。詳しくは、円形状または環状の全方位画像をパノラマ画像に展開して、このパノラマ画像の分割や分割後の画像をテレビジョン放送のアスペクト比に変換する処理等を行うことで、既存の表示装置を用いて画像表示を行うことができるようにするものである。

魚眼レンズ等の広角レンズを用いて撮像を行うと円形状や環状の全方位画像を得ることができる。しかし、円形状や環状の全方位画像ではどのような被写体が撮像されているか簡単に判別することができない。このため、全方位画像をパノラマ画像に展開する処理が行われており、例えば特許文献１に展開処理方法が開示されている。また、特許文献２では、ユーザが指定した一部の領域のみをパノラマ画像に展開してモニタ装置の画面上に表示することも開示されている。

特開２００５−３３４１１号公報 特開２０００−３２４３８６号公報

ところで、ユーザが指定した一部の領域のみをパノラマ画像に展開して表示するものでは、被写体画像の全体を見ることができない。また、円形状の全方位画像をパノラマ画像に展開すると、パノラマ画像におけるアスペクト比(横縦比)がおよそ「６：１」となり、テレビジョン放送規格のアスペクト比「１６：９」や「４：３」と大きく異なる。このため、アスペクト比がおよそ「６：１」であるパノラマ画像を表示装置の略画面全体に表示させるためには、表示画面のアスペクト比がパノラマ画像のアスペクト比に対応する特別な表示装置を用いなければならず、簡単にパノラマ画像を表示することができない。

そこで、この発明では、円形状または環状の全方位画像を展開処理して得られるパノラマ画像を容易に表示可能とする画像処理装置と画像処理方法および画像処理システムを提供するものである。

この発明の概念は、円形状または環状の全方位画像をパノラマ画像に展開すると、パノラマ画像は、テレビジョン放送規格と異なるアスペクト比となる。したがって、分割後の画像がテレビジョン放送規格のアスペクト比に近くなるようにパノラマ画像の分割を行い、分割後の画像に例えば無効領域を付加してテレビジョン放送規格のアスペクト比の画像データを生成することで、パノラマ画像に応じたアスペクト比の表示装置を用いなくとも、パノラマ画像を容易に表示できるようにすることにある。

この発明に係る画像処理装置は、円形状または環状の全方位画像をパノラマ画像に展開する展開処理部と、パノラマ画像を、分割後の画像が長手方向に並ぶように分割する分割処理部と、分割されたそれぞれの画像を所望のアスペクト比の画像に変換するアスペクト比変換部と、所望のアスペクト比とされた画像の画像データをそれぞれ符号化処理する符号化部を備えるものである。

また、画像処理方法は、円形状または環状の全方位画像をパノラマ画像に展開する展開処理ステップと、パノラマ画像を、分割後の画像が長手方向に並ぶように等分割する分割処理ステップと、分割されたそれぞれの画像を所望のアスペクト比の画像に変換するアスペクト比変換ステップと、所望のアスペクト比とされた画像の画像データをそれぞれ符号化処理する符号化ステップを有するものである。

さらに、この発明に係る画像処理システムは、円形状または環状の全方位画像の画像処理を行い該画像処理後の画像を示す符号化データを生成する第１の画像処理装置と、該第１の画像処理装置で生成された符号化データを用いて表示画像データを生成する第２の画像処理装置を備えた画像処理システムにおいて、第１の画像処理措置は、円形状または環状の全方位画像をパノラマ画像に展開する展開処理部と、パノラマ画像を、分割後の画像が長手方向に並ぶように分割する分割処理部と、分割されたそれぞれの画像を所望のアスペクト比の画像に変換するアスペクト比変換部と、所望のアスペクト比とされた画像の画像データをそれぞれ符号化処理する符号化部を備え、第２の画像処理装置は、所望のアスペクト比とされた画像を示す符号化データをそれぞれ復号化処理する復号化部と、復号化処理を行うことにより得られた画像データを表示画像データとして出力する表示画像データ出力部とを備えるものである。

この発明においては、円形状または環状の全方位画像がパノラマ画像に展開されたのち、分割後の画像が長手方向に並ぶようにパノラマ画像が分割される。この分割されたそれぞれの画像に対して、例えば無効領域が付加されて所望のアスペクト比の画像に変換される。また、パノラマ画像に展開する際に、パノラマ画像の長手方向が所望の水平解像度に対してパノラマ画像の分割数倍となるように変換処理が行われる、またはアスペクト比変換において、所望のアスペクト比の画像が所望の水平解像度となるように変換処理が行われる。アスペクト比変換が行われた画像データは、符号化処理されて符号化データとして例えば記録媒体に記録される。また、符号化データには、いずれの並び順の画像であるかを識別可能とする属性情報を設けられる。

この発明によれば、円形状または環状の全方位画像がパノラマ画像に展開される。また、パノラマ画像が分割されて、分割後の画像が所望のアスペクト比に変換されて、この所望のアスペクト比とされた画像の画像データがそれぞれ符号化処理されたのち出力される。このため、パノラマ画像と等しいアスペクト比の表示装置を用いなくとも、符号化されている画像データを復号化して所望のアスペクト比の表示装置に供給することで、パノラマ画像の表示を容易に行うことができる。

以下、図を参照しながら、この発明の実施の一形態について説明する。図１は画像処理システムの構成を示している。画像処理システム１０は、録画側の画像処理装置２０と再生側の画像処理装置４０を用いて構成されている。録画側の画像処理装置２０は、円形状または環状の全方位画像をパノラマ画像に展開する。また、このパノラマ画像を分割して所望のアスペクト比に変換したのち符号化処理する。再生側の画像処理装置４０は、画像処理装置２０で生成された符号化データの復号化処理を行い、この復号化処理によって得られた画像データを１あるいは複数の表示装置８０に出力する。なお、円形状または環状の全方位画像は動画像または静止画像のいずれであってもよい。

録画側の画像処理装置２０で生成された符号化データは、例えば記録装置（記録媒体等も含む）６０に出力されて、記録装置６０を介して再生側の画像処理装置４０に供給される。なお、画像処理装置２０は、ネットワーク７０等を介して符号化データを画像処理装置４０に出力するものとしてもよい。また、画像処理装置２０に記録装置６０を内蔵させて、画像処理装置２０から出力する画像データを内部の記録装置６０で記録媒体に記録して、この記録媒体を介して再生側の画像処理装置４０に画像データを供給するようにしてもよい。

円形状または環状の全方位画像の画像データは、広角レンズを用いた撮像装置等で生成される。例えば、広角レンズとして魚眼レンズを用いるものとすれば、被写体像は、撮像装置で用いられている撮像素子の撮像面上における円形の領域に結像される。したがって、撮像装置から出力される画像データは、円形状の全方位画像を示す画像データとなる。また、広角レンズとしてＰＡＬ（Panoramic Annular Lens）（環状のレンズ）レンズを用いるものとすれば、被写体像は撮像面上における環状の領域に結像される。したがって、撮像装置から出力される画像データは、環状の全方位画像を示す画像データとなる。また、筒状，お椀状あるいは円錐状等のミラーを広角レンズとして用いるものとして、広視野の被写体画像がミラーの反射を利用して撮像面に結像されるようにしても、円形状または環状の全方位画像の画像データを生成できる。

図２は、録画側の画像処理装置２０の構成を示している。円形状または環状の全方位画像の画像データＤＶinは、撮像装置１１で生成されて、または記録装置１２から読み出されて、画像処理装置２０の展開処理部２１に供給される。

展開処理部２１は、画像データＤＶinを用いて変換処理を行い、円形状または環状の全方位画像をパノラマ画像に展開する。図３は、円形状全方位画像をパノラマ画像に展開する変換処理の一手法を説明するための図である。図３の（Ａ）は円形状全方位画像ＧＲ、図３の（Ｂ）は円形状全方位画像を展開したパノラマ画像ＧＡを示している。なお、円形状全方位画像の中心ＣＰは「x0，y0」、半径は「ｒ」とする。また、パノラマ画像のサイズ（画素数）は「Ｐｘ」×「Ｐｙ」とする。

図３の（Ａ）において、円形状全方位画像上の任意の点Ｑｍ(ｘm，ｙm)は、極座標表示を用いて式（１）にように示すことができる。

なお式（１）において、「ｒm」は中心ＣＰから点Ｑｍまでの距離であり、「θ」は中心ＣＴと点Ｑｍを結ぶ線分と基線ＬＢが成す角度である。

ここで、パノラマ画像ＧＡのＸ軸方向は円形状全方位画像ＧＲの周方向、パノラマ画像ＧＡのＹ軸方向は円形状全方位画像ＧＲの半径方向に相当するものとして展開を行う場合、円形状全方位画像ＧＲの中心ＣＰをパノラマ画像ＧＡの基準位置（０，０）とすると、パノラマ画像ＧＡにおいてＸ軸方向の変化「０〜Ｐx」は円形状全方位画像ＧＲにおける周方向の変化「０〜２πｒ」に相当する。また、パノラマ画像ＧＡにおいてＹ軸方向の変化「０〜Ｐy」は円形状全方位画像ＧＲにおける径方向の変化「０〜ｒ」に相当するものとなる。さらに、Ｘ軸上の位置を「０」から「Ｐx」までリニアに変化させたとき、周方向の位置が「０」から「２πｒ」までリニアに変化する特性を有しており、Ｙ軸上の位置を「０」から「Ｐy」までリニアに変化させたとき、径方向の位置が「０」から「ｒ」までリニアに変化する特性を有しているものとすると、パノラマ画像ＧＡにおける位置ＱＢ（ｘj，ｙj）は、式（２）に基づき円形状全方位画像上の位置ＱＡ（ｒj，θj）となる。

ｒj＝ｒ×（ｙj／Ｐy），θj＝２πｒ×（ｘj／Ｐx） ・・・（２）

このように、展開後のパノラマ画像における位置ＱＢ（ｘj，ｙj）に対応する円形状全方位画像中の位置ＱＡ（ｒj，θj）を算出できる。したがって、パノラマ画像における各点に対応する円形状全方位画像上の座標を求めて、この座標の画素データを読み出すことで、円形状全方位画像をパノラマ画像に変換できる。なお、求めた座標が画素と画素の間であるときは、求めた座標の周囲に位置する画素データを用いて補間等を行うことにより、求めた座標に対応する画素データを生成する。

また、図３では、円形状全方位画像をパノラマ画像に展開する場合を示したが、環状全方位画像をパノラマ画像に展開する場合、例えばパノラマ画像ＧＡにおいてＹ軸方向の変化「０〜Ｐy」は円形状全方位画像ＧＲにおける径方向の変化「ｒin〜ｒout」に相当すると考えれば、円形状全方位画像をパノラマ画像に展開する場合と同様にして、環状全方位画像をパノラマ画像に展開できる。なお、「ｒin」はドーナツ状画像の内径、「ｒout」はドーナツ状画像の外径を示している。

円形状全方位画像や環状全方位画像をパノラマ画像に展開する変換処理は、上述の方法に限られるものではない。例えばＹ軸上の位置を「０」から「Ｐy」までリニアに変化させたとき、広角レンズの特性によって径方向の位置がリニアに変化しない場合、特開２００３−３０８５２６号公報の「環状画像のパノラマ画像への展開時の鉛直方向ひずみ補正方法および装置」に記載されているように、広角レンズによる径方向ひずみの補正条件を求めて、この補正条件を利用して画像の展開を行うものとしてもよい。

展開処理部２１は、このように円形状または環状の全方位画像をパノラマ画像に展開して、パノラマ画像の画像データＤＷaを分割処理部２２に供給する
分割処理部２２は、パノラマ画像の分割を行い、画像データＤＷaから分割後の各画像を示す画像データＤＷbを生成する。パノラマ画像の分割は、分割後の画像が長手方向に並ぶように行う。また、この長手方向を分割後の画像における水平方向としたとき、分割後の画像がテレビジョン放送規格のアスペクト比に最も近づくように分割を行う。

ここで、図４を用いてパノラマ画像の分割処理について説明する。図４の（Ａ）は、パノラマ画像ＧＡを示している。パノラマ画像ＧＡは、例えば円形状全方位画像を展開したとき、アスペクト比が「２π：１」となる。図４の（Ｂ）は、分割後の画像が長手方向に並ぶようにパノラマ画像ＧＡを２分割した状態、図４の（Ｃ）は、パノラマ画像ＧＡを３分割した状態を示している。また、図４の（Ｄ）は、パノラマ画像ＧＡを４分割した状態、図４の（Ｅ）は、パノラマ画像ＧＡを５分割した状態を示している。

テレビジョン放送規格では、アスペクト比が「１６：９」や「４：３」とされている。ここで、パノラマ画像ＧＡを２分割あるいは３分割すると、分割後の画像のアスペクト比は「１６：９」に近づくものとなる。なお、図４の（Ｂ）（Ｃ）では、分割後の画像毎にアスペクト比が「１６：９」である領域を破線で示している。ここで、アスペクト比が「１６：９」である領域において、パノラマ画像を示していない領域は、図４の（Ｂ）に示す２分割の場合に比べて図４の（Ｃ）に示す３分割の場合が少ない。このため、分割処理部２２は、分割後の画像のアスペクト比を「１６：９」とする場合、分割後の画像がテレビジョン放送規格のアスペクト比「１６：９」に最も近づくように、パノラマ画像ＧＡを３分割する。

また、パノラマ画像ＧＡを４分割あるいは５分割すると分割後の画像のアスペクト比は「４：３」に近づくものとなる。なお、図４の（Ｄ）（Ｅ）では、分割後の画像毎にアスペクト比が「４：３」である領域を破線で示している。ここで、図４の（Ｄ）に示す４分割の場合、アスペクト比が「４：３」である領域にパノラマ画像のない領域が含まれている。一方、図４の（Ｅ）に示す５分割の場合、アスペクト比が「４：３」である領域にパノラマ画像の一部が含まれないものとなる。このため、分割処理部２２は、分割後の画像のアスペクト比を「４：３」とする場合、分割後の画像がテレビジョン放送規格のアスペクト比「４：３」に近づき、パノラマ画像の欠落を生じないようにパノラマ画像ＧＡを４分割する。なお、パノラマ画像において、欠落を生じる画像部分が不要な画像であるときは、テレビジョン放送規格のアスペクト比「４：３」に最も近づくように５分割するものとしてもよい。

なお、図４では円形状全方位画像を展開したパノラマ画像を分割処理する場合について説明したが、環状全方位画像を展開したパノラマ画像を分割処理する場合にも同様に、分割後の画像がテレビジョン放送規格のアスペクト比に最も近づくように分割数を決定する。

分割処理部２２は、このようにパノラマ画像ＧＡの分割を行い、分割後の各画像の画像データを図２に示すようにアスペクト比変換部に供給する。なお、パノラマ画像ＧＡの分割数は予め決定しておき、画像処理装置２０には、分割された画像を示す画像データ毎にアスペクト比変換部と符号化部を設けておく。

図２は、分割処理部２２でパノラマ画像を３分割する場合を示しており、パノラマ画像を分割して得られた１つの画像の画像データＤＷb-1は、アスペクト比変換部２３-1に供給される。また、他の画像の画像データＤＷb-2はアスペクト比変換部２３-2、他の画像の画像データＤＷb-3はアスペクト比変換部２３-3に供給される。

アスペクト比変換部２３-1は、画像データＤＷb-1を用いてアスペクト比変換処理を行い、変換処理後の画像データＤＷc-1を符号化部２４-1に供給する。アスペクト比変換部２３-1は、アスペクト比変換処理として、例えば分割後の画像に無効領域を付加してテレビジョン放送規格のアスペクト比に変換する処理を行う。具体的には、テレビジョン放送規格のアスペクト比の画像データを記憶するフレームバッファを設け、フレームバッファを初期状態としたのち、１フレーム分の画像データＤＷb-1を上書きして記憶させる。ここで、フレームバッファを初期状態としたとき各画素のレベルを例えば黒レベルとしておくと、１フレーム分の画像データＤＷb-1が記憶されたフレームバッファから順次各画素データを読み出せば、分割後の画像に対して黒レベルである無効領域が付加されてアスペクト比が「１６：９」とされた画像の画像データＤＷc-1を生成できる。なお、アスペクト比変換処理は、無効領域を付加する場合に限られるものではない。例えば、上述のように不要な画像部分を欠落させて、所望のアスペクト比の画像とすることもできる。

アスペクト比変換部２３-2，２３-3は、画像データＤＷb-2，ＤＷb-3を用いて、アスペクト比変換部２３-1と同様にアスペクト比変換処理を行い、変換処理後の画像データＤＷc-2を符号化部２４-2、変換処理後の画像データＤＷc-3を符号化部２４-3に供給する。

符号化部２４-1は、符号化処理を行い画像データＤＷc-1を圧縮符号化する。また、符号化部２４-1は、符号化処理を行うことにより得られた符号化データＤＧ-1を出力部２５に供給する。符号化部２４-2，２４-3は、符号化部２４-1と同様に符号化処理を行い、得られた符号化データＤＧ-2，ＤＧ-3を出力部２５に供給する。

出力部２５は、符号化データＤＧ-1〜ＤＧ-3の出力処理を行う。例えば、出力部２５は、符号化データＤＧ-1〜ＤＧ-3を記録装置６０に供給して記録させる。または、ネットワーク７０等を介して符号化データＤＧ-1〜ＤＧ-3を画像処理装置４０に供給する。さらに、出力部２５は、符号化データＤＧ-1〜ＤＧ-3が、いずれの分割順序の画像を示すデータであるかを識別可能とするため、符号化データＤＧ-1〜ＤＧ-3に対して、いずれの並び順の画像であるか識別可能とする属性情報を設ける。例えば、符号化データＤＧ-1〜ＤＧ-3にヘッダを設けて、このヘッダで分割された画像の順序を示すものとする。また、分割後の各画像の符号化データＤＧ-1〜ＤＧ-3をそれぞれファイル化して出力するものとして、ファイル名を属性情報として分割された画像の順序をファイル名で識別可能としてもよい。また、属性情報では、１つのパノラマ画像から分割された画像の符号化データを識別可能とする。例えば、１つのパノラマ画像から分割された画像の符号化データをグループ化して、グループ内の符号化データに同じ識別ＩＤを示す属性情報を設ける。また、グループ内の符号化データに対して同じ日付と時刻やタイムコード等を示す属性情報を設ける。また、ファイル名の一部をグループ内で共通させることで、１つのパノラマ画像から分割された画像の符号化データを識別できるようにしてもよい。

次に、再生側の画像処理装置について説明する。図５は、再生側の画像処理装置の構成を示している。記録装置６０から読み出された分割後の画像を示す符号化データＤＧ-1は、復号化部４１-1に供給される。また、分割後の画像の符号化データＤＧ-2，ＤＧ-3は、それぞれ復号化部４１-2，４１-3に供給される。

復号化部４１-1は、符号化データＤＧ-1の復号化処理を行い、得られた画像データＤＲa-1を結合処理部４２に供給する。復号化部４１-2，４１-3は、復号化部４１-1と同様にして符号化データＤＧ-2，ＤＧ-3の復号化処理を行い、得られた画像データＤＲa-2，ＤＲa-3を結合処理部４２に供給する。

結合処理部４２は、復号化部４１-1〜４１-3から供給された画像データＤＲa-1〜ＤＲa-3に基づき、分割後の画像を結合して上述の分割処理部２２で分割される前の画像を示す画像データを生成する。さらに、結合処理部４２は、結合後の画像の長手方向が表示装置の水平解像度となるように、結合後の画像を示す画像データについて変換処理（ダウンコンバートあるいはアップコンバート）を行い、変換処理後の画像データＤＲbを表示画像データ出力部４３に供給する。

なお、結合処理部４２は、画像処理装置２０の分割処理部２２で分割された各画像を全て結合する処理を行うだけでなく、ユーザによって選択された画像を結合するものとしてもよい。この場合、結合処理部４２は、制御部４５から供給された制御信号ＳＣに基づき、ユーザの指定した分割後の画像を結合して、画像データＤＲbを生成する。例えば、円形状全方位画像において隣接する分割後の２つの画像を結合して、画像データＤＲbを生成する。また、結合処理部４２は、ユーザの指定した分割後の１つの画像を示す画像データを画像データＤＲbとしてもよい。このように、ユーザの指定した分割後の画像のみを表示するように画像データＤＲbを生成すれば、表示される画像にユーザが不要と判断した領域の画像が含まれて、所望の領域の画像が小さく表示されてしまうことを防止できる。

表示画像データ出力部４３は、結合処理部４２から供給された画像データＤＲbを、表示装置８０に対応する出力フォーマットの表示画像データＤＶoutとして表示装置８０に供給する。

制御部４５にはユーザインタフェース部４６が接続されている。ユーザインタフェース部４６は、ユーザ操作に応じた操作信号ＳＰを生成して制御部４５に供給する。このユーザインタフェース部４６は、操作キーやリモートコントロール信号の受信部等で構成されている。

制御部４５は、操作信号ＳＰに基づき制御信号ＳＣを生成して復号化部４１-1〜４１-3や結合処理部４２等に供給して、ユーザ操作に応じた動作が画像処理装置４０で行われるように各部を制御する。例えば、制御部４５は、ユーザによって指定された符号化データＤＧ-1〜ＤＧ-3を記録装置６０から読み出す制御や、符号化データの復号化処理、画像の結合をどのように行うか等の制御を行う。

なお、図５に示す画像処理装置４０は、分割後の各画像を結合させて、結合後の画像を表示装置８０で表示させるものであるが、分割後の各画像を画像毎に設けた表示装置で表示するものとしてもよい。

図６は、再生側の画像処理装置の他の構成として、分割後の各画像を画像毎に設けた表示装置で表示する場合を示している。記録装置６０から読み出された分割後の１つの画像を示す符号化データＤＧ-1は、復号化部４１-1に供給される。また、分割後の他の画像を示す符号化データＤＧ-2，ＤＧ-3は、それぞれ復号化部４１-2，４１-3に供給される
復号化部４１-1は、符号化データＤＧ-1の復号化処理を行い、得られた画像データＤＲa-1を表示画像データ出力部４３-1に供給する。復号化部４１-2，４１-3は、復号化部４１-1と同様にして符号化データＤＧ-2，ＤＧ-3の復号化処理を行い、得られた画像データＤＲa-2，ＤＲa-3を表示画像データ出力部４３-2，４３-3に供給する。

表示画像データ出力部４３-1は、復号化部４１-1から供給された画像データＤＲa-1を、表示装置８０-1に対応する出力フォーマットの表示画像データＤＶout-1として表示装置８０-1に供給する。

表示画像データ出力部４３-2，４３-3は、表示画像データ出力部４３-1と同様にして、復号化部４１-2，４１-3から供給された画像データＤＲa-2，ＤＲa-3を、表示装置８０-2，８０-3に対応する出力フォーマットの表示画像データＤＶout-2，ＤＶout-3として表示装置８０-2，８０-3に供給する。

制御部４５にはユーザインタフェース部４６が接続されている。ユーザインタフェース部４６は、ユーザ操作に応じた操作信号ＳＰを生成して制御部４５に供給する。制御部４５は、操作信号ＳＰに基づき制御信号ＳＣを生成して、この制御信号ＳＣによってユーザ操作に応じた動作が画像処理装置４０で行われるように各部を制御する。例えば、分割後の全ての画像を表示するようにユーザ操作が行われている場合、制御部４５は、復号化部４１-1，４１-2，４１-3および表示画像データ出力部４３-1，４３-2，４３-3を動作させて、表示画像データＤＶout-1，ＤＶout-2，ＤＶout-3を出力させる。また、分割後の１あるいは複数の画像を選択して表示するようにユーザ操作が行われている場合、制御部４５は、復号化部と表示画像データ出力部を１あるいは複数動作させて、ユーザが選択した画像を示す表示画像データを出力させる。

ところで、画像処理装置２０，４０は、ハードウェアだけでなくソフトウェアで実現するものとしてもよい。ここで、ソフトウェアで画像処理を行う場合の構成を図７に示す。

コンピュータは、ＣＰＵ(Central Processing Unit)５０１を内蔵しており、このＣＰＵ５０１にはバス５２０を介してＲＯＭ(Read Only Memory)５０２，ＲＡＭ(Random Access Memory)５０３，入出力インタフェース部５０５が接続されている。さらに、入出力インタフェース部５０５には、表示部５１１，ユーザインタフェース部５１２，通信部５１３が接続されている。

ＣＰＵ５０１は、ＲＯＭ５０２やＲＡＭ５０３に記憶されているプログラムを実行して、ユーザインタフェース部５１２でユーザ操作に応じて生成された操作信号ＳＰに基づき、ユーザ操作に応じて画像データの信号処理を行う。ここで、円形状または環状の全方位画像をパノラマ画像に変換したのち分割して出力する場合、ＣＰＵ５０１は、入出力インタフェース部５０５に入力された画像データＤＶinを用いて、円形状または環状の全方位画像をパノラマ画像に展開する処理や、展開後のパノラマ画像を分割して、テレビジョン放送規格に対応するアスペクト比の画像に変換する処理、テレビジョン放送規格のアスペクト比とされた画像の画像データを用いて圧縮符号化を行い、得られた符号化データＤＧを入出力インタフェース部５０５または通信部５１３から出力する処理等を行う。また、符号化データＤＧを用いて表示画像データＤＶoutを生成する場合、ＣＰＵ５０１は、入出力インタフェース部５０５または通信部５１３から入力された符号化データＤＧの復号化や画像の結合等の処理を行い表示画像データＤＶoutを生成して、例えば入出力インタフェース部５０５から表示装置８０に出力する。

また、ＣＰＵ５０１がマルチコアＣＰＵである場合、分割後の画像をテレビジョン放送規格のアスペクト比に変換する処理や分割後の画像を示す画像データの符号化処理、符号化データの復号化処理等を画像毎に並列して行う。

なお、ＣＰＵ５０１で実行するプログラムを記録媒体に記録しておき、記録媒体ドライブ（図示せず）によって記録媒体からプログラムを読み出してＣＰＵ５０１で実行するものとしたり、通信部５１３によって、伝送路を介してプログラムの通信を行うものとし、受信したプログラムをＣＰＵ５０１で実行するものとしてもよい。

図８は、録画側の画像処理装置２０における処理を示すフローチャートである。なお、図８ではパノラマ画像を３分割する場合の処理を示している。

ステップＳＴ１で画像処理装置２０のＣＰＵ５０１は、画像データＤＶinを取得してステップＳＴ２に進む。例えば１フレーム分の画像データＤＶinを取得してステップＳＴ２に進む。

ステップＳＴ２でＣＰＵ５０１は、展開処理を行う。ＣＰＵ５０１は、画像データＤＶinで示された円形状または環状の全方位画像をパノラマ画像に展開してステップＳＴ３に進む。

ステップＳＴ３でＣＰＵ５０１は、分割処理を行う。ＣＰＵ５０１は、分割後の画像が長手方向に並ぶようにパノラマ画像を分割する。また、パノラマ画像の長手方向を分割後の画像における水平方向としたとき、分割後の画像がテレビジョン放送規格のアスペクト比に最も近づくように分割を行う。例えばアスペクト比が「１６：９」に近づくように、パノラマ画像を３分割してステップＳＴ４-1〜ＳＴ４-3に進む。

ステップＳＴ４-1でＣＰＵ５０１は、アスペクト比変換処理を行う。ＣＰＵ５０１は、分割後の１つの画像に無効領域を付加してテレビジョン放送規格のアスペクト比に変換してステップＳＴ５-1に進む。

ステップＳＴ４-2，ＳＴ４-3でＣＰＵ５０１は、ステップＳＴ４-1と同様にアスペクト比変換処理を行う。ＣＰＵ５０１は、分割後のそれぞれの画像に無効領域を付加してテレビジョン放送規格のアスペクト比に変換してステップＳＴ５-2，ＳＴ５-3に進む。

ステップＳＴ５-1でＣＰＵ５０１は、符号化処理を行う。ＣＰＵ５０１は、アスペクト比変換処理がなされた画像の画像データを圧縮符号化してステップＳＴ６に進む。

ステップＳＴ５-2，ＳＴ5-3でＣＰＵ５０１は、ステップＳＴ５-1と同様に符号化処理を行う。ＣＰＵ５０１は、アスペクト比変換処理がなされたそれぞれ画像の画像データを圧縮符号化してステップＳＴ６に進む。

ステップＳＴ６でＣＰＵ５０１は、出力処理を行う。ＣＰＵ５０１は、分割後の各画像を示す符号化データを、例えば記録装置６０に供給して記録させる。または、ネットワーク７０等を介して符号化データを画像処理装置４０に供給する。さらに、出力部２５は、分割後の各画像の符号化データが、いずれの分割順序の画像を示すデータであるかについての識別や、１つのパノラマ画像から分割された画像のデータであることの識別を可能として符号化データの出力を行いステップＳＴ７に進む。

ステップＳＴ７でＣＰＵ５０１は、画像処理を終了するか否か判別する。ＣＰＵ５０１は、ユーザインタフェース部５１２から供給された操作信号ＳＰが画像処理の終了操作を示していないときステップＳＴ１に戻り、操作信号ＳＰが画像処理の終了操作を示しているときや画像データＤＶinが終了したとき処理を終了する。

なお、図８に示すフローチャートでは、アスペクト比変換処理と符号化処理を、分割後のそれぞれの画像に対して並列して行うものとしたが、アスペクト比変換処理と符号化処理を分割後の画像について順次繰り返し行うものとしてもよい。

次に、再生側の画像処理装置４０における処理について図９のフローチャートを用いて説明する。なお、図９は、分割後の各画像を結合させて、結合後の画像を表示装置で表示させる場合を示している。

ステップＳＴ１１で画像処理装置４０のＣＰＵ５０１は、データ取得を行う。ＣＰＵ５０１は、記録装置６０から符号化データを読み込んでステップＳＴ１２-1〜ＳＴ１２-3に進む。または、ネットワーク等を介して符号化データを取得してステップＳＴ１２-1〜ＳＴ１２-3に進む。なお、データ取得では、１つのパノラマ画像から分割されている各画像の符号化データを取得する。

ステップＳＴ１２-1でＣＰＵ５０１は、復号化処理を行う。ＣＰＵ５０１は、ステップＳＴ１１で読み込んだ符号化データから分割後の１つの画像を示す符号化データを用いて復号化処理を行ってステップＳＴ１３に進む。

ステップＳＴ１２-2，ＳＴ１２-3でＣＰＵ５０１は、ステップＳＴ１２-1と同様に復号化処理を行う。すなわち、ＣＰＵ５０１は、ステップＳＴ１１で読み込んだ符号化データから分割後の他の画像を示す符号化データを用いて復号化処理を行ってステップＳＴ１３に進む。

ステップＳＴ１３でＣＰＵ５０１は結合処理を行う。ＣＰＵ５０１は、ステップＳＴ１２-1〜ＳＴ１２-3の処理を行うことにより得られた画像データから、分割後の画像を結合させて例えばステップＳＴ３で分割が行われる前の画像を示す画像データを生成してステップＳＴ１４に進む。なお、結合処理では、分割された各画像を全て結合する処理だけでなく、ユーザの指定した分割後の画像を結合するものとしてもよい。

ステップＳＴ１４でＣＰＵ５０１は、表示画像データ出力を行う。ＣＰＵ５０１は、ステップＳＴ１３の結合処理を行うことにより得られた画像データを、表示装置８０に対応する出力フォーマットの表示画像データとして出力してステップＳＴ１５に進む。

ステップＳＴ１５でＣＰＵ５０１は、画像処理を終了するか否か判別する。ＣＰＵ５０１は、ユーザインタフェース部５１２から供給された操作信号ＳＰが画像処理の終了操作を示していないときステップＳＴ１１に戻り、操作信号ＳＰが画像処理の終了操作を示しているときや符号化データが終了したとき処理を終了する。

次に、再生側の画像処理装置における他の処理として、分割後の各画像を画像毎に設けた表示装置で表示する場合を図１０のフローチャートを用いて説明する。

ステップＳＴ２１で画像処理装置４０のＣＰＵ５０１は、データ取得を行う。ＣＰＵ５０１は、記録装置６０から符号化データを読み込みステップＳＴ２２-1〜ＳＴ２２-3に進む。または、ネットワーク等を介して符号化データを取得してステップＳＴ２２-1〜ＳＴ２２-3に進む。

ステップＳＴ２２-1でＣＰＵ５０１は、復号化処理を行う。ＣＰＵ５０１は、ステップＳＴ２１で読み込んだ符号化データから分割後の１つの画像を示す符号化データを用いて復号化処理を行ってステップＳＴ２３-1に進む。

ステップＳＴ２２-2，ＳＴ２２-3でＣＰＵ５０１は、ステップＳＴ２２-1と同様に復号化処理を行う。すなわち、ＣＰＵ５０１は、ステップＳＴ２１で読み込んだ符号化データから分割後の他の画像を示す符号化データを用いて復号化処理を行ってステップＳＴ２３-2，ＳＴ２３-3に進む。

ステップＳＴ２３-1でＣＰＵ５０１は、表示画像データ出力を行う。ＣＰＵ５０１は、ステップＳＴ２２-1で復号化処理を行うことにより得られた画像データを、表示装置８０に対応する出力フォーマットの表示画像データとして出力してステップＳＴ２４に進む。

ステップＳＴ２３-2，ＳＴ２３-3でＣＰＵ５０１は、ステップＳＴ２３-1と同様に表示画像データ出力を行う。ＣＰＵ５０１は、ステップＳＴ２２-2，ＳＴ２２-3で復号化処理を行うことにより得られた画像データを、表示装置８０に対応する出力フォーマットの表示画像データとして出力してステップＳＴ２４に進む。

ステップＳＴ２４でＣＰＵ５０１は、画像処理を終了するか否か判別する。ＣＰＵ５０１は、ユーザインタフェース部５１２から供給された操作信号ＳＰが画像処理の終了操作を示していないときステップＳＴ２１に戻り、操作信号ＳＰが画像処理の終了操作を示しているときや符号化データが終了したとき処理を終了する。

なお、図９および図１０に示すフローチャートでは、符号化データの復号化処理を並列して行うものとしたが、分割後の画像毎に順次復号化処理を行うものとしてもよい。

次に、録画側の画像処理装置２０の動作について図１１を用いて説明する。図１１の（Ａ）は入力された画像データＤＶinの１フレーム分の円形状全方位画像ＧＲを示している。例えば、撮像装置１１では、「３２６０画素×１８３４画素」のイメージセンサを用いるものとして、「１８３４画素×１８３４画素」のサイズである円形状全方位画像ＧＲの画像データＤＶinを生成する。

画像処理装置２０は、円形状全方位画像をパノラマ画像に展開する展開処理を行い、パノラマ画像の画像データＤＷaを生成する。なお、図１１の（Ｂ）は、画像データＤＷaに基づくパノラマ画像ＧＡを示している。画像処理装置２０は、展開処理において、パノラマ画像の長手方向に対して直交する方向の画素数を円形状全方位画像における半径の１／２倍として、図１１の（Ａ）に示す円形状全方位画像ＧＲを、「５７６０画素×９１７画素」のパノラマ画像ＧＡに展開する。

画像処理装置２０は、パノラマ画像ＧＡの分割処理を行う。画像処理装置２０は、分割後の画像が長手方向に並ぶようにパノラマ画像ＧＡを分割する。また、パノラマ画像ＧＡの長手方向を分割後の画像における水平方向としたとき、分割後の画像がテレビジョン放送規格のアスペクト比に最も近づくように分割を行う。ここで、アスペクト比「１６：９」に最も近くなるようにするときは、上述のようにパノラマ画像ＧＡを３分割する。図１１の（Ｃ）は、パノラマ画像ＧＡを３分割したときの分割後の画像ＧＢ-1〜ＧＢ-3を示しており、分割後の画像ＧＢ-1〜ＧＢ-3はそれぞれ「１９２０画素×９１７画素」となる。

次に画像処理装置２０は、アスペクト比変換処理を行い、分割されたそれぞれの画像を所望のアスペクト比の画像に変換する。画像処理装置２０は「１９２０画素×１６３画素」の無効領域を分割されたそれぞれの画像に付加することで、アスペクト比が「１６：９」（１９２０画素：１０８０画素）の各画像ＧＣ-1〜ＧＣ-3を生成する。なお図１１の（Ｄ）は、アスペクト比が「１６：９」とされた各画像ＧＣ-1〜ＧＣ-3を示しており、無効領域（斜線で示す領域）を縦方向に略等分して設けた場合を例示している。

画像処理装置２０は、このように円形状全方位画像ＧＲからアスペクト比が「１６：９」とされた画像ＧＣ-1〜ＧＣ-3を生成して、画像ＧＣ-1〜ＧＣ-3を示すそれぞれの画像データ、すなわち「１９２０画素×１０８０ライン」であるそれぞれの画像データの符号化処理を行い、得られた符号化データを例えば記録装置に記録させる。

また、再生側の画像処理装置４０は、記録装置に記録されている符号化データを読み出して復号化処理を行い、分割後の画像に無効領域が付加して所望のアスペクト比とした画像を示す画像データを生成する。この各画像の画像データを表示画像データとして個々に表示装置に供給するものとすれば、それぞれの表示装置で分割後の画像を表示できる。また、分割後の各画像を結合する処理を行い、結合後の画像を示す画像データを生成して、この画像データを表示画像データとして表示装置に供給すれば、表示装置でパノラマ画像を表示することができる。また画像の結合処理を制御することで、全方位画像において連続している分割後の複数の画像を選択して表示したり、分割後のいずれか１つの画像のみを表示させることも可能である。

なお、図１１では、パノラマ画像を３分割してアスペクト比が「１６：９」である３つの画像を生成するものとしたが、４分割してアスペクト比が「４：３」である４つの画像を生成するものとしてもよい。

また、図１１では、所望の水平解像度例えば表示装置の水平解像度に対して、パノラマ画像の長手方向の画素数がパノラマ画像の分割数倍（３倍）となるように展開を行うものとしたが、アスペクト比変換部で所望のアスペクト比とされた画像を所望の水平解像度となるように、ダウンコンバートやアップコンバートを行うものとしてもよい。

このように、円形状または環状の全方位画像の画像データＤＶinが供給されても、円形状または環状の全方位画像を展開したパノラマ画像が分割されて所望のアスペクト比の画像に変換されるので、パノラマ画像と等しいアスペクト比の表示装置を用いなくとも、従来の表示装置例えばテレビジョン放送規格のアスペクト比である表示装置を利用してパノラマ画像を容易に表示することができる。

画像処理装置システムの構成を示す図である。 録画側の画像処理装置の構成を示す図である。 円形状全方位画像をパノラマ画像に展開する変換処理の一手法を説明するための図である。 パノラマ画像の分割処理を説明するための図である。 再生側の画像処理装置の構成を示す図である。 再生側の画像処理装置の他の構成を示す図である。 ソフトウェアで画像処理を行う場合の構成を示す図である。 録画側の画像処理装置における処理を示すフローチャートである。 再生側の画像処理装置における処理を示すフローチャートである。 再生側の画像処理装置における他の処理を示すフローチャートである。 録画側の画像処理装置の動作を説明するための図である。

符号の説明

１０・・・画像処理システム、１１・・・撮像装置、２０，４０・・・画像処理装置、２１・・・展開処理部、２２・・・分割処理部、２３，２３-1〜２３-3・・・アスペクト比変換部、２４-1〜２４-3・・・符号化部、４１-1〜４1-3・・・復号化部、４２・・・結合処理部、４３，４３-1〜４３-3・・・表示画像データ出力部、４５・・・制御部、４６・・・ユーザインタフェース部、６０・・・記録装置、７０・・・ネットワーク、８０，８０-1〜８０-3・・・表示装置

Claims (8)

1. 円形状または環状の全方位画像をパノラマ画像に展開する展開処理部と、
   前記パノラマ画像を、分割後の画像が長手方向に並ぶように分割する分割処理部と、
   前記分割されたそれぞれの画像を所望のアスペクト比の画像に変換するアスペクト比変換部と、
   前記所望のアスペクト比とされた画像の画像データをそれぞれ符号化処理する符号化部を備える
   ことを特徴とする画像処理装置。
2. 前記符号化処理を行うことにより得られた符号化データに、いずれの並び順の画像であるか識別可能とする属性情報を設ける
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記展開処理部は、前記パノラマ画像の長手方向が所望の水平解像度に対して前記パノラマ画像の分割数倍となるように展開し、または前記アスペクト比変換部は、前記所望のアスペクト比の画像を前記所望の水平解像度に変換する
   ことを特徴とする請求項２記載の画像処理装置。
4. 前記アスペクト比変換部は、前記分割されたそれぞれの画像に無効領域を付加して前記所望のアスペクト比の画像に変換する
   ことを特徴とする請求項３記載の画像処理装置。
5. 前記属性情報が設けられた符号化データを記録媒体に記録する記録部をさらに備える
   ことを特徴とする請求項２記載の画像処理装置。
6. 円形状または環状の全方位画像をパノラマ画像に展開する展開処理ステップと、
   前記パノラマ画像を、分割後の画像が長手方向に並ぶように等分割する分割処理ステップと、
   前記分割されたそれぞれの画像を所望のアスペクト比の画像に変換するアスペクト比変換ステップと、
   前記所望のアスペクト比とされた画像の画像データをそれぞれ符号化処理する符号化ステップを有する
   ことを特徴とする画像処理方法。
7. 円形状または環状の全方位画像の画像処理を行い該画像処理後の画像を示す符号化データを生成する第１の画像処理装置と、該第１の画像処理装置で生成された符号化データを用いて表示画像データを生成する第２の画像処理装置を備えた画像処理システムにおいて、
   前記第１の画像処理装置は、
   前記円形状または環状の全方位画像をパノラマ画像に展開する展開処理部と、
   前記パノラマ画像を、分割後の画像が長手方向に並ぶように分割する分割処理部と、
   前記分割されたそれぞれの画像を所望のアスペクト比の画像に変換するアスペクト比変換部と、
   前記所望のアスペクト比とされた画像の画像データをそれぞれ符号化処理する符号化部を備え、
   前記第２の画像処理装置は、前記所望のアスペクト比とされた画像を示す符号化データをそれぞれ復号化処理する復号化部と、
   前記復号化処理を行うことにより得られた画像データを前記表示画像データとして出力する表示画像データ出力部とを備える
   ことを特徴とする画像処理システム。
8. 前記復号化処理を行うことにより得られた画像データを用いて、前記分割された画像が結合されている画像の画像データを生成する結合処理部をさらに備え、
   前記表示画像データ出力部は、前記結合処理部で生成された画像データを前記表示画像データとして出力する
   ことを特徴とする請求項７記載の画像処理システム。

Images