JP2016092691A - 画像処理装置及びその制御方法、プログラム、並びに記憶媒体 - Google Patents

Abstract

【課題】移動しながら撮影された全方位画像をパノラマ展開する際に、違和感のない自然な映像を得ることができる技術を実現する。【解決手段】画像処理装置は、全方位画像を取得する画像取得手段と、前記全方位画像が撮影された際の撮像装置の進行方向に関する情報を取得する進行方向取得手段と、前記画像取得手段で取得した全方位画像を、前記進行方向取得手段で取得した進行方向に関する情報に基づいて、パノラマ展開した画像の左右方向の中央に、前記進行方向に対応する映像部分が位置するように、パノラマ展開の処理を行う処理手段とを有する。【選択図】図５

Description

本発明は全方位画像をパノラマ展開する技術に関する。

全方位カメラなどで撮影された、３６０°が写った全方位画像が知られている。全方位画像とは、全方位カメラや魚眼レンズなどを用いたカメラによって撮影された、水平方向の３６０°の全範囲を画角内に収めた画像である。全方位画像は、図１（ａ）に示すようなドーナツ形状であるため、そのまま表示したのでは視聴者にとって見にくい画像である。そこで、画像処理によって図１（ａ）の全方位画像を、図１（ｂ）のようなパノラマ画像に展開（以下、パノラマ展開）することが一般に行われている。ドーナツ形状の全方位画像の全範囲（３６０°）をパノラマ展開することで、水平方向（ドーナツ形状の全方位画像の円周方向）の任意の位置で分割され、全方位画像の円周方向を直線に沿うように画像処理を施して全ての方位が写ったパノラマ画像が生成される。分割位置はパノラマ画像における両端部となる。

このパノラマ展開の際の分割位置を決定する技術として、特許文献１には、適当な位置でパノラマ展開された画像に対して顔認識を行い、人物が分割位置と重ならなる場合には、改めて分割位置を決定し、パノラマ展開をやり直す技術が開示されている。

特開２００６−１９１５３５号公報

しかしながら、特許文献１は、主に会議などのカメラを固定して撮影する用途を想定したもので、カメラを移動させながら撮影した全方位画像の動画（以下、全方位動画）を再生する場合は考慮されていない。カメラを移動させながら撮影された全方位動画では、静止した被写体は、映像の遠方（出現点）からカメラに近づいた後、移動方向とは反対側の消失点へ遠ざかっていくという動きをする。このとき、パノラマ展開する際の分割位置が不適切な位置であると、映像中における被写体の動きが不自然に写ってしまい、パノラマ展開された動画の視聴者に違和感を与えてしまう。

本発明は、上記課題に鑑みてなされ、その目的は、移動しながら撮影された全方位画像をパノラマ展開する際に、違和感のない自然な映像を得ることができる技術を実現することである。

前記の課題を解決するために、本発明の画像処理装置は、全方位画像を取得する画像取得手段と、前記全方位画像が撮影された際の撮像装置の進行方向に関する情報を取得する進行方向取得手段と、前記画像取得手段で取得した全方位画像を、前記進行方向取得手段で取得した進行方向に関する情報に基づいて、パノラマ展開した画像の左右方向の中央に、前記進行方向に対応する映像部分が位置するように、パノラマ展開の処理を行う処理手段とを有する。

本発明によれば、移動しながら撮影された全方位画像をパノラマ展開する際に、違和感のない映像を得ることができる。

パノラマ展開前後の全方位画像を例示する図。 全方位画像とパノラマ展開された画像の位置関係に関する説明図。 全方位画像とパノラマ展開された画像の位置関係に関する説明図。 本実施形態の装置構成を示すブロック図。 全方位画像の表示処理を示すフローチャート。

以下に、本発明の画像処理装置を、全方位画像（動画）を撮影し、パノラマ展開可能な全方位カメラに適用した実施の形態について、添付図面を参照して詳細に説明する。

本実施形態の全方位カメラは、ドーナツ形状であるパノラマ展開前の全方位動画に対し、進行方向後方を分割位置としてパノラマ展開を行い、パノラマ展開後の動画中において進行方向前方以外の位置で、被写体の移動軌跡が途切れないように制御を行う。

まず、本発明の制御を適用しない例として、図２を参照して、移動しながら撮影された全方位動画を、カメラの進行方向前方・後方と異なる固定位置で分割してパノラマ展開した場合の処理について説明する。

図２（ａ）は全方位動画の撮影時の様子を模式的に示している。

全方位動画を撮影したカメラ１００は、図示のように、カメラ１００の前方と定義された方向（以下、カメラ前方）Ｆから右側に９０°の方向に移動しながら全方位動画を撮影していたものとする。この場合の動画撮影中のカメラ１００の移動方向前方を、進行方向前方（または進行方向）Ｍと称する。また、カメラ前方Ｆはカメラ１００に対して固定の方向であるため、撮像されるドーナツ形状の全方位画像においてはいつも同じ固定位置となる。カメラ後方Ｒはカメラ前方Ｆと反対方向であり、カメラ前方Ｆと同様に固定位置である。

一方、進行方向Ｍはカメラ１００に対して固定の方向ではなく、全方位動画撮影時の移動方向によって異なる方向である。従って、単一の全方位動画であっても撮影中に移動方向が変われば変動し、再生位置によって進行方向Ｍが異なる。すなわち、進行方向前方Ｍは撮像されたドーナツ形状の全方位画像においていつも同じ位置であるとは限らない。

図２（ｂ）は図２（ａ）に示す位置関係で撮像されたドーナツ形状の全方位画像を模式的に示している。図示のように、画像２０１Ａは、図２（ａ）のような位置関係で撮影されたドーナツ形状の全方位動画（パノラマ展開前の全方位画像）であり、進行方向前方Ｍ、カメラ前方Ｆ、カメラ後方Ｒの映像はそれぞれ図示の位置２０５、２０４、２０２に写っている。位置２０２は、画像２０１Ａをパノラマ展開し、カメラ前方Ｆの映像を左右中心位置に配置しようとしたときの分割位置を示している。図示のようにカメラ前方Ｆの映像を左右中心位置２０４に配置し、画像２０１Ａの全範囲（３６０°）をパノラマ展開したパノラマ画像を生成した場合は、カメラ後方Ｒが分割位置２０２となる。

図２（ｃ）は、図２（ａ）に示す位置関係で撮影されたドーナツ形状の全方位画像２０１Ａを、図２（ｂ）に示す分割位置２０２で分割してパノラマ展開して生成されるパノラマ画像２０１Ｂを示している。図示のように、画像２０１Ｂの両端の位置２０２Ｌ、２０２Ｒは画像２０１Ａにおける分割位置２０２に対応する左右２箇所の位置を示している。位置２０３は全方位画像２０１Ａにおける進行方向前方Ｍとは反対側の進行方向後方に対応する位置（進行方向後方の映像が写っている位置）を示している。位置２０４は全方位画像２０１Ａにおけるカメラ前方Ｆに対応する位置（カメラ前方Ｆの映像が写っている位置）を示している。位置２０５は全方位画像２０１Ａにおける進行方向前方Ｍに対応する位置（進行方向前方Ｍの映像が写っている位置）を示している。矢印２１０は、静止している被写体が動画であるパノラマ画像２０１Ｂの映像中で時間の経過と共に移動していく方向（つまり、カメラ１００が移動しているため、映像中での静止した被写体の位置が相対的に移動する方向）を示している。風景などの静止した映像が、動画中では矢印２１０の方向に流れるように見える。静止した被写体は、矢印２１０で示すように、進行方向前方Ｍの無限遠方から映像に出現し、映像中で弧の軌跡を描き、進行方向後方の無限遠方に消えていくように写っている。以下、映像中の被写体の出現位置を出現点と称し、映像中の被写体の消失位置を消失点と称する。ただし、分割位置２０２Ｒでは被写体は右側に消失し、分割位置２０２Ｌでは分割位置２０２Ｒで消失した被写体が左側から出現するように見える。このように、分割位置２０２Ｒ、２０２Ｌでは映像中の被写体の動きが途切れることとなる。従って、例えば、位置２０５から出現して位置２０２Ｒの方へ移動する特定の被写体に視聴者が注目していた場合には、視点を位置２０２Ｒから被写体の移動方向とは反対側の位置２０２Ｌに即座に移さなければならず、見にくい映像となってしまう。このように、分割位置２０２が映像中での被写体の動きの途中の位置に設定されて全方位画像の展開を行ってしまうと、パノラマ画像中で移動する被写体を目で追い難くなり、視聴者にとって視認性の低い映像となってしまう。

次に、本発明の制御を適用した場合の例として、移動しながら撮影された全方位動画を、カメラ１００の進行方向後方で分割してパノラマ展開した場合の処理について説明する。

図３（ａ）は、全方位動画の撮影時の様子を模式的に示し、図２（ａ）と同様に、カメラ前方Ｆから右側に９０°の方向に移動しながら全方位動画を撮影したものとする。

図３（ｂ）は図３（ａ）に示す位置関係で撮像されたパノラマ展開前の全方位画像３０１Ａとパノラマ展開された画像３０１Ｂの分割位置３０２の関係を示している。図示のように、本実施形態では、分割位置３０２をパノラマ展開前の全方位画像３０１Ａにおける進行方向前方Ｍと反対側、すなわち進行方向後方に設定する。

図３（ｃ）は、図３（ｂ）に示すように、進行方向後方を分割位置３０２として画像３０１Ａをパノラマ展開して生成されるパノラマ画像３０１Ｂを示している。画像３０１Ｂの両端の位置３０２Ｌ、３０２Ｒは画像３０１Ａにおける分割位置３０２に対応する左右２箇所の位置を示している。位置３０３は全方位画像３０１Ａにおけるカメラ前方Ｆに対応する位置、位置３０４は画像３０１Ａにおける進行方向前方Ｍに対応する位置、位置３０５は画像３０１Ａにおけるカメラ後方Ｒに対応する位置をそれぞれ示している。矢印３１０は、静止している被写体が動画であるパノラマ画像３０１Ｂの映像中で時間の経過と共に移動していく方向（カメラ１００が移動しているため、映像中での静止した被写体の位置が相対的に移動することによる移動軌跡）を示している。このように全方位画像３０１Ａをパノラマ展開することにより、パノラマ画像３０１Ｂの映像中において、出現点が画像３０１Ｂの中央の位置３０４となり、消失点が画像３０１Ｂの中央の位置３０４から左右方向に等しい距離の位置３０２Ｌ、３０３Ｒとなる。すなわち、被写体は画像３０１Ｂの中央の無限遠方から現れ、左右に向けて弧の軌跡を描き、両端の２箇所から消えていく。このように全方位画像をパノラマ展開する際の分割位置３０２を進行方向後方の映像部分に設定することで、パノラマ画像３０１Ｂの映像中の被写体の移動軌跡が、図２（ｃ）に示した画像２０１Ｂのように途中の位置２０３で途切れることがなくなる。よって、パノラマ画像３０１Ｂの映像中で時間の経過と共に移動する被写体の動きを目で追う場合に、出現から消失まで視線を大きく移動する必要がなく、視認性が向上する。

以下、図３で説明した本実施形態の全方位動画のパノラマ展開処理を実現するための構成および制御について説明する。

＜装置構成＞まず、図４を参照して、本実施形態の画像処理装置４００の構成を説明する。

画像処理装置４００は、パーソナルコンピュータ（以下、ＰＣ）などを用いて構成可能なものである。

内部バス４５０に対してＣＰＵ４０１、メモリ４０２、不揮発性メモリ４０３、画像処理部４０４、ディスプレイ４０５、操作部４０６、記録媒体Ｉ／Ｆ４０７、外部Ｉ／Ｆ４０９、通信Ｉ／Ｆ４１０、音声処理部４１２、音声出力部４１３が接続されている。内部バス４５０に接続された各部は、内部バス４５０を介して互いにデータのやりとりを行うことができるように構成されている。

メモリ４０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ４０１は、例えば不揮発性メモリ４０３に格納されるプログラムに従い、メモリ４０２をワークメモリとして用いて、画像処理装置４００の各部を制御する。不揮発性メモリ４０３には、画像データや音声データ、その他のデータ、ＣＰＵ４０１が動作するための各種プログラムなどが格納される。不揮発性メモリ４０３は例えばハードディスク（ＨＤＤ）やＲＯＭ、フラッシュメモリなどで構成される。

画像処理部４０４は、ＣＰＵ４０１の制御に基づいて、不揮発性メモリ４０３や記録媒体４０８に格納された画像データや、外部Ｉ／Ｆ４０９を介して取得した映像信号、通信Ｉ／Ｆ４１０を介して取得した画像データなどに対して各種画像処理を施す。画像処理部４０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。また、画像処理部４０４は、上述したドーナツ形状である全方位画像（静止画、動画含む）を、パノラマ画像に展開する処理も行う。画像処理部４０４は特定の画像処理を施すための専用の回路ブロックで構成しても良い。また、画像処理の種別によっては画像処理部４０４を用いずにＣＰＵ４０１がプログラムに従って画像処理を施すことも可能である。

ディスプレイ４０５は、ＣＰＵ４０１の制御に基づいて、画像やＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。ＣＰＵ４０１は、プログラムに従い表示制御信号を生成し、ディスプレイ４０５に表示するための映像信号を生成してディスプレイ４０５に出力するように画像処理装置４００の各部を制御する。ディスプレイ４０５は出力された映像信号に基づいて映像を表示する。なお、画像処理装置４００自体が備える構成としてはディスプレイ４０５に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ４０５は外付けのモニタ（テレビなど）で構成してもよい。

操作部４０６は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む、ユーザ操作を受け付けるための入力デバイスである。なお、タッチパネルは、ディスプレイ４０５に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。

記録媒体Ｉ／Ｆ４０７は、メモリーカードやＣＤ、ＤＶＤといった記録媒体４０８が装着可能とされ、ＣＰＵ４０１の制御に基づき、装着された記録媒体４０８からのデータの読み出しや、記録媒体４０８に対するデータの書き込みを行う。外部Ｉ／Ｆ４０９は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信Ｉ／Ｆ４１０は、無線または有線によって外部機器やインターネットなどのネットワーク４１１を介して通信することにより、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。

音声処理部４１２は、１チャンネル以上の動画の音声を用いて、音像定位を再現するように音声処理を行い、音声出力部に処理した音声を２チャンネル以上（例えばステレオ）で出力する。

音声出力部４１３は２チャンネル以上の音声をスピーカなどに出力する出力部である。音声出力部４１３から出力された音声を、ステレオまたは２チャンネル以上（例えば５．１チャンネル）のスピーカやイヤフォーンなどで聴くことができる。

なお、図４には示していないが、画像処理装置４００は更に、レンズや絞りなどの光学系や撮像素子（例えば、ＣＭＯＳイメージセンサ）からなり、全方位動画を撮影可能な撮像部、及び動画の音声を入力する音声入力部（例えば、マイク）を有していても良い。画像処理装置４００が全方位動画を撮影可能な撮像部を有している場合は、画像処理部４０４は、撮像部で撮像された全方位動画を後述するようにパノラマ展開することができる。また、撮像部を有する場合は、全方位動画を撮影している際のカメラの移動方向を検出するための進行方向検出センサ（例えば、加速度センサ）を有していても良い。この場合、ＣＰＵ４０１は、撮像部で撮像された全方位動画と共に、進行方向検出センサの出力に基づいた全方位動画中における進行方向を示す付加情報（進行方向情報）を画像処理部４０４または記録媒体Ｉ／Ｆ４０７を通じて記録媒体４０８に記録する。

画像処理部４０４は撮像部から取得したドーナツ状の全方位動画を、進行方向情報に基づいて、進行方向後方が分割位置となるようにパノラマ展開する。なお、この処理を動画の撮影とほぼリアルタイムで行ってもよい。また、画像処理部４０４は、パノラマ展開された全方位動画を、記録媒体４０８に記録する、あるいは、外部Ｉ／Ｆ４０９や通信Ｉ／Ｆ４１０を介して外部機器（例えば、録画装置）に出力する。また、画像処理部４０４は、記録媒体４０８から読み出したドーナツ状の全方位動画を、全方位動画に関連付けて記録された進行方向情報に基づいて、進行方向後方が分割位置となるようにパノラマ展開する。この処理を動画の再生とほぼリアルタイムで行ってもよい。さらに、画像処理部４０４は、パノラマ展開された全方位動画を、記録媒体４０８に記録する、あるいは、外部Ｉ／Ｆ４０９や通信Ｉ／Ｆ４１０を介して外部機器（例えば、再生装置）に出力する、あるいはディスプレイ４０５に表示する。さらに、音声処理部４１２は、音声入力部から入力された全方位動画の音声を、進行方向情報に基づいて音像を定位させる（音像定位処理）。この処理を動画の撮影とほぼリアルタイムで行ってもよい。音像定位処理を施した音声を、パノラマ展開された全方位動画の音声として、記録媒体４０８に記録する、あるいは、パノラマ展開された全方位動画と共に外部Ｉ／Ｆ４０９や通信Ｉ／Ｆ４１０を介して外部機器（例えば、録画装置や再生装置）に出力する。また、音声処理部４１２は記録媒体４０８から読み出した全方位動画の音声を、全方位動画に関連付けて記録された進行方向情報に基づいて音像定位処理する。なお、この処理を動画の再生とほぼリアルタイムで行ってもよい。音像定位処理した音声を、パノラマ展開された全方位動画の音声として記録媒体４０８に記録する、あるいは、外部Ｉ／Ｆ４０９や通信Ｉ／Ｆ４１０を介して外部機器（例えば、録画装置や再生装置）に出力する、あるいは音声出力部４１３から出力する。

＜全方位動画表示処理＞次に、図５を参照して、本実施形態の全方位動画のパノラマ展開処理及び表示処理について説明する。

なお、図５の処理は、ＣＰＵ４０１が、不揮発性メモリ４０３に格納された制御プログラムを、メモリ４０２に読み出して実行することにより実現される。また、この処理は、全方位動画の撮影あるいは再生時に、ドーナツ形状の全方位動画をパノラマ展開して表示または記録（すなわち、フォーマット変換）する際に実行される。すなわち、全方位動画の撮影、再生、あるいはパノラマ展開の指示を受け付けると処理が開始される。

Ｓ５０１では、ＣＰＵ４０１は、ドーナツ状の全方位動画を取得する（画像取得処理）。ドーナツ状の全方位動画は、前述のように、記録媒体４０８や、外部Ｉ／Ｆ４０９、通信Ｉ／Ｆ４１０を介して外部機器、撮像部（不図示）から取得できる。また、Ｓ５０１では、ＣＰＵ４０１は、音声入力部から全方位動画の音声を取得する（音声取得処理）。

Ｓ５０２では、ＣＰＵ４０１は、全方位動画の進行方向を検出する（進行方向取得処理）。これは、Ｓ５０１で取得した全方位動画の付加情報（属性情報）として付加された進行方向情報から検出する。ただし、全方位動画の付加情報を用いずに、全方位動画を画像解析することによって検出しても良い。この場合、例えば、ドーナツ状の全方位動画中での被写体の動き方向を検出することで、被写体の出現点を進行方向前方、消失点を進行方向後方であると判定することができる。被写体の動き方向は、前フレームとの差分から動きベクトルを算出することによって得られる。より詳しくは、まず、動きベクトル検出用にカメラ前方など任意の適当な位置を中心に、ドーナツ状の画像の３６０°全てを横長矩形状のパノラマ画像に展開する。次に、ＣＰＵ４０１の制御に従って、パノラマ画像を複数のブロックに分割し、ブロック単位での前フレームとの差分から、動きベクトルを検出する。動きベクトルが、パノラマ展開されたパノラマ画像の長軸方向に対して相反する向きとなるブロックが、パノラマ展開されたパノラマ画像の短軸方向に連続して多く検出される位置を、進行方向として検出する。また、検出した進行方向をメモリ４０２に格納しておき、パノラマ画像の進行方向がいずれの方法によっても検出できなくなった場合に、メモリ４０２に格納された最新の進行方向を、現在の進行方向とするようにしてもよい。また、前述の方法によって進行方向をメモリ４０２に格納しないうちに進行方向を検出できなくなった場合には、カメラ前方など、予め定めた方向を現在の進行方向としてもよい。

Ｓ５０３では、ＣＰＵ４０１は、画像処理部４０４を制御することにより、Ｓ５０２で検出した進行方向がパノラマ展開後の画像の中心となるように全方位動画のパノラマ展開を行う。このとき、必ずしも３６０°全てをパノラマ展開する必要はなく、進行方向を中心に特定の範囲のみをパノラマ展開してもよい。パノラマ展開において、ドーナツ形状の全方位画像の全範囲（３６０°）をパノラマ展開する場合には、ＣＰＵ４０１は、Ｓ５０２で検出された進行方向後方を分割位置とする。また、ＣＰＵ４０１は、特定の範囲のみをパノラマ展開する場合には、Ｓ５０２で検出された進行方向が特定の範囲の中心となるようにパノラマ展開される画像の範囲を決定し、決定された画像の範囲の両端の位置をドーナツ形状の全方位画像の分割位置とする。また、ＣＰＵ４０１は、Ｓ５０３でパノラマ展開の中心位置とした方向（進行方向）とパノラマ展開範囲とを示すパノラマ展開情報をメモリ４０２に記憶する。

Ｓ５０４では、ＣＰＵ４０１は、音声処理部４１２を制御し、Ｓ５０３でメモリ４０２に記憶したパノラマ展開情報（パノラマ展開の中心位置とした方向、及びパノラマ展開範囲）を用いて音像の定位制御（音像定位処理）を行う。音声処理部４１２は、パノラマ展開情報から得られるパノラマ展開中心方向に対応する音像位置を、視聴者の正面に位置するように音像を定位する。また、音声処理部４１２は、パノラマ展開情報から得られるパノラマ展開範囲からパノラマ画像の位置と、対応する音像の位置が一致するように音像位置を定位する。これにより、例えば全方位画像の全範囲（３６０°）をパノラマ展開する場合等、本来ならば撮影者の後方に位置する映像が表示部の両端に位置するような場合でも、同様に撮影者の後方に位置する音像を表示部の両端に配置でき、映像と音像のずれを防止できる。音像の定位処理では、具体的には、２チャンネル以上で出力する音声の音量ミックス比の調整、時間差の調整、周波数特性の調整、位相の調整、残響の調整などを行う。

Ｓ５０５では、ＣＰＵ４０１は、Ｓ５０３でパノラマ展開された全方位動画をディスプレイ４０５に表示するように制御し、Ｓ５０４で音像定位処理された音声を音声出力部４１３から出力する。これと同時に、あるいはこれに代えて、Ｓ５０３でパノラマ展開された全方位動画と、Ｓ５０４で音像定位処理された音声とを、記録媒体４０８に記録する、あるいは外部Ｉ／Ｆ４０９、通信Ｉ／Ｆ４１０を介して外部機器に出力してもよい。

Ｓ５０６では、ＣＰＵ４０１は、全方位動画の撮影または再生の停止、またはパノラマ展開処理の停止が指示されたかを判定する。判定の結果、停止が指示されていないと判定した場合は、ＣＰＵ４０１は、全方位動画の続きのフレームに対する処理を実行すべく、Ｓ５０１に戻って処理を繰り返し、停止が指示されたと判定した場合は処理を終了する。

上述した実施形態では、本発明を動画である全方位画像に適用した例を説明したが、動画だけでなく、連写画像のように画像間の時間的、位置的な差分が小さく、全方位画像中の被写体の動きベクトルの検出が可能な場合や付加情報による進行方向の検出が可能な場合には静止画にも適用可能である。

本実施形態によれば、全方位動画を撮影したカメラ前方（デフォルトの分割位置でパノラマ展開した場合の画像の中心位置）とカメラの進行方向とが一致しない場合にも、図２（ｃ）のような映像ではなく、図３（ｃ）のような好適な映像を得ることができる。このように進行方向が中心となるように全方位画像のパノラマ展開を行うことによって、動画と静止画のいずれの場合においても、図３（ｃ）のように画像の中心に１点の消失点を持つ映像を得ることができ、視聴者にわかりやすい映像にすることができる。特に、動画の場合には、映像が流れるために効果が大きい。また、パノラマ展開の中心方向（すなわち進行方向）に基づいて音像定位処理によって音像位置が調整されるので、進行方向の変化に応じて音像定位も調整される。そのため、進行方向の変化に応じた臨場感ある映像観賞が可能となる。

なお、上述の例では、パノラマ展開する前の全方位画像（全方位動画）として、ドーナツ状の画像を例に挙げたが、ドーナツ状に中心部分が抜けていない円形の画像であることもある（これは、全方位カメラの性能や方式による）。本発明は、このような円形の全方位画像（全方位動画）をパノラマ展開する際にも適用可能である。この場合、分割位置の１つは、円形の全方位画像の中心点と、円周上の１点とを結ぶ線分となる。本発明によれば、この分割位置を、パノラマ展開後の画像の左右中央が進行方向となるように決定する。

また、上述の例では、１つの画像で全方位画像として成り立っているものに対してパノラマ展開する例を説明したが、セパレートされた複数の画像を画像処理して繋ぎ合わせることで全方位画像とするものに対しても本発明は適用可能である。例えば、複数のカメラユニットで別々の方向を撮影した画像（セパレートされた複数の画像）を結合することによって全方位が写る１つの画像（静止画及び動画）を作成することができる。このような、全方位が写った画像を生成するためのセパレートされた複数の画像も、全方位画像の一種である。この場合、結合した結果のドーナツ状あるいは円形の全方位画像をパノラマ展開する場合に本発明を適用できることは言うまでもない。また、結合する前に、パノラマ展開に必要な画像部分を算出し、セパレートされた複数の画像から直接パノラマ展開した結果の画像を生成する場合にも本発明は適用可能である。この場合、進行方向にある画像部分がパノラマ展開した結果の画像において左右方向の中央に位置するように、セパレートされた複数の画像のうち、パノラマ展開に必要な画像部分を算出する。

なお、ＣＰＵ４０１の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明を全方位画像を撮影可能なカメラに適用した場合を例にして説明したが、この例に限定されず、全方位画像をパノラマ展開することが可能な撮像装置・電子機器・情報処理装置などに適用可能である。すなわち、本発明は、パーソナルコンピュータやＰＤＡ、携帯電話やその一種であるスマートフォン、タブレット端末、音楽プレーヤ、ゲーム機、電子ブックリーダなどに適用可能である。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

４００…画像処理装置、４０１…ＣＰＵ、４０４…画像処理部、４１２…音声処理部、４１３…音声出力部

Claims (16)

1. 全方位画像を取得する画像取得手段と、
   前記全方位画像が撮影された際の撮像装置の進行方向に関する情報を取得する進行方向取得手段と、
   前記画像取得手段で取得した全方位画像を、前記進行方向取得手段で取得した進行方向に関する情報に基づいて、パノラマ展開した画像の左右方向の中央に、前記進行方向に対応する映像部分が位置するように、パノラマ展開の処理を行う処理手段と
   を有すること特徴とする画像処理装置。
2. 前記処理手段は、全方位画像を撮影した撮像装置の前方と、当該撮像装置の進行方向が一致していない場合にも、進行方向に合わせてパノラマ展開の処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記全方位画像は動画であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記処理手段は、動画である全方位画像の撮影中に進行方向が変わる場合、進行方向の変化に合わせてパノラマ展開の処理を行うことを特徴とする請求項３に記載の画像処理装置。
5. 前記処理手段は、撮像装置の進行方向がパノラマ展開した画像の中央となるように全方位画像における分割位置を設定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記分割位置は、撮像装置の進行方向後方であることを特徴とする請求項６に記載の画像処理装置。
7. 前記分割位置は、パノラマ展開した画像において、撮像装置の進行方向から左右に等しい距離の２箇所にあることを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記進行方向取得手段は、全方位画像に関連付けて記憶された属性情報から撮像装置の進行方向に関する情報を取得することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記進行方向取得手段は、全方位画像を解析して、全方位画像中の被写体の動きに基づいて撮像装置の進行方向に関する情報を取得することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 前記進行方向取得手段は、撮像装置に備えられた進行方向を検出するための検出手段により撮像装置の進行方向に関する情報を取得することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
11. 前記全方位画像に関連した音声を取得する音声取得手段をさらに有し、
    前記音声処理手段により取得した音声を全方位画像のパノラマ展開範囲に合わせて音像定位の処理を行う音声処理手段をさらに有することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記音声処理手段は、撮像装置の進行方向の音像がパノラマ展開した画像を表示する表示手段の中央に位置するように音像定位の処理を行うことを特徴とする請求項１１に記載の画像処理装置。
13. 前記処理手段がパノラマ展開した画像を表示手段に表示するように制御する表示制御手段をさらに有することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 全方位画像を取得するステップと、
    前記全方位画像が撮影された際の撮像装置の進行方向に関する情報を取得するステップと、
    前記取得した全方位画像を、前記取得した進行方向に関する情報に基づいて、パノラマ展開した画像の左右方向の中央に、前記進行方向に対応する映像部分が位置するように、パノラマ展開の処理を行うステップと
    を有すること特徴とする画像処理装置の制御方法。
15. コンピュータを、請求項１乃至１３のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
16. コンピュータを、請求項１乃至１３のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。