JP2012199752A - 画像処理装置と画像処理方法およびプログラム - Google Patents

Abstract

【課題】撮像装置からの距離が一定でないことによって生じる画像歪みが補正された広画角のパノラマ画像を容易に生成できるようにする。
【解決手段】合成処理部２９は、複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせてパノラマ画像を生成する。加工処理部３０は、被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいてパノラマ画像の縮小または拡大を行い、被写体までの距離の違いによって生じたパノラマ画像における被写体の画像歪みを補正する。撮像装置からの距離が一定でないことによって生じる画像歪みが補正された広画角のパノラマ画像を容易に生成できる。
【選択図】 図２

Description

この技術は、画像処理装置と画像処理方法およびプログラムに関する。詳しくは、画像歪みが補正された広画角の合成画像を容易に生成できるようにする。

従来、撮像装置をスイングまたは平行移動しながら複数回の撮像を行うことにより得られた撮像画像を合成することで、１回の撮像で得られる画像よりも広画角である合成画像、いわゆるパノラマ画像を生成することが行われている。

パノラマ画像の生成では、例えば特許文献１のように、画像の合成時に撮影レンズの収差や視差等による幾何学的変位を補正して、画像合成が行われている。また、特許文献１では、被写体までの距離を計測して、距離情報から視差量の計算を行い、視差量に基づいて視差の補正を行った画像を用いて画像合成が行われている。

また、特許文献２では、撮影条件や画像の用途に応じた歪補正が行われている。例えば撮影された複数の画像データを繋ぎ合わせてパノラマ画像を作成する場合には、撮像時のレンズの焦点距離に応じた歪補正を行い、歪補正後の画像を用いて繋ぎ合わせが行われている。また、広角レンズを用いて広い画角で撮影する場合には、周辺部の歪みを残した画像のほうが、歪みが無い画像に比べて自然に見える場合があるため、歪みを残す補正が行われている。

特開平８−１１６４９０号公報 特開２００９−２６０５６７号公報

ところで、円筒面投影法を用いてパノラマ画像を生成する場合、固定した位置で撮像装置を回転させて複数枚の撮像画像の生成を行い、生成された画像を繋ぎ合わせることが行われる。

図１は、円筒面投影法を説明するための図である。円筒面投影法は撮像装置から被写体までの距離が常に一定であることを前提とした撮像方法である。したがって、図１の（Ａ）に示すように、撮像装置９０から被写体９１までの距離が一定であり、各被写体９１が同一サイズである場合は、撮像画像上においても図１の（Ｂ）に示すように、同一サイズの被写体画像９１ｐとなる。しかし、撮像装置から被写体までの距離が変化すると、距離の変化に応じた画像歪みが生じる。例えば、図１の（Ｃ）に示すように、撮像装置９０と円筒面９３上の第１の撮像画像９４の一端を結ぶ線分ＬＮ１が平面９６と交わる点を交点Ｐ１’とする。また、第１の撮像画像９４の他方の端点Ｐ２と撮像装置９０の位置を結ぶ線分ＬＮ２が平面９６と交わる点を交点Ｐ２’とする。同様に、円筒面９３上の第２の撮像画像９５の一方の端点Ｐ３と撮像装置９０の位置を結ぶ線分ＬＮ３が平面９６と交わる点を交点Ｐ３’とする。また、第２の撮像画像９５の他方の端点Ｐ４と撮像装置９０の位置を結ぶ線分ＬＮ４が平面９６と交わる点を交点Ｐ４’とする。この場合、第１の撮像画像９４は、平面９６における交点Ｐ１’〜Ｐ２’の範囲を示す画像となる。同様に、第２の撮像画像９５は、平面９６における交点Ｐ３’〜Ｐ４’の範囲を示す画像となる。また、撮像装置９０の位置から交点Ｐ１’までの距離は撮像装置９０の位置から交点Ｐ２’までの距離よりも長くなっており、撮像装置９０の位置から交点Ｐ４’までの距離は、撮像装置９０の位置から交点Ｐ３’までの距離よりも長くなっている。したがって、平面９６の被写体９２は、図１の（Ｄ）に示すように、樽状の歪みを生じた被写体画像９２ｐとなってしまう。

このように、円筒面投影法は撮像装置から被写体までの距離が常に一定であることを前提とした撮像方法であるため、撮像装置からの距離が一定でない被写体は、撮像画像上において距離に応じた歪みを有する形状となってしまう。しかし、特許文献１のように撮像レンズの収差や視差による幾何学的変位の補正や特許文献２のようにレンズの焦点距離に応じた歪補正では、撮像装置からの距離が一定でないことによって生じる歪みを補正することができない。

そこで、この技術では、撮像装置からの距離が一定でないことによって生じる画像歪みが補正された広画角の合成画像を容易に生成できる、画像処理装置と画像処理方法およびプログラムを提供することを目的とする。

この技術の第１の側面は、複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせてパノラマ画像を生成する合成処理部と、被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて前記パノラマ画像の加工を行い、前記被写体までの距離の違いによって生じた前記パノラマ画像における前記被写体の画像歪みを補正する加工処理部とを備える画像処理装置にある。

この技術においては、円筒面投影法を用いて撮像を行うことにより複数枚の撮像画像が生成される。この複数枚の撮像画像から画像が切り出されて、切り出された画像が繋ぎ合わされて、広画角の合成画像が生成される。また、被写体までの距離を被写体における複数位置、例えば切り出した画像を繋ぎ合わせる方向の複数位置で計測して得た距離情報に基づいて合成画像の縮小または拡大が行われて、距離の違いによって生じた合成画像における被写体の画像歪みが補正される。合成画像の縮小では、距離情報が最長距離から短くなるに伴い、合成画像の縮小割合が大きくされる。また、合成画像を縮小することによって生じた画像情報の無い領域が所定の画像とされる。または、縮小後の合成画像から画像情報の無い領域を除いて、矩形状に画像が切り出される。合成画像の拡大では、距離情報が最短距離から長くなるに伴い、合成画像の拡大割合が大きくされる。なお、画像表示を行う表示部に合成画像と歪補正後の合成画像が表示されて、何れかの合成画像が選択可能とされる。

この技術の第２の側面は、複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせてパノラマ画像を生成する工程と、被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて前記パノラマ画像の加工を行い、前記被写体までの距離の違いによって生じた前記パノラマ画像における前記被写体の画像歪みを補正する工程とを含む画像処理方法にある。

この技術の第３の側面は、複数枚の撮像画像から広画角のパノラマ画像を生成する画像処理をコンピュータで実行させるプログラムであって、複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせてパノラマ画像を生成する手順と、被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて前記パノラマ画像の加工を行い、前記被写体までの距離の違いによって生じた前記パノラマ画像における前記被写体の画像歪みを補正する手順とを前記コンピュータで実行させるプログラムにある。

なお、本技術のプログラムは、例えば、様々なプログラムを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

この技術によれば、複数枚の撮像画像から画像の切り出しが行われて、切り出した画像を繋ぎ合わせて合成画像が生成される。また、被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて合成画像の加工が行われて、被写体までの距離の違いによって生じた合成画像における被写体の画像歪みが補正される。このため、撮像装置からの距離が一定でないことによって生じる画像歪みが補正された広画角の合成画像を容易に生成できる。

円筒面投影法を説明するための図である。 画像処理装置を用いた撮像装置の構成を示す図である。 位相差画素を有するＣＭＯＳ固体撮像素子の構成を示す図である。 シフト量と、デフォーカス量との関係を例示した図である。 画像処理装置を用いた撮像装置の動作を示すフローチャートである。 円筒面投影法を用いた場合における撮像装置と被写体間の距離を示した図である。 撮像装置と被写体との間の距離を例示した図である。 距離情報に基づき画像の縮小を行う場合の縮小率ｎを例示した図である。 加工処理部で行われる歪補正処理を説明するための図である。 加工処理部で行われる歪補正処理後の画像加工処理を説明するための図である。 画像処理装置を用いた撮像装置の他の動作を示すフローチャートである。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理装置を用いた撮像装置の構成
２．画像処理装置を用いた撮像装置の動作
３．画像処理装置を用いた撮像装置の他の動作

＜１．画像処理装置を用いた撮像装置の構成＞
図２は、本技術の画像処理装置を用いた撮像装置１０の構成を例示している。撮像装置１０は、撮像レンズ部１１、撮像素子１２、撮像素子駆動部１３、前処理部１４、カメラＤＳＰ（Digital Signal Processing）部２０、メモリ部４１、表示部４２、記録媒体４３、システム制御部５０、操作部５１を有している。

撮像レンズ部１１は、被写体光を撮像素子１２に導くための撮像光学系として機能するものである。撮像レンズ部１１は、撮像素子１２の撮像面上に結像される光学像の焦点の調節を行うためのフォーカスレンズや、光学像の変倍を行うためのズームレンズ等が含まれている。

撮像素子１２は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）やＣＣＤ(Charge Coupled Device）等の固体撮像素子を用いて構成されている。撮像素子１２は、撮像レンズ部１１によって受光面に結像された光学像に応じた撮像信号を生成して前処理部１４に出力する。

撮像素子駆動部１３は、駆動信号を生成して撮像素子１２に供給することで、撮像信号を撮像素子１２で生成して出力させる。

前処理部１４は、撮像素子１２から供給される撮像信号に対して相関二重サンプリング処理（ＣＤＳ：Correlated Double Sampling）やアナログ増幅処理、Ａ／Ｄ変換処理等を行い、画像データを生成してカメラＤＳＰ部２０に出力する。

カメラＤＳＰ部２０は、後述するシステム制御部５０の制御のもとで、前処理部５から出力される画像データの記録や再生および画像データに基づく画像表示等に係る処理、広画角の合成画像いわゆるパノラマ画像の生成等を行う。なお、カメラＤＳＰ部２０にはメモリ部４１が接続されており、メモリ部４１は、カメラＤＳＰ部２０で種々の処理を行うための作業用領域として用いられる。

カメラＤＳＰ部２０は、カメラ信号処理部２１、メモリ制御部２２、レンズ制御部２３、解像度変換部２４、表示制御部２５、コーデック部２６、メディア制御部２７、被写体距離計測部２８、合成処理部２９、加工処理部３０を有している。また、カメラＤＳＰ部２０の各部は、内部バス３１を介して接続されている。

カメラ信号処理部２１は、前処理部１４から供給される画像データに対してホワイトバランス調整処理、ガンマ補正処理等を行う。また、カメラ信号処理部２１は、画像データから絞り補正、オートフォーカス調整に必要な情報を検出し、検出した情報をレンズ制御部２３に出力する。

メモリ制御部２２は、メモリ部４１に対するデータの書き込みや書き込まれているデータの読み出しを制御する。メモリ制御部２２は、カメラＤＳＰ部２０の各部から供給される画像データや符号化データをメモリ部４１に書き込み、またメモリ部４１に書き込まれている画像データや符号化データを読み出してカメラＤＳＰ部２０の各部に出力する。

レンズ制御部２３は、カメラ信号処理部２１から得られる情報や、後述するシステム制御部５０からの制御信号に基づき、撮像レンズ部１１を駆動して、オートフォーカス制御やズーム制御、絞り制御等を行う。

解像度変換部２４は、メモリ部４１に格納された画像データ、またはカメラ信号処理部２１から出力される画像データの解像度を変換する。例えば、解像度変換部２４は、カメラ信号処理が行われた画像データを表示部４２の表示解像度に対応した画像データに変換する。また、解像度変換部２４は、ユーザにより指示された解像度に変換して、記録媒体４３に記録できるようにする。また、撮像画像の一部領域を切り出してこの解像度の変換処理に係る処理を実行して、電子ズームや再生ズームの処理が行われた画像データを生成する。

表示制御部２５は、解像度変換部２４から供給された画像データやメモリ部４１に格納された画像データにより表示部４２を駆動して、撮像動作時におけるモニタ画像やメモリ部４１に記録されている画像、および記録媒体４３に記録されている画像の表示を行う。また、表示制御部２５は、撮像装置１０に搭載される機能を選択するためのメニュー表示や撮像装置１０の設定状態を示す設定状態表示等を、表示部４２で表示させる。

コーデック部２６は、画像データのデータ圧縮処理を行い、得られた符号化データをメモリ制御部２２やメディア制御部２７に出力して、メモリ部４１や記録媒体４３に記録させる。また、メモリ部４１や記録媒体４３から読み出された符号化データのデータ伸長処理を行い、得られた画像データをメモリ制御部２２や表示制御部２５等に出力する。なおこのデータ圧縮、伸長は、静止画にあってはＪＰＥＧ（Joint Photographic Coding Experts Group）の手法が適用される。また、動画にあっては、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９ＷＧ１１のＭＰＥＧ１（Motion Picture Experts Group 1）、ＭＰＥＧ２（Motion Picture Experts Group 2）、ＭＰＥＧ４（Motion Picture Experts Group 4）、ＩＴＵ−ＴのＨ．２６３、Ｈ．２６４/ＭＰＥＧ４−ＡＶＣ（Advanced Video Coding）等、動きベクトルを用いたデータ圧縮手法が適用される。

メモリ制御部２２は、メモリ部４１に対するデータの書き込みや書き込まれているデータの読み出しを制御する。メモリ制御部２２は、カメラＤＳＰ部２０の各部から供給される画像データや符号化データをメモリ部４１に書き込み、またメモリ部４１に書き込まれている画像データや符号化データを読み出してカメラＤＳＰ部２０の各部に出力する。

メディア制御部２７は、記録媒体４３に対するデータの書き込みや書き込まれているデータの読み出しを制御する。メディア制御部２７は、カメラＤＳＰ部２０の各部から供給される画像データや符号化データを記録媒体４３に書き込み、また記録媒体４３に書き込まれている画像データや符号化データを読み出してカメラＤＳＰ部２０の各部に出力する。

被写体距離計測部２８は、被写体までの距離を被写体における複数位置で計測して距離情報を生成する。被写体距離計測部２８は、生成した距離情報をメモリ部４１や記録媒体４３に供給する。被写体距離計測部２８は、被写体までの距離を示す距離情報を生成できる構成であればよい。例えば、被写体距離計測部２８は、赤外光または超音波等を利用した測距センサからのセンサ信号に基づき、被写体までの距離を被写体における複数位置で計測して距離情報を生成する。また、撮像装置に設けられているオートフォーカス機能を利用して、フォーカスレンズの合焦位置等から距離情報を生成する。また、撮像装置１０を回転させて距離情報の生成を行うことで、被写体における複数位置の距離情報を生成できる。さらに、特開２０１０−１６９７０９号公報に示されているように、被写体光を瞳分割して焦点検出するための位相差画素を有するＣＭＯＳ固体撮像素子を用いれば、撮像画像における複数の位置で距離情報を生成できる。なお、撮像素子は、位相差画素を有する構成であればよく、ＣＭＯＳに限る必要はない

図３は、被写体光を瞳分割して焦点検出するための位相差画素を有するＣＭＯＳ固体撮像素子の構成を示している。撮像素子１２は、フォトダイオードを用いて構成される複数の画素がマトリクス状に２次元配置されている。各画素の受光面には、それぞれ分光特性の異なる例えばＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタが１：２：１の比率で配設されて、Ｒ画素１２１、Ｇ画素１２２およびＢ画素１２３が形成されている。また、被写体光を瞳分割して焦点検出するための位相差画素のペア(以下「ＡＦ（AutoFocus）画素対」という)１２ｆが設けられている。なお、Ｒ画素１２１、Ｇ画素１２２、Ｂ画素１２３およびＡＦ画素対１２ｆで示す破線は、集光レンズとして機能するマイクロレンズを示している。

瞳分割機能を持たない画素は、Ｇ画素１２２とＲ画素１２１とが水平方向に交互に配置されて水平ラインＬ１を形成しており、Ｂ画素１２３とＧ画素１２２とが水平方向に交互に配置されて水平ラインＬ２を形成している。この水平ラインＬ１と水平ラインＬ２とが垂直方向に交互に配置されることでベイヤー配列が構成される。

ＡＦ画素対１２ｆは、水平方向に沿って繰り返し配列されてＡＦラインＬｆを形成している。なお、斜線の領域は遮光部ＬＳである。このように構成されたＡＦラインＬｆは、垂直方向に所定ライン数の配置間隔をもって複数設けられている。また、ＡＦ画素対１２ｆの第１ＡＦ画素１２ｆ-aで得られる受光データをＡ系列のデータ、第２ＡＦ画素１２ｆ-bで得られる受光データをＢ系列のデータとする。

Ａ系列の像とＢ系列の像を比較すると、デフォーカス量が大きいほど、Ａ系列の像とＢ系列の像との間に生じるＡＦラインＬｆ(水平方向)方向のシフト量(ズレ量)が増大する。図４は、Ａ系列とＢ系列の像との間に生じるシフト量と、デフォーカス量との関係を例示している。なお、図４においては、縦軸がＡ系列の像の重心位置に対するＢ系列の像の重心位置の差(画素ピッチ)を示し、縦軸がデフォーカス量(μｍ)を示している。なお、各像の重心位置Ｘgは、式(１)により求められる。なお、式(１)において、Ｘ1〜Ｘnは、例えばＡＦラインＬｆにおける左端からの画素位置を表し、Ｙ1〜Ｙnは、各位置Ｘ1〜Ｘnの第１ＡＦ画素１２ｆ-a、第２ＡＦ画素１２ｆ-bからの出力値を表している。

図４に示すように一対の像における重心位置の差（ピッチ）とデフォーカス量(μｍ)との関係は、比例関係となっている。この関係について、デフォーカス量をＤＦ(μｍ)とし重心位置の差をＣ(μｍ)として数式で表現すると、次の式(２)のようになる。なお、式(２)の係数ｋは、傾きＧｋ(破線で図示)を表しており、工場試験等によって事前に取得できるものである。

このように、ＡＦラインＬｆのＡＦ画素対１２ｆから得られるＡ系列のデータとＢ系列のデータに関する重心位置の差(位相差)Ｃを算出して、さらに式(２)の演算を行うことでデフォーカス量ＤＦが算出できる。このようにして算出したデフォーカス量ＤＦに基づき、被写体までの距離被写体までの距離を算出する。また、ＡＦ画素対１２ｆは、撮像面に分散して設けられていることから、撮像範囲内の複数点で被写体までの距離を計測できる。

図２に戻り、合成処理部２９は、カメラ信号処理部２１やメモリ部４１から読み出された複数枚の撮像画像の画像データ、またはコーデック部２６から供給された複数枚の撮像画像の画像データを用いて、パノラマ画像の画像データを生成する。パノラマ画像の画像データの生成では、複数枚の撮像画像から画像の切り出しと切り出した画像の繋ぎ合わせを行う。

加工処理部３０は、被写体距離計測部２８で生成された距離情報に基づき、パノラマ画像の加工を行い、距離の違いによって生じたパノラマ画像における被写体の画像歪みを補正する。また、加工処理部３０は、歪補正によって画像情報の無い領域が生じた場合、画像情報の無い領域を所定の画像に加工する。

表示部４２は、液晶表示素子や有機ＥＬ等の表示素子を用いて構成されている。表示部４２は、表示制御部２５の制御の下で、撮像装置１０に搭載される機能を選択するためのメニュー表示や撮像装置１０の設定状態を示す設定状態表示、撮像画像や再生画像等の表示を行う。

記録媒体４３は、半導体メモリカードまたは磁気や光を用いて記録再生を行うディスク状記録媒体等が用いられる。記録媒体４３は、コーデック部２６で生成された符号化データ等を記録する。

システム制御部５０には、操作部５１が接続されている。操作部５１は、撮像装置１０に設けられた操作スイッチや操作ボタン、表示部４２の表示画面に設けられたタッチパネル等を用いて構成されており、ユーザによる操作に応じた操作信号をシステム制御部５０に出力する。

システム制御部５０は、ＣＰＵ(Central Processing Unit)やＲＯＭ(Read Only Memory)およびＲＡＭ(Random Access Memory)等を用いて構成されている。システム制御部５０は、ＲＯＭに記憶されているプログラムを読み出してＣＰＵで実行して、操作信号に基づき撮像装置１０の動作がユーザ操作に応じた動作となるように各部の動作を制御する。なお、プログラムは、事前に、撮像装置１０にインストールされて提供されるものの、このような事前のインストールによる提供に代えて、インターネット等のネットワークを介したインストールによる提供するようにしてもよい。さらに、メモリカード、光ディスク、磁気ディスク等の各種記録媒体により提供するようにしてもよい。

＜２．画像処理装置を用いた撮像装置の動作＞
図５は、本技術の画像処理装置を用いた撮像装置の動作を示すフローチャートである。なお、図５に示す撮像装置の動作では、距離情報の生成を行ったのちパノラマ画像の生成を行う場合を示している。

ステップＳＴ１で撮像装置１０は、ユーザ操作の受け付けを行う。撮像装置１０は、操作部５１で行われたユーザ操作を受け付けてステップＳＴ２に進む。

ステップＳＴ２で撮像装置１０は、受け付けたユーザ操作がパノラマ撮像指示であるか判別する。撮像装置１０は、受け付けたユーザ操作がパノラマ撮像指示である場合にはステップＳＴ３に進む。なお、撮像装置１０は、受け付けたユーザ操作がパノラマ撮像指示でない場合にはステップＳＴ１５に進み、ステップＳＴ１５でユーザ操作に応じた処理を行ってステップＳＴ１に戻る。

ステップＳＴ３で撮像装置１０は、距離情報の生成を行う。撮像装置１０は、固定した位置で撮像装置を回転させて、複数枚の撮像画像を生成する前に、被写体における複数位置の距離情報を被写体距離計測部２８で生成してステップＳＴ４に進む。

ステップＳＴ４で撮像装置１０は、距離情報の生成が成功したか判別する。撮像装置１０は、被写体距離計測部２８によって距離情報が生成された場合にはステップＳＴ５に進み、距離情報が生成されない場合にはステップＳＴ１４に進む。

ステップＳＴ５で撮像装置１０は、距離情報を保存する。撮像装置１０は、生成した距離情報を、例えばメモリ部４１に保存してステップＳＴ６に進む。

ステップＳＴ６で撮像装置１０は撮像画像の生成を行う。撮像装置１０は、円筒面投影法を用いて撮像画像の生成を行う。具体的には、固定した位置で撮像装置を回転させて、パノラマ画像の生成に用いる複数枚の撮像画像の画像データを生成して、例えばメモリ部４１に保存してステップＳＴ７に進む。なお、固定した位置で撮像装置を回転させて、パノラマ画像の生成に用いる複数枚の撮像画像の画像データを生成することで円筒面投映法を用いて撮像画像の生成を行ったことになる。

ステップＳＴ７で撮像装置１０は、撮像が成功したか判別する。撮像装置１０は、パノラマ画像の生成に用いる複数枚の撮像画像の生成が成功した場合にステップＳＴ８に進む。また、複数枚の撮像画像の生成が不成功である場合、例えば撮像装置１０の回転が速すぎて、撮像画像と次の撮像画像を繋ぎ合わせたときに被写体の欠落が生じてしまうような場合や、撮像動作が途中で中断されてしまった場合等ではステップＳＴ１４に進む。

ステップＳＴ８で撮像装置１０はパノラマ画像の生成を行う。撮像装置１０の合成処理部２９は、複数枚の撮像画像の画像データを用いて、複数枚の撮像画像から画像の切り出しと切り出した画像の繋ぎ合わせを行い、パノラマ画像の画像データを生成する。撮像装置１０は、生成したパノラマ画像の画像データを例えばメモリ部４１に保存してステップＳＴ９に進む。

ステップＳＴ９で撮像装置１０は、距離情報に基づく被写体解析処理を行う。撮像装置１０は、保存されている距離情報に基づき、パノラマ画像の被写体が、例えば図１の（Ｃ）に示すように距離の変化する被写体であるか解析して、ステップＳＴ１０に進む。

ステップＳＴ１０で撮像装置１０は、撮像装置からの距離が変化する被写体であるか判別する。撮像装置１０は、パノラマ画像の被写体が、撮像装置からの距離が変化する被写体である場合にはステップＳＴ１１に進み、撮像装置から一定の距離である場合にはステップＳＴ１２に進む。

ステップＳＴ１１で撮像装置１０は、距離情報に基づく歪補正処理を行う。撮像装置１０の加工処理部３０は、パノラマ画像に対して距離情報に基づき歪補正処理を行いステップＳＴ１２に進む。なお、距離情報に基づく歪補正処理の詳細については後述する。

ステップＳＴ１２で撮像装置１０は、パディング加工処理を行う。撮像装置１０の加工処理部３０は、距離情報に基づいて歪補正処理を行ったことにより画像情報の無いパディングが生じた場合、パディングを所定の画像に加工してステップＳＴ１３に進む。

ステップＳＴ１３で撮像装置１０は、パノラマ画像を保存する。撮像装置１０は、歪補正やパディング加工処理が行われたパノラマ画像を、例えばメモリ部４１や記録媒体４３に保存する。また、パノラマ画像の保存では、コーデック部によってパノラマ画像の画像データを圧縮符号化してから保存すれば、保存するデータ量を少なくできる。

ステップＳＴ１４で撮像装置１０は、エラー表示を行う。撮像装置１０は、パノラマ画像の生成または距離情報に基づいた歪補正を行うことができないことから、表示部４２でその旨を示すエラー表示を行う。

なお、図５は、本技術の画像処理装置を用いた撮像装置の動作を例示しており、ステップＳＴ１，２，１２〜１５の処理は、本技術の画像処理装置では必須の処理ではない。

次に、距離情報に基づく歪補正処理について説明する。図６は、円筒面投影法を用いた場合における撮像装置と被写体間の距離を示している。図６の（Ａ）に示すように、固定した位置で撮像装置１０を回転した場合、撮像装置１０と大平面状の被写体６０との間の距離ＬＭは、回転方向すなわちパノラマ画像の生成において切り出した画像を繋ぎ合わせる方向に対して、図６の（Ｂ）に示すように変化する。固定した位置で撮像装置１０を回転するとは、図６の（Ａ）に示すように撮像装置の位置を回転軸とする場合だけでなく、撮像装置を用いて撮像を行うユーザが、固定した位置で体を軸として回転することにより撮像装置が回転する場合も含まれる。

図７は、位置ＰＳ０〜位置ＰＳ１０における撮像装置１０と被写体６０との間の距離ＬＭを例示している。例えば位置ＰＳ１では距離「１０」であり、撮像装置１０の撮像方向が被写体６０の中央側に移動するにつれて距離が短くなり、位置ＰＳ５では距離「５」となる。さらに、撮像装置１０の撮像方向が被写体６０の右側に移動するにつれて距離が長くなり、位置ＰＳ１０では距離「１０」となる。なお、図６〜図８において、Ｄ１〜Ｄ１０は、位置ＰＳ０からの距離を示している。

加工処理部３０は、距離情報に基づき画像の加工を行い、距離情報に基づき画像の縮小または拡大を行い、距離の違いによって生じた画像歪みを補正する。加工処理部３０は、距離情報に基づき画像の縮小を行う場合、最長距離ＬＭ（max）の位置に対する縮小率を「１００％（１倍）」として、距離ＬＭが短くなるに伴い縮小の割合を大きくすることで、距離の違いによって生じた画像歪みを補正する。縮小率ｎは、式（３）に基づいて設定する。
ｎ＝ＬＭ／ＬＭ（max）×１００％ ・・・（３）

図８は、距離情報に基づき画像の縮小を行う場合の縮小率ｎを例示している。位置ＰＳ１は最も離れた距離、すなわち最長距離ＬＭ（max）（＝１０）であることから、縮小率を「１００％（１倍）」とする。また、距離ＬＭが短くなるに伴い縮小の割合を大きくして画像をより小さくする。位置ＰＳ５で距離が最短距離ＬＭ(min)（＝５）となる場合は、縮小率を「ＬＭ（min）／ＬＭ（max）×１００＝５０％」とする。また、距離が長くなるに伴い縮小の割合を小さくして、位置ＰＳ１０で距離が最長距離ＬＭ(max)となる場合は、縮小率を「１００％」とする。

図９は、加工処理部３０で行われる歪補正処理を説明するための図である。加工処理部３０は、距離情報に基づき被写体までの距離に応じて決定した縮小率でパノラマ画像の縮小処理を行い、画像歪みを補正する。例えば、図９の（Ａ）に示すように、パノラマ画像の長手方向に対して直交する方向の画像サイズを「Ｓｈ」とした場合、式（４）の演算を行い、被写体までの距離に応じて画像を縮小して、図９の（Ｂ）に示すように、画像歪みが補正されたパノラマ画像を生成する。
ＳＣｈ＝ｎ×Ｓｈ ・・・（４）

図１０は、加工処理部３０で行われる歪補正処理後の画像加工処理を説明するための図である。加工処理部３０は、画像を縮小して歪補正を行った場合、図１０の（Ａ）に示すように画像情報の無いパディングＰＡ（斜線部）が生じる。したがって、加工処理部３０は、パディングＰＡを所定の画像とする。例えば図１０の（Ｂ）に示すように所定色ＣＰで塗りつぶす。また、加工処理部３０は、パディングＰＡと隣接する領域の画像を加工して、パディングＰＡに貼り付けてもよい。

また、加工処理部３０は、図１０の（Ｃ）に示すように、歪補正後のパノラマ画像からパディングＰＡの領域を除く矩形状の領域ＰＢを切り出して、図１０の（Ｄ）に示すように、パディングを除いたパノラマ画像としてもよい。

さらに、加工処理部３０は、距離情報が最短距離から長くなるに伴い、パノラマ画像の拡大割合を大きくして、歪補正後のパノラマ画像を生成することもできる。この場合、式（３）のＬＭ（max）をＬ（min）とすれば、ｎは拡大率を示すことになる。

なお、被写体までの距離に応じてパノラマ画像の縮小を行う場合、歪補正後のパノラマ画像は、撮像装置１０から離れた部分の画質を維持した画像となる。また、被写体までの距離に応じてパノラマ画像の拡大する場合、歪補正後のパノラマ画像は、撮像装置１０に近い部分の画質を維持した画像となる。

このように、距離情報に応じてパノラマ画像の縮小または拡大が行われて、撮像装置からの距離が一定でないことによって生じる画像歪みが補正される。したがって、被写体画像が歪みを生じていないパノラマ画像を容易に生成できる。

ところで、図５に示す動作は、距離情報を取得してから撮像動作を行うようにしたが、上述のように、位相差画素を有するＣＭＯＳ固体撮像素子を用いれば、撮像画像の画像データを生成しながら距離情報を生成できる。

次に、本技術の画像処理装置を用いた撮像装置の他の動作として、円筒面投影法を用いて複数枚の撮像画像の画像データを生成しながら距離情報を生成する場合について図１１のフローチャートを用いて説明する。

ステップＳＴ２１で撮像装置１０は、ユーザ操作の受け付けを行う。撮像装置１０は、操作部５１で行われたユーザ操作を受け付けてステップＳＴ２２に進む。

ステップＳＴ２２で撮像装置１０は、受け付けたユーザ操作がパノラマ撮像指示であるか判別する。撮像装置１０は、受け付けたユーザ操作がパノラマ撮像指示である場合にはステップＳＴ２３に進む。なお、撮像装置１０は、受け付けたユーザ操作がパノラマ撮像指示でない場合にはステップＳＴ３５に進み、ステップＳＴ３５でユーザ操作に応じた処理を行ってステップＳＴ２１に戻る。

ステップＳＴ２３で撮像装置１０は、撮像画像の生成を行う。撮像装置１０は、１枚の撮像画像を生成してステップＳＴ２４に進む。

ステップＳＴ２４で撮像装置１０は、距離情報の生成を行う。撮像装置１０は、ステップＳＴ２３で撮像された被写体までの距離に応じた距離情報を被写体距離計測部２８で生成してステップＳＴ２４に進む。

ステップＳＴ２５で撮像装置１０は、撮像画像と距離情報を保存する。撮像装置１０は、ステップＳＴ２３で生成した撮像画像の画像データと、ステップＳＴ２４で生成した距離情報を、例えばメモリ部４１に保存してステップＳＴ２６に進む。

ステップＳＴ２６で撮像装置１０は、撮像終了であるか判別する。撮像装置１０は、撮像終了と判別した場合にステップＳＴ２７に進む。また、撮像終了と判別していない場合にはステップＳＴ２３に戻り、撮像装置１０は、回転された位置の撮像画像の生成を新たに行う。撮像装置１０は、例えばユーザによるシャッター終了操作が行われた場合、所定数枚の撮像画像の生成が行われた場合、撮像装置１０の回転動作が終了した場合等に、撮像終了と判別する。なお、固定した位置で撮像装置を回転させて、パノラマ画像の生成に用いる複数枚の撮像画像の画像データを生成することで円筒面投映法を用いて撮像画像の生成を行ったことになる。

ステップＳＴ２７で撮像装置１０は、撮像が成功したか判別する。撮像装置１０は、パノラマ画像の生成に用いる複数枚の撮像画像の生成が成功した場合にステップＳＴ２８に進む。また、複数枚の撮像画像の生成が不成功である場合、例えば撮像装置１０の回転が速すぎて、撮像画像と次の撮像画像を繋ぎ合わせたときに被写体の欠落が生じてしまうような場合や、撮像動作が途中で中断されてしまった場合等ではステップＳＴ３４に進む。

ステップＳＴ２８で撮像装置１０はパノラマ画像の生成を行う。撮像装置１０の合成処理部２９は、複数枚の撮像画像の画像データを用いて、複数枚の撮像画像から画像の切り出しと切り出した画像の繋ぎ合わせを行い、パノラマ画像の画像データを生成する。撮像装置１０は、生成したパノラマ画像の画像データを例えばメモリ部４１に保存してステップＳＴ２９に進む。

ステップＳＴ２９で撮像装置１０は、距離情報に基づく被写体解析処理を行う。撮像装置１０は、保存されている距離情報に基づき、パノラマ画像の被写体が、距離の変化する被写体であるか解析して、ステップＳＴ３０に進む。

ステップＳＴ３０で撮像装置１０は、撮像装置からの距離が変化する被写体であるか判別する。撮像装置１０は、パノラマ画像の被写体が、撮像装置からの距離が変化する被写体である場合にはステップＳＴ３１に進み、撮像装置から一定の距離である場合にはステップＳＴ３２に進む。

ステップＳＴ３１で撮像装置１０は、距離情報に基づく歪補正処理を行う。撮像装置１０の加工処理部３０は、パノラマ画像に対して距離情報に基づき歪補正処理を行いステップＳＴ３２に進む。

ステップＳＴ３２で撮像装置１０は、パディング加工処理を行う。撮像装置１０の加工処理部３０は、距離情報に基づいて歪補正処理を行ったことにより画像情報の無いパディングが生じた場合、パディングを所定の画像に加工してステップＳＴ３３に進む。

ステップＳＴ３３で撮像装置１０は、パノラマ画像を保存する。撮像装置１０は、歪補正やパディング加工処理が行われたパノラマ画像を、例えばメモリ部４１や記録媒体４３に保存する。また、パノラマ画像の保存では、コーデック部によってパノラマ画像の画像データを圧縮符号化してから保存すれば、保存するデータ量を少なくできる。

ステップＳＴ３４で撮像装置１０は、エラー表示を行う。撮像装置１０は、パノラマ画像の生成または距離情報に基づいた歪補正を行うことができないことから、表示部４２でその旨を示すエラー表示を行う。

なお、図１１は、本技術の画像処理装置を用いた撮像装置の動作を例示しており、ステップＳＴ２１，２２，３２〜３５の処理は、本技術の画像処理装置では必須の処理ではない。

このように、撮像画像の生成時に距離情報を生成できることから、撮像装置からの距離が一定でないことによって生じる画像歪みを補正したパノラマ画像を、さらに簡単かつ速やかに生成できる。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。また、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送する。コンピュータは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

また、上述の実施の形態では、歪補正を撮像時に行う場合を例示しているが、パノラマ画像の再生時に、ユーザからの指示で行うようにしてもよい。また、補正前のパノラマ画像と補正後のパノラマ画像を表示部４２に表示して、操作部５１のユーザ操作によって選択されたパノラマ画像の画像データを記録するようにしてもよい。また、補正後のパノラマ画像を表示部４２に表示する機能のみを有する構成であってもよい。さらに、メモリ部４１や記録媒体４３には、補正前のパノラマ画像と補正後のパノラマ画像の画像データを記録してもよい。

また、距離情報と画像信号を別個に記録してもよく、画像信号のファイルに距離情報を含めるようにしてもよい。例えばＥｘｉｆファイルのタグに距離情報を含めてもよい。

さらに、上述の実施の形態では、撮像装置に画像処理装置を適用した場合を示したが、撮像装置と信号処理装置が別個に構成されてもよい。すなわち、撮像装置は、円筒面投影法を用いた複数枚の撮像画像の生成と、被写体までの距離に応じた距離情報の生成を行う。また、画像処理装置では、撮像装置で生成された撮像画像の画王データと距離情報を用いてパノラマ画像の生成と歪補正を行う。

本技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本技術は以下のような構成も取ることができる。
（１） 複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせて合成画像を生成する合成処理部と、
被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて前記パノラマ画像の加工を行い、前記被写体までの距離の違いによって生じた前記パノラマ画像における前記被写体の画像歪みを補正する加工処理部と
を備える画像処理装置。
（２） 前記複数枚の撮像画像は、円筒面投影法を用いて撮像を行うことにより生成された画像である（１）に記載の画像処理装置。
（３） 前記複数位置は、前記切り出した画像を繋ぎ合わせる方向の複数位置である（１）または（２）に記載の画像処理装置。
（４） 前記加工処理部は、前記距離情報に基づき前記被写体までの距離に応じて前記パノラマ画像の縮小または拡大を行うことにより、前記画像歪みを補正する（１）乃至（３）の何れかに記載の画像処理装置。
（５） 前記加工処理部は、前記距離情報が最長距離から短くなるに伴い、前記パノラマ画像の縮小割合を大きくする（４）記載の画像処理装置。
（６） 前記加工処理部は、前記パノラマ画像を縮小することによって生じた画像情報の無い領域を、所定の画像とする（４）または（５）に記載の画像処理装置。
（７） 前記加工処理部は、前記縮小後のパノラマ画像から、前記パノラマ画像を縮小することによって生じた画像情報の無い領域を除いて、矩形状に画像の切り出しを行う（４）または（５）に記載の画像処理装置。
（８） 前記加工処理部は、前記距離情報が最短距離から長くなるに伴い、前記パノラマ画像の拡大割合を大きくする（４）記載の画像処理装置。
（９） 画像表示を行う表示部を有し、
前記表示部に前記パノラマ画像と前記歪補正後のパノラマ画像を表示して、何れかのパノラマ画像を選択可能とする（１）乃至（８）の何れかに記載の画像処理装置。

この技術の信号処理装置と信号処理方法およびプログラムでは、複数枚の撮像画像から画像の切り出しが行われて、切り出した画像を繋ぎ合わせてパノラマ画像が生成される。また、被写体までの距離を該被写体における複数位置で計測した距離情報に基づいてパノラマ画像の加工が行われて、距離の違いによって生じたパノラマ画像における被写体の画像歪みが補正される。このため、撮像装置からの距離が一定でないことによって生じる画像歪みが補正された広画角のパノラマ画像を容易に生成できることから、撮像装置や撮像画像の加工編集を行う編集装置等に適している。

１０，９０・・・撮像装置、１１・・・撮像レンズ部、１２・・・撮像素子、１２ｆ・・・ＡＦ（AutoFocus）画素対、１２ｆ−ａ・・・第１ＡＦ画素、１２ｆ−ｂ・・・第２ＡＦ画素、１３・・・撮像素子駆動部、１４・・・前処理部、２０・・・ＤＳＰ（Digital Signal Processor）部、２１・・・カメラ信号処理部、２２・・・メモリ制御部、２３・・・レンズ制御部、２４・・・解像度変換部、２５・・・表示制御部、２６・・・コーデック部、２７・・・メディア制御部、２８・・・被写体距離計測部、２９・・・合成処理部、３０・・・加工処理部、３１・・・内部バス、４１・・・メモリ部、４２・・・表示部、４３・・・記録媒体、５０・・・システム制御部、５１・・・操作部、６０，９１，９２・・・被写体、９１ｐ，９２ｐ・・・被写体画像、９３・・・円筒面、９４・・・第１撮像画像、９５・・・第２撮像画像、９６・・・平面

Claims (11)

1. 複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせてパノラマ画像を生成する合成処理部と、
   被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて前記パノラマ画像の加工を行い、前記被写体までの距離の違いによって生じた前記パノラマ画像における前記被写体の画像歪みを補正する加工処理部と
   を備える画像処理装置。
2. 前記複数枚の撮像画像は、円筒面投影法を用いて撮像を行うことにより生成された画像である請求項１記載の画像処理装置。
3. 前記複数位置は、前記切り出した画像を繋ぎ合わせる方向の複数位置である請求項１記載の画像処理装置。
4. 前記加工処理部は、前記距離情報に基づき前記被写体までの距離に応じて前記パノラマ画像の縮小または拡大を行うことにより、前記画像歪みを補正する請求項１記載の画像処理装置。
5. 前記加工処理部は、前記距離情報が最長距離から短くなるに伴い、前記パノラマ画像の縮小割合を大きくする請求項４記載の画像処理装置。
6. 前記加工処理部は、前記パノラマ画像を縮小することによって生じた画像情報の無い領域を、所定の画像とする請求項５記載の画像処理装置。
7. 前記加工処理部は、前記縮小後のパノラマ画像から、前記パノラマ画像を縮小することによって生じた画像情報の無い領域を除いて、矩形状に画像の切り出しを行う請求項５記載の画像処理装置。
8. 前記加工処理部は、前記距離情報が最短距離から長くなるに伴い、前記パノラマ画像の拡大割合を大きくする請求項４記載の画像処理装置。
9. 画像表示を行う表示部を有し、
   前記表示部に前記パノラマ画像と前記歪補正後のパノラマ画像を表示して、何れかのパノラマ画像を選択可能とする請求項１記載の画像処理装置。
10. 複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせてパノラマ画像を生成する工程と、
    被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて前記パノラマ画像の加工を行い、前記被写体までの距離の違いによって生じた前記パノラマ画像における前記被写体の画像歪みを補正する工程と
    を含む画像処理方法。
11. 複数枚の撮像画像から広画角のパノラマ画像を生成する画像処理をコンピュータで実行させるプログラムであって、
    複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせてパノラマ画像を生成する手順と、
    被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて前記パノラマ画像の加工を行い、前記被写体までの距離の違いによって生じた前記パノラマ画像における前記被写体の画像歪みを補正する手順と
    を前記コンピュータで実行させるプログラム。

Images