JP2016103806A - 撮像装置、画像処理装置、撮像システム、画像処理方法およびプログラム - Google Patents

Abstract

【課題】 撮影者の像を除去するのに好適な全天球画像をユーザに提供する。【解決手段】 全天球画像を生成するための複数の画像を同時に撮像する撮像装置が、前記撮像装置が撮像した撮像画像又は前記撮像画像から生成された生成画像において、前記撮像装置を支持する支持体の像が所定の範囲に存在するかどうかを判定する判定手段と、前記判定手段による判定結果に基づいて、前記撮像装置が撮像を行う視点の位置を変更するためのガイド情報をユーザに通知する通知手段とを有する。【選択図】 図９

Description

本発明は、全天球画像を生成するための画像処理に関する。

全天球（全周囲）撮像装置とは、なるべく死角なく、撮像装置を中心とした３６０度全方向の画像を撮像する撮像装置である。近年、そのような全天球撮像装置で撮像した全天球画像を、インターネットのソーシャル・ネットワーキング・サービスなどを通じて、不特定多数の人に向けて公開する行為が広く行われるようになってきた。ただし、不特定多数の人に画像を公開する際には、個人を特定され得る情報が画像に含まれないよう必要に応じてプライバシー対策を行うことが望まれる。しかし、全天球撮像装置にはほぼ死角がないという特性上、全天球撮像装置で撮像された全天球画像には、撮影者が写り込んでしまう。特許文献１では、撮像装置の上下を除く周囲３６０度の画像を撮像する全方位カメラを用いた場合に、撮影者が撮像装置を頭上に持ち上げて撮像することで、撮影者が写りこまないように画像を撮影することが開示されている。また、特許文献２では、全天球画像から撮影者の像を検出し、検出した撮影者の像に対し、塗りつぶしやぼかしなどの秘匿処理を行う画像処理装置が開示されている。

特開２００３−２４４５１１号公報 特開２０１３−１９８０６２号公報

しかしながら、上下方向の像を含む全天球画像を撮像する場合には、特許文献１に記載のように撮像装置を頭上に持ち上げて撮像したとしても撮影者が写り込んでしまう。また、特許文献２に記載の技術を用いた場合には、撮影者が誰なのかを判別不能にすることはできるが、撮影者自体の像は残ってしまうため、特に風景などを主の被写体とした画像を撮影したい場合に、撮影者の像が邪魔になってしまうという課題が存在した。そこで、本発明は、撮影者の像を除去するのに好適な画像を撮像する補助を行うことを目的としている。

上記課題を解決するために、本発明に係る撮像装置は、全天球画像を生成するための複数の画像を同時に撮像する撮像装置であって、前記撮像装置が撮像した撮像画像又は前記撮像画像から生成された生成画像において、前記撮像装置を支持する支持体の像が所定の範囲に存在するかどうかを判定する判定手段と、前記判定手段による判定結果に基づいて、前記撮像装置が撮像を行う視点の位置を変更するためのガイド情報をユーザに通知する通知手段とを有する。

本発明によれば、撮影者の像を除去するのに好適な画像を撮像する補助を行うことができる。

全天球撮像装置の外観の一例を示す図。 実施例１に係る撮像装置の内部構成を示すブロック図。 撮像部の内部構成を示す図。 魚眼レンズの射影関係を説明する図。 全天球画像の形式を説明する図。 全天球画像の例を示す図。 全天球画像の例を示す図。 実施例１に係る画像処理部の構成を示すブロック図。 実施例１に係る画像処理部の処理を示すフローチャート。 領域分割データの例を示す図。 実施例２に係る画像処理部の構成を示すブロック図。 実施例２に係る画像処理部で行われる処理を示すフローチャート。 頭部の検出範囲を示す図。 実施例３の課題を説明する図。 実施例３に係る画像処理部の構成を示すブロック図。 実施例３に係る画像処理部の処理を示すフローチャート。 撮像システムにおける実施形態を説明するブロック図。 全天球撮像装置の変形例を説明する図。

＜実施例１＞
本実施例では、全天球画像から撮影者の像を除去する技術と、撮影者の像の除去を行うために好適な全天球画像をユーザが撮影するための補助を行う技術について述べる。

図１は、本実施例に係る全天球撮像装置の一例の外観を示す図である。撮像装置１００は、１８０度以上の画角を持つ魚眼レンズを搭載し、カラー画像データを取得することができる撮像部１０１〜１０２と、撮像指示を実行するための撮像ボタン１０３を備えている。ユーザが撮像ボタン１０３を押すと、撮像部１０１〜１０２が被写体の光情報をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換され、２数の撮像画像が同時に得られる。この２枚の撮像画像を統合する事で、全天球画像が生成される。なお、ここでは撮像部を２個有する撮像装置を用いるとしたが、撮像装置の形態はこれに限られず、全天球画像を得ることが可能な形態であればどのような形態でも良い。例えば、魚眼レンズではない広角レンズを３つ以上搭載したカメラにおいても、本実施例は適用可能である。図２は、撮像装置１００の内部構成を示すブロック図である。中央処理装置（ＣＰＵ）２０１は、以下に述べる各部を統括的に制御する処理回路である。ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能するメモリである。ＲＯＭ２０３は、ＣＰＵ２０１で実行される制御プログラム等を格納するメモリである。

バス２０４は、各種データの転送経路であり、撮像装置１００の各構成部はバス２０４により互いに接続されている。例えば、撮像部１０１〜１０２によって取得された画像データは、このバス２０４を介して所定の処理部に送られる。操作部２０５はユーザの指示を受け取るためのボタンやダイヤル等のインターフェースである。撮像ボタン１０３はこの操作部２０５に含まれ、ユーザは撮像ボタン１０３を操作することにより撮像部１０１〜１０２による撮像を指示することができる。撮像制御部２０６は、ＣＰＵ２０１からの指示に基づいて撮像部１０１〜１０２の制御を行う処理回路である。操作部２０５から入力された撮像指示は、一旦ＣＰＵ２０１に送られ、ＣＰＵ２０１から撮像制御部２０６に対して撮像指示が送信される。デジタル信号処理部２０７は、バス２０４を介して受け取った画像データに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う処理回路である。

エンコード部２０８は、撮像データをＪＰＥＧなどのファイルフォーマットに変換する処理を行う処理回路である。外部メモリ制御部２０９は、撮像装置１００と、外部メモリ２１１（例えばパーソナルコンピュータ、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ等の記憶媒体）に接続するためのインターフェースである。画像処理部２１０は、撮像部１０１〜１０２で取得した撮像画像、あるいは、デジタル信号処理部２０７から出力される撮像画像を用いて画像合成などの画像処理を行う。全天球画像を生成する処理や、撮影者の像を除去する処理も、画像処理部２１０で行われる。音声再生部２１２は、撮像装置１００が撮影を行う位置を補正するためのガイド情報をユーザに通知するための音声を再生するスピーカーである。姿勢取得部２１３は、ジャイロセンサなどを用いて、カメラの姿勢情報を取得する。取得された姿勢情報は、画像処理部２１０にて全天球画像を生成する際に、その方向を補正するのに用いられる。なお、撮像装置の構成要素は上記以外にも存在するが、本実施例の主眼ではないので、説明を省略する。

図３は、撮像部１０１の内部構成を示す図である。撮像部１０１は、魚眼レンズ３０１、絞り３０２、シャッター３０３、光学ローパスフィルタ３０４、ｉＲカットフィルタ３０５、カラーフィルタ３０６、センサ３０７、及びＡ／Ｄ変換部３０８を有する。センサ３０７は、例えばＣＭＯＳやＣＣＤなどの撮像素子であり、魚眼レンズ３０１でフォーカスされた被写体の光量を検知する。検知された光量はアナログ値としてセンサ３０７から出力され、Ａ／Ｄ変換部３０８によってデジタル値に変換されて、デジタルデータとなってバス２０４に出力される。なお、撮像部１０２は撮像部１０１と同様の構成であるので、説明を省略する。

次に、全天球画像について説明する。図４は、１８０度以上の画角を有する魚眼レンズの射影関係を説明する図である。図４（ａ）は、魚眼レンズ４０１に入射角θで光が入射している様子を示しており、図４（ｂ）は、その光がセンサ４０２のどの部分に結像するかを示している。入射角θと像高ｈとの間には、以下の式で表わされる関係がある。

ｈ＝ｆ（θ）
ここでｆ（θ）は射影関数であり、魚眼レンズの性質によって異なる。

図５は、全天球画像の形式を説明する図である。全天球画像は、各画素と、その画素に対応する光の入射角とが紐づいた画像である。二次元平面に展開した場合には、図５（ａ）のような、各画素に０〜３６０度の水平角度θと、０〜１８０度の垂直角度φが対応した画像になる。角度座標は、球面上の各点と対応付いているため、全天球画像を三次元空間上に表わすと、各角度座標は、図５（ｂ）に示す地球儀の経度緯度座標のようなものとなる。

撮像部１０１〜１０２から入力される撮像画像の各画素と、全天球画像の角度座標とは図４で示した射影関数を用いて対応付けることができる。そして、射影関数で示される関係に基づいて、入力された二枚の撮像画像を同一の角度平面上に射影することにより、統合された全天球画像を生成する事ができる。本実施例で扱う全天球画像の一例を図６（ｂ）に示す。図６（ｂ）は、図６（ａ）のように撮影者６０１が撮像装置１００を頭上に掲げて撮影した画像から生成された全天球画像の一部を示す図である。図６（ｂ）は、本実施例で生成される全天球画像の、９０°≦φ≦１８０°の領域、すなわち撮像装置１００の下側に対応する領域を、角度θｘおよびθｙで定義される新たな角度平面上に投影した画像である。ここで、θｘは、撮像部１０１〜１０２の光軸方向をｘ軸とした時に、図５（ｂ）で表わされる球面上の点と撮像視点である球面中心点との間で形成される線分と、ｘ軸とがなす角を示す値である。また、θｙは、水平面においてｘ軸と直交する軸をｙ軸とした時に、図５（ｂ）で表わされる球面上の点と球面中心点との間で形成される線分と、ｙ軸とがなす角を示す値である。

図６（ｂ）において中心に存在する像が撮影者６０１の像であり、その周囲に存在する灰色の領域が地面に対応する領域である。本実施例の画像処理部２１０は、撮影者の像に対応する領域を、地面に対応するテクスチャを用いて上書きすることにより、図６（ｃ）に示すように撮影者の像の除去を行う。なお、撮影時の撮像装置１００の撮影位置によっては、図６（ｃ）に示すような撮影者の像の除去を行えない場合がある。例えば、図７（ａ）に示すように、撮影者６０１が撮像装置１００を前方に掲げて行った場合には、図７（ｂ）に示すような全天球画像が生成される。この場合には、撮影者６０１の像が単一の種類の地面領域に囲まれず、地面領域の境界を越えてしまっているため、撮影者の領域を地面のテクスチャで穴埋めする処理を行うと、図７（ｃ）に示すように、地面領域の形状が変形してしまう。そこで、本実施例の撮像装置１００では、図６（ｃ）に示すように撮影者の像の除去に好適な画像をユーザが取得できるように、撮像装置１００が撮像を行う視点位置の変更の為のガイド情報をユーザに通知する処理を行う。

以下、本実施例の画像処理部２１０で行われる処理について、図８および図９を参照して説明する。図８は、画像処理部２１０の機能構成を示すブロック図である。撮像装置１００は、ＲＯＭ２０３に格納されたプログラムをＣＰＵ２０１が実行し、画像処理部２１０を図６に示す各ブロックとして制御することで、図９のフローチャートに示す一連の処理を実行する。なお、以下に示す処理の全てが画像処理部２１０によって実行される必要はなく、処理の一部または全部が画像処理部２１０以外の一つ又は複数の処理回路によって行われるように撮像装置１００が構成されていてもよい。

ステップＳ９０１では、取得部８０１が、処理対象となる全天球画像データを取得する。ここでは、全天球画像の取得の方法として、撮像部１０１〜１０２から入力された２枚の撮像画像から上述の方法を用いて全天球画像を生成する方式を採用している。なお、あらかじめ全天球画像として統合された画像データを、ＲＯＭ２０３や外部メモリ２１１から取得する場合にも、本発明は適用可能である。取得部８０１は、取得した全天球画像データを、分割部８０２に出力する。

ステップＳ９０２では、分割部８０２が、取得部８０１から入力された全天球画像データに対して領域分割処理を行う。すなわち、全天球画像データにおいて、地面に対応する領域（地面領域）と撮影者に対応する領域（撮影者領域）とをそれぞれ決定し、各画素に対応する領域をラベリングした領域分割データを判定部８０３に出力する。領域分割データは、対応する領域の違いを画素値の差によって示す画像データでも良いし、各領域に対応する画素位置を格納したテーブルでも良い。

ここでの処理について説明する。まず、分割部８０２は、全天球画像を複数の小ブロックに分割し、周期パターンを持つ画像ブロックを抽出する。本実施例の処理によって撮影者の像が除去可能である、地面が砂利、土、レンガ、アスファルト、大理石、絨毯などである場合では、地面に対応する領域は周期パターンを有するテクスチャ画像となる。そこで、分割部８０２は、周期パターンを有する画像ブロックを抽出することで、地面領域の候補領域を抽出する。周期パターンを有する画像ブロックを検出する方法としては、濃度ヒストグラムを用いる方法や画像中の差分統計量を用いる方法など様々な方法が利用可能であるが、本実施例では、各画像ブロックの二次元フーリエ変換に基づく検出を行う。以下、本実施例での周期パターンの検出方法について説明する。

周期パターンには、レンガや布地、木目などの、周期パターンの方向がはっきりしているものと、土や砂利などの、周期方向ははっきりとしていないが、表れるパターンの大きさが概ね揃っているものとが存在する。分割部８０２は、各画像ブロックＩ（ｕ，ｖ）の二次元フーリエ変換Ｆ（ｕ，ｖ）のパワースペクトルの大きさに基づいて、上記の２種類の周期パターンの少なくとも一方に対応する画像ブロックを、周期パターンを有する画像ブロックとして検出する。

具体的には、前者の周期パターンを検出する方法として、分割部８０２は、Ｆ（ｕ，ｖ）において、原点を通る角度θ（０°≦θ≦１８０°）の直線上に存在する点のパワースペクトルの平均値をθごとに検証する。この平均値の、Ｆ（ｕ，ｖ）全体のパワースペクトルの平均値に対する比率が所定の閾値よりも大きくなるθが存在する場合には、その画像ブロックは周期パターンを有する画像ブロックとして検出される。なお、周期パターンの方向に多少のばらつきがある場合を考慮して、平均値を算出するθに所定の幅を持たせてもよい。

また、後者の周期パターンを検出する方法として、分割部８０２は、Ｆ（ｕ，ｖ）において、原点からの距離ｒがｄ−ｗ≦ｒ≦ｄ＋ｗ（ｄおよびｗは任意の正の値）の範囲に含まれる点のパワースペクトルの平均値をｄごとに検証する。この平均値の、Ｆ（ｕ，ｖ）全体のパワースペクトルの平均値に対する比率が所定の閾値よりも大きくなるｄが存在する場合には、その画像ブロックは周期パターンを有する画像ブロックとして検出される。なお、ここで用いるｗの値は、目的とするシーンに応じて適宜調整して良い。例えば、画像中のパターンの大きさのバラつきが大きいシーンでは、ｗを大きくした方が良い。

以上が本実施例で周期パターンを有する画像ブロックを検出するために行われる処理である。周期パターンを有する画像ブロックが抽出されたあと、分割部８０２は、抽出された画像ブロックに対して、各画像ブロックの平均輝度に基づくクラスタリングを行う。具体的には、抽出された画像ブロック全体の画素の濃度ヒストグラムにおけるピークを検出し、検出された複数のピークの値を初期解として、周期パターンを有する画像ブロックについてｋ−ｍｅａｎｓ法によるクラスタリングを行う。これにより、抽出された周期パターンを有する画像ブロックが、それぞれ同一の種類のテクスチャに対応するものに分類されるため、種類の異なる地面領域を区別することができる。この時、分割部８０２は、分類されたブロック数が所定の閾値よりも小さいクラスタに対応する画像ブロックを、地面ではない被写体に対応するブロックであるとして、地面領域の候補からは除外する。そして、除外されなかった各画像ブロックは、それぞれが対応するクラスタごとに、地面領域１、地面領域２というようにラベリングされる。

次に、撮影者領域の決定について説明する。撮影者領域の候補は、上述の処理において地面領域として抽出されなかった領域である。撮像装置の直下の領域である画像中央部には撮影者の手が写り込むため、画像中央部は必然的に撮影者領域となる。そこで、分割部８０２は、画像中央部に最も近い非地面領域を撮影者領域として設定し、更に、撮影者領域として設定された領域に非地面領域が隣接している場合には、その非地面領域も撮影者領域に追加していくことで、撮影者領域を拡張していく。隣接する非地面領域がなくなったら、分割部８０２は撮影者領域の拡張を終了し、対応する画像領域に撮影者領域としてのラベリングを施す。分割部８０２は、撮影者領域とも地面領域とも決定されなかった画像領域には、その他の領域としてラベリングを施し、全ての画素についての対応領域を示す領域分割データを生成して判定部８０３に出力する。なお、領域分割の方法としては上記に示す方法以外を用いてもよく、例えば領域統合法などの公知の方法を用いてもよい。

ステップＳ９０３では、判定部８０３が、分割部８０２で行われた領域分割の結果に基づいて、地面領域と撮影者領域との間の関係を検証する。図１０にステップＳ９０２で行われた領域分割の結果を示す。図１０（ａ）は図６（ｂ）に対応する領域分割画像、図１０（ｂ）は図７（ｂ）に対応する領域分割画像である。色の異なる領域はそれぞれ異なる領域として判定された領域を示し、黒い領域が撮影者領域、灰色の領域が地面領域に対応している。ここでは、判定部８０３が、撮影者領域の周囲が同じ地面領域に囲まれているかどうかを判定する。判定の方法としては様々な方法を利用することができるが、ここでは、判定部８０３が、分割部８０２から入力された領域分割画像についてエッジ抽出処理を行い、撮影者領域のエッジ部として抽出された画素に隣接する画素が対応する領域を検証する。すなわち、撮影者領域のエッジ部として抽出された画素に隣接する領域（隣接領域）を、その領域の種類ごとにカウントする。

ステップＳ９０４では、判定部８０３が、ステップＳ９０３での検証結果に基づいて、入力された画像データが撮影者の除去処理に適した画像データであるかを判定する。本実施例では、判定部８０３は、隣接領域として検出された領域のなかで最も検出頻度が高い領域に対する、隣接領域として検出されたその他の領域の検出頻度の割合が、所定の閾値を超えるかどうかに基づいて判定を行う。すなわち、この割合が所定の閾値を超えている場合には、撮影者領域が二つ以上の異なる種類の領域に隣接しており、取得された全天球画像が撮影者の除去に適していないことを意味する。撮影者領域が二つ以上の異なる領域に隣接しており、全天球画像が撮影者の除去に適していないと判定された場合には、ステップＳ９０５に進む。撮影者領域が二つ以上の異なる領域に隣接しておらず、単全天球画像が撮影者の除去に適していると判定された場合には、ステップＳ９０６に進む。

ステップＳ９０５では、ガイド部８０４が、ユーザに撮像装置１００の位置を変更するためのガイド情報を通知する為の情報を音声再生部２１２に出力して処理を終了する。ここでのガイド情報の形態はさまざまなものを採用することができるが、本実施例においては、「カメラをもっと上に上げて撮影を行ってください」というようなガイド音声を音声再生部２１２がユーザに対して発信することにより、ガイド情報の通知を行う。

ステップＳ９０６では、テクスチャ取得部８０５が、撮影者領域の上書きに用いるテクスチャ画像を取得する。撮影者領域の上書きに用いるテクスチャ画像としては、撮影者領域に隣接する地面領域のうち、画像中央部に最も近い位置に存在する画像ブロックの画像を取得する。これは、画像中央部に近いほどテクスチャの歪みが小さいためである。そして、テクスチャ取得部８０５は、取得したテクスチャ画像を置換部８０６に出力する。なお、テクスチャ画像の取得方法はこれに限られず、撮影者領域に隣接する地面領域からランダムに画像ブロックを抽出しても良い。また、あらかじめ複数の異なる種類の地面に対応するテクスチャ画像のデータベースをＲＯＭ２０３などに記憶しておき、撮影者領域に隣接する地面領域に最も輝度値が近いテクスチャ画像を用いても良い。また、ステップＳ９０２での処理の際に予め各画像ブロックの周期パターンに対応するθやｄの値を格納しておき、同じ地面領域に対応する全画像ブロック内での平均値に最も近いθやｄの値を有する画像ブロックを用いるようにしてもよい。

ステップＳ９０７では、置換部８０６が、テクスチャ取得部８０５から入力されたテクスチャ画像を撮影者領域に並べることにより、撮影者領域に対応する画素の画素値を置換する。

以上が、本実施例の撮像装置１００で行われる処理である。以上の処理によれば、取得した全天球画像が撮影者の除去に適しない画像である場合に、ユーザに撮像装置の位置の変更を促すことができるので、ユーザは撮影者の除去に適した全天球画像を得られるようになる。また、取得した全天球画像が撮影者の除去に適した画像である場合に、撮影者の像が違和感なく除去された全天球画像を生成することができる。なお、本実施例で処理の対象とする画像は統合された全天球画像である必要はなく、撮影者の像の位置を判定可能な画像であれば、全天球画像の一部であっても、撮像により得られた撮像画像であってもよい。

また、本実施例の処理により除去できる像は、撮影を行う人間の像に限られず、撮像装置１００を支持する支持体の像であれば広く除去することが可能である。例えば、撮像装置１００が駆動可能なロボットアームなどに支持されている場合、そのロボットアームの像を除去するのに用いてもよい。この場合、上記実施例で撮影者領域と記載された領域は、そのまま支持体領域に置き換えることが可能である。

なお、本実施例において、撮像装置１００は、全天球画像を生成するための複数の画像を同時に撮像する撮像装置として機能する。また、本実施例において、判定部８０３は、前記撮像装置が撮像した撮像画像又は前記撮像画像から生成された生成画像において、前記撮像装置を支持する支持体の像が所定の範囲に存在するかどうかを判定する判定手段として機能する。また、音声再生部２１２は、前記判定手段による判定結果に基づいて、前記撮像装置が撮像を行う視点の位置を変更するためのガイド情報をユーザに通知する通知手段として機能する。また、分割部８０２は、前記撮像画像又は前記生成画像において、前記支持体に対応する支持体領域と地面に対応する地面領域とを決定する領域決定手段として機能する。

＜実施例２＞
実施例１では、取得した全天球画像に領域分割処理を施し、撮影者領域が同じ地面領域に囲まれているかどうかに基づいて、その全天球画像が撮影者の除去に適しているかを判定した。本実施例では、実施例１よりも簡略な方法で全天球画像が撮影者の除去に適しているかどうかを判定する例について説明する。

まず、本実施例の画像処理部２１０で行われる処理の概略を、図１３を参照して説明する説明する。本実施例の画像処理部２１０では、画像中の撮影者領域と地面領域とを検出するのではなく、画像中央部の所定の範囲に撮影者の頭部が収まっているかどうかに基づいて、その画像が撮影者の除去に適しているかどうかを判定する。これは、画像中央部の所定の範囲に撮影者の頭部が収まっているということは、撮影者が撮像装置１００を頭上高くに掲げて撮影を行っていることを示し、その場合には撮影者の像が二つ以上の異なる領域に隣接していない可能性が高いという考えに基づく。そこで、本実施例の撮像装置１００は、画像中央部の所定の範囲に撮影者の頭部が収まっている場合には、その全天球画像は撮影者の除去処理に適していると判定する。これにより、ガイド情報を生成するかどうかを判定するために、画像全体の領域分割を行う必要が無くなるため、処理量を削減することが可能となる。

以下、本実施例の画像処理部２１０で行われる処理について、図１１と図１２とを参照して説明する。本実施例の撮像装置１００は、ＲＯＭ２０３に格納されたプログラムをＣＰＵ２０１が実行し、画像処理部２１０を図１１に示す各ブロックとして制御することで、図１２のフローチャートに示す一連の処理を実行する。なお、以下に示す処理の全てが画像処理部２１０によって実行される必要はなく、処理の一部または全部が画像処理部２１０以外の一つ又は複数の処理回路によって行われるように撮像装置１００が構成されていてもよい。実施例１と共通の処理については、図８および図９と同じ符号を付して説明を省略する。

ステップＳ１２０１では、検出部１１０１が、頭部の検出を行う画像領域の範囲を設定する。図１３において、枠１３０１は頭部の検出範囲を示す。検出範囲の大きさは任意に設定可能であるが、あらかじめ撮影者の身長や体重といった撮影者の体型を示す情報を入力しておき、入力された情報から頭部が位置する可能性のある領域を逆算して検出範囲を決定すると、より適切な検出範囲が設定できる。

ステップＳ１２０２では、検出部１１０１が、ステップＳ１２０１で決定した検出範囲の中で、撮影者の頭部の検出処理を行う。頭部の検出処理としては公知の様々な処理を利用可能である。例えば、本実施例では、あらかじめ年齢や人種、髪の色等が異なる複数の頭部パターンをデータベースに格納しており、検出範囲内で頭部パターンとのパターンマッチングを行う方法を用いている。より処理量を削減する方法としては、単純に黒や茶色、灰色等の円形の領域を抽出する方法を用いてもよい。また、複数の頭部パターンを用いて予め学習を行った頭部検出用の回路を利用して頭部の検出を行うようにしてもよい。検出部１１０１は、頭部検出処理の結果を判定部８０３に出力する。

ステップＳ１２０３では、判定部８０３が、その画像が撮影者の除去に適した画像であるかどうかを判定する。検出範囲内で頭部が検出された場合は、その画像が撮影者の除去に適した画像であると判定し、ステップＳ１２０４に進む。検出範囲内で頭部が検出されていない場合には、その画像が撮影者の除去に適した画像ではないと判定し、ステップＳ７０５に進む。

ステップＳ１２０４では、分割部１１０２が取得した全天球画像について領域分割処理を行い、ステップＳ９０６に進む。ここで行われる領域分割の処理は、ステップＳ９０２で行われる処理と同様である。

以上が本実施例の撮像装置１００で行われる処理である。上記の処理によれば、全天球画像が撮影者の除去に適しているかどうかの判定を行うための処理を簡略化することができるので、実施例１に比べてより小さい処理量で全天球画像が撮影者の除去に適しているかどうかの判定を行うことができる。なお、ここで検出される撮影者の特徴は頭部である必要はなく、例えば撮像装置から伸びる腕を検出し、その長さが長い場合には撮影者除去に適しない画像であると判定してもよい。なお、頭部検出の方が処理は容易である。なお、本実施例において、検出部１１０１は前記撮像画像又は前記生成画像内の所定の領域において、頭部を示す特徴量を検出する検出手段として機能する。

＜実施例３＞
実施例２では、画像中央部の小領域中で撮影者の頭部が検出された場合に、その全天球画像が撮影者の除去に適した画像であると判定する例について説明した。しかし、図１４（ａ）に示すように、撮影者が異なる地面領域の境界に立って撮影を行った場合などでは、例え撮像装置１００を頭上に掲げて撮像を行ったとしても、撮影者の除去処理を行った場合に、図１４（ｂ）に示すように地面領域の変形が起こってしまう。本実施例では、この課題を解決するために、撮影者に移動を促すガイド情報を通知する場合について説明する。

以下、本実施例の画像処理部２１０で行われる処理について、図１５と図１６とを参照して説明する。本実施例の撮像装置１００は、ＲＯＭ２０３に格納されたプログラムをＣＰＵ２０１が実行し、画像処理部２１０を図１５に示す各ブロックとして制御することで、図１６のフローチャートに示す一連の処理を実行する。なお、以下に示す処理の全てが画像処理部２１０によって実行される必要はなく、処理の一部または全部が画像処理部２１０以外の一つ又は複数の処理回路によって行われるように撮像装置１００が構成されていてもよい。実施例１および実施例２と共通の処理については、図８、図９、図１１、図１２と同じ符号を付して説明を省略する。

なお、図１５において第一判定部１５０１は後述する第二判定部１５０２との関係上新たな要素名を与えているが、構成自体は実施例２の判定部８０３と同様であり、ステップＳ１２０３の頭部検出処理を行う構成部である。

ステップＳ１６０１では、第二判定部１５０２が、分割部１１０２から入力された領域分割データに基づいて、撮影者領域と地面領域との間の関係を検証する。ここで行われる処理は実施例１のステップＳ９０３で行われる処理と同様である。

ステップＳ１６０２では、第二判定部１５０２が、ステップＳ９０３での検証結果に基づいて、入力された全天球画像データが撮影者の除去処理に適した画像であるかどうかを判定する。判定の基準は、実施例１のステップＳ９０４におけるものと同様である。入力された全天球画像データが撮影者の除去処理に適した画像であると判定された場合は、ステップＳ９０６に進む。入力された全天球画像データが撮影者の除去処理に適した画像ではないと判定された場合はステップＳ１６０３に進む。

ステップＳ１６０３では、決定部１５０３が、撮影者が再撮影を行うために移動すべき方向を決定する。再撮影を行うためには、地面領域が広く広がっている方向に移動することが望ましい。そこで、決定部１５０３では、地面領域として判定された領域のうち、面積（対応する画素数）が最も大きい地面領域に含まれる全画素の画素位置の重心を算出し、その座標に基づいて方向を決定する。すなわち、最も広い地面領域に含まれる全画素の画素位置の重心が、撮影者から見て右方向に存在する場合には、右方向を移動すべき方向として決定する。決定部１５０３は、決定した方向を示す情報をガイド部８０４に出力する。

ステップＳ１６０４では、ガイド部８０４が、決定部１５０３から入力された方向に基づいて、音声再生部２１２にガイド情報を出力して処理を終了する。本実施例では、決定部１５０３から入力された方向が右方向であった場合には、「右方向に移動して再撮影を行ってください」といったような音声を音声再生部２１２が再生できるようにガイド情報を出力する。なお、ガイド情報の通知は音声によって行われる必要はなく、撮像装置１００にディスプレイを設け、ディスプレイにガイド情報を表示することによりユーザに通知してもよい。ただし、音声によるガイド情報の通知を行った場合には、ユーザが撮像装置１００を頭上に掲げていてもガイド情報を認識することができるので、音声による通知の方が望ましい。

以上が本実施例の撮像装置１００で行われる処理である。以上の処理によれば、撮像装置を頭上に掲げて撮影を行うだけでは撮影者の除去に適した全天球画像が取得できない場合にも、撮影者の除去に適した全天球画像が取得できるように、撮像装置の位置を補正するための情報をユーザに通知することができる。なお、本実施例において、決定部１５０３は、前記支持体の像が前記所定の範囲に存在しないとして判定された場合に、前記地面領域の位置に基づいて前記撮像装置を移動させるための方向を決定する方向決定手段として機能する。

＜その他の実施形態＞
本発明の実施形態は上記に挙げた実施例に限られず、様々な形態をとることが可能である。例えば、図１７に示すような撮像装置と画像処理装置とが接続された撮像システムにおいても本発明を適用することが可能である。図１７において、撮像装置１７０１と画像処理装置１７０２は互いに通信部１７０３および通信部１７０４を介して接続されている。撮像装置１７０１と画像処理装置１７０２は、撮像装置１００が有している各構成部をそれぞれに分配したような構成となっており、主要な画像処理は画像処理装置１７０２側で行われる。通信部１７０３と通信部１７０４は共に無線通信モジュールであり、撮像装置１７０１と画像処理装置１７０２との間にＷｉ−Ｆｉ接続やＢｌｏｏｔｏｏｔｈ接続などの無線接続を形成する。撮像装置１７０１は取得した画像データを通信部１７０３から画像処理装置１７０２に出力し、画像処理装置１７０２は通信部１７０４で受信した画像データに対して処理を行う。なお、撮像装置１７０１と画像処理装置１７０２は必ずしも無線通信により接続される必要はなく、ＬＡＮ接続やＵＳＢ接続などの有線通信により接続されてもよい。なお、画像処理装置１７０２は画像や文字などを表示するディスプレイである表示部１７０６と、表示部１７０６を制御する制御回路である表示制御部１７０５を有している。この構成においては、ユーザにガイド情報を通知する方法として、音声の再生のみならず、表示部１７０５へ文字や画像を表示する方法も取ることができる。

また、ユーザがより頭上高くに撮像装置１００を掲げることができるように、撮像装置１００に図１８に示すような握り棒１８０１を設けるようにしてもよい。握り棒１８０１には撮像ボタン１８０２が設けられており、撮像ボタン１８０２による撮像指示が行われた場合には撮影者を除去するモードが実行されるように設定してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

８０１ 取得部
８０２ 分割部
８０３ 判定部
８０４ ガイド部

Claims (20)

1. 全天球画像を生成するための複数の画像を同時に撮像する撮像装置であって、
   前記撮像装置が撮像した撮像画像又は前記撮像画像から生成された生成画像において、前記撮像装置を支持する支持体の像が所定の範囲に存在するかどうかを判定する判定手段と、
   前記判定手段による判定結果に基づいて、前記撮像装置が撮像を行う視点の位置を変更するためのガイド情報をユーザに通知する通知手段とを有することを特徴とする撮像装置。
2. 前記通知手段は、前記判定手段により、前記支持体の像が前記所定の範囲に存在しないと判定された場合に、前記ガイド情報をユーザに通知することを特徴とする請求項１に記載の撮像装置。
3. 前記判定手段は、前記撮像画像又は前記生成画像内の所定の領域において、前記支持体を示す特徴量が検出された場合に、前記支持体の像が前記所定の範囲に存在すると判定することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記撮像画像又は前記生成画像内の所定の領域において、頭部を示す特徴量を検出する検出手段を更に有し、
   前記判定手段は、前記所定の領域において前記頭部を示す特徴量が検出された場合に、前記支持体の像が前記所定の範囲に存在すると判定することを特徴とする請求項３に記載の撮像装置。
5. 前記所定の領域の大きさは、前記頭部を有する人間の体型を示す情報に基づいて決定されることを特徴とする請求項４に記載の撮像装置。
6. 前記撮像画像又は前記生成画像において、前記支持体に対応する支持体領域と地面に対応する地面領域とを決定する領域決定手段を更に有し、
   前記判定手段は、前記支持体領域と前記地面領域との関係に基づいて前記支持体の像が所定の範囲に存在するかどうかを判定することを特徴とする請求項１又は２に記載の撮像装置。
7. 前記領域決定手段は、異なる種類の地面に対応する領域を区別することが可能であり、
   前記判定手段は、前記支持体領域が単一の種類の地面領域に周囲を囲まれている場合に、前記支持体の像が所定の範囲に存在すると判定することを特徴とする請求項６に記載の撮像装置。
8. 前記判定手段は、前記支持体領域が隣接する地面領域のうち、前記支持体領域と隣接している範囲が最も広い第一の地面領域の、前記支持体領域と隣接している範囲が、前記第一の地面領域とは異なる領域の、前記支持体領域と隣接している範囲よりも、所定の閾値を超えて広い場合に、前記支持体領域が単一の種類の地面領域に周囲を囲まれているとして判定することを特徴とする請求項７に記載の撮像装置。
9. 前記領域決定手段は、前記撮像画像または前記生成画像において、地面に対応する地面領域と、地面に対応しない非地面領域とを決定し、前記撮像画像または前記生成画像において、前記撮像装置の直下の点を含む非地面領域を前記支持体領域とすることを特徴とする請求項６乃至８のいずれか一項に記載の撮像装置。
10. 前記領域決定手段は、前記支持体領域に隣接する非地面領域を、前記支持体領域に追加することで前記支持体領域を拡張することを特徴とする請求項９に記載の撮像装置。
11. 前記判定手段により、前記支持体の像が前記所定の範囲に存在しないとして判定された場合に、前記地面領域の位置に基づいて前記撮像装置を移動させるための方向を決定する方向決定手段を更に有し、
    前記通知手段は、前記方向決定手段により決定された方向をユーザに通知することを特徴とする請求項６乃至１０のいずれか一項に記載の撮像装置。
12. 前記方向決定手段は、前記支持体領域に隣接する地面領域のうち、最も面積の広い地面領域の画素位置に基づいて、前記撮像装置を移動させるための方向を決定することを特徴とする請求項１１に記載の撮像装置。
13. 前記方向決定手段は、前記支持体領域に隣接する地面領域のうち、最も面積の広い地面領域に含まれる複数の画素の画素位置の重心が存在する方向を、前記撮像装置を移動させるための方向として決定することを特徴とする請求項１２に記載の撮像装置。
14. 前記通知手段は、前記撮像装置が撮像を行う位置を補正するためのガイド音声を再生することによって、前記ユーザに前記ガイド情報を通知することを特徴とする請求項１乃至１３のいずれか一項に記載の撮像装置。
15. 前記撮像装置は、前記ガイド情報を表示することができる表示手段を更に有し、
    前記通知手段は、前記表示手段に前記ガイド情報を示す画像を表示することにより前記ユーザに前記ガイド情報を通知することを特徴とする請求項１乃至１３のいずれか一項に記載の撮像装置。
16. 前記支持体は、前記撮像装置を操作する人間であることを特徴とする請求項１乃至１５のいずれか一項に記載の撮像装置。
17. 全天球画像を生成するための複数の画像を同時に撮像する撮像装置に接続される画像処理装置であって、
    前記撮像装置が撮像した撮像画像又は前記撮像画像から生成された生成画像において、前記撮像画像を支持する支持体の像が所定の範囲に存在するかどうかを判定する判定手段と、
    前記判定手段による判定結果に基づいて、前記撮像装置が撮像を行う視点の位置を変更するためのガイド情報をユーザに通知する通知手段とを有することを特徴とする画像処理装置。
18. 全天球画像を生成するための複数の画像を同時に撮像する撮像装置と、前記撮像装置に接続された画像処理装置とを含む撮像システムであって、
    前記撮像装置が撮像した撮像画像又は前記撮像画像から生成された生成画像において、前記撮像画像を支持する支持体の像が所定の範囲に存在するかどうかを判定する判定手段と、
    前記判定手段による判定結果に基づいて、前記撮像装置が撮像を行う視点の位置を変更するためのガイド情報をユーザに通知する通知手段とを有することを特徴とする撮像システム。
19. 全天球画像を生成するための複数の画像を同時に撮像する撮像装置により撮像された撮像画像又は前記撮像画像から生成された生成画像を処理する画像処理方法であって、
    前記撮像画像又は前記生成画像において、前記撮像画像を支持する支持体の像が所定の範囲に存在するかどうかを判定する判定工程と、
    前記判定工程における判定結果に基づいて、前記撮像装置が撮像を行う視点の位置を変更するためのガイド情報をユーザに通知する通知工程とを含むことを特徴とする画像処理方法。
20. 一つまたは複数のコンピュータに読み込ませることにより、請求項１９に示す画像処理方法を前記一つまたは複数のコンピュータに実行させるプログラム。

Images