JP2011114496A - 撮像装置 - Google Patents

Abstract

【課題】傾斜した状態で全方位を撮像した場合であっても見にくさを解消した表示を行うことができる撮像装置を提供する。
【解決手段】一つの軸の周りの全周にわたる視野領域を撮像して該視野領域の画像を全方位画像データとして生成する全方位撮像部と、前記軸の鉛直方向に対する傾斜角を検出する傾斜角検出部と、前記傾斜角検出部の検出結果に基づいて、前記全方位撮像部が生成した全方位画像データから切り出す切り出し領域を設定するために必要な補正量を算出する補正量算出部と、前記補正量算出部が算出した補正量に応じて前記切り出し領域を設定する領域設定部と、前記領域設定部が設定した切り出し領域の少なくとも一部を、矩形状の表示領域を有する画像データに変換することによって変換画像データを生成する画像変換部と、前記画像変換部が生成した変換画像データを表示する表示部と、を備える。
【選択図】図３

Description

本発明は、被写体を撮像してこの被写体の画像データを生成する撮像装置に関する。

近年、デジタルカメラやデジタルビデオカメラなどの撮像装置においては、被写体を撮像した画像データに画像処理を施すことによって、消費者の様々な要望に応える技術が開示されている。たとえば、撮像装置の前方方向における被写体を含む視野領域だけでなく、この撮像装置を中心軸に複数の視野領域を撮像した画像データをそれぞれ組み合わせることによって全方位撮影（水平画角３６０度）を可能にする技術が知られている（特許文献１参照）。

特開２００６−１８００２２号公報

しかしながら、上述した従来技術は、撮像装置の周囲の状況をパノラマ式に撮像するのが主目的であるため、光学系の光軸が鉛直方向と平行な状態で使用することが多く、傾斜させて撮影することは考慮されていなかった。このため、撮像装置を傾斜させると、画像の傾斜や歪みが無視できなくなり、見にくい画像が撮像されてしまっていた。

本発明は、上記に鑑みてなされたものであって、傾斜した状態で全方位を撮像した場合であっても見にくさを解消した表示を行うことができる撮像装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、一つの軸の周りの全周にわたる視野領域を撮像して該視野領域の画像を全方位画像データとして生成する全方位撮像部と、前記軸の鉛直方向に対する傾斜角を検出する傾斜角検出部と、前記傾斜角検出部の検出結果に基づいて、前記全方位撮像部が生成した全方位画像データから切り出す切り出し領域を設定するために必要な補正量を算出する補正量算出部と、前記補正量算出部が算出した補正量に応じて前記切り出し領域を設定する領域設定部と、前記領域設定部が設定した切り出し領域の少なくとも一部を、矩形状の表示領域を有する画像データに変換することによって変換画像データを生成する画像変換部と、前記画像変換部が生成した変換画像データを表示する表示部と、を備えたことを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記表示部は、前記領域設定部によって設定された前記切り出し領域に前記全方位撮像部が撮像していない未撮像領域が含まれる場合、該未撮像領域を画像がない状態で表示することを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記全方位画像データは円環状をなすことを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記切り出し領域は、当該撮像装置の傾斜角が０度である場合の撮像面の中心から傾斜角に応じて離れた位置を重心とし、この重心と傾斜角が０度である場合の中心とを結ぶ方向の長さよりも、該方向と直交する方向の最大長さのほうが大きい楕円環状をなすことを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記画像変換部は、前記領域設定部が設定した切り出し領域の水平面に対する仰角が０度の方向を直線に変換することを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記変換画像データは、撮像面の中心に近い領域ほど表示領域の面積が大きいことを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記変換画像データは、撮像面の中心に近い領域ほど表示領域の面積が小さいことを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記表示部は、前記変換画像データをスクロール表示することを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記補正量は、前記傾斜角検出部が検出した傾斜角に比例することを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記全方位撮像部が有する光学系は、水平方向の画像が円形に結像する状態を基準状態としたとき、前記基準状態にて仰角と像高がほぼ比例関係となる結像を示すことを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記軸と直交する光軸を有し、該光軸を中心として互いに直交する二つの方向の画角がそれぞれ１８０度より小さい視野領域を撮像し、該視野領域の画像を領域画像データとして生成する撮像部と、前記撮像部が生成した領域画像データと前記画像変換部が生成した変換画像データとを合成することによって合成画像データを生成する画像合成部と、を備え、前記表示部は、前記合成画像データを表示することを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記画像変換部は、前記全方位撮像部の視野領域のうち前記撮像部の視野領域と重複する領域を変換対象から除外することを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記画像合成部は、前記全方位画像データと前記領域画像データを上下に並べて配置することを特徴とする。

本発明によれば、全方位撮像部の光軸の鉛直方向に対する傾斜角を検出し、この傾斜角の検出結果に基づいて、全方位画像データから切り出す切り出し領域を設定するための補正量を算出し、この補正量に応じて設定された切り出し領域を矩形状の表示領域を有する画像データに変換して表示するため、傾斜角に応じた画像データの補正を行うことができる。したがって、傾斜した状態で全方位を撮像した場合であっても見にくさを解消した表示を行うことが可能となる。

図１は、本発明の実施の形態１に係る撮像装置の前面側の構成を示す斜視図である。 図２は、本発明の実施の形態１に係る撮像装置の背面側の構成を示す斜視図である。 図３は、本発明の実施の形態１に係る撮像装置の機能構成を示すブロック図である。 図４は、本発明の実施の形態１に係る撮像装置が備える全方位撮像部の構成を示す模式図である。 図５は、本発明の実施の形態１に係る撮像装置が備える加速度検出部の構成を模式的に示す図である。 図６は、本発明の実施の形態１に係る撮像装置が備える加速度検出部の一部をなす加速度センサの構成を示す図である。 図７は、本発明の実施の形態１に係る撮像装置の姿勢が変化する状況を示す図である。 図８は、加速度検出部が検出する加速度を模試的に示す図である。 図９は、本発明の実施の形態１に係る撮像装置を用いて撮影を行う際の周囲の状況を示す図である。 図１０は、図９に示す状況を水平方向から見た図である。 図１１は、図９に示す状況下で撮像部が生成する領域画像データを示す図である。 図１２は、図９に示す状況下で全方位撮像部が生成する全方位画像データを示す図である。 図１３は、図９に示す状況下で画像変換部が行う処理の概要を示す図である。 図１４は、図９に示す状況下で画像合成部が行う処理の概要を示す図である。 図１５は、本発明の実施の形態１に係る撮像装置を用いて撮影を行う際の周囲の状況（第２例）を示す図である。 図１６は、図１５に示す状況を水平方向から見た図である。 図１７は、図１５に示す状況下で全方位撮像部が生成する全方位画像データを示す図である。 図１８は、等距離射影方式の概要を示す図である。 図１９は、図１５に示す状況下で画像変換部が行う処理の概要を示す図である。 図２０は、図１５に示す状況下で画像合成部が行う処理の概要を示す図である。 図２１は、本発明の実施の形態１に係る撮像装置が行う処理の概要を示すフローチャートである。 図２２は、本発明の実施の形態２に係る撮像装置の機能構成を示すブロック図である。 図２３は、本発明の実施の形態２に係る撮像装置の領域設定部が行う切り出し領域設定処理の概要を示す図である。 図２４は、本発明の実施の形態２に係る撮像装置が傾斜した場合に、等距離射影方式に基いた画像の切り出し領域の変化を示す図である。 図２５は、正距方位図法を用いて切り出し領域を説明するための図である。 図２６は、本発明の実施の形態２に係る撮像装置が切り出し領域を変換して変換画像データを生成する処理の概要を示す図である。 図２７は、本発明の実施の形態２に係る撮像装置が変換画像データの一部のみを表示部で表示させながらスクロールする状況を示す図である。 図２８は、本発明の実施の形態２に係る撮像装置が切り出し領域を変換して生成した変換画像データの表示領域（第２例）を示す図である。 図２９は、本発明の実施の形態２に係る撮像装置が切り出し領域を変換して生成した変換画像データの表示領域（第３例）を示す図である。

以下に、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、図面の記載において、同一の部分には同一の符号を付している。

（実施の形態１）
図１は、本発明の実施の形態１に係る撮像装置の前面側の構成を示す斜視図である。図２は、本実施の形態１に係る撮像装置の背面側の構成を示す斜視図である。図３は、本実施の形態１に係る撮像装置の機能構成を示すブロック図である。

図１〜図３に示す撮像装置１は、互いに直交する二つの方向の画角がそれぞれ１８０度より小さい視野領域を撮像して該視野領域の画像を領域画像データとして生成する撮像部２と、撮像部２の光軸Ｐと直交する軸（光軸）Ｏの周りの全周にわたる視野領域を撮像して該視野領域の画像を全方位画像データとして生成する全方位撮像部３と、撮像部２および全方位撮像部３がそれぞれ生成した領域画像データおよび全方位画像データに対してエッジ強調、色補正、画像圧縮等の画像処理を施す画像処理部４と、撮像装置１の各種操作信号の入力を受け付ける操作入力部５と、撮影日時の判定機能やタイマー機能を有する時計６と、撮像装置１の加速度を検出する加速度検出部７と、加速度検出部７の検出結果に応じて、全方位撮像部３の光軸Ｏの鉛直方向からの傾斜角を検出する傾斜角検出部８と、画像処理部４によって処理が施された領域画像データおよび全方位画像データを含む各種情報を記憶する記憶部９と、画像処理部４で処理が施された画像データに対応する画像を含む情報を表示する表示部１０と、操作入力部５によって入力される操作信号等に応じて撮像装置１の動作を制御する制御部１１と、を備える。

撮像部２は、一または複数のレンズによって構成され、所定の視野領域からの光を集光する光学系と、光学系が集光した光の入射量を調整する絞りと、レリーズ信号の入力に応じて動作するシャッタと、絞りおよびシャッタを透過した光を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）等の撮像素子と、撮像素子から出力されるアナログ信号に増幅やホワイトバランス等の信号処理を施した後、Ａ／Ｄ変換を行うことによってデジタルの領域画像データを生成する信号処理回路と、を有する。

全方位撮像部３は、撮像部２と同様に、光学系と、絞りと、シャッタと、ＣＣＤと、信号処理回路とを有する。図４は、全方位撮像部３の光学系の構成を示す模式図である。図４に示す光学系３０は、光軸Ｏを中心軸として回転対称な形状をなしており、光軸Ｏの周りの全方位（水平画角３６０度）を視野領域として光を集光する軸対称自由曲面レンズ３１と、軸対称自由曲面レンズ３１に凹面を向けた正メニスカスレンズ３２と、両凸正レンズ３３および軸対称自由曲面レンズ３１に凹面を向けた負メニスカスレンズ３４からなる接合レンズ３５と、両凸正レンズ３６および両凹負レンズ３７からなる接合レンズ３８と、を有する。軸対称自由曲面レンズ３１は、屈折率が１より大きい樹脂等の透明媒体によって形成され、遠方からの光束が入射する第１透過面３１ａと、第１透過面３１ａから入射した光束が入射して反射する第１反射面３１ｂと、第１反射面３１ｂで反射された光束が入射する第２反射面３１ｃと、第２反射面３１ｃで反射された光束が入射する第２透過面３１ｄとを有する。

以上の構成を有する全方位撮像部３は、光軸Ｏの周りの全周にわたる視野領域から光を集光し、この集光した光を光電変換した後、所定の信号処理を施してＡ／Ｄ変換することにより、円環状をなす画像を全方位画像データとして生成する。なお、全方位撮像部３の構成は、たとえば特開２００６−２４３６８９号公報に開示されている。

画像処理部４は、傾斜角検出部８の検出結果に基づいて、全方位撮像部３が生成した全方位画像データから切り出す切り出し領域を設定する領域設定部４１と、領域設定部４１が設定した切り出し領域の少なくとも一部を、矩形状の表示領域を有する画像データに変換することによって変換画像データを生成する画像変換部４２と、画像変換部４２が生成した変換画像データと撮像部２が生成した領域画像データとを合成することによって合成画像データを生成する画像合成部４３と、全方位撮像部３が生成した全方位画像データに含まれる人物の顔をパターンマッチング等の手法によって検出する顔検出部４４と、を有する。

操作入力部５は、レリーズ信号を入力するレリーズスイッチ５１と、撮像装置１の電源オンや電源オフの指示信号を入力する電源スイッチ５２と、表示部１０で表示する各種表示モードや各種動作モードの切替を行う切替スイッチ５３と、を有する。なお、操作入力部５の一部として表示部１０にタッチパネルを設けることによって、撮影者が表示部１０の画面上で操作信号の入力を行うことができるようにしてもよい。

図５は、加速度検出部７の構成を模式的に示す図である。図５に示すように、加速度検出部７は、検出方向が互いに直交する三つの加速度センサ７１を有する。図６は、加速度センサ７１の構成を示す図である。図６に示す加速度センサ７１は、ＭＥＭＳ（Micro Electro Mechanical Systems）プロセスによって形成された静電容量型の加速度センサである。加速度センサ７１は、直方体状のチップ７２の主面の四隅付近に端部が固定された状態で架橋された梁構造を有する金属製の可動部７３と、チップ７２の主面であって可動部７３の端部が固定された主面上に設けられた金属製の二つの平板部７４と、を有する。可動部７３は、チップ７２の主面の同じ方向に沿ってそれぞれ帯状に延在し、両端部が固定された二つの延在部７３ａと、二つの延在部７３ａの中央部同士を延在部７３ａが延びる方向と直交する方向に沿って連結する帯状の連結部７３ｂと、連結部７３ｂの中央部から延在部７３ａが延びる方向と平行に帯状に突出する突出部７３ｃと、を有する。

以上の構成を有する加速度センサ７１は、図６の左右方向（矢印方向）の加速度が加わると、可動部７３が延在部７３ａの端部を除いて左右方向に撓んで変形するため、突出部７３ｃと平板部７４との位置関係が変化して静電容量が変化する。加速度センサ７１は、この静電容量の変化に基づく信号の変化を出力する。なお、加速度検出部７は、手ブレの判定やこの判定に基づく補正を行う際に用いることもできる。

記憶部９は、撮像部２および全方位撮像部３が撮影し、画像処理部４によって処理が施された領域画像データおよび全方位画像データを記憶する画像データ記憶部９１と、顔検出部４４による顔画像の検出等を行う際に参照する顔画像情報を記憶する顔画像情報記憶部９２と、撮像装置１が実行する各種プログラムを記憶するプログラム記憶部９３と、を有する。記憶部９は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＲＡＭ（Random Access Memory）等の半導体メモリを用いて実現される。なお、記憶部９に対し、外部から装着されるメモリカード等の記憶媒体に対して情報を記憶する一方、記憶媒体が記憶する情報を読み出す記録媒体インターフェースとしての機能を具備させてもよい。

表示部１０は、撮像部２の光学系が表出する前面の裏側に位置する背面に設けられ、液晶、プラズマまたは有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて実現される。表示部１０は、領域画像データ、全方位画像データおよび合成画像データのほか、撮像装置１の操作情報や操作に関する情報を表示することが可能である。

制御部１１は、傾斜角検出部８の検出結果に基づいて、全方位撮像部３が生成した全方位画像データから切り出す切り出し領域を設定するために必要な補正量を算出する補正量算出部１１１を有する。制御部１１は、ＣＰＵ（Central Processing Unit）等を用いて実現され、撮像装置１の各構成部位とバスラインを介して接続されている。

ここで、加速度検出部７による撮像装置１の傾きの検出を説明する。図７は、撮像装置１の姿勢が変化する状況を示す図である。具体的には、撮影者が撮像部２の光軸Ｐを水平方向（ｚ軸方向）に対して斜め下向きに傾斜させた状況を示している。

図８は、図７に示すように撮像装置１の姿勢が変化した場合に加速度検出部７が検出する重力加速度の大きさの時間変化を示す図である。図８において、曲線Ｌｙは、撮像装置１のｙ軸方向（鉛直方向）の重力加速度の大きさの時間変化を示す。また、曲線Ｌｚは、撮像装置１のｚ軸方向（水平方向）の重力加速度の大きさの時間変化を示す。図８では、横軸が時間であり、縦軸が重力加速度の大きさである。図７に示すような撮像装置１の姿勢に伴って、撮像装置１に加わる重力加速度は、ｚ軸方向の成分が増加するとともに、ｙ軸方向の成分が減少する。なお、この場合に重力加速度のｘ軸方向の成分は、ほぼゼロのまま変化しない。加速度検出部７が、図８に示すような重力加速度の時間変化を検出した場合、傾斜角検出部８は、重力加速度の成分の比に基いて撮像装置１における光軸Ｏの鉛直面Ｖに対する傾斜角Δθを検出する。以下、撮像装置における光軸Ｏの鉛直面Ｖに対する傾斜角のことを、単に「撮像装置１の傾斜角」という。図８に示す場合、重力加速度のｙ軸方向とｚ軸方向の成分は等しいので、傾斜角Δθは４５度と検出される。

次に、撮像装置１が行う撮影処理について説明する。図９は、撮像装置１を用いて撮影処理を行う際の周囲の状況を示す図である。図１０は、図９に示す状況を水平方向から見た図である。これらの図に示す場合、全方位撮像部３の光軸Ｏは鉛直方向と平行である。

図９および図１０に示す場合、撮像装置１の周囲には、被写体Ａ１（赤ちゃん）、Ａ２（お母さん）、Ａ３（お父さん）の３人の被写体が存在している。３人の被写体Ａ１〜Ａ３は、ほぼ同じ高さに顔が位置している。撮影者は被写体Ａ３であり、撮像部２の被写体は被写体Ａ１である。この状況下で被写体Ａ３が撮像部２および全方位撮像部３による同時撮影を行うと、撮像部２が被写体Ａ１を撮影するとともに、全方位撮像部３が被写体Ａ１〜Ａ３を含む撮像装置１の周囲を全周にわたって撮影する。

図１１は、撮像部２が生成した領域画像データを示す図である。図１１に示す領域画像データＷ１は、被写体Ａ１およびその周辺領域を視野領域として撮像されたものである。

図１２は、全方位撮像部３が生成した全方位画像データを示す図である。この図は、撮像面上の像を撮像素子の裏側から見た図である。図１２に示す全方位画像データＷ２は、円環状をなす表示領域に被写体Ａ１〜Ａ３が撮影されている。３人の被写体Ａ１〜Ａ３の顔の中心軸は円環の中心を通過しており、その中心に近い方が鉛直上方に対応している。撮像装置１の正面側に位置する被写体Ａ１は、円環の中心の下方に位置している。撮像装置１の背面側に位置する被写体Ａ３は、円環の中心の上方に位置している。被写体Ａ２は被写体Ａ１の斜め右上方に位置している。

ここで、撮像装置１が領域画像データＷ１と全方位画像データＷ２とを用いて行う処理の概要を説明する。まず、補正量算出部１１１は、全方位画像データＷ２から切り出す切り出し領域を設定するために必要な補正量を算出する。図９に示す状況下では、全方位撮像部３の光軸Ｏが鉛直方向と平行であり、撮像装置１は傾斜していない。このような場合、補正量算出部１１１が算出する補正量はゼロとなる。

続いて、領域設定部４１が、変換対象として切り出すべき切り出し領域を設定する。図１３は、図９に示す状況下で領域設定部４１および画像変換部４２が行う処理の概要を示す図である。図１３において、領域設定部４１は、全方位画像データＷ２から、領域画像データＷ１における視野領域と重複する領域を変換対象から除外した後、残りの領域から顔検出部４４が検出した人物の顔が全て含まれる最大領域を抽出し、この抽出した領域に応じた境界Ｂを設けることによって切り出し領域Ｄを設定する（図１３（ａ））。

その後、画像変換部４２は、切り出し領域Ｄを、矩形状をなす領域に変換することによって矩形状をなす変換画像データＷ３を生成する（図１３（ｂ））。なお、領域設定部４１による切り出し領域の設定方法は適宜変更することが可能である。

図１４は、画像合成部４３が、図９に示す状況下で撮影された画像データに基づいて行う処理の概要を示す図である。より具体的には、図１４は、画像合成部４３が、図９に示す状況下で、撮像部２によって生成された領域画像データＷ１と画像変換部４２によって生成された変換画像データＷ３とを合成して合成画像データを生成する処理の概要を示す図である。画像合成部４３は、図１４（ａ）に示す領域画像データＷ１および変換画像データＷ３を、縦横比を保持しながらそれぞれ縮小し、縮小後の領域画像データＷ１の上部に縮小後の変換画像データＷ３を配置することによって合成画像データＷ４を生成する（図１４（ｂ））。なお、領域画像データＷ１の表示領域の縦の長さと変換画像データＷ３の表示領域の縦の長さとの比は、切替スイッチ５３からの入力によって適宜設定することができるようにしてもよい。この場合には、変換画像データＷ３で横方向に画面からはみ出す部分が生じることもあるので、例えば変換画像データＷ３における表示領域を操作入力部５によって選択できるようにすればより好ましい。また、画像合成部４３が、変換画像データＷ３を領域画像データＷ１の下部に配置するようにしてもよい。

図１５は、撮像装置１を用いて撮影を行う際の周囲の状況（第２例）を示す図である。図１６は、図１５に示す状況を水平方向から見た図である。図１５および図１６に示す場合、３人の被写体Ａ１〜Ａ３のうち、被写体Ａ１だけ鉛直方向の顔の位置が異なっており、視線も斜め上方を向いている。このため、撮影者である被写体Ａ３は、撮像装置１を被写体Ａ１の体勢に合わせて斜め下方へ傾斜させている。この場合、全方位撮像部３の光軸Ｏは、鉛直面Ｖと交わっており、傾斜角はΔθである。なお、撮像部２が生成する領域画像データは、図１１に示す領域画像データＷ１と同じであるとする。

図１７は、図１５に示す状況下で被写体Ａ３が撮像部２および全方位撮像部３による同時撮影を行った場合に全方位撮像部３が生成した全方位画像データを示す図である。図１７に示す全方位画像データＷ５は、図１１に示す全方位画像データＷ２と同様、円環状をなす表示領域に被写体Ａ１〜Ａ３が撮影されている。ただし、図１５に示す状況下では、全方位撮像部３の光軸Ｏが、鉛直方向を向いている被写体Ａ２の顔の中心軸とねじれの位置にあるため、全方位画像データＷ５では、被写体Ａ２の顔の中心軸が円環の径方向に対して傾斜している。加えて、図１５に示す状況下では、被写体Ａ３の顔の中心軸が全方位撮像部３の光軸Ｏと交わっており、かつ被写体Ａ３の顔の位置が全方位撮像部３から遠ざかっているため、被写体Ａ３の顔は中心から遠ざかり、横に伸びた像となる。

ここで、撮像装置１が領域画像データＷ１と全方位画像データＷ５とを用いて行う処理の概要を説明する。まず、補正量算出部１１１は、全方位画像データＷ５から切り出す切り出し領域を設定するために必要な補正量を算出する。図１５に示す状況下では、撮像装置１の傾斜角がΔθである。ここで、全方位撮像部が等距離射影方式の光学系の場合について、補正量Δｒの導き方を説明する。図１８は、等距離射影方式の概要を示す図である。図１８（ａ）は撮像面の中心から伸びた垂線に対して瞳中心に入射する入射光線と同じ側に結像するタイプを想定し、図１８（ｂ）は撮像面の中心から伸びた垂線に対して入射光線とは逆側に結像するタイプの光学系を想定している。図１８（ａ）や図１８（ｂ）のような等距離射影方式の光学系では、光線の入射する角度と画面中央からの距離である像高とが比例する。このため、例えば天頂をゼロとした時の入射角がそれぞれθ、２θである光線（天球の点Ｐ₁、Ｐ₂を通過）の射影位置に関し、図１８（ａ）における射影位置Ｑ₁、Ｑ₂の像高ｒ₁、ｒ₂は、ｒ₂＝２ｒ₁の関係を満たし、図１８（ｂ）における射影位置Ｑ'₁、Ｑ'₂の像高ｒ'₁、ｒ'₂は、ｒ'₁＝２ｒ'₂を満たす。したがって、例えば入射角が±９０度の範囲を直径２Ｒの円に射影する場合、補正量算出部１１１は、撮像装置１が光軸Ｏが鉛直方向を向いている状態からΔθだけ傾斜したときの表示領域の変化量Δｒを、
Δｒ＝Δθ×Ｒ／９０ （１）
によって算出する。

図１９は、図１５に示す状況下で撮影された全方位画像データＷ５に対して行う処理の概要を示す図である。まず、領域設定部４１は、補正量算出部１１１が算出した補正量Δｒだけ円環を傾斜方向とは反対側へシフトさせた仮想的な円環を設定する（図１９（ａ）の破線で表示。なお、シフトさせる方向は、図１８（ａ）のタイプの光学系と図１８（ｂ）のタイプの光学系では異なり、図１８（ｂ）のタイプの光学系の場合は、傾斜方向と同じ側に円環をシフトさせる）。続いて、領域設定部４１が設定した仮想的な円環から領域画像データＷ１における視野領域と重複する領域を変換対象から除外する。この後、残りの領域のうち顔検出部４４が検出した人物の顔が全て含まれる最大領域を抽出し、この抽出した領域に応じた境界Ｂ₁を設けることによって切り出し領域Ｄ₁を設定する（図１９（ａ））。

その後、画像変換部４２は、切り出し領域Ｄ₁を、矩形状をなす領域に変換することによって変換画像データＷ６を生成する（図１９（ｂ））。この際、画像変換部４２は、切り出し領域Ｄ₁のうち、全方位撮像部３によって撮像されていない未撮像領域Ｓ₁を黒塗りすることにより、未撮像領域Ｓ₁に画像を表示させない。このようにして生成される変換画像データＷ６は、被写体Ａ２、Ａ３の顔の傾斜が解消している。なお、画像変換部４２が変換対象とする領域については、操作入力部５の操作によって設定することができる構成としてもよい。

図２０は、図１５に示す状況下で画像合成部４３が行う処理の概要を示す図である。より具体的には、図２０は、画像合成部４３が、図１５に示す状況下で、撮像部２によって生成された領域画像データＷ１と画像変換部４２によって生成された変換画像データＷ６とを合成して合成画像データを生成する処理の概要を示す図である。画像合成部４３は、図２０（ａ）に示す領域画像データＷ１および変換画像データＷ６を、縦横比を保持しながらそれぞれ縮小し、縮小後の領域画像データＷ１の上部に縮小後の変換画像データＷ６を配置することによって合成画像データＷ７を生成する（図２０（ｂ））。

このような画像合成を行うことにより、撮像装置１の姿勢変化に起因して全方位撮像部３が撮像する被写体の画像が変形した場合であっても、被写体の左右方向の傾きを正常な状態に変換して表示することができる。

図２１は、撮像装置１が行う処理の概要を示すフローチャートである。図２１において、制御部１１は、電源スイッチ５２が操作されて撮像装置１が電源オンの状態であるか否かを判断する（ステップＳ１０１）。撮像装置１が電源オンの状態でない場合（ステップＳ１０１：Ｎｏ）、撮像装置１は処理を終了する。一方、撮像装置１が電源オンの状態である場合（ステップＳ１０１：Ｙｅｓ）、撮像装置１はステップＳ１０２へ移行する。

その後、制御部１１は、撮影モードまたは再生モードが設定されているか否かを判断する（ステップＳ１０２）。撮影モードが設定されている場合（ステップＳ１０２：撮影モード）、撮像装置１はステップＳ１０３へ移行する。一方、再生モードが設定されている場合（ステップＳ１０２：再生モード）、撮像装置１はステップＳ１２０へ移行する。

ステップＳ１０３において、制御部１１は、撮影モードのうち単独表示モードまたは合成表示モードが設定されているか否かを判断する。単独表示モードが設定されている場合（ステップＳ１０３：単独表示モード）、撮像装置１はステップＳ１０４へ移行する。一方、合成表示モードが設定されている場合（ステップＳ１０３：合成表示モード）、撮像装置１はステップＳ１０９へ移行する。

まず、撮像装置１が単独表示モードが設定されている場合（ステップＳ１０３：単独表示モード）を説明する。この場合、表示が選択されている画像データを生成する撮像部のみが起動して画像データを生成する（ステップＳ１０４）。すなわち、撮像部２が撮像する領域画像データの表示が選択されている場合には、撮像部２が領域画像データを生成する。これに対し、全方位撮像部３が撮像する全方位画像データの表示が選択されている場合には、全方位撮像部３が全方位画像データを生成する。

その後、表示部１０は、ステップＳ１０４で生成された画像データのスルー画を表示する（ステップＳ１０５）。ここで表示するスルー画は、撮像部２が生成した画像データである場合には、たとえば図１１に示す領域画像データＷ１である。また、全方位撮像部３が生成した画像データである場合には、たとえば図１２に示す全方位画像データＷ２を矩形状をなす表示部１０に埋め込んで表示したものである。

続いて、制御部１１は、レリーズスイッチ５１の操作によってレリーズ信号が入力されたか否かを判断する（ステップＳ１０６）。レリーズ信号が入力されていない場合（ステップＳ１０６：Ｎｏ）、ステップＳ１０５へ移行する。一方、レリーズ信号が入力された場合（ステップＳ１０６：Ｙｅｓ）、撮像装置１はスルー画表示されている画像の撮影を行う（ステップＳ１０７）。

その後、撮像装置１は、撮像部２または全方位撮像部３が撮影し、画像処理部４が画像処理を施した画像の画像データを画像データ記憶部９１に記憶させ（ステップＳ１０８）、ステップＳ１０１へ移行する。

次に、ステップＳ１０３で合成表示モードが設定されている場合（ステップＳ１０３：合成表示モード）を説明する。この場合、撮像部２が領域画像データを生成し（ステップＳ１０９）、全方位撮像部３が全方位画像データを生成する（ステップＳ１１０）。

その後、傾斜角検出部８が、加速度検出部７によって周期的に検出される撮像装置１の重力加速度の大きさの時間変化に基いて、撮像装置１の傾斜角Δθを検出する（ステップＳ１１１）。

続いて、補正量算出部１１１は、傾斜角検出部８が検出した傾斜角Δθに応じた補正量Δｒを算出する（ステップＳ１１２）。

その後、領域設定部４１は、補正量算出部１１１が算出した補正量Δｒに応じて切り出し領域を設定する（ステップＳ１１３）。続いて、画像変換部４２は、領域設定部４１が設定した切り出し領域を矩形状をなす領域に変換することによって変換画像データを生成する（ステップＳ１１４）。ステップＳ１１３〜Ｓ１１４の処理は、たとえば図１３や図１９を参照して説明した処理に対応している。

続いて、画像合成部４３は、画像変換部４２が生成した変換画像データと撮像部２が生成した領域画像データを合成することによって合成画像データを生成する（ステップＳ１１５）。ステップＳ１１５の処理は、たとえば図１４や図２０を参照して説明した処理に対応している。

その後、表示部１０は、画像合成部４３が生成した合成画像データのスルー画を表示する（ステップＳ１１６）。

制御部１１は、レリーズスイッチ５１の操作によってレリーズ信号が入力されたか否かを判断する（ステップＳ１１７）。ここで、レリーズ信号が入力されていない場合（ステップＳ１１７：Ｎｏ）、撮像装置１はステップＳ１１６へ戻る。一方、レリーズ信号が入力された場合（ステップＳ１１７：Ｙｅｓ）、撮像装置１は、撮像部２および全方位撮像部３による撮影を行う（ステップＳ１１８）。

その後、撮像装置１は、撮像部２および全方位撮像部３がそれぞれ生成した領域画像データおよび全方位画像データを画像データ記憶部９１に記憶させ（ステップＳ１１９）、ステップＳ１０１へ移行する。

次に、ステップＳ１０２において、撮像装置１が再生モードに設定されている場合（ステップＳ１０２：再生モード）を説明する。この場合、制御部１１は、操作入力部５から再生指示信号が入力されたか否かを判断する（ステップＳ１２０）。再生指示信号が入力されていない場合（ステップＳ１２０：Ｎｏ）、撮像装置１はステップＳ１０１へ移行する。一方、再生指示信号が入力された場合（ステップＳ１２０：Ｙｅｓ）、表示部１０は、画像データ記憶部９１が記憶する画像データから指定された画像データを再生表示する（ステップＳ１２１）。

その後、制御部１１は、切替スイッチ５３の操作によって表示部１０が表示する画像データを切り替えさせる切替信号が入力されたか否かを判断する（ステップＳ１２２）。切替信号が入力されてない場合（ステップＳ１２２：Ｎｏ）、撮像装置１はステップＳ１０１へ移行する。一方、切替信号が入力された場合（ステップＳ１２２：Ｙｅｓ）、表示部１０は、表示する画像データの切り替えを行い（ステップＳ１２３）、ステップＳ１２２へ戻る。

以上説明した本発明の実施の形態１によれば、全方位撮像部の光軸の鉛直方向に対する傾斜角を検出し、この傾斜角の検出結果に基づいて、全方位画像データから切り出す切り出し領域を設定するための補正量を算出し、この補正量に応じて設定された切り出し領域を矩形状の表示領域を有する画像データに変換して表示するため、傾斜角に応じた画像データの補正を行うことができる。したがって、傾斜した状態で全方位を撮像した場合であっても見にくさを解消した表示を行うことが可能となる。

なお、本実施の形態１において、単独表示モードに設定されている場合にも、画像変換部４２が変換画像データを生成し、この生成した変換画像データを表示部１０で表示するようにしてもよい。

（実施の形態２）
図２２は、本発明の実施の形態２に係る撮像装置の機能構成を示すブロック図である。同図に示す撮像装置２１は、記憶部２２を除いて撮像装置１と同様の構成を有する。記憶部２２は、画像データ記憶部９１、顔画像情報記憶部９２、プログラム記憶部９３に加えて、切り出し領域から変換画像データを生成する際の画素間の座標変換情報を記憶する座標変換情報記憶部２２１を有する。

座標変換情報記憶部２２１は、撮像装置１の傾斜角Δθに応じて生成される切り出し領域と、この切り出し領域を変換することによって得られる矩形状の表示領域との間の画素の関係を記憶している。なお、座標変換情報記憶部２２１は、切り出し領域と矩形状の表示領域の全ての画素間の関係を記憶していなくてもよく、代表的な画素間の関係を記憶していればよい。

図２３は、本実施の形態２に係る撮像装置２１の領域設定部４１が行う切り出し領域設定処理の概要を示す図である。図２３に示すように、領域設定部４１は、補正量算出部１１１が算出した補正量Δｒに基づいて、全方位画像データＷ５の表示領域である円環から仮想的な楕円環を設定する。ここでいう楕円は、数学的な意味での厳密な楕円に限られるわけではなく、円を押しつぶしたような形を有する図形を意味する。なお、最良な楕円環の形状は使用する光学系に依存する。続いて、領域設定部４１が設定した仮想的な楕円環から領域画像データＷ１における視野領域と重複する領域を変換対象から除外する。この後、残りの領域のうち顔検出部４４が検出した人物の顔が全て含まれる最大領域を抽出し、この抽出した領域に応じた境界Ｂ₂を設けることによって切り出し領域Ｄ₂を設定する。

その後、画像変換部４２は、切り出し領域Ｄ₂を、座標変換情報記憶部２２１が記憶する座標変換情報を参照して矩形状をなす領域に変換することにより、変換画像データを生成する。この際、画像変換部４２は、切り出し領域Ｄ₂のうち、全方位撮像部３によって撮像されていない未撮像領域Ｓ₂を黒塗りする。これにより、表示部１０が変換画像データを表示する際、未撮像領域Ｓ₂に画像が表示されない。なお、全方位画像データＷ５から得られる変換画像データは、図１９（ｂ）に示す変換画像データＷ６と同様である。また、変換画像データと領域画像データとを用いて生成される合成画像データについても、図２０（ｂ）に示す合成画像データＷ７と同様である。ただし、本実施の形態２では、切り出し領域を楕円環の一部としているため、傾斜角Δθが大きい場合であっても、変換画像データにおいては歪みが補正された状態で表示されることとなる。

以下、本実施の形態２における切り出し領域の設定方法について、より詳細に説明する。図２４は、撮像装置２１が傾斜した場合に、等距離射影方式に基づいた光学系による画像の切り出し領域の変化を示す図である。図２４においては、一例として、傾斜角Δθが３５度であり、傾斜によって生じる画像重心の移動方向が紙面の上方であるとして説明する。

まず、全方位撮像部３の光学系３０の光軸Ｏが鉛直方向と平行である場合、水平方向からの仰角が０度の方向すなわち水平方向の画像は、撮像面の中心Ｏを中心とする半径ｒの円Ｃ₁となる。また、水平方向からの仰角が４０度の方向の画像は、撮像面の中心Ｏを中心とする半径（（９０−４０）／９０）・ｒの円Ｃ₂となる。また、水平方向からの仰角が−２０度の方向の画像は、撮像面の中心Ｏを中心とする半径（（９０＋２０）／９０）・ｒの円Ｃ₃となる。

ここで、撮像装置２１が傾斜した場合、水平方向の画像は、円Ｃ₁から図の左右方向に歪んだ楕円Ｅ₁となる。同様に、円Ｃ_2--、Ｃ₃にそれぞれ対応する画像も、楕円Ｅ₂、Ｅ₃となる。ここでいう楕円も、数学的な意味での厳密な楕円に限られるわけではなく、円を押しつぶしたような形を有する図形を意味する。撮像面の中心Ｏを通過し、紙面の上下の方向に対する移動量Δｒは、上記式（１）と同様であり、（Δθ／９０）・ｒ＝（３５／９０）・ｒである。これに対し、紙面の左右方向に対しては左右の中心位置は変化しないが、画像は傾斜角に応じて移動する。図２４では、代表的な６点における移動方向と移動量を６つの矢印で示している。このうち、水平方向の画像において撮像面の中心Ｏを通過し、前後方向（図の上下方向）の中心の位置（点Ａ₁、点Ａ₂）は、撮像装置２１の傾斜によって補正量Δｒだけ移動する（点Ａ₁→点Ａ₃、点Ａ₂→点Ａ₄）。また、水平方向の画像における左右中心の位置（点Ａ₅，点Ａ₆）は、撮像装置２１の傾斜によって変化しない。また、水平方向からの仰角が４０度の方向の画像における左右の中心の位置（点Ａ₇、点Ａ₈）は、補正量Δｒより小さく、画像重心の移動方向からそれぞれ左右にそれて移動する（点Ａ₇→点Ａ₉、点Ａ₈→点Ａ₁₀）。また、水平方向からの仰角が−２０度の方向の画像における左右中心の位置（点Ａ₁₁、点Ａ₁₂）は、傾斜によって生じる画像重心の移動方向と略反対方向に移動する（点Ａ₁₁→点Ａ₁₃、点Ａ₁₂→点Ａ₁₄）。

ここで前提としている等距離射影方式による仰角と水平方向の回転角との関係は、世界地図などに適用される正距方位図法の緯度と経度との関係に一致する。図２５は、正距方位図法の図を元に切り出し領域の例を説明する図である。より具体的には、図２５は、世界地図の正距方位図法において、北極点を３５度傾けた場合の切り出し領域を示す図である。図２５に示す切り出し領域は、水平方向に対する仰角が−２０度〜４０度の範囲を切り出している。なお、切り出し領域の目盛は、水平面での回転角と仰角をそれぞれ２０度単位で表示している。図２５においては、地面に対して水平方向となる仰角０度が赤道に対応する一方、仰角９０度が北極点に対応する。

図２６は、上記のごとく切り出された切り出し領域を変換して変換画像データを生成する場合の画像変換処理の概要を示す図である。より具体的には、図２６は、図１５、図１６に示す状況と同様の状況下で、撮像装置２１の傾斜角Δθが３５度である場合の画像変換処理の概要を示す図である。この場合、領域設定部４１は、水平方向に対する仰角が−２０度〜４０度の範囲で切り出し領域を設定する。画像変換部４２は、座標変換情報記憶部２２１が記憶する座標変換情報を参照し、切り出し領域から開いて矩形状の表示領域Ｄ₄を形成し、切り出し領域Ｄ₃における各画素の画素値を表示領域Ｄ₄で対応する画素の画素値とすることによって変換画像データを生成する。なお、光学系３０を介して撮像素子に結像される画像を変換する場合には、図２６における切り出し領域Ｄ₃を紙面の反対側から見た像が結像されるため（図２３を参照）、画像変換部４２は、使用する光学系によっては切り出し領域の裏表を逆にする変換も行う必要がある。また、図２３に示すように、楕円環の一部を切り出してから変換画像データを生成することも勿論可能である。

図２３に示す場合には、切り出し領域が楕円環の一部であったが、図２６に示すように、切り出し領域の全体を変換して変換画像データを生成した場合、横長の画像になってしまい、表示部１０で全画像データを表示するには小さすぎることもある。そこで、変換画像データを合成して表示する場合には、図２７に示すように、表示部１０で変換画像データを適宜スクロールさせるように表示させることも可能である。この際、上記実施の形態１と同様に、未撮像領域は画像を表示せずに黒塗りにして表示する。その結果、傾斜角Δθが大きい場合であっても歪みを補正して表示することが可能となる。なお、図２７では、表示部分の水平方向の画角を１２０度としているが、他の角度に設定することも可能である。

以上説明した本発明の実施の形態２によれば、上記実施の形態１と同様、傾斜した状態で全方位を撮像した場合であっても見にくさを解消した表示を行うことができる。

また、本実施の形態２によれば、傾斜角に応じて画像の切り出し領域の形状を楕円環状とし、この切り出し領域を変換することによって変換画像データを生成しているため、傾斜角が大きくても歪みを補正した変換画像データを得ることができる。

なお、変換画像データとして、図２８および図２９に示すように、切り出し領域Ｄ₃から、仰角が０度の部分を直線に変換する一方、画像の上端および下端は、仰角が０度の表示に対して長くなるように座標変換してもよい。このうち、図２８に示す表示領域Ｄ₅では、経度が撮像装置２１の撮像面の中心の経度（０度）から遠ざかるほど表示領域の面積が大きくなる。これに対し、図２９に示す表示領域Ｄ₆では、経度が撮像装置２１の撮像面の中心の経度（０度）から遠ざかるほど表示領域の面積が小さくなる。このような座標変換を行うことにより、一段と立体感のある変換画像データを生成することができる。

ここまで、本発明を実施するための形態を説明してきたが、本発明は、上述した二つの実施の形態によってのみ限定されるべきものではない。例えば、傾斜角Δθの値が所定の閾値Θより小さい場合には実施の形態１の処理を行う一方、閾値Θ以上である場合には実施の形態２の処理を行うようにしてもよい。これにより、傾斜角Δθが小さい領域では、計算の負荷をかけずに済む一方、傾斜角Δθが大きい領域では、歪みを補正して変換画像データを生成することができる。閾値Θの値は、例えば１０度程度が想定される。

また、本発明において、等距離射影方式を前提として切り出し領域を設定する必要はない。例えば、水平方向は等距離射影方式と同じだが、鉛直方向に関しては、各点の間隔の関係を保持したまま射影する方式としてもよい。この場合でも、撮像装置２１の傾斜に従って像重心が移動し、重心の移動方向と垂直な左右方向は像が傾くので、像歪みの傾向は等距離射影方式を適用した場合と類似する。また、この場合には、等距離射影方式のように、仰角が大きくなるにつれて受光面積の差が大きくなることがない。したがって、明るさの偏りの補正や解像の偏りを小さくしやすくなるという利点がある。

なお、本発明において、全方位撮像部が有する光学系の射影方式は上記に限られるわけではない。例えば、本発明に係る撮像装置に対して魚眼レンズを適用することも可能である。

１，２１ 撮像装置
２ 撮像部
３ 全方位撮像部
４ 画像処理部
５ 操作入力部
６ 時計
７ 加速度検出部
８ 傾斜角判定部
９，２２ 記憶部
１０ 表示部
１１ 制御部
３０ 光学系
３１ 軸対称自由曲面レンズ
３２ 正メニスカスレンズ
３３，３６ 両凸正レンズ
３４ 負メニスカスレンズ
３５，３８ 接合レンズ
３７ 両凹負レンズ
４１ 領域設定部
４２ 画像変換部
４３ 画像合成部
４４ 顔検出部
５１ レリーズスイッチ
５２ 電源スイッチ
５３ 切替スイッチ
７１ 加速度センサ
７２ チップ
７３ 可動部
７４ 平板部
９１ 画像データ記憶部
９２ 顔画像情報記憶部
９３ プログラム記憶部
Ａ１，Ａ２，Ａ３ 被写体
Ｗ１ 領域画像データ
Ｗ２，Ｗ５ 全方位画像データ
Ｗ３，Ｗ６ 変換画像データ
Ｗ４，Ｗ７ 合成画像データ

Claims (13)

1. 一つの軸の周りの全周にわたる視野領域を撮像して該視野領域の画像を全方位画像データとして生成する全方位撮像部と、
   前記軸の鉛直方向に対する傾斜角を検出する傾斜角検出部と、
   前記傾斜角検出部の検出結果に基づいて、前記全方位撮像部が生成した全方位画像データから切り出す切り出し領域を設定するために必要な補正量を算出する補正量算出部と、
   前記補正量算出部が算出した補正量に応じて前記切り出し領域を設定する領域設定部と、
   前記領域設定部が設定した切り出し領域の少なくとも一部を、矩形状の表示領域を有する画像データに変換することによって変換画像データを生成する画像変換部と、
   前記画像変換部が生成した変換画像データを表示する表示部と、
   を備えたことを特徴とする撮像装置。
2. 前記表示部は、
   前記領域設定部によって設定された前記切り出し領域に前記全方位撮像部が撮像していない未撮像領域が含まれる場合、該未撮像領域を画像がない状態で表示することを特徴とする請求項１に記載の撮像装置。
3. 前記全方位画像データは円環状をなすことを特徴とする請求項１または２に記載の撮像装置。
4. 前記切り出し領域は、
   当該撮像装置の傾斜角が０度である場合の撮像面の中心から傾斜角に応じて離れた位置を重心とし、この重心と傾斜角が０度である場合の中心とを結ぶ方向の長さよりも、該方向と直交する方向の最大長さのほうが大きい楕円環状をなすことを特徴とする請求項１〜３のいずれか一項に記載の撮像装置。
5. 前記画像変換部は、
   前記領域設定部が設定した前記切り出し領域の水平面に対する仰角が０度の方向を直線に変換することを特徴とする請求項４に記載の撮像装置。
6. 前記変換画像データは、
   撮像面の中心に近い領域ほど表示領域の面積が大きいことを特徴とする請求項５に記載の撮像装置。
7. 前記変換画像データは、
   撮像面の中心に近い領域ほど表示領域の面積が小さいことを特徴とする請求項５に記載の撮像装置。
8. 前記表示部は、
   前記変換画像データをスクロール表示することを特徴とする請求項１〜７のいずれか一項に記載の撮像装置。
9. 前記補正量は、前記傾斜角検出部が検出した傾斜角に比例することを特徴とする請求項１〜８のいずれか一項に記載の撮像装置。
10. 前記全方位撮像部が有する光学系は、
    水平方向の画像が円形に結像する状態を基準状態としたとき、前記基準状態にて仰角と像高がほぼ比例関係となる結像を示すことを特徴とする請求項１〜８のいずれか一項に記載の撮像装置。
11. 前記軸と直交する光軸を有し、該光軸を中心として互いに直交する二つの方向の画角がそれぞれ１８０度より小さい視野領域を撮像し、該視野領域の画像を領域画像データとして生成する撮像部と、
    前記撮像部が生成した領域画像データと前記画像変換部が生成した変換画像データとを合成することによって合成画像データを生成する画像合成部と、
    を備え、
    前記表示部は、
    前記合成画像データを表示することを特徴とする請求項１〜１０のいずれか一項に記載の撮像装置。
12. 前記画像変換部は、
    前記全方位撮像部の視野領域のうち前記撮像部の視野領域と重複する領域を変換対象から除外することを特徴とする請求項１１に記載の撮像装置。
13. 前記画像合成部は、
    前記全方位画像データと前記領域画像データを上下に並べて配置することを特徴とする請求項１１または１２に記載の撮像装置。

Images