JP2016019251A - 撮像装置 - Google Patents

Abstract

【課題】バリアングルモニタを有するデジタルカメラにおいて全方向撮影を行う場合に、バリアングルモニタの向きによらず、常にライブビュー画像と被写体との関係を容易に把握できるようなカメラを提供する。【解決手段】被写体像を撮影する撮像手段と、３６０度全周の被写体像を円状または環状の全方位画像として撮像手段に入射させる固定あるいは着脱可能な全方位光学系と、全方位光学系を通して撮像手段によって撮像された円状または環状の全方位画像をパノラマ画像に展開するパノラマ展開手段と、可動式モニタと、撮像手段に対する可動式モニタの相対方向を検出する方向検出手段とを有し、円状または環状の全方位画像を撮影するとき、パノラマ展開手段は、方向検出手段が検出する相対方向に応じて、円状または環状の全方位画像をパノラマ展開する際に画像の中心となる方向を決定し、決定した方向が中心となるようにパノラマ展開を行うものであり、可動式モニタはパノラマ展開手段が生成したパノラマ画像を表示すること。【選択図】図１

Description

本発明は、全方位撮影が可能なカメラに関し、特に可動式表示部に被写体を表示することが可能なカメラに関する。

（全方位撮影）
従来より、スチルカメラやビデオカメラで３６０度全方向の被写体を撮影するための、ミラーやレンズを利用した光学系が知られており、監視カメラや会議室中継カメラなどの業務用途やパノラマ画像を楽しむ目的で使用されている。全方位撮影用の光学系が搭載された専用の全方位カメラの他、既存のカメラにアダプタとして装着するものも存在している。

例えば球面ミラーや双曲面ミラーを利用したミラー方式のものは一般に撮影範囲（仰角の範囲）が広いという特長がある。ミラー方式の光学系で撮影した画像のイメージを図２に示す。ミラー方式では中心にカメラ自身が映り込むため、得られる画像は環状となる。この例ではカメラを真上に向けて撮影したものになっており、この場合真上方向が環状画像の外周側、真下方向が中心となる。この画像データをパノラマ展開することで、図３のような全周パノラマ画像が得られ、ユーザが利用可能な形になる。

一方、レンズを利用した光学系で撮影したイメージを図４に示す。一般には全周魚眼レンズなどと呼ばれており、ミラー方式とは異なり、中心部にカメラ自身が映り込むことがないため、円状の画像が得られる。この画像をパノラマ展開したイメージを図５に示す。この例においてもカメラを真上に向けて撮影したものになっているが、真上方向が円状画像の中心に来ているため、ミラー方式とは向きが異なる画像となる。

また、上記２例とは異なる方式を用いたものも存在する（非特許文献１）。また、全方位撮影を行う監視カメラでは、ネットワーク経由でリアルタイムにパノラマ展開した映像を見ることでき、ユーザの指示によってパン・ズーム等の操作を画像処理によって行うシステムが知られている。

（バリアングルモニタ）
また、近年のデジタルカメラやデジタルビデオカメラでは大半の製品が液晶などを用いた表示部を有しており、撮影中は常に被写体像が表示部に表示されるようになっている。このような機能はライブビューと呼ばれ、ユーザはこのライブビュー表示を見ながら構図決めを行うことができる。表示部の中で特に可動式のものはバリアングルモニタと呼ばれており、カメラ本体に対するモニタの向きを自在に変えることができるため、撮影の自由度や利便性が高いという特長がある。

（全方位撮影＋バリアングルモニタ）
さて、バリアングルモニタを有するカメラにおいて、ミラー方式の全方位撮影用アダプタを装着して全方位撮影を行う場合を考えてみる。モニタには環状画像が表示されるが、この画像には全方向の被写体が含まれており、モニタの向きが可変であることも相まって、モニタ内の画像と実際の被写体との対応関係の把握が難しい。これはモニタを見ながら構図決めや水平出しを行う際に問題となる。

特許文献１では全方位撮影した環状画像をパノラマ展開して表示する際、パノラマ展開している方向を表示するシステムについて開示されている。

特開２００６−５０１８５号公報

プレスリリース| 周囲360度の映像を撮影可能なカメラを発売、ソニー株式会社、2003年

しかし、特許文献１においては会議室でカメラが固定された状況を想定しており、バリアングルモニタのようにモニタの向きを自由に変更可能な状況については考慮されていない。

したがって、バリアングルモニタを有し、全方位撮影が可能なカメラにおいて、ユーザがライブビュー表示と実際の被写体との関係を容易に把握することを可能とする撮像装置が求められていた。

前記目的を達成するため、本発明は、バリアングルモニタを有する全方位撮影可能なカメラにおいて、パノラマ展開した画像をライブビューとして表示し、バリアングルモニタの向きに応じてパノラマ展開の方向を設定することで、ユーザが被写体とライブビュー画像の対応関係を容易に把握することが可能になるという考えに基づいてなされたものである。

すなわち、
被写体像を撮影する撮像手段と、
３６０度全周の被写体像を円状または環状の全方位画像として前記撮像手段に入射させる固定あるいは着脱可能な全方位光学系と、
前記全方位光学系を通して前記撮像手段によって撮像された円状または環状の全方位画像をパノラマ画像に展開するパノラマ展開手段と、
可動式モニタと、
前記撮像手段に対する前記可動式モニタの相対方向を検出する方向検出手段と、
を有し、
円状または環状の全方位画像を撮影するとき
前記パノラマ展開手段は
前記方向検出手段が検出する相対方向に応じて
前記円状または環状の全方位画像をパノラマ展開する際に画像の中心となる方向を決定し、
前記決定した方向が中心となるようにパノラマ展開を行うものであり、
前記可動式モニタは前記パノラマ展開手段が生成したパノラマ画像を表示する
ことを特徴とする。

本発明によれば、バリアングルモニタを有するデジタルカメラにおいて全方向撮影を行う場合に、バリアングルモニタの向きによらず、常にライブビュー画像と被写体との関係を容易に把握できるようなカメラを提供することが可能となる。

実施例における構成図である。 ミラー方式の全方位カメラで撮影した画像イメージの図である。 図２で示した画像イメージをパノラマ展開したイメージの図である。 全周魚眼レンズを用いた全方位カメラで撮影した画像イメージの図である。 図４で示した画像イメージをパノラマ展開したイメージの図である。 実施例１から３において、全方位ミラーアダプタ２００の構造を説明する図である。 実施例１から３において、デジタルカメラ１００に全方位ミラーアダプタ２００を装着して全方位撮影を行う場合の設置イメージを示す図である。 実施例において、バリアングルモニタ角度検出部１１０が検出する水平角αおよび仰角βの概念を説明する図である。 実施例において、水平角αに応じてパノラマ展開を行う概念を説明する図である。 実施例２において、バリアングルモニタ１０９にパノラマ展開画像と同時に環状画像を補助的にライブビュー表示したイメージを示す図である。 実施例３において、バリアングルモニタ１０９にパノラマ展開画像と同時に環状画像を補助的にライブビュー表示したイメージを示す図である。 実施例４において、全周魚眼レンズアダプタ３００のイメージを示す図である。 実施例４において、デジタルカメラ１００に全周魚眼レンズアダプタ３００を装着して全方位撮影を行う場合の設置イメージを示す図である。 実施例４において、バリアングルモニタ１０９にパノラマ展開画像と同時に環状画像を補助的にライブビュー表示したイメージを示す図である。 実施例１において、ライブビュー表示における表示制御の流れを説明する図である。

以下、本発明の実施形態について説明する。

［実施例１］
図１は本実施形態が適用されるビデオカメラ１００の構成を示したものである。デジタルカメラ１００は、メモリカード１０７に対して撮影した静止画データを記録することができるものであり、本体に対する向きを自由に変更可能なバリアングルモニタ１０９を有している。また、デジタルカメラ１００は図６に示す全方位ミラーアダプタ２００を装着することで、３６０°全周の画像の環状画像を撮影することが可能である。

デジタルカメラ１００は撮像部１０１、映像信号処理部１０２、データバッファ１０３、ＪＰＥＧ ＣＯＤＥＣ１０４、CPU（中央演算処理装置）１０５、メモリカード I/F １０６、メモリカード１０７、操作部１０８、バリアングルモニタ１０９、バリアングルモニタ角度検出部１１０、ファイル管理部１１１、およびパノラマ展開処理部１１２から成る。

図１において、撮像部１０１は被写体像を捉えて電気信号に変換するものである。映像信号処理部１０２は撮像部１０１で得られた映像信号にA／D変換および適切な画像処理を施すものである。データバッファ１０３は記録時、映像信号処理部にて生成された画像データを格納するものである。ＪＰＥＧコーデック１０４は記録時、データバッファ１０３に格納された画像データに対して圧縮符号化を施しＪＰＥＧ画像データとして出力するものである。ＣＰＵ（中央演算処理装置）１０５はソフトウェアによって各部の動作を制御するものである。

メモリカードI/F１０６は装着されたメモリカード１０７に対して読み書きを行うものであり、メモリカード１０７はデジタルカメラ１００で撮影した画像データを記録するものである。操作部１０８はユーザからの操作を受け付けて、デジタルカメラ１００を操作するためのものである。バリアングルモニタ１０９は液晶画面を有し、撮影時にカメラからのライブビュー画像や撮影情報などを表示する機能を持ち、本体に対する向きをユーザが自由に変更することが可能である。再生時は再生画像を表示するものである。ファイル管理部１１１は記録時、ファイルレベルの書き込みを制御するものである。

パノラマ展開処理部１１２は全方位ミラーアダプタ２００を装着した際に撮影される環状画像をパノラマ展開するものである。

図６に全方位ミラーアダプタ２００の構造を示す。全方位ミラーアダプタ２００はミラー２０１、ミラー支持部２０２、着脱アダプタ２０３からなる。ミラー２０１は３６０度全方向からの被写体像を反射してデジタルカメラ１００の撮像部に入射させるものである。ミラー支持部は透明な円柱形状となっており、ミラー２０１を支持するものである。着脱アダプタ２０３はデジタルカメラ１００に全方位ミラー２００を装着するためのアダプタ部である。全方位ミラー２００をデジタルカメラ１００に装着して撮影している様子を図７に示す。

（撮影時のモニタの表示モードについて）
デジタルカメラ１００は撮影中、ユーザが撮影する瞬間以外でも、常に撮像部１０１によって繰り返し撮像を行い、取得した画像をバリアングルモニタ１０９に表示する機能を持つ（以下、ライブビュー機能と表記する）。ライブビュー機能によって、ユーザは表示された画像を見ながら構図を決め、操作部１０８のシャッターボタン（図示しない）を押下することで所望の被写体像をメモリカード１０７に記録することができる。

デジタルカメラ１００は撮影中にバリアングルモニタ１０９に表示するライブビューの表示モードとして、以下の２つのモードを有しており、ユーザは用途に応じてこれらを使いわけることができる。これらのモードは操作部１０８を操作することで切り替えるようになっている。
１．ノーマル撮影モード
２．全方位撮影モード
ノーマル撮影モードは通常の撮影時に用いるものであり、撮像部１０１から撮りこまれた画像をそのままの形状で表示するものである。全方位撮影モードは全方位ミラーアダプタ２００装着時に用いるものであり、撮影された環状画像をパノラマ画像に変形・展開して表示するものである。

以下では、これらライブビューの表示モード毎の表示処理について説明する。フローチャートを図１５に示す。撮影中は本フローチャートの処理を定期的に繰り返し行う。

まず、ライブビューの表示モードを取得し（図１５Step1）、全方位撮影モードでなければ（同Step2 No）パノラマ展開表示をＯＦＦし（同Step3）カメラ画を変形せずにそのままの形状で表示する。一方、全方位撮影モードであった場合（同Step2 Yes）、バリアングルモニタ角度検出部１１０はビデオカメラ１００本体に対するバリアングルモニタ１０９の相対角度を検出し、検出結果に応じた処理を行う。検出処理の詳細については後述するが、まず仰角αを検出し(同Step4)、この仰角αが±９０度近傍でない場合(同Step5 No)はさらに水平角βを検出し(同Step6)、この水平角βに応じたパノラマ展開を行う(同Step7)。仰角αが±９０度近傍である場合(同 Step5 Yes)はパノラマ展開を行わず環状画像を表示する(同Step3)。

（パノラマ展開処理について）
次に、全方位撮影モードにおけるパノラマ展開処理について説明する。パノラマ展開処理では、バリアングルモニタ角度検出部１１０によってバリアングルモニタ１０９の向きを検出し、その結果に応じたパノラマ展開を行う。

（バリアングルモニタの角度検出について）
まず、バリアングルモニタ角度検出部１１０におけるバリアングルモニタ１０９の角度検出処理について図８を用いて説明する。本処理ではバリアングルモニタ１０９の仰角α、水平角βを取得する。

図８(a)は全方位ミラーアダプタ２００を装着して撮影を行う状況を示している。仰角αおよび水平角βはデジタルカメラ１００本体の光軸方向と光軸に垂直な特定の方向（基準方向Ａと表記する）を基準に定められる。図８(b)に概念図を示す。撮像面に平行な仮想的な平面ｐを考え、この平面とモニタの正対方向Bとがなす角度を仰角αとする。仰角αの値の取りうる範囲は
−９０≦α≦９０（単位：度）
であり、図の光軸矢印の逆方向で−９０度、光軸矢印方向で９０度となる。仰角αが±９０度近傍の場合は水平角βを検出せず、パノラマ展開表示を行わない。±９０度近傍であるというのは、ある値δ（δ≪９０）に対して
９０−｜α｜＜δ
を満たすことである。

一方、水平角βはモニタに正対する視線方向Bをあらわすベクトルの仮想平面内の成分をCとしたときの、基準方向AとCとがなす角度である。この値によって、ユーザがモニタを正面から見た場合に向いている水平方向を環状画像上で特定することができる。

以上の方法によって水平角βが得られると、バリアングルモニタ１０９にパノラマ展開画像を表示する。パノラマ展開画像の中心は方向Cと一致するように展開されるが、これは基準方向Ａから水平角βだけずらした方向となっている。パノラマ展開前の環状画像とパノラマ展開画像との対応関係を図９に示す。全方位ミラーアダプタ２００を装着した撮影ではミラーによって左右が反転した像となっているため、パノラマ展開時に像の反転も行う。

このような処理によって、全方位撮影中にバリアングルモニタ１０９の向きをユーザが変更しても、常にモニタの正面方向が中心となるようにパノラマ展開して表示することができ、被写体と表示画像との対応関係を容易に把握し、構図取りや水平出し作業の負荷を軽減することが可能になる。

［実施例２］（補助表示として環状画像も表示する＆環状画像をミラー反転して表示）
次に本発明における第２の実施例について説明する。第１の実施例との違いはバリアングルモニタ１０９の表示内容のみであるため、第１の実施例との差分についてのみ述べる。

全方位撮影モードにおけるバリアングルモニタ１０９の表示例を図１０に示す。図中下部には第１の実施例と同様にパノラマ展開画像が表示されており、図中上部には補助表示として環状画像が表示される。但し、環状画像はミラーを経由しているため、パノラマ画像と同様に環状画像も反転して表示する。パノラマ展開表示の中心上部には方向表示用の印が付してあり、補助表示の環状画像の対応する位置にも同じ矢印を表示する。バリアングルモニタ１０９の向きが変化すると、パノラマ展開表示の中心方向が変化するが、これに合わせて対応する環状画像の方向表示矢印も移動するように制御する。矢印の位置はバリアングルモニタ角度検出部１１０が取得した水平角αから容易に算出することができる。

このように環状画像とパノラマ展開画像を同時に表示し、両者の対応関係を示すことで被写体と表示画像との対応関係を容易に把握し、構図取りや水平出し作業の負荷を軽減するほか、実際に撮影される環状画像を確認しながらの撮影も可能となる。

［実施例３］（３６０度未満のパノラマ展開の場合）
次に、本発明における第３の実施例について説明する。本実施例と第２の実施例との差異はバリアングルモニタ１０９への表示内容のみであるため、第２の実施例との差分について説明する。全方位撮影モードにおけるバリアングルモニタ１０９の表示例を図１１に示す。本実施例ではパノラマ展開を３６０度全周に亘って行うのではなく、３６０度未満とする点が異なる。本実施例ではバリアングルモニタ１０９に対する補助表示として中心方向を示す方向表示に加えて、パノラマ展開の表示範囲を示す表示を付加している。

このような表示を行うことで、ユーザが両画像の対応関係を把握することが容易になる。

［実施例４］（全周魚眼の場合）
次に、本発明における第４の実施例について説明する。本実施例では第１から第３の実施例とは異なり、全方位ミラーアダプタ２００ではなく、図１２に示す全周魚眼アダプタ３００を装着して全方位撮影を行う点が異なる。本実施例において、パノラマ展開処理部１１２は全周魚眼レンズ３００を装着した際に撮影される円状画像をパノラマ展開するものである。

全周魚眼レンズアダプタ３００をデジタルカメラ１００に装着した例を図１３に示す。以下、第２の実施例との差分についてのみ説明する。

全周魚眼レンズアダプタ３００を装着して撮影した画像は、全方位ミラーアダプタ２００の場合と異なり、環状ではなく円状の画像となる。また、ミラーを経由しないため左右反転も生じない。

全方位撮影モード時において、仰角αが±９０度近傍ではない場合のバリアングルモニタ１０９の表示例を図１４に示す。図中下部にはパノラマ展開画像、画面上部には補助表示として円状画像が表示されている。第２の実施例と異なり、これらの画像は反転処理を施さずに表示する。方向表示については第２の実施例と同様である。

以上のようにすることによって、全周魚眼レンズを装着して全方位撮影を行うシステムにおいて、被写体と表示画像との対応関係を容易に把握し、構図取りや水平出し作業の負荷を軽減するほか、実際に撮影される環状画像を確認しながらの撮影も可能となる。

本発明提案書においては、ライブビューの表示モードをユーザが直接指定する方法を例に挙げて説明したが、デジタルカメラ１００が装着されたレンズやアダプタの種類を検出し、検出結果に応じて自動的に表示モードを切り替えるように構成してもよい。

また、本発明提案書においては、図６、図１２のミラーおよびレンズによる全方位撮影を例に挙げて説明したが、他の光学系・方式を利用した全方位撮影に対しても適用可能であることは言うまでもない。

（他の実施形態）
上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行することでも本発明は実現可能である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００ デジタルカメラ、１０１ 撮像部、１０２ 映像信号処理部、
１０３ データバッファ、１０４ ＪＰＥＧ ＣＯＤＥＣ、
１０５ CPU（中央演算処理装置）、１０６ メモリカード I/F、１０７ メモリカード、
１０８ 操作部、１０９ バリアングルモニタ、１１０ バリアングルモニタ角度検出部、
１１１ ファイル管理部、１１２ パノラマ展開処理部

Claims (8)

1. 被写体像を撮影する撮像手段と、
   ３６０度全周の被写体像を円状または環状の全方位画像として前記撮像手段に入射させる固定あるいは着脱可能な全方位光学系と、
   前記全方位光学系を通して前記撮像手段によって撮像された円状または環状の全方位画像をパノラマ画像に展開するパノラマ展開手段と、
   可動式モニタと、
   前記撮像手段に対する前記可動式モニタの相対方向を検出する方向検出手段と、
   を有し、
   円状または環状の全方位画像を撮影するとき
   前記パノラマ展開手段は
   前記方向検出手段が検出する相対方向に応じて
   前記円状または環状の全方位画像をパノラマ展開する際に画像の中心となる方向を決定し、
   前記決定した方向が中心となるようにパノラマ展開を行うものであり、
   前記可動式モニタは前記パノラマ展開手段が生成したパノラマ画像を表示する
   ことを特徴とする撮像装置。
2. 円状または環状の全方位画像を撮影するとき
   前記パノラマ展開手段は
   前記方向検出手段が検出する相対方向から
   前記可動式モニタに正対する被写体の方向を算出し、
   前記円状または環状の全方位画像のパノラマ展開における画像の中心方向として
   前記算出された方向を設定する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記検出手段が検出する相対方向が特定の条件を満たした場合は
   パノラマ展開しない画像を前記可動式モニタに表示する
   ことを特徴とする請求項１又は請求項２に記載の撮像装置。
4. パノラマ展開しない画像を前記可動式モニタに表示する前記特定の条件とは
   前記可動式モニタと前記撮像手段の撮像面とがなす角度が所定の値以下である場合である
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記可動式モニタにパノラマ展開した画像を表示する場合に
   環状または円状の全方位画像を補助情報として同時に表示する
   ことを特徴とする請求項１乃至請求項４の何れか一項に記載の撮像装置。
6. 前記可動式モニタに表示される
   パノラマ展開された画像の展開方向に関する情報を
   同時に表示する前記補助情報である環状または円状の全方位画像に付加する
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記可動式モニタに表示される
   パノラマ展開された画像の展開範囲に関する情報を
   同時に表示する前記補助情報である環状または円状の全方位画像に付加する
   ことを特徴とする請求項５に記載の撮像装置。
8. 前記全方位光学系によって被写体像が反転する場合は
   前記可動式モニタに表示される
   パノラマ展開された画像または環状または円状の全方位画像は
   反転して表示する
   ことを特徴とする請求項１乃至請求項７の何れか一項に記載の撮像装置。