JP2019118090A - 撮像装置および撮像装置の制御方法 - Google Patents

撮像装置および撮像装置の制御方法 Download PDF

Info

Publication number
JP2019118090A
JP2019118090A JP2018010007A JP2018010007A JP2019118090A JP 2019118090 A JP2019118090 A JP 2019118090A JP 2018010007 A JP2018010007 A JP 2018010007A JP 2018010007 A JP2018010007 A JP 2018010007A JP 2019118090 A JP2019118090 A JP 2019118090A
Authority
JP
Japan
Prior art keywords
imaging
imaging device
image
bodies
optical axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018010007A
Other languages
English (en)
Other versions
JP7180074B2 (ja
Inventor
横田　聡一郎
Soichiro Yokota
聡一郎 横田
竹中　博一
Hiroichi Takenaka
博一 竹中
多聞 貞末
Tamon Sadasue
多聞 貞末
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to EP18705997.7A priority Critical patent/EP3577893A1/en
Priority to CN201880009062.5A priority patent/CN110268701B/zh
Priority to PCT/JP2018/003312 priority patent/WO2018143311A1/en
Priority to US16/482,162 priority patent/US11039120B2/en
Publication of JP2019118090A publication Critical patent/JP2019118090A/ja
Application granted granted Critical
Publication of JP7180074B2 publication Critical patent/JP7180074B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Lens Barrels (AREA)
  • Cameras In General (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】３次元復元モデルの作成に用いる画像を容易に取得可能とする。【解決手段】撮像装置は、複数の撮像体と、撮像制御部とを備える。撮像体は、光軸を中心とした、光軸の第１の方向に向けた半球を含む範囲を撮像可能な第１の光学素子と、光軸を中心とした、光軸の第１の方向と逆方向の第２の方向に向けた半球を含む範囲を撮像可能な第２の光学素子と、をそれぞれ含み、光軸と直交する方向に整列して配置される。撮像制御部は、複数の撮像体を同期させて撮像制御して、複数の撮像体それぞれから撮像画像を取得する。【選択図】図３

Description

本発明は、撮像装置および撮像装置の制御方法に関する。
実在する物体、建築物、それらを含む空間全体を、カメラによる撮像やレーザ光の照射などを利用して計測し、計測結果に基づき電子データとして３次元情報を復元する、３次元復元モデルの技術が知られている。近年では、例えば橋梁の検査や建築現場といった様々な場面で、この３次元復元モデルの利用が検討されている。例えば、ビルディングなどの大規模な施設の建設において、設計時のＣＡＤ(Computer-Aided Design)による図面と、建設現場で計測して作成した３次元復元モデルとの比較を行うことが考えられる。また、建設後の検査などにおいて、３次元復元モデルを作成して状況を確認する、といった適用も考えられる。
例えば、特許文献１には、３次元復元データの取得に適用可能な３次元距離計測センサが開示されている。特許文献１によれば、それぞれ魚眼レンズ特性を有する３台のカメラを３つの視点位置にそれぞれ配置し、これら３台のカメラにより撮像された画像に基づき３次元距離を算出する。
また、特許文献２には、レンズ構成方法を工夫することで、全周囲を全天球画像として撮像可能とした撮像システムが開示されている。特許文献２の撮像システムを用いて、視点の異なる複数の撮像画像を取得することで、より広範囲について、３次元復元モデルを作成することが可能である。
３次元復元モデルは、一般的には、対象の物体や空間をそれぞれ異なる視点から撮像した複数の画像を用いて作成される。そのため、大規模な物体や空間の３次元復元モデルを作成するためには、大規模な装置が必要となり、また、データ取得にも長時間を要するという問題点があった。
例えば、従来では、大規模な施設を対象とした３次元復元モデルの作成は、大規模なレーザ装置と、カメラ装置とを組み合わせて行うことが多く、データ取得に数時間乃至数日を要することもあった。そのため、従来技術を用いた場合、３次元復元モデルを作成するためのコストが嵩み、また、同一の対象について、３次元復元モデルを繰り返し作成することも、難しかった。
本発明は、上記に鑑みてなされたものであって、３次元復元モデルの作成に用いる画像を容易に取得可能とすることを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、光軸を中心とした、光軸の第１の方向に向けた半球を含む範囲を撮像可能な第１の光学素子と、光軸を中心とした、光軸の第１の方向と逆方向の第２の方向に向けた半球を含む範囲を撮像可能な第２の光学素子と、をそれぞれ含み、光軸と直交する方向に整列して配置される複数の撮像体と、複数の撮像体を同期させて撮像制御して、複数の撮像体それぞれから撮像画像を取得する撮像制御部と、を備える。
本発明によれば、３次元復元モデルの作成に用いる画像が容易に取得可能になるという効果を奏する。
図１は、実施形態に係る撮像装置を概略的に示す図である。 図２は、実施形態に適用可能な撮像体の一例の構造を示す図である。 図３は、実施形態に係る撮像装置の外観を概略的に示す３面図である。 図４は、実施形態に適用可能な各撮像体により撮像可能な撮像範囲の例を示す図である。 図５は、実施形態に適用可能な、画像処理装置と撮像装置との接続を示す図である。 図６は、実施形態に適用可能な、異なる５つの視点で撮像され、各撮像体毎に合成された画像の例を示す図である。 図７は、実施形態に適用可能な３次元復元モデルの作成処理を示す一例のフローチャートである。 図８は、実施形態に適用可能な三角測量を説明するための図である。 図９は、実施形態に適用可能なＥＰＩの原理について説明するための図である。 図１０は、実施形態に適用可能なＥＰＩの原理について説明するための図である。 図１１は、実施形態に適用可能な、ＥＰＩを全周囲画像を用いて構成した場合に傾きｍが曲線に基づく値となる点を説明するための図である。 図１２は、実施形態に適用可能な、ＥＰＩを全周囲画像を用いて構成した場合に傾きｍが曲線に基づく値となる点を説明するための図である。 図１３は、実施形態に係る撮像装置で撮像された撮像画像に基づき視差が優先的に算出される平面の例を示す図である。 図１４は、実施形態に係る、３次元復元モデル作成の対象としての、大きな建物などを含む大きな空間の例を示す図である。 図１５−１は、実施形態に係る撮像装置の一例の構成を示すブロック図である。 図１５−２は、実施形態に係る撮像装置における電源供給経路の例を抜粋して示すブロック図である。 図１６は、実施形態に係る撮像装置における制御部およびメモリの一例の構成を示すブロック図である。 図１７は、実施形態に係る撮像装置における、バッテリおよび回路部の配置の例を示す図である。 図１８は、実施形態の第１の変形例に係る撮像装置の外観を概略的に示す図である。 図１９は、実施形態の第２の変形例に係る撮像装置の外観を概略的に示す図である。 図２０は、実施形態の第３の変形例に係る撮像装置の外観を概略的に示す図である。 図２１は、実施形態の第４の変形例に係る撮像装置の一例の構成を示すブロック図である。 図２２は、実施形態の第５の変形例に係る撮像装置の外観の概略を、実施形態に係る撮像装置の外観と比較して示す図である。 図２３は、実施形態の第６の変形例に係る撮像装置の外観を概略的に示す図である。 図２４は、実施形態の第６の変形例に係る撮像装置の回路構成の例を示す図である。 図２５は、実施形態の第７の変形例に係る撮像装置の外観を概略的に示す図である。 図２６は、実施形態の第７の変形例に係る撮像装置の外観を概略的に示す図である。 図２７は、実施形態の第７の変形例に係る撮像装置の回路構成の例を示す図である。 図２８は、実施形態の第８の変形例に係る撮像装置の外観を概略的に示す図である。 図２９は、実施形態の第９の変形例に係る撮像装置の外観を概略的に示す図である。 図３０は、実施形態の第９の変形例に係る撮像装置の回路構成の例を示す図である。
以下に添付図面を参照して、撮像装置および撮像装置の制御方法の実施形態を詳細に説明する。
（実施形態）
（実施形態に係る撮像装置）
図１は、実施形態に係る撮像装置を概略的に示す。図１において、撮像装置１ａは、略直方体の筐体１０ａの第１の面に、複数（この例では５個）の撮像レンズ２０ａ1、２０ａ2、２０ａ3、２０ａ4および２０ａ5と、シャッタボタン３０とが設けられる。筐体１０ａ内には、各撮像レンズ２０ａ1、２０ａ2、…、２０ａ5にそれぞれ対応して撮像素子が設けられる。
各撮像レンズ２０ａ1、２０ａ2、…、２０ａ5に入射した光は、筐体１０ａに設けられる、それぞれ撮像レンズ２０ａ1、２０ａ2、…、２０ａ5を含む結像光学系を介して、それぞれ対応する撮像素子に照射される。撮像素子は、例えばＣＣＤ(Charge Coupled Device)であって、照射された光を電荷に変換する受光素子である。撮像素子は、これに限らず、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサであってもよい。
また、筐体１０ａの、第１の面の背面側の第２の面に、複数の撮像レンズ２０ｂ1、２０ｂ2、２０ｂ3、２０ｂ4および２０ｂ5が設けられる。これら撮像レンズ２０ｂ1、２０ｂ2、…、２０ｂ4および２０ｂ5も、上述の各撮像レンズ２０ａ1、２０ａ2、…、２０ａ5と同様に、筐体１０ａ内にそれぞれ対応した撮像素子が設けられる。
各撮像レンズ２０ｂ1、２０ｂ2、…、２０ｂ4および２０ｂ5に入射された光は、各撮像レンズ２０ｂ1、２０ｂ2、…、２０ｂ4および２０ｂ5を含む各結像光学系を介して、それぞれ対応する撮像素子に照射される。各撮像素子は、照射された光を電荷に変換する。
詳細は後述するが、各撮像素子を駆動する各駆動部は、トリガ信号に応じて、各撮像素子に対してシャッタ制御を行うと共に、各撮像素子から光が変換された電荷を読み出す。各駆動部は、各撮像素子から読み出した電荷をそれぞれ電気信号に変換し、この電気信号をディジタルデータとしての撮像画像に変換して出力する。各駆動部から出力された各撮像画像は、例えばメモリに記憶される。この、例えば、トリガ信号に応じて撮像レンズ２０ａ1に入射された光に基づく撮像画像を出力する動作を、便宜上、撮像レンズ２０ａ1に
よる撮像、などと記述する。
なお、筐体１０ａを直方体と見做した場合に、撮像レンズ２０ａ1、２０ａ2、…、２０ａ5が整列する方向に沿った辺（長辺）に接する面を側面、第１の面、第２の面および２つの側面それぞれの上端に接する面を上面、下端に接する面を底面とする。図１の例では、撮像レンズ２０ａ1および２０ｂ1が配置される側の上端に接する面が上面、シャッタボタン３０が配置される側の下端に接する面が底面となる。
実施形態では、各撮像レンズ２０ａ1、２０ａ2、…、２０ａ5は、それぞれ隣接する撮像レンズとの間の距離を距離ｄとして等間隔に配置される。また、撮像レンズ２０ａ1および２０ｂ1、撮像レンズ２０ａ2および２０ｂ2、撮像レンズ２０ａ3および２０ｂ3、撮像レンズ２０ａ4および２０ｂ4、撮像レンズ２０ａ5および２０ｂ5は、それぞれ、筐体１０ａの例えば底面からの高さが一致するように、筐体１０ａに配置される。
各撮像レンズ２０ａ1、２０ａ2、…、２０ａ5と、撮像レンズ２０ｂ1、２０ｂ2、…、２０ｂ5とにおいて、筐体１０ａの底面からの高さが一致する撮像レンズの組と、当該撮像レンズの組に対応する各結像光学系および各撮像素子と、を含めて、撮像体（全天球撮像手段）と呼ぶ。図１の例では、撮像レンズ２０ａ1および２０ｂ1の組が、対応する各結像光学系および各撮像素子を含めて撮像体２１1とされている。撮像体２１2、２１3、２１4および２１5も同様に、それぞれ対応する各結像光学系および各撮像素子を含めて、それぞれ撮像体２１2、２１3、２１4および２１5と呼ぶ。
シャッタボタン３０は、操作に応じて、各撮像レンズ２０ａ1、２０ａ2、…、２０ａ5と、各撮像レンズ２０ｂ1、２０ｂ2、…、２０ｂ5とによる撮像を指示するためのボタンである。シャッタボタン３０が操作されると、各撮像レンズ２０ａ1、２０ａ2、…、２０ａ5、および、各撮像レンズ２０ｂ1、２０ｂ2、…、２０ｂ5による撮像が同期して行われる。
図１に示されるように、撮像装置１ａの筐体１０ａは、各撮像体２１1〜２１5が配置される撮像部領域２ａと、シャッタボタン３０が配置される操作部領域３ａと、を含んで構成される。操作部領域３ａは、ユーザが撮像装置１ａを保持するためのグリップ部３１（把持手段）を含む。
グリップ部３１は、ユーザによる保持および操作が容易なように、その表面がより滑り難く形成される。グリップ部３１は、例えば撮像部領域２ａと比較して滑りにくく形成することが考えられる。例えば、グリップ部３１は、少なくとも表面が、滑り難い材質の材料により形成される。滑り難い材質の例としては、合成／天然樹脂、合成／天然皮革、木材、布材、紙材など、あるいは、表面の状態をこれらに模した材料などが考えられる。また、グリップ部３１に対して、表面に滑り難い加工を施してもよい。滑り難い加工としては、例えば平坦な表面に対して所定のパターンの凹凸を与える加工が考えられる。
また、筐体１０ａにおいて、少なくとも撮像部領域２ａは、各撮像レンズ２０ａ1〜２０ａ5、２０ｂ1〜２０ｂ5の位置および向きが変化しないように、耐衝撃性に優れ温度変化に対する変形が少ない材質の材料を用いて形成することが好ましい。このような材料の例として、アルミニウム合金、マグネシウム合金、チタニウム合金、ステンレス鋼、繊維強化樹脂、繊維強化金属など、弾性率が高い（剛性が高い）材料が挙げられる。
撮像体２１1、２１2、…、２１5の構造について、より具体的に説明する。なお、撮像体２１1、２１2、…、２１5は、同一の構造で実現可能であるので、ここでは、撮像体２１1、２１2、…、２１5を撮像体２１で代表させて説明を行う。
図２は、実施形態に適用可能な撮像体２１の一例の構造を示す。図２において、撮像体２１は、それぞれ撮像レンズ２０ａおよび２０ｂを含む結像光学系２０１ａおよび２０１ｂと、ＣＣＤまたはＣＭＯＳセンサによる撮像素子２００ａおよび２００ｂとを含み構成される。各結像光学系２０１ａおよび２０１ｂは、例えば６群７枚の魚眼レンズとして構成されている。この魚眼レンズは、１８０°（＝３６０度／ｎ、ｎは光学系数＝２）以上、好ましくは１８０°より大きい全画角を有し、好適には、１８５°以上の画角を有し、より好適には、１９０°以上の画角を有する。
各結像光学系２０１ａおよび２０１ｂは、それぞれ、光路を９０°変更するプリズム２０２ａおよび２０２ｂを含む。各結像光学系２０１ａおよび２０１ｂにそれぞれ含まれる６群７枚の魚眼レンズは、プリズム２０２ａおよび２０２ｂより入射側のグループと、出射側（撮像素子２００ａおよび２００ｂ側）のグループとに分けることができる。例えば、結像光学系２０１ａにおいて、撮像レンズ２０ａに入射された光は、プリズム２０２ａより入射側のグループに属する各レンズを介してプリズム２０２ａに入射される。プリズム２０２ａに入射された光は、光路を９０°変換されて、プリズム２０２ａより出射側のグループに属する各レンズ、開口絞り、フィルタを介して撮像素子２００ａに照射される。
２つの結像光学系２０１ａおよび２０１ｂの光学素子（レンズ、プリズム２０２ａおよび２０２ｂ、フィルタおよび開口絞り）は、撮像素子２００ａおよび２００ｂに対して位置関係が定められる。より具体的には、結像光学系２０１ａおよび２０１ｂの光学素子の光軸が、対応する撮像素子２００ａおよび２００ｂの受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように、位置決めが行われる。また、撮像体２１では、結像光学系２０１ａおよび２０１ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。
図３は、実施形態に係る撮像装置１ａの外観を概略的に示す３面図である。図３（ａ）、図３（ｂ）および図３（ｃ）は、それぞれ撮像装置１ａの上面図、前面図および側面図の例である。図３（ｂ）において、撮像レンズ２０ａ5は、レンズ中心が筐体１０ａの底面から高さｈに位置するように配置される。この撮像レンズ２０ａ5を起点として、各撮像レンズ２０ａ4、２０ａ3、２０ａ2および２０ａ1が、距離ｄずつ間隔を開けて、筐体１０ａの底面側から上面側に向けて、筐体１０ａの長辺方向の中心線Ｃにレンズ中心を整列させて配置される。
図３（ｃ）に示されるように、各撮像レンズ２０ａ1〜２０ａ5の背面側には、各撮像レンズ２０ｂ1〜２０ｂ5が、それぞれ各撮像レンズ２０ａ1〜２０ａ5と対応する位置に配置される。すなわち、これら撮像レンズ２０ｂ1〜２０ｂ5も、上述の中心線Ｃにレンズ中心を整列させて配置される。また、上述したように、各撮像レンズ２０ａ1〜２０ａ5、および、各撮像レンズ２０ｂ1〜２０ｂ5のうち、高さが一致する２つの撮像レンズ（例えば撮像レンズ２０ａ1および２０ｂ1）が１つの撮像体（例えば撮像体２１1）に含まれる。
図３（ａ）および図３（ｃ）において、角度αは、撮像レンズ２０ａ1および２０ｂ1の画角（撮像範囲）の例を示している。上述したように、各撮像体２１1〜２１5に含まれる各撮像レンズ２０ａ1〜２０ａ5、２０ｂ1〜２０ｂ5は、それぞれ１８０°より大きな角度αを画角として撮像を行う。そのため、筐体１０ａは、各撮像体２１1〜２１5により撮像された各撮像画像に対する筐体１０ａの写り込みを避けるために、図３（ａ）、図３（ｂ）および図３（ｃ）に面２３1、２３2、２３3および２３4として示されるように、第１の面および第２の面の、各撮像レンズ２０ａ1〜２０ａ5、２０ｂ1〜２０ｂ5の中心線Ｃに対する両側が、各撮像レンズ２０ａ1〜２０ａ5、２０ｂ1〜２０ｂ5の画角に応じて面取りされる。
なお、ここでは、撮像装置１ａが５つの撮像体２１1〜２１5を備えるように説明したが、これはこの例に限定されない。すなわち、撮像装置１ａは、複数の撮像体２１を備えていればよく、６以上の撮像体２１を備えていてもよいし、２以上４以下の撮像体２１を備えていてもよい。
図４は、実施形態に適用可能な各撮像体２１1、２１2、…、２１5により撮像可能な撮像範囲の例を示す。各撮像体２１1、２１2、…、２１5は、同様の撮像範囲を有する。図４では、撮像体２１1、２１2、…、２１5による各撮像範囲を、撮像体２１1の撮像範囲で代表して示している。
なお、以下では、図４に示されるように、例えば撮像レンズ２０ａ1、２０ａ2、…、２０ａ5が整列する方向にＺ軸を定義し、撮像レンズ２０ａ1および２０ｂ1の光軸の方向にＸ軸を定義する。また、Ｚ軸に直角に交わる平面に含まれ、且つ、Ｘ軸に直角に交わる方向にＹ軸を定義する。
撮像体２１1は、撮像レンズ２０ａ1および２０ｂ1の組み合わせにより、撮像体２１1の中心部を中心とした全天球を撮像範囲とする。すなわち、上述したように、撮像レンズ２０ａ1および２０ｂ1は、それぞれ画角が１８０°以上、好ましくは１８０°より大きく、より好適には１８５°以上とされている。したがって、これら撮像レンズ２０ａ1および２０ｂ1の組み合わせにより、ＸＹ平面上の撮像範囲ＡおよびＸＺ平面上の撮像範囲Ｂをそれぞれ３６０°とすることができ、これらの組み合わせにより、全天球の撮像範囲が実現される。
換言すれば、撮像体２１1は、撮像レンズ２０ａ1の光軸を中心とした、光軸の第１の方向に向けた半球を含む範囲と、撮像レンズ２０ａ1の光軸と共通する撮像レンズ２０ｂ1の光軸を中心とした、光軸の第１の方向と逆方向の第２の方向に向けた半球を含む範囲と、を撮像可能である。
また、撮像体２１1、２１2、…、２１5は、それぞれＺ軸方向に距離ｄの間隔を開けて配置されている。したがって、各撮像体２１1、２１2、…、２１5により全天球を撮像範囲として撮像された各撮像画像は、Ｚ軸方向に距離ｄずつ視点の異なる画像となる。
このとき、実施形態では、各撮像レンズ２０ａ1〜２０ａ5、および、各撮像レンズ２０ｂ1〜２０ｂ5における撮像が、シャッタボタン３０の操作に応じて同期して行われる。そのため、実施形態に係る撮像装置１ａを用いることで、筐体１０ａの第１の面および第２の面それぞれについて、Ｚ軸方向に距離ｄずつ視点が異なり、且つ、同一のタイミングで撮像された各５枚の撮像画像を取得することができる。
この、Ｚ軸方向に距離ｄずつ視点が異なり、且つ、同一のタイミングで撮像された各５枚の撮像画像は、Ｚ軸方向に伸びる同一のエピポーラ線に並ぶ画像となる。
（実施形態に適用可能な３次元復元モデル作成処理）
次に、実施形態に適用可能な、視点の異なる複数の画像を用いた３次元復元モデル作成処理について、概略的に説明する。実施形態では、例えば、図５に示されるように、撮像装置１ａに接続した画像処理装置１００により、３次元復元モデルの作成処理を実行する。画像処理装置１００は、例えば、パーソナルコンピュータ（ＰＣ）上で画像処理プログラムを実行させることで構成できる。これに限らず、画像処理装置１００は、３次元復元モデル作成処理を実行するための専用のハードウェアであってもよい。
例えば、画像処理装置１００は、撮像装置１ａのメモリから、撮像装置１ａにより異なる視点で同期して撮像されメモリに記憶された複数（この例では、第１の面および第２の面を合計して１０枚）の撮像画像を読み出す。画像処理装置１００は、撮像装置１ａのメモリから読み出した１０枚の画像のうち、各撮像体２１1、２１2、…、２１5においてそれぞれ２枚ずつ撮像された撮像画像を、撮像体２１1、２１2、…、２１5毎にそれぞれ合成して、Ｚ軸方向に距離ｄずつ視点が異なる５枚の全天球画像を作成する。
なお、全天球画像は、立体角４πステラジアンの画像であって、撮像位置から見渡すことが可能な全方向を撮像した画像となる。画像処理装置１００は、この５枚の全天球画像の何れかを基準として各全天球画像の視差を求め、求めた視差に基づき３次元復元モデルを作成する。
図６は、実施形態に適用可能な、撮像装置１ａにおいて、異なる５つの視点で撮像され、各撮像体２１1、２１2、…、２１5毎に合成された画像の例を示す。図６（ａ）は、被写体６０の例を示し、図６（ｂ）、図６（ｃ）、図６（ｄ）、図６（ｅ）および図６（ｆ）は、同一の被写体６０を、それぞれ異なる５つの視点で撮像した撮像画像が合成された全天球画像３００1、３００2、３００3、３００4および３００5の例を示す。図６（ｂ）〜図６（ｆ）に例示されるように、各全天球画像３００1〜３００5は、被写体６０の画像が、各撮像体２１1〜２１5間の距離ｄに応じて、少しずつずれて含まれる。
なお、図６では、撮像装置１ａが、撮像装置１ａの第１の面（前面）側に存在する被写体６０を撮像するように示しているが、これは説明のためであって、実際には、撮像装置１ａは、撮像装置１ａを取り囲んで存在する被写体６０を撮像できる。この場合、全天球画像３００1〜３００5は、例えば正距円筒図法による画像であって、それぞれ、左右の辺が同一の位置を表し、上辺および下辺がそれぞれ１点を表すものとなる。すなわち、図６に示す全天球画像３００1〜３００5は、説明のために、正距円筒図法による画像を変換して部分的に切り取ったものを示している。
なお、全天球画像３００1〜３００5の投影方法は、正距円筒図法に限定されない。例えば、全天球画像３００1〜３００5は、Ｚ軸方向の画角を大きく取る必要が無い場合には、シリンドリカル投影を用いた画像であってもよい。
図７は、実施形態に適用可能な３次元復元モデルの作成処理を示す一例のフローチャートである。このフローチャートの各処理は、例えば画像処理装置１００により実行される。また、撮像装置１ａでは、既に、各撮像体２１1〜２１5により撮像された１０枚の撮像画像が内蔵されるメモリに記憶されているものとする。
ステップＳ１０で、画像処理装置１００は、撮像装置１ａから、各撮像体２１1〜２１5により撮像された各撮像画像を取得する。画像処理装置１００は、取得した各撮像画像を撮像体２１1〜２１5毎に合成し、図６に示したような、複数の視点から撮像された５枚の全天球画像３００1〜３００5を作成する。
次のステップＳ１１で、画像処理装置１００は、ステップＳ１０で作成した全天球画像３００1〜３００5から１つを基準全天球画像（全天球画像３００1とする）として選択する。画像処理装置１００は、選択した基準全天球画像に対する、他の全天球画像３００2〜３００5の視差を、画像の全画素について計算する。
ここで、第１の実施形態に適用可能な視差の計算手法の原理について説明する。撮像素子２００ａなどの画像センサにより撮像された撮像画像を用いた視差計算を行う上での基本的な原理は、三角測量を利用した方法である。図８を用いて、三角測量について説明する。図８において、カメラ４００ａおよび４００ｂは、それぞれレンズ４０１ａおよび４０１ｂと、撮像素子４０２ａおよび４０２ｂと、を含む。三角測量を用いて、カメラ４００ａおよび４００ｂを結ぶ線から対象４０３までの距離Ｄを、各撮像素子４０２ａおよび４０２ｂにより撮像された撮像画像内の撮像位置情報から算出する。
図８において、値ｆは、各レンズ４０１ａおよび４０１ｂの焦点距離を示す。また、レンズ４０１ａおよび４０１ｂの光軸中心を結ぶ線の長さを基線長Ｂとする。図１、図３の例では、撮像体２１1〜２１5それぞれの間の距離ｄが基線長Ｂに相当する。対象４０３の、撮像素子４０２ａおよび４０２ｂ上での各撮像位置ｉ1およびｉ2の差が視差ｑとなる。三角形の相似関係により、Ｄ：ｆ＝Ｂ：ｑが成り立つので、式（１）により距離Ｄを算出することができる。
式（１）において、焦点距離ｆおよび基線長Ｂが既知であるので、視差ｑを算出することが処理の課題となる。視差ｑは、撮像位置ｉ1と撮像位置ｉ2との差分であるので、各撮像素子４０２ａおよび４０２ｂで撮像された各撮像画像における撮像位置の対応関係を検出することが、視差算出の根本課題となる。一般的には、この、複数の画像間での対応位置を求めるマッチング処理は、エピポーラ拘束に基づき、エピポーラ線上の各視差を探索していくことにより実現される。
視差の探索処理は、様々な計算方法を用いて実現可能である。例えば、式（２）に示される、正規化自己相関係数（ＮＣＣ）を用いたブロックマッチング処理や、式（３）および式（４）で示されるＳＧＭ(Semi Global Matching)による密度の高い視差計算処理などを適用することができる。視差の計算に何れの方法を用いるかは、最終的に生成される３次元復元モデルの用途に応じて適宜、選択することができる。なお、式（２）〜式（４）において、値ｐは画素位置、値ｑは視差をそれぞれ表す。
これらのコスト関数に基づいて、エピポーラ線上の各画素の対応関係を算出していき、最も類似していると考えられる算出結果を選択することになる。ＮＣＣすなわち式（２）においては、数値Ｃ(ｐ，ｑ)NCCが最大値のコストを持つ画素位置を、対応点と見做すことができる。また、ＳＧＭすなわち式（３）および式（４）においては、最小値のコストを持つ画素位置が、対応点と見做される。
一例として、式（２）のＮＣＣを用いて視差を算出する場合について、概略的に説明する。ブロックマッチング法は、参照画像内の任意の参照画素を中心としてＭ画素×Ｎ画素のブロックとして切り出される領域の画素値と、対象画像内の任意の対象画素を中心としてＭ画素×Ｎ画素のブロックとして切り出される領域の画素値と、を取得する。取得した画素値に基づき、参照画素を含む領域と、対象画素を含む領域との類似度を計算する。探索対象の画像内でＭ画素×Ｎ画素のブロックを移動させながら類似度を比較し、最も類似度が高くなる位置のブロックにおける対象画素を、参照画素に対応する対応画素とする。
式（２）において、値Ｉ(ｉ，ｊ)は、参照画像における画素ブロック内の画素の画素値を表し、値Ｔ(ｉ，ｊ)は、対象画像における画素ブロック内の画素値を表す。参照画像におけるＭ画素×Ｎ画素の画素ブロックに対応する、対象画像における画素ブロックを画素単位で移動させながら、式（２）の計算を実行し、数値Ｃ(ｐ，ｑ)NCCが最大値となる画素位置を探索する。
第１の実施形態に係る撮像装置１ａを用いた場合においても、基本的には、上述の三角測量の原理を用いて視差を算出する。ここで、当該撮像装置１ａは、５つの撮像体２１1〜２１5を含み、１度に５枚の全天球画像３００1〜３００5を撮像可能とされている。すなわち、第１の実施形態に係る撮像装置１ａは、３以上の撮像画像を同時に撮像できる。そのため、第１の実施形態には、上述の三角測量の原理を拡張して適用させる。
例えば、式（５）にＮＣＣの例として、また、式（６）にＳＧＭの例として示されるように、基線長Ｂずつ離れたカメラ毎のコストの視差ｑの総和をコストとして、各カメラによる各撮像画像における対応点を検出することができる。
一例として、第１、第２および第３のカメラが、エピポーラ線上に第１のカメラ、第２のカメラ、第３のカメラ、の順に並べられているものとする。この場合に、第１のカメラおよび第２のカメラの組、第１のカメラおよび第３のカメラの組、ならびに、第２のカメラおよび第３のカメラの組それぞれにおいて、上述したＮＣＣやＳＧＭなどによりコスト計算を行う。対象までの最終的な距離Ｄは、これら各カメラの組のそれぞれにより算出されたコストの総和計算を行い、その総和によるコストの最小値を求めることで算出できる。
これに限らず、実施形態における視差の計算手法として、ＥＰＩ(Epipolar Plane Image)を用いたステレオ画像計測方法を適用することができる。例えば、撮像装置１ａにおいて各撮像体２１1〜２１5により撮像された撮像画像に基づく全天球画像３００1〜３００5を、等速度運動するカメラにより撮像された同画像と見做して、ＥＰＩを作成することができる。ＥＰＩを用いることで、各全天球画像３００1〜３００5間の対応点の探索を、例えば上述した三角測量を用いた方法と比較して、容易に実行できる。
一例として、撮像装置１ａにおいて、例えば撮像体２１1を基準として、撮像体２１1と各撮像体２１2〜２１5との間の各距離ｄ1-2、ｄ1-3、ｄ1-4およびｄ1-5を算出する。算出結果に基づき、全天球画像３００1〜３００5の横、縦軸（ｘ，ｙ）と、距離Ｄ（＝０，距離ｄ1-2，…，ｄ1-5）と、の３次元からなる空間画像を作成する。この空間画像のｙ−Ｄ平面での断面像をＥＰＩとして作成する。
上述のように作成したＥＰＩにおいては、元の各全天球画像３００1〜３００5内に存在する物体上の点は、単一の直線として表現される。この直線の傾きは、撮像装置１ａから当該物体上の点までの距離に応じて変化する。したがって、ＥＰＩに含まれる直線を検出することで、各全天球画像３００1〜３００5間における対応点を決定することが可能である。また、直線の傾きにより、当該直線に対応する物体の撮像装置１ａからの距離を算出できる。
図９および図１０を用いて、ＥＰＩの原理について説明する。図９（ａ）は、それぞれ円筒画像である複数の画像４２０1、４２０2、…のセットを示している。図９（ｂ）は、この画像４２０1、４２０2、…のセットから、平面４２１により切り出したＥＰＩ４２２を概略的に示している。図９（ａ）の例では、奥行方向に、各画像４２０1、４２０2、…の撮影位置軸を取り、画像４２０1、４２０2、…のセットを重ねて、図９（ａ）に示されるように、３次元データ化する。この３次元データ化した画像４２０1、４２０2、…のセットを、奥行方向に平行な平面４２１で切り出したものが、図９（ｂ）に示されるＥＰＩ４２２となる。
換言すれば、ＥＰＩ４２２は、各画像４２０1、４２０2、…からＸ座標が同一のラインを取り出し、取り出した各ラインを、それぞれが含まれる各画像４２０1、４２０2、…をＸ座標として並べて配置した画像である。
図１０は、第１の実施形態に適用可能な、ＥＰＩの原理を示す図である。図１０（ａ）は、上述した図９（ｂ）を模式化して示している。図１０（ａ）において、横軸ｕは、各画像４２０1、４２０2、…を重畳した奥行方向であって、視差を表し、縦軸ｖは、各画像４２０1、４２０2、…の縦軸に対応する。ＥＰＩ４２２は、撮像画像を基線長Ｂの方向に重畳した画像を意味する。
この基線長Ｂの変化は、図１０（ｂ）における距離ΔＸで表される。なお、図１０（ｂ）において、位置Ｃ1およびＣ2は、例えば図８におけるレンズ４０１ａおよび４０１ｂの光学中心にそれぞれ対応する。また、位置ｕ1およびｕ2は、それぞれ位置Ｃ1およびＣ2を基準とした位置であって、図８における撮像位置ｉ1およびｉ2にそれぞれ対応する。
このように基線長Ｂ方向に各画像４２０1、４２０2、…を並べていくと、各画像４２０1、４２０2、…の対応点の位置は、ＥＰＩ４２２上で、傾きｍを持つ直線、あるいは、曲線として表される。この傾きｍが、すなわち距離Ｄを算出する際に用いる視差ｑとなる。傾きｍは、距離Ｄが近いほど小さく、距離Ｄが遠いほど大きくなる。この距離Ｄに応じて異なる傾きｍを持つ直線または曲線を、特徴点軌跡と呼ぶ。
傾きｍは、下記の式（７）で表される。式（７）において、値Δｕは、図１０（ｂ）における、それぞれ撮像点である位置ｕ1と位置ｕ2との差分であり、式（８）にて算出できる。傾きｍから、式（９）により距離Ｄが計算される。ここで、式（７）〜式（９）において、値ｖは、カメラの移動速度、値ｆは、カメラのフレームレートを示している。すなわち、式（７）〜式（９）は、カメラを等速度ｖで移動させながら、フレームレートｆで各全周囲画像を撮像した場合の計算式となる。
なお、ＥＰＩを構成する画像として全周囲画像を用いた場合は、傾きｍが曲線に基づく値となる。図１１および図１２を用いて説明する。図１１において、球４１１1、４１１2、４１１3が、それぞれ撮像体２１の構造を有し、直線上に配置されたカメラ＃０、カメラ＃ｒｅｆおよびカメラ＃（ｎ−１）により撮像された全天球画像を示している。カメラ＃０とカメラ＃ｒｅｆとの間隔（基線長）は距離ｄ2、カメラ＃ｒｅｆとカメラ＃（ｎ−１）との間隔は距離ｄ1とされている。以下、球４１１1、４１１2、４１１3を、それぞれ全天球画像４１１1、４１１2、４１１3と呼ぶ。
対象点Ｐの全天球画像４１１1上の撮像位置は、各カメラ＃０、＃ｒｅｆおよび＃（ｎ−１）が配置される直線に対して角度φn-1を有する位置となる。同様に、対象点Ｐの各全天球画像４１１2および４１１3上の撮像位置は、当該直線に対してそれぞれ角度φrefおよびφ0の角度を有する位置となる。
図１２は、これらの角度φ0、φrefおよびφn-1を縦軸にプロットし、各カメラ＃０、＃ｒｅｆおよび＃（ｎ−１）の位置を横軸にプロットしたものである。図１２から分かるように、各全天球画像４１１1、４１１2および４１１3における撮像位置と、各カメラ＃０、＃ｒｅｆおよび＃（ｎ−１）の位置として示される特徴点軌跡は、直線にはならず、各点を結ぶ直線４１２1および４１２2に基づき近似した曲線４１３となる。
全天球画像３００1〜３００5を利用して全周囲の視差ｑを計算する場合には、上述のように全天球画像３００1〜３００5から直接的に曲線４１３上の対応点を探索する方法を用いてもよいし、全天球画像３００1〜３００5をピンホールなどの投影系に変換し、変換した各画像に基づき対応点を探索する方法を用いてもよい。
図１１の例では、全天球画像４１１1、４１１2、４１１3のうち全天球画像４１１2を参照画像（ｒｅｆ）とし、全天球画像４１１1を（ｎ−１）番目の対象画像、全天球画像４１１3を０番目の対象画像としている。参照画像である全天球画像４１１2をベースに、各全天球画像４１１1および４１１3との対応点は、視差ｑn-1およびｑ0で表される。この視差ｑn-1およびｑ0は、上述の式（２）〜式（４）を例として、様々な既知の手法を利用して求めることができる。
３次元復元モデルの作成にＥＰＩを利用することで、大量の全周囲画像を統一的に処理することが可能となる。また傾きｍを利用することで、点としての対応のみではない計算になるため、処理がロバストになる。
図７のフローチャートの説明に戻り、画像処理装置１００は、ステップＳ１１での視差計算の後、処理をステップＳ１２に移行する。ステップＳ１２で、画像処理装置１００は、ステップＳ１１で算出した視差を示す視差情報に対して、補正処理を施す。視差情報に対する補正処理としては、Manhattan-world仮説に基づく補正や、線分補正などを適用することができる。次のステップＳ１３で、画像処理装置１００は、ステップＳ１２で補正処理された視差情報を、３次元点群情報に変換する。次のステップＳ１４で、画像処理装置１００は、ステップＳ１３で視差情報が変換された３次元点群情報に対して、必要に応じてスムージング処理、メッシュ化処理などを施す。このステップＳ１４までの処理により、各全天球画像３００1〜３００5に基づく３次元復元モデルが生成される。
なお、上述したステップＳ１１〜ステップＳ１４の処理は、オープンソースにて配布されるＳｆＭ(Structure-from-Motion)ソフトウェア、ＭＶＳ(Multi-View Stereo)ソフトウェアなどを用いて実行可能である。画像処理装置１００上で動作される画像処理プログラムは、例えば、これらＳｆＭソフトウェア、ＭＶＳソフトウェアなどを含む。
また、上述では、ステップＳ１１の視差算出処理を画像処理装置１００において実行するように説明したが、これはこの例に限定されない。すなわち、ステップＳ１１の視差算出処理を、撮像装置１ａ内において実行してもよい。例えば、撮像体２１1、２１2、…の数が少ない場合、各撮像体２１1、２１2、…に含まれる撮像素子２００ａおよび２００ｂの解像度が低い場合、復元の精度よりも処理速度が重要な場合、撮像装置１ａが処理能力の高い演算素子を搭載している場合、などに、視差算出処理を撮像装置１ａ内において実行することが考えられる。
さらに、図３および図４を用いて説明したように、実施形態に係る撮像装置１ａは、各撮像体２１1〜２１5をＺ軸上に配置している。そのため、撮像装置１ａから各被写体までの距離は、図１３に平面４０として示される、各撮像レンズ２０ａ1〜２０ａ5が整列する方向と直交する平面４０上において放射方向に優先的に算出されることになる。ここでいう優先とは、画角に対する３次元復元モデルの生成能力を示す。
すなわち、平面４０上の各方向（図１３の放射方向）については、各撮像体２１1〜２１5による画角が、３６０°の全周を含むことができ、全周について距離の算出を行うことが可能である。一方、Ｚ軸方向については、各撮像体２１1〜２１5による画角（撮像範囲）の重複部分が大きくなる。そのため、Ｚ軸方向では、画角の１８０°近辺で、各撮像体２１1〜２１5により撮像された撮像画像に基づく全天球画像３００1〜３００5において視差が少なくなる。したがって、Ｚ軸を含む平面の方向には、３６０°全周にわたる距離算出が困難となる。
ここで、図１４に例示されるように、大きな建物５０、５０、…などを含む大きな空間を３次元復元モデル作成の対象として考える。なお、図１４において、Ｘ軸、Ｙ軸およびＺ軸は、図４で示したＸ軸、Ｙ軸およびＺ軸と一致している。この場合、全画角（３６０°）でのモデル化は、Ｘ−Ｙ軸で表される平面４０の方向になる。そのため、この平面４０に対して直交するＺ軸方向に、複数の撮像体２１1〜２１5を整列させて配置させることが好ましい。
（実施形態に係る撮像装置の信号処理に関する構成）
次に、実施形態に係る撮像装置１ａの信号処理に関する構成について説明する。図１５−１は、実施形態に係る撮像装置１ａの一例の構成を示す。なお、図１５−１において、上述した図１および図２と対応する部分には同一の符号を付して、詳細な説明を省略する。
図１５−１において、撮像装置１ａは、撮像素子２００ａ1、２００ａ2、…、２００ａ5、および、撮像素子２００ｂ1、２００ｂ2、…２００ｂ5と、駆動部２１０ａ1、２１０ａ2、…、２１０ａ5、および、駆動部２１０ｂ1、２１０ｂ2、…、２１０ｂ5と、バッファメモリ２１１ａ1、２１１ａ2、…、２１１ａ5、および、バッファメモリ２１１ｂ1、２１１ｂ2、…、２１１ｂ5と、を含む。
これらのうち、撮像素子２００ａ1、２００ａ2、…、２００ａ5と、駆動部２１０ａ1、２１０ａ2、…、２１０ａ5と、バッファメモリ２１１ａ1、２１１ａ2、…、２１１ａ5と、は、それぞれ撮像レンズ２０ａ1、２０ａ2、…、２０ａ5に対応する構成であって、それぞれ撮像体２１1、２１2、…、２１5に含まれる。なお、図１５−１では、煩雑さを避けるため、撮像体２１1〜２１5のうち、撮像体２１1のみを示している。
同様に、撮像素子２００ｂ1、２００ｂ2、…、２００ｂ5と、駆動部２１０ｂ1、２１０ｂ2、…、２１０ｂ5と、バッファメモリ２１１ｂ1、２１１ｂ2、…、２１１ｂ5と、は、それぞれ撮像レンズ２０ｂ1、２０ｂ2、…、２０ｂ5に対応する構成であって、それぞれ撮像体２１1、２１2、…、２１5に含まれる。
撮像装置１ａは、さらに、制御部２２０、メモリ２２１およびスイッチ（ＳＷ）２２２を含む。スイッチ２２２は、図１に示したシャッタボタン３０に対応する。例えば、スイッチ２２２が閉状態で、シャッタボタン３０が操作された状態に対応する。
撮像装置１ａは、さらにまた、表示部２２３および音入出力部２２４を含むことができる。表示部２２３は、例えばＬＥＤ(Light Emitting Diode)といった表示デバイスとその駆動回路を含み、制御部２２０の制御に従い、例えば撮像装置１ａの状態を示す表示を行う。音入出力部２２４は、例えばマイクロホンおよびスピーカと、音処理回路とを含み、例えば撮像装置１ａの外部で発生した音の撮像装置１ａへの取り込みと、撮像装置１ａ内で生成した音の外部への出力とを行う。
撮像体２１1について説明する。撮像体２１1は、撮像素子２００ａ1、駆動部２１０ａ1およびバッファメモリ２１１ａ1と、撮像素子２００ｂ1、駆動部２１０ｂ1およびバッファメモリ２１１ｂ1と、を含む。
駆動部２１０ａ1は、撮像素子２００ａ1を駆動し、制御部２２０から供給されるトリガ信号に応じて、撮像素子２００ａ1から電荷を読み出す。駆動部２１０ａ1は、撮像素子２００ａ1から読み出した電荷を電気信号に変換し、さらに、この電気信号を、ディジタルデータである撮像画像に変換して出力する。なお、駆動部２１０ａ1は、１回のトリガ信号に応じて、撮像素子２００ａ1から読み出した電荷に基づき１フレームの撮像画像を出力する。
バッファメモリ２１１ａ1は、少なくとも１フレーム分の撮像画像を記憶可能なメモリである。駆動部２１０ａ1から出力された撮像画像は、このバッファメモリ２１１ａ1に一時的に記憶される。
なお、撮像体２１1において、撮像素子２００ｂ1、駆動部２１０ｂ1およびバッファメモリ２１１ｂ1については、上述の撮像素子２００ａ1、駆動部２１０ａ1およびバッファメモリ２１１ａ1と同等の機能を有するため、ここでの説明を省略する。また、他の撮像体２１2〜２１5についても、機能は撮像体２１1と同等であるため、ここでの説明を省略する。
制御部２２０は、撮像装置１ａの全体の動作を制御する。制御部２２０は、スイッチ２２２の開状態から閉状態への遷移を検知すると、トリガ信号を出力する。トリガ信号は、各駆動部２１０ａ1、２１０ａ2、…、２１０ａ5、および、各駆動部２１０ｂ1、２１０ｂ2、…、２１０ｂ5に同時に供給される。
メモリ２２１は、トリガ信号の出力に応じた制御部２２０の制御に従い、各バッファメモリ２１１ａ1、２１１ａ2、…、２１１ａ5、および、各バッファメモリ２１１ｂ1、２１１ｂ2、…、２１１ｂ5から各撮像画像を読み出し、読み出した各撮像画像を記憶する。メモリ２２１に記憶された各撮像画像は、例えば図５を用いて説明したように、撮像装置１ａと接続される画像処理装置１００により読み出すことができる。
このように、制御部２２０は、各撮像体２１1〜２１5による撮像を制御し、撮像された撮像画像の取得を行う撮像制御部として機能する。
バッテリ２０２０は、例えばリチウムイオン二次電池といった二次電池であって、撮像装置１ａ内部の電力供給が必要な各部に電力を供給する電力供給部である。なお、バッテリ２０２０は、二次電池に対する充放電の制御を行う充放電制御回路を含む。
図１５−２は、バッテリ２０２０による撮像装置１ａ内各部への電源供給の経路の例を示す。なお、図１５−２において、図１５−１に示した各部間の信号経路は、繁雑さを避けるため省略している。図１５−２に例示されるように、バッテリ２０２０は、各撮像体２１1、２１2、…、２１5の、各駆動部２１０ａ1〜２１１ａ5、および、各駆動部２１０ｂ1〜２１１ｂ5、ならびに、各バッファメモリ２１１ａ1〜２１１ａ5、および、各バッファメモリ２１１ｂ1〜２１１ｂ5、に対してそれぞれ電力を供給する。なお、各撮像素子２００ａ1〜２００ａ5、および、各撮像素子２００ｂ1〜２００ｂ5は、それぞれ対応する各駆動部２１０ａ1〜２１１ａ5、および、各駆動部２１０ｂ1〜２１１ｂ5から供給される電力により駆動される。バッテリ２０２０は、さらに、制御部２２０、メモリ２２１、表示部２２３および音入出力部２２４に、それぞれ電力を供給する。バッテリ２０２０による各部への電力供給は、例えば、それぞれ独立した配線、あるいは、複数の配線を含むフレキシブル基板などを介して行われる。
図１６は、実施形態に係る撮像装置１ａにおける制御部２２０およびメモリ２２１の一例の構成を示す。図１６において、制御部２２０は、ＣＰＵ(Central Processing Unit)２０００と、ＲＯＭ(Read Only Memory)２００１と、トリガＩ／Ｆ２００４と、スイッチ（ＳＷ）回路２００５と、データＩ／Ｆ２００６と、通信Ｉ／Ｆ２００７と、表示デバイスＩ／Ｆ２００８ａと、オーディオＩ／Ｆ２００８ｂと、ＲＴＣ(Real Time Clock)２０５０と、を含み、これら各部がバス２０１０に通信可能に接続される。また、メモリ２２１は、ＲＡＭ(Random Access Memory)２００３と、メモリコントローラ２００２とを含み、バス２０１０に対して、メモリコントローラ２００２がさらに接続される。これらＣＰＵ２０００、ＲＯＭ２００１、メモリコントローラ２００２、ＲＡＭ２００３、トリガＩ／Ｆ２００４、スイッチ回路２００５、データＩ／Ｆ２００６、通信Ｉ／Ｆ２００７、表示デバイスＩ／Ｆ２００８ａ、オーディオＩ／Ｆ２００８ｂ、バス２０１０およびＲＴＣ２０５０それぞれに対し、バッテリ２０２０からの電力が供給される。
ＣＰＵ２０００は、例えばＲＯＭ２００１に予め記憶されるプログラムに従い、ＲＡＭ２００３の一部の記憶領域をワークメモリとして用いて動作して、この撮像装置１ａの全体の動作を制御する。メモリコントローラ２００２は、ＣＰＵ２０００の指示に従い、ＲＡＭ２００３に対するデータの記憶および読み出しを制御する。また、メモリコントローラ２００２は、ＣＰＵ２０００の指示に従い、各バッファメモリ２１１ａ1、２１１ａ2、…、２１１ａ5、および、各バッファメモリ２１１ｂ1、２１１ｂ2、…、２１１ｂ5からの撮像画像の読み出しも制御する。
スイッチ回路２００５は、スイッチ２２２の閉状態および開状態の間の遷移を検知して、検知結果をＣＰＵ２０００に渡す。ＣＰＵ２０００は、スイッチ回路２００５からスイッチ２２２が開状態から閉状態に遷移した旨の検知結果を受け取ると、トリガ信号を出力する。トリガ信号は、トリガＩ／Ｆ２００４を介して出力され、分岐して、各駆動部２１０ａ1、２１０ａ2、…、２１０ａ5、および、各駆動部２１０ｂ1、２１０ｂ2、…、２１０ｂ5にそれぞれ供給される。
データＩ／Ｆ２００６は、外部機器との間でデータ通信を行うためのインタフェースである。データＩ／Ｆ２００６としては、例えばＵＳＢ(Universal Serial Bus)を適用することができる。通信Ｉ／Ｆ２００７は、ネットワークと接続され、ネットワークに対する通信を制御する。通信Ｉ／Ｆ２００７に接続されるネットワークは、有線および無線の何れでもよいし、有線および無線の両方に接続可能であってもよい。上述した画像処理装置１００は、データＩ／Ｆ２００６および通信Ｉ／Ｆ２００７の少なくとも一方を介して撮像装置１ａに接続される。
なお、上述では、ＣＰＵ２０００は、スイッチ回路２００５による検知結果に応じてトリガ信号を出力するように説明したが、これはこの例に限定されない。例えば、ＣＰＵ２０００は、データＩ／Ｆ２００６や通信Ｉ／Ｆ２００７を介して供給された信号に応じて、トリガ信号を出力してもよい。さらに、トリガＩ／Ｆ２００４がスイッチ回路２００５の検知結果に応じてトリガ信号を発生させて、各駆動部２１０ａ1、２１０ａ2、…、２１０ａ5、および、各駆動部２１０ｂ1、２１０ｂ2、…、２１０ｂ5に供給してもよい。
表示デバイスＩ／Ｆ２００８ａは、表示部２２３に対するインタフェースであり、ＣＰＵ２０００が生成した表示制御信号を、表示部２２３が含む表示デバイスが表示可能な信号に変換する。また、オーディオＩ／Ｆ２００８ｂは、音入出力部２２４に対するインタフェースであり、アナログ音声信号をディジタル音声信号に変換するＡ／Ｄ変換器と、ディジタル音声信号をアナログ音声信号に変換するＤ／Ａ変換器とを含む。ＲＴＣ２０５０は、クロックをカウントして時刻を計測する。
このような構成において、制御部２２０は、スイッチ２２２の開状態から閉状態への遷移を検知すると、トリガ信号を生成、出力する。トリガ信号は、各駆動部２１０ａ1、２１０ａ2、…、２１０ａ5、および、各駆動部２１０ｂ1、２１０ｂ2、…、２１０ｂ5に同タイミングで供給される。各駆動部２１０ａ1、２１０ａ2、…、２１０ａ5、および、各駆動部２１０ｂ1、２１０ｂ2、…、２１０ｂ5は、供給されたトリガ信号に同期して、各撮像素子２００ａ1、２００ａ2、…、２００ａ5、および、各撮像素子２００ｂ1、２００ｂ2、…、２００ｂ5から電荷を読み出す。
各駆動部２１０ａ1、２１０ａ2、…、２１０ａ5、および、各駆動部２１０ｂ1、２１０ｂ2、…、２１０ｂ5は、各撮像素子２００ａ1、２００ａ2、…、２００ａ5、および、各撮像素子２００ｂ1、２００ｂ2、…、２００ｂ5から読み出した電荷をそれぞれ撮像画像に変換し、変換された各撮像画像を各バッファメモリ２１１ａ1、２１１ａ2、…、２１１ａ5、および、各バッファメモリ２１１ｂ1、２１１ｂ2、…、２１１ｂ5に記憶する。
制御部２２０は、トリガ信号の出力後の所定タイミングで、メモリ２２１に対して、各バッファメモリ２１１ａ1、２１１ａ2、…、２１１ａ5、および、各バッファメモリ２１１ｂ1、２１１ｂ2、…、２１１ｂ5からの撮像画像の読み出しを指示する。メモリ２２１において、メモリコントローラ２００２は、この指示に応じて、各バッファメモリ２１１ａ1、２１１ａ2、…、２１１ａ5、および、各バッファメモリ２１１ｂ1、２１１ｂ2、…、２１１ｂ5から各撮像画像を読み出し、読み出した各撮像画像をＲＡＭ２００３の所定領域に記憶する。
画像処理装置１００が例えばデータＩ／Ｆ２００６を介して撮像装置１ａに接続される場合、画像処理装置１００は、データＩ／Ｆ２００６を介して、ＲＡＭ２００３に記憶される各撮像画像の読み出しを要求する。ＣＰＵ２０００は、この要求に応じて、メモリコントローラ２００２に対してＲＡＭ２００３からの各撮像画像の読み出しを指示する。メモリコントローラ２００２は、この指示に応じてＲＡＭ２００３から各撮像画像を読み出して、読み出した各撮像画像を、データＩ／Ｆ２００６を介して画像処理装置１００に送信する。画像処理装置１００は、撮像装置１ａから送信された各撮像画像に基づき、図７のフローチャートによる処理を実行する。
図１７は、実施形態に係る撮像装置１ａにおける、バッテリ２０２０および回路部２０３０（制御手段）の配置の例を示す。このように、バッテリ２０２０および回路部２０３０は、筐体１０ａの内部に設けられる。また、バッテリ２０２０および回路部２０３０のうち少なくともバッテリ２０２０は、接着剤やネジなどの固定手段により筐体１０ａ内部に固定される。なお、図１７は、上述した図３（ｂ）に対応するもので、撮像装置１ａを、前面から見た例を示している。回路部２０３０は、少なくとも、上述した制御部２２０およびメモリ２２１の各要素を含む。制御部２２０およびメモリ２２１は、例えば１または複数の回路基板上に構成される。図１７に示されるように、撮像装置１ａは、バッテリ２０２０および回路部２０３０が、各撮像レンズ２０ａ1、２０ａ2、…、２０ａ5が整列して配置される列の延長上に配置される。
なお、ここでは、バッテリ２０２０および回路部２０３０が当該位置に配置されるように説明したが、これはこの例に限定されず、例えば回路部２０３０が十分小型であれば、当該位置には、少なくともバッテリ２０２０のみが配置されていればよい。
このようにバッテリ２０２０および回路部２０３０を配置することで、撮像装置１ａの各撮像レンズ２０ａ1、２０ａ2、…、２０ａ5（および各撮像レンズ２０ｂ1、２０ｂ2、…、２０ｂ5）が配置される面（前面および背面）の横幅（図４のＹ軸方向の幅）を細くすることができる。これにより、撮像装置１ａの筐体１０ａの一部が各撮像体２１1、２１2、…、２１5により撮像された各撮像画像に含まれることが抑制され、より高精度に視差を算出することが可能となる。
また、同様の理由で、撮像装置１ａの筐体１０ａの横幅は、可能な限り細くすることが好ましい。
以上説明したように、実施形態に係る撮像装置１ａは、それぞれ全天球の撮像が可能で、且つ、視点の異なる複数の撮像体２１1、２１2、…、２１5を備える。これら各撮像体２１1、２１2、…、２１5は、１回のシャッタボタン３０の操作で同期して撮像が行われるため、視点の異なる複数の全天球画像３００1〜３００5を同期して取得することができ、撮像環境の時間変化の影響を抑制することができる。
また、実施形態に係る撮像装置１ａは、各撮像体２１1、２１2、…、２１5の相対位置が固定されている。そのため、実施形態に係る撮像装置１ａを用いることで、例えば１つの撮像体２１を備える撮像装置を移動させることで視点を異ならせて撮像する場合と比較して、視点移動量の高精度な推定処理が不要になる。
さらに、実施形態に係る撮像装置１ａでは、相対位置が既知である各撮像体２１1、２１2、…、２１5により撮像された複数の撮像画像に基づく複数の全天球画像３００1〜３００5を用いた視差の算出が可能である。そのため、視差算出にも用いる各全天球画像３００1〜３００5の信頼性を高くすることができ、視差算出の際のノイズの低減が可能である。
さらにまた、実施形態に係る撮像装置１ａは、各撮像体２１1、２１2、…、２１5で距離範囲を分担して並列的に処理を行うことが可能であるため、処理時間を短縮することが可能である。
例えば、観光地や不動産、点検などにおいて、季節や時期、時間などに応じてデータを取得し、変化を分析、記録を行いたいという要望も多い。しかしながら、従来では、３次元復元モデルの作成のために大規模な装置や長時間にわたるデータ取得が必要であり、これらの要望に応えることは難しかった。一方、小規模な物体の３次元復元モデルを作成するような場合は、撮像画像とＳｆＭ技術とを利用するのが一般的である。
しかしながら、上述の観光地や不動産、点検などに対応する大規模な空間や距離レンジが広い状況においては、画角の制約とＳｆＭによる精度の点から、大量の撮像画像が必要となる。大量の撮像画像に対して３次元復元モデルの作成処理を実行した場合、多くの処理時間を要したり、大量の撮像画像を取得している間に環境が変化したりしてしまうこともあり、うまく処理できない事態が発生するおそれがあった。
実施形態に係る撮像装置１ａでは、上述のように、それぞれ視点が異なる複数の撮像体２１1〜２１5を同期して撮像を行うことが可能であるため、撮像に要する時間が短くて済み、大量の撮像画像が必要な場合であっても、環境変化による撮像状態の変化を抑制できる。また、各撮像体２１1〜２１5の相対的な位置関係が固定されているため、各撮像画像に基づく視差の算出も容易である。
また、実施形態に係る撮像装置１ａが備える複数の撮像体２１1、２１2、…、２１5により撮像された撮像画像に基づく各全天球画像３００1〜３００5から複数の全天球画像を含む組を作成し、作成された組に含まれる複数の全天球画像の同一のポイントに対して視差の算出処理を行ってもよい。
例えば、全天球画像３００1〜３００5のうち、全天球画像３００1および３００2を含む組、全天球画像３００2および３００3を含む組、全天球画像３００3および３００4を含む組、ならびに、全天球画像３００4および３００5を含む組をそれぞれ作成する。作成された各組において、含まれる複数の全天球画像の同一ポイントに対してそれぞれ視差を算出する。各組において、算出された複数の視差に対して、フィルタ処理を行うことで、１つの撮像体により撮像された撮像画像に基づく全天球画像を用いて視差を算出する場合に比べ、距離算出の安定性を向上させることができる。フィルタ処理としては、メディアンフィルタ処理、移動平均フィルタ処理など、種々の手法が適用できる。
なお、実施形態に係る撮像装置１ａにおいて、撮像体２１が含む結像光学系２０１ａおよび２０１ｂは、周辺画角と中央画角との解像度（暈け）の差が少ないと好ましい。周辺画角と中央画角との解像度の差を少なくする技術としては、特許文献３や特許文献４に開示される技術を適用可能である。
また、全天球画像を作成するための各撮像画像は、各撮像画像間の関係が、全周囲としての接続、および、各撮像画像間で設計値に従い並んでいるようにキャリブレーションされていることが望ましい。全天球画像のキャリブレーションは、各撮像体２１1〜２１5のうちある撮像体（例えば、一番下に配置される撮像体２１5）を基準として、各撮像体２１1〜２１4により撮像された各撮像画像が、基準の撮像体２１5により撮像された撮像画像に対して直線上に並んでいるように補正を行う。隣接する撮像体間のみで補正をするのではなく、各撮像体２１1〜２１5の全体で直線に並ぶように補正することが、視差計算を簡易に行う上では重要になる。
（実施形態の第１の変形例）
次に、実施形態の第１の変形例について説明する。図１８は、実施形態の第１の変形例に係る撮像装置の外観を概略的に示す。図１８において、撮像装置１ｂは、図１に示した撮像装置１ａと同様に、略直方体の筐体１０ｂの第１の面（前面）に、複数（この例では６個）の撮像レンズ２０ａ10、２０ａ11、２０ａ12、２０ａ13、２０ａ14および２０ａ15と、シャッタボタン３０とが設けられる。
また、撮像装置１ｂにおいて、筐体１０ｂの第２の面（背面）には、上述した撮像装置１ａと同様に、これら撮像レンズ２０ａ10、２０ａ11、２０ａ12、２０ａ13、２０ａ14および２０ａ15と例えば底面からの高さをそれぞれ一致させて、撮像レンズ２０ｂ10、２０ｂ11、２０ｂ12、２０ｂ13、２０ｂ14および２０ｂ15が設けられる。
これら各撮像レンズ２０ａ10、２０ａ11、２０ａ13、２０ａ14および２０ａ15と、各撮像レンズ２０ｂ10、２０ｂ11、２０ｂ12、２０ｂ13、２０ｂ14および２０ｂ15とにおいて、筐体１０ｂの底面からの高さが一致する撮像レンズの組と、当該撮像レンズの組に対応する各結像光学系および各撮像素子とを含めて、各撮像体２１10、２１11、２１12、２１13、２１14および２１15が形成される。撮像部領域２ｂは、これら６の撮像体２１10、２１11、２１12、２１13、２１14および２１15を含む。
これら各撮像体２１10〜２１15の構造および構成は、図２で説明した撮像体２１の構成、および、図１５を用いて説明した撮像体２１1の構成と同一なので、ここでの説明を省略する。また、各撮像体２１10〜２１15の配置も、図１および図３を用いて説明したように、筐体１０ｂの底面側から上面側に向けて、筐体１０ｂの長辺方向の中心線にそれぞれレンズ中心を整列させて配置される。さらに、撮像装置１ｂの構成は、図１５および図１６を用いて説明した構成を略そのまま適用可能であるので、ここでの説明を省略する。
実施形態の第１の変形例では、各撮像体２１10〜２１15（各撮像レンズ２０ａ10〜２０ａ15、および、各撮像レンズ２０ｂ10〜２０ｂ15）の配置の間隔が、上述した実施形態とは異なる。すなわち、実施形態の第１の変形例に係る撮像装置１ｂは、例えば各撮像レンズ２０ａ10〜２０ａ15は、一方に隣接する撮像レンズとの間隔と、他方に隣接する撮像レンズとの間隔とが異なる撮像レンズを含む。
図１８の例では、各撮像レンズ２０ａ10〜２０ａ15の間隔が、それぞれ距離ｄ1、ｄ2、ｄ3、ｄ4およびｄ5とされている。この例では、各距離ｄ1〜ｄ5の関係は、次式（１０）のようになっている。
ｄ1＞ｄ2＞ｄ3＞ｄ4＝ｄ5 …（１０）
画像処理装置１００は、上述した実施形態の場合と同様に、図７のフローチャートの処理に従い、撮像装置１ｂから、各撮像体２１10〜２１15により撮像された撮像画像を取得する。画像処理装置１００は、撮像装置１ｂから取得した各撮像画像に基づき、各撮像体２１10〜２１15に対応した、それぞれ視点が異なる複数の全天球画像を作成する。画像処理装置１００は、この複数の全天球画像に基づき視差の算出を行い、算出された視差に基づき３次元復元モデルを作成する。
撮像レンズ間の距離が大きいほど、撮像画像に基づく視差の算出が容易となり、より遠距離の被写体までの距離を求めることができる。一方、撮像レンズ間の距離が小さい場合は、近距離の被写体までの距離をきめ細かな精度で、ノイズを抑えつつ求めることができる。したがって、実施形態の第１の変形例に係る撮像装置１ｂにより撮像した撮像画像に基づく全天球画像を用いることで、遠距離から近距離にかけて、満遍なく距離算出が可能とされ、より大きな空間を対象とした場合であっても、高精度に３次元復元モデルを作成することが可能である。
上述では、画像処理装置１００は、撮像装置１ｂから取得された、各撮像体２１10〜２１15により撮像された撮像画像を全て用いて３次元復元モデルを作成しているが、これは、この例に限定されない。例えば、画像処理装置１００は、各撮像体２１10〜２１15から任意に選択された撮像体により撮像された撮像画像を用いて、３次元復元モデルを作成することができる。
例えば、撮像体２１10、２１11および２１12を選択することで、遠距離の被写体に関する３次元復元モデルをより高速に作成することが可能である。同様に、撮像体２１13、２１14および２１15を選択することで、近距離の被写体に関する３次元復元モデルをより高速に作成可能である。また、撮像体２１10および２１12と、撮像体２１14および２１15とを選択してもよい。この場合には、全ての撮像体２１10〜２１15の撮像画像に基づき３次元復元モデルを作成する場合に比べて、精度の点では不利であるが、近距離から遠距離までの被写体について、より高速に３次元復元モデルを作成可能である。
撮像体２１1〜２１5から、３次元復元モデルを作成するために用いる撮像画像を撮像する撮像体を選択する方法として、例えば、トリガ信号を各駆動部２１０ａ1〜２１０ａ5、および、各駆動部２１０ｂ1〜２１０ｂ5に供給する各信号経路（制御部２２０から出力されたトリガ信号の分岐先）に、それぞれ制御部２２０により撮像体２１1〜２１5毎に制御可能なスイッチ回路を設けることが考えられる。
この場合、制御部２２０は、データＩ／Ｆ２００６や通信Ｉ／Ｆ２００７を介してなされた指示に従い、撮像体２１1〜２１5のうち、撮像画像を用いるように選択された撮像体にトリガ信号を供給するためのスイッチ回路を閉状態とし、その他の撮像体にトリガ信号を供給するためのスイッチ回路を開状態とする。
また例えば、メモリコントローラ２００２による各バッファメモリ２１１ａ1〜２１１ａ5、および、各バッファメモリ２１１ｂ1〜２１１ｂ5からの読み出しを制御することで、撮像画像を選択することも考えられる。この場合、メモリコントローラ２００２は、データＩ／Ｆ２００６や通信Ｉ／Ｆ２００７を介してなされた指示に従った制御部２２０からの指示に応じて、各撮像体２１10〜２１15が含む各バッファメモリ２１１ａ1〜２１１ａ5、および、各バッファメモリ２１１ｂ1〜２１１ｂ5のうち、選択された撮像体に含まれるバッファメモリから撮像画像を読み出して、ＲＡＭ２００３に記憶させる。
さらに、各撮像体２１10〜２１15から撮像画像を使用する撮像体を選択する処理を、画像処理装置１００側で行うことも考えられる。この場合、撮像装置１ｂにおける撮像を通常通り行い、画像処理装置１００側で、撮像装置１ｂから取得した各撮像画像から、所望の撮像画像を選択する。
（実施形態の第２の変形例）
次に、実施形態の第２の変形例について説明する。図１９は、実施形態の第２の変形例に係る撮像装置の外観を概略的に示す。図１９において、撮像装置１ｃは、図１に示した撮像装置１ａと同様に、略直方体の筐体１０ｃの第１の面（前面）に、複数（この例では３個）の撮像レンズ２０ａ20、２０ａ21および２０ａ22と、シャッタボタン３０とが設けられる。撮像装置１ｃにおいて、撮像レンズ２０ａ20、２０ａ21および２０ａ22と、筐体１０ｃの第２の面（背面）に設けられる撮像レンズ２０ｂ20、２０ｂ21および２０ｂ22と、の底面からの高さが一致する組を含む各撮像体２１20、２１21および２１22については、図１を用いて説明した実施形態と同様であるので、ここでの説明を省略する。撮像部領域２ｃは、これら３の撮像体２１20、２１21および２１22を含む。
実施形態の第２の変形例に係る撮像装置１ｃは、上述した実施形態に係る撮像装置１ａに対して、各撮像体２１20、２１21および２１22間の間隔が、上述の距離ｄに対して短い距離ｄ6とされている。これにより、当該撮像装置１ｃは、実施形態に係る撮像装置１ａと比べて近距離の被写体に関する３次元復元モデルの作成に適している。また、図１９の例では、撮像装置１ｃは、３つの撮像体２１20、２１21および２１22が設けられ、図１に示した撮像装置１ａよりも撮像体の数が少ない。したがって、実施形態の第２の変形例に係る撮像装置１ｃは、実施形態に係る撮像装置１ａに対して、コストを抑えることが可能である。
（実施形態の第３の変形例）
次に、実施形態の第３の変形例について説明する。図２０は、実施形態の第３の変形例に係る撮像装置の外観を概略的に示す。図２０において、撮像装置１ｄは、複数の筐体１０ｄおよび１０ｅを組み合わせて構成される。撮像装置１ｄは、上面に筐体１０ｄの内部の回路を外部と接続するためのコネクタ１１が設けられている以外は、図１を用いて説明した実施形態に係る撮像装置１ａと同等である。
図２０において、筐体１０ｅは、図１に示した撮像装置１ａと同様に、略直方体の筐体１０ｅの第１の面（前面）に、複数（この例では５個）の撮像レンズ２０ａ30、２０ａ31、２０ａ32、２０ａ33および２０ａ34が設けられ、シャッタボタン３０は設けられない。筐体１０ｅにおいて、第２の面（背面）には、撮像装置１ａと同様に、撮像レンズ２０ｂ30、２０ｂ31、２０ｂ32、２０ｂ33および２０ｂ34が、それぞれ撮像レンズ２０ａ30、２０ａ31、２０ａ32、２０ａ33および２０ａ34と底面からの高さを一致させて設けられる。
また、筐体１０ｅにおいても、各撮像レンズ２０ａ30〜２０ａ34と、各撮像レンズ２０ｂ30〜２０ｂ34との、底面からの高さが一致する組を含む各撮像体２１30、２１31、２１32、２１33および２１34が形成される。各撮像体２１30〜２１34の構造は、図２に示した構造および構成と同様なので、ここでの説明を省略する。また、各撮像体２１30〜２１34は、図１５を用いて説明した構成と同様に、前面および背面それぞれについて、撮像素子、駆動部およびバッファメモリをそれぞれ含む。このように、筐体１０ｅは、各撮像体２１30〜２１34を含む撮像部領域２ｄを有し、操作部領域を有しない。
図１５および図１６を参照し、コネクタ１１は、例えば、制御部２２０（トリガＩ／Ｆ２００４）がトリガ信号を各撮像体２１30〜２１34に出力するための接続線と、メモリ２２１（メモリコントローラ２００２）と各撮像体２１30〜２１34が含む各バッファメモリとを接続する複数の接続線と、筐体１０ｄから筐体１０ｅに電力を供給するための電力線と、を接続する各端子を少なくとも含む。
筐体１０ｅは、底面に、このコネクタ１１に対応する各端子を含むコネクタを備える。例えば、筐体１０ｅは、図１５の構成から制御部２２０、メモリ２２１およびスイッチ２２２を除いた構成を含む。筐体１０ｅに設けられるコネクタは、各撮像体２１30〜２１34が含む各駆動部に１本の信号としてのトリガ信号を供給するための接続線と、各撮像体２１30〜２１34が含む各バッファメモリからの各接続線と、筐体１０ｅ内の各部に電力を供給するための電力線と、を接続する各端子を含む。
筐体１０ｄの上面に設けられたコネクタ１１と、筐体１０ｅの底面に設けられたコネクタとを接続することで、筐体１０ｄと筐体１０ｅとが電気的に接続される。このコネクタの接続により、筐体１０ｅの位置が筐体１０ｄに対して固定されると好ましい。
筐体１０ｄと筐体１０ｅとが電気的に接続された状態で、筐体１０ｄにおいてシャッタボタン３０が操作されると、制御部２２０は、トリガ信号を出力する。トリガ信号は、筐体１０ｄが含む各撮像体２１1〜２１5に供給されると共に、コネクタ１１を介して筐体１０ｅに入力され、筐体１０ｅが含む各撮像体２１30〜２１34に供給される。これにより、筐体１０ｄに設けられたシャッタボタン３０の操作に応じて、筐体１０ｅの各撮像体２１30〜２１35による撮像と、筐体１０ｄの各撮像体２１1〜２１5による撮像とを同期させることができる。
筐体１０ｅにおいて、各撮像体２１30〜２１34により撮像された撮像画像は、各撮像体２１30〜２１34が含むバッファメモリにそれぞれ記憶される。各バッファメモリに記憶された各撮像画像は、所定のタイミングで各バッファメモリから読み出され、コネクタ１１を介して筐体１０ｄに入力され、筐体１０ｄ内のメモリ２２１に供給される。
このように、実施形態の第３の変形例では、複数の筐体１０ｄおよび１０ｅを組み合わせて１つの撮像装置１ｄとして用いている。そのため、撮像装置を拡張して、例えばより高精度な３次元復元モデルの作成を可能にできる。また、実施形態の第３の変形例によれば、例えば筐体１０ｄに接続する筐体１０ｅの構成を複数、用意することで、筐体１０ｄおよび１０ｅを組み合わせた際の撮像装置１ｄの構成を、用途に応じて変更できる。
（実施形態の第４の変形例）
次に、実施形態の第４の変形例について説明する。実施形態の第４の変形例は、例えば図１の撮像装置１ａにおいて、複数の撮像体２１1〜２１5のうち１つを、撮像範囲を確認するためのファインダ画像を出力するために用いる。図２１は、実施形態の第４の変形例に係る撮像装置の一例の構成を示す。なお、図２１において、上述した図１５と共通する部分には同一の符号を付して、詳細な説明を省略する。また、この実施形態の第４の変形例に係る撮像装置１ｅの外観は、図１に示した撮像装置１ａと同様とすることができるため、ここでの説明を省略する。
図２１において、撮像装置１ｅは、図１５に示した撮像装置１ａの構成における各撮像体２１1〜２１5のうち撮像体２１1に対して、画像処理部２３０を追加している。この、撮像体２１1（または撮像体２１1〜２１5の何れか）に画像処理部２３０が追加された構成を、撮像体２２と呼ぶ。なお、画像処理部２３０は、制御部２２０に含まれる構成とすることができる。
撮像装置１ａの他の撮像体２１2〜２１5は、この撮像装置１ｅにもそのまま適用可能である。また、撮像装置１ｅにおいて、制御部２２０は、シャッタボタン３０の操作に応じたトリガ信号に加え、フレーム周期（例えば６０Ｈｚ）の信号であるフレーム信号を出力する。このフレーム信号は、撮像体２２に含まれる各駆動部２１０ａ1および２１０ｂ1と
、画像処理部２３０とに供給される。
撮像体２２において、駆動部２１０ａ1は、制御部２２０から供給されるフレーム信号に応じて、フレーム周期で撮像素子２００ａ1から電荷を読み出し、読み出した電荷に基づき撮像画像を出力する。駆動部２１０ａ1からフレーム周期で出力された撮像信号は、画像処理部２３０に供給される。
撮像体２２において、駆動部２１０ｂ1も同様に、制御部２２０から供給されるフレーム信号に応じて、フレーム周期で撮像素子２００ｂ1から電荷を読み出し、読み出した電荷に基づき撮像画像を出力する。駆動部２１０ｂ1からフレーム周期で出力された撮像画像は、画像処理部２３０に供給される。
画像処理部２３０は、例えば駆動部２１０ａ1および２１０ｂ1にそれぞれ対応し、それぞれ１フレーム分の撮像画像を記憶可能な２つのバッファメモリと、少なくとも１フレーム分のファインダ画像を記憶可能なビデオメモリと、２つの撮像画像を合成して全天球画像を生成する合成部と、を含む。駆動部２１０ａ1および２１０ｂ1からフレーム周期で供給された各撮像画像は、２つのバッファメモリにそれぞれ記憶される。合成部は、２つのバッファメモリにそれぞれ１フレーム分の撮像画像が記憶されると、これら２つのバッファメモリそれぞれから撮像画像を読み出して合成し、１枚の全天球画像を生成する。生成された全天球画像は、ビデオメモリに記憶される。
画像処理部２３０は、フレーム信号に応じて、ビデオメモリからフレーム周期で全天球画像を読み出して、ファインダ画像として出力する。画像処理部２３０から出力されたファインダ画像は、例えばデータＩ／Ｆ２００６（図１６参照）から外部に出力される。データＩ／Ｆ２００６に表示デバイスを備える表示装置を接続することで、ファインダ画像を表示装置の表示デバイスに表示させることができる。これに限らず、画像処理部２３０から出力されたファインダ画像を、通信Ｉ／Ｆ２００７から外部に出力してもよい。
また、撮像体２２において、各駆動部２１０ａ1および２１０ｂ1は、他の各駆動部２１０ａ2、…、２１０ａ5、および、各駆動部２１０ｂ2、…、２１０ｂ5と同様に、制御部２２０からシャッタボタン３０の操作に応じて出力されたトリガ信号に応じて、撮像素子２００ａ1および２００ｂ1から、それぞれ電荷を読み出し、撮像画像として出力する。
このように、実施形態の第４の変形例によれば、撮像装置１ｅが備える複数の撮像体のうち１つを、ファインダ画像を出力する撮像体２２としても用いている。そのため、撮像装置１ｅを用いることで、撮像範囲を確認しながら撮像を行うことが可能になり、撮像に要する時間を短縮することができる。また、ファインダ画像を取得するための撮像体を別途に設ける必要が無いため、コストを抑えることができる。ファインダ画像を出力する撮像体は、撮像装置１ｅが備える複数の撮像体のうち、例えば図１の撮像体２１1のように、撮像装置１ｅの筐体の最も端に配置された撮像体であることが好ましい。このような位置に配置された撮像体は、全天球画像の天頂部に外部を撮像可能であり、ファインダ画像に表示される外部領域が、他の位置に配置される撮像体に比べて大きくなるからである。
（実施形態の第５の変形例）
次に、実施形態の第５の変形例について説明する。図２２は、実施形態の第５の変形例に係る撮像装置１ｆの外観の概略を、上述した実施形態に係る撮像装置１ａの外観と比較して示す。なお、図２２において、上述した図１と共通する部分には同一の符号を付して、詳細な説明を省略する。また、撮像装置１ｆは、各撮像体２１1〜２１5の配置、および、回路構成は、上述した撮像装置１ａと同等であるので、ここでの説明を省略する。
実施形態に係る撮像装置１ａは、の右側に示されるように、筐体１０ａが、操作部領域３ａの長さＬ2が撮像部領域２ａの長さＬ1よりも短くなるように構成されている。なお、ここでいう長さは、筐体１０ａの長辺方向の長さである。実施形態の第５の変形例は、撮像装置１ｆの筐体１０ｆにおいて、シャッタボタン３０およびグリップ部３１’が含まれる操作部領域３ｂの長さＬ3が、撮像部領域２ａの長さＬ1よりも長くなるように構成している。
このように、筐体１０ｆを、操作部領域３ｂの長さＬ3がより長くなるように構成することで、撮像装置１ｆは、撮像装置１ａよりも高い位置での撮像が容易となる。また、操作部領域３ｆの長さＬ3をより長く構成することで、回路部２０３０やバッテリ２０２０（図１７参照）を格納するための空間をより大きく確保することが可能となり、設計自由度の向上や、バッテリ２０２０の大容量化を図ることができる。
なお、撮像部領域２ａの長さＬ1をより長く構成した場合には、各撮像体２１1〜２１5間の各距離ｄ（基線長Ｂ）をより大きな値とすることができ、より遠距離の被写体の距離情報を取得可能となる。
また、図２２では、撮像部領域２ａの長さＬ1より短い長さＬ2の操作部領域３ａを持つ撮像装置１ａと、撮像部領域２ａの長さＬ1より長い長さＬ3の操作部領域３ｂを持つ撮像装置１ｆと、が示されているが、これは、これらの例に限定されない。すなわち、例えば撮像装置１ａにおいて、撮像部領域２ａの長さＬ1と、操作部領域３ａの長さＬ2とが略等しくてもよい。
（実施形態の第６の変形例）
次に、実施形態の第６の変形例について説明する。図２３は、実施形態の第６の変形例に係る撮像装置の外観を概略的に示す。なお、図２３において、上述した図１と共通する部分には同一の符号を付して、詳細な説明を省略する。また、撮像装置１ｇは、各撮像体２１1〜２１5の配置、および、回路構成は、上述した撮像装置１ａと同等であるので、ここでの説明を省略する。
図２３において、撮像装置１ｇは、図１の撮像装置１ａと同様にして、筐体１０ｇに、撮像部領域２ａの下端側に、シャッタボタン３０ａおよびグリップ部３１ａを含む操作部領域３ｃが配される。撮像装置１ｇは、さらに、撮像部領域２ａの上端側に、シャッタボタン３０ｂおよびグリップ部３１ｂを含む操作部領域３ｄが配される。なお、グリップ部３１ａおよび３１ｂは、それぞれ、図１を用いて説明したグリップ部３１と同様に、より滑り難く形成されている。
撮像装置１ｇは、シャッタボタン３０ａおよび３０ｂの何れの操作によっても、各撮像体２１1〜２１5を同期させての撮像が可能となっている。図２４は、実施形態の第６の変形例に係る撮像装置の回路構成の例を示す。撮像装置１ｇの回路構成を概略的に示す。図２４において、上述した図１７と共通する部分には同一の符号を付して、詳細な説明を省略する。
図２４に示されるように、シャッタボタン３０ａおよび３０ｂの出力は、回路部２０３０に共通に供給される。これは、上述した図２０の構成において、シャッタボタン３０ａおよび３０ｂにそれぞれ対応する２つのスイッチ２２２が並列に制御部２２０に接続される状態に対応する。制御部２２０は、シャッタボタン３０ａおよび３０ｂの何れが操作された場合でも、トリガ信号を各撮像体２１1〜２１5に同時に供給する。これにより、各撮像体２１1〜２１5が同期して撮像を実行する。
このように、撮像装置１ｇの筐体１０ｇを、シャッタボタン３０ａおよび３０ｂがそれぞれ配置された操作部領域３ｃおよび３ｄが両端に配置された構造とすることで、ユーザは、撮像装置１ｇの筐体１０ｇの長辺方向の両端側、すなわち、操作部領域３ｃおよび３ｄの何れを保持した状態であっても、撮像を実行することができる。
図２４に示されるように、撮像装置１ｇは、さらに方向センサ２０４０を備えることができる。方向センサ２０４０は、少なくとも撮像装置１ｇの長辺に沿った向きについて上下方向を検知するセンサであって、例えば加速度センサを用いて構成できる。
方向センサ２０４０の出力は、撮像装置１ｇが操作部領域３ｃおよび３ｄの何れを上に（あるいは下に）して保持されているかを示す方向情報として回路部２０３０に供給され、制御部２２０に渡される。制御部２２０は、方向センサ２０４０から供給された方向情報を、各撮像体２１1〜２１5により撮像された各撮像画像に付加し、方向情報が付加された各撮像画像をメモリ２２１に記憶させる。
このようにすることで、ユーザは、メモリ２２１に記憶された各撮像画像を画像処理装置１００において処理する際に、各撮像画像の上下方向や位置関係を容易に把握することが可能となる。
また、方向センサ２０４０として、３軸の加速度センサと、３軸のジャイロセンサと、３軸の地磁気センサとが該一体的に形成された９軸センサを用いてもよい。この場合には、撮像装置１ｇの上下方向に加え、撮像装置１ｇの垂直方向に対する角度や、水平面における向きをさらに知ることができる。これにより、ユーザは、メモリ２２１に記憶された各撮像画像に基づき、より高精度に３次元復元モデルを生成することが可能となる。
（実施形態の第７の変形例）
次に、実施形態の第７の変形例について説明する。実施形態の第７の変形例は、上述した実施形態の第６の変形例による撮像装置１ｇの筐体１０ｇを、２つに分離して構成した例である。図２５および図２６は、実施形態の第７の変形例に係る撮像装置１ｈの外観を概略的に示す。図２５、ならびに、図２６（ａ）および図２６（ｂ）に示されるように、撮像装置１ｈは、２の筐体１０ｈ1と筐体１０ｈ2とを組み合わせて構成される。
図２５において、筐体１０ｈ1は、撮像体２１42、２１43および２１44を含む撮像部領域２ｅと、シャッタボタン３０ａ’およびグリップ部３１ａ’を含む操作部領域３ｅと、を含む。同様に、筐体１０ｈ2は、撮像体２１40および２１41を含む撮像部領域２ｆと、シャッタボタン３０ｂ’およびグリップ部３１ｂ’を含む操作部領域３ｆと、を含む。
なお、操作部領域３ｅおよび３ｆに含まれるグリップ部３１ａ’および３１ｂ’は、それぞれ、図１を用いて説明したグリップ部３１と同様に、より滑り難く形成されている。
ここで、筐体１０ｈ1は、シャッタボタン３０ａ’が配置される側の図における下端に接する面を底面、撮像体２１42が配置される側の図における上端に接する面を上面とする。筐体１０ｈ2も同様に、シャッタボタン３０ｂ’が配置される側の図における上端に接する面を底面、撮像体２１41が配置される側の図における下端に接する面を上面とする。
筐体１０ｈ1において、各撮像体２１42、２１43および２１44は、それぞれ筐体１０ｈ1の第１の面（前面）および第２の面（背面）に設けられる、撮像レンズ２０ａ42および２０ｂ42の組、撮像レンズ２０ａ43および２０ｂ43の組、ならびに、撮像レンズ２０ａ44および２０ｂ44の組、をそれぞれ含む。また、筐体１０ｈ2において、各撮像体２１40および２１41は、それぞれ第１の面および第２の面に設けられる、撮像レンズ２０ａ40および２０ｂ40の組、ならびに、撮像レンズ２０ａ40および２０ｂ41の組、をそれぞれ含む。
各撮像体２１40〜２１44は、筐体１０ｈ1および１０ｈ2の上面同士を接合して組み合わせた場合に、隣接する撮像体との距離がそれぞれ距離ｄとなるように、筐体１０ｈ1および１０ｈ2に配置される。
図２６（ａ）および図２６（ｂ）は、筐体１０ｈ1および１０ｈ2を分離させた状態を示す。筐体１０ｈ1および１０ｈ2それぞれの上面には、筐体１０ｈ1および１０ｈ2の間で電気的な接続を行うためのコネクタ３２ａおよび３２ｂが設けられる。また、コネクタ３２ａおよび３２ｂは、筐体１０ｈ1および１０ｈ2を結合した際に筐体１０ｈ1および１０ｈ2の位置関係が所定の関係となるように固定する機能も有している。
撮像装置１ｈは、シャッタボタン３０ａ’および３０ｂ’の何れの操作によっても、各撮像体２１40〜２１44を同期させての撮像が可能となっている。また、撮像装置１ｈは、各撮像体２１40〜２１44により撮像された各撮像画像を、筐体１０ｈ1および１０ｈ2の何れからも出力可能とすることができる。図２７（ａ）は、実施形態の第７の変形例に係る筐体１０ｈ1の回路構成の例、図２７（ｂ）は、実施形態の第７の変形例に係る筐体１０ｈ2の回路構成の例をそれぞれ示す。
図２７（ａ）に示されるように、筐体１０ｈ1は、バッテリ２０２０、回路部２０３０および方向センサ２０４０を含む。また、図２７（ｂ）に示されるように、筐体１０ｈ2は、それぞれ筐体１０ｈ1に含まれるバッテリ２０２０、回路部２０３０および方向センサ２０４０と同等のバッテリ２０２０’、回路部２０３０’および方向センサ２０４０’を含む。シャッタボタン３０ａ’の出力は、回路部２０３０に供給され、回路部２０３０内の制御部２２０に渡される。同様に、シャッタボタン３０ｂ’の出力は、回路部２０３０’に供給され、回路部２０３０’内の制御部２２０に渡される。
また、筐体１０ｈ1および１０ｈ2は、各撮像体２１40〜２１44の撮像を制御するためのトリガ信号と、各撮像体２１40〜２１44において撮像された各撮像画像と、をコネクタ３２ａおよび３２ｂを介して送受信することができる。
例えば、筐体１０ｈ1および１０ｈ2がコネクタ３２ａおよび３２ｂにより接続された状態でシャッタボタン３０ａ’が操作された場合、シャッタボタン３０ａ’の操作に応じて、筐体１０ｈ1の回路部２０３０内の制御部２２０によりトリガ信号が出力される。このトリガ信号は、筐体１０ｈ1内の各撮像体２１42〜２１44に供給されると共に、コネクタ３２ａおよび３２ｂを介して筐体１０ｈ2の各撮像体２１40および２１41に供給される。これにより、各撮像装置１ｈに含まれる各撮像体２１40〜２１44により同期して撮像が行われる。
筐体１０ｈ1において、シャッタボタン３０ａ’の操作に応じたトリガ信号により各撮像体２１42〜２１44で撮像された各撮像画像は、回路部２０３０に供給される。回路部２０３０内の制御部２２０は、各撮像体２１42〜２１44で撮像された各撮像画像に対して筐体１０ｈ1に含まれる方向センサ２０４０から供給された方向情報を付加し、方向情報が付加された各撮像画像を回路部２０３０内のメモリ２２１に記憶させる。
また、筐体１０ｈ2において、当該トリガ信号により各撮像体２１40および２１41で撮像された各撮像画像は、コネクタ３２ｂおよび３２ａを介して、筐体１０ｈ1内の回路部２０３０に供給される。当該回路部２０３０内の制御部２２０は、各撮像体２１40および２１41で撮像された各撮像画像に対して筐体１０ｈ1に含まれる方向センサ２０４０から供給された方向情報を付加し、方向情報が付加された各撮像画像を回路部２０３０内のメモリ２２１に記憶させる。
ユーザは、このメモリ２２１に記憶される、筐体１０ｈ1の各撮像体２１42〜２１44により撮像された各撮像画像と、筐体１０ｈ2の各撮像体２１40および２１41により撮像された各撮像画像と、を例えば画像処理装置１００に読み込ませる。これにより、筐体１０ｈ1に含まれる３の撮像体２１42〜２１44と、筐体１０ｈ2に含まれる２の撮像体２１40および２１41と、により同期して撮像された撮像画像に基づき、３次元復元モデルを生成することができる。
筐体１０ｈ2に設けられるシャッタボタン３０ｂ’が操作された場合も、同様である。すなわち、シャッタボタン３０ｂ’の操作に応じて、筐体１０ｈ2の回路部２０３０’内の制御部２２０によりトリガ信号が出力される。このトリガ信号は、筐体１０ｈ2内の各撮像体２１40および２１41に供給されると共に、コネクタ３２ｂおよび３２ａを介して筐体１０ｈ1内の各撮像体２１42〜２１44に供給され、各撮像体２１40〜２１44により同期して撮像が行われる。
各撮像体２１40および２１41で撮像された各撮像画像は、回路部２０３０’に供給され、回路部２０３０’内の制御部２２０により方向センサ２０４０’から供給された方向情報を付加されて、回路部２０３０’内のメモリ２２１に記憶される。また、筐体１０ｈ1において、各撮像体２１42〜２１44により撮像体２１40および２１41と同期して撮像された各撮像画像は、コネクタ３２ａおよび３２ｂを介して、筐体１０ｈ2内の回路部２０３０’に供給される。当該各撮像画像は、回路部２０３０’内の制御部２２０により方向センサ２０４０’から供給された方向情報が付加されて、回路部２０３０’内のメモリ２２１に記憶される。
このように、筐体１０ｈ2に設けられるシャッタボタン３０ｂ’の操作によっても、筐体１０ｈ1および１０ｈ2に分離して含まれる５の撮像体２１40〜２１44により同期して撮像された各撮像画像を得ることができる。
実施形態の第７の変形例に係る撮像装置１ｈは、上述のように、３の撮像体２１42〜２１44を含む筐体１０ｈ1と、２の撮像体２１40および２１41を含む筐体１０ｈ2と、に分離して構成されている。そのため、例えば筐体１０ｈ1において、各撮像体２１42〜２１44と回路部２０３０とを接続する配線を、例えば図１に示す、５の撮像体２１1〜２１5が同一の筐体１０ａに含まれる場合に比べて短縮することが可能である。また、これにより、基板配置の設計自由度の向上や、バッテリの大容量化を図ることが可能となる。
なお、上述では、各撮像体２１40〜２１44により撮像された各撮像画像を、シャッタボタン３０ａ’が操作された場合には筐体１０ｈ1が有するメモリ２２１に記憶させ、シャッタボタン３０ｂ’が操作された場合には、筐体１０ｈ2が有するメモリ２２１に記憶させているが、これはこの例に限定されない。例えば、シャッタボタン３０ａ’あるいはシャッタボタン３０ｂ’の操作に応じて撮像された各撮像画像を、筐体１０ｈ1および１０ｈ2が有する各メモリ２２１にそれぞれ記憶させてもよい。また、シャッタボタン３０ａ’の操作に応じて撮像された各撮像画像を筐体１０ｈ2に含まれるメモリ２２１に記憶させ、シャッタボタン３０ｂ’の操作に応じて撮像された各撮像画像を筐体１０ｈ2に含まれるメモリ２２１に記憶させてもよい。
（実施形態の第８の変形例）
次に、実施形態の第８の変形例について説明する。上述した実施形態では、図１および図３（ｂ）に示したように、撮像装置１ａにおいて、シャッタボタン３０が各撮像レンズ２０ａ1〜２０ａ5が整列する中心線Ｃ上に配置されているように説明した。これに対して、実施形態の第８の変形例では、シャッタボタン３０を、当該中心線Ｃから所定以上離れた位置に配置する。
図２８は、実施形態の第８の変形例に係る撮像装置の外観を概略的に示す。図２８において、撮像装置１ｉは、その筐体１０ｉにおいて、各撮像体２１1〜２１5が含まれる撮像部領域２ａに対して、シャッタボタン３０およびグリップ部３１ａを含む操作部領域３ｇが、略９０°の角度を以て設けられている。また、シャッタボタン３０は、各撮像体２１1〜２１5（各撮像レンズ２０ａ1〜２０ａ5）が整列する中心線Ｃから所定以上離れた位置に配置される。ここで、シャッタボタン３０の位置は、例えばシャッタボタン３０の端が、筐体１０ｉにおける撮像部領域２ａの、中心線Ｃ方向の延長線上に掛からない位置とすると好ましい。すなわち、第８の実施形態に係る撮像装置１ｉは、図２８に示されるように、複数の撮像体２１1〜２１5の延長線上にはシャッタボタン３０が存在せず、当該延長線上から所定以上離れた位置にシャッタボタン３０が配置されている。
なお、撮像装置１ｉは、各撮像体２１1〜２１5の配置、および、回路構成は、上述した撮像装置１ａと同等であるので、ここでの説明を省略する。
このように、シャッタボタン３０の位置を、中心線Ｃから所定以上離れた位置とすることで、シャッタボタン３０を操作するユーザの手指や器具類の各撮像体２１1〜２１5による各撮像画像への写り込みを抑制することができる。
なお、図２８では、操作部領域３ｇと撮像部領域２ａとが略９０°の角度を有するように示したが、操作部領域３ｇと撮像部領域２ａとの角度関係は、略９０°に限定されない。すなわち、シャッタボタン３０は、各撮像体２１1〜２１5が整列する中心線Ｃから所定以上離れた位置に配置されればよい。
（実施形態の第９の変形例）
次に、実施形態に第９の変形例について説明する。上述した実施形態では、各撮像体２１1〜２１5に対する撮像を指示するためのシャッタボタン３０が撮像装置１ａの筐体１０ａに配置されていた。これは、上述した実施形態の各変形例でも同様である。これに対して、実施形態の第９の変形例は、撮像装置１ａの筐体１０ａの外部から各撮像体２１1〜２１5への撮像を指示できるようにしたものである。
図２９および図３０は、それぞれ、実施形態の第９の変形例に係る撮像装置について、外観の概略と、制御部２２０’およびメモリ２２１の一例の構成と、を示す。なお、図２９および図３０において、上述した図１および図１６と共通する部分には同一の符号を付して、詳細な説明を省略する。
実施形態の第９の変形例に係る撮像装置１ｊは、図３０に例示されるように、制御部２２０’に無線通信を行う無線通信Ｉ／Ｆ２００９を含む。上述したバッテリ２０２０からの電力は、この無線通信Ｉ／Ｆ２００９にも供給される。撮像装置１ｊは、無線送信機３３に設けられたシャッタボタン３０’の操作に応じて無線送信機３３から送信される、撮像を指示するための信号３４を無線通信Ｉ／Ｆ２００９により受信する。撮像装置１ｊにおいて、制御部２２０’は、受信した信号３４に応じて、各撮像体２１1〜２１5に対する撮像を指示する。図２９の例では、撮像装置１ｊにおける筐体１０ｊの、操作部領域３ａ’のグリップ部３１ｃには、シャッタボタンが配されていない。
無線送信機３３と無線通信Ｉ／Ｆ２００９との間でなされる通信の方式は、特に限定されない。例えば、無線送信機３３と無線通信Ｉ／Ｆ２００９との間の通信の通信方式として、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮを適用することが考えられる。また、この通信に、撮像装置１ｊの独自の通信方式を適用することもできる。さらに、この通信は、電波による通信に限らず、光、音など他の媒体を用いて行ってもよい。さらにまた、この通信は、無線に限らず、有線で行ってもよい。
（付記）
上述の実施形態および各変形例の他の対応によれば、撮像装置は、第１の全天球撮像手段と、第２の全天球撮像手段とを有し、該第２の全天球撮像手段と前記第１の全天球撮像手段とが共通の筐体に一体的に設けられる。
また、撮像装置は、少なくとも２つの全天球撮像手段と、把持部と、が共通の筐体に一体的に設けられる。
また、撮像装置は、少なくとも2つの全天球撮像手段と、回路基板を有する制御手段とが共通の筐体に一体的に設けられる。
また、撮像装置は、少なくとも２つの全天球撮像手段と、２該つの全天球撮像手段に電力を供給する電力供給手段とを有し、該電力供給手段と前記２つの全天球撮像手段とが共通の筐体に一体的に設けられる。
また、撮像装置は、少なくとも２つの全天球撮像手段と、シャッタボタンとが共通の筐体に一体的に設けられる。
なお、上述の各実施形態は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。
１ａ，１ｂ，１ｃ，１ｄ，１ｅ，１ｆ，１ｇ，１ｈ，１ｉ，１ｊ 撮像装置
２ａ，２ｂ，２ｃ，２ｄ，２ｅ，２ｆ 撮像部領域
３ａ，３ａ’，３ｂ，３ｃ，３ｄ，３ｅ，３ｆ，３ｇ 操作部領域
１０ａ，１０ｂ，１０ｃ，１０ｄ，１０ｅ，１０ｆ，１０ｇ，１０ｈ1，１０ｈ2，１０ｉ，１０ｊ 筐体
１１，３２ａ，３２ｂ コネクタ
２１，２１1，２１2，２１3，２１4，２１5，２１10，２１11，２１12，２１13，２１14，２１15，２１20，２１21，２１22，２１30，２１31，２１32，２１33，２１34，２１40，２１41，２１42，２１43，２１44 撮像体
３０，３０’，３０ａ，３０ａ’，３０ｂ，３０ｂ’ シャッタボタン
３１，３１ａ，３１ａ’，３１ｂ，３１ｂ’，３１ｃ グリップ部
１００ 画像処理装置
２００ａ，２００ｂ，２００ａ1，２００ａ2，２００ａ5，２００ｂ1，２００ｂ2，２００ｂ5 撮像素子
２１０ａ1，２１０ａ2，２１０ａ5，２１０ｂ1，２１０ｂ2，２１０ｂ5 駆動部
２１１ａ1，２１１ａ2，２１１ａ5，２１１ｂ1，２１１ｂ2，２１１ｂ5 バッファメモリ
２２０ 制御部
２２１ メモリ
２２２ スイッチ
２３０ 画像処理部
３００1，３００2，３００3，３００4，３００5 全天球画像
２０００ ＣＰＵ
２００２ メモリコントローラ
２００３ ＲＡＭ
２００４ トリガＩ／Ｆ
２００５ スイッチ回路
２００６ データＩ／Ｆ
２００７ 通信Ｉ／Ｆ
２０２０，２０２０’ バッテリ
２０３０，２０３０’ 回路部
２０４０，２０４０’ 方向センサ
特許第５０１１５２８号公報 特開２０１３−２１８２７８号公報 特許第５７８３３１４号公報 特許第５８３９１３５号公報

Claims (17)

  1. 光軸を中心とした、該光軸の第１の方向に向けた半球を含む範囲を撮像可能な第１の光学素子と、該光軸を中心とした、該光軸の該第１の方向と逆方向の第２の方向に向けた半球を含む範囲を撮像可能な第２の光学素子と、をそれぞれ含み、該光軸と直交する方向に整列して配置される複数の撮像体と、
    前記複数の撮像体を同期させて撮像制御して、該複数の撮像体それぞれから撮像画像を取得する撮像制御部と、
    を備える撮像装置。
  2. 前記複数の撮像体のうち少なくとも１つの撮像体は、一方に隣接して配置される撮像体との間隔と、他方に隣接して配置される撮像体との間隔とが異なる
    請求項１に記載の撮像装置。
  3. 前記撮像制御部は、
    前記複数の撮像体のうち前記撮像画像を用いる複数の撮像体を選択する
    請求項１または請求項２に記載の撮像装置。
  4. 前記複数の撮像体以外の要素のうち、少なくとも該複数の撮像体に電力を供給する電力供給部を、該複数の撮像体が整列して配置される列の延長上に配置する
    請求項１乃至請求項３の何れか１項に記載の撮像装置。
  5. 前記撮像制御部は、
    前記複数の撮像体のうち１つの撮像体をさらに所定周期で撮像制御し、該所定周期で撮像された前記撮像画像それぞれを出力する
    請求項１乃至請求項４の何れか１項に記載の撮像装置。
  6. 前記複数の撮像体のそれぞれは、
    前記光軸の方向を中心として光が入射されるレンズと、
    前記複数の撮像体が整列して配置される列の方向から入射される光を受光する受光素子と、
    前記レンズから射出された光を前記受光素子に受光させる光路変換器と、
    を含む
    請求項１乃至請求項５の何れか１項に記載の撮像装置。
  7. 前記撮像制御部に対して前記撮像制御を指示するためのユーザ操作を受け付けるシャッタボタンを含む操作部領域が、前記複数の撮像体が配置される列の両端にそれぞれ設けられる
    請求項１乃至請求項６の何れか１項に記載の撮像装置。
  8. 前記撮像制御部は、
    前記複数の撮像体と、当該撮像装置に対して前記複数の撮像体が整列して配置される列の方向に配置される、当該撮像装置が含まれる第１の筐体とは異なる第２の筐体に含まれる前記複数の撮像体と、を同期させて撮像制御する
    請求項１乃至請求項６の何れか１項に記載の撮像装置。
  9. 前記撮像制御部は、
    前記複数の撮像体と、当該撮像装置に対して前記複数の撮像体が整列して配置される列の方向に配置される、他の前記撮像装置が備える前記複数の撮像体と、を同期させて撮像制御する
    請求項１乃至請求項６の何れか１項に記載の撮像装置。
  10. 前記撮像制御部に対して前記撮像制御を指示するためのユーザ操作を受け付けるシャッタボタンを含む操作部領域が設けられる、前記複数の撮像体が配置される列の端に対向する端に設けられる、他の前記撮像装置と通信を行うと共に該他の前記撮像装置との位置関係を固定するための接続部
    をさらに備える
    請求項９に記載の撮像装置。
  11. 前記撮像制御部に対して前記撮像制御を指示するためのユーザ操作を受け付けるシャッタボタンを含む操作部領域の長さが、前記複数の撮像体を含む撮像部領域の長さより長い請求項１乃至請求項６の何れか１項に記載の撮像装置。
  12. 前記撮像制御部に対して前記撮像制御を指示するためのユーザ操作を受け付けるシャッタボタンを含む操作部領域の長さが、前記複数の撮像体を含む撮像部領域の長さより短い請求項１乃至請求項６の何れか１項に記載の撮像装置。
  13. 前記撮像制御部に対して前記撮像制御を指示するためのユーザ操作を受け付けるシャッタボタンが、前記複数の撮像体が配置される列を延長した線上から所定以上の距離を離して配置される
    請求項１乃至請求項６の何れか１項に記載の撮像装置。
  14. 前記複数の撮像体のそれぞれは、画角が１８０°以上の光学レンズを含む
    請求項１乃至請求項１３の何れか１項に記載の撮像装置。
  15. 前記複数の撮像体のうち、最も端に配置された撮像体は、ファインダ画像を出力する
    請求項１乃至請求項１４の何れか１項に記載の撮像装置。
  16. 撮像装置を制御する撮像装置の制御方法であって、
    光軸を中心とした、該光軸の第１の方向に向けた半球を含む範囲を撮像可能な第１の光学素子と、該光軸を中心とした、該光軸の該第１の方向と逆方向の第２の方向に向けた半球を含む範囲を撮像可能な第２の光学素子と、をそれぞれ含み、該光軸と直交する方向に整列して配置される複数の撮像体を同期させて撮像制御して、該複数の撮像体それぞれから撮像画像を取得する撮像制御ステップ
    を備える撮像装置の制御方法。
  17. 光軸を中心とした、該光軸の第１の方向に向けた半球を含む範囲を撮像可能な第１の光学素子と、該光軸を中心とした、該光軸の該第１の方向と逆方向の第２の方向に向けた半球を含む範囲を撮像可能な第２の光学素子と、を有する撮像体が２つ以上配置される撮像装置。
JP2018010007A 2017-01-31 2018-01-24 撮像装置 Active JP7180074B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18705997.7A EP3577893A1 (en) 2017-01-31 2018-01-31 Imaging apparatus
CN201880009062.5A CN110268701B (zh) 2017-01-31 2018-01-31 成像设备
PCT/JP2018/003312 WO2018143311A1 (en) 2017-01-31 2018-01-31 Imaging apparatus
US16/482,162 US11039120B2 (en) 2017-01-31 2018-01-31 Imaging apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017016318 2017-01-31
JP2017016318 2017-01-31
JP2018004161 2018-01-15
JP2018004161 2018-01-15

Publications (2)

Publication Number Publication Date
JP2019118090A true JP2019118090A (ja) 2019-07-18
JP7180074B2 JP7180074B2 (ja) 2022-11-30

Family

ID=67305427

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018010007A Active JP7180074B2 (ja) 2017-01-31 2018-01-24 撮像装置

Country Status (4)

Country Link
US (1) US11039120B2 (ja)
EP (1) EP3577893A1 (ja)
JP (1) JP7180074B2 (ja)
CN (1) CN110268701B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021003276A (ja) * 2019-06-26 2021-01-14 京楽産業．株式会社 遊技機
US11914039B2 (en) 2019-03-20 2024-02-27 Ricoh Company, Ltd. Range finding device and range finding method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111025137A (zh) * 2019-12-13 2020-04-17 苏州华电电气股份有限公司 敞开式隔离开关状态感知装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010245691A (ja) * 2009-04-02 2010-10-28 Fujifilm Corp 複眼撮像装置
JP2012253626A (ja) * 2011-06-03 2012-12-20 Canon Inc 撮影装置およびその制御方法
JP2013218278A (ja) * 2012-03-16 2013-10-24 Ricoh Co Ltd 撮像システム
JP2014107631A (ja) * 2012-11-26 2014-06-09 Nikon Corp 画像生成方法及び装置
WO2015122108A1 (ja) * 2014-02-17 2015-08-20 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR101675567B1 (ko) * 2016-03-29 2016-11-22 주식회사 투아이즈테크 파노라마 촬영장치, 파노라마 촬영 시스템, 이를 이용한 파노라마 영상 생성 방법, 컴퓨터 판독가능 기록매체 및 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5011528B1 (ja) 1968-02-13 1975-05-02
JPS5839135B2 (ja) 1978-07-03 1983-08-27 ダイキン工業株式会社 ポリフルオロアルコ−ル類の製法
JP2005063013A (ja) 2003-08-08 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> 全方位カメラの視点運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体
JP2005063012A (ja) 2003-08-08 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> 全方位カメラ運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体
US20070147827A1 (en) * 2005-12-28 2007-06-28 Arnold Sheynman Methods and apparatus for wireless stereo video streaming
JP5011528B2 (ja) 2006-10-06 2012-08-29 国立大学法人岩手大学 ３次元距離計測センサおよび３次元距離計測方法
TWI500364B (zh) 2008-03-05 2015-09-11 美國伊利諾大學理事會 可延展且可折疊的電子裝置
JP6123274B2 (ja) 2012-03-08 2017-05-10 株式会社リコー 撮像装置
JP6417886B2 (ja) 2013-12-12 2018-11-07 株式会社リコー 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム
JP6547292B2 (ja) 2014-02-05 2019-07-24 株式会社リコー 画像処理装置、機器制御システム、および画像処理プログラム
JP5843033B1 (ja) 2014-05-15 2016-01-13 株式会社リコー 撮像システム、撮像装置、プログラムおよびシステム
JP5843034B1 (ja) 2014-05-15 2016-01-13 株式会社リコー 動画表示装置およびプログラム
JP6648411B2 (ja) 2014-05-19 2020-02-14 株式会社リコー 処理装置、処理システム、処理プログラム及び処理方法
US9843789B2 (en) 2014-09-08 2017-12-12 Panasonic Intellectual Property Management Co., Ltd. Still-image extracting method and image processing device for implementing the same
JP5783314B2 (ja) 2014-09-30 2015-09-24 株式会社リコー 全天球型光学系および撮像システム
US9521321B1 (en) * 2015-02-11 2016-12-13 360 Lab Llc. Enabling manually triggered multiple field of view image capture within a surround image mode for multi-lens mobile devices
JP5839135B2 (ja) 2015-03-31 2016-01-06 株式会社リコー 全天球型光学系及び撮像装置
US20170078653A1 (en) * 2015-09-15 2017-03-16 Qualcomm Incorporated Systems and methods for producing a surround view
US10523923B2 (en) * 2015-12-28 2019-12-31 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
US10430994B1 (en) * 2016-11-07 2019-10-01 Henry Harlyn Baker Techniques for determining a three-dimensional textured representation of a surface of an object from a set of images with varying formats

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010245691A (ja) * 2009-04-02 2010-10-28 Fujifilm Corp 複眼撮像装置
JP2012253626A (ja) * 2011-06-03 2012-12-20 Canon Inc 撮影装置およびその制御方法
JP2013218278A (ja) * 2012-03-16 2013-10-24 Ricoh Co Ltd 撮像システム
JP2014107631A (ja) * 2012-11-26 2014-06-09 Nikon Corp 画像生成方法及び装置
WO2015122108A1 (ja) * 2014-02-17 2015-08-20 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR101675567B1 (ko) * 2016-03-29 2016-11-22 주식회사 투아이즈테크 파노라마 촬영장치, 파노라마 촬영 시스템, 이를 이용한 파노라마 영상 생성 방법, 컴퓨터 판독가능 기록매체 및 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11914039B2 (en) 2019-03-20 2024-02-27 Ricoh Company, Ltd. Range finding device and range finding method
JP2021003276A (ja) * 2019-06-26 2021-01-14 京楽産業．株式会社 遊技機

Also Published As

Publication number Publication date
EP3577893A1 (en) 2019-12-11
CN110268701B (zh) 2021-05-28
JP7180074B2 (ja) 2022-11-30
CN110268701A (zh) 2019-09-20
US11039120B2 (en) 2021-06-15
US20190394447A1 (en) 2019-12-26

Similar Documents

Publication Publication Date Title
CN106871878B (zh) 手持测距装置及利用其创建空间模型的方法、存储介质
CN110462686B (zh) 用于从场景获得深度信息的设备和方法
US20110249117A1 (en) Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program
JP2016057108A (ja) 演算装置、演算システム、演算方法およびプログラム
JP7073850B2 (ja) 入力装置および入力装置の入力方法
JP3732335B2 (ja) 画像入力装置及び画像入力方法
JP2002054912A (ja) 形状計測システムと撮像装置と形状計測方法及び記録媒体
JP6969121B2 (ja) 撮像システム、画像処理装置および画像処理プログラム
WO1999035855A1 (en) Method of determining relative camera orientation position to create 3-d visual images
WO2014100950A1 (en) Three-dimensional imaging system and handheld scanning device for three-dimensional imaging
US6839081B1 (en) Virtual image sensing and generating method and apparatus
JP2005017262A (ja) ３次元測量装置及びこれを用いた３次元空間物体復元方法
CN108351201A (zh) 物体测定装置及物体测定方法
JP2019118090A (ja) 撮像装置および撮像装置の制御方法
CN113870366B (zh) 基于位姿传感器的三维扫描系统的标定方法及其标定系统
JP4077385B2 (ja) 画像処理を用いたグローバル座標取得装置
JP6859447B2 (ja) 情報処理システムおよび対象物情報取得方法
JP2006170688A (ja) ステレオ画像作成方法及び３次元データ作成装置
JP2007033087A (ja) キャリブレーション装置及び方法
JP3758830B2 (ja) 画像選択装置およびこの画像選択装置を備えたカメラ
JP7414090B2 (ja) 撮像装置および撮像装置の制御方法
JPH1023465A (ja) 撮像方法及び装置
WO2018143311A1 (en) Imaging apparatus
JP5767575B2 (ja) 位置計測装置及び位置計測システム
US20240112406A1 (en) Bar arrangement inspection result display system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221031

R151 Written notification of patent or utility model registration

Ref document number: 7180074

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151