JP2015061125A

JP2015061125A - 画像撮影装置及び画像撮影方法

Info

Publication number: JP2015061125A
Application number: JP2013192137A
Authority: JP
Inventors: 仁土川; Hitoshi Tsuchikawa; 啓之佐藤; Hiroyuki Sato; 下村　道夫; Michio Shimomura; 道夫下村; 典佳内田; Noriyoshi Uchida; 内田　直樹; Naoki Uchida; 直樹内田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2013-09-17
Filing date: 2013-09-17
Publication date: 2015-03-30
Anticipated expiration: 2033-09-17
Also published as: JP6022428B2

Abstract

【課題】円形画像を高解像度で撮影するためのシステムを安価に構築する。
【解決手段】本発明に係る画像撮影装置１０は、光束を２つに分割する光束分割部１１０と、光束分割部１１０によって２つに分割された光束を、それぞれ受光して撮影する２つの撮像素子（１２１、１２２）とを備え、２つの撮像素子（１２１、１２２）は、同期して動作し、２つの撮像素子（１２１、１２２）が受光する範囲を合わせると略正方形となるように、光束の光軸中心から各撮像素子（１２１、１２２）の中心がずらして配置されている。
【選択図】図２

Description

本発明は、画像撮影装置及び画像撮影方法に関し、特に、全方位画像を撮影する画像撮影装置及び画像撮影方法に関する。

従来、撮影装置を中心にした全方位画像を取得するための光学系として、全周魚眼レンズや、全方位カメラ（例えば、非特許文献１及び２）が知られている。これらの光学系を用いた撮影装置は、通常、円形の画像を撮影する。

また、入射した光の一部を反射させ、一部を透過させる光学装置として、ビームスプリッタがよく知られており、反射光と入射光の強度が等しいハーフミラーは、様々な光学機器に用いられている。

また、高解像度の撮像素子として、スーパーハイビジョン用の撮像素子などが知られている（例えば、非特許文献３）。

十河卓司、石黒浩、「分散全方位視覚システムの研究」、情報処理学会論文誌、2001年12月、Vol.42、No.SIG13（CVIM3）石黒浩、「分散全方位視覚による人間行動の認識」、コンピュータビジョンとイメージメディア、2002年1月17日、131-4 山下誉行、三谷公二、菅原正幸、島本洋、岡野文男、「走査線４０００本級４板式超高精細動画カメラ」、映像情報メディア学会誌、2004年、Vol.58、No.3、p.383-391

魚眼レンズや全方位カメラ等を用いた超広角な画像取得においては、円形の画像を撮影するため、円形又は正方形の撮像素子を用いると効率的に画像を取得することができる。

しかしながら、高解像度化が進んできている撮像素子の形状は、例えばハイビジョンの１６：９などのように、ほとんどが横長の長方形である。

長方形の撮像素子は、流通量が多く安価ではあるが、円形の画像を長方形の撮像素子を用いて撮影すると、撮像素子の半分以上の範囲が無駄になってしまい、解像度をあまり上げることができないという問題があった。

また、正方形の撮像素子は流通量が少なく高価であるため、正方形の撮像素子を用いると安価にシステム構築をすることが困難であるという問題があった。

したがって、かかる点に鑑みてなされた本発明の目的は、流通量が多く安価な横長の長方形の撮像素子を用いて、円形の画像を高解像度で撮影することにより、円形画像を高解像度で撮影するためのシステムを安価に構築することができる画像撮影装置及び画像撮影方法を提供することにある。

上記課題を解決するため、本発明に係る画像撮影装置は、光束を２つに分割する光束分割部と、前記光束分割部によって２つに分割された光束を、それぞれ受光して撮影する２つの撮像素子とを備え、前記２つの撮像素子は、同期して動作し、前記２つの撮像素子が受光する範囲を合わせると略正方形となるように、前記光束の光軸中心から前記各撮像素子の中心がずらして配置されていることを特徴とするものである。

また、上記課題を解決するため、本発明に係る画像撮影方法は、同期して動作する２つの撮像素子を、前記２つの撮像素子が受光する範囲を合わせると略正方形となるように、光束の光軸中心から前記各撮像素子の中心をずらして配置するステップと、光束を２つに分割する分割ステップと、前記分割ステップによって２つに分割された光束を、前記２つの撮像素子によってそれぞれ受光して撮影するステップとを含むものである。

本発明によれば、流通量が少なく高価な正方形の撮像素子を用いず、流通量が多く安価な横長の長方形の撮像素子を用いて、円形の画像を高解像度で無駄が少なく撮影することにより、円形画像を高解像度で撮影するためのシステムを安価に構築することができる。

本発明の第１実施形態に係る画像撮影装置の概略構成を示す図である。本発明の第１実施形態に係る画像撮影装置における撮像素子、光軸中心及び全方位画像の位置関係を概念的に示す図である。本発明の第２実施形態に係る画像撮影装置の概略構成を示す図である。本発明の第２実施形態に係る画像撮影装置における撮像素子、光軸中心及び全方位画像の位置関係を概念的に示す図である。本発明の第３実施形態に係る画像撮影装置の概略構成を示す図である。

以下、本発明に係る実施形態について、図面を参照して説明する。

（第１実施形態）
図１は、本発明の第１実施形態に係る画像撮影装置の概略構成を示す図である。本発明の第１実施形態に係る画像撮影装置１０は、全方位ミラー１００と、ハーフミラー１１０と、２つの撮像素子１２１及び１２２と、画像合成部１３０とを備える。２つの撮像素子１２１及び１２２については、必要に応じて、それぞれ、第１の撮像素子１２１及び第２の撮像素子１２２と称する。

全方位ミラー１００は、全方位を撮影するための光学系である。

ハーフミラー１１０は、光束を２つに分割する光束分割部であり、全方位ミラー１００から入射した光束２０１を、強さが１：１の比率の２つの光束２０２及び２０３に分割する。図１に示す例においては、光束２０２がハーフミラー１１０を透過する光束であり、光束２０３がハーフミラー１１０によって反射される光束である。

なお、本実施形態においては、光束分割部としてハーフミラー１１０を用いる場合を例に挙げて説明しているが、光束分割部は、光束を１：１の比率に分割するものに限るものではなく、他の比率に分割する光学系であってもよい。

撮像素子１２１及び１２２は、ハーフミラー１１０からの光束を受光して撮影する。図１に示す例においては、第１の撮像素子１２１がハーフミラー１１０の透過光２０２を受光し、第２の撮像素子１２２がハーフミラー１１０の反射光２０３を受光する。

撮像素子１２１及び１２２は、撮影の際、同期して動作する。

画像合成部１３０は、撮像素子１２１及び１２２が撮影した画像を取得し、各撮像素子１２１及び１２２が撮影した画像を合成して一枚の画像を生成する。

通常の撮影系においては、光軸の中心は撮像素子の中心に配置される。しかしながら、本発明に係る画像撮影装置１０においては、２つの撮像素子１２１及び１２２による撮影画像を合成した一枚の画像に、円形の全方位画像が収まるように、それぞれの撮像素子１２１及び１２２の偏った位置に光軸中心がくるように、撮像素子１２１及び１２２は配置される。撮像素子１２１及び１２２は、それぞれ、半円（＋α）の領域を撮影している。

図２に、本発明の第１実施形態に係る画像撮影装置における撮像素子、光軸中心及び全方位画像の位置関係を概念的に示す。図２において、符号２１１は円形の全方位画像を示し、符号２１２は光軸中心を示す。また、撮像素子１２１及び１２２は、ハーフミラー１１１から見た撮像素子１２１及び１２２の位置関係によって示されている。なお、図２においては、２つの撮像素子１２１及び１２２の位置関係を把握しやすくするため、２つの撮像素子１２１及び１２２の左右をずらして示しているが、実際には左右方向は一致している。

図２に示すように、第１の撮像素子１２１は、その中心が光軸中心２１２からずれるように配置されており、第２の撮像素子１２２も、その中心が光軸中心２１２からずれるように配置されている。

例えば、２つの撮像素子１２１及び１２２は、ＦｕｌｌＨＤの１９２０画素×１０８０ラインを有する撮像素子であり、左上が原点であるとする。この場合において、第１の撮像素子１２１を、（９６０、９６０）の位置に光軸中心がくるように配置し、第２の撮像素子１２２を、（９６０、１２０）の位置に光軸中心がくるように配置すると、第１の撮像素子１２１の８４０〜１０７９ラインと、第２の撮像素子１２２の０〜２３９ラインとは重複し、同じ範囲を撮影する。また、２つの撮像素子１２１及び１２２で、縦方向に１９２０ライン分の画像を撮影することができる。

このように、撮像素子１２１及び１２２の中心が光軸中心からずらして配置されていることにより、図２に示すように、撮像素子１２１及び１２２が撮影する範囲を合わせると正方形の撮像素子で撮影した場合と同等の画像を取得することができる。

なお、本実施形態においては、撮像素子１２１及び１２２が撮影する範囲を合わせると正方形の撮像素子で撮影した場合と同等の画像を取得することができる場合を説明したが、これは厳密な正方形に限るものではなく、正方形に近い長方形であってもよい。以後、正方形又は正方形に近い長方形を含む形状を「略正方形」と称することとする。

また、本実施形態においては、図１に示すように、第２の撮像素子１２２は、ハーフミラー１１０によって反射された光束を受光している。したがって、図２に示すように、２つの撮像素子１２１及び１２２で撮影した画像を合成するためには、第２の撮像素子１２２で撮影した画像を反転させて画素の並び方向が同一になるようにする必要がある。本実施形態においては、主走査線方向（横方向）が反転している撮像素子を、第２の撮像素子１２２として用いている。なお、第２の撮像素子１２２を、副走査線方向（縦方向）を反転させた撮像素子としてもよい。

また、本実施形態においては、画像を上下に分割するように、ハーフミラー１１０と、２つの撮像素子１２１及び１２２を配置しているが、これは一例である。撮影される全方位画像は円形であるため、向きは問わない。

画像合成部１３０で画像を合成する際、２つの撮像素子１２１及び１２２で撮影した画像の露出やホワイトバランスに違いがあると、合成した部分の境界がはっきりわかってしまう場合がある。

上記問題を解決するため、画像合成部１３０は、例えば、２つの撮像素子１２１及び１２２で重複して撮影している部分の画像を比較し、２つの画像の露出やホワイトバランスが同等になるように撮像素子１２１及び１２２の露出等のパラメータを調整する。

また、上記問題を解決するため、画像合成部１３０は、例えば、２つの撮像素子１２１及び１２２で撮影した画像にまたがって測光を行い、それぞれの撮像素子１２１及び１２２で撮影した画像が同等になるように撮像素子１２１及び１２２の露出を調整する。

（第２実施形態）
図３は、本発明の第２実施形態に係る画像撮影装置の概略構成を示す図である。第２実施形態においては、第１実施形態と同様又は類似の機能を有する構成要素については、第１実施形態と同じ符号を用いる。以下、第１実施形態との相違点について主に説明し、共通する内容については説明を省略する。

本発明の第２実施形態に係る画像撮影装置２０は、第２の撮像素子１２２の配置が第１実施形態に係る画像撮影装置１０と異なる。本実施形態においては、２つの撮像素子１２１及び１２２で撮影した画像を並べた際に、主走査線方向の順方向が同じで副走査線方向が逆になるように、第２の撮像素子１２２が配置され、画像合成部１３０は、第２の撮像素子１２２の画像を、副走査線方向を逆順にして読み込む。

図４に、本発明の第２実施形態に係る画像撮影装置における撮像素子、光軸中心及び全方位画像の位置関係を概念的に示す。本実施形態によれば、２つの撮像素子１２１及び１２２の主走査線方向の順方向が同じになるように、第２の撮像素子１２２が配置されているため、第２の撮像素子１２２を、主走査線方向（横方向）が反転しているような特殊な撮像素子とする必要がなくなる。

（第３実施形態）
図５は、本発明の第３実施形態に係る画像撮影装置の概略構成を示す図である。第３実施形態においては、第１実施形態と同様又は類似の機能を有する構成要素については、第１実施形態と同じ符号を用いる。以下、第１実施形態との相違点について主に説明し、共通する内容については説明を省略する。

本発明の第３実施形態に係る画像撮影装置３０は、ハーフミラー１１０と第２の撮像素子１２２との間にミラー１４０が配置され、ハーフミラー１１０の反射光をミラー１４０が反射し、その光束を第２の撮像素子１２２が受光する点で第１実施形態に係る画像撮影装置１０と異なる。

このように、第２の撮像素子１２２が、ハーフミラー１１０とミラー１４０によって２回反射された光束を受光することにより、２つの撮像素子１２１及び１２２が撮影した画像をそのまま合成することができ、第２の撮像素子１２２を、主走査線方向（横方向）が反転しているような特殊な撮像素子とする必要がなくなる。

なお、本実施形態においては、ハーフミラー１１０と第２の撮像素子１２２との間にミラー１４０を配置する場合を例として説明したが、ハーフミラー１１０と第１の撮像素子１２１との間にミラー１４０を配置する構成としてもよい。

このように、本発明に係る画像撮影装置によれば、２つの撮像素子１２１及び１２２が受光する範囲を合わせると略正方形となるように、光軸中心から各撮像素子１２１及び１２２の中心がずらして配置されていることにより、流通量が多く安価な横長の長方形の撮像素子を用いて、円形の画像を高解像度で無駄が少なく撮影することができ、円形画像を高解像度で撮影するためのシステムを安価に構築することができる。

また、２つの撮像素子１２１及び１２２で重複して撮影する範囲の画像の露出が同等になるように、画像合成部１３０が撮像素子１２１及び１２２の露出を調整することにより、画像を合成した部分の境界が目立たないようにすることができる。

また、２つの撮像素子１２１及び１２２で撮影した画像にまたがって測光を行い、画像合成部１３０が２つの撮像素子１２１及び１２２の露出を調整することにより、画像を合成した部分の境界が目立たないようにすることができる。

また、２つの撮像素子１２１及び１２２を、２つの撮像素子１２１及び１２２で撮影した画像を並べた際に副走査線方向が逆になるように配置し、画像合成部１３０が、一方の撮像素子で撮影した画像は副走査線方向を順方向、他方の撮像素子で撮影した画像は副走査線方向を逆方向に読み出して画像を合成することにより、主走査線方向が反転しているような特殊な撮像素子を用いずに、画像撮影装置を構築することができる。

また、ハーフミラー１１０によって分割された光束の片方を反射するミラー１４０を備えることにより、主走査線方向が反転しているような特殊な撮像素子を用いずに、画像撮影装置を構築することができる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

例えば、上記実施形態では、円形の全方位画像を撮影する場合を例に挙げて説明したが、円形に限らずシフトレンズを用いた楕円形や円形に近い楕円形の画像であってもよい。また、略正方形の画像を撮影する場合にも、本発明は適用可能である。ここで、円形又は円形に近い楕円形を含む形状を「略円形」と称することとする。

１０、２０、３０画像撮影装置
１００全方位ミラー
１１０ハーフミラー
１２１（第１の）撮像素子
１２２（第２の）撮像素子
１３０画像合成部
１４０ミラー

Claims

光束を２つに分割する光束分割部と、
前記光束分割部によって２つに分割された光束を、それぞれ受光して撮影する２つの撮像素子とを備え、
前記２つの撮像素子は、同期して動作し、前記２つの撮像素子が受光する範囲を合わせると略正方形となるように、前記光束の光軸中心から前記各撮像素子の中心がずらして配置されていることを特徴とする画像撮影装置。
請求項１に記載の画像撮影装置において、
さらに、前記２つの撮像素子で撮影した画像を合成する画像合成部を備え、
前記画像合成部は、前記２つの撮像素子で重複して撮影する範囲の画像の露出が同等になるように前記撮像素子の露出を調整することを特徴とする画像撮影装置。
請求項１に記載の画像撮影装置において、
さらに、前記２つの撮像素子で撮影した画像を合成する画像合成部を備え、
前記画像合成部は、前記２つの撮像素子で撮影した画像にまたがって測光を行い、前記２つの撮像素子の露出を調整することを特徴とする画像撮影装置。
請求項１に記載の画像撮影装置において、前記２つの撮像素子の、主走査線方向又は副走査線方向の一方が反転していることを特徴とする画像撮影装置。
請求項１に記載の画像撮影装置において、
さらに、前記２つの撮像素子で撮影した画像を合成する画像合成部を備え、
前記２つの撮像素子は、前記２つの撮像素子で撮影した画像を並べた際に副走査線方向が逆になるように配置され、
前記画像合成部は、一方の撮像素子で撮影した画像は副走査線方向を順方向、他方の撮像素子で撮影した画像は副走査線方向を逆方向に読み出して画像を合成することを特徴とする画像撮影装置。
請求項１に記載の画像撮影装置において、
さらに、前記光束分割部によって分割された前記光束の片方を反射するミラーを備えることを特徴とする画像撮影装置。
同期して動作する２つの撮像素子を、前記２つの撮像素子が受光する範囲を合わせると略正方形となるように、光束の光軸中心から前記各撮像素子の中心をずらして配置するステップと、
光束を２つに分割する分割ステップと、
前記分割ステップによって２つに分割された光束を、前記２つの撮像素子によってそれぞれ受光して撮影するステップと
を含む画像撮影方法。