JP2015226224A

JP2015226224A - 撮像装置

Info

Publication number: JP2015226224A
Application number: JP2014110600A
Authority: JP
Inventors: 晃彦佐藤; Akihiko Sato
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-05-28
Filing date: 2014-05-28
Publication date: 2015-12-14

Abstract

【課題】複数の撮像レンズを備えた全方位画像撮影システムにおいて、各々の撮像レンズの撮影方向が異なることから、それぞれの画像に対する光源による影響度には差異が生じる。そのため、画像の明るさや、レンズフレアといった光学系の違いによる影響が全方位画像の結合境界上に発生し、画像に違和感が発生するという問題がある。
【解決手段】それぞれが別の方向を撮像する複数の撮像部を有する画像取得部と、前記画像取得部で取得された複数の画像を合成して広角画像を生成する画像生成部と、前記撮像部の撮像方向を制御する撮像方向制御部と、を備え、前記撮像方向制御部は、それぞれの被写界における光源状態の違いによって生じる、前記広角画像における合成境界が目立たなくなるように、前記撮像方向を制御することを特徴とする撮像装置である。
【選択図】図１

Description

本発明は、複数の撮像部によって得られた画像を合成して広角画像を生成する撮像装置に関する。

特開２０１３−２１４９４７のように、魚眼レンズや超広角レンズなどの広角レンズを複数使用して撮影された複数の広角画像を結合して合成することで、一度の撮影で全方位画像を取得するといった撮像システムが提案されている。

特開２０１３−２１４９４７号公報

しかしながら、特許分献１に記載されるように、複数レンズを備えた全方位画像撮影システムにおいては、各々の撮像部の撮影方向が異なることから、２つの撮像部が結像する光源に差異が生じる。そのため、撮像画像の明るさやレンズフレアといった光学系の違いによって生じる影響が、２つの撮像画像から生成された全方位画像の結合境界上にあらわれ、画像に違和感が発生するという問題がある。

そこで、本発明の目的は、互いに異なる方向を撮像して取得された複数の画像を合成して生成した広角画像上での光学系の違いによる明るさやレンズフレアといった画像の違和感を低減することが可能な撮像装置を提供することにある。

本発明の１実施形態によれば、それぞれが別の方向を撮像する複数の撮像部を有する画像取得部と、前記画像取得部で取得された複数の画像を合成して広角画像を生成する画像生成部と、前記撮像部の撮像方向を制御する撮像方向制御部と、を備え、前記撮像方向制御部は、それぞれの被写界における光源状態の違いによって生じる、前記広角画像における合成境界が目立たなくなるように、前記撮像方向を制御することを特徴とする撮像装置である。

本発明によれば、複数の撮像部で撮影したそれぞれの画像を合成して広角画像を生成する撮像装置において、それぞれの被写界における光源状態の違いによって生じる、前記広角画像における合成境界を目立たなくすることが可能となる。

本発明の実施形態における撮像装置のブロック図本発明の実施形態１におけるフローチャート図本発明の実施形態１における光源の検出方法に関して説明する図本発明の実施形態１における全方位画像の撮影処理に関して説明する図本発明の実施形態２におけるフローチャート図本発明の実施形態２に結合部付近領域の明るさ比較処理に関して説明する図

以下、図１〜図６を参照して、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本実施形態による撮像装置１００の構成例を示すブロック図である。

図１において、撮影レンズ１０１は被写体の光学像を取り込む光学レンズ群である。撮像センサ１０２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像センサである。Ａ／Ｄ変換器１０３はアナログ信号をデジタル信号に変換する。

第１の撮像ユニット１０４は、撮影レンズ１０１、撮像センサ１０２、Ａ／Ｄ変換器１０３から構成される。撮像ユニットの定義としては、撮影レンズ１０１から入射した光画像をデジタル信号に変換し、撮影画像データを取得できるものとする。また、第１の撮像ユニット１０４が取得する撮影画像データの撮影画角は、１８０度もしくは１８０度以上の広角であることが好ましい。

第２の撮像ユニット１０５は、第１の撮像ユニット１０４とはそれぞれ別の撮影レンズ１０１、撮像センサ１０２、Ａ／Ｄ変換器１０３から構成される撮像ユニットである。

撮像部１０６は、相対的な位置関係が固定された、第１の撮像ユニット１０４と第２の撮像ユニット１０５とを備え、それぞれの撮像ユニットによって互いに別の方向を撮像する。

本実施形態においては、第１の撮像ユニット１０４と第２の撮像ユニット１０５の撮影レンズ１０１は撮影画角が１８０度以上である円周魚眼レンズであり、第１の撮像ユニット１０４と第２の撮像ユニット１０５の撮像方位が水平方向に１８０度異なる位置関係とする。ただし、第１の撮像ユニット１０４で取得される第１の画像と第２の撮像ユニット１０５で取得される第２の画像とが、後述の画像処理部１０７における画像結合処理によって、より広角画像である全方位画像を生成することが可能となる位置関係であればよく、上記位置関係に限定されない。

画像処理部１０７は、撮像部１０６、メモリ制御部１０８から入力される画像データに対して所定の画素補間、縮小といったリサイズ処理や色変換処理、アスペクト変換処理、画像の座標変換処理、複数の画像の結合処理を行なう。また、画像処理部１０７は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部１１０が撮像部１０６に対して露光制御、測距制御および光学制御を行なう。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理が行われる。撮像部１０６から出力される画像データは、画像処理部１０７及びメモリ制御部１０８を介してメモリ１０９に書き込まれる。

メモリ１０９は、撮像部１０６から得られた画像データを格納する。メモリ１０９は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

システム制御部１１０は、撮像装置１００の全体を制御する。システム制御部１１０は、不揮発性メモリ１１１に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。

不揮発性メモリ１１１は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１１１には、システム制御部１１０の動作用の定数、プログラム等が記録される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システムメモリ１１２は、たとえばＲＡＭが用いられる。システムメモリ１１２には、システム制御部１１０の動作用の定数、変数、不揮発性メモリ１１１から読み出したプログラム等を展開する。

操作部１１３は、利用者の操作を撮像装置の制御情報に変換し、システム制御部へ通知する。いわゆるユーザーインターフェースである。

記録媒体Ｉ／Ｆ１１４はメモリカードやハードディスク等の記録媒体１１５とのインターフェースである。

記録媒体１１５は、撮影された画像を記録するための媒体であり、半導体メモリや磁気ディスク等から構成される。

撮像方向制御部１１６は、システム制御部１１０からの指示で、撮像部１０６が撮影する方向を制御する。たとえば自由雲台のようにロール方向、ヨ―方向、ピッチ方向に制御することが可能である。撮像部１０６の撮像方向制御のため、例えば、第１の撮像ユニット１０４によって撮像される方向を変更した場合には、第２の撮像ユニット１０５によって撮像される方向も連動して変更される。そのため、第１の撮像ユニット１０４と第２の撮像ユニット１０５の互いの相対的な位置関係は変わらないものとする。

なお、図１に示して説明した撮像装置の構成は一例である。そのため、以下に説明する動作を実行できるのであれば、本発明に係る撮像装置の構成は、図１に示した構成に限定されるものではない。

本発明の実施形態の処理内容を図２のフローチャートと、図３と図４を参照して説明する。図３は本実施形態における光源の検出方法に関して説明するための図である。図４は本実施形態における全方位画像の生成処理および、撮影処理に関して説明するための図である。また、本実施例では撮像方向制御部１１６が水平方向の回転制御のみが可能な撮像装置として説明する。

ステップＳ２０１において、撮像部１０６から撮像された複数の画像を取得して、メモリ１０９に保存する。

具体的には、図３（ａ）に示すように、第１の撮像ユニット１０４で撮像された第１の画像と、第２の撮像ユニット１０５で撮像された第２の画像を取得する。

また、本実施形態においては、前述のように撮影レンズ１０１が撮影画角１８０度以上の円周魚眼レンズであり、第１の撮像ユニット１０４と第２の撮像ユニット１０５が水平方向に１８０度ずれた位置関係としている。そのため、第１の画像と第２の画像はそれぞれ水平方向に１８０度異なる方向を撮像した画像であり、一方の画像の縁の円周領域と他方の画像の縁の円周領域が、全方位画像を生成する際に合成境界の境界近傍となる領域である。この領域は、複数の画像の一部が重複するように設定されていれば、重複領域となる。また、複数の画像を結合された結合領域でもある。

ステップＳ２０２において、システム制御部１１０はメモリ１０９からステップＳ２０１で取得した画像を読み出し、明るさに関する評価値を取得する。具体的には、図３（ｂ）に示すように、第１の画像、第２の画像の各々に対して、水平方向、垂直方向に任意の数Ｎで分割された領域を設ける。そして、各領域内の画素の輝度値に対して、積分処理、および正規化処理を行ない、各領域に対する明るさ評価値を算出する。また、各領域の面積に関しては、撮影レンズの光学特性に合わせて可変させても良い。例えば、魚眼レンズの場合においては、画像の中央領域から像高の増加方向に対して、光学系の収差や歪曲の影響を受けやすい。そのため、各領域の面積においても、画像の中央部からの像高の増加方向に対して、光学系の収差や歪曲の影響を加味した大きさに決定しても良い。

ステップＳ２０３において、ステップＳ２０２で算出した明るさ評価値を用いて、全方位画像に影響を与える光源を検出する処理を行う。ここで、全方位画像に影響を与えるとは、たとえば全方位画像における複数の画像の合成境界に複数の画像の明るさの違いにより境界線が目立つことを示す。

本実施例では、図３（ｂ）に示すように、任意の明るさ閾値Ｔｈを用いて、明るさ閾値以上の領域に光源があると判定する。具体的には、図３（ｂ）の第１の画像のＣ３領域が明るさ閾値Ｔｈ以上で、且つ最も明るさ評価値が高いため、Ｃ３領域に光源があると判定する。

ステップＳ２０２およびステップ２０３での処理で説明した通り、システム制御部１１０は、第１の画像、第２の画像の各々に対して、分割領域の明るさ評価値を算出する算出部、明るさ評価値を用いて光源を検出する検出部として機能する。

ただし、本ステップの処理における全方位画像に影響を与える光源の検出処理に関しては、撮影画像の被写界での光源の位置を特定が行なえれば良く、実現方法としては前述の処理に限るものではない。例えば、それぞれ第１、第２の画像の中央部からの像高の増加方向に対して、明るさ閾値Ｔｈが低くなるといった重みをもった明るさ閾値を設定し、この明るさ閾値からの差分が最も大きな領域に光源があると判定をしてもよい。

ステップＳ２０４において、撮影画像への影響が強い光源が検出されたか否かの判定を行なう。

撮像画像への影響が強い光源が検出された場合には、ステップＳ２０５を実行する。

撮像画像への影響が強い光源が検出されなかった場合には、ステップＳ２０７を実行する。

ステップＳ２０５において、ステップＳ２０４で検出された光源情報を用いて、それぞれの被写界における光源状態の違いによって生じる、全方位画像における合成境界が目立たなくなるようにして、第１の画像と第２の画像における光源の影響の度合いの差が小さくなるような撮影方向制御情報の算出を行なう。

具体的には、第１の画像と第２の画像の両方に光源が含まれるように、画像合成時に境界近傍となる領域に光源が移動するように撮影方向制御情報の算出を行なう。第１の画像、第２の画像の球面座標上で、第１の画像の中心座標を緯度０度、経度０度、第２の画像の中心座標を緯度１８０度、経度０度とした場合に、光源の球面座標位置が経度９０度、もしくは−９０度となるように撮像方向制御情報を算出する。なお、第１の画像と第２の画像について、一部が重複するように合成する場合は、光源がこの重複する領域に移動するようしてもよい。

まず、光源の平面座標系（水平座標Ｘ、垂直座標Ｙ）から球面座標系（緯度θ、経度Φ）への変換を行なう。本実施例においては、変換テーブル情報が、予め不揮発性メモリ１１１内に格納されているものとする。ただし、平面座標系から球面座標系への座標変換は、システム制御部１１０で算出をしても良い。座標変換の変換式に関しては、直交座標から極座標への変換式と等価のため、既知のものとしてここでの説明は省略する。

具体的には、図３（ａ）で示す光源に対して、前述の平面座標系から球面座標系への座標変換により、図３（ｃ）に示すような球面座標（４５度、−３０度）となる。そして、球面座標（４５度、−９０度）に光源が撮像されるようにする。そのため、撮像方向制御情報は、ヨー方向に−６０度の回転制御となる。

ステップＳ２０６において、ステップＳ２０５で算出された撮影方向制御情報を基にして、撮影方向制御部１１６が、撮像部１０６に対する撮影方向の制御を行なう。

本実施例では、ステップＳ２０５で算出された撮影方向制御情報を基に、撮影方向制御は撮像部が現在の撮影方向から−６０度回転するように制御する。

また、撮像方向制御部１１６の構成がヨー方向以外に、ピッチ方向、ロール方向の制御が可能な構成とする場合、次に示すことを実施してもよい。

画像に影響を及ぼす光源が複数存在した場合には、できるだけ多くの光源が、球面座標で経度９０度、もしくは−９０度となる撮像方向制御情報の算出を行なってもよい。

また、撮像部の光学特性が結合境界上で不均等な場合、言い換えれば、球面座標上の経度９０度、もしくは−９０度という条件の他に、緯度によって光源の影響度が変化する場合には、あらかじめ撮像部の光学特性を考慮した所定の座標（緯度、経度）となるように撮像方向制御情報を算出してもよい。

なお、システム制御部１１０は、明るさ評価値から、検出された光源の内で最も輝度が高い光源を特定する特定部として機能し、最も輝度が高い光源が、画像合成時に境界近傍となる領域に移動するように撮像方向制御情報を算出してもよい。

本ステップの処理は、ステップＳ２０４で検出された光源情報を用いて、第１の画像と第２の画像における光源の影響の度合いの差が小さくなるような撮影方向制御情報の算出処理であればよい。

ステップＳ２０７において、撮影指示があったか否かの判定を行なう。

ユーザーの操作部１１３の操作によって、撮像装置１００は撮影指示を受け付ける。

撮影指示があった場合は、ステップＳ２０８を実行する。

撮影指示がなかった場合は、ステップＳ２０９を実行する。

ステップＳ２０８において、撮影処理を行なう。

本実施例では、まず、撮像部１０６から第１の撮影画像、第２の撮影画像を取得する。そして、図４に示すように、第１の撮影画像と第２の撮影画像に対して、画像データの平面座標から球面座標への座標変換処理を行なう。さらに、座標変換された第１の撮影画像と第２の撮影画像を用いて、画像生成部として機能する画像処理部１０７で合成処理することで、全方位画像データを生成し、記録媒体１１５へ記録する。記録媒体１１５へ記録される全方位画像データは図４のようになる。

ただし、本ステップの撮影処理に関しては、ユーザーの操作部１１３の操作により、撮像部１０６から撮影画像を取得し、撮影データを記録媒体１１５へ記録する一連の処理を示していれば良い。

ステップＳ２０９において、撮影終了の指示があったか否かの判定を行なう。

撮影終了の指示があった場合は、本フローチャートを終了する。

撮影終了の指示がなかった場合は、ステップＳ２０１を実行する。

以上、本実施例で説明したように、撮像部の撮像方向を制御可能な撮像方向制御部１１６を備え、光源の位置を検出し、それぞれの被写界における光源状態の違いによって生じる、全方位画像における合成境界が目立たなくなるように、撮像方向制御部１１６が撮像方向の制御をすることで、第１の撮像ユニット１０４と第２の撮像ユニット１０５といった光学系の違いによって生じる、全方位画像上での明るさやレンズフレアといった画像の違和感を低減することが可能となる。

（第２の実施形態）
第１の実施形態は、光源の検出処理により光源を検出し、光源位置情報に基づいて撮像方向制御情報を算出した。それに対して、第２の実施形態では光源の検出を行わない場合における実施形態に関して説明する。

本発明の実施形態の処理内容を図５のフローチャートと、図６を参照して説明する。図６は本実施形態における、画像合成時に境界近傍となる領域の明るさ比較処理に関して説明するための図である。

また、図５のフローチャート上で、第１の実施形態と同様の処理内容に関する詳細説明は省略し、差分となる処理にのみ説明を行なう。

ステップＳ２０１は、第１の実施形態の処理と同じである。

ステップＳ５０１において、第１の画像と第２の画像の画像合成時に境界近傍となる領域の明るさの比較処理を行なう。本実施例では、図６に示すように水平方向の結合される領域を領域Ａと領域Ｂと定義する。それらの領域に対して、第１の実施形態のステップＳ２０２と同様の処理によって、第１の画像の領域Ａの明るさ評価値、第２の画像の領域Ａの明るさ評価値を算出する。領域Ｂに対しても同様である。そして、第１、第２の画像のそれぞれの領域に対する明るさ評価値の差分の絶対値を算出する。

ステップＳ５０２において、ステップＳ５０１で算出された各領域に対する明るさ評価値の差分の絶対値が任意の所定値である閾値以内か否かの判定を行なう。

任意の閾値以内と判定された場合には、ステップＳ２０７を実行する。

任意の閾値以内ではないと判定された場合には、ステップＳ５０３を実行する。
ステップＳ５０３において、２つの画像における明るさ評価値の差分が所定値以下になるように撮像方向制御情報を算出する。

本実施例では、撮影方向制御のヨー方向制御の回転方向と領域Ａおよび領域Ｂを対応しているものとする。具体的には、領域Ａを順方向（＋方向）、領域Ｂを逆方向（−方向）とする。そして、領域Ａの明るさの絶対値と領域Ｂの明るさの絶対値において、より値が大きい方を撮影方向の回転させる方向として決定する。

また、回転量は任意に決定して良い。例えば、撮像方向制御部１１６が制御可能な所定の回転量を設定しても良い。また例えば、システム制御部１１０で前述の明るさ評価値の差の絶対値が大きい時に、より回転量が大きく算出されるように重み付けを行なっても良い。本質的には、２つの画像における結合される付近の領域Ａ、および領域Ｂの明るさの差が小さくなるような回転量であれば良い。

ステップＳ５０４において、ステップＳ５０３で算出された撮影方向制御情報を基に、撮影方向制御部１１６が、撮像部１０６に対する撮影方向の制御を行なう。そして、ステップＳ２０１の処理へ戻る。

ステップＳ２０７からステップＳ２０９は、第１の実施形態の処理と同じである。

以上、本実施例で説明したように、撮像部の撮像方向を制御可能な撮像方向制御部１１６を備え、２つの画像の対応する結合付近の領域において、それぞれの明るさ評価値の差が所定の閾値内になるように撮像方向制御部１１６が撮像方向の制御をすることで、第１の撮像ユニット１０４と第２の撮像ユニット１０５といった光学系の違いによって生じる、全方位画像上での明るさやレンズフレアといった画像の違和感を低減することが可能となる。すなわち、それぞれの被写界における光源状態の違いによって生じる、全方位画像における合成境界が目立たなくなるようにすることが可能となる。

１００撮像装置
１０４第１の撮像ユニット
１０５第２の撮像ユニット
１０６撮像部
１０７画像処理部
１１０システム制御部
１１６撮像方向制御部

Claims

それぞれが別の方向を撮像する複数の撮像ユニットを有する撮像部と、
前記撮像部で取得された複数の画像を合成して広角画像を生成する画像生成部と、
前記撮像部の撮像方向を制御する撮像方向制御部と、を備え、
前記撮像方向制御部は、それぞれの被写界における光源状態の違いによって生じる、前記広角画像における合成境界が目立たなくなるように、前記撮像方向を制御することを特徴とする撮像装置。
前記複数の画像のそれぞれにおいて、画像合成時に境界近傍となる領域の明るさに関する評価値を算出する算出部を備え、
前記撮像方向制御部は、前記算出部で算出されたそれぞれの評価値の差分が所定値以下になるように制御することを特徴とする請求項１に記載の撮像装置。
それぞれの被写界における光源の位置を検出する検出部を備え、
前記撮像方向制御部は、検出された光源が、画像合成時に境界近傍となる領域に移動するように制御することを特徴とする請求項１に記載の撮像装置。
前記検出された光源の内で最も輝度が高い光源を特定する特定部を備え、
前記撮像方向制御部は、前記最も輝度が高い光源が、画像合成時に境界近傍となる領域に移動するように制御することを特徴とする請求項３に記載の撮像装置。
前記画像生成部は、一部が重複するように前記複数の画像を合成し、
前記撮像方向制御部は、前記検出された光源が、前記重複する領域に移動するように制御することを特徴とする請求項３に記載の撮像装置。
前記広角画像は全方位画像であることを特徴とする請求項１から５までの何れか１項に記載の撮像装置。