JP2021090175A - 撮像装置，撮像方法及び撮像プログラム - Google Patents

Abstract

【課題】画像合成処理が失敗する，または不自然な画像となることを防ぐことができ，少なくとも輝度差，光源色差の少なくとも１つが大きく変化するシーンでも良好なパノラマ撮影画像を得ることができる撮像装置，撮像方法及び撮像プログラムを提供すること。【解決手段】撮像装置１００は，撮像方向の角度変化に基づいて，露出時間の変更範囲及びホワイトバランスゲインの変更範囲の少なくとも１つを算出し，露出時間及びホワイトバランスゲインの少なくとも１つを前記変更範囲内に変更し，変更された露出時間で被写体を撮像し，変更されたホワイトバランスゲインで画像信号のホワイトバランスを調整し，複数の撮像方向で撮像された画像信号を合成する。【選択図】図１

Description

本発明は撮像装置，撮像方法及び撮像プログラムに関し，例えばパノラマ撮影機能を有する撮像装置，撮像方法及び撮像プログラムに関する。

撮影方向の角度を変化させながら撮像した複数の画像を合成して広画角のパノラマ画像を生成する撮像装置が知られている。複数の画像の合成では，合成画像の境界が不自然にならないようにするため，合成部分の各画像の輝度や色に大きな差がないように各画像を撮像されることが求められる。従ってパノラマ撮影中は露出およびホワイトバランスを固定にすることが多い。

しかしながらパノラマ撮影で撮影される画角が広い場合，被写体の輝度範囲も広くなることが多くなる。例えば低輝度の室内からパノラマ撮影を開始し角度を変化させて高輝度の屋外まで撮影した場合，被写体の輝度範囲が広くなる。

撮影開始時には低輝度の室内被写体が適正露出となるように露出が決定される。パノラマ撮影中にこの露出を維持したまま高輝度の屋外被写体を撮影すると，撮像素子のダイナミックレンジの限界を超え，白飛びした画像となってしまう。反対に高輝度の被写体から撮影を開始すると，低輝度の被写体は黒つぶれした画像となってしまう。

ホワイトバランスも同様に，例えば低色温度の環境で撮影を開始し，角度を変えた先が高色温度環境下であると，高色温度側の被写体が青っぽくなってしまう。また，逆に高色温度環境から撮影を開始すると，低色温度側の被写体が赤っぽくなってしまう。

これらの問題を解決するために，特に露出の白飛びや黒つぶれを抑制するために近年はパノラマ撮影中に露出を変動させる撮像装置がある。しかしながら露出の変動幅を大きくすると合成画像の境界に輝度段差が生じ不自然になる問題が発生するため変動幅を大きくできず，輝度差が一定以上あると白飛びや黒つぶれの問題を解消できない。

例えば，露出の変動幅は大きくしながら時間軸でゆっくり露出を変動させることで境界に輝度段差があまり発生しないようにする方法もある。しかし，撮影者がパノラマ撮影時にどの程度の速さで角度を変更するかがわからないので，角度変更速度が速い場合に露出変動速度をとてもゆっくりすると，露出が追従しきれずに白飛びや黒つぶれが発生する。

逆に露出変動速度を早くしてしまうと，角度変更速度が遅い場合には境界の輝度段差が発生してしまう。そのため撮影者の平均的な露出変動速度を推定してそれに合わせた露出変動速度を設定することになるが根本的な問題解決にはならない。

また，特許文献１には，角度を変えた画像をそれぞれの角度にて適正露出で撮影しながら，角度情報と露出情報を記憶しておき，合成時に角度情報と露出情報から撮影画像の領域ごとに輝度調整を行って合成する方法が記載されている。

特開２００７−３３４５５８公報

しかしながら，隣り合う画像の露出差が所定値以上あると輝度調整が破綻する，また破綻しなくても急激に輝度が変わりすぎて不自然になるという問題がある。特に撮影した画像を撮影後に明るい領域を暗くする輝度調整を実行する場合，輝度が飽和している画素が存在すると輝度補正が正常にできない問題がある。また，逆に暗い領域を明るくする場合も輝度補正幅が大きくなるとノイズや疑似輪郭等の問題も発生する。

一実施形態の撮像装置は，被写体を撮像して画像信号を出力する撮像素子と，ホワイトバランスゲインで増幅することにより画像信号のホワイトバランスを調整する画像信号処理回路と，撮像素子の露出時間及びホワイトバランスゲインの少なくとも一つを算出するプロセッサと，撮像方向を検出する角度検出部を備え，前記プロセッサは，撮像方向の角度変化に基づいて，露出時間の変更範囲及びホワイトバランスゲインの変更範囲の少なくとも１つを算出し，前記プロセッサは，露出時間及びホワイトバランスゲインの少なくとも１つを前記変更範囲内に変更し，前記撮像素子は，前記プロセッサにより変更された露出時間で被写体を撮像し，前記画像信号処理回路は，前記プロセッサにより変更されたホワイトバランスゲインで画像信号のホワイトバランスを調整し，前記プロセッサは複数の撮像方向で撮像された画像信号を合成するようにした。

好ましくは一実施形態の撮像装置は，前記プロセッサが，撮像方向の変化に伴い露出時間が変化し始めた角度を基準とし，基準となる角度からの角度変化量にもとづいて露出時間の変更範囲を決定する露出範囲演算部と，画像信号に基づいて露出時間を算出する露出演算部と，露出演算部の算出する露出時間の変化量を露出の変更範囲内に制限する露出制限部を備え，前記撮像素子は，前記露出制限部により制限された露出時間で被写体を撮像するようにしてもよい。

好ましくは一実施形態の撮像装置は，前記プロセッサが，撮像方向の変化に伴い露出時間が変化し始めた角度を基準とし，基準となる角度からの角度変化量にもとづいてホワイトバランスゲインの変更範囲を決定するホワイトバランスゲイン範囲演算部と，画像信号に基づいてホワイトバランスゲインを算出する露出演算部と，ホワイトバランスゲイン演算部の算出すホワイトバランスゲインの変化量をホワイトバランスゲインの変更範囲内に制限するホワイトバランスゲイン制限部を備え，前記撮像素子は，前記ホワイトバランスゲイン制限部により制限されたホワイトバランスゲインで被写体を撮像するようにしてもよい。

一実施形態の撮像方法は，撮像方向の角度変化に基づいて，露出時間の変更範囲及びホワイトバランスゲインの変更範囲の少なくとも１つを算出し，露出時間及びホワイトバランスゲインの少なくとも１つを前記変更範囲内に変更し，少なくとも，変更された露出時間で被写体を撮像，及び変更されたホワイトバランスゲインで画像信号のホワイトバランスを調整，の少なくとも１つを実行し，複数の撮像方向で撮像された画像信号を合成する，撮像方法。

一実施形態の撮像プログラムは，撮像方向の角度変化に基づいて，露出時間の変更範囲及びホワイトバランスゲインの変更範囲の少なくとも１つを算出するステップと，露出時間及びホワイトバランスゲインの少なくとも１つを前記変更範囲内に変更するステップと，少なくとも，変更された露出時間で被写体を撮像，及び変更されたホワイトバランスゲインで画像信号のホワイトバランスを調整，の少なくとも１つを実行するステップと，撮像素子により複数の撮像方向で撮像された画像信号を合成するステップと，合成した画像信号を画像表示部で表示または画像記録部に記録するステップと，をコンピュータに実行させるようにした。

本発明の撮像装置，撮像方法及び撮像プログラムによれば，画像合成処理が失敗する，または不自然な画像となることを防ぐことができ，少なくとも輝度差，光源色差の少なくとも１つが大きく変化するシーンでも良好なパノラマ撮影画像を得ることができる。

本実施の形態にかかる撮像装置の概略更正を示すブロック図である。 本実施の形態にかかる撮像装置の動作の一例を示すフローチャートである。 本実施の形態に係る撮像装置の露出制御の一例を示すグラフである。 本実施の形態に係る撮像装置の露出制御の一例を示すグラフである。 本実施の形態に係る撮像装置のホワイトバランス制御の一例を示すグラフである。 本実施の形態に係る撮像装置のホワイトバランス変化量の範囲を示すグラフである。

本実施の形態
以下，図面を参照して本発明の実施の形態について説明する。図１は，本実施の形態にかかる撮像装置の概略更正を示すブロック図である。図１において，撮像装置１００は，レンズ光学系１０１と，撮像素子１０２と，ＦＥ回路１０３と，積算回路１０４と，画像信号処理回路１０５と，角度検出部１０６と，ＣＰＵ１０７と，メモリ１０８と，タイミングジェネレータ１０９と，画像記録部１１０と，ドライバ１１１と，画像表示部１１２を備える。

レンズ光学系１０１は，被写体像を撮像素子１０２の撮像面に結像する光学系である。例えば，レンズ光学系１０１は，レンズ及び絞りを備える。レンズの材質はガラスまたはプラスチックのいずれであってもよい。

撮像素子１０２は，入射した光を電気信号に変換する素子である。例えば、撮像素子１０２は、ＣＣＤ(Charge Coupled Device)またはＣＭＯＳ(Complementary Metal-Oxide-Semiconductor)などのイメージセンサが好適である。例えば、撮像素子１０２は、カラーフィルターレイが装着され、色別（波長領域別）で光を電気信号に変換する。撮像素子１０２は、タイミングジェネレータ１０９から出力された駆動信号に基づいて撮像を実行する。そして、撮像素子１０２は、撮像画像の電気信号をＦＥ回路１０３に出力する。

ＦＥ回路１０３は，撮像素子１０２からの電気信号を、積算回路１０４，画像信号処理回路１０５及びＣＰＵ１０７に適したデジタル信号に変換するフロントエンド(Front End)回路である。例えば，図１に示すようにＦＥ回路１０３は，プリプロセッサ（ＰＰ）１３１と，アンプ（Ａｍｐ）１３２を備える。プリプロセッサ１３１は，撮像素子１０２から出力された画素信号に、画素欠陥補正やシェーディング補正などの処理を行い、画像信号処理回路１０５において画像処理が可能な画像信号を生成する。アンプ１３２は，露出制限部１７３で制限された露出時間（シャッタースピード）に基づいたアンプゲインで画像信号を増幅する。そして，ＦＥ回路１０３は，増幅されたデジタル信号を積算回路１０４，画像信号処理回路１０５及びＣＰＵ１０７に出力する。

積算回路１０４は，ＦＥ回路１０３で処理された画像信号を，画像の領域毎にＲ，Ｇ，Ｂの各色領域でそれぞれ積算する。そして積算回路１０４は，積算した値をメモリ１０８に格納する。この積算した値は，例えば波長領域別の受光量である。

画像信号処理回路１０５は，撮像された画像信号の処理を行う回路である。画像信号処理回路１０５は，ＷＢ補正部１５１を備える。

ＷＢ補正部１５１は，後述するＷＢ制限部１７６から出力されたホワイトバランスゲインで赤色，青色の増幅を行うことにより，画像信号の補正を行う。

角度検出部１０６は，撮像装置１００の撮像方向（角度）を検出する。例えば，角度検出部１０６は，撮像装置１００の加速度を検出する加速度センサと，撮像装置１００の回転の動きを検出するジャイロセンサを備える。加速度センサの加速度を積算した結果及びジャイロセンサの検出結果を用いて撮像装置１００の撮像方向（角度）を検出することが好適である。また，加速度の積算等検出結果の演算はＣＰＵ１０７で行っても良い。

ＣＰＵ（Central Processing Unit）１０７は，露出時間及びホワイトバランスゲインを算出するプロセッサである。また，ＣＰＵ１０７は，撮像画像を合成してパノラマ画像を作成する。そして，ＣＰＵ１０７は，合成したパノラマ画像を画像記録部１１０に格納する。

ＣＰＵ１０７は，露出範囲演算部１７１と，露出演算部１７２と，露出制限部１７３と，ＷＢ範囲演算部１７４と，ＷＢ演算部１７５と，ＷＢ制限部１７６を備える。

露出範囲演算部１７１は，角度検出部１０６から出力された撮像方向情報に基づいて，撮像方向の角度変化量を算出する。そして，露出範囲演算部１７１は，撮像方向の角度変化量に基づいて露出の変更範囲を決定する。露出範囲演算部１７１は，露出の変更範囲を露出制限部１７３に出力する。

露出演算部１７２は，積算回路１０４が積算した値に基づいて露出時間を演算する。そして，露出演算部１７２は，露出時間を露出制限部１７３に出力する。

露出制限部１７３は，パノラマ撮影による露出時間の変化量が，露出の変更範囲を越えているかいないか判断し，露出時間の変化量が，露出の変更範囲を越えている場合，露出時間の変化量を露出の変更範囲内に制限する。そして，露出制限部１７３は，制限された変化量に基づく露出時間をタイミングジェネレータ１０９及びアンプ１３２に出力する。

ＷＢ範囲演算部１７４は，角度検出部１０６から出力された撮像方向情報に基づいて，撮像方向の角度変化量を算出する。そして，ＷＢ範囲演算部１７４は，撮像方向の角度変化量に基づいてホワイトバランスゲインの変更範囲を決定する。ＷＢ範囲演算部１７４は，ホワイトバランスゲインの変更範囲をＷＢ制限部１７６に出力する。

ＷＢ演算部１７５は，積算回路１０４が積算した値に基づいてホワイトバランスゲインを演算する。そして，ＷＢ演算部１７５は，ホワイトバランスゲインをＷＢ制限部１７６に出力する。

ＷＢ制限部１７６は，パノラマ撮影によるホワイトバランスゲインの変化量が，ホワイトバランスゲインの変更範囲を越えているかいないか判断し，ホワイトバランスゲインの変化量が，ホワイトバランスゲインの変更範囲を越えている場合，ホワイトバランスゲインの変化量をホワイトバランスゲインの変更範囲内に制限する。そして，ＷＢ制限部１７６は，制限された変化量に基づくホワイトバランスゲインをＷＢ補正部１５１に出力する。

メモリ１０８は，ＣＰＵ１０７の演算に用いるデータを保存する。メモリ１０８は例えばＲＡＭ（Random Access Memory）が好適である。

タイミングジェネレータ１０９は，露出制限部１７３で補正された露出時間（シャッタースピード）に基づいて，撮像素子１０２を駆動するためのタイミングを生成する。そして、タイミングジェネレータ１０９は、生成されたタイミングで撮像素子１０２に駆動信号を出力する。

画像記録部１１０は，撮像画像を記録する。例えば，画像記録部１１０は，着脱可能な不揮発メモリカードとメモリカードリーダで構成されることが好適である。

ドライバ１１１は，画像表示部１１２を駆動させて，撮像画像を表示するドライバである。
画像表示部１１２は，撮像した画像を表示する構成である。例えば、画像表示部１１２は、液晶表示ディスプレイ（ＬＣＤ）で構成されてもよい。

以上の構成により、パノラマ撮像が行われる。次に本実施の形態の撮像装置１００の動作について説明する。図２は，本実施の形態にかかる撮像装置の動作の一例を示すフローチャートである。

まず，ステップＳ２０１において，露出及びホワイトバランスが演算され，ステップＳ２０２に進む。
次に，ステップＳ２０２において，最初の撮像が行われ，ステップＳ２０３に進む。

そしてステップＳ２０３において撮像方向が変化し，ステップＳ２０４に進む。
ステップＳ２０４において，露出及びホワイトバランスが演算され，ステップＳ２０５に進む。

ステップＳ２０５において，露出及びホワイトバランスの少なくとも１つが直前の露出及びホワイトバランスから変化したか判断される。露出及びホワイトバランスの少なくとも１つが直前の露出及びホワイトバランスから変化した場合，ステップＳ２０６に進む。露出及びホワイトバランスの少なくとも１つが直前の露出及びホワイトバランスから変化していない場合，ステップＳ２０８に進む。

ステップＳ２０６において，露出及びホワイトバランスの変化量の少なくとも１つがが，許容される変化量を超えているか否か判断される。露出及びホワイトバランスの変化量の少なくとも１つが，許容される変化量を超えている場合，ステップＳ２０７に進む。露出及びホワイトバランスの変化量の少なくとも１つが，許容される変化量を超えていない場合，ステップＳ２０８に進む。

ステップＳ２０７において，露出及びホワイトバランスの変化量が，許容される変化量に補正され，ステップＳ２０８に進む。
ステップＳ２０８において，撮像が行われ，ステップＳ２０９に進む。

ステップＳ２０９において，パノラマ撮像が終了したか否か判断される。パノラマ撮像が終了していない場合，ステップＳ２０３に戻る。パノラマ撮像が終了した場合，ステップＳ２１０に進む。
ステップＳ２１０において，画像合成が行われ，処理を終了する。
以上の動作により，パノラマ撮像が行われる。次に，露出の補正について説明する。

図３は，本実施の形態に係る撮像装置の露出制御の一例を示すグラフである。図３において，縦軸は露出のシフト値（offsetEv）を示し，横軸は撮像角度（angle）を示す。

まず，パノラマ撮像を開始した時点での撮像角度を０度とする。そして，撮像角度を変更しながら露出演算が繰り返される。図３では，撮像装置１００の撮像角度を０度から３０度まで回転させた状態で，露出の条件が変化していないので，露出のシフト値（offsetEv）は，base offsetEvの値のままである。

そして，撮像装置１００の撮像角度を３０度から６０度まで回転させる間に露出条件が変化した場合，offsetEvが増加する。この時点の撮像角度をbaseAngleとする。このbaseAngleを基準に，現在の撮像角度(currentAngle)との角度差(currentAngle-baseAngle)を用いて以下の式（１）により露出のシフト値の制限範囲offsetEvLimitを演算する。
offsetEvLimit = α(currentAngle - baseAngle) （１）
ここでαは単位角度当たりの許容露出変化量を表す。

他方，露出演算において得られたoffsetEv値(Calculated offsetEv)が算出される。図３では，撮像装置１００の撮像角度を３０度から６０度まで回転させる間，Calculated offsetEvがoffsetEvLimitを上回っている。このようにCalculated offsetEvが上限としてのoffsetEvLimitを超える場合，offsetEv = offsetEvLimitとすることにより，offsetEvの変化量が制限される。したがって，撮像装置１００の撮像角度を３０度から６０度まで回転させる間，offsetEvはoffsetEvLimitに設定され，撮像が続けられる。

そして，撮像装置１００の撮像角度を６０度からさらに回転させる間では，再び露出の条件が変化していないので，Calculated offsetEvは，offsetEvLimit以下である。したがって，撮像装置１００の撮像角度を６０度からさらに回転させる間，offsetEvはCalculated offsetEvに設定され，撮像が続けられる。

図３の説明では，露出のシフト値が増加する場合について説明しているが，露出のシフト値が減少する場合についても適用できる。図４は，本実施の形態に係る撮像装置の露出制御の一例を示すグラフである。図４において，縦軸は露出のシフト値（offsetEv）を示し，横軸は撮像角度（angle）を示す。図４では，撮影中に角度変動をさせた場合，撮影開始時に比べて被写体が明るくなるだけでなく，さらに回転させて逆に被写体が再度暗くなる場合の例である。

図４において，撮像装置１００の撮像角度を０度から９０度まで回転させる範囲においては，図３と同様の制御が行われる。撮像装置１００の撮像角度を６０度から９０度まで回転させた状態で，露出の条件が変化していないので，露出のシフト値（offsetEv）は，新たなbase offsetEvの値のままである。

そして，撮像装置１００の撮像角度を９０度から１００度まで回転させる間に露出条件が変化した場合，offsetEvが減少する。この時点の撮像角度をbaseAngleとする。このbaseAngleを基準に，現在の撮像角度(currentAngle)との角度差(currentAngle-baseAngle)を用いて上述の式（１）により露出のシフト値の制限範囲offsetEvLimitを演算する。なお，offsetEvが減少する場合のαはoffsetEvが増加する場合のαと符号が異なり，負の値となる。

図４では，撮像装置１００の撮像角度を９０度から１００度まで回転させる間，Calculated offsetEvがoffsetEvLimitを下回っている。このようにCalculated offsetEvが下限としてのoffsetEvLimitを超える場合，offsetEv = offsetEvLimitとすることにより，offsetEvの変化量が制限される。したがって，撮像装置１００の撮像角度を９０度から１００度まで回転させる間，offsetEvはoffsetEvLimitに設定され，撮像が続けられる。

そして，撮像装置１００の撮像角度を１００度からさらに回転させる間では，再び露出の条件が変化していないので，Calculated offsetEvは，offsetEvLimit以上である。したがって，撮像装置１００の撮像角度を１００度からさらに回転させる間，offsetEvはCalculated offsetEvに設定され，撮像が続けられる。

上述したようにoffsetEvLimitでoffsetEvの変化量を制限しながら，offsetEvが目標としているCalculated offsetEvに達した場合，露出は再度固定状態になる。この時点でのoffsetEvをbaseOffsetEvとしてoffsetEvを継続して演算する。そして，演算したoffsetEv値がbaseOffsetEvと異なる値を示した場合，同様にその時点でのAngleをbaseAngleとしてoffsetEvLimitを演算して制限しながらoffsetEvを変動させる。そしてoffsetEvがCalculated OffsetEvに達した場合，再度その時点のoffsetEvをbaseOffsetEvとする。このようにして同一撮影内でも複数回，輝度差が大きく変動する場合は上述の処理を繰り返してもよい。

次にホワイトバランス制御について説明する。例えば，輝度ではなく光源色が低色温度の被写体から光源が高色温度に変化する場合では，撮像角度により変化する光源色に対応してホワイトバランスを変動させるほうが好ましい。図５は，本実施の形態に係る撮像装置のホワイトバランス制御の一例を示すグラフである。図５において，縦軸はホワイトバランスゲイン（WB Gain）を示し，横軸は撮像角度（angle）を示す。

まず，パノラマ撮像を開始した時点での撮像角度を０度とする。そして，撮像角度を変更しながら露出演算が繰り返される。図５では，撮像装置１００の撮像角度を０度から３０度まで回転させた状態で，ホワイトバランスゲイン（WB Gain）が変化していないので，ホワイトバランスゲインは，base WB Gainの値のままである。

そして，撮像装置１００の撮像角度を３０度から６０度まで回転させる間にホワイトバランスゲインが変化した場合，WB Gainが増加する。この時点の撮像角度をbaseAngleとする。このbaseAngleを基準に，現在の撮像角度(currentAngle)との角度差(currentAngle-baseAngle)を用いてオフセットゲインの変化の制限範囲offsetWB Gain Limitを演算する。offsetWB Gain Limitの演算は露出と同様の式を用いても良い。

他方，ホワイトバランス調整において得られたoffset WB Gain値(Calculated WB Gain)が算出される。図６では，撮像装置１００の撮像角度を３０度から６０度まで回転させる間，Calculated offset WB Gainがoffset WB Gainを上回っている。このようにCalculated offset WB Gainが上限としてのoffset WB Gainを超える場合，offset WB Gain = offset WB Gainとすることにより，offset WB Gainの変化量が制限される。したがって，撮像装置１００の撮像角度を３０度から６０度まで回転させる間，offset WB Gainはoffset WB Gainに設定され，撮像が続けられる。

そして，撮像装置１００の撮像角度を６０度からさらに回転させる間では，再び露出の条件が変化していないので，Calculated offset WB Gainは，offset WB Gain Limit以下である。したがって，撮像装置１００の撮像角度を６０度からさらに回転させる間，offsetEvはCalculated offset WB Gainに設定され，撮像が続けられる。

なお，露出は上述したEVの１次元で制御するのに対し，ホワイトバランスゲインは通常赤色光の増幅と青色光の増幅の２つを同時に制御する。図６は，本実施の形態に係る撮像装置のホワイトバランス変化量の範囲を示すグラフである。図６において，縦軸は，青色光のホワイトバランスゲイン（WB Gain B）を示し，横軸は赤色光のホワイトバランスゲイン（WB Gain R）を示す。

図６に示すように黒体放射の軌跡に近いように変動させながらbaseWB Gainの位置を基準としてlimit値を半径とした円の円周をLimit位置とすることもできる。

また，撮像角度による変動色差が一定となるように，baseWB GainとCalculatedWB Gainに相当する色座標をLab等の色空間にプロットし，この色空間上でlimit値の円周を描いて，ホワイトバランス補正の範囲を円周内に制限するようにしてもよい。

このように本実施の形態の撮像装置によれば，パノラマ撮像中の露出またはホワイトバランスの変化を撮像方向の回転角度によって変動幅に制限をかけることにより，画像合成処理が失敗する，または不自然な画像となることを防ぐことができ，少なくとも輝度差，光源色差の少なくとも１つが大きく変化するシーンでも良好なパノラマ撮影画像を得ることができる。

また単純に時系列フィルタ等で急激な露出変動を抑制した場合は，撮影者による撮影中の角度変更の速度によって，特に角度変更速度が速い場合には露出変動が追従しきれなくなる問題があるのに対して，本実施の形態の撮像装置によれば，撮影者による撮影中の角度変更の速度によらず安定した露出変動によるパノラマ撮影画像を得ることができる。

なお，本発明は上記実施の形態に限られたものではなく，趣旨を逸脱しない範囲で適宜変更することが可能である。例えば，上述の実施の形態では，露出とホワイトバランスの両方を補正する例について説明しているが，露出とホワイトバランスの一方のみを補正してもよい。

また，上述の式（１）において，αを大きく設定しすぎると輝度差の大きい被写体撮影時に画像合成処理を失敗する，または不自然な輝度変化となってしまう場合がある。反対に小さくしすぎてしまうと輝度差が大きい被写体に対して露出制御が十分に追従できなくなるため，全体の撮像システムに合わせて適切な値を選択することが望ましい。基本的にはαは所定の定数を設定するが，低輝度時はあまり変化させず，高輝度時だけ大きく変化させる，または露出を大きくする場合と小さくする場合とで係数の値を変えるなど，輝度やその他の条件によって変動する変数としてもよい。

また，パノラマ撮影中は不用意に露出を変化させないほうが好ましいので，撮影画面の輝度値分布が所定の範囲に収まっている場合はoffsetEｖを０にしてもよい。角度を変えて撮影を継続しながら，画面の輝度分布に変化が生じ，例えば画素の飽和領域(白飛び領域)が増大してきた場合はoffsetEv値を大きくすることでEV値が大きくなり画面を暗くして飽和を抑制することができる。

また，様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１００ 撮像装置
１０１ レンズ光学系
１０２ 撮像素子
１０３ ＦＥ回路
１０４ 積算回路
１０５ 画像信号処理回路
１０６ 角度検出部
１０７ ＣＰＵ
１０８ メモリ
１０９ タイミングジェネレータ
１１０ 画像記録部
１１１ ドライバ
１１２ 画像表示部
１３１ プリプロセッサ
１３２ アンプ
１５１ ＷＢ補正部
１７１ 露出範囲演算部
１７１ 範囲演算部
１７２ 露出演算部
１７３ 露出制限部
１７４ ＷＢ範囲演算部
１７５ ＷＢ演算部
１７６ ＷＢ制限部

Claims (5)

1. 被写体を撮像して画像信号を出力する撮像素子と，
   ホワイトバランスゲインで増幅することにより画像信号のホワイトバランスを調整する画像信号処理回路と，
   撮像素子の露出時間及びホワイトバランスゲインの少なくとも一つを算出するプロセッサと，
   撮像方向を検出する角度検出部を備え，
   前記プロセッサは，撮像方向の角度変化に基づいて，露出時間の変更範囲及びホワイトバランスゲインの変更範囲の少なくとも１つを算出し，
   前記プロセッサは，露出時間及びホワイトバランスゲインの少なくとも１つを前記変更範囲内に変更し，
   前記撮像素子は，前記プロセッサにより変更された露出時間で被写体を撮像し，
   前記画像信号処理回路は，前記プロセッサにより変更されたホワイトバランスゲインで画像信号のホワイトバランスを調整し，
   前記プロセッサは複数の撮像方向で撮像された画像信号を合成する，撮像装置。
2. 前記プロセッサは，
   撮像方向の変化に伴い露出時間が変化し始めた角度を基準とし，基準となる角度からの角度変化量にもとづいて露出時間の変更範囲を決定する露出範囲演算部と，
   画像信号に基づいて露出時間を算出する露出演算部と，
   露出演算部の算出する露出時間の変化量を露出の変更範囲内に制限する露出制限部を備え，
   前記撮像素子は，前記露出制限部により制限された露出時間で被写体を撮像する請求項１に記載の撮像装置。
3. 前記プロセッサは，
   撮像方向の変化に伴い露出時間が変化し始めた角度を基準とし，基準となる角度からの角度変化量にもとづいてホワイトバランスゲインの変更範囲を決定するホワイトバランスゲイン範囲演算部と，
   画像信号に基づいてホワイトバランスゲインを算出する露出演算部と，
   ホワイトバランスゲイン演算部の算出すホワイトバランスゲインの変化量をホワイトバランスゲインの変更範囲内に制限するホワイトバランスゲイン制限部を備え，
   前記撮像素子は，前記ホワイトバランスゲイン制限部により制限されたホワイトバランスゲインで被写体を撮像する請求項１または２に記載の撮像装置。
4. 撮像方向の角度変化に基づいて，露出時間の変更範囲及びホワイトバランスゲインの変更範囲の少なくとも１つを算出し，
   露出時間及びホワイトバランスゲインの少なくとも１つを前記変更範囲内に変更し，
   少なくとも，変更された露出時間で被写体を撮像，及び変更されたホワイトバランスゲインで画像信号のホワイトバランスを調整，の少なくとも１つを実行し，
   複数の撮像方向で撮像された画像信号を合成する，撮像方法。
5. 撮像方向の角度変化に基づいて，露出時間の変更範囲及びホワイトバランスゲインの変更範囲の少なくとも１つを算出するステップと，
   露出時間及びホワイトバランスゲインの少なくとも１つを前記変更範囲内に変更するステップと，
   少なくとも，変更された露出時間で被写体を撮像，及び変更されたホワイトバランスゲインで画像信号のホワイトバランスを調整，の少なくとも１つを実行するステップと，
   撮像素子により複数の撮像方向で撮像された画像信号を合成するステップと，
   合成した画像信号を画像表示部で表示または画像記録部に記録するステップと，
   をコンピュータに実行させる，撮像プログラム。

Images