JP2009218661A - 画像歪み補正機能を有する撮像装置 - Google Patents

Abstract

【課題】小型・薄型の撮像光学系においても、撮影シーンに応じてパースペクティブ効果の補正を行うことが可能な画像歪み補正機能を有する撮像装置を提供する。
【解決手段】本発明の撮像装置は、被写体からの光学的信号を集光する撮像光学系１０１と、前記光学的信号を画像信号に変換する撮像素子１０２と、前記被写体までの複数の距離情報を出力する距離情報取得部１０３、１０４、１０６と、自装置の姿勢情報を出力する姿勢情報検出部１０５と、前記距離情報と前記姿勢情報とを用いて前記画像信号のパースペクティブ効果を補正する画像処理部１０７と、を有する、ことを特徴とする。
【選択図】図１

Description

本発明は画像歪み補正の技術分野に属し、パースペクティブ効果による画像の遠近感強調を補正して良好な画像を得ることができる画像歪み補正機能を有する撮像装置に関する。

近年、デジタルスチルカメラ等の撮像装置の発展は著しく、小型・軽量であり、かつ高画素数の機種が急速に普及している。そして、デジタルスチルカメラの撮像光学系もそれに対応し、小型・薄型のレンズが要求され、開発されている。中でも、手軽に持ち運べ、広角側から望遠側まで１つの撮像光学系で撮影できるデジタルスチルカメラの要求が高まっている。

このように撮像光学系の小型化・薄型化が進んでくると、各種の収差特性や解像力特性といった基本的な光学性能を十分維持していくことが困難となり、特に広角側において発生する歪曲収差の影響が光学性能を維持する上で大きな問題となってきた。そこで、撮影画像を圧縮・伸張させることにより歪曲収差を取り除く補正技術が開発され、実用化されている。このため、比較的小型・薄型の撮像光学系を用いても、広角側で歪曲収差の少ない撮影画像を得ることが可能となってきた。

一方、撮像光学系の収差特性とは別に、特に広角側において構造物の撮影における被写体の遠近感強調、すなわちパースペクティブ効果が知られている。撮影画像の圧縮・伸張による歪曲収差の補正技術により、広角側において歪曲収差の補正が進むと、広角側において発生していたパースペクティブ効果が相対的に問題となってくる。特に広角側においては、撮像光学系の樽型収差を補正するため、パースペクティブ効果が助長される場合がある。

これまでも、比較的大型の撮像光学系では広角側においても歪曲収差が非常に少ないため、パースペクティブ効果による遠近感強調の問題が顕在していた。そのため、高層ビルの撮影等、パースペクティブ効果による違和感を生じやすい被写体には、あおりレンズといった専用のレンズを用いて撮影を行うことで、パースペクティブ効果の影響を緩和し、自然な撮影画像を得ることを可能にしている。

小型・薄型の撮像光学系を用いて高層ビルの撮影等を行う場合は、パースペクティブ効果の補正機能を有していないため、パースペクティブ効果による遠近感強調が起こり、目視と異なる撮影画像が得られることにより違和感が生じる。

この問題を解決するために、車両の外界認識装置の技術分野における特許文献１には、乗員数の増減など車両の定常的なピッチ角変動による俯角を、相互に平行と仮定される２本の走行路区分線を検出し、その平行度を判定することで補正する技術が開示されている。
特開平１０−４０４９９号公報

しかしながら、車両の外界認識装置に使用されるカメラにおいては、道路上の２本の走行路区分線を検出して画像処理を行うため、走行路区分線等あらかじめ平行であることがわかっている目標物が存在するとは限らない一般被写体の場合に適用することは困難である。

一方、あおりレンズを用いて撮影を行うカメラは、専用のあおりレンズが必要となり、かつ目視であおり量を設定しなければならないため、調整が難しい等の課題を有している。

本発明は、上記課題を解決するためになされ、その目的とするところは、専用のあおりレンズを用いることなく、小型・薄型の撮像光学系においても、撮影シーンに応じてパースペクティブ効果の補正を行うことが可能な画像歪み補正機能を有する撮像装置を提供することにある。

上記従来の課題を解決するために、本発明の撮像装置は、被写体からの光学的信号を集光する撮像光学系と、前記光学的信号を画像信号に変換する撮像素子と、前記被写体までの複数の距離情報を出力する距離情報取得部と、自装置の姿勢情報を出力する姿勢情報検出部と、前記距離情報と前記姿勢情報とを用いて前記画像信号のパースペクティブ効果を補正する画像処理部と、を有する、ことを特徴とする。自装置の姿勢情報および被写体までの距離情報を用いて画像信号のパースペクティブ効果の補正を行うので、小型・薄型の撮像光学系を有する撮像装置においても、撮影シーンに応じてパースペクティブ効果の補正を行うことができるという効果を奏する。

本発明の撮像装置は、前記撮像光学系が、前記光学的信号を前記撮像素子に合焦させるためのフォーカスレンズ、を有し、前記距離情報取得部は、前記光学的信号が前記撮像素子に合焦したときの前記フォーカスレンズの位置情報に対応する前記被写体までの距離情報を出力する、ことを特徴としてもよい。コントラスト方式のオートフォーカス機能を有する撮像装置に容易に適用することができる。

本発明の撮像装置は、前記撮像光学系が、前記光学的信号を前記撮像素子に合焦させるためのフォーカスレンズと、前記撮像光学系の光軸と垂直な平面内を移動できる移動レンズとを有し、前記距離情報取得部は、前記光学的信号が前記撮像素子に合焦したときの前記移動レンズの移動量に対応する前記被写体までの距離情報を出力する、ことを特徴としてもよい。レンズシフト方式の手ぶれ補正機能を有する撮像装置に容易に適用することができる。

本発明の撮像装置は、前記撮像光学系が、前記光学的信号を前記撮像素子に合焦させるためのフォーカスレンズ、を有し、前記撮像素子は、前記撮像光学系の光軸と垂直な平面内を移動でき、前記距離情報取得部は、前記光学的信号が前記撮像素子に合焦したときの前記撮像素子の移動量に対応する前記被写体までの距離情報を出力する、ことを特徴としてもよい。ＣＣＤシフト方式の手ぶれ補正機能を有する撮像装置に容易に適用することができる。

本発明の撮像装置は、前記画像処理部が、前記被写体が略鉛直であるときは前記画像信号のパースペクティブ効果を補正し、前記被写体が略鉛直でないときは前記画像信号のパースペクティブ効果を補正しない、ことを特徴としてもよい。パースペクティブ効果の補正を行うことが不適切な被写体に対しては、パースペクティブ効果の補正を行わないことで、被写体に関わらず常に良好な画像を得ることができるという効果を奏する。

本発明の撮像装置は、前記姿勢情報が、自装置の仰角または俯角である、ことを特徴としてもよい。被写体を見上げる場合でも、被写体を見下ろす場合でも、常に良好な画像を得ることができるという効果を奏する。

本発明の撮像装置は、前記被写体までの複数の距離情報が、前記画像信号の縦方向に整列した複数の領域に対応する、ことを特徴としてもよい。

以上のように、本発明は、パースペクティブ効果による遠近感強調を緩和する画像歪み補正を行う際、自装置の姿勢情報および被写体までの距離情報を用いて補正情報を演算する構成により、小型・薄型の撮像光学系においても、撮影シーンに応じてパースペクティブ効果の補正を行うことが可能な画像歪み補正機能を有する撮像装置を提供することができる。

以下、本発明の実施形態を、図面を参照しながら説明する。
（実施の形態１）
（１．構成）
図1は、本発明の第１の実施例であるデジタルスチルカメラの構成を示すブロック図である。

図１に示すように、本発明のデジタルスチルカメラ１００は、撮像光学系１０１、撮像素子１０２、撮像光学系制御部１０３、合焦位置判定処理部１０４、姿勢情報検出部１０５、距離情報格納部１０６、画像処理部１０７、メモリ記憶部１０８を具備している。撮像光学系１０１は、ズームレンズ１０１ａ、フォーカスレンズ１０１ｂ、手ぶれ補正レンズ１０１ｃを具備している。画像処理部１０７は、前処理部１０７ａ、補正情報演算部１０７ｂ、歪補正処理部１０７ｃ、画像変換処理部１０７ｄを具備している。

撮像光学系１０１は、複数のレンズ（群）を具備しており、被写体の光学的信号を撮像素子１０２に集光する。ズームレンズ１０１ａは、光軸Ｏ−Ｏ’方向に移動することで光学系１０１の焦点距離を変える。フォーカスレンズ１０１ｂは、光軸Ｏ−Ｏ’方向に移動することで、被写体の光学的信号を撮像素子１０２に合焦させる。手ぶれ補正レンズ１０１ｃは、光軸Ｏ−Ｏ’と垂直な面内を移動することで撮影者の手ぶれを補正する。撮像素子１０２は、撮像光学系１０１によって集光された被写体の光学的信号を画像信号に変換する素子であって、ＣＣＤイメージセンサーやＣＭＯＳイメージセンサー等を使用することができる。

撮像光学系制御部１０３は、ズームレンズ１０１ａを光軸Ｏ−Ｏ’方向に移動させて光学系１０１の焦点距離を変え、フォーカスレンズ１０１ｂを光軸Ｏ−Ｏ’方向に移動させて被写体の光学的信号を撮像素子１０２に合焦させるとともに、被写体の状況に応じて、撮像光学系１０１に具備されるシャッターユニット、アイリスユニット（いずれも図示せず）を制御して撮像素子１０２に適正な露光量を与える。撮像光学系制御部１０３は、同時に撮像光学系１０１の焦点距離とフォーカスレンズ１０１ｂの位置情報を合焦位置判定処理部１０４に送る。

合焦位置判定処理部１０４は、撮像素子１０２によって変換された画像信号から被写体の光学的信号が撮像素子１０２に合焦したかどうかを判定する。被写体の光学的信号が撮像素子１０２に合焦したかどうかの判定は、撮像光学系制御部１０３に制御信号を送り、フォーカスレンズ１０１ｂを光軸Ｏ−Ｏ’方向に微小距離ずつ移動させながら、撮像素子１０２によって変換された画像信号の有するコントラストが最大になったかどうかで行う。

図２は、撮像素子１０２を光軸Ｏ−Ｏ’方向から見た図である。被写体の光学的信号が撮像素子１０２に合焦したかどうかの判定は、図２に示す撮像素子１０２上の三つの領域Ａ・Ｂ・Ｃについて行う。すなわち、撮像光学系制御部１０３に制御信号を送り、フォーカスレンズ１０１ｂを光軸Ｏ−Ｏ’方向に微小距離ずつ移動させながら、領域Ａ・Ｂ・Ｃのそれぞれについて、撮像素子１０２によって変換された画像信号の有するコントラストが最大になるフォーカスレンズ１０１ｂの位置情報を取得する。

合焦位置判定処理部１０４は、距離情報格納部１０６から、領域Ａ・Ｂ・Ｃのそれぞれについて、撮像光学系１０１の焦点距離と撮像素子１０２によって変換された画像信号の有するコントラストが最大になるフォーカスレンズ１０１ｂの位置情報に対応する被写体までの距離情報を取得する。距離情報格納部１０６には、撮像光学系１０１の焦点距離とフォーカスレンズ１０１ｂの位置情報に対応した被写体までの距離情報が格納されている。合焦位置判定処理部１０４は、撮像素子１０２によって変換された画像信号を前処理部１０７ａに送るとともに、距離情報格納部１０６から取得した領域Ａ・Ｂ・Ｃのそれぞれについての被写体までの距離情報を補正情報演算部１０７ｂに送る。

前処理部１０７ａは、合焦位置判定処理部１０４から送られた画像信号に対して、ホワイトバランス補正、ガンマ補正、キズ補正等の前処理を行い、前処理後の画像信号を歪補正処理部１０７ｃに送る。

姿勢情報検出部１０５は、本発明のデジタルスチルカメラ１００の姿勢情報（仰角）を検出し、補正情報演算部１０７ｂに送る。姿勢情報検出部１０５には、加速度センサー等を使用することができる。近年のデジタルスチルカメラには、撮影者の手ぶれを補正するために加速度センサー等が搭載されている場合が多い。加速度センサーは、本発明のデジタルスチルカメラ１００が静止していると重力の加速度を検出する。本発明のデジタルスチルカメラ１００に仰角が与えられると重力の加速度が変化するので、姿勢情報（仰角）を得ることができる。また、姿勢情報検出部１０５は、手ぶれ補正レンズ１０１ｃの自重情報を利用する構成としてもよい。使用者の手ぶれを補正するとき以外は手ぶれ補正レンズ１０１ｃの中心が光軸Ｏ−Ｏ’上に位置するように制御している。このときの駆動力から手ぶれ補正レンズ１０１ｃの自重情報を得ることができる。本発明のデジタルスチルカメラ１００に仰角が与えられると手ぶれ補正レンズ１０１ｃの自重情報が変化するので、姿勢情報（仰角）を得ることができる。また、機械式傾斜計を内蔵する構成でも構わない。

補正情報演算部１０７ｂは、合焦位置判定処理部１０４から送られた領域Ａ・Ｂ・Ｃのそれぞれについての被写体までの距離情報と姿勢情報検出部１０５から送られた本発明のデジタルスチルカメラ１００の姿勢情報（仰角）から、前処理部１０７ａによって前処理を行われた画像信号に対して、パースペクティブ効果の補正を行うために必要な補正情報を演算し、歪補正処理部１０７ｃに送る。

歪補正処理部１０７ｃは、前処理部１０７ａから送られた画像信号に対して、補正情報演算部１０７ｂから送られた補正情報を用いてパースペクティブ効果の補正を行い、補正後の画像信号を画像変換処理部１０７ｄに送る。

画像変換処理部１０７ｄは、歪補正処理部１０７ｃから送られた画像信号にＪＰＥＧ等の画像信号圧縮を行い、または、画像信号圧縮を行わない（いわゆるＲＡＷ画像信号）でメモリ記憶部１０８に記憶させる。メモリ記憶部１０８は、ＳＤカード（登録商標）、コンパクトフラッシュ（登録商標）等の不揮発性メモリを使用した半導体記憶装置やハードディスク等を使用することができる。

なお、補正情報演算部１０７ｂと歪補正処理部１０７ｃの動作の詳細については、後述する。撮像光学系制御部１０３と合焦位置判定処理部１０４と距離情報格納部１０６は、本発明の距離情報取得部を構成する。
（２．動作）
次に本発明の第１の実施例であるデジタルスチルカメラ１００の動作を説明する。図３、図４、図５は、本発明の第１の実施例であるデジタルスチルカメラ１００の動作を示す図である。図３のように地上から高層ビルの撮影を行なった場合、高層ビルの最上部まで画角に入るように高層ビルを見上げて撮影を行うと、目視での見え方が図４（ａ）のようになるのに対し、撮影画像では周辺にいく程、パースペクティブ効果による遠近感強調が起こり、図４（ｂ）のような撮影画像がメモリ記憶部１０８に記憶されてしまう。

本発明のデジタルスチルカメラ１００では、図５に示すように、合焦位置判定処理部１０４が、撮像光学系制御部１０３から送られた撮像光学系１０１の焦点距離とフォーカスレンズ１０１ｂの位置情報に基づいて、領域Ａ・Ｂ・Ｃのそれぞれについての被写体までの距離情報ｌ・ｍ・ｎを距離情報格納部１０６から取得し、補正情報演算部１０７ｂに送る。また、姿勢情報検出部１０５が、本発明のデジタルスチルカメラ１００の姿勢情報（仰角θ）を検出し、補正情報演算部１０７ｂに送る。

補正情報演算部１０７ｂは、合焦位置判定処理部１０４から送られた領域Ａ・Ｂ・Ｃのそれぞれについての被写体までの距離情報ｌ・ｍ・ｎと姿勢情報検出部１０５から送られた本発明のデジタルスチルカメラ１００の姿勢情報（仰角θ）から、被写体が高層ビル等の垂直に立てられた構造物であるかを判断する。

図６に、被写体が高層ビル等の垂直に建てられた構造物であるかの判断方法の一例を示す。図６（ａ）は被写体が高層ビル等の垂直に建てられた構造物である場合を示す図であり、図６（ｂ）は被写体が山の斜面等である場合を示す図である。角度αは、領域Ａの中心と領域Ｂの中心および領域Ｂの中心と領域Ｃの中心のなす角度であり、撮像光学系１０１の焦点距離に対応した既知の角度である。領域Ａ・Ｂ・Ｃのそれぞれについての被写体までの距離情報ｌ・ｍ・ｎと本発明のデジタルスチルカメラ１００の姿勢情報（仰角θ）も既知である。

したがって、被写体が高層ビル等の垂直に建てられた構造物である場合の図６（ａ）では、本発明のデジタルスチルカメラ１００から被写体である高層ビルまでの水平距離をＸとすると、式（１）の関係が成立する。

Ｘ＝ｌｃｏｓ（θ＋α）＝ｍｃｏｓθ＝ｎｃｏｓ（θ−α） 式（１）
また、このとき、式（２）の関係も同時に成立する。

ｌ＞ｍ＞ｎ 式（２）
一方、被写体が山の斜面等である場合の図６（ｂ）では、式（２）の関係は成立するが、式（１）の関係は成立しない。図６（ｂ）の場合、式（１）は式（１）’となる。

ｌｃｏｓ（θ＋α）＞ｍｃｏｓθ＞ｎｃｏｓ（θ−α）＞Ｘ 式（１）’
そこで、式（１）、式（２）の関係がともに成立するときに、被写体が高層ビル等の垂直に建てられた構造物であることが判断できる。

補正情報演算部１０７ｂは、被写体が高層ビル等の垂直に建てられた構造物であると判断すると、領域Ａ・Ｂ・Ｃのそれぞれについての被写体までの距離情報ｌ・ｍ・ｎと本発明のデジタルスチルカメラ１００の姿勢情報（仰角θ）から、前処理部１０７ａによって前処理を行われた画像信号に対して、パースペクティブ効果の補正を行うために必要な補正情報を演算し、歪補正処理部１０７ｃに送る。

ここで、補正情報の演算について図７を用いて説明する。図７は、補正情報の演算の一例を示す図である。補正情報演算部１０７ｂでは、前処理部１０７ａによって前処理を行われた画像信号の各位置における拡大・縮小率を演算する。

撮影された高さＨの画像を本発明のデジタルスチルカメラ１００の光軸Ｏ−Ｏ’に垂直な平面内で高さＬの画像に補正する場合について説明する。撮影時の本発明のデジタルスチルカメラ１００の姿勢情報（仰角θ）と半画角βから、高さＨと補正後の高さＬには式（３）の関係が成立する。

Ｌ＝Ｈｃｏｓθ−Ｈｓｉｎθｔａｎβ 式（３）
ここで、ｔａｎβは、本発明のデジタルスチルカメラ１００の撮像素子１０２の対角寸法と撮影時の撮像光学系１０１の焦点距離から、式（４）のように求められる。

ｔａｎβ＝（撮像素子の対角寸法）÷（撮影時の焦点距離） 式（４）
したがって、式（３）と式（４）から補正後の高さＬを求めることができる。

しかし、このようにして補正後の高さＬを求めると、パースペクティブ効果が完全に補正されてしまい、かえって違和感のある画像となる場合がある。例えば、撮影時の本発明のデジタルスチルカメラ１００の焦点距離が３５ｍｍ換算で２８ｍｍであり、姿勢情報（仰角θ）が約２９°の場合には、補正後の高さＬは、高さＨの１／２程度となる。そこで、姿勢情報（仰角θ）に一定の係数（例えば、０．８程度）をかけると適度にパースペクティブが補正された画像を得ることができる。この係数は、撮影時の本発明のデジタルスチルカメラ１００の焦点距離や姿勢情報（仰角θ）よって異なる値としてもよい。

なお、本発明のデジタルスチルカメラ１００の光軸Ｏ−Ｏ’に垂直な平面は、領域Ａ・Ｂ・Ｃのそれぞれについての被写体までの距離情報ｌ・ｍ・ｎのうち、最も近いものを基準とすることで、補正後の画像の切れを防止することができる。

以上、画像の上下方向に関する補正情報の演算について説明したが、画像の左右方向に関する補正情報の演算についても、同様である。ただし、画像の左右方向に関する補正情報の演算においては、画像の左右方向の中心を基準として、左右対称に演算することが望ましい。これにより、画像の左右方向においても、補正後の画像の切れを防止することができる。

上記演算を繰り返すことにより、画像の上下方向および左右方向の各位置における補正情報を演算し、歪補正処理部１０７ｃに送る。

歪補正処理部１０７ｃは、前処理部１０７ａから送られた画像信号に対して、補正情報演算部１０７ｂから送られた補正情報を用いてパースペクティブ効果の補正を行い、補正後の画像信号を画像変換処理部１０７ｄに送る。図８は、パースペクティブ効果の補正を示す図である。図８（ａ）は前処理部１０７ａから送られた画像信号を示す図であり、図８（ｂ）は歪補正処理部１０７ｃによって画面位置に応じた伸張補正が行われパースペクティブ効果が緩和された画像信号を示す図である。具体的には、図８（ａ）の中心より左側の画素を左斜めうえ方向に、中心より右側の画素を右斜め上方向に電子的に移動させる。これによって画素の不足が生じるが、周辺画素の情報を用いて電子的に補間する。なお、図８（ａ）、（ｂ）の破線は、遠近感の強調度合いを示すために記載したものであり、実際の画像信号には含まれない。

次に、補正情報演算部１０７ｂが、被写体が高層ビル等の垂直に建てられた構造物であると判断できない場合について説明する。図９は、被写体が高層ビル等の垂直に建てられた構造物であると判断できない場合を示す図である。図９は、壁に掛けられ俯角のついた額を見上げながら撮影する場合を示している。この場合は、式（１）、式（２）の関係がともに成立しないため、被写体が高層ビル等の垂直に建てられた構造物であると判断できない。図９の場合、式（１）は式（１）’’となり、式（２）は式（２）’となる。

ｌｃｏｓ（θ＋α）＜ｍｃｏｓθ＜ｎｃｏｓ（θ−α）＜Ｘ 式（１）’’
ｌ≒ｎ＞ｍ 式（２）’
したがって、補正情報演算部１０７ｂは補正情報を歪補正処理部１０７ｃに送らず、歪補正処理部１０７ｃは前処理部１０７ａから送られた画像信号に対して、パースペクティブ効果の補正を行わない。

図１０は、被写体が高層ビル等の垂直に建てられた構造物であると判断できないもう１つの場合を示す図である。図１０は、高層ビル等の垂直に建てられた構造物の前に人物が立っている場合を示している。この場合は、式（１）、式（２）の関係がともに成立しないため、被写体が高層ビル等の垂直に建てられた構造物であると判断できない。図１０の場合、式（１）は式（１）’’’となり、式（２）は式（２）’’となる。

Ｘ＝ｌｃｏｓ（θ＋α）＞＞ｍｃｏｓθ≒ｎｃｏｓ（θ−α） 式（１）’’’
ｌ＞＞ｍ≒ｎ 式（２）’’
したがって、補正情報演算部１０７ｂは補正情報を歪補正処理部１０７ｃに送らず、歪補正処理部１０７ｃは前処理部１０７ａから送られた画像信号に対して、パースペクティブ効果の補正を行わない。

なお、本発明の第１の実施例では、上下方向についてパースペクティブ効果の補正を行ったが、左右方向についても同様の方法でパースペクティブ効果の補正を行うことが可能である。その場合は、被写体までの距離情報を取得する領域を左右方向に設ける必要がある。

また、本発明の第１の実施例では、被写体までの距離情報を取得する領域を領域Ａ・Ｂ・Ｃの３つとしたが、複数の領域から距離情報が取得できればよいため、領域の数を３つに限定するものではない。被写体までの距離情報の取得は、領域Ａ・Ｂ・Ｃのそれぞれについて、撮像素子１０２によって変換された画像信号の有するコントラストが最大になるフォーカスレンズ１０１ｂの位置情報を取得することにより行ったが、これに限定するものではない。位相差検出方式やアクティブ方式で、被写体までの距離情報を取得してもよい。

また、本発明の第１の実施例では、地上から高層ビルを見上げて撮影を行う場合を想定したが、これとは逆に高層ビルの屋上から地上を見下ろして撮影を行うような場合でも、同様の方法でパースペクティブ効果の補正を行うことができる。
（実施の形態２）
（１．構成）
本発明の第１の実施例では、複数の領域のそれぞれについて被写体までの距離情報を取得したが、本発明の第２の実施例では、デジタルスチルカメラが撮影者の手ぶれを補正するために撮像光学系１０１内に手ぶれ補正レンズ１０１ｃを具備している場合、撮影前に手ぶれ補正レンズ１０１ｃを移動させることで、単一の領域で被写体までの距離情報を取得することを特徴とする。本発明の第２の実施例であるデジタルスチルカメラの構成は、本発明の第１の実施例であるデジタルスチルカメラの構成と同じであるため、説明を省略する。手ぶれ補正レンズ１０１ｃは、本発明の移動レンズの一例である。
（２．動作）
図１１は、手ぶれ補正レンズ１０１ｃを移動させることによる効果を示す図である。図１１（ａ）は手ぶれ補正レンズ１０１ｃを移動させていない状態を、図１１（ｂ）は手ぶれ補正レンズ１０１ｃを上向きに移動させた状態を、図１１（ｃ）は手ぶれ補正レンズ１０１ｃを下向きに移動させた状態をそれぞれ示す。

図１１（ａ）では、手ぶれ補正レンズ１０１ｃを移動させていないため、手ぶれ補正レンズ１０１ｃの中心は光軸Ｏ−Ｏ’上にあり、撮像素子１０２によって変換された画像信号は光軸Ｏ−Ｏ’を中心にズームレンズ１０１ａの位置によって決定される焦点距離に対応した画角の範囲を捕らえている。

合焦位置判定処理部１０４は、距離情報格納部１０６から、領域Ｂについて、撮像光学系１０１の焦点距離と撮像素子１０２によって変換された画像信号の有するコントラストが最大になるフォーカスレンズ１０１ｂの位置情報に対応する被写体までの距離情報ｍを取得する。

図１１（ｂ）では、手ぶれ補正レンズ１０１ｃを上向きに移動させたため、手ぶれ補正レンズ１０１ｃの中心は光軸Ｏ−Ｏ’よりも上にあり、撮像素子１０２によって変換された画像信号は光軸Ｏ−Ｏ’に対して角度αだけ下向きにズームレンズ１０１ａの位置によって決定される焦点距離に対応した画角の範囲を捕らえている。

合焦位置判定処理部１０４は、距離情報格納部１０６から、領域Ｂについて、撮像光学系１０１の焦点距離と撮像素子１０２によって変換された画像信号の有するコントラストが最大になるフォーカスレンズ１０１ｂの位置情報に対応する被写体までの距離情報ｎを取得する。

図１１（ｃ）では、手ぶれ補正レンズ１０１ｃを図１０（ｂ）と同じ移動量だけ下向きに移動させたため、手ぶれ補正レンズ１０１ｃの中心は光軸Ｏ−Ｏ’よりも下にあり、撮像素子１０２によって変換された画像信号は光軸Ｏ−Ｏ’に対して角度αだけ上向きにズームレンズ１０１ａの位置によって決定される焦点距離に対応した画角の範囲を捕らえている。

合焦位置判定処理部１０４は、距離情報格納部１０６から、領域Ｂについて、撮像光学系１０１の焦点距離と撮像素子１０２によって変換された画像信号の有するコントラストが最大になるフォーカスレンズ１０１ｂの位置情報に対応する被写体までの距離情報ｌを取得する。

以上の動作を行う間、ズームレンズ１０１ａの位置は固定する。このようにして、単一の領域Ｂで被写体までの距離情報ｌ・ｍ・ｎを取得することができる。

図１２は、本発明の第２の実施例であるデジタルスチルカメラ１００の動作を示す図である。まず、手ぶれ補正レンズ１０１ｃの中心を光軸Ｏ−Ｏ’上に固定し（図１１（ａ）の状態）、領域Ｂについて被写体までの距離情報ｍを取得する。次に、手ぶれ補正レンズ１０１ｃを上向きに移動させ(図１１（ｂ）の上体)、領域Ｂについて被写体までの距離情報ｎを取得する。最後に、手ぶれ補正レンズ１０１ｃを下向きに移動させ（図１１（ｃ）の状態）、領域Ｂについて被写体までの距離情報ｌを取得する。

上記の被写体までの距離情報ｌ・ｍ・ｎおよび本発明のデジタルスチルカメラの姿勢情報（仰角θ）より、本発明の第１の実施例と同様にパースペクティブ効果の補正を行うことができる。

なお、手ぶれ補正レンズ１０１ｃの上向きおよび下向きの移動量を同じ値の固定値とすれば、角度αも固定値となる。手ぶれ補正レンズ１０１ｃの上向きおよび下向きの移動量を異なる値としてもよい。本発明のデジタルスチルカメラの姿勢情報（仰角θ）が比較的小さい場合は、手ぶれ補正レンズ１０１ｃの下向きの移動量を上向きの移動量よりも大きくするとよい。このとき、手ぶれ補正レンズ１０１ｃの上向きの移動量に対する角度αと下向きの移動量に対する角度βの２つの固定値が必要となる。

また、あらかじめ距離情報格納部１０６に手ぶれ補正レンズ１０１ｃの移動量に対応した角度情報を格納しておき、合焦位置判定処理部１０４が撮像光学系制御部１０３から送られた撮影前の手ぶれ補正レンズ１０１ｃの移動量に対応する角度情報を距離情報格納部１０６から取得して補正情報演算部１０７ｂに送るようにしてもよい。

高層ビル等の垂直に建てられた構造物が、ズームレンズ１０１ａの位置によって決定される焦点距離に対応した画角の範囲内で比較的下方に存在する場合は、手ぶれ補正レンズ１０１ｃを下向きに移動したときに、図１２における被写体までの距離情報ｌが無限大となってしまうことがある。これは、図１２における角度（θ＋α）が大きいために、高層ビル等の垂直に建てられた構造物の上部までの距離ではなく、その上空を測定してしまうからである。このような場合には、有限の値が測定されるまで、手ぶれ補正レンズ１０１ｃの下向きの移動量を減らしていけばよい。

その際、距離情報格納部１０６に手ぶれ補正レンズ１０１ｃの移動量に対応した角度情報を格納しておけば、手ぶれ補正レンズ１０１ｃの任意の移動量に対応する角度情報を取得することができる。

また、手ぶれ補正レンズ１０１ｃの移動量と角度情報の関係は、撮像光学系１０１の設計データを用いて光学シミュレーションにより求めることができる。その際、撮像素子１０２の分光感度比率に応じた結像の重心位置を用いて角度情報を手ぶれ補正レンズ１０１ｃの移動量の関数として距離情報格納部１０６に格納することで、データ量が比較的少なく、汎用性が高くなるため望ましい。

なお、本発明の実施例２では手ぶれ補正レンズ１０１ｃを移動させる構成としているが、手ぶれ補正レンズ１０１ｃではなく撮像素子１０２を移動させる構成としても同様の効果が得られる。手ぶれ補正には、大きく、手ぶれ補正レンズを移動させるレンズシフト方式と撮像素子（ＣＣＤ）を移動させるＣＣＤシフト方式が実用化されているが、いずれの方式でも被写体までの複数の距離情報の取得に利用することができる。

以上のように、本発明の実施例２では被写体の距離情報の取得に際し、デジタルスチルカメラ１００の手ぶれ補正機能を利用することで、単一の領域Ｂで被写体までの複数の距離情報ｌ・ｍ・ｎを取得することが可能になることから、領域位置のバラツキによる誤差を少なくすることが可能となる。
（その他の実施の形態）
本発明の第１の実施例および第２の実施例では、本発明のデジタルスチルカメラの操作系を限定していない。本発明の画像歪み補正機能は、本発明のデジタルスチルカメラの設定に関わらず自動的に実施されるように構成してもよいし、撮影者が所定の設定を行うことで実施されるように構成してもよい。また、撮影者が所定の設定を行うことで補正の強弱を調整できるように構成してもよい。また、撮影者が所定の設定を行うことで、本発明のデジタルスチルカメラの仰角または俯角が０°または微小な角度であったとしても、画像歪補正が意図的に実施されるように構成してもよい。このように、本発明の画像歪み補正機能は、本発明のデジタルスチルカメラの操作系によって限定を受けるものではない。

本発明の画像歪み補正機能を有する撮像装置は、パースペクティブ効果による画像の遠近感強調を、撮影時に意識することなく補正できるので、デジタルスチルカメラ、デジタルビデオカメラ、カメラ付携帯電話等の撮像装置に適用して有用である。

本発明の実施例であるデジタルスチルカメラの構成を示すブロック図 撮像素子を光軸Ｏ−Ｏ’方向から見た図 本発明の第１の実施例であるデジタルスチルカメラの動作を示す図（撮影状況） 本発明の第１の実施例であるデジタルスチルカメラの動作を示す図（撮影画像） 本発明の第１の実施例であるデジタルスチルカメラの動作を示す図（距離情報） 被写体が高層ビル等の垂直に建てられた構造物であるかの判断方法の一例を示す図 補正情報の演算の一例を示す図 パースペクティブ効果の補正を示す図 被写体が高層ビル等の垂直に建てられた構造物であると判断できない場合を示す図（１） 被写体が高層ビル等の垂直に建てられた構造物であると判断できない場合を示す図（２） 手ぶれ補正レンズを移動させることによる効果を示す図 本発明の第２の実施例であるデジタルスチルカメラの動作を示す図

符号の説明

１００ デジタルスチルカメラ
１０１ 撮像光学系
１０１ａ ズームレンズ
１０１ｂ フォーカスレンズ
１０１ｃ 手ぶれ補正レンズ
１０２ 撮像素子
１０３ 撮像光学系制御部
１０４ 合焦位置判定処理部
１０５ 姿勢情報検出部
１０６ 距離情報格納部
１０７ 画像処理部
１０７ａ 前処理部
１０７ｂ 補正情報演算部
１０７ｃ 歪補正処理部
１０７ｄ 画像変換処理部
１０８ メモリ記憶部

Claims (7)

1. 被写体からの光学的信号を集光する撮像光学系と、
   前記光学的信号を画像信号に変換する撮像素子と、
   前記被写体までの複数の距離情報を出力する距離情報取得部と、
   自装置の姿勢情報を出力する姿勢情報検出部と、
   前記距離情報と前記姿勢情報とを用いて前記画像信号のパースペクティブ効果を補正する画像処理部と、
   を有する、
   ことを特徴とする撮像装置。
2. 前記撮像光学系は、
   前記光学的信号を前記撮像素子に合焦させるためのフォーカスレンズ、
   を有し、
   前記距離情報取得部は、
   前記光学的信号が前記撮像素子に合焦したときの前記フォーカスレンズの位置情報に対応する前記被写体までの距離情報を出力する、
   ことを特徴とする請求項１に記載の撮像措置。
3. 前記撮像光学系は、
   前記光学的信号を前記撮像素子に合焦させるためのフォーカスレンズと、
   前記撮像光学系の光軸と垂直な平面内を移動できる移動レンズと
   を有し、
   前記距離情報取得部は、
   前記光学的信号が前記撮像素子に合焦したときの前記移動レンズの移動量に対応する前記被写体までの距離情報を出力する、
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記撮像光学系は、
   前記光学的信号を前記撮像素子に合焦させるためのフォーカスレンズ、
   を有し、
   前記撮像素子は、
   前記撮像光学系の光軸と垂直な平面内を移動でき、
   前記距離情報取得部は、
   前記光学的信号が前記撮像素子に合焦したときの前記撮像素子の移動量に対応する前記被写体までの距離情報を出力する、
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記画像処理部は、
   前記被写体が略鉛直であるときは前記画像信号のパースペクティブ効果を補正し、
   前記被写体が略鉛直でないときは前記画像信号のパースペクティブ効果を補正しない、
   ことを特徴とする請求項１から請求項４のいずれかに記載の撮像装置。
6. 前記姿勢情報は、
   自装置の仰角または俯角である、
   ことを特徴とする請求項１から請求項５のいずれかに記載の撮像装置。
7. 前記被写体までの複数の距離情報は、
   前記画像信号の縦方向に整列した複数の領域に対応する、
   ことを特徴とする請求項１から請求項６のいずれかに記載の撮像装置。

Images