JP2011197452A - 複眼撮像装置およびその制御方法 - Google Patents

Abstract

【課題】複眼撮像装置によって得られる複数の画像間の傾きズレを解消する。
【解決手段】ディジタル・スチル・カメラは，ＣＣＤをそれぞれ含む二つの光学部材を備えている。光学部材によって左画像Ｌおよび右画像Ｒが得られ，メインメモリに入力する（ステップ43）。左画像Ｌ中および右画像Ｒ中の直線線分のうち，最も垂直または水平に近い方向を向く線分が基準線とされ，基準線を含む画像が基準画像とされる（ステップ44〜47）。上記基準線に対応する非基準画像中の対応線の傾きを，基準線の傾きに一致させるための変換パラメータが算出される（ステップ48）。変換パラメータにα（０＜α＜１）を乗算して得られる調整パラメータに応じた角度だけ非基準画像が回転するように，光学部材が回転制御される（ステップ49，50）。
【選択図】図９

Description

この発明は，複眼撮像装置およびその制御方法に関する。

複眼撮像装置における基本問題の一つは，レンズ，撮像素子（ＣＣＤなど）等の光学部材の位置（方向）ズレによって画像間に傾きズレが生じることである。複眼撮像装置は複数の光学部材（撮像手段）を備え，通常，複数の光学部材は工場生産工程において比較的精密に位置決めされるが，複数の光学部材の位置（方向）ズレを完全に無くすことは困難である。また経時劣化によって位置ズレが発生または増大することもある。

特許文献１には調整パターンを撮像することによって得られる撮像画像を用いて回転ズレ量θ等を算出することが記載されている。特許文献２には立方体を被写体として撮像することによって得られる画像を用いてカメラの設置位置のズレを調整するものが記載されている。特許文献１，２においては専用の調整パターンまたは調整用被写体（立方体）の撮像を必須とし，ズレの調整に時間と手間がかかる。

特許文献３には，一対（左右）の画像を一致する方向に調整する射影行列を用いるものが記載されている。調整方向に何らの基準も無く，したがって誤った（違和感が生じる）方向（向き）に一対の画像が調整されるおそれがある。

特開平１０−３０７３５２号公報 特開平８−２５１６２７号公報 特開２００４−３３４８１９号公報

この発明は，調整用パターンまたは調整用被写体を用いることなく，複数の画像間の傾きズレの抑制を図ることを目的とする。

この発明はまた,傾きズレが調整された後の画像に，傾きズレの調整による違和感を生じさせないようにすることを目的とする。

この発明による複眼撮像装置は，共通する領域を撮像可能な位置に設けられかつ異なる位置から被写体を撮像する，固体撮像素子を含む少なくとも二つの撮像手段，上記撮像手段によって得られる少なくとも二つの画像データをそれぞれ独立に回転させる画像回転手段，上記少なくとも二つの画像データのうちの一つである基準画像データによって表される基準画像に対する，残りの画像データである非基準画像データによって表される非基準画像のそれぞれの傾きズレ角度量を検出する傾きズレ検出手段，および上記傾きズレ検出手段によって検出された傾きズレ角度量に応じた角度分上記非基準画像のそれぞれが回転するように上記画像回転手段を制御する第１の傾き制御手段を備える。

この発明による複眼撮像装置の制御方法は，共通する領域を撮像可能な位置に設けられかつ異なる位置から被写体を撮像する，固体撮像素子を含む少なくとも二つの撮像手段を有する複眼撮像装置を制御方法であって，傾きズレ検出手段が，上記少なくとも二つの撮像手段による撮像によって得られる少なくとも二つの画像データのうちの一つである基準画像データによって表される基準画像に対する，残りの画像データである非基準画像データによって表される非基準画像のそれぞれの傾きズレ角度量を検出し，傾き制御手段が，上記傾きズレ検出手段によって検出された傾きズレ角度量に応じた角度分上記非基準画像のそれぞれが回転するように，上記撮像手段によって得られる少なくとも二つの画像データをそれぞれ独立に回転させる画像回転手段を，制御するものである。

少なくとも二つの撮像手段のそれぞれによって少なくとも二つの画像データが得られ，このうちの一つが基準画像データとして扱われる。基準画像データ以外の残りの画像データが非基準基準画像データである。この発明によると，複数の画像データのうちの一つである基準画像データによって表される基準画像に対する，残りの画像データによって表される非基準画像のそれぞれの傾きズレ角度量が検出され，検出された傾きズレ角度量に応じた角度分，非基準画像が回転させられる。傾きズレ角度量は大きさおよび方向を含む。非基準画像の傾きが基準画像の傾きに近づくまたは一致するので，基準画像および非基準画像間の傾きズレを抑制または解消することができる。傾き調整のための特別な調整パターンまたは特別な調整用被写体を用いることなく，基準画像および非基準画像間の傾きズレを抑制または解消することができる。また，この発明によると，非基準画像が回転し，基準画像は回転しないので，撮像によって得られた複数の画像データのすべては回転しない。複眼撮像装置を使用するユーザの意図（画像構図）を破綻させる可能性は低い。

一実施態様では，上記撮像手段によって得られる少なくとも二つの画像データのそれぞれについて，上記画像データによって表される画像中に含まれる直線線分を検出する線分検出手段，ならびに上記線分検出手段によって検出された直線線分のうち，上記固体撮像素子に含まれる水平画素の方向および垂直画素の方向にそれぞれ対応する水平方向および垂直方向のいずれかに最も近い方向を向く直線線分を基準線として決定する基準線決定手段を備え，上記傾きズレ検出手段は，上記基準線決定手段によって決定された上記基準線を含む被写体像を上記基準画像として選択するものであり，上記傾きズレ検出手段はさらに，上記基準画像中の上記基準線に対する，上記非基準画像中の上記基準線に対応する対応線のそれぞれの傾きズレ角度量を検出する。

複数（少なくとも二つの）撮像手段は共通する領域を撮像可能な位置に設けられているので，撮像手段によって得られる複数の画像データによって表される複数の画像には同一の被写体像が含まれる。複数の画像中のそれぞれに含まれる被写体像中に存在する直線線分であって，水平方向および垂直方向のいずれかに最も近い方向を向く直線線分が基準線とされる。この基準線を含む画像が基準画像として位置づけられる。非基準画像中の上記基準線に対応する線分（対応線）の傾きが，上記基準画像中の基準線の傾きに近づくように，非基準画像が回転させられる。

調整パターンまたは調整用被写体を用いた傾き調整のメリットは，傾きズレの無い理想的な状態を調整パターン等を用いて把握（認識）して，この理想的な状態が撮像可能になるように複数のカメラ等の位置または角度を調整することにより，複数のカメラ間（複数の画像間）の傾きズレを調整できる点にある。他方，この発明は調整パターン等を用いずに傾きズレの抑制を図るものであるから，調整パターンを用いた傾きズレの調整と比べるとその精度が良いとは必ずしも言えない。しかしながら，写真撮影等では，水平方向にのびる境界を含むもの（たとえば，水平線を含む画像など），垂直方向にのびる境界線を含むもの（たとえば，樹木を含む画像など）が撮影されることが統計的に多い。この実施態様では，この統計的事実に着目して，撮像によって得られた画像中に含まれる水平方向または垂直方向に近い直線線分が基準線とされ，この基準線の方向に近づくようにして傾きズレを抑制ないし解消することができる。あたかも調整パターンを用いるのと同様の精度によって，傾きズレを抑制ないし解消することができる。

好ましくは，上記線分検出手段によって検出された直線線分のすべてが，上記水平方向の近傍角度範囲および上記垂直方向の近傍角度範囲の方向を向いていない場合に，上記傾きズレ検出手段による傾きズレ角度量の検出，および上記第１の傾き制御手段による上記画像回転手段の制御を停止させる停止手段をさらに備える。高い精度で傾きズレの抑制を図ることができる可能性が低い場合に傾きズレの調整自体を回避することによって，誤調整の発生の可能性を低めるためである。

他の実施態様では，上記撮像装置は，上記基準線および上記対応線の方向が一致するかどうかを判断する基準線／対応線判断手段を備え，上記基準線／対応線判断手段によって，上記基準線および上記対応線の方向の一致が判断された場合に，一致する方向の対応線を含む非基準画像について，上記傾きズレ検出手段による傾きズレ角度量の検出および上記第１の傾き制御手段による上記画像回転手段の制御を停止させる停止手段をさらに備える。基準画像中の基準線と非基準画像中の対応線の方向が一致している場合，基準画像とその非基準画像の間に傾きズレは無いと考えられる。この場合にはその後の処理が停止されるので，無駄な処理および電力消費を避けることができる。

好ましくは，上記第１の傾き制御手段は，上記傾き検出手段によって検出された傾きズレ角度量に１よりも小さい所定係数を乗算することによって得られる角度量分上記非基準画像が回転するように上記画像回転手段を制御する。傾きズレを一気に解消するのではなく，緩やかに抑制することによって，たとえ傾きズレ角度量の算出に誤りがあったとしても，画像破綻の発生を防止することができる。

もちろん，傾きズレを一気に解消するようにしてもよい。この場合，一実施態様では，上記第１の傾き制御手段は，上記傾き検出手段によって検出された傾きズレ角度量と，傾きズレ角度量に１よりも小さい所定係数を乗算することによって得られる角度量との差分の角度量分上記非基準画像がさらに回転するように上記画像回転手段を制御する。

好ましくは，上記撮像手段によって得られる少なくとも二つの被写体像を表す画像データのそれぞれについて，前回までの画像回転において用いられた上記傾きズレ角度量の累積値を記憶する累積値記憶手段，および上記第１の傾き制御手段による上記画像回転手段の制御よりも前に，上記累積値記憶手段に記憶された傾きズレ角度量の累積値に応じた角度分上記非基準画像が回転するように上記画像回転手段を制御する第２の傾き制御手段を備える。過去の調整結果を利用することができるので，傾きズレを次第に減少させて，最終的には無くすようにすることができる。

一実施態様では，上記画像回転手段は，上記撮像手段のそれぞれを独立に回転させる撮像手段回転アクチュエータである。撮像手段自体を回転させることによって，その後に得られる画像データによって表される非基準画像の傾きが，基準画像の傾きに近づくまたは一致する。

他の実施態様では，上記画像回転手段は，上記撮像手段によって得られる画像データを回転変換することによって被写体像を回転させる画像データ回転処理手段である。アフィン変換，射影変換などの画像回転処理によって，その後に得られる画像データによって表される非基準画像の傾きが，基準画像の傾きに近づくまたは一致する。

一実施態様では，上記複眼撮像装置は，傾き調整フラグを記憶する傾き調整フラグ記憶手段，上記傾き調整フラグをオン／オフする傾き調整フラグ制御手段，および上記傾き調整フラグがオンであるときに，上記傾きズレ検出手段による傾きズレ角度量の検出，および上記第１の傾き制御手段による上記画像回転手段の制御を許す画像回転許可手段をさらに備える。傾き調整フラグがオフされているときに傾き調整を実行しないようにすることによって，小電力化が図られ，かつ連続した誤調整も回避することができる。

好ましくは，上記傾き調整フラグ制御手段は，上記画像回転手段によって画像データが回転されたことに応じて上記傾き調整フラグ記憶手段に記憶されている傾き調整フラグをオフする。その後，所定の条件のときに，傾き調整フラグをオンにすればよい。

傾き調整フラグをオンする条件としては，上記複眼撮像装置の電源が入れられたとき，上記複眼撮像装置の設定が変更されたとき，上記画像回転手段によって画像データが回転された後，所定の時間が経過しているとき，などがある。

ディジタル・スチル・カメラの電気的構成を示すブロック図である。 第１実施例のキャリブレーション処理を示すフローチャートである。 調整フラグ設定処理の一例を示すフローチャートである。 調整フラグ設定処理の他の例を示すフローチャートである。 調整フラグ設定処理のさらに他の例を示すフローチャートである。 （Ａ），（Ｂ）は，線分検出処理の前後の画像の一例をそれぞれ示す。 線分検出処理後の画像の一例を示す。 （Ａ），（Ｂ）および（Ｃ）は，キャリブレーション処理によって画像回転される様子をそれぞれ示す。 第１実施例の変形例のキャリブレーション処理を示すフローチャートである。 第２実施例のキャリブレーション処理を示すフローチャートである。 （Ａ），（Ｂ）および（Ｃ）は，累積調整パラメータを示す。 （Ａ），（Ｂ）および（Ｃ）は，キャリブレーション処理によって画像回転される様子をそれぞれ示す。 第２実施例のキャリブレーション処理を示すフローチャートである。 第３実施例のキャリブレーション処理を示すフローチャートである。 第３実施例のキャリブレーション処理を示すフローチャートである。 第３実施例のキャリブレーション処理を示すフローチャートである。

［第１実施例］
図１はディジタル・スチル・カメラの電気的構成を示すブロック図である。図１に示すブロック図は，第１実施例のみならず，後述する第２および第３実施例にも援用する。また，ディジタル・スチル・カメラに限らず，ディジタル・ムービ・カメラにも，この発明の実施例は適用することができる。

ディジタル・スチル・カメラの全体的な動作はＣＰＵ１によって統括される。

ディジタル・スチル・カメラは，人間の視差に相当する距離だけ離間して設けられた２つの光学部材（撮像部材）10Ｌ，10Ｒを備え，２つの光学部材10Ｌ，10Ｒによって位置の異なる２つの視点からの画像（２視点画像）を表す画像データを得ることができる，いわゆる複眼カメラである。２視点画像によって立体視可能な画像（以下，立体画像という）を再生することができる。分かりやすくするために，以下の説明では２つの光学部材10Ｌ，10Ｒを，それぞれ左側光学部材10Ｌ，右側光学部材10Ｒと呼び区別する。左側光学部材10Ｌおよび右側光学部材10Ｒは，ディジタル・スチル・カメラにおいて共通する領域を撮像可能な位置に設けられている。

左側光学部材10Ｌは固体撮像素子，ここではＣＣＤ15Ｌを備え，ＣＣＤ15Ｌの前方に撮像レンズ11Ｌ，絞り12Ｌ，赤外線カット・フィルタ13Ｌおよび光学的ロウパス・フィルタ（ＯＬＰＦ）14Ｌが設けられている。右側光学部材10Ｒも同様に，ＣＣＤ15Ｒを備え，ＣＣＤ15Ｒの前方に撮像レンズ11Ｒ，絞り12Ｒ，赤外線カット・フィルタ13Ｒおよび光学的ロウパス・フィルタ14Ｒが設けられている。

左側光学部材10Ｌおよび右側光学部材10Ｒのそれぞれに，光学部材回転アクチュエータ30Ｌ，30Ｒがそれぞれ設けられている。光学部材回転アクチュエータ30Ｌ，30Ｒは，光学部材30Ｌ，30Ｒのそれぞれの傾き（姿勢）を独立に制御するものである。

ディジタル・スチル・カメラには操作器２が含まれている。操作器２には電源ボタン，モード設定ダイアル，二段ストローク・タイプのシャッタ・レリーズ・ボタンなどが含まれる。操作器２から出力される操作信号はＣＰＵ１に入力する。モード設定ダイアルによって設定されるモードには撮影モード，再生モードなどがある。撮影モードにおいてさらに詳細に設定されるモードに，オートモード，マニュアルモードなどがある。

ディジタル・スチル・カメラには，ストロボ撮像のための発光装置６，および発光装置６からの出射光の反射光を受光するための受光装置７が設けられている。

ディジタル・スチル・カメラの電源がオンされ，撮影モードが設定されると，被写体像を表す光線束が左側光学部材10Ｌおよび右側光学部材10Ｒの両方に入射する。左側光学部材10Ｌにおいて，光線束は撮像レンズ11Ｌ，絞り12Ｌ，赤外線カット・フィルタ13Ｌおよび光学的ロウパス・フィルタ14Ｌを介してＣＣＤ15Ｌの受光面上に入射する。ＣＣＤ15Ｌの受光面上に被写体像が結像し，被写体像を表すアナログ信号がＣＣＤ15Ｌから出力する。ＣＣＤ15Ｌによって一定周期で被写体が撮像され，一定周期で被写体像を表す映像信号が１フレーム分ずつＣＣＤ15Ｌから出力される。右側光学部材10Ｒも同様である。撮像レンズ11Ｒ，絞り12Ｒ，赤外線カット・フィルタ13Ｒおよび光学的ロウパス・フィルタ14Ｒを介してＣＣＤ15Ｒの受光面上に被写体像が結像し，被写体像を表すアナログ信号がＣＣＤ15Ｒから出力する。左側光学部材10Ｌ中のＣＣＤ15Ｌと，右側光学部材10Ｒ中のＣＣＤ15Ｒは同期動作する。

アナログ信号処理装置16には，相関二重サンプリング回路，信号増幅器などが含まれている。ＣＣＤ15Ｌ，15Ｒから出力された被写体像を表すアナログ信号はアナログ信号処理装置16に入力し，相関二重サンプリング，信号増幅などが行われる。アナログ信号処理装置16から出力されたアナログ映像信号はアナログ／ディジタル変換回路18に入力し，ディジタル画像データに変換される。左側光学部材10Ｌおよび右側光学部材10Ｒのそれぞれからの２つのディジタル画像データが得られる。以下，この２つの画像データをそれぞれ左画像データ，右画像データと呼び，左画像データおよび右画像データの組を立体画像データと呼ぶ。立体画像データはメモリ制御回路19の制御のもとメイン・メモリ20に一時的に記録される。

立体画像データはメイン・メモリ20から読出されてディジタル信号処理回路21に入力する。ディジタル信号処理回路21では白バランス調整，ガンマ補正などの所定のディジタル信号処理が行われる。ディジタル信号処理回路21においてディジタル信号処理が行われたデータは表示制御回路26に与えられる。表示制御回路26によって表示装置27が制御されることにより表示画面上に被写体像（立体画像）が表示される。

シャッタ・レリーズ・ボタンの第一段階の押下があると，レンズ駆動回路５Ｌ，５Ｒによってレンズ11Ｒ，11Ｌが駆動されて焦点合わせが行われる。メイン・メモリ20から読出される左画像データまたは右画像データの少なくともいずれか一方に基づいてディジタル信号処理回路21において輝度データが得られる。輝度データは積算回路23に入力し積算される。積算値を表すデータはＣＰＵ１に与えられて露出量が算出される。算出された露出量となるように絞り12Ｌ，12Ｒの開口が絞り駆動回路４Ｌ，４Ｒによって制御され，ＣＣＤ15Ｌ，15Ｒのシャッタ速度が撮像素子駆動回路３Ｌ，３Ｒによって制御される。

シャッタ・レリーズ・ボタンの第二段階の押下があると，アナログ／ディジタル変換回路18から出力された立体画像データはメイン・メモリ20に記録される。メイン・メモリ20から読み出された立体画像データに対し，上述のように所定のディジタル信号処理が行われる。ディジタル信号処理回路21から出力された立体画像データは圧縮伸張処理回路22においてデータ圧縮される。圧縮された立体画像データが外部メモリ制御回路24の制御によってメモリ・カード25に記録される。

再生モードが設定されると，メモリ・カード25に記録されている圧縮立体画像データが読み取られる。読取られた圧縮立体画像データは圧縮伸張処理回路22において伸張され表示制御回路26に与えられる。表示装置27の表示画面上に再生画像（立体画像）が表示される。

ディジタル・スチル・カメラによって得られる立体画像データは，上述のように一組の左画像データおよび右画像データを含む。光学部材10Ｌ，10Ｒは人間の視差に相当する距離だけ離間して設けられているので，左画像データおよび右画像データは視差ズレを含み，この視差ズレによって遠近感が生じ，立体画像データによって表される表示画像（再生画像）を立体視することができる。しかしながら，この視差ズレ以外の傾きズレが，左画像と右画像との間に含まれていると，立体視に違和感が生じることがある。

第１実施例のディジタル・スチル・カメラは，左画像および右画像間の傾きズレを，上記光学部材10Ｌ，10Ｒの回転制御によって低減するものである。以下の説明では，上述の傾きズレを解消することをキャリブレーションと呼ぶ。

図２は第１実施例におけるディジタル・スチル・カメラにおけるキャリブレーション処理の手順を示すフローチャートである。図３〜図５はキャリブレーション処理における調整フラグの設定処理を，３つの異なる態様でそれぞれ示すフローチャートである。キャリブレーション処理は一般にＣＰＵ１による制御によって行われるが，その一部または全部をディジタル信号処理回路21によって行わせてもよい。たとえば，メイン・メモリ20に記憶されたキャリブレーション処理実行プログラムがＣＰＵ１において実行されることによって，ディジタル・スチル・カメラにおいて，図２に示すキャリブレーション処理が行われる。

図１を参照して，キャリブレーション処理は調整フラグがオンであることを条件に行われる（ステップ42）。調整フラグはオンまたはオフのいずれかを示すフラグであり，メイン・メモリ20に記憶されている。調整フラグがオンされているとキャリブレーション処理が開始される（ステップ42でYES ）。調整フラグがオフであるとキャリブレーション処理は行われない（ステップ42でNO）。調整フラグがオンされていることによって実行されるキャリブレーション処理はその処理の最後で調整フラグをオフにする（ステップ51）。

調整フラグのオン／オフの判断の前に調整フラグの設定処理が行われる（ステップ41）。図３〜図５を参照して，調整フラグは様々なタイミングでオンにすることができる。図３を参照して，一例では撮影モードが設定されているディジタル・スチル・カメラの電源がオンされたときに，調整フラグがオンされる（ステップ41ａでYES ，ステップ41ｂ）。図４を参照して，撮影モードが設定されているディジタル・スチル・カメラの電源がオンされていることを条件にしてその設定モードが変更されたとき，たとえばオートモードからマニュアルモードに切り替えられたときに調整フラグをオンするようにしてもよい（ステップ41ｃでYES ，ステップ41ｂ）。図５を参照して，撮影モードが設定されているディジタル・スチル・カメラの電源がオンされていることを条件にして，前回キャリブレーション処理が実行された後に所定時間が経過した，またはすでに経過しているときに調整フラグをオンするようにしてもよい（ステップ41ｄでYES ，ステップ41ｂ）。所定時間の経過に応じて調整フラグをオンする場合（図５），キャリブレーション処理の実行終了の日時がメイン・メモリ20に記録され，その日時を基準にして所定時間が経過すると調整フラグがオンされる。図３〜図５に示す調整フラグのオンの設定処理は適宜組合わせてもよい。

図２に戻って，メイン・メモリ20において調整フラグがオンされていると，上述のようにキャリブレーション処理が開始される（ステップ42でYES ）。

キャリブレーション処理は，立体画像データ，すなわち，左画像データおよび右画像データの存在を前提とする。撮影モードが設定されているディジタル・スチル・カメラの電源がオンされると，光学部材10Ｌ，10Ｒによって立体画像データが撮像されてスルー画像が表示装置27に表示される。このスルー画像を表す立体画像データをキャリブレーション処理の対象とすることができる。もっとも，シャッタ・レリーズ・ボタンが一段階押下されたときの立体画像データ，またはシャッタ・レリーズ・ボタンが二段階押下されたときの立体画像データをキャリブレーション処理の対象としてもよい。いずれにしても，同期動作する光学部材10Ｌ，10Ｒによって同時に得られた立体画像データ（左画像データおよび右画像データ）がキャリブレーション処理の対象である。キャリブレーション処理の対象の立体画像データはメイン・メモリ20に入力し一時的に記憶される（ステップ43）。

左画像データによって表される左画像Ｌおよび右画像データによって表される右画像Ｒのそれぞれについて直線の線分検出処理が行われる（ステップ44）。線分検出処理では，左画像Ｌおよび右画像Ｒのそれぞれについてエッジ画素（たとえば輝度勾配が所定値よりも大きい画素）が検出され，隣接するエッジ画素同士が結ばれる（線分化される）。線分画像において直線を構成する線分のみが抽出され，曲線を構成する線分は除外（またはマスク）される。直線の線分検出処理の詳細については，上記した特開２００４−３３４８１９号公報等に記載されている。

図６（Ａ）および図６（Ｂ）は線分検出処理の前後の画像の一例を示している。線分検出処理によって図６（Ａ）に示す画像から図６（Ｂ）に示す線分画像が得られる。図６（Ｂ）に示すように，図６（Ａ）に示す画像からは９本の直線線分が検出されている。

さらに，好ましくは，図７に示すように，検出された直線線分のうち所定の長さ以上の長さを持つ直線線分のみが抽出される。この場合，所定の長さに満たない長さを持つ直線線分は除外（マスク）される。

図２に戻って，左画像データおよび右画像データは同期撮像によって得られたものであり，左画像データおよび右画像データは共通する領域を撮像するような位置に設けられた左側光学部材10Ｌ，右側光学部材10Ｒによって撮像されて得られたものであるから，左画像Ｌに直線線分が含まれていれば右画像Ｒにも対応する直線線分が含まれる。左画像Ｌおよび右画像Ｒのそれぞれで検出された直線線分について，水平方向またはこれに近い方向を向く直線線分があるかどうか，および垂直方向またはこれに近い方向を向く直線線分があるかどうかが判断される（ステップ45）。水平方向および垂直方向はいずれもＣＣＤ15Ｌ，15Ｒの画素配列（水平方向画素および垂直方向画素）に対応するもので，得られた左画像Ｌおよび右画像Ｒについて言えば左画像Ｌおよび右画像Ｒにおける左右方向および上下方向に対応する。たとえば，水平方向から±１０度の角度範囲内の傾きを持つ直線は水平方向線分として扱われる。垂直方向から±１０度の角度範囲内の傾きを持つ直線は垂直方向線分として扱われる。

水平方向線分または垂直方向線分が存在しない場合，キャリブレーション処理は終了する（ステップ45でNO）。

水平方向線分または垂直方向線分が存在する場合（ステップ45でYES ），検出された水平方向線分および垂直方向線分のうち，最も水平方向または垂直方向を向いている一の線分が基準線として決定される（ステップ46）。図６（Ａ）に示す画像の場合，樹木の幹の左側境界線に対応する画像部分が，基準線として決定されることになる（図７参照）。

左画像Ｌおよび右画像Ｒは視差ズレ以外のズレ，たとえば傾きズレがないのが理想である。左側光学部材10Ｌおよび右側光学部材10Ｒは，工場出荷時には，傾きズレが生じないようにほぼ正確に傾き調整される。しかしながら，その後の経時劣化等によって光学部材の傾きが変動すると，左画像Ｌおよび右画像Ｒとの間に傾きズレが生じることがある。

図８（Ａ）および図８（Ｂ）は，左側光学部材10Ｌと右側光学部材10Ｒとの間に傾きズレが存在するときに得られる左画像Ｌおよび右画像Ｒの一例をそれぞれ示している。樹木の幹の左側境界線（太線で強調して示す）が，左画像Ｌにおいては垂直方向から時計回り３度傾いているのに対し，右画像Ｒでは垂直方向から反時計回りに５度傾いている。以下の説明では時計回りの角度を＋で表し，反時計回りの角度を−で表す。

図８（Ｃ）はキャリブレーション処理の結果を表すもので，キャリブレーション処理によって図８（Ｂ）の右画像Ｒの傾きが左画像Ｌの傾きに近づくように，ディジタル・スチル・カメラが制御されることによって得られる画像を示している。以下の説明では，図８（Ａ），図８（Ｂ）および図８（Ｃ）を適宜参照する。

図２に戻って，基準線を含む画像が基準画像として選択される（ステップ47）。基準線は，上述のように，左画像Ｌおよび右画像Ｒのそれぞれにおいて検出された水平方向線分および垂直方向線分のうち，最も水平方向または垂直方向を向いている一の直線である。図８（Ａ）および（Ｂ）に示す左画像Ｌおよび右画像Ｒの場合，左画像Ｌ中の樹木の幹の左側境界線が最も垂直方向を向いている。したがって，左画像Ｌ中の樹木の幹の左側境界線が基準線とされる。基準線を含む画像は左画像Ｌであるので左画像Ｌが基準画像とされる。右画像Ｒが非基準画像とされる。

非基準画像中の上記基準線に対応する線分（以下，対応線という）の傾きを，基準画像中の基準線の傾きに一致させるための変換パラメータが算出される（ステップ48）。図８（Ａ）および図８（Ｂ）に示す例では，上述のように基準画像が左画像Ｌ，非基準画像が右画像Ｒであり，右画像中Ｒの樹木の幹の左側境界線から得られる線分（対応線）を，左画像Ｌ中の基準線に一致させるのが変換パラメータである。変換パラメータは基準線と対応線との間の傾きの差（傾きズレ角度量）（大きさおよび方向（時計回りであるか，反時計回りであるか）を含む）を表す。なお，基準線に対応する対応線の検出処理についても，上記した特開２００４−３３４８１９号公報等に記載されている。

図８（Ａ）および図８（Ｂ）に示す例では，左画像Ｌ中の基準線は垂直方向から＋３度傾いている。他方，右画像Ｒ中の対応線は垂直方向から−３度傾いている。右画像Ｒ中の対応線は，右画像Ｒを時計回りに８度回転させると左画像Ｌ中の基準線と一致する傾きとなる。変換パラメータとして，非基準画像中の対応線の傾きを基準画像中の基準線の傾きに一致させるための回転データ，上述の例では，右画像Ｒに対する，時計回り８度の回転を表すデータ（以下，「右＋８度」と表記する）が，決定される。

決定された変換パラメータに係数α（０＜α＜１）が乗算される（ステップ49）。係数αが乗算された変換パラメータを，以下，調整パラメータと呼ぶ。たとえば，係数α＝０．６であり，変換パラメータが「右＋８度」であるとすると，調整パラメータは「右＋４．８度」となる。算出された調整パラメータが用いられて，非基準画像，ここでは右画像Ｒの傾きを調整する処理が行われる。変換パラメータそのものを用いて傾きを調整せずに，変換パラメータよりも小さい調整パラメータを用いて傾きを調整するのは，たとえば，基準線の検出が不正確なために変換パラメータの精度が悪いときに，その悪影響をキャリブレーション処理において強く及ぼさないようにするためである。

ディジタル・スチル・カメラは，上述のように，左側光学部材10Ｌおよび右側光学部材10Ｒのそれぞれの傾きを独立に制御する光学部材回転アクチュエータ30Ｌ，30Ｒを備えている（図１参照）。左画像Ｌおよび右画像Ｒの傾き調整は，光学部材回転アクチュエータ30Ｌ，30Ｒを制御して左側光学部材10Ｌまたは右側光学部材10Ｒの傾きを調整することによって，行われる。調整パラメータ「右＋４．８度」にしたがって，ＣＰＵ１は，光軸方向を基準にして右画像光学部材10Ｒを時計回りに＋４．８度回転させる制御信号を光学部材回転アクチュエータ30Ｒに与える。これにより，光学部材回転アクチュエータ30Ｒによって右側光学部材10Ｒが時計回りに４．８度分回転する。左画像Ｌおよび右画像Ｒの間の傾きズレの抑制が図られる（ステップ50）。図８（Ａ）〜（Ｃ）に示す例の場合，左画像Ｌ中の基準線と右画像Ｒの対応線との間にあった８度分の傾きズレ（図８（Ａ）と図８（Ｂ）を対比せよ）が，３．２度分の傾きズレ（図８（Ａ）と図８（Ｃ）を対比せよ）に減少する。

その後，上述した調整パラメータのフラグがオフされて，キャリブレーション処理が終了する（ステップ51）。傾きズレが抑制された左画像Ｌおよび右画像Ｒが，その後の撮像によってディジタル・スチル・カメラによって得られることになる。

第１実施例のキャリブレーション処理は，傾き調整された左側光学部材10Ｌまたは右側光学部材10Ｒが，電源がオフされてもそのまま保持されるディジタル・スチル・カメラに好適である。ディジタル・スチル・カメラが使われれば使われるほど立体画像（左画像Ｌおよび右画像Ｒ）における傾きズレを小さくすることができる。もちろん，第１実施例のキャリブレーション処理は，電源がオフされたときに傾き調整された左側光学部材10Ｌまたは右側光学部材10Ｒが初期状態に復帰するディジタル・スチル・カメラであっても適用可能である。

第１実施例のキャリブレーション処理では，上述のように，垂直方向または水平方向に近い線分を基準線に用いて，この基準線に他方の画像の対応線が近づくようにして立体画像（左画像Ｌおよび右画像Ｒ）の傾きズレを解消する。写真撮影では，一般に水平方向または垂直方向に沿う境界線を持つ被写体が高い頻度で撮られる。傾きズレの調整は，その水平方向または垂直方向に沿う境界線が，より水平方向または垂直方向に近づくように行われる。このため，傾きズレの調整が行われても違和感が生じる可能性が少ない。

また，第１実施例のキャリブレーション処理において，左側光学部材10Ｌまたは右側光学部材10Ｒの傾き制御に代えて，画像回転処理，たとえばアフィン変換，射影変換によって非基準画像を回転させることによって，傾きズレを抑制するようにしてもよい。この場合には，左側光学部材10Ｌおよび右側光学部材10Ｒのそれぞれの傾きを制御する光学部材回転アクチュエータ30Ｌ，30Ｒは，ディジタル・スチル・カメラに必ずしも必要とされない。

［第１実施例の変形例］
図９は第１実施例の変形例におけるキャリブレーション処理の手順を示すフローチャートである。図２に示すフローチャートとは，左画像Ｌおよび右画像Ｒの傾きが一致していると判断された場合に，その後のキャリブレーション処理を行わずに処理を終了させるステップ（ステップ52）が追加されている点が，異なる。

左画像Ｌおよび右画像Ｒのそれぞれにおいて水平方向線分または垂直方向線分が存在する場合（ステップ45でYES ），続いて左画像Ｌにおいて最も水平方向または垂直方向を向く線分と，右画像Ｒにおいて最も水平方向または垂直方向を向く線分が，左画像Ｌおよび右画像Ｒにおいて同じ傾きで存在するか（同じ方向を向いているか）どうかが判断される（ステップ52）。同じ傾きであれば，左画像Ｌおよび右画像Ｒは，キャリブレーション処理を行うまでもなく傾きズレは無いものと扱われる。この場合，キャリブレーション処理のその後の処理はスキップされる（ステップ52でYES ）。異なる傾きであれば，第１実施例と同様，最も水平方向または垂直方向を向く線分が基準線として決定され，その基準線を含む画像が基準画像として選択される（ステップ52でNO，ステップ46，47）。

［第２実施例］
図１０は第２実施例のキャリブレーション処理の手順を示すフローチャートである。第２実施例のキャリブレーション処理では，前回以前（過去）のキャリブレーション処理によって得られた調整パラメータ（以下，累積調整パラメータという）を用いて事前に傾き調整が行われること（ステップ61，62），および累積調整パラメータがメイン・メモリ20に記憶されて保持されること（ステップ63，64）が，第１実施例のキャリブレーション処理（図２）と異なる。図２に示すフローチャートに示すステップと同一のステップには同一符号を付し，重複説明を避ける。

第２実施例のキャリブレーション処理は，電源がオフされると傾き調整された左側光学部材10Ｌおよび右側光学部材10Ｒが初期状態に復帰するディジタル・スチル・カメラに好適である。図１１（Ａ），（Ｂ）および（Ｃ）は累積調整パラメータの更新の様子を示している。累積調整パラメータはメイン・メモリ20に記憶される。図１２（Ａ）〜（Ｃ）は第２実施例におけるキャリブレーション処理の様子をそれぞれ示している。

第２実施例のキャリブレーション処理は，撮影モードが設定されたディジタル・スチル・カメラの電源がオンされるとスタートする。

初期状態において（傾き調整が未だ行われていない状態）では，メイン・メモリ20に累積調整パラメータは記憶されていない（０度）（図１１（Ａ））。この場合には，第１実施例と同様に，変換パラメータが算出され，変換パラメータに係数αが乗算されて調整パラメータが算出され，調整パラメータにしたがって左側光学部材10Ｌまたは右側光学部材10Ｒの傾き調整が行われる（ステップ41〜ステップ50，図８（Ａ）〜（Ｃ）参照）。

算出された調整パラメータを用いた累積調整パラメータの更新処理が行われる（ステップ63）。累積調整パラメータの更新処理は，左画像Ｌ（左側光学部材10Ｌ）および右画像Ｒ（右側光学部材10Ｒ）のそれぞれについて，式１にしたがって算出される。

更新後の累積調整パラメータ＝累積調整パラメータ＋調整パラメータ ・・・式１

たとえば，第１実施例において説明した例（図８（Ａ）〜（Ｃ））では「右＋４．８度」が調整パラメータとして算出されているので，右画像Ｒについての累積調整パラメータが「右＋４．８度」になる。左画像Ｌについての累積調整パラメータは０度のままである（図１１（Ｂ））。

第２実施例のディジタル・スチル・カメラは，上述のように，電源がオフされると傾き調整された左側光学部材10Ｌおよび右側光学部材10Ｒが初期状態に復帰するものを前提とする。ディジタル・スチル・カメラの電源がオフされ，その後再び電源オンされたとき，ディジタル・スチル・カメラの左側光学部材10Ｌおよび右側光学部材10Ｒは初期状態にある。

電源オンされたデジタル・スチル・カメラのメイン・メモリ20に累積調整パラメータが記憶されている場合，はじめに，この累積調整パラメータを用いた光学部材の傾き調整が行われる。すなわち，累積調整パラメータがメイン・メモリ20から読出され（ステップ61），読出された累積調整パラメータにしたがって光学部材の傾きが調整される（ステップ62）。図８（Ａ）〜（Ｃ）および図１１（Ｂ）を参照して，累積調整パラメータとして「右＋４．８度」が格納されている場合，累積調整パラメータを用いた光学部材の傾き調整によって右側光学部材10Ｒが時計回りに４．８度分回転する。図１２（Ａ），（Ｂ）の状態の左画像Ｌおよび右画像Ｒがそれぞれ得られる。

その後，第１実施例と同様の処理によってキャリブレーション処理が実行される。図１２（Ａ），（Ｂ）に示す例では，左画像Ｌの樹木の幹の左側境界線が垂直方向から＋３度傾いているのに対し，右画像Ｒでは−０．２度傾いている。右画像Ｒの樹木の幹の左側境界線が垂直方向により近いので，右画像Ｒが基準画像として選択される（ステップ47）。左画像Ｌが傾き調整対象の非基準画像になる。

図１２（Ａ），（Ｂ）に示す例において，左画像Ｌ中の対応線の傾きを右画像Ｒ中の基準線の傾きに一致させるための変換パラメータは−３．２度である。この変換パラメータに所定係数α（＝０．６）を乗算した調整パラメータは−１．９２度になる。左画像Ｒが反時計回りに１．９２度回転するように左側光学部材10Ｌが回転制御される（ステップ50）（図１２（Ｃ）参照）。

左画像Ｌ（左側光学部材10Ｌ）についての調整パラメータが算出されたので，左画像Ｌについての累積調整パラメータが更新される（ステップ63，64）。式１にしたがって，左画像Ｌについての累積調整パラメータが０度から−１．９２度に更新される（図１１（Ｃ）参照）。

次回のキャリブレーション処理では，図１１（Ｃ）に示す累積調整パラメータにしたがって，左側光学部材10Ｌが反時計回りに１．９２度回転させられ，かつ右側光学部材10Ｒが時計回りに４．８度分回転されることになる（ステップ61，62）。

このようにして，傾き調整された左側光学部材10Ｌおよび右側光学部材10Ｒがディジタル・スチル・カメラの電源がオフされるたびに初期状態に復帰するものであっても，累積調整パラメータを用いて，前回以前（過去）の調整結果を表す累積調整パラメータを用いて光学部材を傾き調整することができ，これに続いて調整パラメータにしたがう再度の傾き調整が行われる。光学部材の傾きズレを次第に解消させることができ，最終的には傾きズレを無くすことができる。

［第２実施例の変形例］
図１３は第２実施例の変形例を示すもので，キャリブレーション処理の流れを示すフローチャートである。図１１に示す第２実施例のフローチャートとは，傾きズレを無くす（抑制する）ための傾き調整が，光学部材を回転駆動することによる調整ではなく，画像処理，典型的にはアフィン変換または射影変換を用いた画像変換処理によって行われている点が異なる。

前回までの傾き調整結果を表す累積調整パラメータがメイン・メモリ20に記憶されている。したがって，累積調整パラメータにしたがって左画像Ｌおよび右画像Ｒを画像回転処理すれば，傾きズレが抑制された立体画像を得ることができ，その傾きズレは次第に少なくなる。第２実施例の変形例ではメイン・メモリ20に入力した左画像Ｌおよび右画像Ｒに対して，累積調整パラメータ（図１１（Ｂ），（Ｃ）参照）にしたがって画像回転処理が行われる（ステップ71）。図１１（Ｃ）に示す累積調整パラメータがメイン・メモリ20に記憶されている場合には，メイン・メモリ20に入力した左画像Ｌを表す左画像データおよび右画像Ｒを表す右画像データのそれぞれに対し，アフィン変換または射影変換によって，左画像データについては反時計回りに１．９２度の画像回転処理が行われ，右画像データについては時計回りに４．８度の画像回転処理が行われる。

その後，回転処理された左画像Ｌおよび右画像Ｒを処理対象にして，調整パラメータを用いた傾き調整が実行される。調整パラメータに基づく傾き調整も画像回転処理（アフィン変換または射影変換）による（ステップ44〜49，72）。

なお，アフィン変換または射影変換による画像回転処理によって傾き調整する場合，累積調整パラメータは，式１に代えて，以下の式２によって算出（更新）される。

更新後の累積調整パラメータ＝累積調整パラメータ・調整パラメータ 式２

画像回転処理によって傾き調整する場合には，左側光学部材10Ｌおよび右側光学部材10Ｒの傾きを調整する光学部材回転アクチュエータ30Ｌ，30Ｒは，ディジタル・スチル・カメラに必ずしも必要とされない。

また，画像回転処理によって傾き調整する場合には，上記キャリブレーション処理によって画像回転処理された左画像データおよび右画像データがメイン・メモリ20に記憶される。傾き調整された後の立体画像が表示装置27に表示される。メモリ・カード25にも，傾き調整された後の立体画像データ（左画像データおよび右画像データの組）が記録される。

［第３実施例］
図１４，図１５および図１６は第３実施例のキャリブレーション処理の流れを示すフローチャートである。

上述した第１実施例のキャリブレーション処理（図２）では係数α（０＜α＜１）によって変換パラメータを小さくした調整パラメータを用いてキャリブレーション処理を行うことにより，非基準画像（その対応線）の傾きを基準画像（その基準線）の傾きに近づける処理を行う。第２実施例のキャリブレーション処理（図１０）では累積調整パラメータを用いて前回以前（過去）のキャリブレーション処理の結果（累積調整パラメータ）に基づく傾き調整をあらかじめ実行することで，非基準画像（その対応線）の傾きを基準画像（その基準線）の傾きに次第に一致させている。第３実施例のキャリブレーション処理はさらに，キャリブレーション処理が行われるたびに，非基準画像（その対応線）の傾きを基準画像（その基準線）の傾きに完全に一致させる点が，第１，２実施例と異なる。

図１４は第１実施例のキャリブレーション処理（図２）に，さらに非基準画像の傾きを基準画像の傾きに完全に一致させるためのステップ（ステップ81〜85）が追加されたものである。図１５は第２実施例のキャリブレーション処理（図１０）に，さらに非基準画像の傾きを基準画像の傾きに完全に一致させるためのステップ（ステップ81〜85）が追加されたものである。図１６は第２実施例の変形例のキャリブレーション処理（図１３）に，さらに非基準画像の傾きを基準画像の傾きに完全に一致させるためのステップ（ステップ81，82，84，86，87）が追加されたものである。

図１４を参照して，第３実施例は，第１実施例および第２実施例と異なり，調整フラグがオフされている場合（ステップ42でNO），および水平方向線分または垂直方向線分が左画像Ｌおよび右画像Ｒ中に存在しない場合（ステップ45でNO）にも，傾き調整が行われる。調整フラグがオフされている場合（ステップ42でNO）および水平方向線分または垂直方向線分が存在しない場合（ステップ45でNO）のいずれも場合も，ステップ48がスキップされるので変換パラメータは算出されていない状態である。第３実施例では，変換パラメータが算出されていないことを条件にして，ステップ43〜ステップ48の処理を実行して変換パラメータを算出する（ステップ84）。すなわち，調整フラグがオフであっても左画像データおよび右画像データがメイン・メモリ20に入力され（ステップ43），左画像Ｌおよび右画像Ｒのそれぞれにおいて直線成分が検出される（ステップ44）。水平方向線分（水平方向から±１０度の角度範囲内の傾きを持つ直線成分）または垂直方向線分（垂直方向から±１０度の角度範囲内の傾きを持つ直線成分）が左画像Ｌおよび右画像Ｒに存在しなくても，最も水平または垂直に近い線分が基準線として決定され，基準線を含む画像が基準画像として選択される（ステップ46，47）。非基準画像中の対応線の傾きを，基準画像中の基準線の傾きに一致させる変換パラメータが算出される（ステップ48）。

第１実施例とは異なり，調整パラメータではなく，変換パラメータ自体が用いられて非基準画像に対応する光学部材の傾きが調整される（ステップ85）。たとえば，図８（Ａ）および図８（Ｂ）に示す左画像Ｌおよび右画像Ｒがキャリブレーション処理の対象である場合には，右画像Ｒ中の対応線の傾きを左画像Ｌ中の基準線に一致させる変換パラメータは「右＋８度」であるので，右画像Ｒに対して時計回り８度分回転が行われるように右側光学部材10Ｒが光学部材回転アクチュエータ30Ｒによって回転制御される。これにより，右画像Ｒ中の対応線の傾きは左画像Ｌ中の基準線の傾きに完全に一致する。傾きズレが解消された左画像Ｌおよび右画像Ｒが，その後撮像によってディジタル・スチル・カメラによって得られる。

他方，変換パラメータが算出されて上述した調整パラメータによる傾き調整が既に行われている場合（ステップ81でYES ），さらに差分パラメータが算出されて差分パラメータを用いた傾き調整処理が行われる（ステップ82，83）。差分パラメータは次式によって算出される。

差分パラメータ＝（１−α）・変換パラメータ ・・・式３

式３において，係数αは，式１で調整パラメータの算出に用いられた係数と同じであり，０＜α＜１の範囲の数値である。

たとえば，係数α＝０．６，変換パラメータ＝右＋８度である場合，差分パラメータは（１−０．６）・右＋８度＝右＋３．２度となる。右画像Ｒに対して時計回りに３．２度分の回転が行われるように，右側光学部材10Ｒが光学部材回転アクチュエータ30Ｒによってさらに回転制御される。

調整パラメータにしたがう時計回り４．８度の回転制御に加えて，さらに時計回り３．２度の回転制御が行われるので，右側光学部材10Ｒは合計８度分回転する。これにより，右画像Ｒ中の対応線は左画像Ｌ中の基準線の傾きに完全に一致する。傾きズレが解消された左画像Ｌおよび右画像Ｒが，その後撮像によってディジタル・スチル・カメラによって得られる。

図１４に示すキャリブレーション処理は，傾き調整された左側光学部材10Ｌおよび右側光学部材10Ｒを電源がオフされてもそのまま保持するディジタル・スチル・カメラにも，初期状態に復帰させるディジタル・スチル・カメラにも適用することができる。

図１５を参照して，図１５に示すキャリブレーション処理は，上述したように，第２実施例のキャリブレーション処理（図１０）にステップ81〜85を追加したものであり，電源がオフされると傾き調整された左側光学部材10Ｌおよび右側光学部材10Ｒが初期状態に復帰するディジタル・スチル・カメラに好適なものである。第２実施例において説明したように，メイン・メモリ20に前回までの傾き調整の結果（累積調整パラメータ）が記憶されているので，この累積調整パラメータにしたがって，ディジタル・スチル・カメラにおいて電源が入れられるたびに前回まで傾き調整結果（累積調整パラメータ）にしたがう傾き調整が実行され（ステップ61，62），その後残りの傾きズレが調整パラメータにしたがって調整される（ステップ41〜51）。

図１４と同様に，図１５のキャリブレーション処理においても，調整フラグがオフされている場合（ステップ42でNO），および水平方向線分または垂直方向線分が存在しない場合（ステップ45でNO）にも傾き調整が行われ，その場合には調整パラメータではなく，変換パラメータ自体が用いられて，非基準画像に対応する光学部材の傾きが調整される（ステップ84，85）。

たとえば，図８（Ａ）および図８（Ｂ）に示す左画像Ｌおよび右画像Ｒがキャリブレーション処理の対象である場合であって，メイン・メモリ20に図１１（Ｂ）に示す累積調整パラメータ（右＋４．８度）が記憶されている場合，累積調整パラメータにしたがって，右画像Ｒが時計回りに４．８度回転するように右側光学部材10Ｒが光学部材回転アクチュエータ30Ｒによって回転制御される。図８（Ａ）および図８（Ｂ）に示す左画像Ｌおよび右画像Ｒは，図１２（Ａ）および図１２（Ｂ）に示すものになる（ステップ61，62）。

第２実施例において説明したように，図１２（Ａ）および図１２（Ｂ）において，左画像Ｌ中の対応線の傾きを右画像Ｒ中の基準線に一致させる変換パラメータは「左−３．２度」である。調整フラグがオフされている場合（ステップ42でNO），および水平方向線分または垂直方向線分が存在しない場合（ステップ45でNO），変換パラメータ「左−３．２度」にしたがって，左画像Ｌに対して反時計回りに３．２度分の回転が行われるように左側光学部材10Ｌが光学部材回転アクチュエータ30Ｌによって回転制御される（ステップ81のNO，ステップ84，85）。左画像Ｒ中の対応線は右画像Ｌ中の基準線の傾きに完全に一致する。傾きズレが解消された左画像Ｌおよび右画像Ｒが，その後の撮像によってディジタル・スチル・カメラによって得られる。

他方，変換パラメータが算出されて上述した調整パラメータによる傾き調整が既に行われている場合（ステップ81でYES ），調整パラメータにしたがう傾き調整（ステップ50）によって，図１２（Ａ）に示す左画像Ｌが反時計回りに１．９２度回転するように，左側光学部材10Ｌが反時計回りに回転制御される（図１２（Ｃ））。さらに，上述した差分パラメータが算出されて差分パラメータを用いた傾き調整処理が行われる（ステップ82，83）。たとえば，係数α＝０．６で，変換パラメータ＝左−３．２度である場合，上述の式３から，差分パラメータは（１−０．６）・左−３．２度＝左−１．２８度となる。左画像Ｒに対して反時計回りに１．２８度分の回転が行われるように，左側光学部材10Ｌが光学部材回転アクチュエータ30Ｌによって回転制御される。これにより，左画像Ｒ中の対応線の傾きは右画像Ｌ中の基準線の傾きに完全に一致する。傾きズレが解消された左画像Ｌおよび右画像Ｒが，その後の撮像によってディジタル・スチル・カメラによって得られる。

図１６を参照して，図１６に示すキャリブレーション処理は，上述したように，第２実施例の変形例のキャリブレーション処理（図１３）に，傾きズレを完全に無くすステップを追加したものであり，光学部材を回転駆動することによる傾きズレの調整ではなく，画像回転処理，典型的にはアフィン変換または射影変換によって傾きズレの調整が行われる。図１５と同様，変換パラメータが算出されていない場合であっても（ステップ81でNO），変換パラメータが算出されている場合であっても（ステップ81でYES ），画像処理によって非基準画像中の対応線の傾きが基準画像中の基準線の傾きに完全に一致させられ（ステップ82および86，ステップ84および87），傾きズレが解消された左画像Ｌおよび右画像Ｒが，その後の撮像によってディジタル・スチル・カメラによって得られる。

上述した第１〜第３実施例において，ディジタル・スチル・カメラは左側光学部材10Ｌおよび右側光学部材10Ｒを備えたいわゆる２眼のディジタル・スチル・カメラを前提としているが，この発明は２眼のみならず，３眼以上（光学部材が３組以上設けられたもの）であっても，適用することができる。たとえば，３眼であれば，３つの同期撮像された画像（左画像，中画像，右画像）のうちの一つが基準画像となり，残りの２つが非基準画像として扱われる。累積調整パラメータ（図１１（Ａ）〜（Ｃ）を参照）を利用する実施例（第２実施例および第３実施例の一部）では，左画像，中画像および右画像（３つの光学部材のそれぞれ）のそれぞれに対応して，３つの累積調整パラメータがメイン・メモリ20に記憶される。

また，上述した実施例では，基準線の決定，変換パラメータの算出，調整パラメータの算出等をＣＰＵ１（またはディジタル画像処理回路21）によって実行する例を説明したが，もちろん，これらの処理を行うハードウェア（回路）をディジタル・スチル・カメラに設けてもよい。

１ ＣＰＵ
10Ｌ 左側光学部材
10Ｒ 右側光学部材
15Ｒ，15Ｌ ＣＣＤ
20 メイン・メモリ
21 ディジタル信号処理回路
30Ｒ，30Ｌ 光学部材回転アクチュエータ

Claims (15)

1. 共通する領域を撮像可能な位置に設けられかつ異なる位置から被写体を撮像する，固体撮像素子を含む少なくとも二つの撮像手段，
   上記撮像手段によって得られる少なくとも二つの画像データをそれぞれ独立に回転させる画像回転手段，
   上記少なくとも二つの画像データのうちの一つである基準画像データによって表される基準画像に対する，残りの画像データである非基準画像データによって表される非基準画像のそれぞれの傾きズレ角度量を検出する傾きズレ検出手段，および
   上記傾きズレ検出手段によって検出された傾きズレ角度量に応じた角度分上記非基準画像のそれぞれが回転するように上記画像回転手段を制御する第１の傾き制御手段，
   を備える複眼撮像装置。
2. 上記撮像手段によって得られる少なくとも二つの画像データのそれぞれについて，上記画像データによって表される画像中に含まれる直線線分を検出する線分検出手段，ならびに
   上記線分検出手段によって検出された直線線分のうち，上記固体撮像素子に含まれる水平画素の方向および垂直画素の方向にそれぞれ対応する水平方向および垂直方向のいずれかに最も近い方向を向く直線線分を基準線として決定する基準線決定手段を備え，
   上記傾きズレ検出手段は，
   上記基準線決定手段によって決定された上記基準線を含む画像を上記基準画像として選択するものであり，
   上記傾きズレ検出手段はさらに，
   上記基準画像中の上記基準線に対する，上記非基準画像中の上記基準線に対応する対応線のそれぞれの傾きズレ角度量を検出する，
   請求項１に記載の複眼撮像装置。
3. 上記線分検出手段によって検出された直線線分のすべてが，上記水平方向の近傍角度範囲および上記垂直方向の近傍角度範囲の方向を向いていない場合に，上記傾きズレ検出手段による傾きズレ角度量の検出，および上記第１の傾き制御手段による上記画像回転手段の制御を停止させる停止手段をさらに備える，
   請求項２に記載の複眼撮像装置。
4. 上記基準線および上記対応線の方向が一致するかどうかを判断する基準線／対応線判断手段を備え，
   上記基準線／対応線判断手段によって，上記基準線および上記対応線の方向の一致が判断された場合に，一致する方向の対応線を含む非基準画像について，上記傾きズレ検出手段による傾きズレ角度量の検出および上記第１の傾き制御手段による上記画像回転手段の制御を停止させる停止手段をさらに備える，
   請求項２に記載の複眼撮像装置。
5. 上記第１の傾き制御手段は，上記傾き検出手段によって検出された傾きズレ角度量に１よりも小さい所定係数を乗算することによって得られる角度量分上記非基準画像が回転するように上記画像回転手段を制御する，
   請求項１に記載の複眼撮像装置。
6. 上記第１の傾き制御手段は，上記傾き検出手段によって検出された傾きズレ角度量と，傾きズレ角度量に１よりも小さい所定係数を乗算することによって得られる角度量との差分の角度量分上記非基準画像がさらに回転するように上記画像回転手段を制御する，
   請求項５に記載の複眼撮像装置。
7. 上記撮像手段によって得られる少なくとも二つの被写体像を表す画像データのそれぞれについて，前回までの画像データ回転において用いられた傾きズレ角度量の累積値を記憶する累積値記憶手段，および
   上記１の傾き制御手段による上記画像回転手段の制御よりも前に，上記累積値記憶手段に記憶された傾きズレ角度量の累積値に応じた角度分上記非基準画像のそれぞれが回転するように上記画像回転手段を制御する第２の傾き制御手段，
   を備える請求項１に記載の複眼撮像装置。
8. 上記画像回転手段は，上記撮像手段のそれぞれを独立に回転させる撮像手段回転アクチュエータである，請求項１に記載の複眼撮像装置。
9. 上記画像回転手段は，上記撮像手段によって得られる画像データを回転変換する画像データ回転処理手段である，
   請求項１に記載の複眼撮像装置。
10. 傾き調整フラグを記憶する傾き調整フラグ記憶手段，
    上記傾き調整フラグをオン／オフする傾き調整フラグ制御手段，ならびに
    上記傾き調整フラグがオンであるときに，上記傾きズレ検出手段による傾きズレ角度量の検出，および上記第１の傾き制御手段による上記画像回転手段の制御を許す画像回転許可手段，
    をさらに備える請求項１に記載の複眼撮像装置。
11. 上記傾き調整フラグ制御手段は，上記画像回転手段によって画像データが回転されたことに応じて，上記傾き調整フラグ記憶手段に記憶されている傾き調整フラグをオフする，
    請求項１０に記載の複眼撮像装置。
12. 上記傾き調整フラグ制御手段は，上記複眼撮像装置の電源が入れられたときに上記傾き調整フラグ記憶手段に記憶されている傾き調整フラグをオンする，
    請求項１０に記載の複眼撮像装置。
13. 上記傾き調整フラグ制御手段は，上記複眼撮像装置の設定が変更されたときに上記傾き調整フラグ記憶手段に記憶されている傾き調整フラグをオンする，
    請求項１０に記載の複眼撮像装置。
14. 上記傾き調整フラグ制御手段は，上記画像回転手段によって画像データが回転された後所定の時間が経過しているときに上記傾き調整フラグ記憶手段に記憶されている傾き調整フラグをオンする，
    請求項１０に記載の複眼撮像装置。
15. 共通する領域を撮像可能な位置に設けられかつ異なる位置から被写体を撮像する，固体撮像素子を含む少なくとも二つの撮像手段を有する複眼撮像装置の制御方法であって，
    傾きズレ検出手段が，上記少なくとも二つの撮像手段による撮像によって得られる少なくとも二つの画像データのうちの一つである基準画像データによって表される基準画像に対する，残りの画像データである非基準画像データによって表される非基準画像のそれぞれの傾きズレ角度量を検出し，
    傾き制御手段が，上記傾きズレ検出手段によって検出された傾きズレ角度量に応じた角度分上記非基準画像のそれぞれが回転するように，上記撮像手段によって得られる少なくとも二つの画像データをそれぞれ独立に回転させる画像回転手段を，制御する，
    複眼撮像装置の制御方法。

Images