JP2015106850A - 方向判定装置、撮像装置、及び方向判定プログラム - Google Patents

Abstract

【課題】画像の上下方向判定の精度を向上する。
【解決手段】画像を複数の領域（１３０ａ−１３０ｉ）に分割する領域分割手段と、被写体からの反射光を受光し、前記画像の複数の領域のそれぞれについて夫々、前記発光から受光までの時間に基づいて複数の距離データを抽出する距離測定手段（１１１）と、前記複数の距離データに基づいて、画像の天地方向を判定する制御手段（１１１）とを備える方向判定装置を提供する。
【選択図】 図３

Description

本発明は、方向判定装置、撮像装置、及び方向判定プログラムに関する。

従来、デジタルカメラにおいて、画像中の被写体の天地（上下）方向を判定する技術が知られている。例えば、下記特許文献１では、複数の領域の輝度から画像中の被写体の上下方向を判定し、上下方向判定の結果に応じた適切な露出制御およびＷＢ（ホワイトバランス）制御を行うものを開示している。

特開２００２−２０９２２１号公報

上記特許文献１の技術によれば、例えば庇（ひさし）下の窓越しに撮影を行った場合等は、画像中の上方領域に明るい空ではなく暗い庇が撮像されて、地面を撮像した下方領域よりも輝度が低くなって、上下（天地）方向を逆に判定してしまうおそれがあり、画像中の上下判定のさらなる精度向上が要望されていた。

上記課題を解決するための本発明は、
画像を複数の領域に分割する領域分割手段と、
被写体からの反射光を受光し、前記画像の複数の領域それぞれについて、前記発光から受光までの時間に基づいて複数の距離データを抽出する距離測定手段と、前記複数の距離データに基づいて、画像の天地方向を判定する制御手段と、を備える方向判定装置である。

好ましくは、前記距離測定手段は、被写体に対して測距用の光を発光してその反射光を受光し、前記画像の複数の領域それぞれについて、前記発光から受光までの時間に基づいて被写体までの距離を測定して得た距離に関するデータから、複数の距離データを抽出する方向判定装置である。

又好ましくは、領域分割手段は、前記画像を、方向判定を行いたい該方向に少なくとも２つの領域に分割しており、前記制御手段は、少なくとも２つの領域毎の距離データの大小関係を比較することにより、前記画像の天地方向を判定する、方向判定装置である。

又好ましくは、前記領域分割手段は、前記画像を、４つ又は９つの領域に分割しており、前記制御手段は、４つ又は９つの領域毎の距離データの大小関係を領域間で比較することにより、前記画像が所定方向及び前記直交方向の何れを向いているかを判定する、方向判定装置である。

又好ましくは、操作方向に応じた機能を実行させるため操作方向可動の操作手段を更に備え、該方向判定装置は手持ちにより通常方向を向いた通常支持状態と、１８０度反転された状態で別の固定手段により反転固定支持された状態との間で可変設定され、前記制御手段は、前記操作手段の操作方向と前記機能との対応付けを制御すると共に、前記方向判定装置が手持ちにより通常支持状態とされて前記画像が第１方向を向いていると判断した場合と、前記方向判定装置が前記別の固定手段により反転支持状態とされて前記画像の前記第１方向と反対方向の第２方向を向いていると判断した場合とで、前記操作手段による前記機能のための操作方向が絶対座標で同一方向になるよう設定する、ことを特徴とする方向判定装置である。

又好ましくは、前記画像中に、前記操作手段の可動方向を表示する可動方向表示手段を備える、方向判定装置である。
又好ましくは、前記通常支持状態において、前記操作手段が上方向に移動操作されるときは前記可動方向表示手段も該上方向に移動し、また前記操作手段が下方向に移動操作されるときは前記可動方向表示手段も該下方向に移動する、方向判定装置である。
又好ましくは、画像の複数の領域毎の輝度を更に測定し、下方領域が輝度が小さく且つ上方領域が輝度が大きいことに基づいて、上下方向を判定する領域輝度に基づく第２の方向判定装置を、更に有することを特徴とする方向判定装置である。
又好ましくは、前記距離データは、領域毎の距離に関するデータの積算値、平均値及び最大値の何れか一つである方向判定装置である。
又本発明は、上記各種の方向判定装置のうち何れかの方向判定装置と、被写体を撮像し、画像データを取得する撮像部と、を有することを特徴とする撮像装置。

更に、本発明は、
第１の撮像装置と、第２の撮像装置とを有する撮像装置であって、前記第１の撮像装置が方向判定装置を有し、該方向判定装置が、
画像を複数の領域に分割する領域分割手段と、被写体に対して測距用の光を発光してその反射光を受光し、前記画像の複数の領域それぞれについて夫々、前記発光から受光までの時間に基づいて被写体までの距離を測定して得た距離に関するデータから、複数の距離データを抽出する距離測定手段と、前記複数の距離データに基づいて、画像の方向を判定する制御手段と、を備え、且つ前記第２の撮像装置が前記方向判定装置を有しておらず、
前記制御手段は、前記第１及び第２の撮像装置が同一の被写体を撮像した際に、前記第１の撮像装置により撮像した第１の画像と、前記第２の撮像装置により撮像した第２の画像とから、複数の特徴点を各々抽出して、前記第１の画像の前記特徴点の各々と前記第２の画像の前記特徴点の各々との間で特徴点どうしの対応付けを行うと共に、該特徴点の対応付けの結果と、前記第１の画像の方向判定結果とに基づいて、前記第２の画像の方向を判定する、撮像装置である。

好ましくは、前記各撮像装置における前記距離データは、領域毎の距離に関するデータの積算値、平均値及び最大値の何れか一つである撮像装置である。
更に、本発明は、前記何れかの方向判定装置に画像の方向判定を実行させるための、方向判定プログラムである。

本発明によれば、画像の上下方向判定の精度を向上できる。

図１は、本発明の画像の方向判定装置の一実施形態を適用した上下方向判定処理回路を有するデジタルカメラの構成を示すブロック図である。 図２Ａは当該制御回路の回路構成を示すブロック図、及び図２Ｂは当該制御回路が図1の上下方向判定処理を実行する場合の機能ブロック図である。 図３はデジタルカメラの表示部の画像分割の一例を示す図である。 図４はデジタルカメラの表示部の画像分割の他の例を示す図である。 図５はデジタルカメラにより撮像された一つの画像の例である。 図６はデジタルカメラの表示部の画像分割の更に他の例を示す図である。 図７はデジタルカメラにより撮像された他の画像の例である。 図８Ａはデジタルカメラの通常方向支持状態においてその表示部（液晶モニター）搭載側から見た図、及び図８Ｂは図８Ａのデジタルカメラの上下方向を反転させた状態（即ち、１８０度回転させた状態）の図、図８Ｃは図８Ａのデジタルカメラの上下方向を反転させた状態で固定手段に取付けた場合の図である。 図９は２つのデジタルカメラを互いに上下方向を反転させた状態で組合せたシステムを表示部（液晶モニター）搭載側から見た図である。 図１０Ａは図９のジステムの第１のデジタルカメラにより撮像した画面を示す図、図１０Ｂは図９のジステムの第２のデジタルカメラにより撮像した上下方向が反転した画面を示す図、図１０Ｃは図１０Ａ及び１０Ｂ中の各画像の特徴点を抽出して重ね合わせて示す図である。

以下、本発明による実施の形態を、図面を参照して説明する。図１は、本発明の画像の方向判定処理を行う方向判定装置を有するデジタルカメラ１００の構成を示すブロック図である。

図１中、赤外光発光部１１２は、発光制御回路１１３の制御のもとで、被写体１２０に対して赤外光１２１eを発光照射する。赤外光発光部１１２から発光された赤外光１２１eは、他の可視光とともに、被写体１２０で反射され（図１中１２１）、撮影レンズ１０１及び分配器１０２に入射する。

分配器１０２に入射した光１２１は可視光１２１ａ及び赤外光１２１ｂに分割される。このうち、可視光１２１ａは分配器１０２をそのまま透過する。一方、赤外光１２１ｂは、分配器１０２により図１の紙面上方向へ反射する。分配器１０２を透過した可視光１２１ａは、例えばＣＭＯＳ型で構成される撮像素子１０３で撮像される。一方、分配器１０２で反射された赤外光１２１ｂは、更にミラー１０４で反射され、赤外光用の撮像素子１０５で撮像される。２つの撮像素子１０３、１０５から出力される映像信号は、画像処理回路１０６に入力され、それぞれ所定の画像処理が行われる。
ここで、画像処理回路１０６から出力される、可視光（１２１ａ）の映像信号に対応する映像データ１２１ｃは、更に表示制御回路１０７でメニューや撮影情報等の表示の為の重畳データが合成された上で、液晶モニター等の表示部１０８に入力される。これによって、ユーザは表示部１０８上で、可視光映像を視認することができると共に、表示部１０８に表示されたメニューを見ながら、本デジタルカメラ１００を操作することができる。

ここで、可視光映像データ１２１ｃは、必要に応じて、画像処理回路１０６から出力された赤外光（１２１ｂ）の映像信号に対応する映像データ１２１ｄと共に、符号化／復号化回路１０９で、符号化（データ圧縮）処理が施され、記録媒体１１０に出力される。記録媒体１１０は、符号化／復号化で符号化された、可視光１２１ａ、及び赤外光１２１ｂの映像信号に対応する映像データ１２１ｃ，１２１ｄが、互いに関連付けて記録する。
また、記録媒体１１０に記録された可視光及び赤外光の各映像データ１２１ｃ及び１２１ｄは、必要に応じて符号化／複合化回路１０９で復号化処理の上、画像処理回路１０６に読み出すことができる。なお、記録媒体１１０から読み出された可視光映像データについても、上記と同様に表示部１０８に表示することができる。

制御回路１１１は、上記の撮影レンズ１０１、撮像素子１０３，１０５、画像処理回路１０６、表示制御回路１０７、表示部１０８、符号化／復号化回路１０９、記録媒体１１０、発光制御回路１１３の制御を行うとともに、赤外光発光部１１２による発光と撮像素子１０５による受光との間の時間差に基づいて得られた距離画像をもとに、本発明の特徴である撮影画像の上下判定処理を行う。
なお、上記の赤外光はこれに限ることなく、その他の光、電磁波、またはレーザを用いるものであってもよい。

ここで、距離画像について説明する。
赤外光発光部１１２で赤外光が発光されてから、当該赤外光が被写体１２０で反射して赤外光用の撮像素子１０５で撮像されるまでの時間は、赤外光発光部１１２と被写体１２０との間の距離に依存する。赤外光発光部１１２と被写体１２０との間の距離が短ければこの時間は短くなり、赤外光発光部１１２と被写体１２０との間の距離が長ければこの時間は長くなる。つまり赤外光用の撮像素子１０５の画素毎に、赤外光発光部１１２で赤外光が発光されてから当該赤外光が被写体１２０で反射して赤外光用の撮像素子１０５で撮像されるまでの時間を計測することにより、所謂距離画像を得ることができる。本実施形態においては、当該距離画像は、画像処理回路１０６で生成され、必要に応じて、符号化された可視光映像（画像）データと関連付けて、記録媒体１１０に記録される。

図２（Ａ）には、図１の制御回路１１１の内部回路構成の一例が示されている。同図に示すように、制御回路１１１は、少なくとも、ＣＰＵ１１１ａ、ＲＡＭ１１１ｂ、ＲＯＭ１１１ｃ、及び、フラッシュメモリ１１１ｄを備えている。これらの構成要素は、内部バス１１１ｅを介して双方向に通信可能に接続されている。内部バス１１１ｅは、図１に示す他の構成要素に接続された図示しないシステムバスに接続されている。また、ＣＰＵ１１１ａは、ＲＯＭ１１１ｃに予め格納されているプログラムに基づいて所定の処理、例えば後述する本願発明の上下方向判定処理を実行する。ＣＰＵ１１１ａは、内部バス１１１ｅ及びシステムバスを介して他の構成要素にコマンドを送信することによって、当該他の構成要素を制御する。

また、当該他の構成要素からのデータ、例えば画像処理回路１０６等から出力された画像データは、システムバス及び内部バス１１１ｅを介してＲＡＭ１１１ｂに送られ、ＲＡＭ１１１ｂに格納される。ＣＰＵ１１１ａは、ＲＡＭ１１１ｂに格納された画像データを用いて、種々の演算を行うことができる。すなわち、ＲＡＭ１１１ｂは、ＣＰＵ１１１ａのワークメモリとして機能する。
また、制御回路１１１は、不図示のネットワーク接続部により、インターネット等を介して上下方向判定プログラムダウンロードすることもできる。この場合には、上下方向判定プログラムは、フラッシュメモリ１１１ｄ、またはＲＡＭ１１１ｂに格納される。

図２（Ｂ）は、図１の制御回路１１１が上下方向判定処理を実行する場合の機能ブロック図の一例を示すものである。同図に示すように、制御回路１１１は、画像処理回路１０６又は記録媒体１１０から転送されてきた距離画像を記憶する距離画像メモリ２００（ＲＡＭ１１１ｂの特定のメモリ領域として実現される）と、当該距離画像を、あらかじめ定められた少なくとも２以上の複数の領域に分割する画像分割部２０２と、画像分割部２０２により分割された分割領域毎に代表距離データを算出する距離データ算出部２０４と、上下方向を判定するための上下方向判定用データ２０６（この上下方向判定用データは、上記ＲＯＭ１１１ｃに予め格納されているか又は上記インターネット等を介して該ＲＡＭ１１１ｂ若しくはフラッシュメモリ１１１ｄにダウンロードされる）と、距離データ算出部２０４により分割領域毎に算出された代表距離データから、上下方向判定用データ２０６を参照して、取得した距離画像（すなわち可視光映像（画像））の上下方向を判定する上下方向判定部２０８と、を備えている。

ここで、領域分割部２０２，距離データ算出部２０４及び上下方向判定部２０８は、上下方向判定プログラムを実行したときの機能として、例えばＣＰＵ１１１ａにより実現できる。上下方向判定用データ２０６には、様々な撮影シーンで上下方向を判定するために、分割領域毎に算出された代表距離データをどのように用いるかに関する情報が含まれている。例えば、上下方向判定用データ２０６として、後述する所定の閾値などがある。
被写体となる有体物は、多くの場合、地面の上に存在して、各々所定の高さを有しているが、一般的に、地面からの高さが高いほど有体物の存在確率は小さくなると考えられる。従って、上下方向判定部２０８は、画面の分割領域毎の距離の代表値（例えば各分割領域毎の距離データの積算値、平均値、最小値、最大値、分散値）の分布を画像全体で見て、この分布から、画像の上下方向を判定することができる。

次に、上下方向判定部２０８による画像の上下方向判定方法の詳細を説明する。
図３に、領域分割部２０２により、撮像素子１０５で撮像された画像に対応する距離画像１３０が、領域１３０ａ及び１３０ｂの２つに分割設定される例を示す。この２つの設定領域１３０ａ及び１３０ｂで、夫々の分割領域に対応する距離についての代表値として、例えば各々の分割領域に対して距離の積算値Ａ、Ｂを求める。

ここで、
Ａ＞Ｂなら、図３中の（Ｉ）が上方向、と判定し、
ＡＢなら、図３中の（II）が上方向、と判定する。

上下方向判定部２０８は、上記領域毎の距離計測に対して、さらに領域毎の明るさの積算値による判定を加えてもよい。上述のように、地面からの高さが高いほど有体物の存在確率は低くなる。つまり、屋外のみならず屋内であっても、床面の広い面積に発光物があるなどの特殊な場合を除き、画面の上方部分が明るくなることが多い。この為、撮像素子１０３により撮像される可視光の画像データを用いて、領域Ａ及びＢ毎の明るさの積算値を求め、この大小関係により、上下判定の信頼度を高める構成としてもよい。距離画像による判定結果は、図３中、（I）を上方向と判定し、明るさによる判定結果は逆に（II）を上方向と判定した場合には、信頼度５０％で、（I）を上方向と判定する。

次に、図４に示すように、距離画像１３０が１３０ａ１乃至１３０ｄ１の４つの領域に分割設定されている場合について説明する。距離データ算出部２０４は、この４つの領域に対応する距離の積算値Ａ、Ｂ、Ｃ及びＤをそれぞれ求める。

ここで、上下方向判定部２０８は、
Ａ＞Ｂ、かつＣ＞Ｄ、なら（Ｉ）が上方向、
ＡＢ、かつＣＤ、なら（）が上方向、
Ａ＞Ｃ、かつＢ＞Ｄ、なら（III）が上方向、及び
ＡＣ、かつＢＤ、なら（）が上方向、と判定する。
次に、図５を参照して、本発明が好適に適用される一例を説明する。図５は、家の窓越しに外部の風景を撮影した可視光による撮影画像に対応する距離画像の一例である。図５では、斜線部に示すように、カメラに近い庇（ひさし）の像領域１４０が画像の左上部に写り込んでいる。このため、この可視光撮影画像に対応する距離画像１３０を図４のように４分割した場合には、図４中の分割領域１３０ａ１に対応する距離積算値Ａは、庇がない場合に比較して、その値が小さくなる。

しかしながら、図４中の分割領域１３０ｂ１には、近距離にある道路、芝生の領域が含まれ、さらにまた、分割領域１３０ａ１には、近距離にある庇の他に、遠距離にある空の領域が含まれている。従って、この場合、距離の積算値Ａ，Ｂの関係は、Ａ＞Ｂとなる。
また、分割領域１３０ｄ１には、近距離にある芝生、花の領域が含まれ、分割領域１３０ｃ１には、遠距離にある木、空、太陽、家等の領域が含まれている。従って、この場合、距離の積算値Ｃ、Ｄの関係はＣ＞Ｄとなる。

一方、分割領域１３０ａ１と分割領域１３０ｃ１の距離の積算値Ａ，Ｃを比較すると、分割領域１３０ａ１に庇の像領域１４０が存在するため、Ｃ＞Ａとなるが、分割領域１３ｂ１と分割領域１３０ｄ１の距離の積算値Ｂ、Ｄを比較すると、その値はほぼ等しく、ＢＤとなる。

すなわち、この場合には、上下方向判定部２０８は、距離の積算値Ａ，Ｂ，Ｃ、Ｄが、Ａ＞Ｂ，Ｃ＞Ｄを共に満足する為、（I）の方向が上方向であると判断することができる。
上記実施形態においては、各分割領域の距離についての代表値として、各分割領域毎の距離の積算値を用い、この大小関係を用いて、上下方向を判断する構成について説明したが、これに代えて、各分割領域毎に求めた距離の最大値に基づいて、上下方向を判断する構成としてもよい。このような構成としても、上述の結果と同様の結果を得られる。
さらには、各分割領域毎に求めた距離のばらつき（分散値）に基づいて、上下方向を判断する構成としてもよい。例えば、図５の可視光撮影画像の例の場合、図４の分割領域１３０ａ１は、空の領域と庇の領域との両方を含んでいるために、その距離のばらつきは大きくなる。このような場合には、距離のばらつき（分散値）に基づいて、上下判定に用いる分割領域を決定することとし、分割領域１３０ａ１の距離についての代表値は用いずに、分割領域１３０ｂ１、１３０ｃ１、１３０ｄ１の距離についての代表値（積算値、最大値など）に基づいて、画像の上下方向を判定する構成としてもよい。

このように、本発明によれば、各分割領域から抽出された距離情報を用いている為、単純に、画像上のあらかじめ定められた複数の所定点の距離の差から上下方向を判定する場合と比較しても、精度よく上下方向を判定することができる。

なお、本発明の実施形態として、画像１３０の上部に、撮影者までの距離が近い物が写り込む例として庇の像領域１４０をあげて説明しているが、本発明は、これに限ることなく、窓越し撮影のときに、画面の上や下に、窓の枠や、カーテン、家の内壁などが写り込んだり、その他に近くの樹木の枝葉が画面の上方でのみ左右方向に茂って広がって暗くなっていたり、画面の上方の比較的近い距離を鳥が飛んでいるような場合にも適用することもできる。
また、図６に示すように、距離画像１３０は、４以上の複数（例えば９つ）の領域に分割してもよい。この場合、距離画像１３０には、９つの領域１３０ａ２乃至１３０ｉ２が設定され、設定された９つの領域で、それぞれ、距離の積算値Ａ〜Ｉを求める。この場合、図６中、（I）又は（II）の上下方向の判定の際には、上下方向判定部２０８は、中央水平方向に並ぶ領域の距離積算値Ｆ、Ｇ、Ｈは用いずに残りの領域の距離積算値Ａ、Ｅ、ＣとＢ、Ｉ、Ｄとの大小関係に基づいて（I）又は（II）の上下方向を判定する。また、図６中、（III）又は（IV）の上下方向判定の際には、中央上下方向に並ぶ領域の距離積算値Ｅ、Ｇ、Ｉは用いないで、残りの領域の距離積算値Ａ、Ｆ、ＢとＣ、Ｈ、Ｄとの大小関係に基づいて（III）又は（IV)の上下方向を判定する。この場合の上下方向の判定方法は、上述の４分割の場合と同様である。

なお、上記図３乃至図６の実施形態では、分割領域毎に被写体までの距離の積算値を求めて上下判定処理を行っていたが、これに限ることなく、分割領域毎の代表値として距離の平均値、または距離の最大値等を求めて上下判定処理を行っても良い。
例えば、図５のような可視光画像に対応する距離画像１３０における庇の像領域１４０の写り込み面積に比較して、図７のように可視光画像に対応する距離画像１３０´における庇の像領域１４０´の写り込み面積が半分程度と小さい場合には、分割領域毎に距離の最大値を求めて処理を行うに適している。即ち、この二つの距離画像１３０及び１３０´を夫々例えば図６に示すように９分割したとする。すると、図５の画像１３０の庇の像領域１４０は図６中の左上の領域１３０ａ２を全て覆ってしまう可能性があり、この場合は距離の積算値が小さくなってしまい、上下方向を正しく判定することが難しくなる可能性がある。しかしながら図７の画像１３０´の庇の像領域１４０´は面積が小さいので、図６中の左上の領域１３０ａ２を全て覆うことはない。従って、領域１３０ａ２内の庇の像領域１４０´以外に対応する部分で被写体までの距離が最大になるため、分割領域毎に距離の最大値を求めることにより、上下方向を正しく判定することができる。

次に、図８（Ａ）は、撮像装置（デジタルカメラ）１００の表示部１０８の設置面に、表示部１０８に表示される可視光撮影画像の、例えば明度を手動調整するため、図中上下方向スライド自在の操作部材３００が設けられている例を示す。この場合、表示部１０８には、撮影中の可視光画像と共に、上記操作部材３００の動きと連動して表示画像の明度を示すべく図中上下方向に伸びるバー３１０が重畳表示されている。図８（Ａ）は、カメラ１００を手持ちで、その三脚ネジ挿入穴１１７が下方に向いた通常方向支持状態を示し、また図８（Ｂ）はカメラ１００を手持ちで１８０度反転させて三脚ネジ挿入穴１１７が上方を向いた反転支持状態を示す。なお、カメラを手持ちで反転支持した状態とは、例えば撮影者が上体を前方向且つ下方向へ折って股下から自分の後方の被写体を撮影するような場合で撮影者の顔も下方向へ向いている。

まず、図８（Ａ）のカメラを手持ちした通常方向支持状態において、撮影者が操作部材３００をカメラ本体に対して相対的に上方向、即ち（Ｉ）方向（絶対的にも上方向）へスライド操作すると、バー３１０の下半分を占める黒色部３１０ａも上記（Ｉ）方向と同一方向の「＋」方向へ伸びて、明度が上昇したことが撮影者に理解される。一方、撮影者が操作部材３００をカメラ自体に対して相対的に下方向、即ち（）方向へスライド操作すると、バー表示の黒色部が「−」方向へ縮んで（不図示）明度が低下したことが撮影者に理解される。

次に、図８（Ｂ）のカメラを手持ちした反転支持状態においては、撮影者の顔も反転して下方向を向いている。従って、上記の場合と同様に、操作部材３００をカメラ本体に対して相対的に上方向、即ち（Ｉ）方向（絶対的には下方向）へスライド操作すると、バー３１０の黒色部３１０ａも上記（Ｉ）方向と同一方向の「＋」方向（絶対的な下方向）へ伸びて、明度が上昇したことが撮影者に理解される。一方、撮影者が操作部材３００をカメラ本体に対して相対的に下方向、即ち（）方向（絶対的な上方向）へスライド操作すると、バー表示の黒色部が「−」方向（絶対的な上方向）へ縮んで明度が低下したことが撮影者に理解される。これによれば、カメラの通常支持状態及び反転支持状態の何れにおいても、撮影者は、明度の調節について、操作部材３００をカメラ１００に対して相対的に同じ方向に移動させれば良いから、感覚的に扱いやすい。

次に、カメラを固定部材により支持した状態について説明する。カメラを固定部材により通常支持状態に支持した場合は、図８（Ａ）と同様である。これに対して、図８（Ｃ）に示すように、カメラ１００が、固定部材３２０により、三脚ネジ挿入穴１１７を利用して反転支持状態とされた場合は、図８（Ｂ）の場合とは事情が異なる。これは、固定部材により支持されたときは、図８（Ａ）の通常方向支持状態、及び図８（Ｃ）の反転支持状態共に、撮影者の顔は上方向を向いているからである。この場合は、制御手段１１１の制御により、＋−の表示位置が、図８（Ｂ）の表示と比較して、紙面上下方向に入れ替わっていると共に、表示部１０８のバー３１０Aの黒色部３１０ａが図８（Ａ）の通常方向支持状態と同じく紙面上で下半分を占めている状態となっている（つまり、図８（Ｂ）とは逆方向である）。従って、図８（Ｃ）中、撮影者が、操作部材３００をカメラ本体に対して相対的に上方向、即ち（）方向（絶対的にも上方向）へスライド操作すると、図８（Ａ）と同じく、表示メニュー３１０の黒色部３１０ａも（）方向（絶対的にも上方向）の「＋」方向へ伸びて、表示画像の明度が上昇したことが撮影者に理解される。一方、撮影者が操作部材３００をカメラ自体に対して相対的に下方向、即ち（Ｉ）方向（絶対的にも下方向）へスライド操作すると、黒色部３１０Ａが「−」方向（絶対的な下方向）へ縮んで明度が低下したことが撮影者に理解される。これによれば、図８（Ａ）及び（Ｃ）の例では、明度の調節について、カメラの通常支持状態及び反転支持状態の何れにおいても、撮影者にとって、操作部材３００を絶対的上方向に移動させれば明度の上昇、また絶対的下方向に移動させれば明度の低下になるため、感覚的に扱いやすい。

なお、上記図８（Ａ）及び（Ｃ）の撮像装置１００は、図１に示す赤外線発光部１１２及び発光制御回路１１３等の距離取得手段を有する上下方向判定装置を有する構成とされ、図１乃至図６で説明したように、上下方向判定装置を用いて、取得画像の上下方向を判定することができる。
また、図８（Ｃ）の場合においては、表示部１０８のメニューなどの重畳表示方向（例えば、「＋」、「−」の位置以外にメニュー等の文字の表示方向）も上下方向を変更させることが可能である。ただし、撮影画像表示方向は上下方向は反転しないでそのままである。

さらに、上記の、図８（Ｂ）及び（Ｃ）ように、表示メニュー３１０の表示形態を変更する場合は、手持ちの反転支持状態（図８（Ｂ））と、固定部材３２０に固定された反転支持状態（図８（Ｃ））とを判別する必要がある。この判別は、例えば、スルー画撮影の動きベクトル算出により、全画面でほぼ同じ方向の動きベクトルが求められているとすれば手持ちと判断し、そうでない場合は固定部材３２０に固定されていると判断することができる。または、三脚ネジ挿入穴１１７の機構に固定部材３２０への装着を検出する機構を設けて判断する構成としてもよい。

なお、上記スライド操作の操作部材３００に限らず、操作部材は他に、十字キー、タッチパネル、明度上昇用及び低下用の二つの押ボタンなどでもよい。また、操作部材３００による操作方向に応じた機能は、上記のような明度の調節に限定されるものではない。例えば、操作部材３００は、メニューの選択、測距ポイントの移動、測光ポイントの移動、及び、撮像画像の拡大位置など、他の様々な機能をその操作方向に応じて調節したり、実行させたりすることが可能である。さらには、操作部材３００の操作方向は上下方向に限定されるものではなく、左右方向や斜め方向なども含んでいてもよい。

上記図８（Ａ）及び（Ｃ）の構成は、図９に示すように、固定具４１０により、撮像装置４００Ａを通常支持状態、撮像装置４００Ｂを反転支持状態に固定支持するシステム（その用途は後述する）に対してそのまま適用できる。これによれば、各撮像装置４００Ａ及び４００Ｂの操作部材４１２Ａ、４１２Ｂの操作方向を同じにすることができ、撮影者にとって良好な操作感覚を維持できる。

図９においては、固定具４１０により、撮像装置４００Ａは通常支持状態、撮像装置４００Ｂは反転支持状態に固定支持され、しかも互いのレンズの位置が人間の両目の間隔距離に近づけられた配置とされている。この２台の撮像装置を使用する例は、例えば特開平２０１１−１７２１７８号公報に開示されている。同公報には、左目用と右目用の立体画像用の画像データを撮像する２台の撮像装置を設け、これらの相対的な位置関係を相対的位置関係検出部により検出し、各々の撮像装置により入力された光束を撮像して、相対的位置関係検出部が検出した位置関係に対応して、撮像部から左目用または右目用の画像データを出力して立体画像を得る技術が示されている。

ここで、撮像装置４００Ａ、及び４００Ｂは、各々、上述の上下判定機能を備えたものとした場合、上述の手法により、両撮像装置の操作部材を同じ方向に操作しても、例えば明度を明るくするなど同じ効果を得ることができる。
一方、例えば撮像装置４００Ａが図１に示す赤外線発光部１１２及び発光制御回路１１３等の距離取得手段を有する上下方向判定装置を有する構成とされ、図１乃至図６で説明したように、上下方向判定装置を用いて、取得画像の上下方向を判定することができる反面、他方の撮像装置４００Ｂは上下方向判定装置を有さない場合には、他方の撮像装置４００Ｂ単独では、上下方向を判定することができない。

従って、図１０（Ａ）乃至（Ｃ）において、撮像装置４００Ａの上下方向判定機能を利用して、撮像装置４００Ｂでも撮影画像の上下を判定し得る手法について説明する。

図１０（Ａ）及び（Ｂ）は夫々、撮像装置４００Ａ及び４００Ｂで撮影された可視光撮影画像４２０ａ及び４２０ｂを示す。ここで、撮像装置４００Ａ及び４００Ｂは同一の被写体を撮像するように設定されているから、図１０（Ａ）、図１０（Ｂ）に示すように、可視光撮影画像４２０ｂは可視光撮影画像４２０ａに対して反転されているのみである。

ここで、可視光撮影画像４２０ａ及び４２０ｂの夫々で、制御回路１１１（図１参照）により対応する特徴点を抽出する。例えば可視光撮影画像４２０ａ中の特徴点はラ印で示された特徴点４３０ａであり、また可視光撮影画像４２０ｂ中の特徴点は印で示された特徴点４３０ｂである。次に、各特徴点４３０ａ及び４３０ｂどうしの対応付けを行う。図１０（Ｃ）は、各特徴点の特徴量により、両可視光撮影画像間で、特徴点の対応付けを行う方法を示す。図１０（Ｃ）では、可視光撮影画像４２０ａ及び４２０ｂを重ね合わせて特徴点４３０ａ及び４３０ｂを同一画像上に表示し、対応する特徴点４３０ａ及び４３０ｂどうしを夫々破線４４０ｃで結んでいる。この場合、複数の破線４４０ｃは画面のほぼ中央領域４４０ｄ（交差領域）で交差しているから、画像４２０ｂは画像４２０ａに対して反転した画像であることが撮影者に理解され、他方の撮像装置４００Ｂは上下方向判定機能が無いにも拘わらず、図１０（Ｂ）中、画像４２０ｂの下方向が実際には上方向であることが判定できる。

このような処理は、例えば、撮像装置４００Ａ及び４００Ｂを電気的に接続し、片方の撮像装置で得られた可視光撮影画像データを他方の撮像装置に転送し、さらに片方の撮像装置で得られた上下判定結果を用いて、何れか一方の撮像装置で行ってもよいし、又は撮像装置４００Ａ及び４００Ｂを固定した固定具４１０、またはその外部に更にコンピュータ（図示せず）を具備しておいて、各撮影画像データ、片方の撮像装置による上下判定結果をこのコンピュータに読み込んで、当該コンピュータで制御を行ってもよい。もちろん、この際に、片方の撮像装置で得られた距離画像を、コンピュータに読み込む構成としてもよい。

このような構成とすれば、例え各撮影画像４２０ａ及び４２０ｂが個別に管理されていたとしても、両者を関連付けることが可能となると共に、距離画像データが付されていない、例えば撮像画像４２０ｂでも、精度の高い上下判定を行うことができる。
即ち、何れか一方の撮像装置４００Ａが距離画像を得ることができれば、他方の撮像装置４００Ｂは高価な距離画像を得る手段（上下方向判定手段）は不要となり、全体的に安価な構成とすることができる。
また、図９及び図１０に示すようなステレオ画像の撮影を行う場合、複数の撮像装置４００Ａ及び４００Ｂの撮影タイミングを揃える必要がある。特に、動画撮影の場合には、１つの装置の撮影タイミング情報を、他の装置に伝達する必要がある。例えば、無線により、撮像の同期信号を、他の撮像装置に伝送し、他の撮像装置では、この同期信号に基づいて、外部同期により撮像動作を行う。この同期信号の伝送は、所定範囲内にある撮像装置に限定して、上述のように無線で同期信号を伝送してもよいし、装置を固定する固定具への固定が検出された撮像装置に限定して無線で同期信号を伝送してもよいし、固定具を介して有線で同期信号を伝送する構成としてもよい。
また勿論、上記の種々の例を、互いに組合せて使用する構成としてもよい。

１００、４００Ａ、４００Ｂ 撮像装置（デジタルカメラ）
１０１ 撮影レンズ
１０２ 分配器
１０３、１０５ 撮像素子
１０６ 画像処理回路
１０７ 表示制御回路
１０８ 表示部
１０９ 符号化復号化回路
１１０ 記録媒体
１１１ 制御回路
１１１ｃ 上下方向判定プログラム上下方向判定用データ格納ＲＯＭ
１１２ 赤外光発光部
１１３ 発光制御回路
１３０ 距離画像
４２０ａ、４２０ｂ 可視光撮影画像
１４０ 庇の像領域
１２０ 被写体
１２１ 反射光
１２１ａ 可視光
１２１ｂ 赤外光
３１０ 表示メニュー
３１０ａ 黒色部
３２０、４１０ 固定手段
４３０ａ、４３０ｂ 特徴点
４４０ｃ 破線
４４０ｄ 交差領域

Claims (13)

1. 画像を複数の領域に分割する領域分割手段と、
   被写体からの反射光を受光し、前記画像の複数の領域それぞれについて、前記発光から受光までの時間に基づいて複数の距離データを抽出する距離測定手段と、
   前記複数の距離データに基づいて、画像の天地方向を判定する制御手段と、
   を備える方向判定装置。
2. 請求項１に記載の方向判定装置において、
   前記距離測定手段は、被写体に対して測距用の光を発光してその反射光を受光し、前記画像の複数の領域それぞれについて、前記発光から受光までの時間に基づいて被写体までの距離を測定して得た距離に関するデータから、複数の距離データを抽出する、
   ことを特徴とする方向判定装置。
3. 請求項１または２に記載の方向判定装置であって、
   領域分割手段は、前記画像を、方向判定を行いたい該方向に少なくとも２つの領域に分割しており、
   前記制御手段は、少なくとも２つの領域毎の距離データの大小関係を比較することにより、前記画像の天地方向を判定する、
   ことを特徴とする方向判定装置。
4. 請求項１または２に記載の方向判定装置であって、
   前記領域分割手段は、前記画像を、４つ又は９つの領域に分割しており、
   前記制御手段は、４つ又は９つの領域毎の距離データの大小関係を領域間で比較することにより、前記画像が所定方向及び前記直交方向の何れを向いているかを判定する、
   ことを特徴とする方向判定装置。
5. 請求項１乃至４の何れか１項に記載の方向判定装置において、
   操作方向に応じた機能を実行させるため操作方向可動の操作手段を更に備え、
   該方向判定装置は手持ちにより通常方向を向いた通常支持状態と、１８０度反転された状態で別の固定手段により反転固定支持された状態との間で可変設定され、
   前記制御手段は、前記操作手段の操作方向と前記機能との対応付けを制御すると共に、前記方向判定装置が手持ちにより通常支持状態とされて前記画像が第１方向を向いていると判断した場合と、前記方向判定装置が前記別の固定手段により反転支持状態とされて前記画像の前記第１方向と反対方向の第２方向を向いていると判断した場合とで、前記操作手段による前記機能のための操作方向が絶対座標で同一方向になるよう設定する、ことを特徴とする方向判定装置。
6. 請求項５に記載の方向判定装置において、前記画像中に、前記操作手段の可動方向を表示する可動方向表示手段を備える、ことを特徴とする方向判定装置。
7. 請求項５に記載の方向判定装置において、前記通常支持状態において、前記操作手段が上方向に移動操作されるときは前記可動方向表示手段も該上方向に移動し、また前記操作手段が下方向に移動操作されるときは前記可動方向表示手段も該下方向に移動する、ことを特徴とする方向判定装置。
8. 請求項１乃至７の何れか１項に記載の方向判定装置において、
   画像の複数の領域毎の輝度を更に測定し、下方領域が輝度が小さく且つ上方領域が輝度が大きいことに基づいて、上下方向を判定する領域輝度に基づく第２の方向判定装置を、更に有することを特徴とする方向判定装置。
9. 請求項１乃至８の何れか１項に記載の方向判定装置において、前記距離データは、領域毎の距離に関するデータの積算値、平均値及び最大値の何れか一つである方向判定装置。
10. 請求項１乃至９の何れか１項に記載の方向判定装置と、
    被写体を撮像し、画像データを取得する撮像部と、
    を有することを特徴とする撮像装置。
11. 第１の撮像装置と、第２の撮像装置とを有する撮像装置であって、
    前記第１の撮像装置が方向判定装置を有し、該方向判定装置が、
    画像を複数の領域に分割する領域分割手段と、
    被写体に対して測距用の光を発光してその反射光を受光し、前記画像の複数の領域それぞれについて夫々、前記発光から受光までの時間に基づいて被写体までの距離を測定して得た距離に関するデータから、複数の距離データを抽出する距離測定手段と、
    前記複数の距離データに基づいて、画像の方向を判定する制御手段と、を備え、
    且つ前記第２の撮像装置が前記方向判定装置を有しておらず、
    前記制御手段は、前記第１及び第２の撮像装置が同一の被写体を撮像した際に、前記第１の撮像装置により撮像した第１の画像と、前記第２の撮像装置により撮像した第２の画像とから、複数の特徴点を各々抽出して、前記第１の画像の前記特徴点の各々と前記第２の画像の前記特徴点の各々との間で特徴点どうしの対応付けを行うと共に、該特徴点の対応付けの結果と、前記第１の画像の方向判定結果とに基づいて、前記第２の画像の方向を判定する、ことを特徴とする撮像装置。
12. 請求項１１に記載の撮像装置において、前記距離データは、領域毎の距離に関するデータの積算値、平均値及び最大値の何れか一つである撮像装置。
13. 請求項１乃至１２の何れか１項に記載の方向判定装置に画像の方向判定を実行させるための、方向判定プログラム。

Images