JP2004198732A - 撮影補助器、画像処理方法、画像処理装置、コンピュータプログラム、プログラムを格納した記録媒体 - Google Patents

Abstract

【課題】ステレオ撮影するためには、専用のカメラを用意するか、同じカメラを複数台用意しなければならなかった。
【解決手段】撮影補助器１０は、輪状の円形部材にて構成される回転体１２と、カメラ２０を取り付けるためのカメラ固定部１４と、回転体１２を回転自在に支持する支持台１８とを有する。カメラ固定部１４にはカメラ２０が載置固定される。回転体１２を回転させるとその回転面においてカメラ２０も円運動し、回転中に連写させて複数の視点から撮影された画像を取得する。後に画像処理によってステレオ画像や補間画像を取得する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
この発明は、撮影補助器および画像処理装置に関する。この発明は特に、簡易なステレオ撮影を実現する技術に関する。
【０００２】
【従来の技術】
ステレオ画像は、異なる視点から同じ被写体を撮影するステレオ撮影によって得られる。このステレオ画像に生じる視差によって奥行き感を表現でき、両眼立体視が実現される。両眼立体視は、液晶シャッターグラスなどの専用器具を用いる方法や、こうした特別な器具を用いない交差法や平行法による裸眼立体視などによって実現できる。
【０００３】
【発明が解決しようとする課題】
従来より、ステレオ画像を得るためにはステレオカメラを用いて撮影するか、同種のカメラを複数用いて同時撮影する必要があった。しかしながら、ステレオカメラはステレオ画像に特化したカメラであって通常の撮影には向いていない。また同種のカメラを複数所有する者は皆無に等しく、複数所有したとしてもステレオ撮影以外に目立った用途がない。したがって、一般的にはステレオ撮影自体に二の足を踏まざるを得なかった。
【０００４】
本発明者は以上の認識に基づき本発明をなしたもので、その目的は、簡易な構成によって手軽なステレオ撮影を実現する点にある。本発明はさらに、以下のいずれかの目的、または本明細書の記述をとおして理解される他の目的も視野においてなされている。すなわち、ステレオカメラを用いずにステレオ撮影を実現する点、簡易なシステムによって所望の画像を得るための画像処理を実現する点などである。
【０００５】
【課題を解決するための手段】
本発明のある態様は、撮影補助器に関する。この撮影補助器は、回転自在に支持される部材からなる回転体と、その回転体にカメラを取り付けるためにその回転体の回転中心から離れた位置に設けられたカメラ固定部と、を有する。カメラ固定部は、カメラの撮影方向が回転体の回転面に対して略垂直となるようカメラを把持する。
【０００６】
この回転体は、輪状や円盤状に形成されてもよいし、その中心を回転中心とする長尺状または棒状の部材にて形成してもよい。支障なく回転自在である限りその形状は問わない。その背面中央に三脚などの支持台が取り付けられてもよい。カメラはデジタルカメラでもよいし、銀塩フィルムカメラでもよい。カメラを回転体に取り付け、そのカメラに連写実行の設定および必要に応じてタイマの設定をして回転体を手動、またはモータなどを利用して自動で回す。回転体が回る間に２回以上連写すれば、異なる視点から撮影された複数の画像が得られる。連写の間隔は、回転体が１回転する間に２回程度以上撮影されるのが好ましいが、その間隔によっては視点間の距離すなわち撮影位置間の距離が近くなることもあり、視差が小さくなり得る。したがって、連写の撮影回数を多くして後の画像選択の余地を広げてもよい。連写でなくとも、回転角度を変えるたびに回転体の動きを停止させた状態で１枚ずつ撮影してもよい。
【０００７】
得られた複数の画像は撮影時の回転角度に応じて傾いているが、その傾きを元の水平に戻せばステレオ画像となる。また、回転体の半径、すなわちカメラの回転半径が既知なので、回転角度と回転半径から複数の視点間の距離を算出できる。したがって、被写体までの距離を算出したり、画像補間処理によって補間画像や３次元モデルを生成することも可能となる。
【０００８】
本発明の別の態様もまた撮影補助器に関する。この撮影補助器は、回転自在に支持される部材からなる回転体と、その回転体の回転中心から離れた位置に設けられ、その位置から被写体を撮像する撮像部と、を有する。撮像部は、回転体の回転面に対して略垂直に撮影方向を保つ。撮像部は、回転体に内蔵させたカメラであってもよい。
【０００９】
本発明のさらに別の態様は、画像処理方法である。この方法は、所定の部材によって回転自在に支持されたカメラを用いてその部材が回転する間に回転面に対して略垂直方向を撮影方向として回転角度が異なるタイミングで連写する工程と、その連写により得られた複数の画像を読み込む工程と、複数の画像のそれぞれから互いに平行であるべきオブジェクトの像を抽出する工程と、オブジェクトの像を基準にして複数の画像のそれぞれの傾きから回転角度を検出する工程と、複数の画像を回転角度に基づいて相対的に回転させて互いに平行な画像を取得する工程と、を有する。
【００１０】
「所定の部材」は、略輪状または略円盤形状の回転体であるとともにその円形面を回転面としてもよい。「互いに平行であるべきオブジェクト」は、例えば得られた複数の画像からパターンマッチングによって抽出される、回転角度を検出するための基準とできる対象である。「オブジェクト」は二次元的または三次元的な物体に限らず、点や線であってもよく、その個数も問わない。また、「オブジェクト」は画像全体であってもよいし、「オブジェクト」をユーザが適宜選択してもよい。「平行であるべき」は、得られた複数の画像をステレオ画像として並べるときに、それぞれのオブジェクトが本来平行に見えるべきことを意味する。特にそうしたオブジェクトとして、本来水平であるべきオブジェクトを抽出すれば、オブジェクトが水平に見えるステレオ画像を容易に得ることができる。「互いに平行な画像」は、エピポーラ線が平行である画像同士を示してもよい。「回転角度」の値は、いずれかの画像の傾きを基準とした相対的な角度を示してもよい。
【００１１】
本発明のさらに別の態様もまた、画像処理方法である。この方法は、所定の部材によって回転自在に支持されたカメラを用いてその部材が回転する間に回転面に対して略垂直方向を撮影方向として回転角度が異なるタイミングで連写する工程と、その連写の撮影タイミングごとに回転角度を検出する工程と、連写により得られた複数の画像を読み込む工程と、複数の画像のそれぞれについて検出された回転角度のデータを取得する工程と、複数の画像を回転角度に基づいて相対的に回転させて互いに平行な画像を取得する工程と、を有する。ここでいう「所定の部材」もまた、略輪状または略円盤形状の回転体であってもよい。「回転角度に基づいて相対的に回転」は、回転角度が略ゼロの状態になるような回転を意味してもよい。「相対的に回転」は、複数の画像のうち少なくとも一つの画像を基準として他の画像を回転させる場合と、複数の画像のすべてを回転させる場合の双方を含む。
【００１２】
本発明のさらに別の態様は、画像処理装置である。この装置は、所定の部材によって回転自在に支持されたカメラを用い、その部材の回転面に対して略垂直方向を撮影方向として回転角度が異なる位置から撮影された複数の画像を読み込む画像入力部と、複数の画像のそれぞれから互いに平行であるべきオブジェクトの像を抽出する抽出部と、そのオブジェクトの像を基準にして複数の画像のそれぞれの傾きから回転角度を検出する傾き検出部と、複数の画像を回転角度に基づいて相対的に回転させて互いに平行な画像を取得する回転処理部と、を有する。
【００１３】
ここでいう「所定の部材」もまた、略輪状または略円盤形状の回転体であってもよい。なお、正面の方向から回転体を見て反時計回りに回転体を回す場合、得られる画像の回転角度は時計方向で大きくなる。
【００１４】
この装置により、複数の視点から同じ被写体が写されたステレオ画像を得ることができる。また、複数の画像のそれぞれについて回転角度を把握できるので、既知であるカメラの回転半径を用いることにより視点間の距離を求めてもよい。この視点間の距離を用いて被写体までの距離を算出したり、補間画像など所望の画像を生成してもよい。
【００１５】
本発明のさらに別の態様もまた画像処理装置である。この装置は、所定の部材によって回転自在に支持されたカメラを用い、その部材の回転面に対して略垂直方向を撮影方向として回転角度が異なる位置から撮影された複数の画像を読み込む画像入力部と、回転角度のデータを取得する角度入力部と、複数の画像を回転角度に基づいて相対的に回転させて互いに平行な画像を取得する回転処理部と、を有する。
【００１６】
ここでいう「所定の部材」もまた、略輪状または略円盤形状の回転体であってもよい。この回転体は、回転角度を計測する機能と、回転体が回転する間にその回転体に取り付けられたカメラによって複数の画像を連写するときの各撮影時の回転角度を取得する機能を有する撮影補助器の一部であってもよい。この回転体と本装置を接続して回転角度のデータを回転体から本装置へ転送してもよい。各撮影時の回転角度を画像処理以外の方法で取得することにより、画像処理の負担を軽減させてもよい。
【００１７】
なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体、データ構造などの間で相互に置換したものもまた、本発明の態様として有効である。
【００１８】
【発明の実施の形態】
（第１実施形態）
本実施形態においては、回転角度センサのような電気的な機能をもたない、より簡易な構成で実現される撮影補助器による支援の下で複数の画像を連写し、これら複数の画像から画像処理装置が回転角度を検出してステレオ画像を得る。すなわち、主にコンピュータのハードウエア処理またはソフトウエア処理によって回転角度を検出するので、撮影補助器はより簡易な構成で実現される。
【００１９】
図１は、本実施形態における撮影補助器１０の外観を示す。撮影補助器１０は、輪状の部材にて形成された回転体１２と、その回転体１２を背面の中心にて回転自在に支持する支持台１８とを備える。回転体１２には、その正面側の外周近傍位置、すなわち回転体１２の中心から所定の距離を隔てた位置にカメラ固定部１４が設けられる。カメラ固定部１４には、カメラ２０を載置固定できる。本実施形態では、カメラ固定部１４を回転体１２の正面に向かって右側の位置に設け、その位置を回転の開始位置、すなわち回転角度０度とする。ただし、変形例としては、任意の位置を回転角度０度に設定してもよい。
【００２０】
カメラ２０の撮影方向１５は回転体１２の回転面に対して略垂直となる方向である。回転体１２を手動で回転させると、カメラ２０は撮影方向１５を正面に保ったまま回転体１２の中心を回転中心とし、その中心からカメラ２０までの距離を回転半径として回転面を回転方向１７の方向へ円運動する。カメラ２０はカメラ固定部１４へ固定されるので、回転体１２の回転中に撮影すれば、その回転に応じてカメラ２０の撮影範囲も回転する。カメラ２０は、回転体１２の外周近傍位置を軌道にして円運動するので、連写によって複数の視点から撮影することとなる。回転体１２および支持台１８は、カメラ２０を支持するとともにその回転運動を円滑にするために必要な自重を有する。
【００２１】
図２は、回転体１２を正面から見たときの外観を示す。本実施形態の回転体１２は、輪状の円形部材からなるとともに、その輪の中空部内には中心から十字状に放射するスポーク２８を有する。このスポーク２８の交差位置となる中心点１６が回転体１２の回転中心であり、またその背面側が支持台１８との接続位置となる。回転体１２に向かって右側の中央位置にカメラ固定部１４が設けられる。
【００２２】
図３は、撮影補助器１０を側面から見たときの外観を示す。カメラ固定部１４は、側面がＬ字形状を有し、回転面に平行な部分と垂直な部分がある。平行な部分はカメラ２０の背面に接する。垂直な部分はカメラ２０を載置できる台であり、カメラ２０の底部と接する位置にカメラ２０を取り付け固定するための雲台機構２６を有する。その雲台機構２６がもつネジがカメラ２０底部のネジ孔に止められ、カメラ２０がカメラ固定部１４の上にネジ固定される。カメラ２０は、固定されたときにその撮影方向１５が回転体１２の回転面または回転方向１７に対して略垂直となる。回転体１２は、その背面側における中心点１６の位置に設けられた接続部３２をさらに有する。接続部３２の下部には、支持台１８が取り付けられる。支持台１８は、折り畳み自在の三脚部３０を含む。支持台１８として汎用のカメラ三脚を用いてもよい。変形例としては、回転体１２および支持台１８を一体的に構成してもよい。
【００２３】
図４は、画像処理装置５０の機能ブロック図である。画像処理装置５０は、カメラ２０によって撮影された複数の画像を読み込む画像入力部５２と、読み込まれた複数の画像からステレオ画像を生成するために必要な処理をなすステレオ処理部５４と、被写体までの距離を測定する測定処理部６２と、複数の画像を用いて所望の画像を取得する画像生成部７０と、ユーザからの指示を取得する指示受付部８０と、を有する。
【００２４】
画像処理装置５０は、ハードウェア的には、コンピュータのＣＰＵをはじめとする素子で実現でき、ソフトウェア的には画像処理機能のあるプログラムなどによって実現されるが、以下説明する図４ではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できる。
【００２５】
画像入力部５２は、カメラ２０がデジタルカメラである場合にカメラ２０から取り出された記録媒体から複数の画像を読み出す機能を有してもよいし、所定のケーブルを介して接続されたカメラ２０本体から直接複数の画像を読み出す機能を有してもよい。画像入力部５２は、カメラ２０が銀塩フィルムカメラである場合にプリント写真を光学的に走査する外部接続機器から複数のデジタル画像を取得する機能を有してもよい。
【００２６】
ステレオ処理部５４は、画像から基準となるオブジェクトを抽出する抽出部５６と、画像の傾きを検出する傾き検出部５８と、画像を回転させる回転処理部６０と、を含む。抽出部５６は、複数の画像のそれぞれから、各画像の傾きを検出するための基準となるオブジェクトの像を抽出する。この基準は最終的に画像間の傾きの差が得られればよいので、各画像に共通するオブジェクトであれば足りる。ただし、そのオブジェクトは、画像が水平となるよう回転させる場合における、その水平の基準となるオブジェクトであってもよい。本来互いに平行であるべきオブジェクトの像として例えば、画像から直線性の高いオブジェクトを抽出してもよい。
【００２７】
抽出部５６は、複数の画像のうちいずれかを基準画像に設定する。例えば最初の画像を基準画像とし、他の画像を比較画像とする。比較画像については、基準画像との間で共通するオブジェクトを探索するパターンマッチングをとりながら、最適な平行性が得られるまで比較画像を所定角度ずつ回転しながらパターンマッチングを反復してもよい。
【００２８】
パターンマッチングは、必ずしも対応点同士をピクセル単位で比較しなくてもよく、画像を所定サイズの複数のブロックに分割し、このブロックごとに画素値の平均値をとってその平均値同士を比較してもよい。このような平均値で表されるブロックのマトリックスを複数の画像間で比較し、その配列の方向に関する相違が最小になるまで比較画像の回転とパターンマッチングを反復してもよい。
【００２９】
傾き検出部５８は、抽出されたオブジェクトの像を基準にして各画像の傾きを検出する。この傾きは、画像が撮影された瞬間の回転体１２の回転角度と一致する。傾きは、上述したように抽出部５６が比較画像の回転とパターンマッチングを繰り返す場合には平行性が得られたときの比較画像の回転角度がその画像の傾きとなる。
【００３０】
回転処理部６０は、傾き検出部５８によって検出された回転角度の分だけ各画像を逆回転させて複数の水平な画像を得る。ここでいう「逆回転」は、各画像の傾きを解消するための回転を意味し、実質的に回転体１２の回転に対して逆方向の回転となるよう作用すれば足り、回転方向を厳密に問う趣旨ではない。回転処理部６０によって得られた複数の水平な画像は、複数の視点から撮影されたステレオ画像として利用可能である。
【００３１】
なお、画像の傾きが９０度の倍数以外の場合、逆回転した後の画像は矩形領域が斜めになった状態となるので、元の画像サイズのままでは表示できない部分が生じる。したがって、画像サイズを拡大して斜め方向に張り出した部分もカバーされるよう画像領域を調節してもよい。その結果、斜めの矩形領域以外の部分、すなわち有効な画素値をもたない空白部分を黒色または白色で埋めてもよい。逆に、元の画像サイズから斜め方向に張り出した部分を捨てることによって元の画像サイズを維持してもよい。その場合もまた、有効な画素値をもつ部分の周囲を黒色または白色で埋めてもよい。
【００３２】
測定処理部６２は、視点間の距離を計算する距離計算部６４と、複数の画像の視差を検出する視差検出部６６と、被写体までの距離を算出する測距部６８と、を含む。距離計算部６４は、傾き検出部５８によって検出された複数の回転角度の差とカメラ２０の回転半径に基づいて、後述する算出方法によって複数の撮影位置間の距離、すなわち視点間の距離を算出する。
【００３３】
視差検出部６６は、複数の画像からパターンマッチング処理によって対応点を探索し、得られた対応点間の視差を検出する。対応点は検出されるエッジ点に対してのみ探索してもよい。対応点の探索方法や視差の検出方法は、既知の技術を利用してもよい。測距部６８は、視点間の距離と視差に基づいてピクセルごとに被写体までの距離を計測する。ただし、すべてのピクセルについて距離を求める必要はなく、視差検出部６６によって視差が得られているピクセルについてのみ距離を求めてもよい。計測方法は、三角測量を用いたステレオビジョンの原理を利用してもよい。測距部６８は、３枚以上の画像における視点間の距離と視差に基づいて被写体までの距離を計測してもよい。
【００３４】
画像生成部７０は、複数の画像を補間する補間部７２と、所望の画像を得るために必要な処理を画像に施す調整部７３と、を含む。補間部７２は、傾き検出部５８から複数の画像についてそれぞれの回転角度を取得し、この回転角度と既知であるカメラ２０の回転半径に基づいて、仮想空間における各視点の座標を求める。この座標に基づいて補間部７２は複数の画像を補間する。
【００３５】
ここでいう補間は、内挿補間であってもよいし、外挿補間であってもよい。これにより、所望の視点から撮影したときに写されるべき画像を取得する。補間部７２は、補間するフレーム数を多くすることによって、複数の視点間を移動して撮影したような動画またはアニメーション映像を生成してもよい。
【００３６】
調整部７３は、回転処理部６０によって水平にされた複数の画像について、垂直方向のずれを解消するためにフレーム範囲を調整する。垂直方向のずれは対応点の探索によって得られるエピポーラ線が水平になるよういずれかの画像の領域を水平方向に調整してもよい。ずれが解消された複数の画像を、右目用画像と左目用画像に設定することによって、両眼立体視が可能なステレオ画像を生成できる。調整部７３は、垂直方向のずれが所定の基準値より小さい場合はそのずれを許容することとして無視してもよい。調整部７３は、複数の画像間に存在する画質の差を除去して均質な画像を取得してもよい。
【００３７】
出力処理部７４は、測定処理部６２によって求められた被写体までの距離をピクセルごとの奥行き値（Ｚ値）として出力する距離出力部７６と、画像生成部７０によって生成された所望の視点における画像、例えばステレオ画像、補間画像、動画、アニメーション映像などを出力する画像出力部７８と、を含む。
【００３８】
指示受付部８０は、ユーザから操作の指示を受け取り、画像入力部５２、ステレオ処理部５４、画像生成部７０、測定処理部６２、および出力処理部７４の各部へ伝達することにより、画像処理装置５０による各種処理を実行する。指示受付部８０がユーザから取得する指示は以下の通りである。指示受付部８０は、連写された複数の画像をカメラ２０または記録媒体から読み出す旨の指示をユーザから取得する。例えば、読み出された複数の画像の中に比較的距離の近い視点間の画像が含まれている場合、指示受付部８０は適度に距離の離れた視点を選択すべくユーザからどの画像を採用するかの指示を取得してもよい。
【００３９】
指示受付部８０は、ステレオ画像、被写体までの距離、補間画像、動画、アニメーション映像のいずれを出力すべきかに関する指示をユーザから取得してもよい。かかる指示は測定処理部６２、画像生成部７０、出力処理部７４に送られる。
【００４０】
図５は、回転体を回転する間に２枚の画像を撮影した場合における各撮影タイミングを模式的に示す図である。回転体１２をその正面に向かって見た状態で反時計回りとなるように回転させながら連写する。図５（ａ）は、回転を開始する前の初期状態を示す。この状態においては、カメラ固定部１４が回転体１２に向かって右側中央に位置しており、カメラ２０の回転角度は０度である。
【００４１】
図５（ｂ）は、１枚目の画像を撮影するタイミングを示す。図示する通り、カメラ２０は回転体１２の回転にしたがって水平ではなく斜めの状態になっている。図５（ｂ）におけるカメラ２０の傾きは第１角度θ１に示される。図５（ｃ）は、２枚目の画像を撮影するタイミングを示す。この状態においてもカメラ２０は回転体１２の回転にしたがって水平ではなく斜めの状態になっている。図５（ｃ）におけるカメラ２０の傾きは第２角度θ２に示される。
【００４２】
図６は、回転体が回転する間に連写された２枚の画像と元の被写体を示す。本図はカメラ２０の背面側から正面側を見た方向の図であり、その方向は図５を反転した方向となる。図６（ａ）における被写体１００は、カメラ２０の前方の撮影範囲に含まれる風景であり、撮影対象となる被写体の例である。これは、図５（ａ）に示される初期状態においてカメラ２０のファインダ越しに見える風景画像でもある。この状態から回転を開始する。
【００４３】
回転体１２を背面側から撮影方向を見た状態で時計回りに回転させて連写する。図６（ｂ）は図５（ｂ）の状態で撮影された第１画像１０２である。図６（ａ）の初期状態の画像１００に対する第１画像１０２の傾きは第１角度θ１に示される回転角度と等しく、被写体が斜めに写っている。図６（ｃ）は図５（ｃ）の状態で撮影された第２画像１０４である。図６（ａ）の初期状態の画像１００に対する第２画像１０４の傾きは第２角度θ２に示される回転角度と等しく、ここでも被写体は斜めに写っている。第１画像１０２を基準画像とする場合、比較画像となる第２画像１０４は、第１画像１０２に対して相対的な回転角度δの傾きをもつ。ここで、第１画像１０２と第２画像１０４の間で共通するオブジェクトとして水平線の像をそれぞれの画像から探索する。例えば、画像に含まれる被写体の中で最も直線性の高い線を水平線とみなして探索してもよい。この水平線が第１画像１０２および第２画像１０４の間で平行となるように一方または双方の画像を相対的に回転させる。その相対的に回転させた角度を検出することにより角度δが求まる。
【００４４】
図７は、カメラ２０の回転半径、回転角度、および視点間の距離の関係を示す。回転体１２の回転運動にともなうカメラ２０の円運動の軌道は円１０９に示される。この軌道上に撮影タイミングを示す複数の視点がある。カメラ２０の回転半径はｒである。ここで、初期状態の位置を初期視点Ｐ０とし、２枚の画像を連写したときの撮影タイミングにおけるカメラ２０の位置を第１視点Ｐ１、第２視点Ｐ２とする。初期視点Ｐ０は図５（ａ）の位置と対応し、第１視点Ｐ１は図５（ｂ）の位置と対応し、第２視点Ｐ２は図５（ｃ）の位置と対応する。第１視点Ｐ１における回転角度は第１角度θ１であり、第２視点Ｐ２における回転角度は第２角度θ２である。これら第１角度θ１と第２角度θ２の角度差を第３角度δとする。図６において第１画像１０２を基準とした第２画像１０４の相対的な傾きは第３角度δに等しい。
【００４５】
原点０と第１視点Ｐ１の距離と、原点０と第２視点Ｐ２の距離は、ともに回転半径ｒとして既知である。したがって、第１視点Ｐ１と第２視点Ｐ２を結んだ視点間距離Ｌは、第３角度δが判明すれば余弦定理を用いて求めることができ、第３角度δの関数として定義できる。式（１）は余弦定理を示す式であり、これに基づき式（２）が得られる。
【式１】

【式２】

【００４６】
上記の式（２）を用いて距離計算部６４が視点間の距離Ｌを算出する。この距離Ｌは、カメラレンズの中心間距離に相当する。本実施形態において回転半径ｒが既知であるのは、撮影補助器１０を用いた連写を前提としているからである。
【００４７】
第３角度δは、例えば画像全体を基準のオブジェクトとするパターンマッチングにより求めてもよい。すなわち、第１画像１０２と第２画像１０４のいずれかを微小角度だけ相対的に回転させてパターンマッチングし、それぞれの画像全体がほぼ重なり合うまで微小回転とパターンマッチングを繰り返す。ほぼ重なり合うまでの回転角度が第３角度δとなる。また、画像に含まれる基準のオブジェクトとして複数のオブジェクト、例えば第１画像１０２の水平線Ｈ１およびビルディングＢ１と、第２画像１０４の水平線Ｈ２およびビルディングＢ２などを採用してもよい。
【００４８】
図８は、第１画像１０２とこれを逆回転して得られる第３画像１０８を示す。第１画像１０２は第１角度θ１だけ傾いており、その角度の分だけ逆回転させると第３画像１０８のように被写体は水平となる。しかし、矩形の撮影範囲は斜めになるので、第３画像１０８の画像サイズを第１画像１０２の画像サイズよりも拡大することにより、撮影範囲をすべてカバーする。その結果、第３画像１０８において斜めの矩形領域の周囲には空白領域１０６が生じる。その空白領域１０６は黒色（画素値ゼロ）で埋める。第３画像１０６の画像サイズは第１角度θ１に依存し、第１角度θ１が０度または９０度の倍数に近いほど画像サイズは小さくなる。
【００４９】
図９は、第２画像１０４とこれを逆回転して得られる第４画像１１２を示す。第２画像１０４は第２角度θ２だけ傾いており、その角度の分だけ逆回転させると第４画像１１２のように被写体は水平となる。図８の第３画像１０８と同様に、第４画像１１２の画像サイズを第２画像１０４の画像サイズよりも拡大して撮影範囲をすべてカバーする。第４画像１１２において生じる空白領域１１０は黒色で埋める。第４画像１１２の画像サイズは第２角度θ２に依存し、第２角度θ２が０度または９０度の倍数に近いほど画像サイズは小さくなる。また、必ずしも第３画像１０６の画像サイズと一致するわけではない。
【００５０】
図８の第３画像１０８と図９の第４画像１１２を比較すると、少なくとも水平方向に視差が現れる。この視差を視差検出部６６が検出する。第３画像１０８が撮影された視点と第４画像１１２が撮影された視点は、それらの高さがほとんど同じであるため、垂直方向の視差は小さい。
【００５１】
図１０は、本実施形態における連写から目的の画像を得るまでの過程を示すフローチャートである。まず、カメラ２０に連写を設定し（Ｓ１０）、回転体１２の回転を手動で開始させ（Ｓ１２）、複数の視点からの連写を実行する（Ｓ１４）。得られた複数の画像を画像入力部５２を介して画像処理装置５０へ入力し（Ｓ１６）、複数の画像から水平の基準を抽出する（Ｓ１８）。この基準に対する各画像の傾きを検出し（Ｓ２０）、得られた回転角度の分だけ各画像を逆回転させる（Ｓ２２）。これにより被写体が水平に写る複数の画像が得られ、これがステレオ画像となる。
【００５２】
ユーザが被写体までの距離の出力を指示している場合（Ｓ２４Ｙ）、複数の画像における視点間の距離を算出し（Ｓ２６）、複数の画像における視差を検出し（Ｓ２８）、これら視点間距離および視差に基づいて被写体までの距離を算出する（Ｓ３０）。ユーザが補間画像の出力を指示している場合（Ｓ３２Ｙ）、複数の画像を補間する（Ｓ３４）。ユーザの指定にしたがい、ステレオ画像、被写体までの距離、補間画像のいずれかを出力する（Ｓ３６）。
【００５３】
（第２実施形態）
本実施形態における撮影補助器１０は、回転体１２の回転角度を検出する機能を有し、撮影タイミングごとの回転角度のデータを取得する。撮影補助器１０は画像処理装置５０へ回転角度のデータを転送し、これを画像処理装置５０が各種処理に利用する。
【００５４】
図１１は、第２実施形態における撮影補助器１０を側面から見たときの外観を示す。本実施形態の支持台１８は、回転体１２の背面の中心点１６に接続された接続部３２内に角度検出部２２およびデータ取得部２４を有する。角度検出部２２は、回転体１２の回転角度を計測する角度センサであり、回転体１２の回転とともに角度検出部２２内部の軸も回転してその角度を検出する。
【００５５】
データ取得部２４は、カメラ固定部１４に取り付けられたカメラ２０を用いて、回転体１２が回転する間に複数の画像を連写するときの各撮影時の回転角度を角度検出部２２から取得する。連写の撮影タイミングまたはシャッタータイミングを示す信号は第１ケーブル２５を介してカメラ２０から取得する。取得された回転角度のデータは、第２ケーブル２７を介して画像処理装置５０へ転送される。
【００５６】
図１２は、第２実施形態における画像処理装置５０の機能ブロック図である。本実施形態の画像処理装置５０は、角度入力部８２を有する点と回転処理部６０の内部構成を除いて第１実施形態の画像処理装置５０と同様の構成を有する。
【００５７】
角度入力部８２は、撮影補助器１０のデータ取得部２４から第２ケーブル２７を介して、各撮影タイミングの回転角度に関するデータを取得する。このデータはステレオ処理部５４の回転処理部６０へ送られる。本実施形態のステレオ処理部５４は、第１実施形態と異なり、抽出部５６および傾き検出部５８の機能を有しない。回転処理部６０は、取得した回転角度に応じて画像を逆回転する。
【００５８】
図１３は、本実施形態における連写から目的の画像を得るまでの過程を示すフローチャートである。まず、カメラ２０に連写を設定し（Ｓ５０）、回転体１２の回転を開始させる（Ｓ５２）。ここでは２回の連写を設定する。回転開始後に第１画像を撮影し（Ｓ５４）、そのときの回転角度を検出する（Ｓ５６）。次いで第２画像を撮影し（Ｓ５８）、そのときの回転角度を検出する（Ｓ６０）。得られた複数の画像を画像入力部５２を介して画像処理装置５０へ入力するとともに（Ｓ６２）、それぞれに対応する回転角度のデータを撮影補助器１０から角度入力部８２を介して画像処理装置５０に入力する（Ｓ６４）。この回転角度の分だけ各画像を逆回転させる（Ｓ６６）。これにより被写体が水平に写る複数の画像が得られ、これがステレオ画像となる。
【００５９】
ユーザが被写体までの距離の出力を指示している場合（Ｓ６８Ｙ）、視点間距離を算出し（Ｓ７０）、視差を検出し（Ｓ７２）、これらに基づいて被写体までの距離を算出する（Ｓ７４）。ユーザが補間画像の出力を指示している場合（Ｓ７６Ｙ）、複数の画像を補間する（Ｓ７８）。ユーザの指定にしたがい、ステレオ画像、被写体までの距離、補間画像のいずれかを出力する（Ｓ８０）。
【００６０】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、変形例を挙げる。
【００６１】
実施の形態においては、回転体１２を手動で回転させて連写する構成であったが、変形例においては回転体１２を自動回転させる構成であってもよい。例えば、撮影補助器１０の接続部３２にモータを内蔵させてもよく、またカメラ２０の連写と連動させてもよい。連動させる場合、連写のタイミングに合わせて例えば９０度おき、または１８０度おきに一時停止させるなどの動きをプログラムしてもよい。所定角度おきに一時停止させる場合、視点間距離をあらかじめ算出できるので、画像処理装置５０による計算で求めるのではなく、その距離データをテーブルに保持させてもよい。
【００６２】
第２実施形態において、データ取得部２４はカメラ２０から第１ケーブル２５を介して各撮影タイミングの回転角度に関するデータを取得するが、変形例においては撮影タイミングを別の方法で取得してもよい。例えば、ストロボ光、ストロボ音、シャッター音などを検出することにより撮影タイミングを把握してもよい。また他の変形例におけるデータ取得部２４は、撮影のたびに外部入力装置を介してユーザから受け取る指示により各撮影タイミングの回転角度に関するデータを取得してもよい。
【００６３】
実施の形態において、回転体１２および支持台１８はカメラ２０を支持するだけの自重を有する構成としたが、変形例においては、カメラ２０の回転運動を円滑にするための重りを、回転体１２の外周近傍位置に取り付けてもよい。その重りを例えば外周近傍の９０度おきに３カ所取り付けてもよい。重りの重さはカメラ２０の重さに応じて変えてもよい。回転体１２は、９０度おき３カ所に重りを取り付けるための重り固定部を有してもよい。
【００６４】
実施の形態における撮影補助器１０は、三脚を一部に含む支持台１８と別体にて構成されるが、変形例においては、撮影補助器１０を支持台１８と一体に構成してもよい。
【００６５】
実施の形態においては、デジタルスチルカメラや銀塩フィルムカメラによって静止画を取得する構成を説明した。変形例においては、回転体１２に動画撮影装置を取り付け、その回転中に動画を撮影してもよい。画像処理装置５０は、得られた動画から所望の回転角度のフレームまたはフィールドを取得する。これを利用して、ステレオ画像や補間画像などの生成、測距を実現してもよい。
【００６６】
実施の形態においては、回転体１２の回転を開始した後に複数の画像を連写することを前提とした。変形例においては、回転角度０度の状態で１枚目の画像を撮影し、回転開始後に２枚目以降の画像を撮影することを前提としてもよい。１枚目の画像は水平の状態で撮影されるので、水平の基準となるオブジェクトを抽出しやすい。２枚目以降の画像との間でパターンマッチングをとり、共通するオブジェクトを抽出できればそれを平行であるべきオブジェクトとしてもよい。このようにして回転角度の検出をより確実な方式で実現してもよい。
【００６７】
第２実施形態における画像処理装置５０は、検出した回転角度を第２ケーブル２７経由で画像処理装置５０に転送していた。変形例においては、画像処理装置５０に第２ケーブル２７を設けず、検出した回転角度は第１ケーブル２５を介してカメラ２０に転送する。カメラ２０は、撮影した画像と対応させる形で回転角度のデータを保存する。図１２の角度入力部８２は、撮影補助器１０からではなくカメラ２０から回転角度のデータを取得する。
【００６８】
第１実施形態においては、第１画像１０２を基準とした第２画像１０４の相対的な傾きを検出することにより第３角度δを求めた。変形例においては、他の基準を利用して第３角度δを求めてもよい。例えば、図６における被写体１００を基準として第１角度θ１および第２角度θ２を求め、その差である第３角度δを求めてもよい。その場合、第１画像１０２に対しては水平線Ｈ１が水平になるまで画像を回転させることにより第１角度θ１を求め、第２画像１０４に対しては水平線Ｈ２が水平になるまで画像を回転させることにより第２角度θ２を求めてもよい。また例えば、第１画像１０２および第２画像１０４と異なる任意の回転角度で撮影された第０の画像を基準として第１角度θ１および第２角度θ２を求め、その差である第３角度δを求めてもよい。その場合、第１画像１０２と第０の画像との間におけるパターンマッチングにより第１角度θ１を求め、第２画像１０４と第０の画像におけるパターンマッチングにより第２角度θ２を求めてもよい。
【００６９】
前述の各実施形態では、画像処理装置５０において、調整部７３をステレオ処理部５４の後段に配置したが、調整部７３を画像入力部５２とステレオ処理部５４との間に配置してもよい。このような場合、画像処理装置５０では、画像入力部５２で得た複数の画像間に存在する画質の差を、調整部７３により除去して均質な画像を取得した後、これら均質な画像をステレオ処理部５４で処理してもよい。
【００７０】
【発明の効果】
本発明によれば、簡易な構成でステレオ撮影を実現できる。
【図面の簡単な説明】
【図１】第１実施形態における撮影補助器の外観を示す図である。
【図２】回転体を正面から見たときの外観を示す図である。
【図３】撮影補助器を側面から見たときの外観を示す図である。
【図４】画像処理装置の機能ブロック図である。
【図５】回転体を回転する間に２枚の画像を撮影した場合における各撮影タイミングを模式的に示す図である。
【図６】回転体が回転する間に連写された２枚の画像と元の被写体を示す図である。
【図７】カメラの回転半径、回転角度、および視点間の距離の関係を示す図である。
【図８】第１画像とこれを逆回転して得られる第３画像を示す図である。
【図９】第２画像とこれを逆回転して得られる第４画像を示す図である。
【図１０】第１実施形態における連写から目的の画像を得るまでの過程を示すフローチャートである。
【図１１】第２実施形態における撮影補助器を側面から見たときの外観を示す図である。
【図１２】第２実施形態における画像処理装置の機能ブロック図である。
【図１３】第２実施形態における連写から目的の画像を得るまでの過程を示すフローチャートである。
【符号の説明】
１０ 撮影補助器、 １２ 回転体、 １４ カメラ固定部、 １５ 撮影方向、 １６ 中心点、 １７ 回転方向、 １８ 支持台、 ２０ カメラ、 ２２ 角度検出部、 ２４ データ取得部、 ５０ 画像処理装置、 ５２ 画像入力部、 ５６ 抽出部、 ５８ 傾き検出部、 ６０ 回転処理部、 ６４距離計算部、 ６６ 視差検出部、 ６８ 測距部、 ７２ 補間部、 ８２角度入力部。

Claims (17)

1. 回転自在に支持される部材からなる回転体と、
   前記回転体にカメラを取り付けるためにその回転体の回転中心から離れた位置に設けられたカメラ固定部と、を有し、
   前記カメラ固定部は、前記カメラの撮影方向が前記回転体の回転面に対して略垂直となるよう前記カメラを把持することを特徴とする撮影補助器。
2. 前記回転体は、略輪状の部材からなるとともにその輪の中心を前記回転中心とし、
   前記カメラ固定部は、前記略輪状の部材における外周近傍位置に設けられ、前記回転体が回転するときに前記取り付けられるカメラを前記回転中心からの距離を半径として円運動させることを特徴とする請求項１に記載の撮影補助器。
3. 回転自在に支持される部材からなる回転体と、
   前記回転体の回転中心から離れた位置に設けられ、その位置から被写体を撮像する撮像部と、を有し、
   前記撮像部は、前記回転体の回転面に対して略垂直に撮影方向を保つことを特徴とする撮影補助器。
4. 前記回転体は、略輪状の部材からなるとともにその輪の中心を前記回転中心とし、
   前記撮像部は、前記略輪状の部材における外周近傍位置に設けられ、前記回転体が回転するときに前記回転中心からの距離を半径として円運動することを特徴とする請求項３に記載の撮影補助器。
5. 前記回転体の回転角度を計測する角度検出部と、
   をさらに有することを特徴とする請求項１から４のいずれかに記載の撮影補助器。
6. 所定の部材によって回転自在に支持されたカメラを用いてその部材が回転する間に回転面に対して略垂直方向を撮影方向として回転角度が異なるタイミングで連写する工程と、
   前記連写により得られた複数の画像を読み込む工程と、
   前記複数の画像のそれぞれから、互いに平行であるべきオブジェクトの像を抽出する工程と、
   前記オブジェクトの像を基準にした前記複数の画像のそれぞれの傾きから前記回転角度を検出する工程と、
   前記複数の画像を前記回転角度に基づいて相対的に回転させて互いに平行な画像を取得する工程と、
   を有することを特徴とする画像処理方法。
7. 所定の部材によって回転自在に支持されたカメラを用いてその部材が回転する間に回転面に対して略垂直方向を撮影方向として回転角度が異なるタイミングで連写する工程と、
   前記連写の撮影タイミングごとに前記回転角度を検出する工程と、
   前記連写により得られた複数の画像を読み込む工程と、
   前記複数の画像のそれぞれについて検出された前記回転角度のデータを取得する工程と、
   前記複数の画像を前記回転角度に基づいて相対的に回転させて互いに平行な画像を取得する工程と、
   を有することを特徴とする画像処理方法。
8. 前記所定の部材は、略輪状の回転体であるとともにその円形面を前記回転面とし、その外周近傍位置に支持された前記カメラは、前記回転体が回転するときにその回転中心からの距離を半径として円運動し、前記連写する工程は、前記円運動の軌道上にある複数の位置から前記複数の画像を撮影することを特徴とする請求項６または７に記載の画像処理方法。
9. 所定の部材によって回転自在に支持されたカメラを用い、前記部材の回転面に対して略垂直方向を撮影方向として回転角度が異なる位置から撮影された複数の画像を読み込む画像入力部と、
   前記複数の画像のそれぞれから、互いに平行であるべきオブジェクトの像を抽出する抽出部と、
   前記オブジェクトの像を基準にした前記複数の画像のそれぞれの傾きから前記回転角度を検出する傾き検出部と、
   前記複数の画像を前記回転角度に基づいて相対的に回転させて互いに平行な画像を取得する回転処理部と、
   を有することを特徴とする画像処理装置。
10. 所定の部材によって回転自在に支持されたカメラを用い、前記部材の回転面に対して略垂直方向を撮影方向として回転角度が異なる位置から撮影された複数の画像を読み込む画像入力部と、
    前記回転角度のデータを取得する角度入力部と、
    前記複数の画像を前記回転角度に基づいて相対的に回転させて互いに平行な画像を取得する回転処理部と、
    を有することを特徴とする画像処理装置。
11. 前記所定の部材は、略輪状の回転体であるとともにその円形面を前記回転面とし、その外周近傍位置に支持された前記カメラは、前記回転体が回転するときにその回転中心からの距離を半径として円運動し、前記画像入力部は、前記円運動の軌道上にある複数の位置から撮影された前記複数の画像を読み込むことを特徴とする請求項９または１０に記載の画像処理装置。
12. 前記回転角度の差と前記カメラの回転半径に基づいて複数の撮影位置間の距離を算出する距離計算部と、
    前記複数の画像から対応点間の視差を検出する視差検出部と、
    前記撮影位置間の距離と視差に基づいて被写体までの距離を計測する測距部と、
    をさらに有することを特徴とする請求項９から１１のいずれかに記載の画像処理装置。
13. 前記回転角度および前記カメラの回転半径に基づいて前記複数の画像を補間することによって所望の視点から撮影されたときに得られるべき画像を取得する補間部をさらに有することを特徴とする請求項９から１２のいずれかに記載の画像処理装置。
14. 所定の部材によって回転自在に支持されたカメラを用い、前記部材の回転面に対して略垂直方向を撮影方向として回転角度が異なる位置から撮影された複数の画像を読み込む機能と、
    前記複数の画像のそれぞれから、互いに平行であるべきオブジェクトの像を抽出する機能と、
    前記オブジェクトの像を基準にした前記複数の画像のそれぞれの傾きから前記回転角度を検出する機能と、
    前記複数の画像を前記回転角度に基づいて相対的に回転させて互いに平行な画像を取得する機能と、
    をコンピュータに発揮させることを特徴とするコンピュータプログラム。
15. 所定の部材によって回転自在に支持されたカメラを用い、前記部材の回転面に対して略垂直方向を撮影方向として回転角度が異なる位置から撮影された複数の画像を読み込む機能と、
    前記回転角度のデータを取得する機能と、
    前記複数の画像を前記回転角度に基づいて相対的に回転させて互いに平行な画像を取得する機能と、
    をコンピュータに発揮させることを特徴とするコンピュータプログラム。
16. 所定の部材によって回転自在に支持されたカメラを用い、前記部材の回転面に対して略垂直方向を撮影方向として回転角度が異なる位置から撮影された複数の画像を読み込む機能と、
    前記複数の画像のそれぞれから水平の基準となるオブジェクトの像を抽出する機能と、
    前記オブジェクトの像を基準にした前記複数の画像のそれぞれの傾きから前記回転角度を検出する機能と、
    前記複数の画像を前記回転角度に基づいて相対的に回転させて互いに平行な画像を取得する機能と、
    をコンピュータに発揮させることを特徴とするプログラムを格納したコンピュータ読取可能な記録媒体。
17. 所定の部材によって回転自在に支持されたカメラを用い、前記部材の回転面に対して略垂直方向を撮影方向として回転角度が異なる位置から撮影された複数の画像を読み込む機能と、
    前記回転角度のデータを取得する機能と、
    前記複数の画像を前記回転角度に基づいて相対的に回転させて互いに平行な画像を取得する機能と、
    をコンピュータに発揮させることを特徴とするプログラムを格納したコンピュータ読取可能な記録媒体。

Images