(第1の実施の形態)
以下、図面を参照しながら、第1の実施の形態による立体画像生成方法について説明する。ここで、画像とは、被写体を撮影して生成され、表示装置で表示が可能な静止画像または動画像である。立体画像とは、右眼用と左眼用の画像に基づき、立体視が可能に生成された画像をいう。
図1は、アダプタ1の透視斜視図である。図1に示すように、アダプタ1は、後述する撮影装置に取り付け、アダプタ1を介して撮影することにより、右眼用と左眼用の画像を取得するための撮影補助装置である。
アダプタ1は、筐体3を有している。筐体3は、上面3a、下面3b、側面3c、3d、および裏蓋13を有している。上面3a、下面3b、側面3c、3dは、それぞれ板状部材とすることができる。筐体3においては、上面3aと下面3bとは互いに平行であり、側面3cと側面3dとは互いに平行である。
以下、アダプタ1において、上面3a側を上、下面3b側を下というとともに、その上下関係でアダプタ1を裏蓋13側から見て、左右を規定するものとする。また、上下方向は縦方向、垂直方向ともいい、縦方向に垂直な方向を横方向または水平方向という。
さらに、筐体3は、被写体からの光を、筐体3内部へ入射させるための光入射部21、23、および、被写体からの光を撮影装置側へ出力するための光出射部15を有している。
光入射部21は、上面3a、下面3b、側面3c、および平面ミラー7に囲まれた部分である。光入射部23は、上面3a、下面3b、側面3d、および平面ミラー9に囲まれた部分である。光出射部15は、図1の例では円形であり、裏蓋13の中央部に配置され、例えば中心16は、上面3a側から距離αに配置される。光出射部15、光入射部21、光入射部23は、開口部としてもよいし、光の入射を妨げない透明部材により覆われていてもよい。光出射部15の横方向の径は、例えば、後述するレンズ55と裏蓋13の距離をx、レンズ55の横方向の画角を角度(2u)とすれば、2xtan(u)とすることができる。光出射部15の縦方向の径は、レンズ55の縦方向の画角を角度(2v)とすれば、2xtan(v)とすることができる。
筐体3内部には、平面ミラー5、11、平面ミラー7、9が備えられている。図1の例では、平面ミラー5、11、平面ミラー7、9は、それぞれ長方形の板状形状であり、例えば上面3aおよび下面3bに対して垂直に配置されている。平面ミラー5、平面ミラー7と、平面ミラー11、平面ミラー9とは、例えば、光出射部15の中心16を通り、裏蓋13、上面3a、および下面3bに垂直な面に対し、対称な位置に配置される。
平面ミラー5は、被写体からの光を平面ミラー7へ反射するミラーであり、反射面が平面よりなる平面ミラーである。平面ミラー5は、図1の例では、長方形の一短辺が、光出射部15の中心16から距離zの位置で裏蓋13に接するように配置される。平面ミラー7は、平面ミラー5で反射された光を光出射部15へ反射するためのミラーであり、反射面が平面よりなる平面ミラーである。平面ミラー7は、例えば、上面3a上の裏蓋13に垂直な直線14において、裏蓋13から距離yの位置に長方形の一端側が配置され、直線14に対して、角度θをなすように配置される。平面ミラー5および平面ミラー7を介して、例えば、右眼用の画像となる光が光出射部15から出射される。
平面ミラー11は、被写体からの光を平面ミラー9へ反射するミラーであり、反射面が平面よりなる平面ミラーである。平面ミラー11は、図1の例では、長方形の一短辺が、光出射部15の中心16から距離zの位置で裏蓋13に接している。平面ミラー9は、平面ミラー11で反射された光を光出射部15へ反射するためのミラーであり、反射面が平面よりなる平面ミラーである。平面ミラー9は、例えば、上面3a上の裏蓋13に垂直な直線14において、裏蓋13から距離yの位置に長方形の一端側が配置され、直線14に対して、角度θをなすように配置される。ミラー11および平面ミラー9を介して、例えば、左眼用の画像となる光が光出射部15から出射される。
裏蓋13には、マーク挿入部17、19が示されている。マーク挿入部17およびマーク挿入部19からの反射光の少なくとも一部は、平面ミラー7または平面ミラー9により反射され、光出射部15から出射される。よって、このマーク挿入部17またはマーク挿入部19の少なくとも一方に、立体画像であることを示すマーク30を配置する。これにより、マーク30に応じた光は、図1の例では平面ミラー9により反射され、光出射部15から出射される。
図2は、裏蓋13におけるマーク30の配置の一例を示す図である。図2に示すように、裏蓋13には、光出射部15が形成されている。光出射部15に対して、図の左右に、マーク挿入部17、マーク挿入部19が示されている。マーク挿入部17、マーク挿入部19は、本実施の形態においては、光出射部15の中心16を通り、図2の上下方向に延びる直線に対して対称であるので、ここでは、マーク挿入部19についてのみ説明する。マーク挿入部19は、境界35を上底、境界37を下底、境界31、境界33を斜辺とする台形をなしている。境界31〜37の規定の方法については、後述する。なお、マーク30は、識別が可能であればどのような形状、色でもよい。
図3は、アダプタ1および撮影装置50のハードウエア構成を示す図である。図3では、アダプタ1を撮影装置50に装着した状態を模式的に示している。ここでは、アダプタ1は、横方向断面で表されている。図3に示すように、撮影装置50は、例えば、デジタルカメラや、カメラ機能付き携帯通信端末装置などである。撮影装置50は、レンズ55、撮像素子57、処理部59、レリーズボタン61、記憶部63、表示装置69を有している。
レンズ55は、アダプタ1を介して被写体からの光を撮像素子57上に導くための光学部品であり、少なくともひとつのレンズを有する。レンズ55は、例えば焦点距離を可変とするように構成された、複数のレンズを有するレンズの組としてもよい。撮像素子57は、入射光に応じた電気信号を出力する素子である。処理部59は、撮影装置50において、撮像素子57からの信号に基づき画像を生成する処理、表示装置69に画像を表示させるためのデータを生成する処理、記憶部63とのデータの授受などに関する処理等を行う演算処理装置である。
レリーズボタン61は、撮影の開始または停止等を行うときに押下するボタンである。記憶部63は、Read Only Memory(ROM)65、Random Access Memory(RAM)67を有している。ROM65は、読み出し可能な記憶装置であり、例えば、撮影装置50を制御するプログラムデータなどを記憶させておく。RAM67は、随時読み出し書き込み可能な記憶装置であり、例えば、処理部59で生成された画像のデータなどが記憶される。表示装置69は、処理部59で生成された画像のデータに基づき画像を表示する装置であり、例えば液晶表示装置である。
図3の例では、撮影装置50にアダプタ1が装着されたときに、撮影装置50のレンズ55の中心からアダプタ1の光出射部15の中心16までの距離が、距離xとなるように設計されている。
図4は、撮影装置50の機能を示すブロック図である。図4に示すように、撮影装置50は、画像取得部82、マーク検出部84、立体画像化部86、立体画像保存部88、表示部90の機能を有している。
画像取得部82は、外部からの光を検出し、検出した光に応じた画像のデータを取得する。マーク検出部84は、画像取得部82が取得した画像において、立体画像であることを示すマークがあるか否か検出し、立体画像化部86へ出力する。立体画像化部86は、マーク検出部84でマークがあると検出されると、画像取得部82が取得した画像に基づき立体画像を生成する。立体画像保存部88は、立体画像化部86で生成された立体画像を例えばRAM67に保存する。表示部90は、立体画像化部86で生成された立体画像を例えば表示装置69に表示させる。
図5は、アダプタ1を装着された撮影装置50で撮影された画像100の一例を示す図である。図5に示すように、画像100では、右眼用画像102および左眼用画像104が一枚の画像100に映し込まれている。右眼用画像102と左眼用画像104との間は、画像中央部108となっている。画像中央部108は、平面ミラー7、または平面ミラー9の反射光が入射しているが、右眼用画像102、左眼用画像104のいずれでもない右眼用画像102と左眼用画像104との間の領域である。この画像中央部108に、立体画像であることを示すマーク106が映り込むように、アダプタ1にマーク30を設ける。
なお、画像100の例では、右眼用画像102及び左眼用画像104のいずれでもない被写体領域以外の領域であって、画像中央部108以外の領域に、外部光映り込み110が生じることがある。外部光映り込み110が画像中央部108以外に生じやすい理由は後述する。
以下、図6、図7を参照しながら、マーク30を配置する位置について詳細に説明する。図6は、アダプタ1におけるマーク30の配置のための横方向の有効範囲を説明する図である。図7は、アダプタ1におけるマーク30の配置のための縦方向の有効範囲を説明する図である。
図6は、画像100と、アダプタ1の横方向断面95とを示している。横方向断面95は、光出射部15の中心16を通り、上面3a、下面3bに平行な面である。図6においては、画像100における境界の位置と、アダプタ1における横方向との位置が対応付けられている。図6に示すように、レンズ55の中心とアダプタ1の光出射部15の中心16との距離x、中心16と平面ミラー7端部との距離y、平面ミラー7と平面ミラー9のなす角(2θ)とする。
以下、画像100において、図6における画像100の左下の点を原点とし、一例として、縦方向の長さを長さh、横方向の長さを幅wとする。このとき、画像100においては、横方向のw/2からw/2(1±tan(β)/tan(u))が有効範囲となる。ここで、角度βは、点140からレンズ55への光路126における、レンズ55への入射光と光軸132のなす角度である。対応する裏蓋13における横方向の有効範囲は、左右対称な範囲となるので、ここでは図6の右側のみについて説明する。
まず、裏蓋13中央側の境界について説明する。図6において、画像100の左右方向の中央の境界116として検出される光は、一例として一点鎖線の光路124で表される。すなわち、画像100側から辿ると、光路124は、レンズ55の中心16を通って、アダプタ1における平面ミラー7と平面ミラー9との交点付近で平面ミラー7の垂線136に対して、レンズ55への光と対称な角度γ=π/2−θをなし、点138に至る。レンズ55の光軸132は光出射部15の中心16を通るとする。このとき、中心16と、点138との距離lは、距離l=ytan(2γ)で表される。
次に、画像中央部108と右眼用画像102との境界118について説明する。境界118は、アダプタ1のミラー5と裏蓋13との接触部に対応している。ミラー5と裏蓋13との接触部の一点として、図6では点140が示されている。光路126は、点140から、平面ミラー7で反射され境界118として検出される光の一例を示している。光路126を辿ると、点140で反射された光は、平面ミラー7で反射されて、レンズ55の光軸132と角度βをなす方向でレンズ55に入射し、レンズ55により屈折されて境界118として検出される。角度βについては後述する。
このように、図6におけるアダプタ1の横方向断面においては、点138と点140との間が、有効範囲となる。すなわち、横方向において、光出射部15の中心16から、距離l=ytan(π−2θ)から距離zの範囲が、マーク30を配置するための有効範囲となる。
なお、画像100の境界122は、平面ミラー7の点142と対応している。2点鎖線で表された光路128は、点142から境界122への光の一例を示している。ここで、レンズ55の光軸132と光路128とのなす角は、レンズ55の横方向の画角(2u)の半分の角度uとしている。なお、角度uは、レンズ55により決まる角度である。
次に、図7を参照しながら、縦方向の有効範囲について説明する。断面133は、光軸132を含み、裏蓋13に垂直な、アダプタ1の縦方向断面である。図6に示したように、画像100において、境界116における縦方向の有効範囲は、0からhとなる。これに対応する、レンズ55の垂直方向(縦方向)の画角を角(2v)とすると、有効範囲の上端は、図7における点158となる。
図7に示すように、レンズ55とアダプタ1の光出射部15の中心16との距離は、距離x、中心16と平面ミラー7との距離は、距離yである。また、平面ミラー7と平面ミラー9とのなす角は、角(2θ)、レンズ55の縦方向の画角は、角(2v)である。これにより、境界116と対応する縦方向の有効範囲は、次の範囲となる。すなわち、有効範囲は、光出射部15の中心16から上側に距離(x+2y)tan(v)の位置から下側に距離(x+2y)tan(v)の範囲である。
同様に、図6における画像100の境界118に対応する縦方向の有効範囲は、0からhである。これに対応するアダプタ1の裏蓋13における有効範囲は、図6の交点152と点154との距離tを考慮することにより、境界116の場合と同様に算出される。すなわち、有効範囲は、図7において、距離yを距離(y+t)と置き換えることにより計算され、光出射部15の中心16から上側に距離(x+2y+2t)tan(v)の位置から下側に距離(x+2y+2t)tan(v)の位置の範囲である。
このとき、角度βに関して、下記の式1が成り立つ。
z=xtanβ+(y+t)(tanβ+tan(π-2θ+β))・・・・(式1)
ここで、距離tは、下記の式2で表される。
t=(x+y)tanβ/(tanθ−tanβ)・・・・(式2)
以上のように算出された有効範囲をまとめると、図8、図9のようになる。図8は、画像100における有効領域を示す図、図9は、裏蓋13における有効領域を示す図である。
図8に示すように、画像100においては、マークを検出するための有効領域は、境界116を挟んで左右に位置する画像中央部108(108a、108b)となる。ここで、画像100において右半分に注目すると、境界112、境界114、境界116、および境界118に囲まれた領域となる。このとき、縦方向の有効範囲は、0からh、横方向の有効範囲はw/2からw/2(1±tan(β)/tan(u))となる。
図9に示すように、裏蓋13におけるマークを挿入するための有効領域は、マーク挿入部17、マーク挿入部19で表される。マーク挿入部17は、画像中央部108aに対応し、マーク挿入部19は、画像中央部108bに対応する。マーク挿入部19について説明すると、境界35は、境界116に対応し、境界31は、境界112に対応し、境界37は、境界118に対応し、境界114は、境界33に対応する。
このとき、マーク挿入部19の横方向の範囲は、光出射部15の中心16から距離(ytan(π―2θ))から距離zである。また、マーク挿入部19の縦方向の境界35の範囲は、中心16を通り横方向に平行な直線に対して、−(x+2y)tan(v)から(x+2y)tan(v)の範囲である。同様に、境界37の範囲は、−(x+2y+2t)tan(v)から(x+2y+2t)tan(v)の範囲である。すなわち、画像100において、有効領域は、横幅(wtan(β)/(2tan(u)))、縦幅(h)の長方形の画像中央部108bで表現される。これに対し、裏蓋13において有効領域は、短辺(2(x+2y)tan(v))、長辺(2(x+2y+2t)tan(v))、高さ(z−ytan(2γ))の台形で近似されるマーク挿入部17またはマーク挿入部19に対応すると規定できる。このとき、横方向に有効範囲が存在する条件は、下記の式3で表される。
z−ytan(π―2θ)>0・・・(式3)
また、画像100において、画像中央部108の横方向の幅を最大限に利用するための条件は、下記の式4で表される。
xtan(u)<ytan(π―2θ)・・・(式4)
以上のように構成されるアダプタ1および撮影装置50により、立体画像を生成する方法を、図10を参照しながらさらに説明する。図10は、第1の実施の形態による立体画像生成方法を示すフローチャートである。以下の処理は、処理部59が各部との情報の授受を行いながら実行する処理であるが、ここでは、図4に示した各部が実行するものとして説明する。
図10に示すように、撮影装置50において、画像取得部82は、例えば、レンズ55、撮像素子57を介して画像を取得する(S201)。マーク検出部84は、取得された画像において、例えばアダプタ1のマーク挿入部19に記載されたマーク30を、画像100の画像中央部108などの所定位置からマーク106として検出することにより、アダプタ1の装着を検知する(S202)。立体画像化部86は、マーク検出部84により例えばマーク106が検知されると、画像100から、決定された切り出し位置および切り出し領域のサイズに応じて右眼用および左眼用の画像を切り出し、立体画像を生成する(S203)。立体画像保存部88は、立体画像化部86で生成された立体画像を、例えばRAM67に保存する(S204)。表示部90は、例えば、表示装置69により、生成した立体画像を表示する(S205)。
以上説明したように、第1の実施の形態によるアダプタ1において、アダプタ1を装着した撮影装置50により撮影される画像100の画像中央部108の領域に対応するアダプタ1の裏蓋13の領域に、画像中央部108に映るようにマーク30を記載する。撮影装置50において、取得された画像100の、例えば画像中央部108など所定領域にマーク106が検出されると、撮影装置50は、アダプタ1が装着されていることを検知し、画像100に基づき立体画像を生成する。このとき、マーク30が記載される位置は、アダプタ1の裏蓋13の中央部であり、アダプタ1の平面ミラー7、9、平面ミラー5、11の配置と撮影装置50のレンズ55との位置関係に基づき、マーク挿入部17、マーク挿入部19として規定される。
以上のように、アダプタ1および撮影装置50によれば、アダプタ1の所定位置にマークを記載し、取得した画像においてマークを検出するという簡易な構成で、自動的にアダプタ1の装着を検知して立体画像を生成することが可能となる。アダプタ1の所定位置とは、マーク30とマーク106との位置関係および画像100の画像中央部108全てが有効となる各ミラーとの位置関係を明確化することにより設定される画像100の画像中央部108に対応する位置である。
このとき、画像100においては、右眼用画像102および左眼用画像104の被写体領域の上下の領域には、例えば図5に示したように外部の光が映り込むため、画像100の画像中央部108を有効領域として用いる。このため、アダプタ1のマーク30は、裏蓋13という、光入射部21、光入射部23から離れた場所に配置される。よって、アダプタ1では、マーク30を、外部光の映り込みが少ない領域に配置することができる。
ここで、外部の光の映り込みが被写体領域の上下に発生しやすいのは、以下の理由による。例えば、図5の右眼用画像102または左眼用画像104の上下の端部の領域に届く光路において、外部の光はアダプタ1の下部や上部を通ることになる。このとき、アダプタ1の下部や上部は光入射部21および光入射部23に近い側にも位置するので、太陽光等の外部の光が多く入りやすい。その結果、外部の光の映り込みが右眼用画像102または左眼用画像104の上下に発生しやすくなる。
これに対して、画像100の画像中央部108に届く光路では、図6に示したように、アダプタ1の光出射部15を外部の光が通ることになる。しかし、裏蓋13に設けられた光出射部15は、光入射部21、光入射部23に対して遠い側に位置するため、太陽光等の外部の光が入りにくい。その結果、画像中央部108には、外部の光の映り込みが発生しにくくなる。実際に撮影される画像100では、図5に示すように、外部の光の映り込みが被写体領域の上下の領域で発生しているのに対して、画像中央部108には発生していない場合が多い。
よって、マーク30が画像100中に映らなかったり、所望の形状として映らなかったりすることを防止できる。これにより、撮影装置50では、取得された画像100から確実にマーク106を検出することが可能である。
本実施の形態においては、画像100の画像中央部108全てが有効となるアダプタ1のミラーの位置関係が式4のように明確化できる。また、上記のように、マーク30を記載する位置をマーク挿入部17、マーク挿入部19として規定して有効に活用することが可能になる。マーク30の形態は、形や色を様々に変形させることが可能である。例えば、可視光に対して反射率を最適化することにより、さらに確実に検出することも可能となる。
(変形例)
以下、第1の実施の形態による変形例について説明する。本変形例は、第1の実施の形態におけるマーク30の変形例である。本変形例において、第1の実施の形態と同様の構成については、同一記号を付し、詳細説明を省略する。本変形例のアダプタ1、撮影装置50の構成は、第1の実施の形態と同様である。取得される画像についても、画像100を用いて説明する。本変形例においては、マーク30として、画像100において長方形に表示されるバーコードを用いる。
図11、図12、図13は、画像100上の位置と、アダプタ1のマーク挿入部17またはマーク挿入部19上の位置との関係を説明する図である。図11に示すように、画像100の画像中央部108における一点を点Pとし、裏蓋13上の点Pに対応する点を点Qとする。点Pは、画像100における図11の左下の点を原点とする座標系において、座標(wp、hp)で表されるとする。点Qは、裏蓋13の中心16を原点として、座標(m、n)で表されるとする。
図12においては、アダプタ1の光出射部15の中心16を通る横方向断面図95に、点Qおよび点Qからレンズ55への光線を投影して示している。図12に示すように、点171は、点Qを横方向断面図95に投影した点である。点173は、点Qからレンズ55への光線が平面ミラー7で反射される点を横方向断面図95に投影した点である。光路175は、点Qからレンズ55への光線を投影した光路である。
図12において、中心16と、点171との距離は、距離mである。光軸132と、点173からレンズ55への光路とのなす角を角u1、点173からレンズ55への光路と裏蓋13との交点を点179とする。平面ミラー7の点173における垂線177と、光路175とのなす角を角u2、点173を通り、光軸132と平行な直線181と、裏蓋13との交点を点183とする。このとき、中心16と点179との距離を距離m1、点179と点183との距離を距離m2、点183と点171との距離を距離m3とする。また、交点152と、点173から光軸132への垂線の足の点との距離を距離t1とする。
図12において、m=m1+m2+m3である。また、m1〜m3は、下記の式5で表される。
m1=xtan(u1)
m2=(y+t1)tan(u1)
m3=(y+t1)tan(π−2θ+u1)
・・・・(式5)
よって、mは、下記の式6で表される。
m=xtan(u1)+(y+t1)tan(u1)+(y+t1)tan(π−2θ+u1)・・・(式6)
同様に、縦方向の座標nを考える。図13は、画像上の位置と、アダプタのマーク挿入部上の位置との縦方向における関係を説明する図である。図13は、点Qから点Pへ向かう光が平面ミラー7と反射する点を通り、側面3c、3dに平行な縦方向断面197を示している。例えば、図13において、点189は、点Qを断面197に投影した点である。光路187は、点Qからレンズ55への光路を縦方向断面197に投影したものである。角v1は、レンズ55へ入射する光路187と、光軸132とのなす角である。座標nは、中心16と点189との距離であり、下記の式7で表される。
n=(x+2y+2t1)tan(v1)・・・(式7)
ここで、t1、u1、v1は、下記式8を満たす。
t1=(x+y)tan(u1)/(tanθ−tan(u1))
tan(u1)=(2wp/w−1)tan(u)
tan(v1)=(2hp/h−1)tan(v)
・・・(式8)
図14は、画像100において、マーク106が、境界116および境界118に接する長方形である場合の、裏蓋130におけるマーク30の記載の方法を説明する図である。図14に示すように、マーク106の図14における左下の頂点を点P1、左上の頂点を点P2、右下の頂点を点P3、右上の頂点を点P4とする。このとき、点P1の座標を、座標(w,hp)とすると、点P2の座標は、座標(w,hp+Δ)である。また、点P3の座標は、(w/2(1+tan(β)/tan(u)),hp)、点P4の座標は、(w/2(1+tan(β)/tan(u)),hp+Δ)である。ここで、Δは、マーク106の縦方向の幅である。
このとき、式6、式7の関係を用いると、裏蓋13におけるマーク30の4つの頂点、点Q1、Q2、Q3、Q4の座標は、次のように表される。
点Q1:座標(ytan(2γ),(x+2y)tan(v1))
点Q2:座標(ytan(2γ),(x+2y)tan(v2))
点Q3:座標(z,(x+2y+2t)tan(v1))
点Q4:座標(z,(x+2y+2t)tan(v2))
ここで、tは、式2で表される。また、v1は、式8に示した。v2は、下記式9を満たす。
tan(v2)=(2(hp+Δ)/h−1)tan(v)・・・(式9)
点Q1〜Q4の座標から、マーク106が境界116から境界118の横幅を持つ長方形の場合には、マーク30の中央側の幅と外側の幅は、下記のように表される。
中央側の幅:(x+2y)(tan(v2)−tan(v1))
外側の幅 :(x+2y+2t)(tan(v2)−tan(v1))
このとき、中央側の辺の長さと外側の辺の長さを比較すると、外側の方が(x+2y+2t)/(x+2y)倍太くなる。また、中央側の辺と外側の辺とは平行である。つまり、台形のマーク30を裏蓋13に記載することで、画像100中に長方形のマーク106が映る。
以上説明したように、本変形例によるアダプタ1においては、裏蓋13のマーク挿入部17、またはマーク挿入部19のいずれか少なくとも一方の任意の位置に、画像100において長方形となるようにマーク30を記載する。このとき、マーク30は、例えば、裏蓋13において外側の方が中央側よりも(x+2y+2t)/(x+2y)倍太い台形とすることができる。なお、この倍率は、マーク30の横幅によって異なる。このとき、マーク106として、バーコードを用いることもできる。
これにより、撮影装置50のマーク検出部84は、裏蓋13に記載したマーク30を、画像100のマーク106から検出することにより、アダプタ1が装着されていることを検知する。立体画像化部86は、検出結果を取得し、アダプタ1が装着されている場合には、立体画像を生成する。立体画像保存部88は、生成された立体画像を例えばRAM67に保存する。表示部90は、表示装置69に立体画像を出力し、表示させる。
以上のように、本変形例によれば、第1の実施の形態による効果に加え、マーク30を外側が中央側に比べて、一定の倍率で太い台形とすることにより、画像100において、長方形のマーク106とすることが可能となる。このように上記に規定されたマーク30とマーク106との位置関係を用いることで、映像中の所定の位置にバーコードが映るようにアダプタ1の裏蓋13に正確にバーコードを打ち込むことが可能となる。よって、マーク30として記載されたバーコードを、汎用のバーコードとして検出することが可能となる。
(第2の実施の形態)
以下、図15から図18を参照しながら、第2の実施の形態による画像生成システムについて説明する。本実施の形態においては、画像を立体画像に変換する処理は、撮影装置ではなく、別の情報処理装置で実行する。図15は、第2の実施の形態による画像生成システム250の機能構成を示す図である。図16は、第2の実施の形態による撮影装置260のハードウエア構成を示す図である。
図15に示すように、画像生成システム250は、アダプタ1、撮影装置260、サーバ280を有している。第2の実施の形態において、第1の実施の形態と同様の構成については同一記号を付し、詳細説明を省略する。アダプタ1は、第1の実施の形態によるアダプタ1と同様の構成である。撮影装置260は、例えば、デジタルカメラや、カメラ機能付き携帯通信端末装置などである。
図16に示すように、撮影装置260のハードウエア構成は、撮影装置50のハードウエア構成に加えて、送受信装置252、媒体駆動装置254を備えている。送受信装置252は、撮影装置260で生成されたデータを有線または無線を介して外部との間で授受する装置である。媒体駆動装置254は、例えば小型メモリカードなど、可搬記録媒体を装着することにより、可搬記録媒体に、例えば、画像取得部82で取得した画像のデータや、送受信装置252で受信した画像のデータを記憶したり、記憶された画像のデータを読み出したりする。
図15に戻って、撮影装置260は、画像取得部82、画像送信部262、立体画像受信部264、立体画像保存部266、表示部268の機能を有している。画像送信部262は、画像取得部82で取得された画像のデータを、例えば有線または無線の通信により、サーバ280へ送信する。立体画像受信部264は、有線または無線の通信により、サーバ280から立体画像を受信する。立体画像保存部266は、立体画像受信部264が受信した立体画像のデータを例えばRAM67に保存する。
サーバ280は、例えば、標準的なコンピュータなどの情報処理装置である。サーバ280は、画像受信部282、マーク検出部284、立体画像化部286、立体画像送信部288の機能を有している。画像受信部282は、撮影装置260からの画像のデータを受信する。マーク検出部284は、受信した画像のデータにおいて、マーク106があるか否かを検出する。立体画像化部286は、マーク106が検出された場合に、取得した画像のデータに基づき立体画像を生成する。立体画像送信部288は、立体画像化部286により生成された立体画像のデータを撮影装置260に送信する。
図17は、第2の実施の形態による画像生成システム250の動作を示すフローチャートである。まず、撮影装置260の画像取得部82は、例えば、レンズ55、撮像素子57を介して画像を取得する(S301)。画像送信部262は、サーバ280に、取得した画像のデータを送信する(S302)。サーバ280の画像受信部282は、撮影装置260からの画像のデータを受信する(S303)。マーク検出部284は、例えば画像100の画像中央部108の所定の位置に映る、例えば長方形のマーク106としてのバーコード等を検出することにより、受信した画像100の撮影時に、撮影装置260にアダプタ1が装着されていたことを検知する(S304)。立体画像化部286は、バーコード等が検出された場合には、取得した画像に基づき、立体画像を生成する(S305)。立体画像送信部288は、生成された立体画像のデータを撮影装置260に送信する(S306)。
撮影装置260は、立体画像受信部264でサーバ280から送信された立体画像を受信する(S307)。立体画像保存部266は、受信した立体画像のデータを例えばRAM67に保存する(S308)。表示部268は、表示装置69に立体画像を表示させる(S309)。
以上詳細に説明したように、第2の実施の形態による画像生成システム250においては、撮影装置260は、アダプタ1を介して画像取得部82が画像を取得する。撮影装置260は、取得した画像のデータをサーバ280に送信する。サーバ280では、受信した画像でマーク106が検出された場合には、立体画像を生成し、撮影装置260に送信する。撮影装置260では、受信した画像を表示させるとともに、記憶部63に保存する。
以上のように、撮影装置260において、マーク検出部84、立体画像化部86を備える必要がない。これにより、撮影装置260の構成を簡易化することができる。また、第2の実施の形態による画像生成システム250によれば、ユーザは自身の携帯電話やデジタルカメラの演算処理装置に負担をかけることなく、撮影した画像を立体画像化することが可能である。また、サーバ280により、立体画像生成を行うので、迅速に処理を行うことも可能となる。
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。
上記第1および第2の実施の形態および変形例において、角度uは、レンズ55により決まるものであるが、レンズ55の焦点距離が変更可能に構成されている場合には、画角も変化する。よって、図6における光路128は、必ずしも平面ミラー7の端点を通らない。このような場合、レンズ55の最大の画角に対して、図6の光路128の関係が満たされるように、角度θ、または筐体3の構成の少なくとも一方のサイズを調整することが好ましい。
光出射部15は、円形を例にして説明したが、画角2uが画角2vと等しくない場合などには、楕円形などとすることもできる。筐体3においては、上面3aと下面3bとは互いに平行であり、側面3cと側面3dとは互いに平行である場合を例にして説明したが、これに限定されない。筐体3の形状は、第1および第2の実施の形態および変形例では、略直方体形状である場合を例にして説明したが、これに限定されない。マーク30が、光入射部21、光入射部23から離れた位置であって、撮影装置50または、撮影装置260により、右眼用画像と左眼用画像の間に撮影されるような構成であれば、適用が可能である。
撮影装置260とサーバ280とは、有線または無線の通信により接続されているが、画像のデータを取り外し可能な媒体に記録し、サーバ280は媒体から画像のデータを取得するようにしてもよい。
ここで、上記第2の実施の形態による立体画像生成方法の動作を行わせるために適用されるサーバ280の構成例について説明する。サーバ280は、標準的なコンピュータとすることができる。図18は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図18に示すように、コンピュータ500は、Central Processing Unit(CPU)502、メモリ504、入力装置506、出力装置508、外部記憶装置512、媒体駆動装置514、ネットワーク接続装置等がバス510を介して接続されている。
CPU502は、コンピュータ500全体の動作を制御する演算処理装置である。メモリ504は、コンピュータ500の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ504は、例えばRAM、ROM等である。入力装置506は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をCPU502に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置508は、コンピュータ500による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、CPU502により送付される表示データに応じてテキストや画像を表示する。
外部記憶装置512は、例えば、ハードディスクなどの記憶装置であり、CPU502により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置514は、可搬記録媒体516に書き込みおよび読み出しを行うための装置である。CPU502は、可搬記録媒体516に記録されている所定の制御プログラムを、記録媒体駆動装置514を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体516は、例えばCompact Disc(CD)−ROM、Digital Versatile Disc(DVD)、Universal Serial Bus(USB)メモリ等である。ネットワーク接続装置518は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス510は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
上記第2の実施の形態による立体画像生成方法をコンピュータに実行させるプログラムは、例えば外部記憶装置512に記憶させる。CPU502は、外部記憶装置512からプログラムを読み出し、コンピュータ500に立体画像生成の動作を行なわせる。このとき、まず、立体画像生成の処理をCPU502に行わせるための制御プログラムを作成して外部記憶装置512に記憶させておく。そして、入力装置506から所定の指示をCPU502に与えて、この制御プログラムを外部記憶装置512から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体516に記憶するようにしてもよい。
(第3の実施の形態)
以下、図19から図32を参照しながら、第3の実施の形態による立体画像生成方法について説明する。本実施の形態は、アダプタと撮影装置における取り付け公差を考慮した実施形態である。ここで、取り付け公差とは、撮影装置内の、レンズや撮像素子などの撮像用部品を撮影装置内へ設置する際に生ずる可能性のある公差、アダプタを撮影装置に取り付けることにより生ずる可能性のある公差をいう。以下取り付け公差を、単に公差ともいう。
第3の実施の形態においては、公差が生じたとしても、アダプタに設けられたマークが映るようにするとともに、取得した画像において公差を補正する。本実施の形態では、画像を補正するために、アダプタに、撮影時の上下方向または横方向に平行な辺を持たない三角形のマーカが記載される。
本実施の形態において、第1または第2の実施の形態、または変形例と同様の構成には同一番号を付し、詳細説明を省略する。図19は、第3の実施の形態によるアダプタ600および撮影装置650の構成を示す図である。図20は、撮影装置650の画像補正部690の機能を示す図である。
以下のアダプタ600に関する説明においては、例えば、第1の実施の形態におけるアダプタ1の代りにアダプタ600を撮影装置50に公差がない状態で接続させた場合に、撮影装置50のレンズ55の中心の位置を原点として、次の座標軸を定義する。すなわち、撮影時に被写体に向かって右側を正とする水平方向のΦ軸、Φ軸に直交し、撮影時の下方向を正とするΨ軸、Φ軸およびΨ軸に直交し、アダプタ600側から撮影装置650内部に向かう方向を正としたΩ軸である。また、以下の説明は、撮影装置650に関して行うが、説明の都合上、例えば、図21、図22等の図面にレンズ55の位置を示している。
図19に示すように、アダプタ600は、例えば図1に示したアダプタ1と、裏蓋613を除いて同様の構成である。裏蓋613は、マーク30を挿入可能なマーク挿入部17、19が公差を考慮したマーク挿入部617、619になっていることと、マーク挿入部617には三角マーカ630が設けられる点で、裏蓋13と異なっている。裏蓋613の中央部に光出射部15が設けられていることは共通している。マーク挿入部617、619は、公差を考慮した際にも撮影装置650で撮影可能な領域である。マーク挿入部617、619、三角マーカ630の詳細については後述する。
撮影装置650は、例えば、デジタルカメラや、カメラ機能付き携帯通信端末装置などである。図19に示すように、撮影装置650は、撮影装置50の機能に加えて、画像補正部690を有している。すなわち、撮影装置650は、画像取得部82、マーク検出部84、立体画像化部86、立体画像保存部88、表示部90に加えて、画像補正部690を備えている。画像補正部690は、裏蓋613に備えられた三角マーカ630の各頂点を検出し、取り付け等による公差を考慮したアダプタ600の位置関係から得られる方程式を解くことで、アダプタ600と撮影装置650との間に生じた公差を算出する。また、画像補正部690は、算出された公差を用いて、取得した画像を補正する。撮影装置650のハードウエア構成は、図3に示した撮影装置50と同様であるが、レンズ55に代えて、レンズ655を備えているとする。レンズ655は、レンズ55と実質的に同様の性能のレンズであるとすることができるが、位置が異なるために、別な符号を付している。
図20に示すように、画像補正部690は、頂点検出部692、公差算出部694、公差除去部696を有している。頂点検出部692は、三角マーカ630の3つの頂点を検出し、検出した頂点の座標を算出する。公差算出部694は、検出された三角マーカ630の各頂点の位置に基づき、アダプタ600と撮影装置650との間で生じている公差を算出する。公差除去部696は、公差算出部694で算出された公差を用いて、取得された画像700から公差を除去する処理を行う。
以下、図21〜図23を参照しながら、公差を考慮した位置関係から定まる領域にマーク30、三角マーカ630(以下まとめてマーク類ともいう)を配置する方法について詳細に説明する。図21、図22は、アダプタ600におけるマーク類の配置のための横方向の有効範囲への公差の影響を説明する図である。図23は、アダプタ600におけるマーク類の配置のための縦方向の有効範囲を説明する図である。
図21、図22は、アダプタ600の横方向断面695を示している。横方向断面695は、アダプタ600の光出射部15の中心16を通り、上面3a、下面3bに平行な面である。図21、図22に示すように、公差がなく配置された場合のレンズ55の中心(以下原点という)とアダプタ600の光出射部15の中心16との距離x、中心16と平面ミラー7端部との距離y、平面ミラー7と平面ミラー9のなす角(2θ)とする。図21、図22において、レンズ655は、レンズ55に対し、Ω軸の正方向にλ、Φ軸の正方向(撮影時の右)にμ、Ψ軸の正方向(撮影時の下)にη平行移動したことを想定する。また、レンズ655は、Φ軸を回転軸として下方向にδΦ、Ψ軸を回転軸として、右方向にδΨ回転したことを想定する。このように、アダプタ600と撮影装置650との間に生ずる公差を、上記λ、μ、η、δΦ、δΨ、δΩで表す。
以下、図21を参照しながら、アダプタ600を備えた撮影装置650により撮影される画像における、裏蓋613のマーク挿入部619の横方向中央側の境界について説明する。なお、ここでは、アダプタ600の右側のみについて説明する。図21の断面695は、アダプタ600の光出射部15の中心16を通り、上面3a、下面3bに平行な横方向断面である。図21において、断面695に、撮影装置650により撮影される画像の横方向の中央に向かう光の光路を投影して光路603として示している。
撮影装置650から辿ると、この光路603は、原点を通るレンズ55の光軸132に対し角度τ1で、アダプタ600における平面ミラー7と平面ミラー9との交点付近で交わっているとする。光路603は、平面ミラー7の垂線136に対して、角度=π/2−θ−τ1をなし、点605に至る。なお、レンズ55の光軸132は光出射部15の中心16を通る。このとき、中心16と、点605との距離は、距離=ytan(π−2θ−τ1)で表される。
このように、図21におけるアダプタ600の断面695においては、点605と点140との間が、マーカ類を配置するための有効領域となる。すなわち、横方向において、光出射部15の中心16から距離=ytan(π−2θ−τ1)から距離zの範囲が有効範囲となる。ここで、角度τ1は、下記の式10を満たす値となる。すなわち、横方向の有効範囲をまとめると以下のようになる。
横方向の有効範囲:距離=ytan(π−2θ−τ1)から距離z
tan(τ1)=μ/(x+y+λ)・・・(式10)
続いて、図22を参照しながら、マーク挿入部619の横方向外側の右眼用画像との境界について説明する。この境界は、アダプタ600のミラー5と裏蓋613との接触部に対応している。断面695においては、この境界は、ミラー5と裏蓋613との接点となる点140と対応するため、点140を通る光路609について説明する。光路609は、点140から平面ミラー7を経て、レンズ655に向かう光路の一例を断面695に投影した光路である。光路609において、平面ミラー7の点611からレンズ655に向かう光路609が、レンズ655を通りΩ軸と平行な直線621となす角度を角度τ2とする。また、点611から、光軸132に下ろした垂線の足を点615とする。平面ミラー7と平面ミラー9との交点を交点152とし、交点152と点615との距離をτとする。
このとき、角度τ2は、光路609、直線621、点613と点615とを結ぶ直線で形成される三角形に注目して得られる下記の式11を式12に代入し解くことで得られる。
τ=(x+y+λ)tan(τ2)/(tanθ−tan(τ2))
+μ/(tanθ−tan(τ2))・・・(式11)
z−μ=(x+λ)tan(τ2)
+(y+t)(tan(τ2)+tan(τ2−2θ))・・・(式12)
次に、図23を参照しながら、縦方向の有効範囲について説明する。断面633は、図22に示したΩ軸を含み、裏蓋613に垂直な、アダプタ600の縦方向断面である。上述のように、レンズ655は、Ω軸の正方向にλ、Φ軸の正方向(撮影時の右)にμ、Ψ軸の正方向(撮影時の下)にη平行移動したことを想定する。また、レンズ655は、レンズ655の中心を通りΦ軸と平行な軸を回転軸として下方向にδΦ、レンズ655の中心を通りΨ軸と平行な軸を回転軸として、右方向にδΨ回転したことを想定する。ただし、図23では、断面633と同一の平面に投影したレンズ655を示しており、Φ軸方向の平行移動μは表していない。
ここで、例えば、図6、図7において説明したように、画像100の境界116における縦方向の有効範囲(0からh)に対応する、レンズ55の垂直方向(縦方向)の画角を角(2v)とする。このとき、図23において、レンズ655は、下方向にδΦ回転しているため、縦方向の上方の画角は角度=v−δΦとなる。
図23に示すように、裏蓋613から距離yの位置で反射される光路の一例を断面633に投影した光路659を考えることにより、境界116と対応する縦方向の有効範囲の上端は点658となる。よって、境界116と対応する有効範囲の上端の位置は、下記の式13で表される(下端の位置も上端と同様に計算される)。
上端の位置=(x+2y+λ)tan(v−δΦ)−η
・・・(式13)
以上と同様に、アダプタ600における平面ミラー7の位置が、裏蓋613から距離y+τとなる点611を含む縦断面を考えると、図6に示した画像100の境界118に対応する縦方向の有効範囲の上端の位置は、下記の式14のように表される。
上端の位置=(x+2y+λ+2τ)tan(v−δΦ)−η
・・・(式14)
続いて、図24、図25を参照しながら、レンズ655の中心を通りΩ軸と平行な軸を回転軸とした回転を考慮した有効領域について説明する。図24、図25は、撮影される画像のレンズ655の回転による変化を示す図である。
図24に示すように、レンズ655が、アダプタ600に対して、レンズ655を通る軸を回転軸として時計回りにδΩ回転したとき、レンズ655と撮像素子57との距離が変わらないと仮定すれば、撮影される画像は角度δΩに応じて変化する。すなわち、第1の実施の形態による画像100のように撮影されるはずの画像は、画像700のようにδΩ回転した状態で撮像素子57上に撮影されることになる。このとき、例えば、領域704に示すように、境界116、境界118に対応する縦方向の画角v−δΦが変化する。
図25は、画像100、画像700、画像800の一例を示している。画像100は、レンズ655の回転公差がない場合に撮影される画像の一例を示している。なお、平行移動する前の画像を記載していないが、レンズ655を通る軸を回転軸として時計回りにδΩ回転したときに影響するのがカメラで撮影できる画角(縦方向)であり、平行移動はその画角に影響しない。また、直線119は、画像100における中心161を通り、境界116に垂直な直線である。上述のように、画像100の横方向の長さは幅w、縦方向の長さは長さhであるとする。画像800は、レンズ655が、それぞれの回転軸に対し角度δΦ、δΨ回転している場合に撮影される画像の一例を示している。画像700は、それぞれの回転軸に対し角度δΦ、δΨ、δΩ回転している場合に撮影される画像の一例を示している。
図25に示すように、レンズ655と画像100、800、700との距離を距離R(例えば、レンズ655から3m先の位置で撮像される画像までの距離を表すが、その距離は任意である(距離は画角の計算に影響しない))とすると、画像100において、中心161からある距離にある点163に対応する横方向の角度を角度Θ(右方向を正とする)とする。このとき、画像100において、横方向の角度Θに対応する位置での縦方向の角度は、第1の実施の形態において説明したように、画像の縦方向の長さhの2分の1に対応する角度vとなる。しかしながら、画像700においては、角度Θに対応する位置での縦方向は、点164までしか撮影されない。このため、横方向の角度Θに対応する縦方向の角度は、中心161と、点165との距離のレンズ655の中心に対応する角度v3と同一である。なお、点165は、点164から境界116に下ろした垂線の足である。
ここで、中心161と、点163との距離は、距離=Rtan(Θ)である。また、中心161を通り、境界116と角度δΩをなす直線と画像700との交点を点712とすると中心161と点712との距離は、画像800の縦方向の画角から、距離=Rtan(v−δΦ)である。よって、境界116と画像700との交点を点710とすると、点161と点710の距離は、距離=Rtan(v−δΦ)/cos(δΩ)であり、点165と点710との距離は、距離=Rtan(Θ)tan(δΩ)である。よって、中心161と点165との距離に注目することにより、角度v3は、下記の式15を満たす値となる。
Rtan(v3)=R(tan(v−δΦ)/cos(δΩ)
−tan(Θ)tan(δΩ))
→tan(v3)=tan(v−δΦ)/cos(δΩ)
−tan(Θ)tan(δΩ)
・・・(式15)
ここで、図23を参照しながら説明した、画像700における、中心側の縦方向の有効範囲に対応する角度を角度v31、右眼用画像102との境界の縦方向の有効範囲に対応する角度を角度v32とすると、それぞれ下記の式16、式17で表される。
tan(v31)=tan(v−δΦ)/cos(δΩ)
−tan(f(τ1))tan(δΩ)・・・(式16)
tan(v32)=tan(v−δΦ)/cos(δΩ)
−tan(f(τ2))tan(δΩ)・・・(式17)
ここで、f(g)は角度gが境界116より右側である場合に|g|を返し、左側である場合に−|g|を返す。式16では、図22における点152がレンズ655の左側に位置する場合(μ>=0)にf(τ1)=|τ1|であり、点152がレンズ655の右側に位置する場合(μ<0)にf(τ1)=−|τ1|を返す。また、式17では、図22における点611がレンズ655の左側に位置する場合(μ>=0)にf(τ2)=|τ2|であり、点611がレンズ655の右側に位置する場合(μ<0)にf(τ2)=−|τ2|を返す。
以上より、式13と式16、式14と式17とより、アダプタ600での縦方向の有効範囲の上端の位置は、下記の式18、19のように算出可能である(下端の位置も同様に計算される)。
上端の位置=(x+2y+λ)tan(v31)−η
・・・(式18)
上端の位置=(x+2y+λ+2τ)tan(v32)−η
・・・(式19)
ここで、図26を参照しながら、上記の有効範囲が最も狭くなる場合について説明する。図26は、有効領域が最も狭くなる場合を説明する図である。マーク挿入部617、マーク挿入部619が最も狭くなる場合は、下記のような最悪の条件で表される場合である。なお、上下前後左右は、アダプタ600の撮影状態の上下、および被写体側を前とした場合を示す。すなわち、上は、Ψ軸のマイナス方向であり、前は、Ω軸のマイナス方向であり、右は、Φ軸のプラス方向である。また、回転軸に対する回転方向は、回転軸のプラス方向を基準とした方向である。
(最悪の条件)
前後(λ):前に移動すると、有効領域の上側、左側が狭まる(λ<0)
左右(μ):左に移動すると、有効領域の左側が狭まる(μ<0)
上下(η):下に移動すると、有効領域の上側が狭まる(η>0)
δΦ:下向きに回転すると、有効領域の上側が狭まる(δΦ>0)
δΨ:影響なし
δΩ:時計回りに回転すると、有効領域の上側が狭まる(δΩ>0)
なお、6つの公差の値は、例えばλ=−0.35mm、μ=−0.35mm、η=0.35m、δΦ=δΨ=δΩ=1.52度等が挙げられる。
以上のように、マーク挿入部619の上半分において、式18、19で上記最悪の条件である場合が、最もマーク挿入部619の上半分が狭くなる場合である。よって、この最悪の条件により得られるマーク挿入部619の上半分と上下対称な領域が、最も狭いマーク挿入部619と考えられる。マーク挿入部617については、裏蓋613の中心に対してマーク挿入部619と対称な領域が、最も狭いマーク挿入部617と考えられる。これらのマーク挿入部617、またはマーク挿入部619に、マーク30および三角マーカ630を配置することが好ましい。
次に、図27から図29を参照しながら、三角マーカ630により画像を補正する方法について説明する。アダプタ600においては、上記で定義した最も狭いマーク挿入部619に三角マーカ630を配置することが好ましい。しかし、三角マーカ630の3辺のうちのいずれかが、Φ軸またはΨ軸と平行である場合、三角マーカ630の3つの頂点の2次元座標のうちの2つが同一の値になる。このとき、公差の6つのパラメータ(平行移動公差3パラメータλ、μ、η、回転公差3パラメータδΦ、δΨ、δΩ)を持つ公差を解くために必要な方程式のうち、2つの方程式が同じ式になり、解の算出が不安定になる場合が存在する(詳細な導出は後述する)。そこで、図19の裏蓋613に示したように、Φ軸、Ψ軸のいずれとも平行な辺を持たない三角マーカ630のような3角形のマークを配置する。配置する位置は、図26を参照しながら説明した、最悪の条件によるマーク挿入部617の内部である。
以下、公差を考慮した場合の、裏蓋613上の任意の点Pρqの座標(mρ、nq)と、点Pρqが射影される画像上の点(wρ、hq)との関係を、図27、図28を参照しながら説明する。Ω軸に対するレンズ655の中心から任意の点Pρqへの方向に対応する横方向の角度を角度ρ、縦方向の角度を角度qとする。ここでは、まず、レンズ655が回転公差を持たないとして説明する。
図27は、アダプタ600の横方向断面695において、上記任意の点Pρqと、対応する横方向の角度ρとの関係を説明する図である。図27において、点Pρqからレンズ655への光路の一例を断面695に投影した光路を光路675としている。図27に示すように、レンズ655は、ここでは、原点に対し、後ろに距離λ、右に距離μ移動しているとする。また、点671は、点Pρqを断面695に投影した点である。このとき、光路675は、点671からレンズ655へ向かう光路を示している。光路675の、レンズ655への入射角を、Ω軸に対して角度ρとしている。レンズ655の中心を通りΩ軸に平行な直線と裏蓋613との交点を断面695に投影した点を点616とする。また、光路675と裏蓋613との交点を点679、平面ミラー7と光路675との交点を点681、点681から裏蓋613に下ろした垂線の足を点683とする。
このとき、点616から点679の距離は、距離=(x+λ)tan(ρ)である。点679から点683の距離は、距離=(y+τ1)tan(ρ)である。また、点683から点671の距離は、距離=(y+τ1)tan(π−2θ+ρ)である。よって、距離mρは、下記の式20で表される。
mρ=μ+(x+λ)tan(ρ)
+(y+τ1)(tan(ρ)+tan(π−2θ+ρ))・・・(式20)
図28は、アダプタ600の縦方向断面797において、上記任意の点Pρqと、対応する縦方向の角度qとの関係を説明する図である。図28において、断面797は、裏蓋613から距離(y+τ1)の点で平面ミラー7と交わる点を通る縦方向断面である。断面797においては、点Pρqからレンズ655への光路の一例を断面797に投影した光路を光路787としている。
図28に示すように、レンズ655は、断面797と同一の断面上に投影して表しており、ここでは、被写体を前として後ろに距離λ、下に距離η移動している。また、点789は、点Pρqを断面797に投影した点である。このとき、光路787は、点789からレンズ655へ向かう光路を示す。点789からレンズ655へ向かう光路787の、レンズ655への入射角は、Ω軸に対して角度qとなる。また、レンズ655の中心を通りΩ軸に平行な直線の断面797への投影直線と平面ミラー7との交点を点792、光路787と、平面ミラー7との交点を点785、点789から平面ミラー7へ下ろした垂線の足を点786とする。
このとき、点792から点785の距離は、距離=(x+y+λ+τ1)tan(q)である。点785から点786の距離は、距離=(y+τ1)tan(q)である。よって、距離nqは、下記の式21で表される。
nq=(x+2y+λ+2τ1)tan(q)−η・・・(式21)
また、上記式11において、τ2=ρ、τ=τ1とすることにより、下記の式22が導かれる。
τ1=(x+y+λ)tanρ/(tanθ−tanρ)
+μ/(tanθ−tanρ)・・・(式22)
次に、回転公差について、図29を参照しながら説明する。図29は、回転公差と画像上の点との関係を示す図である。図29には、レンズ655に回転公差がない場合の画像100、δΦ、δΨの回転公差がある場合の画像800、δΦ、δΨ、δΩの公差がある場合の画像700を示している。また、レンズ655と、画像100、画像800、画像700との距離は距離Rとする。
このとき、点P100、P800、P700は、それぞれ、アダプタ600の裏蓋613の点Pρq(mρ、nq)が射影された点であるとする。このとき、点P700の座標は(wρ、hq)と表す。角度uρ、角度vqは、それぞれ、レンズ655の中心から点P100への方向が、Ω軸と平行な直線に対してなす横方向の角度、縦方向の角度である。角度ρおよび角度qは、それぞれ、レンズ655の中心から点P700への方向が、Ω軸と平行な直線に対してなす横方向の角度、縦方向の角度である。
図29において、画像100における点P100について、点P100に対する縦方向の角度uρ及び横方向の角度vqを用いて、画像100の中心161を原点とする座標で表すとする。画像上での位置を(wρ、hq)とすると、uρとvqは以下の式が成り立つ。
tan(uρ)=(2wρ/w−1)tan(u)
tan(vq)=(2hq/h−1)tan(v)・・・(式23)
ここで上式は、公差δΦ、δΨ、δΩがなく、画像上の座標系と実空間上での座標系が一致する場合における、画像上での位置と実空間上での角度の対応関係を表している。以降では、回転公差によって画像上の座標系が変化した場合における、画像上での位置と実空間上での角度の対応関係を説明する。
まず、距離Rにおける点P100の実空間上の座標は、角度uρ、vqを用いて、座標(Rtan(uρ),Rtan(vq))となる。画像100に対し、公差δΦ、δΨが加わった画像800において、点P100に対応する点P800の実空間上の座標は、座標(Rtan(uρ+δΦ),Rtan(vq−δΨ))と表される。ここで、画像上での位置はあくまで(wρ、hq)であり、その点に対応する角度uρ、vqが、公差δΦ、δΨによって、実空間上でそれぞれ角度uρ+δΦ、vq−δΨとなる。すなわち、公差δΦ、δΨがある場合、画像上での位置(wρ、hq)は、実空間上での角度uρ+δΦ、vq−δΨに対応することになる。
ここで、中心161と点P800との距離は、下記の式24で表される。
中心161と点P800とを結ぶ直線と、中心161と点P700とを結ぶ直線とのなす角は、角度δΩである。また、中心161と点P700との距離は、中心161と点P800との距離と等しいことから、点P700と、直線141との距離は、下記式25で表される。
ここで、角度sは、中心161と点P800とを結ぶ直線が、中心161を通る画像100の横方向の直線141となす角度である。ここで角度sは、下記の式26を満たす角度である。
tan(s)=tan(vq−δΦ)/tan(uρ+δΨ)・・・(式26)
以上より、点P700に対応する横方向の角度ρ、および縦方向の角度qは、下記の式27、28を満たす角度である。
ここで、(式23)、式(26)、式(27)は、画像上での位置が(wρ、hq)である点が、公差δΦ、δΨ、δΩにより実空間上での角度ρ、qに対応づけられることを意味する。
上述の式20〜22、式26〜28に、検出した三角形のマーカの頂点の座標を入力し、得られる6つの方程式を用いて推定した6つのパラメータに基づき、画像を補正する。このとき、三角形の3つの頂点を用いることで、公差のパラメータの数(6つ)の方程式を立てるので、公差の算出が可能となる。
しかしながら、例えば、三角マーカ630の頂点のうちの2点が撮影時の上下方向に平行な直線上にある(mの値が同じ)と、角度δΩが0付近のとき、角度uρがほぼ同じになるとともに、直線状の2点において得られる角度ρの値が、下記の式29に示すようにほぼ同じ値となる。
その結果、式20より導出される2つの方程式が同じになって、解の算出が不安定となる。
図30は、第3の実施の形態による公差の算出が不安定になる三角マーカの一例を示す図である。図30に示すように、三角マーカ632は、撮影時の縦方向と平行な辺を有しており、その辺の両端の頂点に対応する位置mが等しくなる。よって、角度δΩが0付近のとき、角度uρがほぼ等しくなるとともに、角度ρは式29のようにほぼ同じ値となる。
同様に、三角マーカ630の頂点のうちの2点が撮影時の横方向に平行な直線上にある(nの値が同じ)と、角度δΩが0付近のとき、角度vqがほぼ同じになるとともに、角度qは下記の式30に示すようにほぼ同じ値となる。
さらに、τ1も0付近(x+y+λ,μが0付近)という条件が加わると、式21より導出される2つの方程式が同じになって、解の算出が不安定となる。そこで本実施の形態においては、解の算出を安定させるために、三角形の各辺が水平面および鉛直面のいずれとも平行ではない三角マーカ630を配置する。
以上のように構成されるアダプタ600および撮影装置650により、立体画像を生成する方法を、図31、図32を参照しながらさらに説明する。図31は、第3の実施の形態による立体画像生成方法を示すフローチャートである。図32は、画像補正部690の処理を説明するフローチャートである。以下の処理は、処理部59が各部との情報の授受を行いながら実行する処理であるが、ここでは、図19に示した各部が実行するものとして説明する。
図31に示すように、撮影装置650において、画像取得部82は、例えば、レンズ655、撮像素子57を介して画像を取得する(S851)。画像補正部690は、三角マーカ630に基づき算出した公差を用いて、画像700を補正する(S852)。このとき、三角マーカ630は、アダプタ600と撮影装置650との間に取り付け公差が発生したとしても、画像700に映る領域、すなわち、例えばマーク挿入部617に記載する。また、上述のように、三角マーカ630は、撮影時の上下方向または横方向に平行な辺を持たない。画像補正部690の処理の詳細については、後述する。
マーク検出部84は、取得された画像において、例えばアダプタ600のマーク挿入部619に記載されたマーク30を、画像700の画像中央部108などの所定位置から検出することにより、アダプタ600の装着を検知する(S853)。マーク30は、例えば台形のバーコードとしてもよい。
立体画像化部86は、マーク検出部84により例えばマーク106が検知されると、補正済みの画像700から、決定された切り出し位置および切り出し領域のサイズに応じて右眼用および左眼用の画像を切り出し、立体画像を生成する(S854)。立体画像保存部88は、立体画像化部86で生成された立体画像を、例えばRAM67に保存する(S855)。表示部90は、例えば、表示装置69により、生成した立体画像を表示する(S856)。
図32に示すように、画像補正部690の頂点検出部692は、例えば、非特許文献1に記載のHarrisの方法などを用いて、画像700において、三角マーカ630の頂点を検出する(S871)。頂点検出部692は、例えば画像700において、左下を原点とする直交座標系を定義し、定義された座標系における2次元座標を算出する。
公差算出部694は、頂点検出部692が検出した頂点の座標に基づき、上記式20〜22、式26〜28から6つの公差を算出する(S872)。また、公差除去部696は、公差算出部694により算出された公差に基づき、画像700から公差を除去する補正を行う(S873)。画像の補正とは、例えば、公差算出部694で算出された3つの平行移動公差、3つの回転公差について、それぞれ公差を打ち消すような座標変換を行う処理とすることができる。
以上説明したように、本実施の形態では、アダプタ600を装着した撮影装置650により撮影される画像700の画像中央部108の領域であって、公差を考慮した領域に対応するアダプタ600の裏蓋613の領域に、マーク30、三角マーカ630を記載する。画像補正部690は、三角マーカ630を検出し、検出した3つの頂点の座標と上述した式に基づき、6つの公差を求める。画像補正部690は、求めた公差により、画像700を補正する。
マーク検出部84が、補正された画像700において、マーク30を検出すると、立体画像化部86は、補正された画像700に基づき、立体画像を生成する。なおこのとき、三角マーカ630、マーク30は、公差があっても画像700に映ることが可能なマーク挿入部617、619に記載される。マーク挿入部617、619は、アダプタ600における平面ミラー7、平面ミラー9、平面ミラー5、平面ミラー11の配置、撮影装置650におけるレンズ655の配置、および取り付け時の公差に応じて変化する。
以上のように、アダプタ600および撮影装置650においては、アダプタ600または撮影装置650の組み立て時や、互いの装着時に生ずる公差があっても画像700に映る位置に、三角マーカ630、マーク30を記載する。このとき、三角マーカ630は、撮影時の上下方向および横方向に平行な辺を持たない三角形とする。画像補正部690が、検出した三角マーカ630の3つの頂点の、例えば画像700における座標と、上述した式に基づき公差を算出し、画像700において公差を補正することができる。
マーク検出部84は、補正された画像700において、マーク30を検出する。これにより、公差があっても確実かつ正確にマーク30を検出することが可能である。また、右眼用および左眼用の画像において、公差を補正することができるので、より質の高い立体画像を表示させることができる。
このように、アダプタ600の所定位置に三角マーカ630を記載し、三角マーカ630に基づき画像を補正し、補正した画像においてマーク30を検出するという簡易な構成で、自動的にアダプタ600の装着を検知して立体画像を生成することが可能となる。
このとき、画像700においては、画像中央部108を有効領域として用いる。このため、アダプタ600の、三角マーカ630、マーク30は、裏蓋613という、光入射部21、光入射部23から離れた場所に配置される。よって、アダプタ600では、三角マーカ630、マーク30を、外部光の映り込みが少ない領域に配置することができる。
また、本実施の形態による立体画像生成方法では、公差がある場合に、三角マーカ630およびマーク30を配置する位置が式18、式19および最悪の条件のように明確化される。このように、条件が明確化されることにより、公差が発生したとしても画像700に映る有効領域が特定される。これにより、マーク30、三角マーカ630が公差により一部が映らないという事態を回避できる。
第3の実施の形態によれば、公差が安定して算出されるので、立体画像が好適に補正される。これにより、マーク30の形状が歪んで映ったりした場合に、補正により、本来の形状として検出することができる。
第3の実施の形態による三角マーカ630とマーク30とは、裏蓋613の左右にそれぞれ配置したが、上記に限定されない。三角マーカ630およびマーク30がそれぞれ識別が可能であれば、マーク挿入部617またはマーク挿入部619のいずれかに三角マーカ630とマーク30とをともに配置するようにしてもよい。また、三角マーカ630のみを配置することもできる。このとき、撮影装置650は、三角マーカ630を検出することにより、アダプタ600の装着を検知し、画像700が立体画像用の画像であるとして処理を行う。
さらに、第2の実施の形態において、アダプタ600を用いて撮影装置260で画像を撮影し、サーバ280に画像補正部690の機能を持たせて、撮影装置650のような公差算出および画像補正の処理をサーバ280で行うようにしてもよい。上記第1から第3の実施の形態および変形例は、実施が可能であるいずれの組み合わせも本発明の範囲であると考えられる。
上記第1から第3の実施の形態および変形例において、アダプタ1、アダプタ600は、撮影補助装置の一例であり、裏蓋13、裏蓋613は、裏面部の一例である。また、平面ミラー5は、第1のミラーの一例であり、平面ミラー7は、第3の平面ミラーの一例である。平面ミラー9は、第4の平面ミラーの一例であり、平面ミラー11は、第2のミラーの一例である。光入射部21は、第1の光入射部の一例であり、光入射部23は、第2の光入射部の一例である。また、処理部59は、演算処理部の一例である。
以上の実施形態に関し、さらに以下の付記を開示する。
(付記1)
撮影装置に装着される撮影補助装置であって、
前記撮影補助装置の被写体側に撮影時の左右方向に並列に設けられ、前記被写体からの光を前記撮影補助装置内部に導入するための第1および第2の光入射部と、前記左右方向と直交する方向であって前記被写体側とは逆の前記撮影装置側に設けられ、前記撮影装置に光を導出するための光出射部と、前記光出射部が設けられた裏面部とを有する筐体と、
前記筐体内部であって前記光出射部に対し前記左右方向のうちの右側に設けられ、前記第1の光入射部から入射した前記被写体からの光を反射する第1の平面ミラーと、
前記第1の平面ミラーからの光を前記第1の光入射部側とは異なる前記光出射部側に反射する第3の平面ミラーと、
前記筐体内部であって前記光出射部の前記左右方向の左側に設けられ、前記第2の光入射部から入射した前記被写体からの光を反射する第2の平面ミラーと、
前記第2の平面ミラーからの光を前記第2の光入射部側とは異なる前記光出射部側に反射する第4の平面ミラーと、
前記裏面部の前記撮影装置側内面において、前記光出射部と前記第1の平面ミラーとの間の領域または前記光出射部と前記第2の平面ミラーとの間の領域のうち少なくとも一方の領域であって、反射した光が前記第3の平面ミラーまたは前記第4の平面ミラーにより前記光出射部に導かれるような領域に配置されたマークと、
を有することを特徴とする撮影補助装置。
(付記2)
前記マークは、前記筐体の前記撮影装置側内面であって、前記光出射部の中心から前記第3の平面ミラーおよび前記第4の平面ミラーへの最短距離、および前記撮影装置に装着された状態での前記撮影装置の画像取得用レンズの光軸の方向に対する前記第3の平面ミラーまたは前記第4の平面ミラーの角度に応じた距離以上離れ、かつ、前記中心側が狭い台形の領域内に配置されることを特徴とする付記1に記載の撮影補助装置。
(付記3)
前記マークは、前記筐体の前記撮影装置側内面において、前記光出射部側では、上下方向に細く、前記出射部から遠い側では上下方向に太い形状に記載されることを特徴とする付記1に記載の撮影補助装置。
(付記4)
前記マークは、バーコードであることを特徴とする付記3に記載の撮影補助装置。
(付記5)
さらに、前記裏面部の前記撮影装置側内面において、前記光出射部と前記第1の平面ミラーとの間の領域または前記光出射部と前記第2の平面ミラーとの間の領域のうち少なくとも一方の領域であって、反射した光が前記第3の平面ミラーまたは前記第4の平面ミラーにより前記光出射部に導かれるような領域に配置され、撮影時の上下方向および横方向と平行な辺を持たない3角形のマーク、
を備えことを特徴とする付記1から付記4のいずれかに記載の撮影補助装置。
(付記6)
前記3角形のマークは、前記筐体の前記撮影装置側内面であって、前記光出射部の中心から前記第3の平面ミラーおよび前記第4の平面ミラーへの最短距離、および前記撮影装置に装着された状態での前記撮影装置の画像取得用レンズの光軸の方向に対する前記第3の平面ミラーまたは前記第4の平面ミラーの角度に応じた距離以上離れ、かつ、前記中心側が狭い台形の領域内であって、前記撮影装置と接続された状態での画像取得用のレンズの3次元の位置および3方向の角度に所定の公差があっても検出が可能な領域内に配置されることを特徴とする付記5に記載の撮影補助装置。
(付記7)
撮影補助装置を撮影装置に装着して画像を撮影し、撮影した画像に基づき情報処理装置が立体画像を生成する画像生成システムであって、
前記撮影補助装置は、
前記撮影補助装置の被写体側に撮影時の左右方向に並列に設けられ、前記被写体からの光を前記撮影補助装置内部に導入するための第1および第2の光入射部と、前記左右方向と直交する方向であって前記被写体側とは逆の前記撮影装置側に設けられ、前記撮影装置に光を導出するための光出射部と、前記光出射部が設けられた裏面部とを有する筐体と、
前記筐体内部であって前記光出射部に対し前記左右方向のうちの右側に設けられ、前記第1の光入射部から入射した前記被写体からの光を反射する第1の平面ミラーと、
前記第1の平面ミラーからの光を前記第1の光入射部側とは異なる前記光出射部側に反射する第3の平面ミラーと、
前記筐体内部であって前記光出射部の前記左右方向の左側に設けられ、前記第2の光入射部から入射した前記被写体からの光を反射する第2の平面ミラーと、
前記第2のミラーからの光を前記第2の光入射部側とは異なる前記光出射部側に反射する第4の平面ミラーと、
前記裏面部の前記撮影装置側内面において、前記光出射部と前記第1の平面ミラーとの間の領域または前記光出射部と前記第2の平面ミラーとの間の領域のうち少なくとも一方の領域であって、反射した光が前記第3の平面ミラーまたは前記第4の平面ミラーにより前記光出射部に導かれるような領域に配置されたマークと、
を有し、
前記撮影装置は、
前記被写体からの光が前記光出射部を介して入射する少なくともひとつのレンズと、
前記レンズを介して前記被写体からの光を検出して前記光に基づく信号を出力する撮像素子と、
前記撮像素子からの信号に基づき第1の画像を生成する演算処理部と、
前記第1の画像を送信するとともに、前記情報処理装置から立体画像を受信する送受信装置と、
を有し、
前記情報処理装置は、
前記第1の画像を受信する画像受信部と、
取得した前記第1の画像に、前記マークに応じた第2の画像があるか否かを判別するマーク検出部と、
前記第2の画像があると判別された場合に、前記第1の画像から前記第1の光入射部を介して取得された画像と前記第2の光入射部を介して取得された画像とを分離し、立体画像を生成する立体画像化部と、
を有し、
前記第2の画像は、前記第1の画像において、前記第1の光入射部を介して取得された画像と前記第2の光入射部を介して取得された画像との間に検出されることを特徴とする画像生成システム。
(付記8)
前記マークは、前記筐体の前記撮影装置側内面であって、前記光出射部の中心から前記第3の平面ミラーおよび前記第4の平面ミラーへの最短距離、および前記撮影装置に装着された状態での前記撮影装置の画像取得用レンズの光軸の方向に対する前記第3の平面ミラーまたは前記第4の平面ミラーの角度に応じた距離以上離れ、かつ、前記中心側が狭い台形の領域内に配置されることを特徴とする付記7に記載の画像生成システム。
(付記9)
前記マークは、バーコードであることを特徴とする付記8に記載の画像生成システム。
(付記10)
演算処理装置が、
第1の画像を取得し、
前記第1の画像において、撮影時の上下方向および横方向のいずれにも3辺が平行でない3角形のマークがある場合に、前記3角形のマークの3つの頂点の前記上下方向および前記横方向の座標を算出し、
前記3つの頂点の座標、および前記第1の画像を取得するための補助装置の構成に基づき、前記画像取得時における3次元の位置および3方向の回転の6つの公差を算出し、
前記第1の画像を前記6つの公差に基づき補正して第2の画像とし、
前記第2の画像から立体画像を生成する、
ことを特徴とする立体画像生成方法。
(付記11)
前記第1の画像は、前記立体画像を生成するための右眼用画像および左眼用画像を含んでおり、
前記3角形のマークは、前記右眼用画像と前記左眼用画像との間に配置されていることを特徴とする付記10に記載の撮影補助装置。