JP2012209895A - ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム - Google Patents
ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム Download PDFInfo
- Publication number
- JP2012209895A JP2012209895A JP2011075931A JP2011075931A JP2012209895A JP 2012209895 A JP2012209895 A JP 2012209895A JP 2011075931 A JP2011075931 A JP 2011075931A JP 2011075931 A JP2011075931 A JP 2011075931A JP 2012209895 A JP2012209895 A JP 2012209895A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- area
- camera
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】ステレオ画像較正方法は、第1及び第2のカメラから被写体を含む領域を撮影した第1及び第2の画像を取得し、第1及び第2の画像からそれぞれ被写体領域を検出し、各画像の被写体領域から被写体上の同一の点に対応する被写体特徴点の組を抽出し、被写体特徴点の組に基づいて、像面に対して平行な第1の軸及び第2の軸のそれぞれの周りの第1のカメラの回転角と第2のカメラの回転角の差による各画像上の被写体の位置のずれを補正する第1の較正パラメータを求め、第1の画像及び第2の画像の背景領域に写っている物体の像から各カメラの光軸周りの回転角の差による第1の画像と第2の画像間の回転を補正する第2の較正パラメータを求めることを含む。
【選択図】図7
Description
また、特許文献1には、各撮像画像から、検出マークの代わりに、特定対象のパーツ、例えば、顔の一部である目、口などを検出して、そのパーツの各画像上の表示位置の差に基づいて視差量を調整することも開示されている。
また、特許文献3に開示された技術では、カメラからの距離が予め分かっている複数の点が光軸調整のために用いられるので、カメラからの距離が既知の点が無い場合には、その技術は適用できない。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。
カメラ2−1、2−2は、同一の被写体を含む領域を撮影し、かつその被写体及び背景の3次元像を再生するためのステレオ画像を生成できるように、各カメラの結像光学系の光軸が略平行となり、かつ、略水平方向に所定の間隔をあけて配置されることが好ましい。そのために、カメラ2−1及び2−2は、例えば、図示しない一つの筺体内の所定の位置に収容されていてもよい。ただし、後述するように、処理部5が実行するキャリブレーション処理によって少なくとも一方の画像に写っている像の位置を補正する較正パラメータが算出される。そのため、カメラ2−1とカメラ2−2の配置は、それらのカメラで生成された画像がそのままステレオ画像となるほど厳密に調整されていなくてもよい。また、カメラ2−1により生成された画像上の被写体の像の大きさと、カメラ2−2により生成された画像上の同一の被写体の像の大きさが略等しくなるように、カメラ2−1、2−2の結像光学系の焦点距離及びイメージセンサの画素数は同一であるとした。しかし、カメラ2−1、2−2の結像光学系の焦点距離及びイメージセンサの画素数は互いに異なっていてもよい。
カメラ2−1、2−2は、それぞれ、画像を生成する度に、その生成した画像を入力部3へ送信する。なお、以下では、便宜上、カメラ2−1で生成された左目用の画像を左画像と呼び、カメラ2−2で生成された右目用の画像を右画像と呼ぶ。
入力部3は、取得した左画像及び右画像を処理部5へ渡す。
顔検出部11は、例えば、機械学習に基づく識別器を用いて左画像及び右画像からそれぞれ顔領域を検出する。そのような識別器は、例えば、Adaboost識別器、多層パーセプトロンあるいはサポートベクターマシンとすることができる。これらの識別器は、予め顔が写っていることが分かっている複数の画像と顔が写っていないことが分かっている複数の画像を用いた教師付き学習によって、画像上の顔領域を検出するように学習される。例えば、識別器としてAdaboost識別器が用いられる場合、顔検出部11は、右画像及び左画像をそれぞれ複数の小領域に分割し、その小領域を順次識別器に入力する。識別器は、例えば、小領域から顔領域の検出に有用なHaar-like特徴を検出し、そのHaar-like特徴に基づいてその小領域が顔領域か否か判定する。
同様に、多層パーセプトロンまたはサポートベクターマシンといった他の識別器が用いられる場合も、顔検出部11は、右画像及び左画像を分割した小領域、または小領域から抽出された様々な特徴量を識別器に入力することでその小領域が顔領域か否か判定する。
なお、ステレオ画像較正装置が異なる位置に配置された複数のマイクロホンを有する場合、処理部5は各マイクロホンに到達する音の時刻の差から複数の人物のうちの発声した人物の方向を推定し、顔検出部11はその推定方向に最も近い顔領域を選択してもよい。
そして顔検出部11は、顔領域及び背景領域を表す情報を顔特徴点抽出部12及び背景特徴点抽出部13へ渡す。
一方、顔特徴点抽出部12は、テンプレートと右画像上の顔領域との正規化相互相関値の最大値が所定の閾値未満である場合には、そのテンプレートに対応する第1の候補点と一致する第2の候補点が右画像には存在しないとして、その第1の候補点を、顔特徴点の組の探索対象から外してもよい。同様に、顔特徴点抽出部12は、再探索用テンプレートと左画像上の顔領域との正規化相互相関値の最大値が所定の閾値未満である場合にも、その再探索用テンプレートに対応する第1の候補点及び第2の候補点を顔特徴点の組の探索対象から外してもよい。この所定の閾値が高く設定されるほど、顔特徴点抽出部12は、顔特徴点の組が、同一の部位に対応していることの確からしさを向上できる。例えば、所定の閾値は、0.9〜0.95に設定される。あるいは、顔特徴点抽出部12は、左画像から抽出された第1の候補点の数が多いほど、所定の閾値を高くしてもよい。これにより、顔特徴点抽出部12は、一方の画像の顔領域から抽出された候補点の数が多いときには、同一の部位に対応している可能性が高い顔特徴点の組だけを抽出できる。また、一方の画像の顔領域から抽出された顔特徴点の数が少なくても、顔特徴点抽出部12は較正パラメータを求めるために十分な数の顔特徴点の組を抽出できる。
次に、図3(b)に示すように、左画像300から抽出された複数の第1の候補点のうち、注目する候補点301aを中心とするテンプレート302が設定される。そして右画像310では、テンプレート302とのテンプレートマッチングが行われ、第2の候補点311が抽出される。
その後、図3(c)に示されるように、右画像310に基づいて、第2の候補点311を中心とする再探索用テンプレート312が設定され、左画像300では、再探索用テンプレート312と顔領域とのテンプレートマッチングが行われる。その結果、第3の候補点303が抽出され、この第3の候補点303と第1の候補点301a間の距離が距離閾値以下であれば、第1の候補点301a(あるいは第3の候補点303)と第2の候補点311が顔特徴点の組となる。
顔特徴点抽出部12は、得られた顔特徴点の組ごとに、二つの顔特徴点の画像上の水平座標値及び垂直座標値を記憶部4に記憶する。
そこで、背景特徴点抽出部13は、顔特徴点抽出部12と同様に、左画像及び右画像のうちの一方の背景領域から背景特徴点の候補となる第1の候補点を複数抽出する。そして背景特徴点抽出部13は、第1の候補点ごとに、その候補点を中心とするテンプレートと他方の画像の背景領域との間で相対的な位置を変えつつテンプレートマッチングを行うことにより、その第1の候補点と最も一致する第2の候補点を求める。そして背景特徴点抽出部13は、第2の候補点を中心とする再探索用テンプレートと、第1の候補点を抽出した画像の背景領域とのテンプレートマッチングを行うことにより、第2の候補点と最も一致する第3の候補点を求める。そして背景特徴量抽出部13は、第3の候補点と第1の候補点間の距離が距離閾値以下であれば、一方の画像におけるその第1の候補点または第3の候補点と他方の画像における第2の候補点を背景特徴点の組として抽出する。
背景特徴点抽出部13は、得られた背景特徴点の組ごとに、二つの背景特徴点の画像上の水平座標値及び垂直座標値を記憶部4に記憶する。
そこで本実施形態では、較正パラメータ算出部14は、顔特徴点の組から水平方向較正パラメータとしてx軸周りの回転量の差θxを求め、垂直方向較正パラメータとしてy軸周りの回転量の差θyを求める。
較正パラメータ算出部14は、各背景特徴点の組についての垂直座標の差を加重平均することにより、回転方向較正パラメータθzを求めてもよい。この場合も、較正パラメータ算出部14は、画像中心(Xc,Yc)から背景特徴点の組に含まれる背景特徴点までの距離の平均値が小さいほど、その背景特徴点の組について算出された垂直座標の差に対する重み係数を小さくすることが好ましい。
較正パラメータ算出部14は、較正パラメータの組(θx,θy,θz)を判定部15へ渡す。
また判定部15は、各特徴点の組に含まれる特徴点同士の垂直方向の座標のずれを評価するために、そのずれの絶対値の平均値を算出する代わりに、そのずれの二乗の平均値を求めてもよい。この場合、判定部15は、垂直方向の座標のずれの二乗の平均値が所定の閾値以下である場合に、較正パラメータの組(θx,θy,θz)は適正であると判定する。
さらに判定部15は、顔特徴点の組のみ、または背景特徴点の組のみを用いて上記のように特徴点同士の垂直方向の座標のずれの平均値を求め、その平均値が許容範囲に含まれるか否かによって較正パラメータの組(θx,θy,θz)が適正か否かを判定してもよい。
一方、判定部15は、較正パラメータの組(θx,θy,θz)は不適正であると判定した場合、その較正パラメータの組を廃棄し、処理部5にその旨を通知する。そして処理部5は、再度カメラ2−1、2−2から左画像及び右画像を取得し、新たに得られた左画像及び右画像に基づいて再度較正パラメータの組を求める。
処理部5は、カメラ2−1から左画像を取得し、カメラ2−2から右画像を取得する(ステップS101)。そして処理部5は、左画像及び右画像を顔検出部11、顔特徴点抽出部12及び背景特徴点抽出部13へ渡す。顔検出部11は、左画像及び右画像から、それぞれ顔領域を検出する(ステップS102)。そして顔検出部11は、顔領域及び背景領域を表す情報を顔特徴点抽出部12及び背景特徴点抽出部13へ渡す。
また背景特徴点抽出部13は、左画像及び右画像のそれぞれの背景領域から、同一の物体上の同一の点に対応する背景特徴点の組を少なくとも一つ抽出する(ステップS104)。そして背景特徴点抽出部13は、その背景特徴点の組に含まれる各特徴点の座標を記憶部4に記憶する。
顔領域の近傍では、その顔領域に写っている人の頭部によって、その背後にある物体が隠蔽されるオクルージョンが生じる。本実施形態では、カメラ2−1とカメラ2−2の位置が異なっているので、左画像において頭部によって隠蔽される範囲と右画像において頭部によって隠蔽される範囲は異なる。そこで背景特徴点抽出部は、背景領域から、顔領域から所定範囲内にある領域を除き、その残りの領域から背景特徴点を抽出する。
図8(a)及び図8(b)において、点801、802は、それぞれ、カメラ2−1、カメラ2−2の視点を表す。線803、804は、それぞれ、カメラ2−1の撮像面及びカメラ2−2の撮像面を表す。また線805は、実空間上での頭部の範囲を表す。この例では、簡単化のために頭部805を平面で近似的に表した。また線806は、カメラ2−1、2−2から最も遠方にある物体を表す。この場合、領域807内にある物体は、左画像には写るものの、右画像では頭部805に隠れて写らない。そこで背景特徴点抽出部は、左画像において、領域807の左端に対応する左画像上の水平座標xL,0,maxから領域807の右端に対応する左画像上の水平座標xL,0までの範囲を、背景特徴点を抽出する範囲から除外する。
図11において、点1101、1102は、それぞれ、カメラ2−1、カメラ2−2の視点を表す。線1103、1104は、それぞれ、カメラ2−1の撮影面及びカメラ2−2の撮影面を表す。そしてカメラ2−1、2−2の水平方向の画角は、ともにθであるとする。また線1105は、カメラ2−1、2−2から最も遠方にある物体を表す。この場合、左画像に写る物体1105の水平方向の幅は(2Zmaxtan(θ/2)となる。なお、Zmaxは、カメラ2−1から物体1105までの距離である。同様に、右画像に写る物体1105の水平方向の幅は(2Zmaxtan(θ/2)となる。そしてカメラ2−1とカメラ2−2の間隔がTであれば、左画像上の左端に対応する物体1105上の点1106から距離Tまでの点までを含む領域1107に存在する物体が右画像に写らない。そこで背景特徴点が抽出されない、左画像の左端からの距離dは次式で算出される。
図12は、カメラ2−1、2−2から左画像に写る範囲と右画像に写る範囲が同一となる平面までの距離Z'が、カメラ2−1、2−2から左画像及び右画像に写る最も遠方の物体までの距離Zmaxよりも大きい場合のカメラ2−1、2−2の撮影範囲の模式図である。
図12において点1201、1202は、それぞれ、カメラ2−1、カメラ2−2の視点を表す。線1203、1204は、それぞれ、カメラ2−1の撮影面及びカメラ2−2の撮影面を表す。そしてカメラ2−1、2−2の水平方向の画角は、ともにθであるとする。また物体1205は、カメラ2−1、2−2から最も遠方にある物体である。さらに、カメラ2−1の結像光学系の光軸とカメラ2−2の結像光学系の光軸は角度αをなして物体側で交差し、物体1205の法線に対してそれぞれα/2だけ傾いているとする。このαは、例えば、設計値である。
図13において点1301、1302は、それぞれ、カメラ2−1、カメラ2−2の視点を表す。線1303、1304は、それぞれ、カメラ2−1の撮影面及びカメラ2−2の撮影面を表す。そしてカメラ2−1、2−2の水平方向の画角は、ともにθであるとする。また物体1305は、カメラ2−1、2−2から最も遠方(距離Zmax)にある物体である。さらに、カメラ2−1の結像光学系の光軸とカメラ2−2の結像光学系の光軸は角度αをなして物体側で交差し、物体1305の法線に対してそれぞれα/2だけ傾いているとする。
ここで、物体1305における、右画像の左端に対応する点をQとする。このとき、カメラ2−1の視点1301から物体1305まで垂直に下ろした点と、Qとの間の距離mはZmaxtan(θ/2-α/2)となる。一方、カメラ2−2の視点1301とQを通る直線と、カメラ2−2の光軸1306とのなす角度γは(tan-1((m+T)/Zmax)- α/2)となる。なおTは、カメラ2−1とカメラ2−2間の距離である。したがって、左画像及び右画像の水平方向の画素数をWとすると、一方の画像に写らない領域の他方の画像における画像端からの幅dは次式で求められる。
図14(a)及び図14(b)は、それぞれ、背景特徴点の抽出に関して左画像及び右画像において背景領域から除外される領域を表すさらに他の一例の模式図である。図14(a)に示されるように、左画像1400では、背景領域から左画像の左端近傍の幅dの領域1402と顔領域1403の左端近傍の、水平座標xL,0,maxからxL,0までの領域1404を除いた残りの領域1405が背景特徴点の抽出対象となる。また図14(b)に示されるように、右画像1410では、背景領域から右画像の右端近傍の幅dの領域1412と顔領域1413の右端近傍の、水平座標xR,1からxR,1,maxまでの領域1414を除いた残りの領域1415が背景特徴点の抽出対象となる。
例えば、カメラ2−1とカメラ2−2間の間隔は既知であるので、処理部は、各背景特徴点の組に対して、三角測量の原理に基づいてカメラ2−1、2−2からその背景特徴点の組に対応する物体までの距離を求めることができる。同様に、処理部は、各顔特徴点の組に対して、三角測量の原理に基づいてカメラ2−1、2−2からその顔特徴点の組に対応する顔上の点までの距離を求めることができる。
その際、片方のカメラで撮影された画像において被写体により隠蔽されている特徴点、または片方のカメラにしか写らない特徴点が含まれれば、無駄な処理量が増えるとともに、特徴点の誤対応による計測ミスが生じる。この時、上述したように、背景特徴点の抽出を行わない領域を設定することにより、処理部は、処理の効率化と精度の向上を実現できる。
ここで、左画像上の二つの特徴点間の距離の平均値と右画像上の二つの特徴点間の距離の平均値は、カメラ倍率の違いを反映していると推測される。特に、カメラまでの距離が相対的に遠い物体上の点については、両方のカメラからその点までの距離がほぼ等しくなるので、各カメラとその点までの距離間の差は無視できるほど小さい。
そこで、例えば、較正パラメータ算出部は、左画像及び右画像のそれぞれについて、カメラから相対的に物体に対応する、複数の背景特徴点から任意の二つの背景特徴点を選択し、その二つの背景特徴点間の距離(画像上の位置の差)を計算する。較正パラメータ算出部は、選択する背景特徴点の組み合わせを様々に変えて、背景特徴点間の距離を多数算出し、その距離の平均値を求める。そして較正パラメータ算出部は、左画像について求めた背景特徴点間の距離の平均値に対する、右画像について求めた背景特徴点間の距離の平均値の比率をスケール比Sとして求める。スケール比Sが決まれば、較正パラメータ算出部は、x軸周りの較正パラメータθx及びy軸周りの較正パラメータθyを決定する際に、(1)式、(2)式においてXR,i、YR,iにスケール比Sを乗じることで、カメラ倍率の違いを補正できる。
(付記1)
被写体を含む領域を第1のカメラで撮影することにより生成された第1の画像と当該領域を第2のカメラで撮影することにより生成された第2の画像とを取得し、
前記第1の画像から前記被写体が写っている第1の被写体領域を検出し、かつ、前記第2の画像から前記被写体が写っている第2の被写体領域を検出し、
前記第1の被写体領域及び前記第2の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出し、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第1の軸及び当該第1の軸と直交する第2の軸のそれぞれの周りの前記第1のカメラの回転角と前記第2のカメラの回転角との差を求め、当該差による前記第1の画像上の前記被写体の位置と前記第2の画像上の前記被写体の位置のずれを補正する第1の較正パラメータを求め、
前記第1の画像から前記第1の被写体領域を除いた第1の背景領域及び前記第2の画像から前記第2の被写体領域を除いた第2の背景領域に写っている物体の像から、前記第1のカメラの光軸周りの回転角と前記第2のカメラの光軸周りの回転角の差による前記第1の画像と前記第2の画像間の回転を補正する第2の較正パラメータを求める、
ことを含むステレオ画像較正方法。
(付記2)
前第1の背景領域及び前記第2の背景領域から、同一の物体上の同一の点に対応する背景特徴点の組を少なくとも一つ抽出することをさらに含み、
前記第2の較正パラメータを求めることは、前記第1の画像及び前記第2の画像のうちの少なくとも一方を回転させつつ、前記背景特徴点の組ごとに、前記第1の画像に含まれる背景特徴点と前記第2の画像に含まれる背景特徴点間の距離を求めて該距離の平均値を求め、当該平均値が最小となるときの前記第1の画像に対する前記第2の画像の回転角度を前記第2の較正パラメータとする、付記1に記載のステレオ画像較正方法。
(付記3)
前記背景特徴点の組を抽出することは、前記第1の背景領域の中から前記第2のカメラについて前記被写体によって隠蔽される領域に相当する範囲を除いた領域から前記背景特徴点を抽出する、付記2に記載のステレオ画像較正方法。
(付記4)
前記背景特徴点の組を抽出することは、前記第1の背景領域の中から前記第2のカメラの撮影範囲から外れる範囲を除いた領域から前記背景特徴点を抽出する、付記2または3に記載のステレオ画像較正方法。
(付記5)
前記第2の較正パラメータを求めることは、前記第1の背景領域内の各画素における画素値の局所勾配の方位角を求めることにより当該局所勾配の頻度が最大となる第1の方位角を求め、かつ、前記第2の背景領域内の各画素における画素値の局所勾配の方位角を求めることにより当該局所勾配の頻度が最大となる第2の方位角を求め、前記第1の方位角と前記第2の方位角の差を前記第2の較正パラメータとする、付記1に記載のステレオ画像較正方法。
(付記6)
前記第1の画像及び前記第2の画像のうちの少なくとも一方についての前記被写体特徴点の座標を前記第1の較正パラメータ及び前記第2の較正パラメータを用いて変換して得られた補正後の被写体特徴点の垂直方向座標と、前記第1の画像及び前記第2の画像のうちの他方についての前記被写体上の同一の点に対応する前記被写体特徴点の垂直方向座標との差が所定の許容範囲内である場合に、前記第1の較正パラメータ及び前記第2の較正パラメータを記憶部に記憶させる、付記1〜5の何れか一項に記載のステレオ画像較正方法。
(付記7)
前記被写体特徴点の組を少なくとも一つ抽出することは、
前記第1の被写体領域上の第1の候補点を所定の検出器を用いて検出し、
前記第1の候補点を含む前記第1の被写体領域内の第1の部分領域と最も一致する前記第2の被写体領域内の第2の部分領域を求めて当該第2の部分領域内の所定点を第2の候補点とし、
前記第2の部分領域と最も一致する前記第1の被写体領域内の第3の部分領域を求め、当該第3の部分領域内の第3の候補点と前記第1の候補点間の距離が所定の閾値以下である場合、前記第1の候補点または当該第3の候補点と前記第2の被写体候補点とを、前記被写体特徴点の組とする、付記1〜6の何れか一項に記載のステレオ画像較正方法。
(付記8)
前記第1の較正パラメータを求めることは、
前記被写体特徴点の組ごとに、
前記第1の画像上の前記第1のカメラの光軸に対応する点から当該被写体特徴点の組に含まれる前記第1の画像上の第1の被写体特徴点までの第1の距離に応じた当該第1の被写体特徴点の前記第1の方向に対する回転角と前記第2の画像上の前記第2のカメラの光軸に対応する点から当該被写体特徴点の組に含まれる前記第2の画像上の第2の被写体特徴点までの第2の距離に応じた当該第2の被写体特徴点の前記第1の方向に対する回転角との第1の差を求め、
前記第1の距離に応じた前記第1の被写体特徴点の前記第2の方向に対する回転角と前記第2の距離に応じた前記第2の被写体特徴点の前記第2の方向に対する回転角との第2の差を求め、
前記第1の差の平均及び前記第2の差の平均を前記第1の較正パラメータとする、付記1〜7の何れか一項に記載のステレオ画像較正方法。
(付記9)
被写体を含む領域を第1のカメラで撮影することにより生成された第1の画像と当該領域を第2のカメラで撮影することにより生成された第2の画像とを取得し、
前記第1の画像から前記被写体が写っている第1の被写体領域を検出し、かつ、前記第2の画像から前記被写体が写っている第2の被写体領域を検出し、
前記第1の被写体領域及び前記第2の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出し、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第1の軸及び当該第1の軸と直交する第2の軸のそれぞれの周りの前記第1のカメラの回転角と前記第2のカメラの回転角との差を求め、当該差による前記第1の画像上の前記被写体の位置と前記第2の画像上の前記被写体の位置のずれを補正する第1の較正パラメータを求め、
前記第1の画像から前記第1の被写体領域を除いた第1の背景領域及び前記第2の画像から前記第2の被写体領域を除いた第2の背景領域に写っている物体の像から、前記第1のカメラの光軸周りの回転角と前記第2のカメラの光軸周りの回転角の差による前記第1の画像と前記第2の画像間の回転を補正する第2の較正パラメータを求める、
ことをコンピュータに実行させるステレオ画像較正用コンピュータプログラム。
(付記10)
所定の被写体を含む領域を撮影することにより第1の画像を生成する第1のカメラと、
前記第1のカメラと異なる位置に配置され、かつ前記領域を撮影することにより第2の画像を生成する第2のカメラと、
前記第1の画像から前記被写体が写っている第1の被写体領域を検出し、かつ、前記第2の画像から前記被写体が写っている第2の被写体領域を検出する被写体領域検出部と、
前記第1の被写体領域及び前記第2の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出する被写体特徴点抽出部と、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第1の軸及び当該第1の軸と直交する第2の軸のそれぞれの周りの前記第1のカメラの回転角と前記第2のカメラの回転角との差を求め、当該差による前記第1の画像上の前記被写体の位置と前記第2の画像上の前記被写体の位置のずれを補正する第1の較正パラメータを求め、かつ、前記第1の画像から前記第1の被写体領域を除いた第1の背景領域及び前記第2の画像から前記第2の被写体領域を除いた第2の背景領域に写っている物体の像から、前記第1のカメラの光軸周りの回転角と前記第2のカメラの光軸周りの回転角の差による前記第1の画像と前記第2の画像間の回転を補正する第2の較正パラメータを求める較正パラメータ算出部と、
を有するステレオ画像較正装置。
2−1、2−2 カメラ
3 入力部
4 記憶部
5 処理部
11 顔検出部
12 顔特徴点抽出部
13 背景特徴点抽出部
14 較正パラメータ算出部
15 判定部
Claims (6)
- 被写体を含む領域を第1のカメラで撮影することにより生成された第1の画像と当該領域を第2のカメラで撮影することにより生成された第2の画像とを取得し、
前記第1の画像から前記被写体が写っている第1の被写体領域を検出し、かつ、前記第2の画像から前記被写体が写っている第2の被写体領域を検出し、
前記第1の被写体領域及び前記第2の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出し、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第1の軸及び当該第1の軸と直交する第2の軸のそれぞれの周りの前記第1のカメラの回転角と前記第2のカメラの回転角との差を求め、当該差による前記第1の画像上の前記被写体の位置と前記第2の画像上の前記被写体の位置のずれを補正する第1の較正パラメータを求め、
前記第1の画像から前記第1の被写体領域を除いた第1の背景領域及び前記第2の画像から前記第2の被写体領域を除いた第2の背景領域に写っている物体の像から、前記第1のカメラの光軸周りの回転角と前記第2のカメラの光軸周りの回転角の差による前記第1の画像と前記第2の画像間の回転を補正する第2の較正パラメータを求める、
ことを含むステレオ画像較正方法。 - 前第1の背景領域及び前記第2の背景領域から、同一の物体上の同一の点に対応する背景特徴点の組を少なくとも一つ抽出することをさらに含み、
前記第2の較正パラメータを求めることは、前記第1の画像及び前記第2の画像のうちの少なくとも一方を回転させつつ、前記背景特徴点の組ごとに、前記第1の画像に含まれる背景特徴点と前記第2の画像に含まれる背景特徴点間の距離を求めて当該距離の平均値を求め、当該平均値が最小となるときの前記第1の画像に対する前記第2の画像の回転角度を前記第2の較正パラメータとする、請求項1に記載のステレオ画像較正方法。 - 前記第2の較正パラメータを求めることは、前記第1の背景領域内の各画素における画素値の局所勾配の方位角を求めることにより当該局所勾配の頻度が最大となる第1の方位角を求め、かつ、前記第2の背景領域内の各画素における画素値の局所勾配の方位角を求めることにより当該局所勾配の頻度が最大となる第2の方位角を求め、前記第1の方位角と前記第2の方位角の差を前記第2の較正パラメータとする、請求項1に記載のステレオ画像較正方法。
- 前記被写体特徴点の組を少なくとも一つ抽出することは、
前記第1の被写体領域上の第1の候補点を所定の検出器を用いて検出し、
前記第1の候補点を含む前記第1の被写体領域内の第1の部分領域と最も一致する前記第2の被写体領域内の第2の部分領域を求めて当該第2の部分領域内の所定点を第2の候補点とし、
前記第2の部分領域と最も一致する前記第1の被写体領域内の第3の部分領域を求め、当該第3の部分領域内の第3の候補点と前記第1の候補点間の距離が所定の閾値以下である場合、前記第1の候補点または当該第3の候補点と前記第2の被写体候補点とを、前記被写体特徴点の組とする、請求項1〜3の何れか一項に記載のステレオ画像較正方法。 - 被写体を含む領域を第1のカメラで撮影することにより生成された第1の画像と当該領域を第2のカメラで撮影することにより生成された第2の画像とを取得し、
前記第1の画像から前記被写体が写っている第1の被写体領域を検出し、かつ、前記第2の画像から前記被写体が写っている第2の被写体領域を検出し、
前記第1の被写体領域及び前記第2の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出し、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第1の軸及び当該第1の軸と直交する第2の軸のそれぞれの周りの前記第1のカメラの回転角と前記第2のカメラの回転角との差を求め、当該差による前記第1の画像上の前記被写体の位置と前記第2の画像上の前記被写体の位置のずれを補正する第1の較正パラメータを求め、
前記第1の画像から前記第1の被写体領域を除いた第1の背景領域及び前記第2の画像から前記第2の被写体領域を除いた第2の背景領域に写っている物体の像から、前記第1のカメラの光軸周りの回転角と前記第2のカメラの光軸周りの回転角の差による前記第1の画像と前記第2の画像間の回転を補正する第2の較正パラメータを求める、
ことをコンピュータに実行させるステレオ画像較正用コンピュータプログラム。 - 所定の被写体を含む領域を撮影することにより第1の画像を生成する第1のカメラと、
前記第1のカメラと異なる位置に配置され、かつ前記領域を撮影することにより第2の画像を生成する第2のカメラと、
前記第1の画像から前記被写体が写っている第1の被写体領域を検出し、かつ、前記第2の画像から前記被写体が写っている第2の被写体領域を検出する被写体領域検出部と、
前記第1の被写体領域及び前記第2の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出する被写体特徴点抽出部と、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第1の軸及び当該第1の軸と直交する第2の軸のそれぞれの周りの前記第1のカメラの回転角と前記第2のカメラの回転角との差を求め、当該差による前記第1の画像上の前記被写体の位置と前記第2の画像上の前記被写体の位置のずれを補正する第1の較正パラメータを求め、かつ、前記第1の画像から前記第1の被写体領域を除いた第1の背景領域及び前記第2の画像から前記第2の被写体領域を除いた第2の背景領域に写っている物体の像から、前記第1のカメラの光軸周りの回転角と前記第2のカメラの光軸周りの回転角の差による前記第1の画像と前記第2の画像間の回転を補正する第2の較正パラメータを求める較正パラメータ算出部と、
を有するステレオ画像較正装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011075931A JP5672112B2 (ja) | 2011-03-30 | 2011-03-30 | ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011075931A JP5672112B2 (ja) | 2011-03-30 | 2011-03-30 | ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012209895A true JP2012209895A (ja) | 2012-10-25 |
JP5672112B2 JP5672112B2 (ja) | 2015-02-18 |
Family
ID=47189264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011075931A Expired - Fee Related JP5672112B2 (ja) | 2011-03-30 | 2011-03-30 | ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5672112B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014138420A (ja) * | 2013-01-16 | 2014-07-28 | Honda Research Institute Europe Gmbh | 自律車両用の奥行き検知方法及びシステム |
CN104392450A (zh) * | 2014-11-27 | 2015-03-04 | 苏州科达科技股份有限公司 | 确定相机焦距与旋转角度的方法、相机标定方法及系统 |
JP2015128228A (ja) * | 2013-12-27 | 2015-07-09 | 株式会社リコー | 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び移動体制御装置 |
CN105744254A (zh) * | 2014-12-30 | 2016-07-06 | 钰立微电子股份有限公司 | 校正导引系统和校正导引系统的操作方法 |
JP2016149678A (ja) * | 2015-02-13 | 2016-08-18 | オムロン株式会社 | カメラ校正ユニット、カメラ校正方法、およびカメラ校正プログラム |
KR101868740B1 (ko) * | 2017-01-04 | 2018-06-18 | 명지대학교 산학협력단 | 파노라마 이미지 생성 방법 및 장치 |
KR102044639B1 (ko) * | 2018-10-25 | 2019-11-14 | 공간정보기술 주식회사 | 스테레오 카메라 정렬 방법 및 장치 |
JP2020016961A (ja) * | 2018-07-23 | 2020-01-30 | 株式会社東芝 | 情報処理装置、情報処理方法、および情報処理プログラム |
JP2020071160A (ja) * | 2018-11-01 | 2020-05-07 | ミツミ電機株式会社 | 測距カメラ |
WO2020153264A1 (ja) * | 2019-01-24 | 2020-07-30 | パナソニックIpマネジメント株式会社 | 校正方法および校正装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1127703A (ja) * | 1997-06-30 | 1999-01-29 | Canon Inc | 表示装置及びその制御方法 |
JPH11259632A (ja) * | 1998-03-12 | 1999-09-24 | Fuji Heavy Ind Ltd | ステレオカメラの調整装置 |
JP2002077947A (ja) * | 2000-09-05 | 2002-03-15 | Sanyo Electric Co Ltd | 立体画像補正方法及びこれを用いた立体画像装置 |
JP2006270265A (ja) * | 2005-03-22 | 2006-10-05 | Fuji Photo Film Co Ltd | 複眼撮影装置及びその調整方法 |
JP2008252254A (ja) * | 2007-03-29 | 2008-10-16 | Fujifilm Corp | 立体撮影装置及び光軸調節方法 |
-
2011
- 2011-03-30 JP JP2011075931A patent/JP5672112B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1127703A (ja) * | 1997-06-30 | 1999-01-29 | Canon Inc | 表示装置及びその制御方法 |
JPH11259632A (ja) * | 1998-03-12 | 1999-09-24 | Fuji Heavy Ind Ltd | ステレオカメラの調整装置 |
JP2002077947A (ja) * | 2000-09-05 | 2002-03-15 | Sanyo Electric Co Ltd | 立体画像補正方法及びこれを用いた立体画像装置 |
JP2006270265A (ja) * | 2005-03-22 | 2006-10-05 | Fuji Photo Film Co Ltd | 複眼撮影装置及びその調整方法 |
JP2008252254A (ja) * | 2007-03-29 | 2008-10-16 | Fujifilm Corp | 立体撮影装置及び光軸調節方法 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014138420A (ja) * | 2013-01-16 | 2014-07-28 | Honda Research Institute Europe Gmbh | 自律車両用の奥行き検知方法及びシステム |
JP2015128228A (ja) * | 2013-12-27 | 2015-07-09 | 株式会社リコー | 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び移動体制御装置 |
CN104392450A (zh) * | 2014-11-27 | 2015-03-04 | 苏州科达科技股份有限公司 | 确定相机焦距与旋转角度的方法、相机标定方法及系统 |
CN105744254A (zh) * | 2014-12-30 | 2016-07-06 | 钰立微电子股份有限公司 | 校正导引系统和校正导引系统的操作方法 |
JP2016149678A (ja) * | 2015-02-13 | 2016-08-18 | オムロン株式会社 | カメラ校正ユニット、カメラ校正方法、およびカメラ校正プログラム |
KR101868740B1 (ko) * | 2017-01-04 | 2018-06-18 | 명지대학교 산학협력단 | 파노라마 이미지 생성 방법 및 장치 |
JP7278724B2 (ja) | 2018-07-23 | 2023-05-22 | 株式会社東芝 | 情報処理装置、情報処理方法、および情報処理プログラム |
JP2020016961A (ja) * | 2018-07-23 | 2020-01-30 | 株式会社東芝 | 情報処理装置、情報処理方法、および情報処理プログラム |
KR102044639B1 (ko) * | 2018-10-25 | 2019-11-14 | 공간정보기술 주식회사 | 스테레오 카메라 정렬 방법 및 장치 |
JP2020071160A (ja) * | 2018-11-01 | 2020-05-07 | ミツミ電機株式会社 | 測距カメラ |
CN112585423A (zh) * | 2018-11-01 | 2021-03-30 | 三美电机株式会社 | 测距摄像机 |
US11385053B2 (en) | 2018-11-01 | 2022-07-12 | Mitsumi Electric Co., Ltd. | Distance measuring camera |
JP7132501B2 (ja) | 2018-11-01 | 2022-09-07 | ミツミ電機株式会社 | 測距カメラ |
WO2020090358A1 (ja) * | 2018-11-01 | 2020-05-07 | ミツミ電機株式会社 | 測距カメラ |
WO2020153264A1 (ja) * | 2019-01-24 | 2020-07-30 | パナソニックIpマネジメント株式会社 | 校正方法および校正装置 |
JPWO2020153264A1 (ja) * | 2019-01-24 | 2021-11-25 | パナソニックIpマネジメント株式会社 | 校正方法および校正装置 |
JP7426611B2 (ja) | 2019-01-24 | 2024-02-02 | パナソニックIpマネジメント株式会社 | 校正方法および校正装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5672112B2 (ja) | 2015-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5672112B2 (ja) | ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム | |
US9959455B2 (en) | System and method for face recognition using three dimensions | |
US11546576B2 (en) | Systems and methods for dynamic calibration of array cameras | |
JP6897563B2 (ja) | 画像処理装置と画像処理方法およびプログラム | |
JP5961945B2 (ja) | 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体 | |
US20150262346A1 (en) | Image processing apparatus, image processing method, and image processing program | |
US20180268237A1 (en) | Method and system for determining at least one property related to at least part of a real environment | |
WO2017076106A1 (zh) | 图像的拼接方法和装置 | |
WO2012039043A1 (ja) | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム | |
CN108470356B (zh) | 一种基于双目视觉的目标对象快速测距方法 | |
KR20110064117A (ko) | 얼굴 정면포즈 판단 방법 | |
KR101818984B1 (ko) | 깊이정보를 이용한 안면인식시스템 | |
WO2014084181A1 (ja) | 画像計測装置 | |
JP6172432B2 (ja) | 被写体識別装置、被写体識別方法および被写体識別プログラム | |
JP2017123087A (ja) | 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法 | |
JP2011232965A (ja) | 平面領域検出装置及びステレオカメラシステム | |
KR20190044439A (ko) | 스테레오 이미지들에 관한 깊이 맵 스티칭 방법 | |
WO2021163406A1 (en) | Methods and systems for determining calibration quality metrics for a multicamera imaging system | |
JP5727969B2 (ja) | 位置推定装置、方法、及びプログラム | |
WO2021049281A1 (ja) | 画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法 | |
Kollmitzer | Object detection and measurement using stereo images | |
KR101142279B1 (ko) | 스테레오 비전 시스템에서의 이미지 정렬 장치 및 방법 | |
TWI784330B (zh) | 物件追蹤方法及其處理裝置與系統 | |
US20220230342A1 (en) | Information processing apparatus that estimates object depth, method therefor, and storage medium holding program therefor | |
KR20190025267A (ko) | 직교 소실점을 이용한 단일 영상의 내벽 구조 검출 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140617 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5672112 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |