JP2000020720A - 画像処理方法および画像処理装置 - Google Patents
画像処理方法および画像処理装置Info
- Publication number
- JP2000020720A JP2000020720A JP10184319A JP18431998A JP2000020720A JP 2000020720 A JP2000020720 A JP 2000020720A JP 10184319 A JP10184319 A JP 10184319A JP 18431998 A JP18431998 A JP 18431998A JP 2000020720 A JP2000020720 A JP 2000020720A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional object
- image
- viewpoint
- shape
- possible area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】高い精度でかつ演算時間が増大することなし
に、複雑な形状の3次元物体の形状測定を行なうことが
できる画像処理方法および画像処理装置を提供する。 【解決手段】まず多視点画像入力工程101において3
次元物体を複数の地点から撮影した画像を入力し、次に
3次元物体存在可能領域算出工程102において、入力
された多視点画像に撮影されている3次元物体の輪郭線
に基づいて3次元物体の存在可能領域を算出し、次に画
像解析工程103において前記算出された3次元物体存
在可能領域情報を利用して、入力された多視点画像の各
画像間に撮影されている3次元物体の同一点を対応付け
て3次元物体の3次元形状を計測する。
に、複雑な形状の3次元物体の形状測定を行なうことが
できる画像処理方法および画像処理装置を提供する。 【解決手段】まず多視点画像入力工程101において3
次元物体を複数の地点から撮影した画像を入力し、次に
3次元物体存在可能領域算出工程102において、入力
された多視点画像に撮影されている3次元物体の輪郭線
に基づいて3次元物体の存在可能領域を算出し、次に画
像解析工程103において前記算出された3次元物体存
在可能領域情報を利用して、入力された多視点画像の各
画像間に撮影されている3次元物体の同一点を対応付け
て3次元物体の3次元形状を計測する。
Description
【0001】
【発明の属する技術分野】この発明は、視点の異なる複
数の画像を入力として、撮影されている3次元物体の形
状を測定するための画像処理方法および画像処理装置に
関するものである。
数の画像を入力として、撮影されている3次元物体の形
状を測定するための画像処理方法および画像処理装置に
関するものである。
【0002】
【従来の技術】従来、3次元物体の形状を求める技術
は、図12に示すように、接触法と非接触法に大別さ
れ、また、非接触法には能動的非接触法と受動的非接触
法がある。接触法では、接触子により直接対象物に接触
して3次元形状を計測する方法であるが、この方法で
は、対象物の表面が損傷する恐れがあり、また、対象物
が柔軟な場合には正確な形状が計測できない。
は、図12に示すように、接触法と非接触法に大別さ
れ、また、非接触法には能動的非接触法と受動的非接触
法がある。接触法では、接触子により直接対象物に接触
して3次元形状を計測する方法であるが、この方法で
は、対象物の表面が損傷する恐れがあり、また、対象物
が柔軟な場合には正確な形状が計測できない。
【0003】非接触法は、対象物に接触子が接触するこ
となく、主に画像処理の技術を用いて形状を計測する方
法である。このうち、能動的非接触法の代表的な方法と
しては、光レーダ型のレンジファインダを用いて、対象
物に対して所定位置から光を投影して、被写体からの反
射光がその所定位置に戻るまでの時間を計測し、その計
測した時間から対象物までの距離を求める方法がある。
また、対象物に対してスリット状の光パターンを投影
し、その対象物に写るパターン形状の変位からその対象
物の3次元形状を計測するスリット光投影法などがあ
る。しかし、対象物に対する投影を、レーザ光などを対
象物に照射することによって行うので、煩雑な作業が必
要になる。
となく、主に画像処理の技術を用いて形状を計測する方
法である。このうち、能動的非接触法の代表的な方法と
しては、光レーダ型のレンジファインダを用いて、対象
物に対して所定位置から光を投影して、被写体からの反
射光がその所定位置に戻るまでの時間を計測し、その計
測した時間から対象物までの距離を求める方法がある。
また、対象物に対してスリット状の光パターンを投影
し、その対象物に写るパターン形状の変位からその対象
物の3次元形状を計測するスリット光投影法などがあ
る。しかし、対象物に対する投影を、レーザ光などを対
象物に照射することによって行うので、煩雑な作業が必
要になる。
【0004】これに対し、受動的非接触法の代表的なも
のとしては、両眼立体視を利用する方法が一般的であ
る。2台のカメラを用いて三角測量を行うステレオ画像
法である。このステレオ画像法では、左右の画像から同
じ部分が写しだされている場所を探索して対応点を探し
出し、その点のズレ量から対象物までの距離を測定する
方法である。しかし、このステレオ画像法では、対象物
の立体形状を計測することが主な目的ではなく、カメラ
が設置されている特定位置からの測距が主な目的であ
る。
のとしては、両眼立体視を利用する方法が一般的であ
る。2台のカメラを用いて三角測量を行うステレオ画像
法である。このステレオ画像法では、左右の画像から同
じ部分が写しだされている場所を探索して対応点を探し
出し、その点のズレ量から対象物までの距離を測定する
方法である。しかし、このステレオ画像法では、対象物
の立体形状を計測することが主な目的ではなく、カメラ
が設置されている特定位置からの測距が主な目的であ
る。
【0005】そこで、近年では、計測作業が比較的簡単
な能動的非接触法として、対象物から視点に向かう光を
スクリーンに映し、対象物の影の輪郭により形状推定を
する中心投影のシルエット法や、対象物に平行光をあ
て、その影をスクリーンに映し形状を推定する正射影投
影シルエット法(特開平8−105724号公報)など
が提案されている。
な能動的非接触法として、対象物から視点に向かう光を
スクリーンに映し、対象物の影の輪郭により形状推定を
する中心投影のシルエット法や、対象物に平行光をあ
て、その影をスクリーンに映し形状を推定する正射影投
影シルエット法(特開平8−105724号公報)など
が提案されている。
【0006】また、受動的非接触法としては、対象物を
その周囲から多数の視点においてカメラで撮影して、そ
の多視点画像の情報を、対象物からの光線群として変換
しなおして光線空間情報にして、光線空間で3次元物体
の同一点の対応を求めることによって対象物の形状を推
定する方法(特開平8−77356号公報)も提案され
ている。
その周囲から多数の視点においてカメラで撮影して、そ
の多視点画像の情報を、対象物からの光線群として変換
しなおして光線空間情報にして、光線空間で3次元物体
の同一点の対応を求めることによって対象物の形状を推
定する方法(特開平8−77356号公報)も提案され
ている。
【0007】
【発明が解決しようとする課題】しかしながら、上述し
たシルエット法により3次元物体の形状を求める方法で
は凸物体についてしか正確な形状を測定できないという
問題点があった。また、上述の光線空間に基づく形状計
測方法では、同一点の対応を求める際の演算に時間がか
かり、計測結果が正しく求まらない場合が多いという問
題点があった。
たシルエット法により3次元物体の形状を求める方法で
は凸物体についてしか正確な形状を測定できないという
問題点があった。また、上述の光線空間に基づく形状計
測方法では、同一点の対応を求める際の演算に時間がか
かり、計測結果が正しく求まらない場合が多いという問
題点があった。
【0008】本発明はこのような課題に着目してなされ
たものであり、その目的とするところは、高い精度でか
つ演算時間が増大することなしに、複雑な形状の3次元
物体の形状測定を行なうことができる画像処理方法およ
び画像処理装置を提供することにある。
たものであり、その目的とするところは、高い精度でか
つ演算時間が増大することなしに、複雑な形状の3次元
物体の形状測定を行なうことができる画像処理方法およ
び画像処理装置を提供することにある。
【0009】
【課題を解決するための手段】上記目的を達成するため
に、第1の発明に係る画像処理方法は、3次元物体を複
数の地点から撮影した多視点画像を入力する多視点画像
入力工程と、この多視点画像入力工程で入力された多視
点画像に撮影されている前記3次元物体の輪郭線に基づ
いて3次元物体の存在可能領域を算出する3次元物体存
在可能領域算出工程と、この3次元物体存在可能領域算
出工程で算出された3次元物体存在可能領域に関する情
報を用いて前記入力された多視点画像の各画像に撮影さ
れている3次元物体の同一点を対応付けることにより、
3次元物体の形状計測を行う画像解析工程とを具備す
る。
に、第1の発明に係る画像処理方法は、3次元物体を複
数の地点から撮影した多視点画像を入力する多視点画像
入力工程と、この多視点画像入力工程で入力された多視
点画像に撮影されている前記3次元物体の輪郭線に基づ
いて3次元物体の存在可能領域を算出する3次元物体存
在可能領域算出工程と、この3次元物体存在可能領域算
出工程で算出された3次元物体存在可能領域に関する情
報を用いて前記入力された多視点画像の各画像に撮影さ
れている3次元物体の同一点を対応付けることにより、
3次元物体の形状計測を行う画像解析工程とを具備す
る。
【0010】また、第2の発明に係る画像処理方法は、
第1の発明に係る画像処理方法において、前記3次元物
体存在可能領域算出工程と前記画像解析工程では、多視
点画像の縦方向の視差を考慮して処理を行なうようにす
る。
第1の発明に係る画像処理方法において、前記3次元物
体存在可能領域算出工程と前記画像解析工程では、多視
点画像の縦方向の視差を考慮して処理を行なうようにす
る。
【0011】また、第3の発明に係る画像処理装置は、
3次元物体を複数の地点から撮影した多視点画像を入力
する多視点画像入力手段と、この多視点画像入力手段に
よって入力された多視点画像に撮影されている前記3次
元物体の輪郭線に基づいて3次元物体の存在可能領域を
算出する3次元物体存在可能領域算出手段と、この3次
元物体存在可能領域算出手段で算出された3次元物体存
在可能領域に関する情報を用いて前記入力された多視点
画像の各画像に撮影されている3次元物体の同一点を対
応付けることにより、3次元物体の形状計測を行う画像
解析手段とを具備する。
3次元物体を複数の地点から撮影した多視点画像を入力
する多視点画像入力手段と、この多視点画像入力手段に
よって入力された多視点画像に撮影されている前記3次
元物体の輪郭線に基づいて3次元物体の存在可能領域を
算出する3次元物体存在可能領域算出手段と、この3次
元物体存在可能領域算出手段で算出された3次元物体存
在可能領域に関する情報を用いて前記入力された多視点
画像の各画像に撮影されている3次元物体の同一点を対
応付けることにより、3次元物体の形状計測を行う画像
解析手段とを具備する。
【0012】また、第4の発明に係る画像処理装置は、
第3の発明に係る画像処理装置において、前記3次元物
体存在可能領域算出手段と前記画像解析手段とが、多視
点画像の縦方向の視差を考慮して処理を行なう。
第3の発明に係る画像処理装置において、前記3次元物
体存在可能領域算出手段と前記画像解析手段とが、多視
点画像の縦方向の視差を考慮して処理を行なう。
【0013】上記した構成によれば、多視点画像に撮影
されている対象物の輪郭線から求めた3次元物体の存在
可能領域情報を用いて、各多視点画像間での3次元物体
の同一点の対応を求める際の探索範囲を大幅に削減でき
演算時間を減少させることが可能になる。また、確実に
3次元物体が存在する領域のみで形状を推定するので、
その分、形状計測の精度を高めることができる。
されている対象物の輪郭線から求めた3次元物体の存在
可能領域情報を用いて、各多視点画像間での3次元物体
の同一点の対応を求める際の探索範囲を大幅に削減でき
演算時間を減少させることが可能になる。また、確実に
3次元物体が存在する領域のみで形状を推定するので、
その分、形状計測の精度を高めることができる。
【0014】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。 (第1実施形態)図1は本発明の第1実施形態の画像処
理方法の流れを示す図である。図1において、101は
3次元物体を複数の地点から撮影した画像を入力する多
視点画像入力工程、102は多視点画像入力工程101
によって入力された多視点画像に撮影されている3次元
物体の輪郭線から3次元物体の存在可能領域を算出する
3次元物体存在可能領域算出工程、103は多視点画像
入力工程101によって入力された多視点画像と3次元
物体存在可能領域算出工程102によって算出された3
次元物体存在可能領域を用いて各多視点画像間の同一点
の対応を求めて形状を計測する画像解析工程である。
施の形態を説明する。 (第1実施形態)図1は本発明の第1実施形態の画像処
理方法の流れを示す図である。図1において、101は
3次元物体を複数の地点から撮影した画像を入力する多
視点画像入力工程、102は多視点画像入力工程101
によって入力された多視点画像に撮影されている3次元
物体の輪郭線から3次元物体の存在可能領域を算出する
3次元物体存在可能領域算出工程、103は多視点画像
入力工程101によって入力された多視点画像と3次元
物体存在可能領域算出工程102によって算出された3
次元物体存在可能領域を用いて各多視点画像間の同一点
の対応を求めて形状を計測する画像解析工程である。
【0015】まず、多視点画像入力工程101での画像
入力方法を説明する。図2において、201は3次元形
状を測定される3次元物体、202は3次元物体201
を撮影するカメラ、203は3次元物体201をカメラ
202によって周囲から撮影して多視点画像を取得する
ために3次元物体201を載せて回転するターンテーブ
ルである。
入力方法を説明する。図2において、201は3次元形
状を測定される3次元物体、202は3次元物体201
を撮影するカメラ、203は3次元物体201をカメラ
202によって周囲から撮影して多視点画像を取得する
ために3次元物体201を載せて回転するターンテーブ
ルである。
【0016】ここでは3次元物体201をターンテーブ
ル203に載せて、カメラ202により撮影する。少し
ずつターンテーブル203を回転させる毎にカメラ20
2によって3次元物体201を撮影してターンテーブル
203が360度回転するまで同じ作業を続ける。得ら
れた多視点画像は、3次元物体存在可能領域算出工程1
02と画像解析工程103へ送られる。
ル203に載せて、カメラ202により撮影する。少し
ずつターンテーブル203を回転させる毎にカメラ20
2によって3次元物体201を撮影してターンテーブル
203が360度回転するまで同じ作業を続ける。得ら
れた多視点画像は、3次元物体存在可能領域算出工程1
02と画像解析工程103へ送られる。
【0017】図3は、多視点画像の一例として、301
はターンテーブルのスタート時に撮影された撮影画像で
あり、302はターンテーブル203を45度回転させ
た時の撮影画像であり、303はターンテーブル203
を90度回転させた時の撮影画像である。この例では3
つの視点からの3枚の多視点画像しかないが、仮に3度
づつターンテーブルを回転させて多視点画像を撮影した
場合、 360[deg]÷3[deg]=120 からわかるように、合計120枚の多視点画像が撮影さ
れることになる。実際に多視点画像を撮影する場合は、
上述したようにカメラ202を固定してターンテーブル
203を回転させて3次元物体201を回転させながら
撮影するのが一般的であるが、3次元物体201が固定
されておりカメラ202が3次元物体201の周りを移
動して撮影したと考えても相対的な関係は変わらないの
で、以降では、3次元物体201が固定されており、カ
メラ202が3次元物体201の周りを移動して多視点
画像を撮影したものとして説明をする、また、説明を簡
略化するために縦方向の視差が無視でき、縦方向(以
降、縦方向をY方向)が一定であるとする。
はターンテーブルのスタート時に撮影された撮影画像で
あり、302はターンテーブル203を45度回転させ
た時の撮影画像であり、303はターンテーブル203
を90度回転させた時の撮影画像である。この例では3
つの視点からの3枚の多視点画像しかないが、仮に3度
づつターンテーブルを回転させて多視点画像を撮影した
場合、 360[deg]÷3[deg]=120 からわかるように、合計120枚の多視点画像が撮影さ
れることになる。実際に多視点画像を撮影する場合は、
上述したようにカメラ202を固定してターンテーブル
203を回転させて3次元物体201を回転させながら
撮影するのが一般的であるが、3次元物体201が固定
されておりカメラ202が3次元物体201の周りを移
動して撮影したと考えても相対的な関係は変わらないの
で、以降では、3次元物体201が固定されており、カ
メラ202が3次元物体201の周りを移動して多視点
画像を撮影したものとして説明をする、また、説明を簡
略化するために縦方向の視差が無視でき、縦方向(以
降、縦方向をY方向)が一定であるとする。
【0018】次に、3次元物体存在可能領域算出工程1
02について説明する。図4(A)、(B)において、
401、406はカメラ位置が0度の時に撮影された多
視点画像301の注目ライン、402はカメラ位置が4
5度の時に撮影された多視点画像302の注目ライン、
403、407はカメラ位置が90度の時に撮影された
多視点画像303の注目ラインである。404は多視点
画像301が撮影された時のカメラ202のレンズ中心
位置、405は多視点画像303が撮影された時のカメ
ラ202のレンズ中心位置、408は3次元物体存在可
能領域である。
02について説明する。図4(A)、(B)において、
401、406はカメラ位置が0度の時に撮影された多
視点画像301の注目ライン、402はカメラ位置が4
5度の時に撮影された多視点画像302の注目ライン、
403、407はカメラ位置が90度の時に撮影された
多視点画像303の注目ラインである。404は多視点
画像301が撮影された時のカメラ202のレンズ中心
位置、405は多視点画像303が撮影された時のカメ
ラ202のレンズ中心位置、408は3次元物体存在可
能領域である。
【0019】ここでは、多視点画像入力工程101によ
って入力された多視点画像のうち、カメラ位置が0度の
時に撮影された画像の注目ライン406と、カメラ位置
が90度の時に撮影された画像の注目ライン407から
3次元物体存在可能領域を算出する方法を説明する。
って入力された多視点画像のうち、カメラ位置が0度の
時に撮影された画像の注目ライン406と、カメラ位置
が90度の時に撮影された画像の注目ライン407から
3次元物体存在可能領域を算出する方法を説明する。
【0020】まず、多視点画像401上での3次元物体
の輪郭線を検出する。さらに注目するライン406を抜
き出す。コンピュータ上の仮想された空間に、カメラ位
置0度の画像が撮影されたレンズ中心404と、注目ラ
イン406を配置する。このレンズ中心と、ライン上に
ある3次元物体201の輪郭線が入っている画素とを結
ぶ逆投影線を、3次元領域存在可能領域408へ向かっ
て引く。図4では6本の逆投影線409、410、41
1、412、413、414が引かれている。2本の逆
投影線に挟まれる領域のうち、409、410に挟まれ
る領域には注目ライン406上の画素に3次元物体が写
っているので、3次元物体201が存在する可能性があ
る領域である。同様に逆投影線411、412に挟まれ
る領域、413、414に挟まれる領域も、3次元物体
201が存在する可能性がある領域である。逆に、逆投
影線409の左側の領域や、410、411に挟まれる
領域には注目ライン406上の画素に3次元物体201
が写っていないので、必ず3次元物体201が存在しな
い領域である。同様に逆投影線412、413に挟まれ
る領域、414の右側の領域も、3次元物体201が存
在しない領域である。
の輪郭線を検出する。さらに注目するライン406を抜
き出す。コンピュータ上の仮想された空間に、カメラ位
置0度の画像が撮影されたレンズ中心404と、注目ラ
イン406を配置する。このレンズ中心と、ライン上に
ある3次元物体201の輪郭線が入っている画素とを結
ぶ逆投影線を、3次元領域存在可能領域408へ向かっ
て引く。図4では6本の逆投影線409、410、41
1、412、413、414が引かれている。2本の逆
投影線に挟まれる領域のうち、409、410に挟まれ
る領域には注目ライン406上の画素に3次元物体が写
っているので、3次元物体201が存在する可能性があ
る領域である。同様に逆投影線411、412に挟まれ
る領域、413、414に挟まれる領域も、3次元物体
201が存在する可能性がある領域である。逆に、逆投
影線409の左側の領域や、410、411に挟まれる
領域には注目ライン406上の画素に3次元物体201
が写っていないので、必ず3次元物体201が存在しな
い領域である。同様に逆投影線412、413に挟まれ
る領域、414の右側の領域も、3次元物体201が存
在しない領域である。
【0021】次に、カメラ位置90度の画像が撮影され
たレンズ中心405と、注目ライン407も、仮想空間
内に配置して、同様の処理を行う。0度と90度の2枚
の画像から算出した3次元物体存在可能領域は408の
塗りつぶされた部分である。
たレンズ中心405と、注目ライン407も、仮想空間
内に配置して、同様の処理を行う。0度と90度の2枚
の画像から算出した3次元物体存在可能領域は408の
塗りつぶされた部分である。
【0022】この説明では、0度と90度の2つの視点
位置で撮影された画像から3次元物体存在可能領域を算
出したが、実際は全周方向から撮影されている多視点画
像全てを用いて3次元物体存在可能領域を算出する。こ
の場合、順に連続した近い視点位置の画像を用いて3次
元物体存在可能領域を算出するよりは、全局を大まかに
視点位置を移動させて算出していく場合の方が、より早
く、3次元物体存在可能領域が絞られる。ひとたび「3
次元物体存在可能領域ではない」と決まった領域は、以
降、逆投影線によって囲まれる領域との重なりを比較し
なくていいので計算時間が早くなる。例えば、始めに0
度、90度、180度、270度の位置の画像で3次元
物体存在可能領域を算出し、次に、45度、135度、
225度、315度の位置の画像で算出し、同様になる
べく近い視点位置が続かないように3次元物体存在可能
領域を算出する。
位置で撮影された画像から3次元物体存在可能領域を算
出したが、実際は全周方向から撮影されている多視点画
像全てを用いて3次元物体存在可能領域を算出する。こ
の場合、順に連続した近い視点位置の画像を用いて3次
元物体存在可能領域を算出するよりは、全局を大まかに
視点位置を移動させて算出していく場合の方が、より早
く、3次元物体存在可能領域が絞られる。ひとたび「3
次元物体存在可能領域ではない」と決まった領域は、以
降、逆投影線によって囲まれる領域との重なりを比較し
なくていいので計算時間が早くなる。例えば、始めに0
度、90度、180度、270度の位置の画像で3次元
物体存在可能領域を算出し、次に、45度、135度、
225度、315度の位置の画像で算出し、同様になる
べく近い視点位置が続かないように3次元物体存在可能
領域を算出する。
【0023】さらに、CG等で用いられているような射
影変換の手法を用いれば、より、演算量を少なくするこ
とができる。このようにして実際に3度刻み120枚の
多視点画像を用いて3次元物体存在可能領域を算出した
一例が図5である。
影変換の手法を用いれば、より、演算量を少なくするこ
とができる。このようにして実際に3度刻み120枚の
多視点画像を用いて3次元物体存在可能領域を算出した
一例が図5である。
【0024】次に図6、図7、図8を用いて、画像解析
工程103について説明する。図6は従来より提案され
ている光線情報の円筒記録手法と呼ばれる手法を説明す
る図である。これは実空間内にある基準平面を仮定し、
この平面を通過する光の集合として3次元空間を表現す
る手法である。実空間内の(X,Z)を通過し、θ方向
に伝搬する光線は、法線ベクトルの方向がθである基準
平面における通過位置P、および、伝搬方向θを用いて
表現することができる。つまり、光線を(P,θ)で表
現する。P,θとX,Zとの関係は、図6から分かるよ
うに、
工程103について説明する。図6は従来より提案され
ている光線情報の円筒記録手法と呼ばれる手法を説明す
る図である。これは実空間内にある基準平面を仮定し、
この平面を通過する光の集合として3次元空間を表現す
る手法である。実空間内の(X,Z)を通過し、θ方向
に伝搬する光線は、法線ベクトルの方向がθである基準
平面における通過位置P、および、伝搬方向θを用いて
表現することができる。つまり、光線を(P,θ)で表
現する。P,θとX,Zとの関係は、図6から分かるよ
うに、
【0025】
【数1】 となる。上式からわかるように、実空間内の一点を通る
光線の性質は、P−θ平面上では一本のsin曲線とし
て表現される。
光線の性質は、P−θ平面上では一本のsin曲線とし
て表現される。
【0026】図6でのθを様々に変化させて、(P,
θ)から成り立つ空間に光線の輝度値を記録したものが
光線空間である。θを360度まで変化させた場合、基
準平面が円筒状に並ぶので、図6による光線空間への光
線情報の記録方法を光線情報の円筒記録方法と呼ぶ。こ
の方法では3次元物体から全周方向へ発せられる光線を
記録することができるという利点がある。
θ)から成り立つ空間に光線の輝度値を記録したものが
光線空間である。θを360度まで変化させた場合、基
準平面が円筒状に並ぶので、図6による光線空間への光
線情報の記録方法を光線情報の円筒記録方法と呼ぶ。こ
の方法では3次元物体から全周方向へ発せられる光線を
記録することができるという利点がある。
【0027】以上の説明より、ある視点からカメラで撮
影した画像とは、その視点位置(X,Z)を通過する光
線を記録してあるものなので、画像が光線空間の部分空
間になっている。よって、ひとつの注目ラインはP−θ
平面では1本のsin曲線へ変換される。多くの視点画
像を用いることにより、光線空間を密に埋めていくこと
ができる。
影した画像とは、その視点位置(X,Z)を通過する光
線を記録してあるものなので、画像が光線空間の部分空
間になっている。よって、ひとつの注目ラインはP−θ
平面では1本のsin曲線へ変換される。多くの視点画
像を用いることにより、光線空間を密に埋めていくこと
ができる。
【0028】また、3次元物体上の1点から発せられる
光線も、その位置(X,Z)から発せられる光線として
P−θ平面上に記録されるので、1本のsin曲線とし
てP−θ平面上に現れる。
光線も、その位置(X,Z)から発せられる光線として
P−θ平面上に記録されるので、1本のsin曲線とし
てP−θ平面上に現れる。
【0029】画像解析工程103では、多視点画像入力
工程101より得られた多視点画像を用いることで、上
記の手法に従って光線空間を埋めている。このようにし
て120枚の多視点画像を用いて注目ラインにおける光
線空間(P−θ平面)を算出した一例が図7である。
工程101より得られた多視点画像を用いることで、上
記の手法に従って光線空間を埋めている。このようにし
て120枚の多視点画像を用いて注目ラインにおける光
線空間(P−θ平面)を算出した一例が図7である。
【0030】今まで、このP−θ平面を解析することに
よって形状を推定する場合、実空間内での全ての(r,
ψ)について、sin曲線を図7のようなP−θ平面上
でマッチングをとり、多くの点がフィットしているsi
n曲線の(r,ψ)に実際に3次元物体上の点が存在す
るとして判定していた。
よって形状を推定する場合、実空間内での全ての(r,
ψ)について、sin曲線を図7のようなP−θ平面上
でマッチングをとり、多くの点がフィットしているsi
n曲線の(r,ψ)に実際に3次元物体上の点が存在す
るとして判定していた。
【0031】本実施形態の画像解析工程103では、3
次元物体存在可能領域算出工程102により図5のよう
な3次元物体存在可能領域408が算出されているの
で、この3次元物体存在可能領域内の(r,ψ)のsi
n曲線のみを、P−θ平面上で調べればよいことになり
無駄な演算を大幅に減らすことができる。
次元物体存在可能領域算出工程102により図5のよう
な3次元物体存在可能領域408が算出されているの
で、この3次元物体存在可能領域内の(r,ψ)のsi
n曲線のみを、P−θ平面上で調べればよいことになり
無駄な演算を大幅に減らすことができる。
【0032】図8を用いて画像解析工程103の具体的
な解析方法について説明する。801は多視点画像入力
工程101より入力された多視点画像(図3参照)、8
02は3次元物体存在可能領域算出工程102より算出
された3次元物体存在可能領域(図5参照)、803は
多視点画像801を光線空間(P−θ平面:図7参照)
に変換する光線空間作成工程、804は光線空間での特
徴点を抽出する特徴点抽出工程、805は抽出された特
徴点について投票という手段で実空間に実在するかどう
かを判定する投票による判定工程、806は投票による
判定工程805によって得られる同一点の対応情報より
計測された形状推定結果である。
な解析方法について説明する。801は多視点画像入力
工程101より入力された多視点画像(図3参照)、8
02は3次元物体存在可能領域算出工程102より算出
された3次元物体存在可能領域(図5参照)、803は
多視点画像801を光線空間(P−θ平面:図7参照)
に変換する光線空間作成工程、804は光線空間での特
徴点を抽出する特徴点抽出工程、805は抽出された特
徴点について投票という手段で実空間に実在するかどう
かを判定する投票による判定工程、806は投票による
判定工程805によって得られる同一点の対応情報より
計測された形状推定結果である。
【0033】光線空間作成工程803は、式(2)によ
って、多視点画像801の撮影位置(r,ψ)に応じて
注目ラインの各画素をP−θ平面上へ変換してプロット
する。全多視点画像の注目されているラインについて、
この変換を行う。
って、多視点画像801の撮影位置(r,ψ)に応じて
注目ラインの各画素をP−θ平面上へ変換してプロット
する。全多視点画像の注目されているラインについて、
この変換を行う。
【0034】次に、特徴点抽出工程804の説明をす
る。光線空間作成工程803によって得られたP−θ平
面(図7参照)は、形状を判定する場合、輝度値が同じ
で一様な領域では同一点の対応づけが不可能になる。よ
って、特徴点抽出工程804によって、P−θ平面上で
のエッジ部分や、輝度値が大きく変化している部分を特
徴点として抽出する。この特徴点が抽出された光線空間
情報(P−θ平面)を投票による判定工程805に送
る。
る。光線空間作成工程803によって得られたP−θ平
面(図7参照)は、形状を判定する場合、輝度値が同じ
で一様な領域では同一点の対応づけが不可能になる。よ
って、特徴点抽出工程804によって、P−θ平面上で
のエッジ部分や、輝度値が大きく変化している部分を特
徴点として抽出する。この特徴点が抽出された光線空間
情報(P−θ平面)を投票による判定工程805に送
る。
【0035】投票による判定工程805では、一組の
(r,ψ)のsin曲線をP−θ平面上に描画する。こ
のsin曲線上に、より多くの特徴点が存在して、同一
点としての対応があると判定された場合、この(r,
ψ)の組が、3次元物体の特徴点が存在する位置として
計測される。今までは実空間内の全ての(r,ψ)につ
いて投票・判定を行わなければならなかったが、本実施
形態によれば、調べるべき(r,ψ)のsin曲線は、
3次元物体存在可能領域802を用いることによって、
この領域内での(r,ψ)のみを調べればよいことにな
る。
(r,ψ)のsin曲線をP−θ平面上に描画する。こ
のsin曲線上に、より多くの特徴点が存在して、同一
点としての対応があると判定された場合、この(r,
ψ)の組が、3次元物体の特徴点が存在する位置として
計測される。今までは実空間内の全ての(r,ψ)につ
いて投票・判定を行わなければならなかったが、本実施
形態によれば、調べるべき(r,ψ)のsin曲線は、
3次元物体存在可能領域802を用いることによって、
この領域内での(r,ψ)のみを調べればよいことにな
る。
【0036】同一点としての対応を求める場合、2つの
指標を用いると、より、光線の性質に即した対応関係を
求めることができる。異なる多視点画像に撮影されてい
る2つの点L1 (r1 ,g1 ,b1 ),L2 (r2 ,g
2 ,b2 )が、3次元物体上での同一点であるかどうか
を判定する場合、輝度の変化の量dL(各RGB成分の
差の平方和)と、輝度ベクトルの変化の量dβ(各RG
Bベクトルの成す角)が、ある閾値以下であるかどうか
を組み合わせて用いる。
指標を用いると、より、光線の性質に即した対応関係を
求めることができる。異なる多視点画像に撮影されてい
る2つの点L1 (r1 ,g1 ,b1 ),L2 (r2 ,g
2 ,b2 )が、3次元物体上での同一点であるかどうか
を判定する場合、輝度の変化の量dL(各RGB成分の
差の平方和)と、輝度ベクトルの変化の量dβ(各RG
Bベクトルの成す角)が、ある閾値以下であるかどうか
を組み合わせて用いる。
【0037】
【数2】
【0038】自然画像において、光の反射は完全拡散と
いう仮定を離れて、同じ点であっても見る方向が異なれ
ば輝度が変化して見える。dL、dβの閾値をそれぞれ
撮影された3次元物体の性質によって調整することによ
り、今までは見つけることが困難であった対応関係を見
つけることが可能になる。
いう仮定を離れて、同じ点であっても見る方向が異なれ
ば輝度が変化して見える。dL、dβの閾値をそれぞれ
撮影された3次元物体の性質によって調整することによ
り、今までは見つけることが困難であった対応関係を見
つけることが可能になる。
【0039】投票による判定工程805によって得られ
た(r,ψ)の組は、3次元物体上の特徴点の位置を表
している。この(r,ψ)全てを形状推定結果806と
して出力しても構わないが、場合によっては、同じ特徴
点の候補が複数選ばれていることもあるので、3次元空
間内で距離の近い(r,ψ)の組をグループ化して、そ
のグループのなかで、最も対応関係が確からしい点のみ
をさらに選ぶという工程を行うことも可能である。この
ようにして実際に3度刻み120枚の多視点画像を用い
て注目ラインでの特徴点の形状を計測した一例が図9で
ある。
た(r,ψ)の組は、3次元物体上の特徴点の位置を表
している。この(r,ψ)全てを形状推定結果806と
して出力しても構わないが、場合によっては、同じ特徴
点の候補が複数選ばれていることもあるので、3次元空
間内で距離の近い(r,ψ)の組をグループ化して、そ
のグループのなかで、最も対応関係が確からしい点のみ
をさらに選ぶという工程を行うことも可能である。この
ようにして実際に3度刻み120枚の多視点画像を用い
て注目ラインでの特徴点の形状を計測した一例が図9で
ある。
【0040】以上の処理を多視点画像の全てのラインに
対して行うことにより、複雑な凹凸の3次元物体の形状
計測が可能になる。 (第2実施形態)図10は第2実施形態の画像処理装置
の構成を示す図である。図10において、1001は3
次元物体を複数の地点から撮影した画像を入力する多視
点画像入力手段、1002は多視点画像入力手段100
1によって入力された多視点画像に撮影されている3次
元物体の輪郭線から3次元物体の存在可能領域を算出す
る3次元物体存在可能領域算出手段、1003は多視点
画像入力手段1001によって入力された多視点画像と
3次元物体存在可能領域算出手段1002によって算出
された3次元物体存在可能領域を用いて各多視点画像間
の同一点の対応を求めて形状を計測する画像解析手段で
ある。
対して行うことにより、複雑な凹凸の3次元物体の形状
計測が可能になる。 (第2実施形態)図10は第2実施形態の画像処理装置
の構成を示す図である。図10において、1001は3
次元物体を複数の地点から撮影した画像を入力する多視
点画像入力手段、1002は多視点画像入力手段100
1によって入力された多視点画像に撮影されている3次
元物体の輪郭線から3次元物体の存在可能領域を算出す
る3次元物体存在可能領域算出手段、1003は多視点
画像入力手段1001によって入力された多視点画像と
3次元物体存在可能領域算出手段1002によって算出
された3次元物体存在可能領域を用いて各多視点画像間
の同一点の対応を求めて形状を計測する画像解析手段で
ある。
【0041】図10における多視点画像入力手段100
1は、第1実施形態の図1における多視点画像入力工程
101で説明した方法によって3次元物体の多視点画像
を撮影する手段である。図10における3次元物体存在
可能領域算出手段1002は、第1実施形態の図1にお
ける3次元物体存在可能領域算出工程102で説明した
方法によって3次元物体の存在可能領域を算出する手段
である。図10における画像解析手段1003は、第1
実施形態の図1における画像解析工程103で説明した
方法によって画像を解析して3次元物体の形状を計測す
る手段である。
1は、第1実施形態の図1における多視点画像入力工程
101で説明した方法によって3次元物体の多視点画像
を撮影する手段である。図10における3次元物体存在
可能領域算出手段1002は、第1実施形態の図1にお
ける3次元物体存在可能領域算出工程102で説明した
方法によって3次元物体の存在可能領域を算出する手段
である。図10における画像解析手段1003は、第1
実施形態の図1における画像解析工程103で説明した
方法によって画像を解析して3次元物体の形状を計測す
る手段である。
【0042】(第3実施形態)第1実施形態の画像処理
方法では、Y方向の視差を考慮せずに形状計測を行っ
た。しかし、Y方向の視差を考慮した場合でも、上記第
1実施形態、第2実施形態と同様の処理によって、より
精度の高い形状計測が可能になる。以下に、Y方向を考
慮した画像処理方法および画像処理装置について説明す
る。
方法では、Y方向の視差を考慮せずに形状計測を行っ
た。しかし、Y方向の視差を考慮した場合でも、上記第
1実施形態、第2実施形態と同様の処理によって、より
精度の高い形状計測が可能になる。以下に、Y方向を考
慮した画像処理方法および画像処理装置について説明す
る。
【0043】図11は第3実施形態を説明するための図
である。Y方向を考慮した場合、3次元物体上の点(特
徴点)が多視点画像のどこに写るかを示している。θ方
向から3次元物体を撮影することは、カメラ位置を固定
して3次元物体上の点がθ度回転した状態で撮影するこ
とと相対的には等しい。図11中の3次元物体上の特徴
点1101は、投影線1102と撮影画像1103との
交点の位置1104に撮影される。カメラが3次元物体
の周りを一周する、つまり、3次元物体上の特徴点11
01が360度回転した場合、撮影画像に写る点の軌跡
は、図11の曲線1105のようにY方向が変化する。
つまり、異なるライン上に撮影される。図11中のよう
に各パラメータを設定してこの投影点1104の軌跡1
105を求めると、以下の数式で表される楕円上に各投
影点が写されることがわかる。
である。Y方向を考慮した場合、3次元物体上の点(特
徴点)が多視点画像のどこに写るかを示している。θ方
向から3次元物体を撮影することは、カメラ位置を固定
して3次元物体上の点がθ度回転した状態で撮影するこ
とと相対的には等しい。図11中の3次元物体上の特徴
点1101は、投影線1102と撮影画像1103との
交点の位置1104に撮影される。カメラが3次元物体
の周りを一周する、つまり、3次元物体上の特徴点11
01が360度回転した場合、撮影画像に写る点の軌跡
は、図11の曲線1105のようにY方向が変化する。
つまり、異なるライン上に撮影される。図11中のよう
に各パラメータを設定してこの投影点1104の軌跡1
105を求めると、以下の数式で表される楕円上に各投
影点が写されることがわかる。
【0044】
【数3】
【0045】よって、前記3次元物体存在可能領域算出
工程102、および前記3次元物体存在可能領域算出手
段1002において、図11のように逆投影線1102
を引くことにより、Y方向を考慮した3次元物体存在可
能領域を算出することができる。
工程102、および前記3次元物体存在可能領域算出手
段1002において、図11のように逆投影線1102
を引くことにより、Y方向を考慮した3次元物体存在可
能領域を算出することができる。
【0046】また、前記画像解析工程103、および前
記画像解析手段1003において、(r,ψ)で表され
る特徴点を判定する際、図11の画像位置1104で投
票による判定工程805を行うことにより、Y方向を考
慮した形状計測をおこなうことが可能になる。
記画像解析手段1003において、(r,ψ)で表され
る特徴点を判定する際、図11の画像位置1104で投
票による判定工程805を行うことにより、Y方向を考
慮した形状計測をおこなうことが可能になる。
【0047】
【発明の効果】以上記述したように本発明の画像処理方
法および画像処理装置によれば、対象物の輪郭線から求
めた3次元物体の存在可能領域情報を用いているので、
対象物の形状を測定する際の3次元物体の同一点の対応
付けを判定する際の演算量を大幅に削減することができ
るという効果を奏する。
法および画像処理装置によれば、対象物の輪郭線から求
めた3次元物体の存在可能領域情報を用いているので、
対象物の形状を測定する際の3次元物体の同一点の対応
付けを判定する際の演算量を大幅に削減することができ
るという効果を奏する。
【0048】また、本発明の画像処理方法および画像処
理装置によれば、3次元物体の存在可能領域内でのみ形
状が推定されるので、形状計測の精度を高めることがで
きるという効果を奏する。
理装置によれば、3次元物体の存在可能領域内でのみ形
状が推定されるので、形状計測の精度を高めることがで
きるという効果を奏する。
【図1】本発明の第1実施形態の画像処理方法の流れを
示すフローチャートである。
示すフローチャートである。
【図2】本発明の第1実施形態の画像処理方法の多視点
画像入力工程101における多視点画像の取得方法の説
明図である。
画像入力工程101における多視点画像の取得方法の説
明図である。
【図3】本発明の第1実施形態の画像処理方法の多視点
画像入力工程101により取得された多視点画像の一例
を示す図である。
画像入力工程101により取得された多視点画像の一例
を示す図である。
【図4】本発明の第1実施形態の画像処理方法の3次元
物体存在可能領域算出工程102が多視点画像より3次
元物体存在可能領域を算出する手法の説明図である。
物体存在可能領域算出工程102が多視点画像より3次
元物体存在可能領域を算出する手法の説明図である。
【図5】本発明の第1実施形態の画像処理方法の3次元
存在可能領域算出工程102が算出した3次元物体存在
可能領域の一例を示す図である。
存在可能領域算出工程102が算出した3次元物体存在
可能領域の一例を示す図である。
【図6】本発明の第1実施形態の画像処理方法の画像解
析工程103の光線空間データ作成の説明図である。
析工程103の光線空間データ作成の説明図である。
【図7】本発明の第1実施形態の画像処理方法の画像解
析工程103が作成した光線空間データの一例を示す図
である。
析工程103が作成した光線空間データの一例を示す図
である。
【図8】本発明の第1実施形態の画像処理方法の画像解
析工程103の処理の流れを示すフローチャートであ
る。
析工程103の処理の流れを示すフローチャートであ
る。
【図9】本発明の第1実施形態の画像処理方法の画像解
析工程103が3次元物体の形状を計測した一例を示す
図である。
析工程103が3次元物体の形状を計測した一例を示す
図である。
【図10】本発明の第2実施形態の画像処理装置の構成
図である。
図である。
【図11】本発明の第3実施形態の画像処理方法、およ
び画像処理装置を説明する図である。
び画像処理装置を説明する図である。
【図12】3次元物体の形状を求める従来の技術をまと
めた図である。
めた図である。
101…多視点画像入力工程、 102…3次元物体存在可能領域算出工程、 103…画像解析工程、 201…3次元物体、 202…カメラ、 203…ターンテーブル、 801…多視点画像、 802…3次元物体存在可能領域、 803…光線空間作成工程、 804…特徴点抽出工程、 805…投票による判定工程、 806…形状推定結果、 1001…多視点画像入力手段、 1002…3次元物体存在可能領域算出手段、 1003…画像解析手段、 1101…3次元物体上の特徴点、 1102…投影線、 1103…撮影画像、 1104…投影線と撮影画像の交点である投影点、 1105…投影点の軌跡(楕円)。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 高橋 克己 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 Fターム(参考) 2F065 AA04 AA53 BB05 DD06 FF01 FF05 JJ03 JJ19 JJ26 PP13 QQ31 QQ45 5B057 BA17 CA13 CA16 DA08 DC09 DC16
Claims (4)
- 【請求項1】 3次元物体を複数の地点から撮影した多
視点画像を入力する多視点画像入力工程と、 この多視点画像入力工程で入力された多視点画像に撮影
されている前記3次元物体の輪郭線に基づいて3次元物
体の存在可能領域を算出する3次元物体存在可能領域算
出工程と、 この3次元物体存在可能領域算出工程で算出された3次
元物体存在可能領域に関する情報を用いて前記入力され
た多視点画像の各画像に撮影されている3次元物体の同
一点を対応付けることにより、3次元物体の形状計測を
行う画像解析工程とを具備することを特徴とする画像処
理方法。 - 【請求項2】 前記3次元物体存在可能領域算出工程と
前記画像解析工程では、多視点画像の縦方向の視差を考
慮して処理を行うことを特徴とする請求項1記載の画像
処理方法。 - 【請求項3】 3次元物体を複数の地点から撮影した多
視点画像を入力する多視点画像入力手段と、 この多視点画像入力手段によって入力された多視点画像
に撮影されている前記3次元物体の輪郭線に基づいて3
次元物体の存在可能領域を算出する3次元物体存在可能
領域算出手段と、 この3次元物体存在可能領域算出手段で算出された3次
元物体存在可能領域に関する情報を用いて前記入力され
た多視点画像の各画像に撮影されている3次元物体の同
一点を対応付けることにより、3次元物体の形状計測を
行う画像解析手段とを具備することを特徴とする画像処
理装置。 - 【請求項4】 前記3次元物体存在可能領域算出手段と
前記画像解析手段とは、多視点画像の縦方向の視差を考
慮して処理を行うことを特徴とする請求項3記載の画像
処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10184319A JP2000020720A (ja) | 1998-06-30 | 1998-06-30 | 画像処理方法および画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10184319A JP2000020720A (ja) | 1998-06-30 | 1998-06-30 | 画像処理方法および画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000020720A true JP2000020720A (ja) | 2000-01-21 |
Family
ID=16151262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10184319A Pending JP2000020720A (ja) | 1998-06-30 | 1998-06-30 | 画像処理方法および画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000020720A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011118476A1 (ja) * | 2010-03-25 | 2011-09-29 | 株式会社東芝 | 3次元距離計測装置及びその方法 |
-
1998
- 1998-06-30 JP JP10184319A patent/JP2000020720A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011118476A1 (ja) * | 2010-03-25 | 2011-09-29 | 株式会社東芝 | 3次元距離計測装置及びその方法 |
JP2011203108A (ja) * | 2010-03-25 | 2011-10-13 | Toshiba Corp | 3次元距離計測装置及びその方法 |
US9214024B2 (en) | 2010-03-25 | 2015-12-15 | Kabushiki Kaisha Toshiba | Three-dimensional distance measurement apparatus and method therefor |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8447099B2 (en) | Forming 3D models using two images | |
Rashidi et al. | Generating absolute-scale point cloud data of built infrastructure scenes using a monocular camera setting | |
RU2668404C2 (ru) | Устройство для записи изображения в трехмерном масштабе, способ создания 3D-изображения и способ формирования устройства для записи изображения в трехмерном масштабе | |
JP2874710B2 (ja) | 三次元位置計測装置 | |
US20090196491A1 (en) | Method for automated 3d imaging | |
US20130050476A1 (en) | Structured-Light Based Measuring Method and System | |
CN108513121B (zh) | 用于场景的景深图评估的方法和设备 | |
JP2003130621A (ja) | 3次元形状計測方法およびその装置 | |
JP2017510793A (ja) | 2つのカメラからの曲線の集合の構造化光整合 | |
EP0880010A2 (en) | Measuring apparatus | |
CN114608522B (zh) | 一种基于视觉的障碍物识别与测距方法 | |
JP5563930B2 (ja) | 非接触三次元計測装置及び非接触三次元計測方法 | |
Hsu et al. | Distance and angle measurement of objects on an oblique plane based on pixel number variation of CCD images | |
JP2000205821A (ja) | 三次元形状計測装置及びその三次元形状計測方法 | |
JP2003006618A (ja) | 3次元モデルの生成方法および装置並びにコンピュータプログラム | |
JP3221384B2 (ja) | 三次元座標計測装置 | |
JP2000020720A (ja) | 画像処理方法および画像処理装置 | |
JP3728460B2 (ja) | ステレオカメラの最適配置決定方法とそのシステム | |
Lari et al. | Multi-camera system calibration with built-in relative orientation constraints (part 2) automation, implementation, and experimental results | |
JPH10318732A (ja) | 形状測定装置及び形状測定用画像形成装置 | |
JP4153322B2 (ja) | 写真測量における計測点の対応付け方法及び装置 | |
Cui et al. | Epipolar geometry for prism-based single-lens stereovision | |
JPH10318715A (ja) | 画像測定装置 | |
JP2000028355A (ja) | 3次元画像処理装置 | |
JPH07174553A (ja) | ステレオカメラ装置および距離導出方法 |