JP2003090711A - ３次元画像撮像装置および方法 - Google Patents
３次元画像撮像装置および方法Info
- Publication number
- JP2003090711A JP2003090711A JP2001282757A JP2001282757A JP2003090711A JP 2003090711 A JP2003090711 A JP 2003090711A JP 2001282757 A JP2001282757 A JP 2001282757A JP 2001282757 A JP2001282757 A JP 2001282757A JP 2003090711 A JP2003090711 A JP 2003090711A
- Authority
- JP
- Japan
- Prior art keywords
- displacement amount
- image capturing
- distance
- image
- units
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【課題】 ステレオ画像法による形状測定の計測領域を
拡大する。 【解決手段】 移動式撮像系１０１、１０２は、移動保
持手段１０８ａ、１０８ｂにより移動可能に保持され
る。対象物の撮像領域を拡大して計測不能領域を低減す
べく撮像系の位置を設定する。本体１０３には、画像処
理系１０４、電気系１０５、キャリブレーションパラメ
ータ記憶手段１０６が設けれている。第１の移動式撮像
系１０１には、距離変位量検出手段２０１および姿勢変
位量検出手段２０２が具備され、第２の移動式撮像系１
０２には、姿勢変位量検出手段２０３が具備されてい
る。距離変位量および姿勢変位量に基づいてキャリブレ
ーションパラメータを補正してこのパラメータに基づい
て対象物の対応点の距離を算出する。
拡大する。 【解決手段】 移動式撮像系１０１、１０２は、移動保
持手段１０８ａ、１０８ｂにより移動可能に保持され
る。対象物の撮像領域を拡大して計測不能領域を低減す
べく撮像系の位置を設定する。本体１０３には、画像処
理系１０４、電気系１０５、キャリブレーションパラメ
ータ記憶手段１０６が設けれている。第１の移動式撮像
系１０１には、距離変位量検出手段２０１および姿勢変
位量検出手段２０２が具備され、第２の移動式撮像系１
０２には、姿勢変位量検出手段２０３が具備されてい
る。距離変位量および姿勢変位量に基づいてキャリブレ
ーションパラメータを補正してこのパラメータに基づい
て対象物の対応点の距離を算出する。
Description
【０００１】
【発明の属する技術分野】本発明は、複数のカメラによ
るステレオ画像法により輝度情報とともに距離情報を入
手する画像撮影装置およびに方法係り、とくに、各カメ
ラのレイアウトをフリーにすることにより、計測領域を
広げ、使い勝手を向上させることを可能にしたものであ
る。
るステレオ画像法により輝度情報とともに距離情報を入
手する画像撮影装置およびに方法係り、とくに、各カメ
ラのレイアウトをフリーにすることにより、計測領域を
広げ、使い勝手を向上させることを可能にしたものであ
る。
【０００２】
【従来の技術】対象物体の形状を測定する手法として、
パッシブ手法（ステレオ画像法、ｓｈａｐｅ ｆｒｏｍ
Ｘ）とアクティブ手法（光飛行時間測定法、ステレオ
画像法）に大別される。パッシブ手法とアクティブ手法
の違いは、対象物に対し何らかなエネルギーを照射する
か否かの差である。両者の手法においてそれぞれ存在す
るステレオ画像法は、複数のカメラによって同一対象物
を撮像し、撮像画像における対応点を抽出し、三角測量
により距離画像を算出する方式である。
パッシブ手法（ステレオ画像法、ｓｈａｐｅ ｆｒｏｍ
Ｘ）とアクティブ手法（光飛行時間測定法、ステレオ
画像法）に大別される。パッシブ手法とアクティブ手法
の違いは、対象物に対し何らかなエネルギーを照射する
か否かの差である。両者の手法においてそれぞれ存在す
るステレオ画像法は、複数のカメラによって同一対象物
を撮像し、撮像画像における対応点を抽出し、三角測量
により距離画像を算出する方式である。
【０００３】図６にパッシブ手法のステレオ画像法によ
る従来の３次元画像撮像装置を示す。図６において、本
体３０３に固定の撮像系３０１、３０２、画像処理系３
０４、電気系３０５が実装されている。これら実装要素
は筐体３０７により保持されている。本体３０３には、
パーソナルコンピュータ３０９が接続され、種々の処理
を行うようになっている。撮像系３０１、３０２により
撮像を行い、これらの撮像画像における対応点を抽出
し、三角測量により距離を算出する。
る従来の３次元画像撮像装置を示す。図６において、本
体３０３に固定の撮像系３０１、３０２、画像処理系３
０４、電気系３０５が実装されている。これら実装要素
は筐体３０７により保持されている。本体３０３には、
パーソナルコンピュータ３０９が接続され、種々の処理
を行うようになっている。撮像系３０１、３０２により
撮像を行い、これらの撮像画像における対応点を抽出
し、三角測量により距離を算出する。
【０００４】一般に、ステレオ画像法は、特殊なデバイ
スを使用せずに３次元撮像装置を実現できるというメリ
ットがある一方、カメラのキャリブレーションを必要と
し、その工程が煩雑である、計測できない領域であるオ
クルージョンが必ず存在する等のデメリットがある。キ
ャリブレーションは、カメラの姿勢方向に依存するた
め、カメラ間の距離や姿勢などのレイアウトが変わると
カメラキャリブレーションを再度行う必要があり、これ
がさらに煩雑な工程を招いていた。従って基本的にステ
レオ画像法を計測手法に用いた３次元画像撮像装置は、
装置内の各コンポーネントである撮像系、画像処理系、
電気系の位置関係が固定であり、一つの筐体に作り込ま
れている。そのため装置本体は大型化し、可動性が悪
く、計測領域が限定されるという問題があった。
スを使用せずに３次元撮像装置を実現できるというメリ
ットがある一方、カメラのキャリブレーションを必要と
し、その工程が煩雑である、計測できない領域であるオ
クルージョンが必ず存在する等のデメリットがある。キ
ャリブレーションは、カメラの姿勢方向に依存するた
め、カメラ間の距離や姿勢などのレイアウトが変わると
カメラキャリブレーションを再度行う必要があり、これ
がさらに煩雑な工程を招いていた。従って基本的にステ
レオ画像法を計測手法に用いた３次元画像撮像装置は、
装置内の各コンポーネントである撮像系、画像処理系、
電気系の位置関係が固定であり、一つの筐体に作り込ま
れている。そのため装置本体は大型化し、可動性が悪
く、計測領域が限定されるという問題があった。
【０００５】オクルージョンは、凹凸がある対象物を二
つのカメラで撮像するときにそれぞれのカメラの視線方
向が違うために、一方のカメラでは撮像できる領域が他
方のカメラでは撮像できない領域が存在しすることから
発生する。そこで対象物の形状に合わせて二つのカメラ
を独立かつ自由に移動させることができれば、オクルー
ジョン領域を低減できるカメラ配置の設定が可能にな
る。またカメラの位置やアングルを自由に変えることが
できれば、装置本体を移動させることなく、任意視点に
おける対象物の距離画像を手軽に取得できることができ
る。しかしながら、上述した理由により、３次元画像撮
像装置内の各コンポーネントは固定であるため、これら
の要求は実現できないのが現状である。
つのカメラで撮像するときにそれぞれのカメラの視線方
向が違うために、一方のカメラでは撮像できる領域が他
方のカメラでは撮像できない領域が存在しすることから
発生する。そこで対象物の形状に合わせて二つのカメラ
を独立かつ自由に移動させることができれば、オクルー
ジョン領域を低減できるカメラ配置の設定が可能にな
る。またカメラの位置やアングルを自由に変えることが
できれば、装置本体を移動させることなく、任意視点に
おける対象物の距離画像を手軽に取得できることができ
る。しかしながら、上述した理由により、３次元画像撮
像装置内の各コンポーネントは固定であるため、これら
の要求は実現できないのが現状である。
【０００６】
【発明が解決しようとする課題】そこで本発明では、可
動性がよく、計測領域が広く、オクルージョン領域を緩
和でき、キャリブレーションの煩雑さを解消できる３次
元画像撮像装置および方法を提供することを目的とす
る。
動性がよく、計測領域が広く、オクルージョン領域を緩
和でき、キャリブレーションの煩雑さを解消できる３次
元画像撮像装置および方法を提供することを目的とす
る。
【０００７】
【課題を解決するための手段】本発明の一側面によれ
ば、上述の目的を達成するために、複数の撮像部と該撮
像部から得られた複数の画像と該複数の撮像部における
カメラのキャリブレーションパラメータを用いて距離画
像を算出する３次元画像撮像装置において、複数の撮像
部は互いに自由に移動可能であり、かつ複数の撮像部間
距離の変位量を検出する距離変位量検出手段と各撮像部
の姿勢方向の変位量を検出する姿勢変位量検出手段を有
し、該複数の撮像部におけるカメラの各々において実施
したキャリブレーションにより求めたキャリブレーショ
ンパラメータを記憶するパラメータ記憶手段を有し、該
距離変位量検出手段および該姿勢変位量検出手段により
求めた撮像部間距離の変位量および各撮像部の姿勢方向
の変位量により、該パラメータ記憶手段に記憶されたキ
ャリブレーションパラメータを補正することを特徴とす
る。
ば、上述の目的を達成するために、複数の撮像部と該撮
像部から得られた複数の画像と該複数の撮像部における
カメラのキャリブレーションパラメータを用いて距離画
像を算出する３次元画像撮像装置において、複数の撮像
部は互いに自由に移動可能であり、かつ複数の撮像部間
距離の変位量を検出する距離変位量検出手段と各撮像部
の姿勢方向の変位量を検出する姿勢変位量検出手段を有
し、該複数の撮像部におけるカメラの各々において実施
したキャリブレーションにより求めたキャリブレーショ
ンパラメータを記憶するパラメータ記憶手段を有し、該
距離変位量検出手段および該姿勢変位量検出手段により
求めた撮像部間距離の変位量および各撮像部の姿勢方向
の変位量により、該パラメータ記憶手段に記憶されたキ
ャリブレーションパラメータを補正することを特徴とす
る。
【０００８】この構成においては、撮像部を移動可能に
しているのでオクルージョン領域を削減することができ
る。しかも、変位量に応じてキャリブレーションパラメ
ータを補正するようにしているので、再キャリブレーシ
ョンを伴いことなく、初期設定時の精度を維持すること
ができる。
しているのでオクルージョン領域を削減することができ
る。しかも、変位量に応じてキャリブレーションパラメ
ータを補正するようにしているので、再キャリブレーシ
ョンを伴いことなく、初期設定時の精度を維持すること
ができる。
【０００９】なお、すべての撮像部を移動可能とするの
でなく、一部の撮像部のみ移動可能にしてもよい。
でなく、一部の撮像部のみ移動可能にしてもよい。
【００１０】また、本発明は装置またはシステムとして
実現できるのみならず、方法の態様でも実現可能であ
り、少なくともその一部をコンピュータプログラムとし
て実装可能である。
実現できるのみならず、方法の態様でも実現可能であ
り、少なくともその一部をコンピュータプログラムとし
て実装可能である。
【００１１】本発明の上述の側面および本発明の他の側
面は特許請求の範囲に記載され、以下、実施例を用いて
詳細に説明される。
面は特許請求の範囲に記載され、以下、実施例を用いて
詳細に説明される。
【００１２】
【発明の実施の形態】以下、図面を参照しながら本発明
を具体的に説明する。図１に本発明の実施例の構成図を
示す。図１において、本実施例における３次元画像撮影
装置１００は、基本的には、二つの移動式撮像系（第１
の移動式撮像系および第２の移動式撮像系）１０１、１
０２、本体１０３、パーソナルコンピュータ１０９を含
んで構成されている。本体１０３には、画像処理系１０
４と電気系１０５とカメラのキャリブレーション時に求
めたキャリブレーションパラメータを記憶するキャリブ
レーションパラメータ記憶手段１０６とがコンポーネン
トとして存在し、筐体１０７により一つに収められてい
る。パーソナルコンピュータ１０９は、本体１０３の制
御（図４および図５の処理も含まれる。キャリブレーシ
ョンパラメータの補正手段）を実行し、かつ、得られた
３次元画像を表示するための装置である。移動式撮像系
１０１、１０２は、ケーブルにより本体１０３から分離
され、それぞれ移動保持手段１０８ａ、１０８ｂにより
自由に移動が可能である。移動は、手作業で行ってもよ
いし、所定の駆動手段を用いて行ってもよい。
を具体的に説明する。図１に本発明の実施例の構成図を
示す。図１において、本実施例における３次元画像撮影
装置１００は、基本的には、二つの移動式撮像系（第１
の移動式撮像系および第２の移動式撮像系）１０１、１
０２、本体１０３、パーソナルコンピュータ１０９を含
んで構成されている。本体１０３には、画像処理系１０
４と電気系１０５とカメラのキャリブレーション時に求
めたキャリブレーションパラメータを記憶するキャリブ
レーションパラメータ記憶手段１０６とがコンポーネン
トとして存在し、筐体１０７により一つに収められてい
る。パーソナルコンピュータ１０９は、本体１０３の制
御（図４および図５の処理も含まれる。キャリブレーシ
ョンパラメータの補正手段）を実行し、かつ、得られた
３次元画像を表示するための装置である。移動式撮像系
１０１、１０２は、ケーブルにより本体１０３から分離
され、それぞれ移動保持手段１０８ａ、１０８ｂにより
自由に移動が可能である。移動は、手作業で行ってもよ
いし、所定の駆動手段を用いて行ってもよい。
【００１３】図２に示すように、第１の移動式撮像系１
０１には、距離変位量検出手段２０１および姿勢変位量
検出手段２０２が具備されている。第２の移動式撮像系
１０２には、姿勢変位量検出手段２０３が具備されてい
る。
０１には、距離変位量検出手段２０１および姿勢変位量
検出手段２０２が具備されている。第２の移動式撮像系
１０２には、姿勢変位量検出手段２０３が具備されてい
る。
【００１４】距離変位量検出手段２０１は、二つの撮像
系間の距離変位量を検出できる検出デバイスであり、本
実施例では、ＬＥＤ（発光ダイオード）やＬＤ（レーザ
ダイオード）を用いたＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉ
ｇｈｔ）法による検出デバイス、あるいはＬＥＤやＬＤ
とＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｎｇ Ｄｅｖ
ｉｃｅ）を組み合わせた三角測量法による検出デバイス
を用いることができる。
系間の距離変位量を検出できる検出デバイスであり、本
実施例では、ＬＥＤ（発光ダイオード）やＬＤ（レーザ
ダイオード）を用いたＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉ
ｇｈｔ）法による検出デバイス、あるいはＬＥＤやＬＤ
とＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｎｇ Ｄｅｖ
ｉｃｅ）を組み合わせた三角測量法による検出デバイス
を用いることができる。
【００１５】ＴＯＦによる検出デバイスでは、第１の移
動式撮像系１０１に光源であるＬＥＤあるいはＬＤと光
検出器を設け、ＬＥＤあるいはＬＤを第２の移動式撮像
系１０２に向けてパルス照射させる。第２の移動式撮像
系１０２からの反射光を第１の移動式撮像系１０１に具
備された光検出器により検出し、パルス照射時刻と反射
光検出時刻差を検出することにより、二つの撮像系の距
離を求める。距離変位量は、撮像系１０１、１０２の移
動前と移動後の距離値の差分により求める。
動式撮像系１０１に光源であるＬＥＤあるいはＬＤと光
検出器を設け、ＬＥＤあるいはＬＤを第２の移動式撮像
系１０２に向けてパルス照射させる。第２の移動式撮像
系１０２からの反射光を第１の移動式撮像系１０１に具
備された光検出器により検出し、パルス照射時刻と反射
光検出時刻差を検出することにより、二つの撮像系の距
離を求める。距離変位量は、撮像系１０１、１０２の移
動前と移動後の距離値の差分により求める。
【００１６】ＬＥＤやＰＤとＰＳＤを組み合わせた三角
測量法による検出デバイスでは、第１の移動式撮像系１
０１に光源であるＬＥＤあるいはＬＤとＰＳＤを設け、
ＬＥＤあるいはＬＤを第２の移動式撮像系１０２に向け
て照射する。第２の移動式撮像系１０２における光学像
を第１の移動式撮像系１０１に具備されたＰＳＤにより
検出する。ＰＳＤにより光学像が検出された位置が正確
に分かり三角測量の原理により、二つの撮像系の距離を
求める。距離変位量は、同様に、撮像系１０１、１０２
の移動前と移動後の距離値の差分により求める。
測量法による検出デバイスでは、第１の移動式撮像系１
０１に光源であるＬＥＤあるいはＬＤとＰＳＤを設け、
ＬＥＤあるいはＬＤを第２の移動式撮像系１０２に向け
て照射する。第２の移動式撮像系１０２における光学像
を第１の移動式撮像系１０１に具備されたＰＳＤにより
検出する。ＰＳＤにより光学像が検出された位置が正確
に分かり三角測量の原理により、二つの撮像系の距離を
求める。距離変位量は、同様に、撮像系１０１、１０２
の移動前と移動後の距離値の差分により求める。
【００１７】姿勢変位量検出手段２０２、２０３は、撮
像系１０１、１０２の姿勢方向変位量を検出できる検出
デバイスであり、本実施例では、ジャイロによる加速度
センサ、あるいはコイルによる地磁気センサを用いるこ
とができる。姿勢変位量検出手段２０２、２０３は、第
１および第２の移動式撮像系１０１、１０２双方に具備
されている。ジャイロによる加速度センサでは、移動に
伴い発生する加速度を積分することにより姿勢方向の変
位量を求める。地磁気センサでは、コイルに発生する磁
界の向きと地磁気の向きの差分を検出することにより、
姿勢方向を求める。姿勢方向の変位量は、撮像系１０
１、１０２の移動前と移動後の距離値の差分により求め
る。これを第１および第２の移動式撮像系１０１、１０
２双方において行うことにより、それぞれの撮像系１０
１、１０２の姿勢変位量を求めた。
像系１０１、１０２の姿勢方向変位量を検出できる検出
デバイスであり、本実施例では、ジャイロによる加速度
センサ、あるいはコイルによる地磁気センサを用いるこ
とができる。姿勢変位量検出手段２０２、２０３は、第
１および第２の移動式撮像系１０１、１０２双方に具備
されている。ジャイロによる加速度センサでは、移動に
伴い発生する加速度を積分することにより姿勢方向の変
位量を求める。地磁気センサでは、コイルに発生する磁
界の向きと地磁気の向きの差分を検出することにより、
姿勢方向を求める。姿勢方向の変位量は、撮像系１０
１、１０２の移動前と移動後の距離値の差分により求め
る。これを第１および第２の移動式撮像系１０１、１０
２双方において行うことにより、それぞれの撮像系１０
１、１０２の姿勢変位量を求めた。
【００１８】撮像系１０１、１０２におけるカメラのキ
ャリブレーションは、Ｔｓａｉが提案する手法を用いる
ことができる（Ｒ Ｙ．Ｔｓａｉ，「Ａ Ｖｅｒｓａｔ
ｉｌｅ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｅ
ｃｈｎｉｑｕｅ ｆｏｒ Ｈｉｇｈ−Ａｃｃｕｒａｃｙ
３Ｄ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｍｅｔｒｏｌ
ｏｇｙ Ｕｓｉｎｇ Ｏｆｆ−ｔｈｅ−Ｓｈｅｌｆ Ｔ
Ｖ Ｃａｍｅｒａｓａｎｄ Ｌｅｎｓｅｓ」，ＩＥＥＥ
Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓａｎｄ Ａ
ｕｔｏｍａｔｉｏｎ，ｖｏｌ．ＲＡ−３，Ｎｏ．４，Ａ
ｕｇｕｓｔ１９８７参照）。これは、ピンホールカメラ
にレンズ収差の補正を加えたカメラモデルを想定し、物
体の三次元位置（ワールド座標系）と撮像面座標（カメ
ラ座標系）を関連付けるキャリブレーションパラメータ
（カメラ主点位置、回転角、焦点距離、収差、画像中心
等）を、校正チャートを用いて高精度に求める手法であ
る。図３に用いた校正チャートを示す。全体サイズは、
９９．２×１２１．４ｍｍであり、１０．３×１０．３
ｍｍの正方形パッチをピッチ２２．２ｍｍで５×６個分
並べたものである。校正チャートを装置のワーキングデ
ィスタンスに相当する位置に垂直方向から３０°傾けた
状態で固定し、装置と校正チャートの距離を予め求めて
おいて、二つの撮像系１０１、１０２それぞれにおいて
撮像する。これにより、既知である校正チャートにおけ
る正方形パッチの頂点座標（ワールド座標系）と撮像系
の撮像面座標（カメラ座標系）を関連図けるキャリブレ
ーションパラメータであるカメラ主点位置、回転角、焦
点距離、収差、画像中心、倍率を求める。これにより、
撮像面上の座標と対象物の座標を結ぶ直線式をそれぞれ
の撮像系１０１、１０２において算出できる。対象物上
の座標は、同一の点（対応点）としているため、二つの
直線式の交点の座標を算出することにより、対象物まで
の距離を求める。求めたキャリブレーションパラメータ
は、各撮像系１０１、１０２がキャリブレーション時の
配置と異なる場合、キャリブレーションパラメータであ
るカメラ主点位置、回転角に影響を及ぼす。従って、カ
メラ主点位置、回転角を補正する必要が生じる。本実施
例では、カメラ主点位置を距離変位量検出手段２０１に
より求めた距離変位量により補正し、カメラ回転角を姿
勢変位量検出手段２０２、２０３により求めた姿勢変位
量により補正した。各撮像系１０１、１０２がキャリブ
レーション時の配置と異なる場合は、補正後のキャリブ
レーションパラメータを用いて対象物までの距離値を算
出した。
ャリブレーションは、Ｔｓａｉが提案する手法を用いる
ことができる（Ｒ Ｙ．Ｔｓａｉ，「Ａ Ｖｅｒｓａｔ
ｉｌｅ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｅ
ｃｈｎｉｑｕｅ ｆｏｒ Ｈｉｇｈ−Ａｃｃｕｒａｃｙ
３Ｄ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｍｅｔｒｏｌ
ｏｇｙ Ｕｓｉｎｇ Ｏｆｆ−ｔｈｅ−Ｓｈｅｌｆ Ｔ
Ｖ Ｃａｍｅｒａｓａｎｄ Ｌｅｎｓｅｓ」，ＩＥＥＥ
Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓａｎｄ Ａ
ｕｔｏｍａｔｉｏｎ，ｖｏｌ．ＲＡ−３，Ｎｏ．４，Ａ
ｕｇｕｓｔ１９８７参照）。これは、ピンホールカメラ
にレンズ収差の補正を加えたカメラモデルを想定し、物
体の三次元位置（ワールド座標系）と撮像面座標（カメ
ラ座標系）を関連付けるキャリブレーションパラメータ
（カメラ主点位置、回転角、焦点距離、収差、画像中心
等）を、校正チャートを用いて高精度に求める手法であ
る。図３に用いた校正チャートを示す。全体サイズは、
９９．２×１２１．４ｍｍであり、１０．３×１０．３
ｍｍの正方形パッチをピッチ２２．２ｍｍで５×６個分
並べたものである。校正チャートを装置のワーキングデ
ィスタンスに相当する位置に垂直方向から３０°傾けた
状態で固定し、装置と校正チャートの距離を予め求めて
おいて、二つの撮像系１０１、１０２それぞれにおいて
撮像する。これにより、既知である校正チャートにおけ
る正方形パッチの頂点座標（ワールド座標系）と撮像系
の撮像面座標（カメラ座標系）を関連図けるキャリブレ
ーションパラメータであるカメラ主点位置、回転角、焦
点距離、収差、画像中心、倍率を求める。これにより、
撮像面上の座標と対象物の座標を結ぶ直線式をそれぞれ
の撮像系１０１、１０２において算出できる。対象物上
の座標は、同一の点（対応点）としているため、二つの
直線式の交点の座標を算出することにより、対象物まで
の距離を求める。求めたキャリブレーションパラメータ
は、各撮像系１０１、１０２がキャリブレーション時の
配置と異なる場合、キャリブレーションパラメータであ
るカメラ主点位置、回転角に影響を及ぼす。従って、カ
メラ主点位置、回転角を補正する必要が生じる。本実施
例では、カメラ主点位置を距離変位量検出手段２０１に
より求めた距離変位量により補正し、カメラ回転角を姿
勢変位量検出手段２０２、２０３により求めた姿勢変位
量により補正した。各撮像系１０１、１０２がキャリブ
レーション時の配置と異なる場合は、補正後のキャリブ
レーションパラメータを用いて対象物までの距離値を算
出した。
【００１９】３次元画像を取得するまでの手順を図４お
よび図５に示したフローチャートにより説明する。前段
階として、撮像系のキャリブレーションを実施する。こ
れを第１のフローチャート（図４）用いて説明する。第
１、第２の移動式撮像系１０１、１０２の両者間の距
離、各撮像系の姿勢方向が変化しないように配置決め、
固定する（Ｓ１０）。この状態で各撮像系において、校
正チャートを撮像する（Ｓ１１）。撮像画像によりキャ
リブレーションパラメータを算出し、キャリブレーショ
ンパラメータ記憶手段１０６に保存する。
よび図５に示したフローチャートにより説明する。前段
階として、撮像系のキャリブレーションを実施する。こ
れを第１のフローチャート（図４）用いて説明する。第
１、第２の移動式撮像系１０１、１０２の両者間の距
離、各撮像系の姿勢方向が変化しないように配置決め、
固定する（Ｓ１０）。この状態で各撮像系において、校
正チャートを撮像する（Ｓ１１）。撮像画像によりキャ
リブレーションパラメータを算出し、キャリブレーショ
ンパラメータ記憶手段１０６に保存する。
【００２０】次に第２のフローチャート（図５）用い
て、対象物の距離値算出までのフローを説明する。対象
物を第１、第２の移動式撮像系１０１、１０２にて撮像
する（Ｓ２０）。ここで、第１、第２の移動式撮像系１
０１、１０２がキャリブレーション時の配置のままであ
る場合には、キャリブレーションパラメータ記憶手段１
０６に保存されたキャリブレーションパラメータを用い
て、対象物までの距離値を算出する（Ｓ２１、Ｓ２
２）。第１、第２の移動式撮像系１０１、１０２がキャ
リブレーション時の配置でない場合には、距離変位量検
出手段２０１より、撮像系１０１、１０２間の距離変位
量を算出し、姿勢変位量検出手段２０２、２０３によ
り、各撮像系１０１、１０２の姿勢変位量を算出する
（Ｓ２１、Ｓ２３、Ｓ２４）。次にカメラ主点位置を距
離変位量検出手段２０１により求めた距離変位量により
補正し、カメラ回転角を姿勢変位量検出手段２０２、２
０３により求めた姿勢変位量により補正する（Ｓ２
５）。補正後のキャリブレーションパラメータを用いて
対象物までの距離値を算出する（Ｓ２２）。
て、対象物の距離値算出までのフローを説明する。対象
物を第１、第２の移動式撮像系１０１、１０２にて撮像
する（Ｓ２０）。ここで、第１、第２の移動式撮像系１
０１、１０２がキャリブレーション時の配置のままであ
る場合には、キャリブレーションパラメータ記憶手段１
０６に保存されたキャリブレーションパラメータを用い
て、対象物までの距離値を算出する（Ｓ２１、Ｓ２
２）。第１、第２の移動式撮像系１０１、１０２がキャ
リブレーション時の配置でない場合には、距離変位量検
出手段２０１より、撮像系１０１、１０２間の距離変位
量を算出し、姿勢変位量検出手段２０２、２０３によ
り、各撮像系１０１、１０２の姿勢変位量を算出する
（Ｓ２１、Ｓ２３、Ｓ２４）。次にカメラ主点位置を距
離変位量検出手段２０１により求めた距離変位量により
補正し、カメラ回転角を姿勢変位量検出手段２０２、２
０３により求めた姿勢変位量により補正する（Ｓ２
５）。補正後のキャリブレーションパラメータを用いて
対象物までの距離値を算出する（Ｓ２２）。
【００２１】輝度情報は、距離値算出時の過程において
第１あるいは第２の移動式撮像系１０１、１０２により
撮像した輝度画像を輝度情報として使用する。
第１あるいは第２の移動式撮像系１０１、１０２により
撮像した輝度画像を輝度情報として使用する。
【００２２】
【発明の効果】以上説明したように、本発明の３次元画
像撮影装置および方法によれば、各撮像系がキャリブレ
ーション時の配置と異なる場合でも、補正手段により、
初めから全てのキャリブレーション作業を行う煩わしさ
がなく、また各カメラのレイアウトをフリーにすること
により、計測領域を広げ、使い勝手を向上させることが
可能となる三次元画像を提供できる。
像撮影装置および方法によれば、各撮像系がキャリブレ
ーション時の配置と異なる場合でも、補正手段により、
初めから全てのキャリブレーション作業を行う煩わしさ
がなく、また各カメラのレイアウトをフリーにすること
により、計測領域を広げ、使い勝手を向上させることが
可能となる三次元画像を提供できる。
【図１】 本発明の実施例における３次元画像撮像装置
の構成図である。
の構成図である。
【図２】 本発明の実施例における移動式撮像系の距離
変位量検出手段および姿勢変位量検出手段の構成および
検出手法を説明する図である。
変位量検出手段および姿勢変位量検出手段の構成および
検出手法を説明する図である。
【図３】 本発明の実施例における校正チャートであ
る。
る。
【図４】 本発明の実施例におけるキャリブレーション
のフローチャートである。
のフローチャートである。
【図５】 本発明の実施例における距離値算出までのフ
ローチャートである。
ローチャートである。
【図６】 従来の３次元画像撮像装置の構成図である。
１００ ３次元画像撮影装置
１０１ 第１の移動式撮像系
１０２ 第２の移動式撮像系
１０３ 本体
１０４ 画像処理系
１０５ 電気系
１０６ キャリブレーションパラメータ記憶手段
１０７ 筐体
１０８ａ 第１の移動式撮像系１０１の移動保持手段
１０８ｂ 第２の移動式撮像系１０２の移動保持手段
１０９ パーソナルコンピュータ
２０１ 距離変位量検出手段
２０２ 姿勢変位量検出手段
２０３ 姿勢変位量検出手段
３０１ 撮像系
３０３ 本体
３０４ 画像処理系
３０５ 電気系
３０７ 筐体
３０９ パーソナルコンピュータ
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 13/02
13/02 Ｇ０１Ｂ 11/24 Ｋ
Ｆターム(参考） 2F065 AA01 AA09 AA20 AA31 BB05
BB28 DD02 DD06 FF04 FF05
FF09 FF12 FF61 FF65 GG06
GG07 JJ01 JJ02 JJ16 QQ31
2F112 AC03 CA13 FA03 FA35 FA45
2H059 AA10 AA12
5C054 AA01 AA05 FC15 FE00 HA05
5C061 AB04 AB12
Claims (5)
- 【請求項１】 複数の撮像部と上記複数の撮像部から得
られた複数の画像と上記複数の撮像部におけるカメラの
キャリブレーションパラメータとを用いて距離画像を算
出する３次元画像撮像装置において、上記複数の撮像部
は互いに自由に移動可能であり、かつ上記複数の撮像部
間距離の変位量を検出する距離変位量検出手段と、上記
撮像部の各々の姿勢方向の変位量を検出する姿勢変位量
検出手段とを有することを特徴とした３次元画像撮像装
置。 - 【請求項２】 上記複数の撮像部におけるカメラの各々
において実施したキャリブレーションにより求めたキャ
リブレーションパラメータを記憶するキャリブレーショ
ンパラメータ記憶手段を有することを特徴とした請求項
１記載の３次元画像撮像装置。 - 【請求項３】 上記距離変位量検出手段および上記姿勢
変位量検出手段により求めた撮像部間距離の変位量およ
び上記撮像部の各々の姿勢方向の変位量により、上記キ
ャリブレーションパラメータ記憶手段に記憶されたキャ
リブレーションパラメータを補正することを特徴とした
請求項１記載の３次元画像撮像装置。 - 【請求項４】 複数の撮像部と上記複数の撮像部から得
られた複数の画像と上記複数の撮像部におけるカメラの
キャリブレーションパラメータとを用いて距離画像を算
出する３次元画像撮像装置において、上記複数の撮像部
のうち少なくとも１つを移動可能に保持する手段と、上
記複数の撮像部間距離の変位量を検出する距離変位量検
出手段と、移動可能な撮像部の姿勢方向の変位量を検出
する姿勢変位量検出手段と、検出した上記撮像部間距離
の変異量および上記姿勢方法の変位量に基づいて上記キ
ャリブレーションパラメータを補正する補正手段とを有
することを特徴とした３次元画像撮像装置。 - 【請求項５】 複数の撮像部と上記複数の撮像部から得
られた複数の画像と上記複数の撮像部におけるカメラの
キャリブレーションパラメータを用いて距離画像を算出
する３次元画像撮像方法において、上記複数の撮像部は
互いに自由に移動可能に配置し、かつ上記複数の撮像部
間距離の変位量を検出し、上記撮像部の各々の姿勢方向
の変位量を検出し、検出した撮像部間距離の変異量およ
び各撮像部の姿勢方法の変位量に基づいて上記キャリブ
レーションパラメータを補正する３次元画像撮像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001282757A JP3925129B2 (ja) | 2001-09-18 | 2001-09-18 | ３次元画像撮像装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001282757A JP3925129B2 (ja) | 2001-09-18 | 2001-09-18 | ３次元画像撮像装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003090711A true JP2003090711A (ja) | 2003-03-28 |
| JP3925129B2 JP3925129B2 (ja) | 2007-06-06 |
Family
ID=19106364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001282757A Expired - Fee Related JP3925129B2 (ja) | 2001-09-18 | 2001-09-18 | ３次元画像撮像装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3925129B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006139015A (ja) * | 2004-11-11 | 2006-06-01 | Fujinon Corp | 立体カメラ用レンズシステム |
| KR101028526B1 (ko) | 2009-01-08 | 2011-04-11 | 목포대학교산학협력단 | 구조물의 변위 및 회전변위 측정방법 |
| CN103717278A (zh) * | 2011-05-19 | 2014-04-09 | 高通股份有限公司 | 用于使用邻近度传感器进行多相机运动捕捉增强的方法和装置 |
| JP2017505903A (ja) * | 2014-12-04 | 2017-02-23 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 画像化システム及び方法 |
| JP2018044867A (ja) * | 2016-09-15 | 2018-03-22 | 株式会社Ｓｕｂａｒｕ | ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム |
| JPWO2018043225A1 (ja) * | 2016-09-01 | 2019-06-24 | パナソニックＩｐマネジメント株式会社 | 多視点撮像システム、三次元空間再構成システム、及び三次元空間認識システム |
| CN114373020A (zh) * | 2022-01-07 | 2022-04-19 | 天津大学 | 一种基于联合外参估计的线结构光传感器光平面标定方法 |
| CN114459350A (zh) * | 2022-02-10 | 2022-05-10 | 合肥惟新半导体科技有限公司 | 一种pcb板智能检测系统 |
-
2001
- 2001-09-18 JP JP2001282757A patent/JP3925129B2/ja not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006139015A (ja) * | 2004-11-11 | 2006-06-01 | Fujinon Corp | 立体カメラ用レンズシステム |
| KR101028526B1 (ko) | 2009-01-08 | 2011-04-11 | 목포대학교산학협력단 | 구조물의 변위 및 회전변위 측정방법 |
| CN103717278A (zh) * | 2011-05-19 | 2014-04-09 | 高通股份有限公司 | 用于使用邻近度传感器进行多相机运动捕捉增强的方法和装置 |
| JP2014525152A (ja) * | 2011-05-19 | 2014-09-25 | クアルコム，インコーポレイテッド | 近接センサを使用したマルチカメラモーションキャプチャ強化のための方法および装置 |
| JP2017505903A (ja) * | 2014-12-04 | 2017-02-23 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 画像化システム及び方法 |
| US10728514B2 (en) | 2014-12-04 | 2020-07-28 | SZ DJI Technology Co., Ltd. | Imaging system and method |
| JPWO2018043225A1 (ja) * | 2016-09-01 | 2019-06-24 | パナソニックＩｐマネジメント株式会社 | 多視点撮像システム、三次元空間再構成システム、及び三次元空間認識システム |
| JP7113294B2 (ja) | 2016-09-01 | 2022-08-05 | パナソニックＩｐマネジメント株式会社 | 多視点撮像システム |
| JP2018044867A (ja) * | 2016-09-15 | 2018-03-22 | 株式会社Ｓｕｂａｒｕ | ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム |
| CN114373020A (zh) * | 2022-01-07 | 2022-04-19 | 天津大学 | 一种基于联合外参估计的线结构光传感器光平面标定方法 |
| CN114373020B (zh) * | 2022-01-07 | 2023-04-28 | 天津大学 | 一种基于联合外参估计的线结构光传感器光平面标定方法 |
| CN114459350A (zh) * | 2022-02-10 | 2022-05-10 | 合肥惟新半导体科技有限公司 | 一种pcb板智能检测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3925129B2 (ja) | 2007-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9602811B2 (en) | Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device | |
| US9693040B2 (en) | Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device | |
| EP2962284B1 (en) | Optical navigation & positioning system | |
| US10571254B2 (en) | Three-dimensional shape data and texture information generating system, imaging control program, and three-dimensional shape data and texture information generating method | |
| EP2499616B1 (en) | Three-dimensional measurement method | |
| WO2015024361A1 (zh) | 三维重建方法及装置、移动终端 | |
| JP2009139246A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび位置検出装置並びにそれを備えた移動体 | |
| US7502504B2 (en) | Three-dimensional visual sensor | |
| US11619481B2 (en) | Coordinate measuring device | |
| JPH11160021A (ja) | 広域３次元位置計測方法及び装置 | |
| JP2018146524A (ja) | 測量システム | |
| US20170292827A1 (en) | Coordinate measuring system | |
| US11956537B2 (en) | Location positioning device for moving body and location positioning method for moving body | |
| JP3941631B2 (ja) | 三次元撮像装置および方法 | |
| JP3925129B2 (ja) | ３次元画像撮像装置および方法 | |
| CN112802002B (zh) | 物体表面数据侦测方法、系统、电子装置和存储介质 | |
| JP2002099902A (ja) | 両眼立体視によって物体の３次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体 | |
| WO2019087253A1 (ja) | ステレオカメラのキャリブレーション方法 | |
| CN113781576A (zh) | 多自由度位姿实时调整的双目视觉检测系统、方法、装置 | |
| JP2007033087A (ja) | キャリブレーション装置及び方法 | |
| JP2000205821A (ja) | 三次元形状計測装置及びその三次元形状計測方法 | |
| JP2004193947A (ja) | 三次元撮像装置および方法 | |
| JP2003259357A (ja) | カメラのキャリブレーション方法及びカメラのアタッチメント | |
| CN116718108A (zh) | 双目相机 | |
| JP3221384B2 (ja) | 三次元座標計測装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040921 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060530 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060731 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070219 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140309 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |