JP2003097927A - ３次元マッピングシステムと方法、および、これに使用される構造光バーコード・パターン - Google Patents
３次元マッピングシステムと方法、および、これに使用される構造光バーコード・パターンInfo
- Publication number
- JP2003097927A JP2003097927A JP2002094859A JP2002094859A JP2003097927A JP 2003097927 A JP2003097927 A JP 2003097927A JP 2002094859 A JP2002094859 A JP 2002094859A JP 2002094859 A JP2002094859 A JP 2002094859A JP 2003097927 A JP2003097927 A JP 2003097927A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- bars
- structured light
- pixel
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
- G06K7/10712—Fixed beam scanning
- G06K7/10722—Photodetector array or CCD scanning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06018—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding
- G06K19/06028—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding using bar codes
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 ３次元表面をマッピングするシステムと方法
を提供する。 【解決手段】 本発明は、プロジェクタ１０４とカメラ
１０６を含む３次元のマシン・ビジョンのためのシステ
ム１００および方法である。プロジェクタ１０４は、マ
ッピングされる表面１０２上に構造光の平方剰余バーコ
ード２０５を投射する。次に、カメラ１０６はその表面
１０２を撮影する。投射された画像はシフトされ、この
処理が、構造光の平方剰余バーコード２０５に対して選
択された特定の配列にしたがって、何回も繰り返され
る。この一連の画像から収集された画像データは、次
に、３次元空間における各カメラ・ピクセルの位置を決
定するために、比較的簡単な行列演算により処理され
る。
を提供する。 【解決手段】 本発明は、プロジェクタ１０４とカメラ
１０６を含む３次元のマシン・ビジョンのためのシステ
ム１００および方法である。プロジェクタ１０４は、マ
ッピングされる表面１０２上に構造光の平方剰余バーコ
ード２０５を投射する。次に、カメラ１０６はその表面
１０２を撮影する。投射された画像はシフトされ、この
処理が、構造光の平方剰余バーコード２０５に対して選
択された特定の配列にしたがって、何回も繰り返され
る。この一連の画像から収集された画像データは、次
に、３次元空間における各カメラ・ピクセルの位置を決
定するために、比較的簡単な行列演算により処理され
る。
Description
【０００１】
【発明の属する技術分野】本発明は一般に３次元マッピ
ングシステムの分野に関し、特に、従来可能であると考
えられていたよりも、速く正確に３次元の表面をマッピ
ングする３次元マッピングシステムおよび方法に関す
る。加えて、本発明は、３次元マッピングシステムおよ
び方法で使用される構造光バーコード・パターンに関す
る。
ングシステムの分野に関し、特に、従来可能であると考
えられていたよりも、速く正確に３次元の表面をマッピ
ングする３次元マッピングシステムおよび方法に関す
る。加えて、本発明は、３次元マッピングシステムおよ
び方法で使用される構造光バーコード・パターンに関す
る。
【０００２】
【従来の技術】従来のマシン・ビジョン技術、例えば３
次元の表面をマッピングするために使用されているもの
は、通常、２つのクラスの１つにおいて立体的なシステ
ムを使用しようと試みてきた。第１のクラスは、一定の
有限距離だけ離れた２つのカメラからの画像を合成し、
人間の視覚を模倣するシステムを含む。
次元の表面をマッピングするために使用されているもの
は、通常、２つのクラスの１つにおいて立体的なシステ
ムを使用しようと試みてきた。第１のクラスは、一定の
有限距離だけ離れた２つのカメラからの画像を合成し、
人間の視覚を模倣するシステムを含む。
【０００３】第２のクラスは、同様に一定の距離だけ離
れたプロジェクタとカメラの配置を有し、プロジェクタ
はマッピングされる表面上に構造光画像を投射し、カメ
ラはその表面を撮影するシステムを含む。カメラの視点
からの構造光画像の変形は、表面の輪郭が原因である。
これらの変形から、３次元空間における表面の位置を計
算することが可能になる。
れたプロジェクタとカメラの配置を有し、プロジェクタ
はマッピングされる表面上に構造光画像を投射し、カメ
ラはその表面を撮影するシステムを含む。カメラの視点
からの構造光画像の変形は、表面の輪郭が原因である。
これらの変形から、３次元空間における表面の位置を計
算することが可能になる。
【０００４】
【発明が解決しようとする課題】両クラスのマシン・ビ
ジョンは、２つの視点を３次元についての情報に調和さ
せることに難点を有する。例えば、２個のカメラのシス
テムの場合には、２つの画像の間の対応を決定すること
は難しい。この問題を解決するために、特徴認識アルゴ
リズムが開発されており、２つの画像の対応する特徴を
識別し照合することにある程度の成功を収めている。し
かし、これらのアルゴリズムは、少なくとも±１ピクセ
ルの誤差を生ずるのが通常であり、一部のアプリケーシ
ョンには許容できるが、すべてに許容できるものではな
い。この構成は、構造の無い３次元の表面に対しても機
能しない。
ジョンは、２つの視点を３次元についての情報に調和さ
せることに難点を有する。例えば、２個のカメラのシス
テムの場合には、２つの画像の間の対応を決定すること
は難しい。この問題を解決するために、特徴認識アルゴ
リズムが開発されており、２つの画像の対応する特徴を
識別し照合することにある程度の成功を収めている。し
かし、これらのアルゴリズムは、少なくとも±１ピクセ
ルの誤差を生ずるのが通常であり、一部のアプリケーシ
ョンには許容できるが、すべてに許容できるものではな
い。この構成は、構造の無い３次元の表面に対しても機
能しない。
【０００５】プロジェクタ−カメラ・システムでは、３
次元表面上における投射された特定のピクセルとその画
像の間の対応を決定するという問題がさらに存在する。
構造光を使用する従来のシステムは、隣接するピクセル
上の光が密接に相関する（たとえば、正弦波のグレース
ケールで）ので、近傍のカメラ・ピクセルからの迷光
「雑音」がデータを損なうため苦労した。均一な格子の
ような２次元パターンの構造光は、格子点を位置づける
ために２個のカメラ・システムのものと同じ特徴認識を
必要とし、その結果、ピクセル誤差が生じる。さらに、
以下に示すように、２次元カメラを仮定すれば、３次元
空間におけるマッピングされた表面を正確に位置づける
ためには、１次元の構造光しか必要としない。光パター
ンの第２の次元は不要である。
次元表面上における投射された特定のピクセルとその画
像の間の対応を決定するという問題がさらに存在する。
構造光を使用する従来のシステムは、隣接するピクセル
上の光が密接に相関する（たとえば、正弦波のグレース
ケールで）ので、近傍のカメラ・ピクセルからの迷光
「雑音」がデータを損なうため苦労した。均一な格子の
ような２次元パターンの構造光は、格子点を位置づける
ために２個のカメラ・システムのものと同じ特徴認識を
必要とし、その結果、ピクセル誤差が生じる。さらに、
以下に示すように、２次元カメラを仮定すれば、３次元
空間におけるマッピングされた表面を正確に位置づける
ためには、１次元の構造光しか必要としない。光パター
ンの第２の次元は不要である。
【０００６】さらに、従来技術によるほとんどのシステ
ムにおいては、サブピクセルの解像度は困難あるいは不
可能であることが証明されている。
ムにおいては、サブピクセルの解像度は困難あるいは不
可能であることが証明されている。
【０００７】さまざまな従来技術のシステムの完全な議
論は、Battle らの「対応問題を解くための技術として
のコード化された構造光の最近の進展」概説７、パター
ン認識９６３、９６３−９８２（１９９８）で明らかに
されている。
論は、Battle らの「対応問題を解くための技術として
のコード化された構造光の最近の進展」概説７、パター
ン認識９６３、９６３−９８２（１９９８）で明らかに
されている。
【０００８】本発明の目的は、従来技術の欠点を克服す
る、３次元表面を正確にマッピングするシステムと方法
を提供することである。
る、３次元表面を正確にマッピングするシステムと方法
を提供することである。
【０００９】特に、本発明の目的は、近傍のピクセルか
らの「雑音」の効果の影響を受けない、３次元表面を正
確にマッピングするシステムと方法を提供することであ
る。
らの「雑音」の効果の影響を受けない、３次元表面を正
確にマッピングするシステムと方法を提供することであ
る。
【００１０】本発明の他の目的は、簡単で効率的な計算
技術を使用できる、３次元表面を正確にマッピングする
システムと方法を提供することである。
技術を使用できる、３次元表面を正確にマッピングする
システムと方法を提供することである。
【００１１】本発明の他の目的は、マッピング機能を迅
速に実行できる、３次元表面を正確にマッピングするシ
ステムと方法を提供することである。
速に実行できる、３次元表面を正確にマッピングするシ
ステムと方法を提供することである。
【００１２】本発明の他の目的は、正確なサブピクセル
分解能を達成できる、３次元表面を正確にマッピングす
るシステムと方法を提供することである。
分解能を達成できる、３次元表面を正確にマッピングす
るシステムと方法を提供することである。
【００１３】本発明の他の目的は、投射と画像収集の両
方に対して共通の部品を使用できる、３次元表面を正確
にマッピングするシステムと方法を提供することであ
る。
方に対して共通の部品を使用できる、３次元表面を正確
にマッピングするシステムと方法を提供することであ
る。
【００１４】本発明の他の目的は、商業利用のために経
済的に観て大量生産が可能な、３次元表面を正確にマッ
ピングするシステムと方法を提供することである。
済的に観て大量生産が可能な、３次元表面を正確にマッ
ピングするシステムと方法を提供することである。
【００１５】本発明の他の目的は、上記の目的の実現を
可能にする構造光バーコード・パターンを提供すること
である。
可能にする構造光バーコード・パターンを提供すること
である。
【００１６】
【課題を解決するための手段】本発明のシステムは、プ
ロジェクタとカメラを有する。プロジェクタは、マッピ
ングされる表面上に構造光の画像を投射する。構造光
は、平方剰余式にしたがって、それぞれ明または暗の等
しい幅のバーを有するバーコードである。構造光は、例
えばマスクで受動的に、あるいは、例えばレーザ発生器
および回転多角形ミラーで能動的に生成される。次に、
カメラは表面を撮影する。投射された画像はシフトさ
れ、この過程は、構造光に対して選択された特定の配列
にしたがって何回も繰り返される。この一連の画像から
収集された画像データは、次に、各カメラ・ピクセルと
各ピクセルで光景を上塗りする構造光のバーとの対応を
決定するために処理される。この対応を知ることによっ
て、３次元空間の各カメラ・ピクセル内の画像の位置を
サブピクセルの精度に到るまで三角測量することができ
る。
ロジェクタとカメラを有する。プロジェクタは、マッピ
ングされる表面上に構造光の画像を投射する。構造光
は、平方剰余式にしたがって、それぞれ明または暗の等
しい幅のバーを有するバーコードである。構造光は、例
えばマスクで受動的に、あるいは、例えばレーザ発生器
および回転多角形ミラーで能動的に生成される。次に、
カメラは表面を撮影する。投射された画像はシフトさ
れ、この過程は、構造光に対して選択された特定の配列
にしたがって何回も繰り返される。この一連の画像から
収集された画像データは、次に、各カメラ・ピクセルと
各ピクセルで光景を上塗りする構造光のバーとの対応を
決定するために処理される。この対応を知ることによっ
て、３次元空間の各カメラ・ピクセル内の画像の位置を
サブピクセルの精度に到るまで三角測量することができ
る。
【００１７】
【発明の実施の形態】本発明のシステムと方法のこれら
および他の特徴、態様、利点は、以下の説明、図面、添
付した請求項から明白になるであろう。異なる図の間で
類似の番号は類似の要素を示している。
および他の特徴、態様、利点は、以下の説明、図面、添
付した請求項から明白になるであろう。異なる図の間で
類似の番号は類似の要素を示している。
【００１８】本発明の代表的な実施形態における図１を
参照すると、３次元の表面１０２をマッピングするシス
テム１００は、プロジェクタ１０４と、白黒のディジタ
ル・ピクセル・カメラ１０６を有する。ここで、表面１
０２は、球形の物体１０２ａと、直方体の物体１０２ｂ
と、四面体の物体１０２ｃからなる。プロジェクタ１０
４は、表面１０２上に明と暗のバー２０５を投射する。
バー２０５は、この概念図では平行に示されているが、
実際には表面１０２の輪郭に応じて変容して見える。実
際に、これらの変容は、このクラスのマシン・ビジョン
・システムにとって極めて重大である。
参照すると、３次元の表面１０２をマッピングするシス
テム１００は、プロジェクタ１０４と、白黒のディジタ
ル・ピクセル・カメラ１０６を有する。ここで、表面１
０２は、球形の物体１０２ａと、直方体の物体１０２ｂ
と、四面体の物体１０２ｃからなる。プロジェクタ１０
４は、表面１０２上に明と暗のバー２０５を投射する。
バー２０５は、この概念図では平行に示されているが、
実際には表面１０２の輪郭に応じて変容して見える。実
際に、これらの変容は、このクラスのマシン・ビジョン
・システムにとって極めて重大である。
【００１９】プロジェクタ１０４とカメラ１０６の双方
は、直線１１０に沿って、相互に一定の距離だけ離れて
位置しているだけでなく、表面１０２からある一定の距
離だけ離れて位置している。カメラ１０６は、ピクセル
１０８（図２を参照のこと）の配列からなり、有限の視
界１２０を持つ。カメラ１０６は、表面１０２が視界１
２０のフィールドの範囲に含まれるように配向される。
各ピクセル１０８は、カメラ１０６の大きな視界１２０
のフィールドの範囲にピクセル・フィールド１２２を持
つ。ピクセル・フィールド１２２は、ピクセル１０８が
画像を取り込むことが可能な範囲を定める。カメラ１０
６によって収集される画像データを処理するコンピュー
タ１０７あるいは何らかの等価な手段もシステム１００
の一部である。
は、直線１１０に沿って、相互に一定の距離だけ離れて
位置しているだけでなく、表面１０２からある一定の距
離だけ離れて位置している。カメラ１０６は、ピクセル
１０８（図２を参照のこと）の配列からなり、有限の視
界１２０を持つ。カメラ１０６は、表面１０２が視界１
２０のフィールドの範囲に含まれるように配向される。
各ピクセル１０８は、カメラ１０６の大きな視界１２０
のフィールドの範囲にピクセル・フィールド１２２を持
つ。ピクセル・フィールド１２２は、ピクセル１０８が
画像を取り込むことが可能な範囲を定める。カメラ１０
６によって収集される画像データを処理するコンピュー
タ１０７あるいは何らかの等価な手段もシステム１００
の一部である。
【００２０】ここで図２を参照すると、カメラ１０６の
カメラ軸１１８は、直線１１０と角度１１２をなしてい
る。同様に、プロジェクタ１０４の中心軸１１６は、直
線１１０と角度１１４をなしている。
カメラ軸１１８は、直線１１０と角度１１２をなしてい
る。同様に、プロジェクタ１０４の中心軸１１６は、直
線１１０と角度１１４をなしている。
【００２１】直線１２４は、ピクセル・フィールド１２
２をピクセル１０８と結ぶ。直線１２４ａと１２４ｂ
は、３次元空間でピクセル・フィールド１２２を位置づ
けるための、直線１２４の正射影である。直線１２４ａ
と１２４ｂは、カメラ軸１１８と、それぞれ角度１１２
ａと１１２ｂをなしている。直線１２６は、ピクセル・
フィールド１２２の範囲にあるバー２０５の正射影であ
り（図１を参照のこと）、直線１２６は中心軸１１６と
角度１１４ａをなしている。
２をピクセル１０８と結ぶ。直線１２４ａと１２４ｂ
は、３次元空間でピクセル・フィールド１２２を位置づ
けるための、直線１２４の正射影である。直線１２４ａ
と１２４ｂは、カメラ軸１１８と、それぞれ角度１１２
ａと１１２ｂをなしている。直線１２６は、ピクセル・
フィールド１２２の範囲にあるバー２０５の正射影であ
り（図１を参照のこと）、直線１２６は中心軸１１６と
角度１１４ａをなしている。
【００２２】図３は、本発明の構造光バーコードの代表
的な実施形態を示す。バーコード２０１は、繰り返し周
期２０３を有し、ｐ個のバー２０５からなる。各バー２
０５は均一な幅の垂直なバーであり、幅は表面１０２上
における１つのピクセル・フィールド１２２の幅にほぼ
等しいことが好ましい。
的な実施形態を示す。バーコード２０１は、繰り返し周
期２０３を有し、ｐ個のバー２０５からなる。各バー２
０５は均一な幅の垂直なバーであり、幅は表面１０２上
における１つのピクセル・フィールド１２２の幅にほぼ
等しいことが好ましい。
【００２３】特定のバー２０５と処理の始めに位置づけ
られるピクセル・フィールド１２２の間の対応をうまく
計算するために、ｐがプロジェクタ１０４とカメラ１０
６の間の相違より大きいことが好ましい。相違は、カメ
ラ１０６によって得られた画像とプロジェクタ１０４に
より表示された画像の間で観測された変位のピクセル数
として定められる。例えば、周期２０３において横方向
に数えて９番目に投射されるバー２０５が、カメラに対
しては同様に横方向に数えて５番目に映し出されたピク
セルであるとすると、相違は４であると言える。ｐが予
想される相違範囲より小さければ、本方法はいくらか対
応にあいまいさを残すだろう。このあいまいさは、従来
技術でよく知られている「位相アンラッピング」システ
ムを使用すると排除することができる。しかし、以下に
説明する制限を条件として、十分に大きいｐを選ぶと、
あいまいさとそれを分解する必要を排除する。
られるピクセル・フィールド１２２の間の対応をうまく
計算するために、ｐがプロジェクタ１０４とカメラ１０
６の間の相違より大きいことが好ましい。相違は、カメ
ラ１０６によって得られた画像とプロジェクタ１０４に
より表示された画像の間で観測された変位のピクセル数
として定められる。例えば、周期２０３において横方向
に数えて９番目に投射されるバー２０５が、カメラに対
しては同様に横方向に数えて５番目に映し出されたピク
セルであるとすると、相違は４であると言える。ｐが予
想される相違範囲より小さければ、本方法はいくらか対
応にあいまいさを残すだろう。このあいまいさは、従来
技術でよく知られている「位相アンラッピング」システ
ムを使用すると排除することができる。しかし、以下に
説明する制限を条件として、十分に大きいｐを選ぶと、
あいまいさとそれを分解する必要を排除する。
【００２４】数ｐは、処理するべき画像の数を決定す
る。ｐの値が大きければ、カメラとプロジェクタの間の
より大きな相違を許す可能性を含めて、いくつかの利点
があり、カメラ１０６とプロジェクタ１０４の双方を配
置する自由度がより大きくなる。しかし、この利点は、
画像を収集しデータを処理するのに必要とする時間とバ
ランスが保たれていなければならない。
る。ｐの値が大きければ、カメラとプロジェクタの間の
より大きな相違を許す可能性を含めて、いくつかの利点
があり、カメラ１０６とプロジェクタ１０４の双方を配
置する自由度がより大きくなる。しかし、この利点は、
画像を収集しデータを処理するのに必要とする時間とバ
ランスが保たれていなければならない。
【００２５】図３に示す代表的なバーコード・パターン
では、ｐは１９である。バーコード２０１のバー２０５
は、０からｐ−１まで、ｉでインデックスが付けられて
いる。それぞれｉ番目のバー２０５には、次の擬コード
によってｌか−１のいずれかの値が割り当てられる。
では、ｐは１９である。バーコード２０１のバー２０５
は、０からｐ−１まで、ｉでインデックスが付けられて
いる。それぞれｉ番目のバー２０５には、次の擬コード
によってｌか−１のいずれかの値が割り当てられる。
【００２６】
【数１】
【００２７】１の値が割り当てられたバーは明るく、−
１の値が割り当てられたバーは暗い。すなわち、特定の
バーのインデックスが、ある完全平方数をｐで除算した
剰余に等しければ、バーは明るく、他の場合には暗い。
結果として生ずるパターンは、平方剰余（ＱＲ）バーコ
ードである。この数式は、ｍを正の整数として式ｐ＝４
ｍ−１に適合する素数の集合に対して有効であることが
示されている。ＱＲバーコードではないが、本発明の方
法を可能にする直交性を示す別のパターンがｐ＝１５
（＋＋＋＋−＋−＋＋−−＋−−−）に対して存在す
る。
１の値が割り当てられたバーは暗い。すなわち、特定の
バーのインデックスが、ある完全平方数をｐで除算した
剰余に等しければ、バーは明るく、他の場合には暗い。
結果として生ずるパターンは、平方剰余（ＱＲ）バーコ
ードである。この数式は、ｍを正の整数として式ｐ＝４
ｍ−１に適合する素数の集合に対して有効であることが
示されている。ＱＲバーコードではないが、本発明の方
法を可能にする直交性を示す別のパターンがｐ＝１５
（＋＋＋＋−＋−＋＋−−＋−−−）に対して存在す
る。
【００２８】本発明による３次元表面をマッピングする
方法を以下で説明する。
方法を以下で説明する。
【００２９】ある時刻ｔ０に始まって、マッピングする
表面１０２は、構造光バーコード２０１で照明される。
ディジタル・ピクセル・カメラ１０６は表面１０２を撮
影し、各カメラ・ピクセル１０８の光強度が行列形式で
データとして記録される。次に、構造光バーコード２０
１は、マッピングされる表面１０２にわたって１つのバ
ー２０５の幅だけシフトする。今時刻ｔ１において、構
造光は新しい位置にあり、ディジタル・ピクセル・カメ
ラ１０６は再び表面１０２を撮影し、再び各カメラ・ピ
クセル１０８の光強度を行列形式で記録する。この処理
は、時刻ｔ２、ｔ３．．．ｔ（ｐ−１）にて繰り返され
る。時刻ｔ（ｐ）では、構造光バーコード２０１が表面
１０２を照明せずに（真っ暗のまま）、別の画像が取ら
れる。代わりに、この真っ暗の状態の画像は、各カメラ
・ピクセル１０８に対して、以前に収集した画像の中の
カメラ・ピクセル１０８の最も暗い値を入力することに
より、計算することができる。
表面１０２は、構造光バーコード２０１で照明される。
ディジタル・ピクセル・カメラ１０６は表面１０２を撮
影し、各カメラ・ピクセル１０８の光強度が行列形式で
データとして記録される。次に、構造光バーコード２０
１は、マッピングされる表面１０２にわたって１つのバ
ー２０５の幅だけシフトする。今時刻ｔ１において、構
造光は新しい位置にあり、ディジタル・ピクセル・カメ
ラ１０６は再び表面１０２を撮影し、再び各カメラ・ピ
クセル１０８の光強度を行列形式で記録する。この処理
は、時刻ｔ２、ｔ３．．．ｔ（ｐ−１）にて繰り返され
る。時刻ｔ（ｐ）では、構造光バーコード２０１が表面
１０２を照明せずに（真っ暗のまま）、別の画像が取ら
れる。代わりに、この真っ暗の状態の画像は、各カメラ
・ピクセル１０８に対して、以前に収集した画像の中の
カメラ・ピクセル１０８の最も暗い値を入力することに
より、計算することができる。
【００３０】結果として生ずるデータは、ｘ、ｙ、時間
（ｔ）の次元を有する３次元マトリックスに配列でき
る。マトリックス内の各点では、何らかのグレースケー
ル値が存在する。真っ暗の画像データと組み合わせて撮
影された場合、各ピクセルにおいてｔ方向に沿ったデー
タ・ベクトルが、一定不変にＱＲバーコード内のｐ個の
バー２０５の１つにのみ一義的に対応するパターンとな
ることは、ＱＲバーコード２０１および上記の特別の１
５バー・パターンの特性である。このデータ・ベクトル
は、バー２０５の時系列のフィンガープリントである。
さらに、各データ・ベクトルは、ｐピクセル１０８内の
すべての他のデータ・ベクトルと相互に直交である。
（ｔ）の次元を有する３次元マトリックスに配列でき
る。マトリックス内の各点では、何らかのグレースケー
ル値が存在する。真っ暗の画像データと組み合わせて撮
影された場合、各ピクセルにおいてｔ方向に沿ったデー
タ・ベクトルが、一定不変にＱＲバーコード内のｐ個の
バー２０５の１つにのみ一義的に対応するパターンとな
ることは、ＱＲバーコード２０１および上記の特別の１
５バー・パターンの特性である。このデータ・ベクトル
は、バー２０５の時系列のフィンガープリントである。
さらに、各データ・ベクトルは、ｐピクセル１０８内の
すべての他のデータ・ベクトルと相互に直交である。
【００３１】次に、データベクトルは、それぞれのピク
セルにおけるｐ個の画像にわたる平均値が０に等しくな
るように、下記の擬コードによって、データをシフトす
ることにより、各ピクセルに対して前処理される。
セルにおけるｐ個の画像にわたる平均値が０に等しくな
るように、下記の擬コードによって、データをシフトす
ることにより、各ピクセルに対して前処理される。
【００３２】
【数２】
【００３３】値は、次にスケールされる。当業者によく
知られたいろいろなスケーリング方法が適切である。代
表的な実施形態では、下記の擬コードによって、値の２
乗平均が等しくなるようになるようにスケールされる。
知られたいろいろなスケーリング方法が適切である。代
表的な実施形態では、下記の擬コードによって、値の２
乗平均が等しくなるようになるようにスケールされる。
【００３４】
【数３】
【００３５】シフトは、ＱＲバーコード自身とは無関係
な画像効果を数学的に補償するために行われる。このよ
うな効果には、迷光、光雑音、および／または、とりわ
け投射される画像の輝度とコントラストの変化を含む。
スケーリングは、カメラピクセル１０８の明るい状態と
暗い状態の間のコントラストを数学的に強調する。
な画像効果を数学的に補償するために行われる。このよ
うな効果には、迷光、光雑音、および／または、とりわ
け投射される画像の輝度とコントラストの変化を含む。
スケーリングは、カメラピクセル１０８の明るい状態と
暗い状態の間のコントラストを数学的に強調する。
【００３６】時刻ｔ０において、ピクセル・フィールド
１２２に位置するバーコード２０１のバー２０５に対す
る特定のカメラ・ピクセル１０８の対応を決定するため
に、そのピクセルにおけるデータによって形成されたベ
クトルをある関数Ｆ（ｔ）とみなす。バーコード２０１
の相互の直交性のため、各プロジェクタ・バー２０５
は、周期２０３で他のバー２０５に直交である固有の時
系列のフィンガープリントを示す。この性質に一致し
て、各ＱＲバーの時系列のフィンガープリントの内積、
関数Ｇ（ｔ）、およびピクセル・ベクトルＦ（ｔ）に正
確に対応するもの以外のすべては０になる。同時に、正
確に対応するベクトルを有する内積は大きい。内積は、
下記の関数にしたがって計算される。
１２２に位置するバーコード２０１のバー２０５に対す
る特定のカメラ・ピクセル１０８の対応を決定するため
に、そのピクセルにおけるデータによって形成されたベ
クトルをある関数Ｆ（ｔ）とみなす。バーコード２０１
の相互の直交性のため、各プロジェクタ・バー２０５
は、周期２０３で他のバー２０５に直交である固有の時
系列のフィンガープリントを示す。この性質に一致し
て、各ＱＲバーの時系列のフィンガープリントの内積、
関数Ｇ（ｔ）、およびピクセル・ベクトルＦ（ｔ）に正
確に対応するもの以外のすべては０になる。同時に、正
確に対応するベクトルを有する内積は大きい。内積は、
下記の関数にしたがって計算される。
【００３７】
【数４】
【００３８】これは下記の擬コードにしたがって実行さ
れる。
れる。
【００３９】
【数５】
【００４０】結果として生ずるｂｅｓｔｊの値は、対応
するバー２０５のインデックスである。この処理は、ｐ
2回の繰り返しを必要とし、本方法においてはその他の
すべてよりも時間がかかる。この処理は、高速フーリエ
変換（ＦＦＴ）にもとづくアルゴリズムを使用して最適
化することにより、Ｏ（ｐｌｏｇｐ）ぐらい少なく、予
想されたｐ2回の繰り返し数未満でデータを計算でき
る。しかし、ＦＦＴを使用することによる速度の利益
は、ｐの値が大きい場合にのみ重要である。
するバー２０５のインデックスである。この処理は、ｐ
2回の繰り返しを必要とし、本方法においてはその他の
すべてよりも時間がかかる。この処理は、高速フーリエ
変換（ＦＦＴ）にもとづくアルゴリズムを使用して最適
化することにより、Ｏ（ｐｌｏｇｐ）ぐらい少なく、予
想されたｐ2回の繰り返し数未満でデータを計算でき
る。しかし、ＦＦＴを使用することによる速度の利益
は、ｐの値が大きい場合にのみ重要である。
【００４１】これは、ピクセルレベルに対して分解能を
与える。しかし、本方法は、０．０１ピクセルぐらい小
さい分解能を与えるほど十分頑強である。多くの場合に
は、カメラ・ピクセルおよびプロジェクタ・バーは、直
接には一致しない。この場合、カメラ・ピクセルのある
部分ｆは特定のバー２０５の下にあり、ある部分１−ｆ
は別のバーの下にある。したがって、下記の擬コードに
よりｆを計算することができる。
与える。しかし、本方法は、０．０１ピクセルぐらい小
さい分解能を与えるほど十分頑強である。多くの場合に
は、カメラ・ピクセルおよびプロジェクタ・バーは、直
接には一致しない。この場合、カメラ・ピクセルのある
部分ｆは特定のバー２０５の下にあり、ある部分１−ｆ
は別のバーの下にある。したがって、下記の擬コードに
よりｆを計算することができる。
【００４２】
【数６】
【００４３】調べているカメラ・ピクセルは、それぞれ
ａ／（ａ＋ｂ）とｂ／（ａ＋ｂ）の重みが付けられたピ
クセルｂｅｓｔｊとｂｅｓｔｊ−１の組み合わせであ
る。
ａ／（ａ＋ｂ）とｂ／（ａ＋ｂ）の重みが付けられたピ
クセルｂｅｓｔｊとｂｅｓｔｊ−１の組み合わせであ
る。
【００４４】同様に、表面１０２は特定のピクセル・フ
ィールド１２２が３つのバーの一部を含んでいるようで
あれば、ａ＋ｂ＋ｃ＝１を制約条件として、相対的な重
みａ、ｂ、ｃを決定することができる。特定のピクセル
・フィールド１２２がエッジを含んでいれば、そのピク
セルは２つの隣接していないバーからの画像を含んでい
る可能性がある。隣接の制約条件を除外すると、特定の
ピクセル・フィールド１２２の中に正確にどの２つのバ
ーが含まれ、かつ、どの割合で含まれるかは判定可能で
ある。
ィールド１２２が３つのバーの一部を含んでいるようで
あれば、ａ＋ｂ＋ｃ＝１を制約条件として、相対的な重
みａ、ｂ、ｃを決定することができる。特定のピクセル
・フィールド１２２がエッジを含んでいれば、そのピク
セルは２つの隣接していないバーからの画像を含んでい
る可能性がある。隣接の制約条件を除外すると、特定の
ピクセル・フィールド１２２の中に正確にどの２つのバ
ーが含まれ、かつ、どの割合で含まれるかは判定可能で
ある。
【００４５】プロジェクタの角度１１４は、プロジェク
タ１０４のある中心軸１１６に対して測定される。特定
のバー２０５は、中心軸１１６から離れてある角度１１
４ａに置かれる。ある既知のバー２０５に対して、直線
１１０となす角度もまた既知である。同様に、カメラ角
度１１２は、カメラ１０６のカメラ軸１１８に対して測
定される。特定のカメラ・ピクセル１０８は、カメラ軸
１１８に対してある角度１１２ａだけ横を向いており、
カメラ軸１１８に対してある別の角度１１２ｂだけ縦を
向いている。同様に、直線１１０に対して特定のカメラ
・ピクセルの正確な角度を推定することができる。
タ１０４のある中心軸１１６に対して測定される。特定
のバー２０５は、中心軸１１６から離れてある角度１１
４ａに置かれる。ある既知のバー２０５に対して、直線
１１０となす角度もまた既知である。同様に、カメラ角
度１１２は、カメラ１０６のカメラ軸１１８に対して測
定される。特定のカメラ・ピクセル１０８は、カメラ軸
１１８に対してある角度１１２ａだけ横を向いており、
カメラ軸１１８に対してある別の角度１１２ｂだけ縦を
向いている。同様に、直線１１０に対して特定のカメラ
・ピクセルの正確な角度を推定することができる。
【００４６】特定のカメラ・ピクセル１０８と特定のバ
ー２０５の対応がいったん確立すると、３次元空間にお
けるピクセル・フィールド１２２に現れる画像の位置を
簡単にすばやく三角測量するために、直線１１０の既知
の距離とカメラ・ピクセル１０８とバー２０５がそれぞ
れ直線１１０となす角度を使用することができる。さら
に、サブピクセルの精度でバー２０５の位置がわかる
と、この位置を知る精度があがる。
ー２０５の対応がいったん確立すると、３次元空間にお
けるピクセル・フィールド１２２に現れる画像の位置を
簡単にすばやく三角測量するために、直線１１０の既知
の距離とカメラ・ピクセル１０８とバー２０５がそれぞ
れ直線１１０となす角度を使用することができる。さら
に、サブピクセルの精度でバー２０５の位置がわかる
と、この位置を知る精度があがる。
【００４７】平方剰余バーコードの使用から得られるデ
ータはいくつかの利点を有する。最後の「真っ暗」の画
像と組み合わせることにより、データは、それ自身の任
意の循環シフトと直交するようになる。この特性は、上
で説明した１５バーのパターンにも存在する。この利点
の１つは、光「雑音」の影響をもっとも受けなくなるこ
とである。調べている特定のカメラ・ピクセル１０８か
らｐ個離れていないピクセルは、前記の特定のカメラ・
ピクセルのデータに直交するデータを有する。すでに示
されたように、正しいピクセルに対する内積は大きいの
に対して、直交データの内積は零になるので、対応の判
定は簡単になる。サブピクセルのレベルでの正確な分解
能を可能にするのも、この直交性の特徴である。
ータはいくつかの利点を有する。最後の「真っ暗」の画
像と組み合わせることにより、データは、それ自身の任
意の循環シフトと直交するようになる。この特性は、上
で説明した１５バーのパターンにも存在する。この利点
の１つは、光「雑音」の影響をもっとも受けなくなるこ
とである。調べている特定のカメラ・ピクセル１０８か
らｐ個離れていないピクセルは、前記の特定のカメラ・
ピクセルのデータに直交するデータを有する。すでに示
されたように、正しいピクセルに対する内積は大きいの
に対して、直交データの内積は零になるので、対応の判
定は簡単になる。サブピクセルのレベルでの正確な分解
能を可能にするのも、この直交性の特徴である。
【００４８】本発明は、カメラ／プロジェクタ・システ
ムの伝達関数の較正における従来遭遇していた問題も克
服する。従来技術のシステムでは、特にさまざまなグレ
ースケール・パターン（たとえば、鋸歯状波、三角波、
正弦波）を含む構造光の構成では、カメラとプロジェク
タの間の伝達関数の非線形性による較正の問題が重要で
あった。例えば、カメラ・ピクセルが最高強度の５０％
の光によって照明されていれば、対応するカメラ・ピク
セルにおける強度値は、１００％の強度の光によって照
明されたカメラ・ピクセルの正確に５０％の強度ではな
いことがある。同様に、プロジェクタが光景全体を一様
に照明することはほとんど無く、非線形性の別の原因を
作る。したがって、このようなシステムは、多くの時間
が必要で困難な較正を必要とする。このシステムでは、
識別するための光強度はわずか２つの値のみである。さ
らに、データは、これらの２つの値の間のコントラスト
を向上させるために、前処理においてシフトされ、スケ
ールされる。較正は、些細もしくは不要である。
ムの伝達関数の較正における従来遭遇していた問題も克
服する。従来技術のシステムでは、特にさまざまなグレ
ースケール・パターン（たとえば、鋸歯状波、三角波、
正弦波）を含む構造光の構成では、カメラとプロジェク
タの間の伝達関数の非線形性による較正の問題が重要で
あった。例えば、カメラ・ピクセルが最高強度の５０％
の光によって照明されていれば、対応するカメラ・ピク
セルにおける強度値は、１００％の強度の光によって照
明されたカメラ・ピクセルの正確に５０％の強度ではな
いことがある。同様に、プロジェクタが光景全体を一様
に照明することはほとんど無く、非線形性の別の原因を
作る。したがって、このようなシステムは、多くの時間
が必要で困難な較正を必要とする。このシステムでは、
識別するための光強度はわずか２つの値のみである。さ
らに、データは、これらの２つの値の間のコントラスト
を向上させるために、前処理においてシフトされ、スケ
ールされる。較正は、些細もしくは不要である。
【００４９】直交性の他の利点は、計算を単純化する効
果である。直交行列の逆行列は単にその転置であり、複
雑な行列の反転は不要になる。
果である。直交行列の逆行列は単にその転置であり、複
雑な行列の反転は不要になる。
【００５０】本発明による他の利点は、各バーコード画
像がそれ自身周期的なシフトであることである。これ
は、本方法を実施するさまざまな手段を与える。図４に
おいて、能動投射手段３０２は、各画像に対してパター
ンを変化させる。一実施形態は、矢印３０９によって示
す方向に回転している、回転多角形反射表面３０８に対
して「光のシート」３０６を放射するレーザ・プロジェ
クタ３０４を有する。光のシート３０６は、カメラ１０
６の視界１２０にわたって、矢印３１０の方向に走査さ
れる。高い精度が、レーザ変調のタイミングが高精度で
可能なことと、光シートの薄さと、回転ミラーの位置が
正確に知られている場合のモーメント間の回転ミラー３
０８の角運動量の高い一定性によって可能である。より
高度の２次近似として、ミラーは一定の角運動量ではな
く一定の角加速度および減速度を有すると仮定すること
ができる。
像がそれ自身周期的なシフトであることである。これ
は、本方法を実施するさまざまな手段を与える。図４に
おいて、能動投射手段３０２は、各画像に対してパター
ンを変化させる。一実施形態は、矢印３０９によって示
す方向に回転している、回転多角形反射表面３０８に対
して「光のシート」３０６を放射するレーザ・プロジェ
クタ３０４を有する。光のシート３０６は、カメラ１０
６の視界１２０にわたって、矢印３１０の方向に走査さ
れる。高い精度が、レーザ変調のタイミングが高精度で
可能なことと、光シートの薄さと、回転ミラーの位置が
正確に知られている場合のモーメント間の回転ミラー３
０８の角運動量の高い一定性によって可能である。より
高度の２次近似として、ミラーは一定の角運動量ではな
く一定の角加速度および減速度を有すると仮定すること
ができる。
【００５１】代わりに、図５に示すように、バーコード
の周期的なシフトは受動的な手段によって生成され得
る。例えば、プロジェクタ４０３の前方に設置された高
精度クロム・ガラスマスク４０１は、バーコードを生成
する。次にマスク４０１は、矢印４０５の方向に動かさ
れ、表面１０２の上を移動する。１つ以上のピンホール
・フォトダイオード４０７が、画像が適切な位置にいる
時を検出し、リンク４０９を介してカメラ１０６を同期
することができる。
の周期的なシフトは受動的な手段によって生成され得
る。例えば、プロジェクタ４０３の前方に設置された高
精度クロム・ガラスマスク４０１は、バーコードを生成
する。次にマスク４０１は、矢印４０５の方向に動かさ
れ、表面１０２の上を移動する。１つ以上のピンホール
・フォトダイオード４０７が、画像が適切な位置にいる
時を検出し、リンク４０９を介してカメラ１０６を同期
することができる。
【００５２】図６に示す投射システムのさらに他の実施
形態では、コンピュータ５０７あるいは類似の装置のよ
うなビデオ信号生成器５０１は、リンク５０５を介して
能動プロジェクタ５０３にビデオ信号を直接送信する。
コンピュータをビデオ信号生成器５０１として使用する
場合、このコンピュータは、バーコードビデオ信号を生
成することも、カメラ１０６からデータを収集すること
もできるようにプログラムされ、これによって、従来は
コンピュータ１０７に割り当てられていた機能を実行す
る。バーコードビデオ信号を生成するとともに画像デー
タを収集するためにもコンピュータ５０７を使用する場
合、コンピュータ５０７はリンク５０９を介して画像を
収集するためにもカメラを同期する。
形態では、コンピュータ５０７あるいは類似の装置のよ
うなビデオ信号生成器５０１は、リンク５０５を介して
能動プロジェクタ５０３にビデオ信号を直接送信する。
コンピュータをビデオ信号生成器５０１として使用する
場合、このコンピュータは、バーコードビデオ信号を生
成することも、カメラ１０６からデータを収集すること
もできるようにプログラムされ、これによって、従来は
コンピュータ１０７に割り当てられていた機能を実行す
る。バーコードビデオ信号を生成するとともに画像デー
タを収集するためにもコンピュータ５０７を使用する場
合、コンピュータ５０７はリンク５０９を介して画像を
収集するためにもカメラを同期する。
【００５３】Redlake MASD 社から出ている MOTIONSCOP
E系列を含むいくつかの市販されているディジタル・ピ
クセル・カメラは、毎秒８０００に至るフレーム・レー
トで画像取得が可能である。ディジタル・シャッタ時間
の間に十分な露光を保証するためにストロボ光を使用す
ると、適切な精度を実現するためにマッピングされてい
る表面が停止している必要がない可能性がある。
E系列を含むいくつかの市販されているディジタル・ピ
クセル・カメラは、毎秒８０００に至るフレーム・レー
トで画像取得が可能である。ディジタル・シャッタ時間
の間に十分な露光を保証するためにストロボ光を使用す
ると、適切な精度を実現するためにマッピングされてい
る表面が停止している必要がない可能性がある。
【００５４】さらに、上述の実施形態は白黒カメラを想
定しているが、より一般的な意味で、本発明は、例えば
走査される表面の色彩の効果を補償するために、カラー
カメラと光の３色素で使用され得る。
定しているが、より一般的な意味で、本発明は、例えば
走査される表面の色彩の効果を補償するために、カラー
カメラと光の３色素で使用され得る。
【００５５】加えて、構造光バーコードは１次元にのみ
与えられているが、これは３次元空間の表面を位置づけ
るのに必要な最小限だからである。この制約は、サブピ
クセルの精度がその１つの次元の方向でのみ既知である
ことである。第２の次元を追加することにより、バーコ
ードを増強することは可能であり、それはカメラの両方
の次元でサブピクセルの精度を可能にするであろう。
与えられているが、これは３次元空間の表面を位置づけ
るのに必要な最小限だからである。この制約は、サブピ
クセルの精度がその１つの次元の方向でのみ既知である
ことである。第２の次元を追加することにより、バーコ
ードを増強することは可能であり、それはカメラの両方
の次元でサブピクセルの精度を可能にするであろう。
【００５６】比較的簡単なプロジェクタ技術と、容易に
利用可能で低価格なディジタル・ピクセル・カメラ技術
と、数学的処理を非常に単純化する方法が、経済的にか
つ商業目的で大量に生産することが可能な、３次元の表
面を結像するシステムを作るために、本発明にしたがっ
て組み合わされる。データが収集され、画像を分解され
る速度は、このような費用効率の高いプラットフォーム
では比類ないものと確信する。
利用可能で低価格なディジタル・ピクセル・カメラ技術
と、数学的処理を非常に単純化する方法が、経済的にか
つ商業目的で大量に生産することが可能な、３次元の表
面を結像するシステムを作るために、本発明にしたがっ
て組み合わされる。データが収集され、画像を分解され
る速度は、このような費用効率の高いプラットフォーム
では比類ないものと確信する。
【００５７】本明細書では、特定の代表的な実施形態を
参照して本発明を説明してきた。本発明の範囲から逸脱
することなく、ある程度の代替および修正は当業者にと
って明白であろう。代表的な実施形態は、添付した請求
項により定められる本発明の範囲を限定しているのでは
ない。
参照して本発明を説明してきた。本発明の範囲から逸脱
することなく、ある程度の代替および修正は当業者にと
って明白であろう。代表的な実施形態は、添付した請求
項により定められる本発明の範囲を限定しているのでは
ない。
【図１】本発明のシステムにしたがって配置された基本
部品を概念的に示した図である。
部品を概念的に示した図である。
【図２】分かりやすいようにある要素を省略して、シス
テムの部品をより詳細に示した図である。
テムの部品をより詳細に示した図である。
【図３】１９ピクセルの周期を有する、本発明による構
造光バーコードの例を示した図である。
造光バーコードの例を示した図である。
【図４】レーザ発生器と回転ミラーを使用して、構造光
バーコードが生成されるプロジェクタの一実施形態を示
した図である。
バーコードが生成されるプロジェクタの一実施形態を示
した図である。
【図５】構造光バーコードがプロジェクタとクロム・ガ
ラスマスクを使用して生成されるプロジェクタの別の実
施形態を示した図である。
ラスマスクを使用して生成されるプロジェクタの別の実
施形態を示した図である。
【図６】ビデオ信号生成器が構造光バーコードを生成す
る能動プロジェクタにビデオ信号を送る投射システムの
別の実施形態を示した図である。
る能動プロジェクタにビデオ信号を送る投射システムの
別の実施形態を示した図である。
１００ 本発明のシステム
１０２ ３次元の表面
１０２ａ 球形の物体
１０２ｂ 直方体の物体
１０２ｃ 四面体の物体
１０４ プロジェクタ
１０６ ディジタル・ピクセル・カメラ
１０７ コンピュータ
１０８ カメラ・ピクセル
１１０ プロジェクタ１０４とカメラ１０６を結ぶ直
線 １１２ 直線１１０とカメラ軸１１８とのなす角 １１２ａ カメラ軸１１８と正射影１２４ａのなす角 １１２ｂ 直線１２４と正射影１２４ａのなす角 １１４ 直線１１０とプロジェクタの中心軸１１６の
なす角 １１４ａ プロジェクタの中心軸１１６と正射影１２６
のなす角 １１６ プロジェクタの中心軸 １１８ カメラ軸 １２０ カメラ１０６の視界 １２２ ピクセル１０８のフィールド １２４ ピクセル１０８とピクセル・フィールド１２
２を結ぶ直線 １２４ａ 直線１２４の水平方向の正射影 １２４ｂ 直線１２４の鉛直方向の正射影 １２６ ピクセル・フィールド１２２内のバー２０５
の正射影 ２０１ 構造光バーコード ２０３ バーコード２０１の周期 ２０５ バー ３０２ 能動投射手段 ３０４ レーザ・プロジェクタ ３０６ 光のシート ３０８ 回転多角形反射表面 ３０９ 回転多角形反射表面３０８の回転方向 ３１０ 光のシート３０６の走査方向 ４０１ クロム・ガラスマスク ４０３ プロジェクタ ４０５ マスク４０１の移動方向 ４０７ ピンホール・フォトダイオード ４０９ リンク ５０１ ビデオ信号生成器 ５０３ プロジェクタ ５０５ リンク ５０７ コンピュータ ５０９ リンク
線 １１２ 直線１１０とカメラ軸１１８とのなす角 １１２ａ カメラ軸１１８と正射影１２４ａのなす角 １１２ｂ 直線１２４と正射影１２４ａのなす角 １１４ 直線１１０とプロジェクタの中心軸１１６の
なす角 １１４ａ プロジェクタの中心軸１１６と正射影１２６
のなす角 １１６ プロジェクタの中心軸 １１８ カメラ軸 １２０ カメラ１０６の視界 １２２ ピクセル１０８のフィールド １２４ ピクセル１０８とピクセル・フィールド１２
２を結ぶ直線 １２４ａ 直線１２４の水平方向の正射影 １２４ｂ 直線１２４の鉛直方向の正射影 １２６ ピクセル・フィールド１２２内のバー２０５
の正射影 ２０１ 構造光バーコード ２０３ バーコード２０１の周期 ２０５ バー ３０２ 能動投射手段 ３０４ レーザ・プロジェクタ ３０６ 光のシート ３０８ 回転多角形反射表面 ３０９ 回転多角形反射表面３０８の回転方向 ３１０ 光のシート３０６の走査方向 ４０１ クロム・ガラスマスク ４０３ プロジェクタ ４０５ マスク４０１の移動方向 ４０７ ピンホール・フォトダイオード ４０９ リンク ５０１ ビデオ信号生成器 ５０３ プロジェクタ ５０５ リンク ５０７ コンピュータ ５０９ リンク
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 セバスチャン ロイ
アメリカ合衆国、 ニュージャージー
08540、 プリンストン、 ４ インディ
ペンデンス ウェイ エヌ・イー・シー・
リサーチ・インスティテューテュ・インク
内
Ｆターム(参考） 2F065 AA01 AA04 AA31 AA51 AA53
DD06 DD12 FF04 FF09 HH07
JJ18 JJ26 LL12 LL30 QQ24
QQ31
5B057 AA20 BA02 DA07 DB03 DB05
DB09 DC09
Claims (19)
- 【請求項１】 ３次元の表面をマッピングするシステム
であって、 （ａ）ディジタル・ピクセル・カメラと、 （ｂ）前記ディジタル・ピクセル・カメラによって集め
られたデータを処理する手段と、 （ｃ）マッピングされる前記表面上に、 （ｉ）それぞれが明および暗のいずれか１つで、対称な
幅を有する平行なバーの周期列と、 （ｉｉ）数値インデックスがある完全平方数を各周期の
前記バーの数で除算した剰余に等しくなる前記バーは明
となり、他のすべての前記バーは暗となるような前記バ
ーのそれぞれと関連した前記数値インデックスを含む構
造光バーコードを投射できる投射装置を有する、３次元
の表面をマッピングするシステム。 - 【請求項２】 バーの前記周期列は、ｍを正の整数とし
て数式［ｐ＝４ｍ−１］にしたがう素数ｐの列を有す
る、請求項１に記載のシステム。 - 【請求項３】 前記素数ｐは１９である、請求項２に記
載のシステム。 - 【請求項４】 前記投射装置は、 （ｉ）レーザ発生器と、 （ｉｉ）回転する多角形の反射表面を有する、請求項１
に記載のシステム。 - 【請求項５】 前記投射装置は前記構造光のパターンを
形成するためのマスクを有する、請求項１に記載のシス
テム。 - 【請求項６】 前記マスクはクロムのガラスマスクを有
する、請求項５に記載のシステム。 - 【請求項７】 前記投射装置は、 （ｉ）ビデオ信号を生成する手段と、 （ｉｉ）該ビデオ信号を投射する能動投射手段を有す
る、請求項１に記載のシステム。 - 【請求項８】 ビデオ信号を生成する前記手段と前記デ
ィジタル・ピクセル・カメラにより集められたデータを
処理する前記手段はコンピュータを有する、請求項７に
記載のシステム。 - 【請求項９】 ３次元の表面をマッピングする方法であ
って、 （ａ）２次元のディジタル・ピクセル・カメラを備える
ステップと、 （ｂ）前記ディジタル・ピクセル・カメラによって収集
されたデータを処理する手段を備えるステップと、 （ｃ）マッピングされる前記表面上に、 （ｉ）それぞれが明および暗のいずれか１つで、対称な
幅を有する平行なバーの周期列と、 （ｉｉ）数値インデックスがある完全平方数を各周期の
前記バーの数で除算した剰余に等しくなると明となり、
他のすべての前記バーは暗となるような前記バーのそれ
ぞれと関連した前記数値インデックスを含む構造光バー
コードを投射できる投射装置を備えるステップと、 （ｄ）マッピングされる前記表面に前記構造光を投射す
るステップと、 （ｅ）前記平行な列のそれぞれの幅に等しい増分で、そ
れぞれの前記周期を構成する前記平行な列の数に満たな
い数に等しい回数、マッピングされる前記表面上で前記
構造光の位置をシフトするステップと、 （ｆ）前記カメラを用いて前記構造光のそれぞれの前記
位置における前記表面を結像することにより、データが
各カメラ・ピクセルの光強度として収集されるステップ
と、 （ｇ）収集された前記データを３次元空間の各カメラ・
ピクセル内の画像の位置に処理するステップを有する、
３次元の表面をマッピングする方法。 - 【請求項１０】 バーの前記周期列は、ｍは正の整数と
して数式［ｐ＝４ｍ−１］にしたがう素数ｐの列を有す
る、請求項９に記載の方法。 - 【請求項１１】 前記素数ｐは１９である、請求項１０
に記載の方法。 - 【請求項１２】 前記投射された参照画像がなければ、
マッピングされる前記表面を結像するステップをさらに
有する、請求項９に記載の方法。 - 【請求項１３】 マッピングされる前記表面の暗画像を
計算するステップをさらに有する、請求項９に記載の方
法。 - 【請求項１４】 前記収集されたデータを３次元空間の
各カメラ画像ピクセル内の画像の位置に処理する前記ス
テップは、 （ａ）各カメラ・ピクセルと参照光を含む前記垂直バー
のそれぞれの１つとの対応を計算することをさらに有す
る、請求項９に記載の方法。 - 【請求項１５】 前記収集されたデータを３次元空間の
各カメラ・ピクセル内の画像の位置に処理する前記ステ
ップは、 （ａ）前記収集されたデータを前記カメラ・ピクセル内
の画像を含む複数の前記バーのそれぞれの割合に処理す
ることをさらに有する、請求項９に記載の方法。 - 【請求項１６】 ３次元表面を正確にマッピングするた
めの構造光バーコード・パターンであって、該構造光
は、 （ａ）対称な幅を有し、それぞれは明および暗のいずれ
か１つである、平行なバーの周期列と、 （ｂ）数値インデックスがある完全平方数を各周期内の
前記バーの数により除算した剰余に等しくなる前記バー
は明となり、すべての他の前記バーは暗となるような前
記バーのそれぞれと関連した前記数値インデックスを有
する、構造光バーコード・パターン。 - 【請求項１７】 バーの前記周期列は、ｍは正の整数と
して数式［ｐ＝４ｍ−１］にしたがって素数ｐの列を有
する、請求項１６に記載の構造光バーコード・パター
ン。 - 【請求項１８】 前記素数ｐは１９である、請求項１７
に記載の構造光バーコード・パターン。 - 【請求項１９】 ３次元の表面を正確にマッピングする
ための構造光バーコード・パターンであって、前記構造
光は、対称な幅を有し、バーのそれぞれは、＋が明を表
し、−が暗を表すとして、列＋＋＋＋−＋−＋＋−−＋
−−−に応じて明および暗のいずれか１つであるか、前
記列の任意の循環シフトである１５個の平行な前記バー
の周期列を有する、構造光バーコード・パターン。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/963,162 US6634552B2 (en) | 2001-09-26 | 2001-09-26 | Three dimensional vision device and method, and structured light bar-code patterns for use in the same |
| US09/963162 | 2001-09-26 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003097927A true JP2003097927A (ja) | 2003-04-03 |
| JP3729259B2 JP3729259B2 (ja) | 2005-12-21 |
Family
ID=25506824
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002094859A Expired - Lifetime JP3729259B2 (ja) | 2001-09-26 | 2002-03-29 | ３次元マッピングシステムと方法、投射装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US6634552B2 (ja) |
| JP (1) | JP3729259B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102519390A (zh) * | 2011-12-21 | 2012-06-27 | 哈尔滨理工大学 | 三编码周期灰度梯形相移结构光三维信息获取方法 |
| CN103438833A (zh) * | 2013-09-12 | 2013-12-11 | 香港应用科技研究院有限公司 | 用于三维形状测量的彩色编码条纹图案 |
| CN110455198A (zh) * | 2019-08-22 | 2019-11-15 | 吉林大学 | 基于线结构光视觉的矩形花键轴键宽及直径测量方法 |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050029352A1 (en) * | 2003-08-08 | 2005-02-10 | Spears Kurt E. | System and method for automatic correction of illumination noise caused by ambient light |
| US7620209B2 (en) * | 2004-10-14 | 2009-11-17 | Stevick Glen R | Method and apparatus for dynamic space-time imaging system |
| US7916932B2 (en) * | 2005-02-16 | 2011-03-29 | In-G Co., Ltd. | Method and system of structural light-based 3D depth imaging using signal separation coding and error correction thereof |
| CN100416466C (zh) * | 2006-05-31 | 2008-09-03 | 北京航空航天大学 | 单目视觉半实物仿真系统及方法 |
| US7874495B2 (en) * | 2008-02-13 | 2011-01-25 | Microsoft Corporation | Reducing a visible presence of an optically readable tag |
| PT2306425E (pt) * | 2009-10-01 | 2011-11-10 | Kapsch Trafficcom Ag | Dispositivo e processo para detecção de eixos de rodas |
| EP2306427A1 (de) * | 2009-10-01 | 2011-04-06 | Kapsch TrafficCom AG | Vorrichtungen und Verfahren zur Klassifizierung von Fahrzeugen |
| PT2306429E (pt) * | 2009-10-01 | 2012-05-17 | Kapsch Trafficcom Ag | Dispositivos e método para classificação de viaturas |
| SI2306428T1 (sl) * | 2009-10-01 | 2012-03-30 | Kapsch Trafficcom Ag | Naprava in postopek za določanje smeri hitrostiin ali razmaka vozil |
| WO2011128792A2 (en) * | 2010-04-16 | 2011-10-20 | Koninklijke Philips Electronics N.V. | Image data reformatting |
| CN103299156B (zh) * | 2010-11-29 | 2017-03-01 | 惠普发展公司，有限责任合伙企业 | 创建三维图像文件的系统和方法 |
| US8848970B2 (en) | 2011-04-26 | 2014-09-30 | Digimarc Corporation | Salient point-based arrangements |
| US8844802B2 (en) | 2011-12-20 | 2014-09-30 | Eastman Kodak Company | Encoding information in illumination patterns |
| CN103322937A (zh) * | 2012-03-19 | 2013-09-25 | 联想(北京)有限公司 | 一种结构光法测量物体深度的方法及装置 |
| CN103971400B (zh) | 2013-02-06 | 2018-02-02 | 阿里巴巴集团控股有限公司 | 一种基于标识码的三维交互的方法和系统 |
| DE102013111761B4 (de) | 2013-10-25 | 2018-02-15 | Gerhard Schubert Gmbh | Verfahren und Scanner zum berührungslosen Ermitteln der Position und dreidimensionalen Form von Produkten auf einer laufenden Fläche |
| US9311639B2 (en) | 2014-02-11 | 2016-04-12 | Digimarc Corporation | Methods, apparatus and arrangements for device to device communication |
| JP6434788B2 (ja) * | 2014-03-06 | 2018-12-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 計測システム、計測方法およびビジョンチップ |
| CN113823240B (zh) * | 2018-12-13 | 2023-04-18 | 京东方科技集团股份有限公司 | 显示装置 |
Family Cites Families (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4335962A (en) * | 1979-07-20 | 1982-06-22 | Robotic Vision Systems, Inc. | Method and apparatus for determining spatial information |
| US4634278A (en) * | 1984-02-06 | 1987-01-06 | Robotic Vision Systems, Inc. | Method of three-dimensional measurement with few projected patterns |
| US4653104A (en) * | 1984-09-24 | 1987-03-24 | Westinghouse Electric Corp. | Optical three-dimensional digital data acquisition system |
| USRE32984E (en) * | 1985-12-24 | 1989-07-11 | General Electric Company | Optical pattern generation technique |
| US4668984A (en) * | 1985-12-24 | 1987-05-26 | Rca Corporation | Optical pattern generation technique |
| US4815918A (en) * | 1987-08-21 | 1989-03-28 | Kelley Company, Inc. | Vehicle restraint having a snubbing restraining member |
| JPH02105986A (ja) * | 1988-10-14 | 1990-04-18 | Nec Corp | バーコード |
| DE4007502A1 (de) * | 1990-03-09 | 1991-09-12 | Zeiss Carl Fa | Verfahren und vorrichtung zur beruehrungslosen vermessung von objektoberflaechen |
| DE4007500A1 (de) * | 1990-03-09 | 1991-09-12 | Zeiss Carl Fa | Verfahren und vorrichtung zur beruehrungslosen vermessung von objektoberflaechen |
| US6328211B1 (en) * | 1990-09-17 | 2001-12-11 | Metrologic Instruments, Inc. | Automatic hand-supportable laser bar code symbol scanner and method of reading bar code symbols using the same |
| US5615003A (en) * | 1994-11-29 | 1997-03-25 | Hermary; Alexander T. | Electromagnetic profile scanner |
| US5621529A (en) * | 1995-04-05 | 1997-04-15 | Intelligent Automation Systems, Inc. | Apparatus and method for projecting laser pattern with reduced speckle noise |
| WO1996041304A1 (en) * | 1995-06-07 | 1996-12-19 | The Trustees Of Columbia University In The City Of New York | Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus |
| JP3068483B2 (ja) * | 1996-02-08 | 2000-07-24 | 株式会社東芝 | パターン読み出し方法、および光学的信号読み取り装置 |
| US6690474B1 (en) * | 1996-02-12 | 2004-02-10 | Massachusetts Institute Of Technology | Apparatus and methods for surface contour measurement |
| US6556783B1 (en) * | 1997-01-16 | 2003-04-29 | Janet L. Gelphman | Method and apparatus for three dimensional modeling of an object |
| US6975900B2 (en) * | 1997-07-31 | 2005-12-13 | Case Western Reserve University | Systems and methods for determining a surface geometry |
| DE19821611A1 (de) * | 1998-05-14 | 1999-11-18 | Syrinx Med Tech Gmbh | Verfahren zur Erfassung der räumlichen Struktur einer dreidimensionalen Oberfläche |
| US6291817B1 (en) * | 1998-06-23 | 2001-09-18 | Fuji Photo Optical Co., Ltd. | Moire apparatus having projection optical system and observation optical system which have optical axes parallel to each other |
| US6262803B1 (en) * | 1998-09-10 | 2001-07-17 | Acuity Imaging, Llc | System and method for three-dimensional inspection using patterned light projection |
| US6744932B1 (en) * | 2000-04-28 | 2004-06-01 | Orametrix, Inc. | System and method for mapping a surface |
| US6728423B1 (en) * | 2000-04-28 | 2004-04-27 | Orametrix, Inc. | System and method for mapping a surface |
| US7068836B1 (en) * | 2000-04-28 | 2006-06-27 | Orametrix, Inc. | System and method for mapping a surface |
| US6751344B1 (en) * | 1999-05-28 | 2004-06-15 | Champion Orthotic Investments, Inc. | Enhanced projector system for machine vision |
| US6341016B1 (en) * | 1999-08-06 | 2002-01-22 | Michael Malione | Method and apparatus for measuring three-dimensional shape of object |
| US7455407B2 (en) * | 2000-02-11 | 2008-11-25 | Amo Wavefront Sciences, Llc | System and method of measuring and mapping three dimensional structures |
| US6377353B1 (en) * | 2000-03-07 | 2002-04-23 | Pheno Imaging, Inc. | Three-dimensional measuring system for animals using structured light |
| JP2002191058A (ja) * | 2000-12-20 | 2002-07-05 | Olympus Optical Co Ltd | ３次元画像取得装置および３次元画像取得方法 |
| US7061628B2 (en) * | 2001-06-27 | 2006-06-13 | Southwest Research Institute | Non-contact apparatus and method for measuring surface profile |
| DE10227409B4 (de) * | 2002-06-14 | 2005-03-24 | Coty B.V. | Kosmetisches Gelprodukt auf Basis von Ölen und Copolymeren |
| US7039220B2 (en) * | 2002-08-14 | 2006-05-02 | C-Scan, L.L.P. | Methods and apparatus for the dimensional measurement of livestock using a single camera |
| US20040041996A1 (en) * | 2002-08-28 | 2004-03-04 | Fuji Xerox Co., Ltd. | Range finder and method |
| US7286246B2 (en) * | 2003-03-31 | 2007-10-23 | Mitutoyo Corporation | Method and apparatus for non-contact three-dimensional surface measurement |
| JP4246599B2 (ja) * | 2003-10-24 | 2009-04-02 | 日本分光株式会社 | マッピング測定装置 |
| US7433058B2 (en) * | 2004-07-12 | 2008-10-07 | Solvision Inc. | System and method for simultaneous 3D height measurements on multiple sides of an object |
| US7676114B2 (en) * | 2004-12-17 | 2010-03-09 | Asm Assembly Automation Ltd. | Imaging system for three-dimensional reconstruction of surface profiles |
-
2001
- 2001-09-26 US US09/963,162 patent/US6634552B2/en not_active Expired - Lifetime
-
2002
- 2002-03-29 JP JP2002094859A patent/JP3729259B2/ja not_active Expired - Lifetime
-
2003
- 2003-09-05 US US10/657,046 patent/US7140544B2/en not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102519390A (zh) * | 2011-12-21 | 2012-06-27 | 哈尔滨理工大学 | 三编码周期灰度梯形相移结构光三维信息获取方法 |
| CN103438833A (zh) * | 2013-09-12 | 2013-12-11 | 香港应用科技研究院有限公司 | 用于三维形状测量的彩色编码条纹图案 |
| CN110455198A (zh) * | 2019-08-22 | 2019-11-15 | 吉林大学 | 基于线结构光视觉的矩形花键轴键宽及直径测量方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3729259B2 (ja) | 2005-12-21 |
| US6634552B2 (en) | 2003-10-21 |
| US20030062416A1 (en) | 2003-04-03 |
| US7140544B2 (en) | 2006-11-28 |
| US20040041028A1 (en) | 2004-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3729259B2 (ja) | ３次元マッピングシステムと方法、投射装置 | |
| US10902668B2 (en) | 3D geometric modeling and 3D video content creation | |
| US6377298B1 (en) | Method and device for geometric calibration of CCD cameras | |
| US8369579B2 (en) | Methods and apparatus for 3D surface imaging using active wave-front sampling | |
| EP2437026A1 (en) | Method and system for providing threedimensional and range inter-planar estimation | |
| US6600168B1 (en) | High speed laser three-dimensional imager | |
| CA2538162C (en) | High speed multiple line three-dimensional digitization | |
| JP3624353B2 (ja) | ３次元形状計測方法およびその装置 | |
| US20020057832A1 (en) | Method and system for acquiring a three-dimensional shape description | |
| US6509559B1 (en) | Binary optical grating and method for generating a moire pattern for 3D imaging | |
| WO1997028421A1 (en) | Scanning phase measuring method and system for an object at a vision station | |
| US4878247A (en) | Method for the photogrammetrical pick up of an object with the aid of at least one opto-electric solid-state surface sensor | |
| CN109242957A (zh) | 一种基于多重约束的单帧编码结构光三维重建方法 | |
| US3726591A (en) | Stereoplotting apparatus for correlating image points disposed along epipolar lines | |
| CA1319546C (en) | System for output plane calibration of an optical correlator | |
| US6369879B1 (en) | Method and apparatus for determining the coordinates of an object | |
| CN104634323A (zh) | 一种多级摄像三维照相系统及方法 | |
| JP2001338280A (ja) | ３次元空間情報入力装置 | |
| US11689821B2 (en) | Incoherent Fourier ptychographic super-resolution imaging system with priors | |
| RU164082U1 (ru) | Устройство контроля линейных размеров трехмерных объектов | |
| JP2751570B2 (ja) | 測距装置 | |
| Mirski et al. | Adaptive scanning methods for 3D scene reconstruction | |
| CN116310079A (zh) | 一种三维重建方法及3d结构光机 | |
| McDonald et al. | 3D measurement using stereo scene coding | |
| Keizer | A structured light system and its use for noncontact three-dimensional measurement of the human body surface |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041013 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041213 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041213 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050914 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050927 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3729259 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091014 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091014 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101014 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111014 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121014 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131014 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |