JP2018516377A - マルチラインアレイレーザ光３次元走査システム、及びマルチラインアレイレーザ光３次元走査方法 - Google Patents

マルチラインアレイレーザ光３次元走査システム、及びマルチラインアレイレーザ光３次元走査方法 Download PDF

Info

Publication number
JP2018516377A
JP2018516377A JP2018515340A JP2018515340A JP2018516377A JP 2018516377 A JP2018516377 A JP 2018516377A JP 2018515340 A JP2018515340 A JP 2018515340A JP 2018515340 A JP2018515340 A JP 2018515340A JP 2018516377 A JP2018516377 A JP 2018516377A
Authority
JP
Japan
Prior art keywords
line
host computer
trigger signal
array
programmable gate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018515340A
Other languages
English (en)
Other versions
JP6550536B2 (ja
Inventor
ドゥー，ファー
リー，レンジュ
イー，チェンウェイ
Original Assignee
テンヨウン サンウェイ（天津）科技有限公司
テンヨウン サンウェイ（天津）科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンヨウン サンウェイ（天津）科技有限公司, テンヨウン サンウェイ（天津）科技有限公司 filed Critical テンヨウン サンウェイ（天津）科技有限公司
Publication of JP2018516377A publication Critical patent/JP2018516377A/ja
Application granted granted Critical
Publication of JP6550536B2 publication Critical patent/JP6550536B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/24—Measuring arrangements characterised by the use of mechanical techniques for measuring angles or tapers; for testing the alignment of axes
    • G01B5/25—Measuring arrangements characterised by the use of mechanical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2522—Projection by scanning of the object the position of the object changing and being recorded
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C19/00—Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B6/00—Internal feedback arrangements for obtaining particular characteristics, e.g. proportional, integral or differential
    • G05B6/02—Internal feedback arrangements for obtaining particular characteristics, e.g. proportional, integral or differential electric
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52—Combining or merging partially overlapping images to an overall image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Theoretical Computer Science (AREA)

Abstract

本発明はマルチラインアレイレーザ光３次元走査システム及びマルチラインアレイレーザ光３次元走査方法を提供する。このシステムはプログラマブルゲートアレイＦＰＧＡ（１０１）によって、マルチラインアレイレーザ光３次元走査システムの精確な同期及びロジック制御を実現し、ラインレーザアレイ（１０３）を投影の光源として採用し、ＦＰＧＡ（１０１）によって、トリガー信号を立体視画像センサー（１０２Ａ）、慣性センサー（１０２Ｂ）及びラインレーザアレイ（１０３）に送信し、ホストコンピュータ（１０５）は立体視画像センサー（１０２Ａ）により撮影された画像対を受信して、この画像対中のレーザ光ラインアレイパターンに対して符号化・復号化及び３次元再構成を行い、被測定物体表面の特徴点に対して３次元再構成と、異なる時刻の間の３次元特徴点のマッチング・整列を行う。複合センシング式測位技術により、マッチング演算に対して予測及び誤り訂正を行い、時間領域レーザ光３次元走査データのレジストレーションとスティッチングに使用する。同時に測定誤差のグレードをリアルタイムに評価し、誤差フィードバック制御器（１０４）にフィードバックして調整の指示を出させる。これにより、低コスト、高効率、高信頼性かつ高精度のレーザ光３次元走査を図ることができる。【選択図】図２

Description

本発明は、物体の表面の幾何学形状の３次元走査技術分野、特に、マルチラインアレイレーザ光３次元走査システム、及びマルチラインアレイレーザ光３次元走査方法に関する。
近年では、高速３次元デジタル化技術として、３次元走査はリバースエンジニアリング、工業検査、コンピュータビジョン、ＣＧ制作などを含めた様々な分野でますます応用が進んでいる。特に、今飛躍的に発展している３Ｄプリンティング及びインテリジェント製造分野では、３次元走査はフロントエンド３次元デジタル化・３次元視覚センサー技術として、産業チェーン上の重要な一環になった。同時に、様々な応用では３次元走査装置のコスト、実用性、精度及び信頼性などの多くの面により高い要求が提出されている。
光学３次元走査は３次元デジタル化分野の最も一般的な先進技術であり、高い検出効率と高い精度の両立が技術の顕著な特徴である。白色光３次元走査は従来の光学走査技術であり、格子投影を介して物体の表面にエンコード・マーキングし、次にカメラでの撮影により三角測量を行うことである。この技術は３次元測定に広く応用されており、その特徴は、高精度、高空間的分解能、高精細なデータ品質である。応用分野の継続的な拡張に伴い、様々な複雑な使用環境は、３次元走査技術に対して新たな要求が提出された。例えば、より高い走査の利便性及びよりよい光学的干渉耐性を有し、走査プロセスがより迅速かつ自由に行うことができ、不要な段階をできるだけ排除し、ほとんどの照明条件下で測定できることが要望されている。白色光走査装置は、自体の格子投影器の構造及びタイミングコーディングに依存する測定原理の制約により、体積及び重量が大きくなり、測定を補助するように三脚などの安定的な支持構造を必要とし、測定の利便性が限られている。また、白色光源の輝度が限られており、測定は周囲光及び物体自体の色と材質などの光学的特性による影響を強く受け、明るい環境中または暗い色の物体では、有効的な測定を行うことが難しい。
白色光３次元走査技術の不足を補うために、ラインレーザ光を光源とした走査技術が出現した。この技術は依然として、多眼視の三角測量原理に基づくが、相違点がラインレーザ光をパターン投影器として採用することである。パターンが簡単で経時変化せず、レーザの構造がコンパクトで簡単であるため、走査装置が軽量化されており、測定補助用の支持安定装置を別途追加する必要もなく、手持ちで測定可能であるということはその典型的な特徴である。同時に、レーザ光ラインの中心輝度はかなり高く、ほとんどの照明条件、あるいは暗い色の物体を対象とする走査に適用することができる。しかし、従来のレーザ光３次元走査技術は３次元走査分野全体に普及される前に、解決されなければならないいくつかの重要な問題が依然として存在している。
まずは、走査効率とコストの優位性は両立できない。シングルラインレーザ光走査技術は、実現しやすく、コストも低いものの、走査の性能が大きく限られている。走査速度が遅いため、実用性は限られている。それに対して、マルチラインレーザ光走査技術は、走査速度が大幅に向上したが、特別なカスタマイズされたレーザ光発生装置に依存し、プロセスが複雑でコストが高いので、同様に技術の普及と応用を妨げる。
つぎに、使用年数が短い。連続的なフルパワーでの走査動作により、光学デバイス、特に、様々なＬＥＤ素子（レーザＬＥＤ及びＬＥＤ照明器具等）の光減衰が進んでいる。それは、走査の性能（データ品質と走査速度を含む）の低下の直接な要因になる。また、連続的な動作中のＬＥＤの大量発熱によって、機器の放熱問題をもたらし、良好な放熱性能とコンパクトで軽量な全体構造要件の両立が難しい。悪い放熱性能によって、光学要素の早期破壊を引き起こすだけでなく、走査構造全体に影響を与えて微小な変形をもたらす恐れもあり、走査精度の低下を招く。
つぎに、走査のスティッチングエラー率が高く、信頼性の保障が欠如している。従来のマークポイントスプライシング技術ではスティッチングエラー率が高い問題がある。その表現として、複数回の走査のデータを同一の座標系に統一にレジストレーションするときに不一致が発生することで、一部の走査データがデータ全体から離れ、間違えたモデルが生成されてしまう。この問題は、白色光３次元走査中に、毎回の片面走査後に手動削除等の方法で解决可能である。しかし、連続走査モードでのレーザ光３次元走査中には、このような方法で解决することができない。そのため、通常、スティッチングエラーが発生したら、改めて走査を行う必要があり、動作効率に大きく影響を与える。
最後に、走査の精度が低い。レーザ光走査データの品質は複数の要因と関係し、動作距離の制御はその重要な一つの要因であり、被写界深度が一定である場合に、動作距離が変化して被写界深度の大きさを超えれば、画像のボケ、ノイズの多いデータをもたらし、精度を大幅に低下させることになる。従来のレーザ光走査技術では、動作距離は主に操作員の主観的な判断に依存しているため、連続走査中に、動作距離を正確に制御することが困難であり、走査精度の低下を招く。
従来技術の欠陥に対して、本発明は、前記技術問題を解決できるマルチラインアレイレーザ光３次元走査システム及びマルチラインアレイレーザ光３次元走査方法を提供する。
第一の態様では、本発明は、マルチラインアレイレーザ光３次元走査装置と、ホストコンピュータとを含むマルチラインアレイレーザ光３次元走査システムを提供し、前記マルチラインアレイレーザ光３次元走査装置はプログラマブルゲートアレイＦＰＧＡと、少なくとも一つの立体視画像センサーと、慣性センサーと、ラインレーザアレイと、誤差フィードバック制御器とを含み、前記プログラマブルゲートアレイＦＰＧＡは、前記立体視画像センサー、慣性センサー、ラインレーザアレイ及び誤差フィードバック制御器にそれぞれ接続され、前記ホストコンピュータは、前記プログラマブルゲートアレイＦＰＧＡ、立体視画像センサー及び慣性センサーにそれぞれ接続されている。
前記プログラマブルゲートアレイＦＰＧＡは、第一トリガー信号を前記ラインレーザアレイに送信するためのものであり、前記ラインレーザアレイが前記第一トリガー信号に基づいて被測定物体の表面をストロボ照射する。
前記プログラマブルゲートアレイＦＰＧＡは、さらに、第二トリガー信号を前記立体視画像センサーに送信するためのものであり、前記立体視画像センサーが前記第二トリガー信号に基づいて被測定物体を露光撮影し、撮影した画像対をホストコンピュータに送信する。
前記プログラマブルゲートアレイＦＰＧＡは、さらに、第三トリガー信号を前記慣性センサーに送信するためのものであり、前記慣性センサーが前記第三トリガー信号に基づいてマルチラインアレイレーザ光３次元走査装置の位置姿勢情報をホストコンピュータに送信する。
前記ホストコンピュータは、さらに、測定データに対してリアルタイムに誤差評価を行い、評価結果をプログラマブルゲートアレイＦＰＧＡにフィードバックする。
前記プログラマブルゲートアレイＦＰＧＡは、さらに、前記ホストコンピュータからフィードバックした評価結果を受信した後、前記評価結果に基づいて、制御信号を前記誤差フィードバック制御器に送信し、前記評価結果に基づいて、前記レーザ光３次元走査装置と被測定物体の距離を調整する。
前記ホストコンピュータは、前記立体視画像センサーが撮影した画像対中のレーザ光ラインに対して符号化と復号化を行う。
前記ホストコンピュータは、さらに、被測定物体画像対中の特徴点、及び前記被測定物体の表面から反射したレーザ光ライン対して３次元再構成を行う。
前記ホストコンピュータは、さらに、前記慣性センサーからリターンした位置姿勢情報及び特徴点を基準として、異なるフレーム上の３次元レーザ光ラインデータを同一の座標系中にレジストレーションして、点群を生成する。
前記プログラマブルゲートアレイＦＰＧＡは、さらに、前記ホストコンピュータから送信されたデフォルトパルストリガー信号とデフォルト露光時間を受信し、前記デフォルトパルストリガー信号に基づいて、第一トリガー信号を前記ラインレーザアレイに送信し、第三トリガー信号を前記慣性センサーに送信し、前記デフォルト露光時間に基づいて、第二トリガー信号を前記立体視画像センサーに送信してもよい。
前記誤差フィードバック制御器は、前記プログラマブルゲートアレイＦＰＧＡから送信された制御信号を受信し、前記制御信号に応じたインジケータライトを出力してもよい。
前記誤差フィードバック制御器は変色ＬＥＤランプであって、赤、緑、青の三原色を組み合わせた光を含んでもよい。
前記立体視画像センサーは、多眼視画像センサーであって、二つまたは二つ以上の光学カメラより構成されてもよい。
前記立体視センサーに、照明装置が設けられていてもよい。
前記照明装置の照射時間は、前記立体視センサーの露光時間と同期してもよい。
前記ラインレーザアレイは、複数のラインレーザがマトリクス状に配列されて構成されてもよい。
前記ホストコンピュータは、前記特徴点を追跡し、隣接する時間フレーム間の同名の特徴点を追跡することによって、異なるフレーム上の３次元レーザ光ラインデータを同一の座標系中にレジストレーションしてもよい。
前記ホストコンピュータは、さらに、前記レーザ光３次元走査装置と被測定物体の距離をリアルタイムに評価し、前記距離がデフォルト距離を超える場合に、前記プログラマブルゲートアレイＦＰＧＡへ評価結果をフィードバックしてもよい。
前記ホストコンピュータには、さらに、通信インターフェースが設けられ、前記通信インターフェースは、前記ホストコンピュータと接続された制御装置への通信を行うためのものであり、前記制御装置が前記マルチラインアレイレーザ光３次元走査装置と被測定物体の間の距離を調整するようにしてもよい。
第二の態様では、本発明は、さらに、上記のマルチラインアレイレーザ光３次元走査システムに基づいたマルチラインアレイレーザ光３次元走査方法を提供する。当該方法は、以下のステップを含む。
前記プログラマブルゲートアレイＦＰＧＡは、第一トリガー信号を前記ラインレーザアレイに送信し、前記ラインレーザ光アレイが前記第一トリガー信号に基づいて被測定物体の表面をストロボ照射する。
前記プログラマブルゲートアレイＦＰＧＡは、第二トリガー信号を前記立体視画像センサーに送信し、前記立体視画像センサーが前記第二トリガー信号に基づいて被測定物体を露光撮影し、撮影した画像対をホストコンピュータに送信する。
前記ホストコンピュータは、前記立体視画像センサーが撮影した画像対中の被測定物体の表面から反射したレーザ光ラインに対して符号化・復号化を行う。
前記ホストコンピュータは、前記立体視画像センサーが撮影した画像対中の被測定物体の特徴点、及び前記被測定物体の表面から反射したレーザ光ラインに対して３次元再構成を行う。
前記ホストコンピュータは、前記慣性センサーからリターンした位置姿勢情報及び特徴点を基準として、異なるフレーム上の３次元レーザ光ラインデータを同一の座標系中にレジストレーションして、点群を生成する。
前記ホストコンピュータは、測定データに対してリアルタイムに誤差評価を行い、評価結果をプログラマブルゲートアレイＦＰＧＡにフィードバックする。
前記プログラマブルゲートアレイＦＰＧＡは、前記ホストコンピュータからフィードバックした評価結果を受信した後、前記評価結果に基づいて、制御信号を前記誤差フィードバック制御器に送信し、前記評価結果に基づいて、前記レーザ光３次元走査装置と被測定物体の距離を調整する。
前記プログラマブルゲートアレイＦＰＧＡが第一トリガー信号を前記ラインレーザ光アレイに送信する前に、前記方法はさらに、以下のステップを含んでもよい。
前記プログラマブルゲートアレイＦＰＧＡは、前記ホストコンピュータから送信されたデフォルト露光時間及びデフォルトパルストリガー信号を受信し、前記デフォルトパルストリガー信号に基づいて、第一トリガー信号を前記ラインレーザアレイに送信し、第三トリガー信号を前記慣性センサーに送信し、前記デフォルト露光時間に基づいて、第二トリガー信号を前記立体視画像センサーに送信する。
上記技術案から分かるように、本発明はマルチラインアレイレーザ光３次元走査システム及びマルチラインアレイレーザ光３次元走査方法を提供する。このシステムはプログラマブルゲートアレイＦＰＧＡによって、マルチラインアレイレーザ光３次元走査システムの精確な同期及びロジック制御を実現し、ラインレーザアレイを投影パターンの光源として採用し、プログラマブルゲートアレイＦＰＧＡによって、トリガー信号を立体視画像センサー、慣性センサー及びラインレーザアレイに送信し、このように、ホストコンピュータが立体視画像センサーにより撮影された画像対を受信して、この画像対中のレーザ光ラインアレイパターンに対して符号化・復号化及び３次元再構成を行い、被測定物体表面の特徴点に対して３次元再構成、異なる時刻の間の３次元特徴点のマッチング・整列を行う。複合センシング式測位技術により、マッチング演算に対して予測及び誤り訂正を行い、時間領域レーザ光３次元走査データのレジストレーション・スティッチングに使用する。同時に測定誤差のグレードをリアルタイムに評価し、誤差フィードバック制御器にフィードバックして調整の指示を出させる。これにより、低コスト、高効率、高信頼性、かつ高精度のレーザ光３次元走査を図ることができる。
次に、本発明の実施例あるいは従来技術の技術案をより明らかに説明するために、実施例あるいは従来技術の記述に必要な図面を簡単に説明する。明らかなように、次の記述に使用される図面は本発明のいくつかの実施例に過ぎず、当業者にとって、進歩性に値する労働なしに、これらの図面に基づいて、他の図面が得られる。
本発明の一実施例に係るマルチラインアレイレーザ光３次元走査システムの構造を示す模式図である。 本発明の一実施例に係るマルチラインアレイレーザ光３次元走査装置の構造を示す模式図である。 本発明の一実施例に係るプログラマブルゲートアレイＦＰＧＡの動作様態を模式的に示すフローチャートである。 本発明の一実施例に係るホストコンピュータがレーザ光ラインアレイを符号化する方法を模式的に示すフローチャートである。 本発明の一実施例に係るマルチラインアレイレーザ光３次元走査システムに基づいた３次元走査方法を模式的に示すフローチャートである。 本発明の他の実施例に係るマルチラインアレイレーザ光３次元走査システムに基づいた３次元走査方法を模式的に示すフローチャートである。
次に、本発明の実施例における図面を参照して、本発明の実施例における技術案を明確かつ完全に説明する。明らかなように、説明した実施例は本発明の一部の実施例に過ぎず、すべての実施例ではない。当業者が本発明の実施例に基づき、進歩性に値する労働なしに得られた他のすべての実施例も、本発明の保護範囲に属する。
まず、本発明におけるマルチラインアレイレーザ光３次元走査システムを説明する。図１に示すように、前記マルチラインアレイレーザ光３次元走査システムは、プログラマブルゲートアレイＦＰＧＡと、少なくとも１つの立体視画像センサーと、慣性センサーと、ラインレーザアレイと、誤差フィードバック制御器と、ホストコンピュータとを含む。このホストコンピュータは制御装置、例えば、ホストコンピュータとして理解されることができる。該ホストコンピュータは、レーザ光ラインの符号化・復号化、３次元再構成、複合センシング式測位及び誤差評価演算の機能を有する。
本発明は、プログラマブルゲートアレイＦＰＧＡに基づいて、マルチラインアレイレーザ光３次元走査システムの精確な同期及びロジック制御を実現し、ラインレーザアレイのグループを投影パターンの光源として採用し、マルチレーザ光ライン符号化・復号化ユニットにより、レーザ光ラインに対して記号認識を行い、複合センシング式測位技術により、動的特徴点の測位・レジストレーションに対して予測・誤り訂正を行い、測定誤差のグレード評価をリアルタイムに行ってハードウェアシステムにフィードバックして調整指示を出させ、これにより、低コスト、高効率、高信頼性且つ高精度のレーザ光３次元走査を図ることができる。
マルチラインアレイレーザ光３次元走査システムは、マルチラインアレイレーザ光３次元走査装置と、ホストコンピュータとを含む。図２に示すように、前記マルチラインアレイレーザ光３次元走査装置は、プログラマブルゲートアレイＦＰＧＡ１０１と、少なくとも１つの立体視画像センサー１０２Ａと、慣性センサー１０２Ｂと、ラインレーザアレイ１０３とを含む。前記プログラマブルゲートアレイＦＰＧＡ１０１は、前記立体視画像センサー１０２Ａ、慣性センサー１０２Ｂ、ラインレーザアレイ１０３及び誤差フィードバック制御器１０４にそれぞれ接続されている。前記ホストコンピュータ１０５は、前記プログラマブルゲートアレイＦＰＧＡ１０１、立体視画像センサー１０２Ａ及び慣性センサー１０２Ｂにそれぞれ接続されている。
前記プログラマブルゲートアレイＦＰＧＡ１０１は、第一トリガー信号を前記ラインレーザアレイ１０３に送信するためのものであり、前記ラインレーザアレイ１０３が前記第一トリガー信号に基づいて被測定物体の表面をストロボ照射する。
前記プログラマブルゲートアレイＦＰＧＡ１０１は、さらに、第二トリガー信号を前記立体視画像センサー１０２Ａに送信するためのものであり、前記立体視画像センサー１０２Ａが前記第二トリガー信号に基づいて被測定物体を露光撮影し、撮影した画像対をホストコンピュータに送信する。
前記プログラマブルゲートアレイＦＰＧＡ１０１は、さらに、第三トリガー信号を前記慣性センサー１０２Ｂに送信するためのものであり、前記慣性センサー１０２Ｂが前記第三トリガー信号に基づいてマルチラインアレイレーザ光３次元走査装置の位置姿勢情報をホストコンピュータに送信する。
前記ホストコンピュータ１０５は、さらに、測定データに対してリアルタイムに誤差評価を行い、評価結果をプログラマブルゲートアレイＦＰＧＡ１０１にフィードバックする。
前記プログラマブルゲートアレイＦＰＧＡ１０１は、さらに、前記ホストコンピュータ１０５からフィードバックした評価結果を受信した後、前記評価結果に基づいて、制御信号を前記誤差フィードバック制御器に送信し、前記評価結果に基づいて、前記レーザ光３次元走査装置と被測定物体の距離を調整する。
前記ホストコンピュータ１０５は、前記立体視画像センサー１０２Ａが撮影した画像対中のレーザ光ラインに対して符号化と復号化を行う。
前記ホストコンピュータ１０５は、さらに、被測定物体画像対中の特徴点、及び前記被測定物体の表面から反射したレーザ光ラインに対して３次元再構成を行う。
前記ホストコンピュータ１０５は、さらに、前記慣性センサー１０２Ｂからリターンした位置姿勢情報及び特徴点を基準として、異なるフレーム上の３次元レーザ光ラインデータを同一の座標系中にレジストレーションして、点群を生成する。
上記システムは、プログラマブルゲートアレイＦＰＧＡによって、マルチラインアレイレーザ光３次元走査システムの精確な同期及びロジック制御を実現し、ラインレーザアレイを投影パターンの光源として採用し、プログラマブルゲートアレイＦＰＧＡによって、トリガー信号を立体視画像センサー、慣性センサー及びラインレーザアレイに送信し、このように、ホストコンピュータが立体視画像センサーにより撮影された画像対を受信して、この画像対中のレーザ光ラインアレイパターンに対して、符号化・復号化及び３次元再構成を行い、被測定物体表面の特徴点に対して、３次元再構成、異なる時刻の間の３次元特徴点のマッチング・整列を行う。複合センシング式測位技術により、マッチング演算に対して、予測及び誤り訂正を行い、時間領域レーザ光３次元走査データのレジストレーション・スティッチングに使用する。同時に測定誤差のグレードをリアルタイムに評価し、誤差フィードバック制御器にフィードバックして調整の指示を出させる。これにより、低コスト、高効率、高信頼性且つ高精度のレーザ光３次元走査を図ることができる。
前記プログラマブルゲートアレイＦＰＧＡ１０１は、さらに、前記ホストコンピュータ１０５から送信されたデフォルトパルストリガー信号とデフォルト露光時間を受信し、前記デフォルトパルストリガー信号に基づいて、第一トリガー信号を前記ラインレーザアレイに送信し、第三トリガー信号を前記慣性センサー１０２Ｂに送信し、前記デフォルト露光時間に基づいて、第二トリガー信号を前記立体視画像センサー１０２Ａに送信する。
次に、前記システムの各部の機能を詳細に説明する。
プログラマブルゲートアレイＦＰＧＡ１０１は、立体視画像センサー１０２Ａ、慣性センサー１０２Ｂ、ラインレーザアレイ１０３及び誤差フィードバック制御器１０４にそれぞれ接続されている。ＦＰＧＡ１０１は、パルストリガー信号を立体視画像センサー１０２Ａ、慣性センサー１０２Ｂ及びラインレーザアレイ１０３に送信し、ラインレーザアレイ１０３によるストロボ照射、立体視画像センサー１０２Ａによる同期撮影、及び慣性センサー１０２Ｂによるリアルタイムな位置姿勢情報の取得を精確に制御する。ＦＰＧＡ１０１は、ホストコンピュータと通信し、ホストコンピュータからフィードバックした測定誤差の評価グレードをロジック信号に変換し、誤差フィードバック制御器１０４が調整指示を出すように制御する。ＦＰＧＡ１０１の精確な同期制御の具体的なフローは、図３を参照して説明する。Ｓ３０１では、ホストコンピュータによるマンマシンインタラクションを介して、走査周波数を設定する。Ｓ３０２では、ホストコンピュータは立体視画像センサー１０２Ａと通信し、予め設定した画像収集露光時間を検出する。Ｓ３０３では、ホストコンピュータは上記露光時間をＦＰＧＡ１０１に送信する。Ｓ３０４では、ＦＰＧＡ１０１は受信した露光時間及び走査周波数に基づいて、パルス信号の出力幅及びトリガー出力の周波数を設定する。Ｓ３０５では、ＦＰＧＡ１０１はパルストリガー信号をラインレーザアレイ１０３及び立体視画像センサー１０２Ａにそれぞれ送信する。Ｓ３０６では、光学要素（ラインレーザアレイ１０３及び立体視画像センサー１０２Ａに付加可能な補助照明光源等を含む）は、パルス信号の立ち上がりエッジで通電されて点灯する。Ｓ３０７では、立体視画像センサー１０２Ａはパルス信号の立ち上がりエッジで露光し始めるとともに、慣性センサー１０２Ｂはリアルタイムな位置姿勢情報を得て、ホストコンピュータに返送する。Ｓ３０８では、立体視画像センサーの露光が終了し、一回の画像対収集を完了する。Ｓ３０９では、光学要素はパルスの立ち下がりエッジで電源が切られて消灯する。Ｓ３１０では、ハードウェア装置はＦＰＧＡ１０１による次のトリガーを待ち、即ち、Ｓ３０５に戻る。
立体視画像センサー１０２Ａは多眼画像センサーであり、２つまたは２つ以上の光学カメラより構成されている。複数の光学カメラの間の構造は相対的に固定されており、かつ、カメラの間の相対位置関係及びカメラ内部のパラメータは既知である。複数のカメラはＦＰＧＡ１０１から送信されたトリガーパルス信号を受信し、同一時点で露光し、画像を収集する。毎回収集された複数の画像は一組のステレオマッチング画像対を構成し、カメラ伝送ケーブルを介して、ホストコンピュータに送信し、３次元再構成を行う。立体視画像センサー１０２は、画像収集センサーが収集した被測定物体表面における反射光強度を増やすための補助照明装置を含む。立体視画像センサー１０２Ａは、画像収集センサーが収集した被測定物体表面における反射光強度を増やすための補助照明装置、例えば、画像収集センサーの光学レンズの外円輪郭と同心の環状ＬＥＤランプを含んでもよく、かつ、該環状ＬＥＤランプがカメラ自身の信号入出力インターフェースを介してカメラと接続されている。このインターフェースから出力したラッシュランプ信号の機能により、ＬＥＤランプがカメラ収集と同期にストロボ動作を行うように制御可能である。説明の便宜上、本実施例では、ダブルカメラの立体視画像センサーを例に挙げる。図２の構造模式図に示すように、ダブルカメラは上下の構造で配設されている。故に、上方のカメラを上カメラ、下方のカメラを下カメラという。
慣性センサー１０２Ｂは、走査装置のリアルタイムな位置姿勢を取得する。この位置姿勢情報は走査装置の変位ベクトルと回転のオイラー角ベクトルとを含み、異なる時点における走査データ間の変換関係、すなわち、［Ｒ｜Ｔ］に変換することができ、Ｒは３×３の回転マトリクスであり、Ｔは３×１の変位ベクトルである。外部要因からの干渉を受けて測位エラーが発生しやすい視覚センサーに比べて、慣性センサーの強みは、装置の位置姿勢情報の取得が便利で簡単であり、被測定物体表面のマークポイントまたは特徴点等のような外部要因に頼らないということである。そのため、位置姿勢情報は、外部要因からの干渉を受けてエラーが発生しにくくなり、かつ、走査装置の大まかな測位の取得に適用するときの信頼性が高い。しかし、慣性センサー自身が取得した位置姿勢情報は光学測定で取得した位置姿勢データより精度が低く、特に、変位の累積誤差が大きいため、この位置姿勢情報は独立してデータのレジストレーションに使用することができず、後続の複合センシング式測位ユニットと協力して、光学測位の精度の強みと結びつけて、より効率的且つ高信頼性のデータレジストレーションを行う。
慣性センサー１０２Ｂが取得した位置姿勢情報は、慣性センサー自身の座標系に基づくデータであり、直接に走査装置のグローバル座標系下での位置姿勢情報の代わりに使用することができない。そのため、３次元走査を行う前に、走査装置に対してシステム校正を行って、慣性センサー及び視覚センサーと世界座標系との間の変換関係を確立する必要があり、３次元走査中において、慣性センサーの位置姿勢情報に基づいて、カメラ座標系から世界座標系への変換関係を算出すればいい。キャリブレーションターゲットを使用し、異なる視角から複数の画像を撮影し、各画像の撮影時に慣性センサーから出力したロール角及びピッチ角を記録する。世界座標系と、カメラ座標系と、慣性センサー座標系と、地磁気座標系とを定義する。各画像中のキャリブレーションオブジェクトの画像情報及び空間情報に基づいて、この時刻での世界座標系からカメラ座標系への回転マトリクスを算出する。撮影した画像を２つずつ組み合わせて、各組合のそれぞれに対して、慣性センサー座標系からカメラ座標系への回転マトリクスに関しての方程式系を確立して解くことで、慣性センサー座標系からカメラ座標系への回転マトリクスを算出する。各画像のそれぞれに対して、地磁気座標系から世界座標系への回転マトリクスに関しての方程式系を確立して解くことで、地磁気座標系から世界座標系への回転マトリクスを算出する。３次元走査中に、上記３つのキャリブレーションした変換関係によって、リアルタイムにカメラ座標系から世界座標系への回転マトリクスを得ることができる。
ラインレーザアレイ１０３は、複数のラインレーザがマトリクス状に配列されて構成される。ラインレーザの間の位置関係は相対的に固定されており、レーザアレイ１０３と立体視画像センサー１０２Ａの間の位置関係も相対的に固定されている。ラインレーザアレイ１０３は、ＦＰＧＡ１０１から送信されたパルストリガー信号を受信し、信号の立ち上がりエッジで通電されて点灯し、立ち下がりエッジで電源が切られて消灯する。ラインレーザアレイ１０３から被測定物体の表面に照射する投影パターンはレーザの配列方式によって決定されている。複数のラインレーザの配列方式は多様であり、異なる構造配列によって、異なる投影パターンを投射することができる。例えば、平行な配列方式が挙げられ、すなわち、レーザがレーザ光ライン方向に沿って一致に配列し、このように、複数本のレーザ光ラインが平行に出射し、レーザ光アレイが１つの平面に垂直に投射される時に、投影パターンは一組の平行線になる。マトリクス型の配列方式が挙げられ、レーザ光アレイが１つの平面に垂直に投射される時に、投影パターンは一組のグリッド線になる。ランダムな配列方式が挙げられ、光アレイが１つの平面に垂直に投射される時に、投影パターンは一組の無秩序な直線群になる。そのうち、マトリクス型アレイの長所は、限られた装置空間内で最大化数量のレーザ光ラインアレイを得ることができ、このように、走査効率を上げ、後続のレーザ光ライン符号化を実現しやすくすることである。そのため、図２中の部材１０３に示すように、本実施例はマトリクス型のレーザの配列方式を例に挙げる。
誤差フィードバック制御器１０４は、一つの変色ＬＥＤランプと、一つの通信入力インターフェースと、一つの通信出力インターフェースとを含む。誤差フィードバック制御器１０４は、通信入力インターフェースを介して、ＦＰＧＡ１０１から送信されたロジック信号を受信する。ＬＥＤランプは赤、緑、青の三原色の組合わせに基づいて、少なくとも五種類以上の色で発光可能である。異なる色の光は異なる動作距離指示を表す。前記プログラマブルゲートアレイＦＰＧＡは、前記３次元走査距離の指示情報を前記誤差フィードバック制御器に送信するためのものであり、前記誤差フィードバック制御器が前記指示情報に基づいて前記指示情報に応じたインジケータライトを出力する。例えば、インジケーターランプが緑となる時は、動作距離が合理的な範囲内であることを表す。インジケーターランプが他の色になる時は、動作距離が近すぎか遠すぎかの合理的な範囲外であることを表す。このインジケーターは、人工的操作時に、リアルタイムに作業距離の調整に寄与することができる。前記ホストコンピュータには、さらに、通信インターフェースが設けられている。前記通信インターフェースは、前記ホストコンピュータに接続された制御装置と通信するためのものであり、このように、前記制御装置が前記マルチラインアレイレーザ光３次元走査装置と被測定物体の間の距離を調整する。通信出力インターフェースを介して、動作距離の制御情報をシステムに接続された他の自動化制御装置、例えば、ロボットへフィードバックし、前記便携式走査・センサー装置と被測定物体の間の動作距離を調整するように、ロボットに指示することで、インテリジェント化走査を図る。
ホストコンピュータ中のレーザ光ライン符号化・復号化の機能は、レーザ光ラインパターンのグループに対して符号化・復号化処理を行うためのものである。ラインレーザアレイ１０３と立体視画像センサー１０２Ａの間の位置関係は相対的に固定されており、各レーザから出射したレーザ光平面と立体視画像センサー１０２Ａの間の位置関係も同様に相対的に固定されているため、前記走査センサー装置の自身と結び付けられた座標系の中に、レーザ光平面の方程式は唯一かつ一定である。前期のシステム校正の段階では、プロセッサは、各レーザ光ラインが所在するレーザ光平面に対してそれぞれ符号化を行う。３次元走査の段階では、レーザ光平面のプロパティによって、各レーザ光ラインに対して復号化を行う。このように、各レーザ光ラインのコードが唯一になり、ステレオマッチング画像対中の、コードが同一なレーザ光ラインに対して、３次元再構成を行う。
レーザ光ラインアレイ符号化の具体的なフローを図４に示す。Ｓ４０１では、ＦＰＧＡ１０１はラインレーザアレイを起動するように制御する。Ｓ４０２では、装置を次の予め設定した動作距離まで移動し、レーザ光パターンを参考平面へ投影照射し、レーザ光平面と参考平面は３次元空間において１直線で交差しているため、参考平面へ投影した各レーザ光ラインはいずれも直線である。Ｓ４０３では、ＦＰＧＡ１０１はトリガー信号を送信し、立体視画像センサー１０２Ａが一回露光して画像対を収集するように制御し、光学レンズの結像原理に基づいて、参考平面上のアライメントレーザ光ラインパターンはカメラの結像平面に投影しても直線であり、すなわち、画像上のレーザ光ラインアレイパターンは依然として直線群アレイである。Ｓ４０４では、立体視画像センサー１０２Ａは収集した画像対をホストコンピュータに伝送する。Ｓ４０５では、各画像に対してそれぞれ画像処理を行い、レーザ光ライン中心のハイライト画素をすべて抽出して、線形特性に基づいて、すべてのレーザ光ラインを分離して抽出し、かつ、レーザ光ラインの画像での上から下へ、左から右への順序に基づいて、画像での２次元レーザ光ラインを配列する。Ｓ４０６では、ホストコンピュータにおける３次元再構成演算機能に基づいて、マッチング画像対中の対応番号に応じて、レーザ光ラインを３次元再構成する。Ｓ４０７では、レーザ光ライン上の離散３次元点データを対応番号のレーザ光平面上の観測点集合｛Ｐ｜ｐｉ（ｘｉ，ｙｉ，ｚｉ）｝に累積計上する。Ｓ４０８では、設定動作距離の収集が全部完成したかどうかを判断する。Ｓ４０９では、設定作業距離の収集がまだ全部完成していなかったと判断すれば、Ｓ４０２に移行し、ループに入る。設定作業距離の収集が全部完成したと判断すれば、レーザ光平面方程式を全部フィッティングする。一般空間平面方程式はＡｘ＋Ｂｙ＋Ｃｚ＋Ｄ＝０を満たす。空間平面上の３次元観測点集合｛Ｐ｜ｐｉ（ｘｉ，ｙｉ，ｚｉ）｝はこの平面方程式を満たす。最小二乗法を利用して、Ａ、Ｂ、Ｃ、Ｄの４つの方程式の係数を算出できる。各レーザ光平面は一つのみの平面方程式を有し、この平面方程式の順序番号は即ちレーザ光平面のコードである。
レーザ光ラインアレイ復号化は３次元走査中に行われ、各画像に対してそれぞれ基本画像処理を行い、連続性原則に基づいて、レーザ光ラインの分割を行う。ダブルカメラ画像収集システムでは、上カメラ画像中の各レーザ光線分上の離散画素点は、３次元空間中の上カメラ結像平面上の１つの像点とそれぞれ対応している。この像点と上カメラの光学中心とを接続する直線が空間レーザ光平面と交差して一つの３次元空間点が得られる。カメラ結像原理に基づいて、該点の下カメラ画像上の像点を算出する。上カメラ画像中のあるレーザ光線分上の離散画素点の大部分に対して、上記方法によって下カメラ画像から見つかった対応画素点集合は、ちょうど同一のレーザ光線分に位置すれば、上カメラと下カメラの２本のレーザ光線分に番号をつけてマーキングする。番号は採用されたレーザ光平面番号と一致している。通常の場合は、各レーザ光線分について、全部のレーザ光平面をトラバースして上記算出を行うことにより、いずれも唯一対応しているレーザ光平面及びそのコードを見つけることができる。
ホストコンピュータにおける３次元再構成演算の機能は、立体視センサー１０２Ａが収集した画像対中の物体表面特徴点に対して３次元再構成を行い、物体表面から反射したレーザ光ラインに対して３次元再構成を行うためのものである。すなわち、ステレオマッチング画像対中の２次元特徴点集合を利用して、三角測量演算法によって、３次元特徴点集合に変換する。ステレオマッチング画像対中の２次元の同じコードのレーザ光ラインを三角測量演算法によって、３次元空間レーザ光ラインに変換する。本実施例では、物体表面特徴は物体表面に貼り付けられた、人工的に設計された丸印である。画像処理により抽出された楕円の中心が即ち画像上の２次元特徴点である。エピポーラ幾何原理に基づいて、上カメラ画像中の各特徴点に対して、それぞれ下カメラ画像のエピポーラ線において距離が最も近い２次元特徴点を見つけ、上下カメラの対応している２次元特徴点対に対して、三角測量演算法によって、この特徴点の３次元空間座標を算出することができる。上カメラ画像中の、レーザ光平面に復号化された各レーザ光点に対して、下カメラ画像においてエピポーラ線と同じコードの２次元レーザ光線分との交差点を見つけ、上下カメラの対応している２次元レーザ光点対に対して、三角測量演算法によって、このレーザ光点の３次元空間座標を算出することができる。レーザ光ラインは実質的にこれらレーザ光点の集合である。
ホストコンピュータ中の複合センシング式測位の機能は、各時刻ｔの３次元走査データをグローバル座標系にレジストレーションするためのものである。まず、慣性センサーによりｔ時刻の位置姿勢情報、及び前記視覚−慣性ハイブリッドセンサーの融合校正の結果を得て、現在のカメラ座標系から世界座標系への粗変換関係、すなわち、［Ｒ０｜Ｔ０］ を算出し、そのうち、Ｒ０は３×３の回転マトリクス、Ｔ０は３×１の変位ベクトルである。ｔ時刻にカメラ座標系下で３次元再構成された特徴点集合は｛Ｐ｜ｐｉ（ｘｉ，ｙｉ，ｚｉ）｝である。変換関係［Ｍ０｜Ｔ０］を利用して、点集合Ｐ中の各３次元特徴点の空間座標ＸＰをグローバル座標系に変換する。変換した後の各空間座標値の領域内においてｔ時刻以前に３次元再構成された特徴点集合中の最近点を見つけ、対応するグローバル座標系下での点集合｛Ｑ｜ｑｉ（ｘｉ，ｙｉ，ｚｉ）｝を得る。点集合ＰとＱは一組のマッピング関係を構成する。すなわち、座標変換は、ＲＸＰ＋Ｔ＝ＸＱを満たす変換関係［Ｒ｜Ｔ］が存在している。そのうち、ＸＰは点集合Ｐ中の空間座標ベクトル、ＸＱは点集合Ｑ中の空間座標ベクトル、Ｒは３×３の回転マトリクス、Ｔは３×１の平行移動ベクトルである。最小二乗法及び四元数法を利用して、変換関係［Ｒ｜Ｔ］を算出することができる。ただし、［Ｒ０｜Ｔ０］と［Ｒ｜Ｔ］は実際に同一の変換関係を表している。しかし、光学特徴測位により算出した後の［Ｒ｜Ｔ］は、慣性センサーの位置姿勢から直接に推計した［Ｒ０｜Ｔ０］に比べて、より正確である。その一方、［Ｒ０｜Ｔ０］の意義は、ｔ時刻前にグローバル座標系において３次元再構成された特徴点集合から、ｔ時刻にカメラ座標系において３次元再構成された特徴点集合Ｐとマッチングする部分集合を迅速かつ正確に見つけ、単一の光学特徴点マッチング検索方法の幾何特徴の類似によるミスマッチングを回避し、これにより、走査データレジストレーションの信頼性を向上させたことにある。座標変換関係［Ｒ｜Ｔ］を得た後、ｔ時刻に３次元再構成されたすべてのレーザ光点集合｛Ｍ｜ｍｉ（ｘｉ，ｙｉ，ｚｉ）｝を、ＲＸＭ＋Ｔによって演算することにより、すべてのカメラ座標系において再構成されたレーザ光点３次元空間座標をｔ時刻前の統一のグローバル座標系に変換し、ｔ時刻前の点集合とともに同一の座標系下での点群データを構成することができる。最後は、平行移動ベクトルＴを座標変換により逆変換して、慣性センサー座標系へ逆計算し、慣性センサー座標系下での平行移動ベクトルＴ０を修正する。慣性センサーの変位測定での累積誤差を最大限に減少し、慣性センサーの変位測定の自己校正をリアルタイムに行う。
ホストコンピュータにおける誤差評価演算機能は、現在の測定誤差グレードを評価し、誤差グレードの結果をホストコンピュータとＦＰＧＡ１０１との通信インターフェースを介して、ＦＰＧＡにフィードバックするためのものである。測定誤差は、ｔ時刻に３次元再構成されたすべての特徴点の空間座標から走査センサー装置の二つのカメラ光学中心の座標の連結線中点までの平均距離（ここに、装置作業距離として定義する）を、測定誤差グレードの評価の一つの検討事項とする。作業距離が装置の測定可能な被写界深度範囲内にある時に、誤差グレードを０と評価し、合理的であることを表す。作業距離が被写界深度範囲と比べて大きいまたは小さい時に、誤差グレードを＋１または−１と評価し、作業距離を調整すべきだと警告することを表す。作業距離が被写界深度範囲と比べて大き過ぎるまたは小さ過ぎる時に、誤差グレードを＋２または−２と評価し、作業距離を調整しなければならず、そうしないと、データがもはや更新して累積されないことを表し、全体のデータ品質に影響することを防止する。誤差評価演算ユニット１０８は、物体表面の３次元再構成されたすべてのレーザ光点の空間座標と装置光学中心との平均距離を作業距離として採用して、測定誤差グレードを評価してもよい。
図５は本発明の実施例に係る、上記のマルチラインアレイレーザ光３次元走査システムに基づいたマルチラインアレイレーザ光３次元走査方法を模式的に示すフローチャートである。図５に示すように、Ｓ５０１〜Ｓ５０７を含む。
Ｓ５０１では、前記プログラマブルゲートアレイＦＰＧＡは、第一トリガー信号を前記ラインレーザアレイに送信し、前記ラインレーザ光アレイが前記第一トリガー信号に基づいて被測定物体の表面をストロボ照射する。
Ｓ５０２では、前記プログラマブルゲートアレイＦＰＧＡは、第二トリガー信号を前記立体視画像センサーに送信し、前記立体視画像センサーが前記第二トリガー信号に基づいて被測定物体を露光して撮影し、撮影した画像対をホストコンピュータに送信する。
Ｓ５０３では、前記ホストコンピュータは、前記立体視画像センサーが撮影した画像対中の被測定物体の表面から反射したレーザ光ラインに対して符号化・復号化を行う。
Ｓ５０４では、前記ホストコンピュータは、前記立体視画像センサーが撮影した画像対中の被測定物体の特徴点、及び前記被測定物体の表面から反射したレーザ光ラインに対して３次元再構成を行う。
Ｓ５０５では、前記ホストコンピュータは、前記慣性センサーからリターンした位置姿勢情報及び特徴点を基準として、異なるフレーム上の３次元レーザ光ラインデータを同一の座標系中にレジストレーションして、点群を生成する。
Ｓ５０６では、前記ホストコンピュータは、測定データに対してリアルタイムに誤差評価を行い、評価結果をプログラマブルゲートアレイＦＰＧＡにフィードバックする。
Ｓ５０７では、前記プログラマブルゲートアレイＦＰＧＡは、前記ホストコンピュータからフィードバックした評価結果を受信した後、前記評価結果に基づいて、制御信号を前記誤差フィードバック制御器に送信し、前記評価結果に基づいて、前記レーザ光３次元走査装置と被測定物体の距離を調整する。
上記ステップＳ５０１で前記プログラマブルゲートアレイＦＰＧＡが第一トリガー信号を前記ラインレーザ光アレイに送信する前に、前記方法はさらに、図５に図示しないステップＳ５００を含む。
Ｓ５００では、前記プログラマブルゲートアレイＦＰＧＡは、前記ホストコンピュータから送信されたデフォルト露光時間及びデフォルトパルストリガー信号を受信し、前記デフォルトパルストリガー信号に基づいて、第一トリガー信号を前記ラインレーザ光アレイに送信し、前記デフォルト露光時間に基づいて、第二トリガー信号を前記立体視画像センサーに送信する。
図６に示すのは本実施例のマルチラインアレイレーザ光３次元走査方法の全体の実現フローである。Ｓ６０１では、ホストコンピュータはＦＰＧＡ１０１を制御し、視覚−慣性ハイブリッドセンサー１０２（立体視画像センサー１０２Ａと慣性センサー１０２Ｂ）及びホストコンピュータが起動し、動作状態に入る。Ｓ６０２では、ＦＰＧＡ１０１はトリガー信号を送信し、光学要素がストロボするように制御し、立体視画像センサー１０２Ａが露光し始めて画像対を収集するように制御し、同時に慣性センサー１０２Ｂがリアルタイムな位置姿勢情報を取得するように制御する。Ｓ６０３では、慣性センサー１０２Ｂは、リアルタイムな位置姿勢情報をホストコンピュータに伝送し、立体視画像センサー１０２Ａは収集した画像対をホストコンピュータに伝送する。Ｓ６０４では、ホストコンピュータは、レーザ光ラインアレイの符号化・復号化の機能によって、レーザ光ラインに対して複号化を行ってマーキングし、画像中の各レーザ光線分に対して、レーザ光平面番号を識別する。Ｓ６０５では、ホストコンピュータはさらに、３次元再構成演算の機能によって、レーザ光ラインと特徴点に対して３次元再構成を行う。Ｓ６０６では、ホストコンピュータはさらに、複合センシング式測位の機能によって、装置空間測位、データレジストレーション及び慣性センサーの自己校正を行う。Ｓ６０７では、ホストコンピュータは、誤差グレード評価演算機能によって、測定誤差グレード評価の演算を行う。Ｓ６０８では、ホストコンピュータは誤差グレードをＦＰＧＡ１０１に送信する。Ｓ６０９では、ＦＰＧＡ１０１は誤差グレードに基づいて、誤差フィードバック制御器１０４が指示を出すように制御する。Ｓ６１０では、誤差フィードバック制御器の指示に基づいて、動作距離を調整する。Ｓ６１１では、次のＦＰＧＡトリガー信号を待ち、Ｓ６０２に移行してループに入る。
図２に示すのは本実施例の一動作状態での装置構造模式図である。ポータブルマルチラインアレイレーザ光３次元走査装置は主に、プログラマブルゲートアレイＦＰＧＡ１０１、視覚−慣性ハイブリッドセンサー１０２（立体視画像センサー１０２Ａ及び慣性センサー１０２Ｂを含む）、ラインレーザアレイ１０３及び誤差フィードバック制御器１０４より構成されている。ラインレーザアレイ１０３は一組のレーザ光平面を出射し、被測定物体表面５０１に投影して、一組のレーザ光ラインアレイ５０２を形成する。円形マークポイント５０３は光学３次元走査に一般的に使用されている人工的なマークであり、複数回の走査データの間のレジストレーションとスティッチングに使用されている。
上記システムの走査効率が大幅に向上する。レーザ光ラインアレイパターンを採用したものは従来の技術のシングルレーザ光ライン走査に比べて、データ再構成の効率が倍増する。アレイ中のレーザ光ラインの数量がｎであれば、単位時間内に再構成したデータ量はシングルライン走査のｎ倍になる。すなわち、同じデータ量の走査を完了するには、レーザ光ラインアレイ走査の時間はシングルライン走査の１／ｎとなる。例えば、６個のラインレーザより構成されたアレイの走査効率はシングルライン走査の約６倍になり、走査時間は５／６を短縮させる。
装置のコストが大幅に下がる。特別カスタムされたマルチラインレーザ光発生器は、製造プロセスが複雑であり、その技術が非常に少数の会社に独占され、コストが非常に高い。通常、このようなレーザ光走査装置のレーザのコストは数万人民元となる。シングルラインレーザアレイを採用すれば、レーザ光ラインの数量が同じなレーザアレイのコストはわずか数百人民元となる。すなわち、レーザの部分のコストは９５／１００以上を節約できるとともに、走査装置全体のコストは約２／３を削減できる。
使用年数が大幅に増加する。画像収集センサーの処理速度に制限されるため、画像有効露光時間は走査合計時間の約１／１０を占める。そのため、従来の技術の連続走査モードで、主な光学ＬＥＤ素子（例えばレーザ光ＬＥＤ等）の無効動作時間は９／１０を占める。パルスストロボ式走査を採用した後、主な光学ＬＥＤ素子の無効動作時間の割合が９／１０から０になった。ＬＥＤの公称パラメータによって推定すれば、使用年数は１０倍以上増加した。エネルギー消費は大幅に削減され、放熱はほとんど無視することができるとともに、放熱構造の設計と製造のコストも節約することができる。
走査のスティッチングエラー率が低下し、信頼性が上がる。視覚−慣性ハイブリッドセンサー測位技術を採用したものは、従来の単一光学特徴測位技術と比べて、特徴点マッチングの信頼性を向上させ、光学特徴の幾何学的相似性によるスティッチングエラーの問題を避け、さらに、走査データのスティッチングとレジストレーションの正確率を向上させた。２００個の測位参考マークポイントを含む物体の走査を例として、二種の技術でそれぞれ５０回の走査を行って統計する。単一光学特徴測位技術のスティッチングエラーの確率は約５０％であり、複合センシング式測位技術のスティッチングエラーの確率は０である。
走査の精度が著しく向上した。国際的権威あるドイツＶＤＩ−２６３４光学３次元測定装置の精度検査標準に基づいてテストを行い、誤差評価及びフィードバック制御技術を採用した後、レーザ光走査の精度は０．１ｍｍから０．０３ｍｍまで向上し、もとの約３倍となる。
以上の実施例は本発明の技術案を説明するためのものに過ぎず、本発明はこれに限られない。前記実施例を参照して本発明を詳細に説明したが、当業者は、前記の各実施例に記載した技術案を変更し、あるいはその一部の技術特徴をその均等物に置き換えることが可能であることを理解できる。これらの変更または置き換えは、対応する技術案の本質を本発明の各実施例の技術案の精神と範囲から逸脱させない。
前記立体視画像センサーに、照明装置が設けられていてもよい。
前記照明装置の照射時間は、前記立体視画像センサーの露光時間と同期してもよい。
前記プログラマブルゲートアレイＦＰＧＡは、第一トリガー信号を前記ラインレーザアレイに送信し、前記ラインレーザアレイが前記第一トリガー信号に基づいて被測定物体の表面をストロボ照射する。
前記プログラマブルゲートアレイＦＰＧＡが第一トリガー信号を前記ラインレーザアレイに送信する前に、前記方法はさらに、以下のステップを含んでもよい。
立体視画像センサー１０２Ａは多眼画像センサーであり、２つまたは２つ以上の光学カメラより構成されている。複数の光学カメラの間の構造は相対的に固定されており、かつ、カメラの間の相対位置関係及びカメラ内部のパラメータは既知である。複数のカメラはＦＰＧＡ１０１から送信されたトリガーパルス信号を受信し、同一時点で露光し、画像を収集する。毎回収集された複数の画像は一組のステレオマッチング画像対を構成し、カメラ伝送ケーブルを介して、ホストコンピュータに送信し、３次元再構成を行う。立体視画像センサー１０２Ａは、画像収集センサーが収集した被測定物体表面における反射光強度を増やすための補助照明装置を含む。立体視画像センサー１０２Ａは、画像収集センサーが収集した被測定物体表面における反射光強度を増やすための補助照明装置、例えば、画像収集センサーの光学レンズの外円輪郭と同心の環状ＬＥＤランプを含んでもよく、かつ、該環状ＬＥＤランプがカメラ自身の信号入出力インターフェースを介してカメラと接続されている。このインターフェースから出力したラッシュランプ信号の機能により、ＬＥＤランプがカメラ収集と同期にストロボ動作を行うように制御可能である。説明の便宜上、本実施例では、ダブルカメラの立体視画像センサーを例に挙げる。図２の構造模式図に示すように、ダブルカメラは上下の構造で配設されている。故に、上方のカメラを上カメラ、下方のカメラを下カメラという。
ホストコンピュータにおける３次元再構成演算の機能は、立体視画像センサー１０２Ａが収集した画像対中の物体表面特徴点に対して３次元再構成を行い、物体表面から反射したレーザ光ラインに対して３次元再構成を行うためのものである。すなわち、ステレオマッチング画像対中の２次元特徴点集合を利用して、三角測量演算法によって、３次元特徴点集合に変換する。ステレオマッチング画像対中の２次元の同じコードのレーザ光ラインを三角測量演算法によって、３次元空間レーザ光ラインに変換する。本実施例では、物体表面特徴は物体表面に貼り付けられた、人工的に設計された丸印である。画像処理により抽出された楕円の中心が即ち画像上の２次元特徴点である。エピポーラ幾何原理に基づいて、上カメラ画像中の各特徴点に対して、それぞれ下カメラ画像のエピポーラ線において距離が最も近い２次元特徴点を見つけ、上下カメラの対応している２次元特徴点対に対して、三角測量演算法によって、この特徴点の３次元空間座標を算出することができる。上カメラ画像中の、レーザ光平面に復号化された各レーザ光点に対して、下カメラ画像においてエピポーラ線と同じコードの２次元レーザ光線分との交差点を見つけ、上下カメラの対応している２次元レーザ光点対に対して、三角測量演算法によって、このレーザ光点の３次元空間座標を算出することができる。レーザ光ラインは実質的にこれらレーザ光点の集合である。
ホストコンピュータ中の複合センシング式測位の機能は、各時刻ｔの３次元走査データをグローバル座標系にレジストレーションするためのものである。まず、慣性センサーによりｔ時刻の位置姿勢情報、及び視覚−慣性ハイブリッドセンサーの融合校正の結果を得て、現在のカメラ座標系から世界座標系への粗変換関係、すなわち、［Ｒ０｜Ｔ０］ を算出し、そのうち、Ｒ０は３×３の回転マトリクス、Ｔ０は３×１の変位ベクトルである。ｔ時刻にカメラ座標系下で３次元再構成された特徴点集合は｛Ｐ｜ｐｉ（ｘｉ，ｙｉ，ｚｉ）｝である。変換関係［Ｍ０｜Ｔ０］を利用して、点集合Ｐ中の各３次元特徴点の空間座標ＸＰをグローバル座標系に変換する。変換した後の各空間座標値の領域内においてｔ時刻以前に３次元再構成された特徴点集合中の最近点を見つけ、対応するグローバル座標系下での点集合｛Ｑ｜ｑｉ（ｘｉ，ｙｉ，ｚｉ）｝を得る。点集合ＰとＱは一組のマッピング関係を構成する。すなわち、座標変換は、ＲＸＰ＋Ｔ＝ＸＱを満たす変換関係［Ｒ｜Ｔ］が存在している。そのうち、ＸＰは点集合Ｐ中の空間座標ベクトル、ＸＱは点集合Ｑ中の空間座標ベクトル、Ｒは３×３の回転マトリクス、Ｔは３×１の平行移動ベクトルである。最小二乗法及び四元数法を利用して、変換関係［Ｒ｜Ｔ］を算出することができる。ただし、［Ｒ０｜Ｔ０］と［Ｒ｜Ｔ］は実際に同一の変換関係を表している。しかし、光学特徴測位により算出した後の［Ｒ｜Ｔ］は、慣性センサーの位置姿勢から直接に推計した［Ｒ０｜Ｔ０］に比べて、より正確である。その一方、［Ｒ０｜Ｔ０］の意義は、ｔ時刻前にグローバル座標系において３次元再構成された特徴点集合から、ｔ時刻にカメラ座標系において３次元再構成された特徴点集合Ｐとマッチングする部分集合を迅速かつ正確に見つけ、単一の光学特徴点マッチング検索方法の幾何特徴の類似によるミスマッチングを回避し、これにより、走査データレジストレーションの信頼性を向上させたことにある。座標変換関係［Ｒ｜Ｔ］を得た後、ｔ時刻に３次元再構成されたすべてのレーザ光点集合｛Ｍ｜ｍｉ（ｘｉ，ｙｉ，ｚｉ）｝を、ＲＸＭ＋Ｔによって演算することにより、すべてのカメラ座標系において再構成されたレーザ光点３次元空間座標をｔ時刻前の統一のグローバル座標系に変換し、ｔ時刻前の点集合とともに同一の座標系下での点群データを構成することができる。最後は、平行移動ベクトルＴを座標変換により逆変換して、慣性センサー座標系へ逆計算し、慣性センサー座標系下での平行移動ベクトルＴ０を修正する。慣性センサーの変位測定での累積誤差を最大限に減少し、慣性センサーの変位測定の自己校正をリアルタイムに行う。
Ｓ５０１では、前記プログラマブルゲートアレイＦＰＧＡは、第一トリガー信号を前記ラインレーザアレイに送信し、前記ラインレーザアレイが前記第一トリガー信号に基づいて被測定物体の表面をストロボ照射する。
上記ステップＳ５０１で前記プログラマブルゲートアレイＦＰＧＡが第一トリガー信号を前記ラインレーザアレイに送信する前に、前記方法はさらに、図５に図示しないステップＳ５００を含む。
Ｓ５００では、前記プログラマブルゲートアレイＦＰＧＡは、前記ホストコンピュータから送信されたデフォルト露光時間及びデフォルトパルストリガー信号を受信し、前記デフォルトパルストリガー信号に基づいて、第一トリガー信号を前記ラインレーザアレイに送信し、前記デフォルト露光時間に基づいて、第二トリガー信号を前記立体視画像センサーに送信する。

Claims (13)

  1. マルチラインアレイレーザ光３次元走査装置と、ホストコンピュータとを含み、
    前記マルチラインアレイレーザ光３次元走査装置は、プログラマブルゲートアレイＦＰＧＡと、少なくとも一つの立体視画像センサーと、慣性センサーと、ラインレーザアレイと、誤差フィードバック制御器とを含み、
    前記プログラマブルゲートアレイＦＰＧＡは、前記立体視画像センサー、慣性センサー、ラインレーザアレイ及び誤差フィードバック制御器にそれぞれ接続され、
    前記ホストコンピュータは、前記プログラマブルゲートアレイＦＰＧＡ、立体視画像センサー及び慣性センサーにそれぞれ接続され、
    前記プログラマブルゲートアレイＦＰＧＡは、第一トリガー信号を前記ラインレーザアレイに送信するためのものであり、前記ラインレーザアレイが前記第一トリガー信号に基づいて被測定物体の表面をストロボ照射し、
    前記プログラマブルゲートアレイＦＰＧＡは、さらに、第二トリガー信号を前記立体視画像センサーに送信するためのものであり、前記立体視画像センサーが前記第二トリガー信号に基づいて被測定物体を露光撮影し、撮影した画像対をホストコンピュータに送信し、
    前記プログラマブルゲートアレイＦＰＧＡは、さらに、第三トリガー信号を前記慣性センサーに送信するためのものであり、前記慣性センサーが前記第三トリガー信号に基づいてマルチラインアレイレーザ光３次元走査装置の位置姿勢情報をホストコンピュータに送信し、
    前記ホストコンピュータは、さらに、測定データに対してリアルタイムに誤差評価を行い、評価結果をプログラマブルゲートアレイＦＰＧＡにフィードバックし、
    前記プログラマブルゲートアレイＦＰＧＡは、さらに、前記ホストコンピュータからフィードバックした評価結果を受信した後、前記評価結果に基づいて、制御信号を前記誤差フィードバック制御器に送信し、前記評価結果に基づいて、前記レーザ光３次元走査装置と被測定物体の距離を調整し、
    前記ホストコンピュータは、前記立体視画像センサーが撮影した画像対中のレーザ光ラインに対して符号化と復号化を行い、
    前記ホストコンピュータは、さらに、被測定物体画像対中の特徴点、及び前記被測定物体の表面から反射したレーザ光ラインに対して３次元再構成を行い、
    前記ホストコンピュータは、さらに、前記慣性センサーからリターンした位置姿勢情報及び特徴点を基準とし、異なるフレーム上の３次元レーザ光ラインデータを同一の座標系中にレジストレーションして、点群を生成することを特徴とする、マルチラインアレイレーザ光３次元走査システム。
  2. 前記プログラマブルゲートアレイＦＰＧＡは、さらに、前記ホストコンピュータから送信されたデフォルトパルストリガー信号とデフォルト露光時間を受信し、前記デフォルトパルストリガー信号に基づいて、第一トリガー信号を前記ラインレーザアレイに送信し、第三トリガー信号を前記慣性センサーに送信し、前記デフォルト露光時間に基づいて、第二トリガー信号を前記立体視画像センサーに送信することを特徴とする、請求項１に記載のシステム。
  3. 前記誤差フィードバック制御器は、前記プログラマブルゲートアレイＦＰＧＡから送信された制御信号を受信し、前記制御信号に応じたインジケータライトを出力することを特徴とする、請求項１に記載のシステム。
  4. 前記誤差フィードバック制御器は変色ＬＥＤランプであって、赤、緑、青の三原色を組み合わせた光を含むことを特徴とする、請求項３に記載のシステム。
  5. 前記立体視画像センサーは、多眼視画像センサーであって、二つまたは二つ以上の光学カメラより構成されることを特徴とする、請求項１に記載のシステム。
  6. 前記立体視センサーに、照明装置が設けられていることを特徴とする、請求項１に記載のシステム。
  7. 前記照明装置の照射時間は、前記立体視センサーの露光時間と同期することを特徴とする、請求項６に記載のシステム。
  8. 前記ラインレーザアレイは、複数のラインレーザがマトリクス状に配列されて構成されることを特徴とする、請求項１に記載のシステム。
  9. 前記ホストコンピュータは、前記特徴点を追跡し、隣接する時間フレーム間の同名の特徴点を追跡することによって、異なるフレーム上の３次元レーザ光ラインデータを同一の座標系中にレジストレーションすることを特徴とする、請求項１に記載のシステム。
  10. 前記ホストコンピュータは、さらに、前記レーザ光３次元走査装置と被測定物体の距離をリアルタイムに評価し、前記距離がデフォルト距離を超える場合に、前記プログラマブルゲートアレイＦＰＧＡへ評価結果をフィードバックすることを特徴とする、請求項１に記載のシステム。
  11. 前記ホストコンピュータには、さらに、通信インターフェースが設けられ、前記通信インターフェースは、前記ホストコンピュータと接続された制御装置への通信を行うためのものであり、前記制御装置が前記マルチラインアレイレーザ光３次元走査装置と被測定物体の間の距離を調整することを特徴とする、請求項１−１０のいずれかに記載のシステム。
  12. 前記プログラマブルゲートアレイＦＰＧＡは、第一トリガー信号を前記ラインレーザアレイに送信し、前記ラインレーザ光アレイが前記第一トリガー信号に基づいて被測定物体の表面をストロボ照射するステップと、
    前記プログラマブルゲートアレイＦＰＧＡは、第二トリガー信号を前記立体視画像センサーに送信し、前記立体視画像センサーが前記第二トリガー信号に基づいて被測定物体を露光撮影し、撮影した画像対をホストコンピュータに送信するステップと、
    前記ホストコンピュータは、前記立体視画像センサーが撮影した画像対中の被測定物体の表面から反射したレーザ光ラインに対して符号化・復号化を行うステップと、
    前記ホストコンピュータは、前記立体視画像センサーが撮影した画像対中の被測定物体の特徴点、及び前記被測定物体の表面から反射したレーザ光ラインに対して３次元再構成を行うステップと、
    前記ホストコンピュータは、前記慣性センサーからリターンした位置姿勢情報及び特徴点を基準とし、異なるフレーム上の３次元レーザ光ラインデータを同一の座標系中にレジストレーションして、点群を生成するステップと、
    前記ホストコンピュータは、測定データに対してリアルタイムに誤差評価を行い、評価結果をプログラマブルゲートアレイＦＰＧＡにフィードバックするステップと、
    前記プログラマブルゲートアレイＦＰＧＡは、前記ホストコンピュータからフィードバックした評価結果を受信した後、前記評価結果に基づいて、制御信号を前記誤差フィードバック制御器に送信し、かつ前記評価結果に基づいて、前記レーザ光３次元走査装置と被測定物体の距離を調整するステップとを含むことを特徴とする、請求項１−１１のいずれかに記載のマルチラインアレイレーザ光３次元走査システムに基づいたマルチラインアレイレーザ光３次元走査方法。
  13. 前記プログラマブルゲートアレイＦＰＧＡが第一トリガー信号を前記ラインレーザ光アレイに送信する前に、前記方法さらに、
    前記プログラマブルゲートアレイＦＰＧＡは、前記ホストコンピュータから送信されたデフォルト露光時間及びデフォルトパルストリガー信号を受信し、前記デフォルトパルストリガー信号に基づいて、第一トリガー信号を前記ラインレーザアレイに送信し、第三トリガー信号を前記慣性センサーに送信し、前記デフォルト露光時間に基づいて、第二トリガー信号を前記立体視画像センサーに送信することを含むことを特徴とする、請求項１２に記載の方法。
JP2018515340A 2015-09-10 2016-01-28 マルチラインアレイレーザ光３次元走査システム、及びマルチラインアレイレーザ光３次元走査方法 Active JP6550536B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510574982.XA CN105222724B (zh) 2015-09-10 2015-09-10 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法
CN201510574982.X 2015-09-10
PCT/CN2016/072451 WO2017041419A1 (zh) 2015-09-10 2016-01-28 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法

Publications (2)

Publication Number Publication Date
JP2018516377A true JP2018516377A (ja) 2018-06-21
JP6550536B2 JP6550536B2 (ja) 2019-07-24

Family

ID=54991817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018515340A Active JP6550536B2 (ja) 2015-09-10 2016-01-28 マルチラインアレイレーザ光３次元走査システム、及びマルチラインアレイレーザ光３次元走査方法

Country Status (7)

Country Link
US (1) US10267627B2 (ja)
EP (1) EP3348958B1 (ja)
JP (1) JP6550536B2 (ja)
KR (1) KR102015606B1 (ja)
CN (1) CN105222724B (ja)
ES (1) ES2961734T3 (ja)
WO (1) WO2017041419A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108007385A (zh) * 2017-12-31 2018-05-08 中国人民解放军陆军工程大学 一种大视场弹坑表面形貌成像系统及方法

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105222724B (zh) 2015-09-10 2018-09-18 北京天远三维科技股份有限公司 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法
US10438036B1 (en) 2015-11-09 2019-10-08 Cognex Corporation System and method for reading and decoding ID codes on a curved, sloped and/or annular object
CN106017355A (zh) * 2016-03-22 2016-10-12 武汉武大卓越科技有限责任公司 一种基于线结构光的三维测量传感器
CN105759280A (zh) * 2016-05-17 2016-07-13 上海酷哇机器人有限公司 对人眼安全的激光三角测量系统
CN106153074B (zh) * 2016-06-20 2023-05-05 浙江大学 一种惯性测量组合动态导航性能的光学标定系统和方法
CN108020825B (zh) * 2016-11-03 2021-02-19 岭纬公司 激光雷达、激光摄像头、视频摄像头的融合标定系统及方法
CN108274463B (zh) * 2017-01-06 2024-03-26 苏州华兴致远电子科技有限公司 列车库检机器人和列车零部件检测方法
CN106969724B (zh) * 2017-05-09 2023-03-24 河南科技大学 一种自旋转十字线激光扫描的环境三维形貌感知装置
CN107167118B (zh) * 2017-06-05 2019-10-11 南京航空航天大学 一种基于非编码平行多线的稳定实时激光测量方法
CN108317954B (zh) * 2017-10-27 2020-06-12 广东康云多维视觉智能科技有限公司 一种激光引导扫描系统和方法
CN107678040B (zh) * 2017-11-03 2023-09-26 长春理工大学 用于车载三维成像固态激光雷达系统
US10516876B2 (en) 2017-12-19 2019-12-24 Intel Corporation Dynamic vision sensor and projector for depth imaging
CN107976157A (zh) * 2017-12-26 2018-05-01 天远三维（天津）科技有限公司 一种于获取物体表面三维形貌的无线手持式三维扫描设备
US10949700B2 (en) * 2018-01-10 2021-03-16 Qualcomm Incorporated Depth based image searching
US10819972B2 (en) 2018-05-03 2020-10-27 Osram Sylvania Inc. Method and apparatus for light and computer vision based dimensional metrology and 3D reconstruction
CN109141236A (zh) * 2018-08-17 2019-01-04 上海交通大学 基于振镜扫描的激光频闪三维视觉测量系统及方法
TWI676781B (zh) * 2018-08-17 2019-11-11 鑑微科技股份有限公司 三維掃描系統
US10883823B2 (en) * 2018-10-18 2021-01-05 Cyberoptics Corporation Three-dimensional sensor with counterposed channels
CN209224071U (zh) * 2018-11-19 2019-08-09 炬星科技（深圳）有限公司 机器人的传感器布局系统
CN109443237B (zh) * 2018-11-30 2023-09-22 广西师范大学 一种远距离结构光三维测量装置
CN109584288B (zh) * 2018-12-26 2023-05-02 苏州大学 一种五轴系统中三维模型的重构方法及系统
CN109920007B (zh) * 2019-01-26 2023-04-07 中国海洋大学 基于多光谱光度立体与激光扫描的三维成像装置及方法
JP7412983B2 (ja) * 2019-02-04 2024-01-15 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US10488185B1 (en) * 2019-03-14 2019-11-26 The Boeing Company Methods and systems for characterizing a surface of a structural component
JP2020153718A (ja) * 2019-03-18 2020-09-24 株式会社リコー 測定装置及び造形装置
GB201904072D0 (en) * 2019-03-25 2019-05-08 Secr Defence Dazzle resilient video camera or video camera module
CN110153417A (zh) * 2019-04-30 2019-08-23 大族激光科技产业集团股份有限公司 一种激光成型设备
CN110295533A (zh) * 2019-08-02 2019-10-01 武汉夕睿光电技术有限公司 一种路面移动测量装置、系统及方法
EP4028719A4 (en) 2019-10-06 2023-10-04 Orbotech Ltd. HYBRID 3D INSPECTION SYSTEM
CN110887486B (zh) * 2019-10-18 2022-05-20 南京航空航天大学 一种基于激光线辅助的无人机视觉导航定位方法
CN110763194B (zh) * 2019-11-01 2021-11-02 中国矿业大学 一种地面三维激光扫描无标靶监测矿区地表沉陷的方法
CN110930382A (zh) * 2019-11-19 2020-03-27 广东博智林机器人有限公司 基于标定板特征点提取的点云拼接精度评估方法及系统
CN110986904A (zh) * 2019-12-20 2020-04-10 上海振华重工(集团)股份有限公司 一种自动运输车的激光器标定系统及方法
US10996051B1 (en) * 2020-02-21 2021-05-04 The Boeing Company Systems and methods for determining space availability in an aircraft
CN111325796B (zh) * 2020-02-28 2023-08-18 北京百度网讯科技有限公司 用于确定视觉设备的位姿的方法和装置
KR102444879B1 (ko) * 2020-03-05 2022-09-19 고려대학교 산학협력단 라이다(Lidar)를 이용한 실내 공간의 3차원 모델링 방법
CN115280780A (zh) * 2020-03-16 2022-11-01 Lg电子株式会社 点云数据发送装置、发送方法、处理装置和处理方法
US11287314B1 (en) * 2020-03-17 2022-03-29 Roof Asset Management Usa Ltd. Method for evaluating artificial lighting of a surface
CN111649729A (zh) * 2020-05-16 2020-09-11 阿勒泰正元国际矿业有限公司 一种基于三维激光扫描的矿山采空区探测方法
CN111632279B (zh) * 2020-05-23 2021-12-10 四川中测辐射科技有限公司 利用多传感器进行三维射束分析仪的ssd精确调整方法
US20230334711A1 (en) * 2020-06-29 2023-10-19 Lg Electronics Inc. Point cloud data transmission device, transmission method, processing device, and processing method
CN111854601B (zh) * 2020-07-17 2023-03-28 湖南华曙高科技股份有限公司 用于多激光多扫描系统的校准装置及其校准方法
CN111854642B (zh) * 2020-07-23 2021-08-10 浙江汉振智能技术有限公司 基于随机点阵的多线激光三维成像方法及系统
US11763473B2 (en) 2020-07-23 2023-09-19 Zhejiang Hanchine Ai Tech. Co., Ltd. Multi-line laser three-dimensional imaging method and system based on random lattice
CN111860544B (zh) * 2020-07-28 2024-05-17 杭州优链时代科技有限公司 一种投影辅助衣物特征提取方法及系统
CN111982021A (zh) * 2020-07-29 2020-11-24 江苏大学 一种船舶曲板成形便携式三维视觉检测系统及方法
CN112082513A (zh) * 2020-09-09 2020-12-15 易思维（杭州）科技有限公司 一种多激光阵列三维扫描系统及方法
WO2022060176A1 (ko) * 2020-09-17 2022-03-24 엘지전자 주식회사 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치
CN112113505B (zh) * 2020-09-23 2022-02-01 华中科技大学鄂州工业技术研究院 一种基于线结构光的便携扫描测量装置及方法
CN112254650B (zh) * 2020-09-25 2022-03-01 武汉科技大学 激光测距式动态检测皮带跑偏系统
CN112284294A (zh) * 2020-09-27 2021-01-29 浙江大学 一种水下多波段交叉线阵激光三维扫描系统
US20230388557A1 (en) * 2020-10-07 2023-11-30 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2022080982A1 (ko) * 2020-10-16 2022-04-21 엘지전자 주식회사 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치
CN112307562B (zh) * 2020-10-30 2022-03-01 泉州装备制造研究所 综合热变形与重力变形的大型飞机上复杂部件的装配方法
CN112489110A (zh) * 2020-11-25 2021-03-12 西北工业大学青岛研究院 一种水下动态场景光学混合三维成像方法
CN112781470B (zh) * 2020-12-24 2022-08-16 中广核核电运营有限公司 U型槽多维度间隙测量方法及系统
CN112833816A (zh) * 2020-12-31 2021-05-25 武汉中观自动化科技有限公司 一种标志点定位与智能反向定位混合的定位方法和系统
CN112819774A (zh) * 2021-01-28 2021-05-18 上海工程技术大学 基于三维重建技术的大型构件外形误差检测方法及其应用
CN112958958B (zh) * 2021-02-08 2023-03-21 西安知象光电科技有限公司 一种mems微镜面扫描与线扫描混合的激光焊缝扫描装置及扫描方法
CN113029041B (zh) * 2021-04-02 2022-11-01 扬州大学 一种多条激光线错位插补的测量方法
CN113390362B (zh) * 2021-05-26 2023-02-28 武汉钢铁有限公司 一种用于激光线性扫描的高精度自适应平台
CN113531018B (zh) * 2021-06-23 2022-09-06 中国矿业大学 一种基于激光网格的矿井提升机制动盘故障监测系统及方法
CN113390357B (zh) * 2021-07-08 2022-06-07 南京航空航天大学 一种基于双目多线结构光的铆钉齐平度测量方法
CN113624142B (zh) * 2021-07-26 2022-12-13 成都飞机工业（集团）有限责任公司 一种飞机装配紧固件凹凸量检测方法
CN113640824A (zh) * 2021-08-20 2021-11-12 西安外事学院 一种光摄一体式控制系统及控制方法
CN113983953A (zh) * 2021-09-29 2022-01-28 江苏兴邦能源科技有限公司 基于三维建模技术的燃料电池双极板测试系统及方法
CN114295046B (zh) * 2021-11-30 2023-07-11 宏大爆破工程集团有限责任公司 一种爆堆形态综合评价方法及系统、电子设备、存储介质
CN114264249B (zh) * 2021-12-14 2023-06-16 中国石油大学(华东) 深孔狭小内腔三维测量系统及方法
CN114199132B (zh) * 2021-12-16 2024-02-27 上海应用技术大学 一种基于机器视觉的激光三维扫描仪及扫描方法
CN114485479B (zh) * 2022-01-17 2022-12-30 吉林大学 基于双目相机和惯性导航的结构光扫描测量方法及系统
CN114719775B (zh) * 2022-04-06 2023-08-29 新拓三维技术(深圳)有限公司 一种运载火箭舱段自动化形貌重建方法及系统
CN114620091A (zh) * 2022-04-11 2022-06-14 南京拓控信息科技股份有限公司 一种基于三维信息的列车车轮不圆度检测方法
CN114820489B (zh) * 2022-04-15 2022-10-25 北京昆迈医疗科技有限公司 一种基于空间标记点的opm阵列快速光学扫描定位方法
CN114779465B (zh) * 2022-06-23 2022-09-13 杭州灵西机器人智能科技有限公司 一种双线激光扫描系统和方法
CN115243022B (zh) * 2022-08-22 2024-03-05 周口师范学院 一种激光投影互动展示系统
CN115511688B (zh) * 2022-11-04 2023-03-10 思看科技(杭州)股份有限公司 数据处理设备和三维扫描系统
CN115830181B (zh) * 2023-01-04 2023-05-09 深圳市先地图像科技有限公司 一种用于激光成像的图像处理方法、装置及相关设备
CN116206069B (zh) * 2023-04-28 2023-10-13 思看科技(杭州)股份有限公司 三维扫描中的图像数据处理方法、装置和三维扫描仪
CN116756893B (zh) * 2023-06-16 2024-01-05 深圳讯道实业股份有限公司 应用于工矿控制系统的输配电电缆布设及控制方法
CN116760931B (zh) * 2023-06-20 2024-01-30 深圳市光太科技有限公司 一种提高线扫相机拍摄精度的方法与装置
CN116781837B (zh) * 2023-08-25 2023-11-14 中南大学 一种自动化激光三维扫描系统
CN117190983B (zh) * 2023-09-05 2024-04-26 湖南天桥嘉成智能科技有限公司 一种隧道超欠开挖检测系统、方法、设备及存储介质
CN117237230B (zh) * 2023-11-09 2024-03-22 武汉中观自动化科技有限公司 激光线及标志点识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07260444A (ja) * 1994-03-24 1995-10-13 Nippon Avionics Co Ltd 光切断法による対象物の三次元計測方法およびその装置
JP2012058076A (ja) * 2010-09-09 2012-03-22 3D Media Co Ltd ３次元計測装置及び３次元計測方法
CN104165600A (zh) * 2014-07-03 2014-11-26 杭州鼎热科技有限公司 一种无线手持3d激光扫描系统
JP2015145797A (ja) * 2014-01-31 2015-08-13 株式会社キーエンス 画像検査装置、画像検査方法及び画像検査プログラム並びにコンピュータで読み取り可能な記録媒体

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377700B1 (en) * 1998-06-30 2002-04-23 Intel Corporation Method and apparatus for capturing stereoscopic images using image sensors
WO2003060424A1 (en) * 2002-01-18 2003-07-24 Mv Research Limited A machine vision system
US7196300B2 (en) * 2003-07-18 2007-03-27 Rudolph Technologies, Inc. Dynamic focusing method and apparatus
CN1203292C (zh) * 2003-08-15 2005-05-25 清华大学 测量物体三维表面轮廊的方法
JP3991040B2 (ja) * 2003-08-20 2007-10-17 独立行政法人科学技術振興機構 三次元計測装置及び三次元計測方法
US7375826B1 (en) * 2004-09-23 2008-05-20 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) High speed three-dimensional laser scanner with real time processing
WO2011000435A1 (en) * 2009-07-03 2011-01-06 Leica Geosystems Ag Apparatus for generating three-dimensional image of object
KR101126626B1 (ko) * 2010-03-02 2012-03-26 한국과학기술원 광역 3차원 복원을 위한 시스템 및 방법
DE102010049672B3 (de) * 2010-10-20 2012-02-16 Technische Universität Dresden Laser-Doppler-Linien-Distanzsensor zur dreidimensionalen Formvermessung bewegter Festkörper
KR101706093B1 (ko) * 2010-11-30 2017-02-14 삼성전자주식회사 3차원 좌표 추출 시스템 및 그 방법
US9402036B2 (en) * 2011-10-17 2016-07-26 Rudolph Technologies, Inc. Scanning operation with concurrent focus and inspection
CN102589476B (zh) * 2012-02-13 2014-04-02 天津大学 高速扫描整体成像三维测量方法
CN102607462B (zh) 2012-03-26 2014-02-12 武汉迅能光电科技有限公司 一种三维激光扫描信号同步及修正方法
CN103608696B (zh) * 2012-05-22 2016-05-11 韩国生产技术研究院 3d扫描系统和获得3d图像的方法
KR20140049361A (ko) * 2012-10-17 2014-04-25 한국과학기술원 다중 센서 시스템, 이를 이용하는 3차원 월드 모델링 장치 및 방법
WO2014152254A2 (en) * 2013-03-15 2014-09-25 Carnegie Robotics Llc Methods, systems, and apparatus for multi-sensory stereo vision for robotics
KR101458696B1 (ko) 2013-04-19 2014-11-05 이기창 고속 전자식 3차원 레이저 스캐너 장치
JP2015045587A (ja) * 2013-08-28 2015-03-12 株式会社キーエンス 三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN103604366B (zh) * 2013-11-06 2016-03-02 深圳市华星光电技术有限公司 用于检测误差并引导误差校正的系统及方法
KR101604037B1 (ko) * 2014-05-09 2016-03-16 한국건설기술연구원 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
WO2016168378A1 (en) * 2015-04-13 2016-10-20 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
US10122998B2 (en) * 2015-04-30 2018-11-06 Seiko Epson Corporation Real time sensor and method for synchronizing real time sensor data streams
US9964398B2 (en) * 2015-05-06 2018-05-08 Faro Technologies, Inc. Three-dimensional measuring device removably coupled to robotic arm on motorized mobile platform
US9903934B2 (en) * 2015-06-30 2018-02-27 Faro Technologies, Inc. Apparatus and method of measuring six degrees of freedom
CN104990518A (zh) * 2015-07-13 2015-10-21 深圳市易尚展示股份有限公司 一种基于fpga的三维扫描控制装置和方法
CN105222724B (zh) 2015-09-10 2018-09-18 北京天远三维科技股份有限公司 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法
CN105203046B (zh) 2015-09-10 2018-09-18 北京天远三维科技股份有限公司 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法
US9909855B2 (en) * 2015-12-30 2018-03-06 Faro Technologies, Inc. Registration of three-dimensional coordinates measured on interior and exterior portions of an object

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07260444A (ja) * 1994-03-24 1995-10-13 Nippon Avionics Co Ltd 光切断法による対象物の三次元計測方法およびその装置
JP2012058076A (ja) * 2010-09-09 2012-03-22 3D Media Co Ltd ３次元計測装置及び３次元計測方法
JP2015145797A (ja) * 2014-01-31 2015-08-13 株式会社キーエンス 画像検査装置、画像検査方法及び画像検査プログラム並びにコンピュータで読み取り可能な記録媒体
CN104165600A (zh) * 2014-07-03 2014-11-26 杭州鼎热科技有限公司 一种无线手持3d激光扫描系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108007385A (zh) * 2017-12-31 2018-05-08 中国人民解放军陆军工程大学 一种大视场弹坑表面形貌成像系统及方法
CN108007385B (zh) * 2017-12-31 2023-11-14 中国人民解放军陆军工程大学 一种大视场弹坑表面形貌成像系统及方法

Also Published As

Publication number Publication date
CN105222724A (zh) 2016-01-06
WO2017041419A1 (zh) 2017-03-16
US10267627B2 (en) 2019-04-23
CN105222724B (zh) 2018-09-18
US20180180408A1 (en) 2018-06-28
KR102015606B1 (ko) 2019-08-28
EP3348958A1 (en) 2018-07-18
EP3348958C0 (en) 2023-08-02
EP3348958B1 (en) 2023-08-02
ES2961734T3 (es) 2024-03-13
KR20170135914A (ko) 2017-12-08
JP6550536B2 (ja) 2019-07-24
EP3348958A4 (en) 2019-10-09

Similar Documents

Publication Publication Date Title
JP6550536B2 (ja) マルチラインアレイレーザ光３次元走査システム、及びマルチラインアレイレーザ光３次元走査方法
WO2017041418A1 (zh) 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法
EP3531066B1 (en) Three-dimensional scanning method including a plurality of lasers with different wavelengths, and scanner
US10508902B2 (en) Three-dimensional measurement device
TWI460394B (zh) 三維影像量測裝置
WO2019007180A1 (zh) 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统
WO2018103152A1 (zh) 一种三维数字成像传感器、三维扫描系统及其扫描方法
CN102438111A (zh) 一种基于双阵列图像传感器的三维测量芯片及系统
CN105004324B (zh) 一种具有三角测距功能的单目视觉传感器
CN108592886B (zh) 图像采集设备和图像采集方法
CN104614925A (zh) 投影装置与深度测量系统
JP2017528714A (ja) ３次元座標の光学測定のための方法および３次元測定デバイスの制御
CN202406199U (zh) 一种基于双阵列图像传感器的三维测量芯片及系统
CN210719062U (zh) 一种基于无线同步的跟踪装置及扫描系统
CN105333838A (zh) 一种彩色3d测量系统
CN106247944B (zh) 编码靶标及基于编码靶标的视觉坐标测量方法
CN215810705U (zh) 三维扫描系统
US11326874B2 (en) Structured light projection optical system for obtaining 3D data of object surface
CN209181735U (zh) 基于激光器的两栖三维视觉探测装置
CN114909993A (zh) 一种高精度式激光投影视觉三维测量系统
CN210719061U (zh) 一种基于无线同步的扫描装置及扫描系统
JP2019144183A (ja) 三次元座標計測装置及びその方法
CN105571522A (zh) 一种彩色3d测量系统
CN105547191A (zh) 一种彩色3d测量系统
CN205192446U (zh) 一种彩色3d测量系统用的照明装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190701

R150 Certificate of patent or registration of utility model

Ref document number: 6550536

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250