JP2022173182A - カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法 - Google Patents

カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法 Download PDF

Info

Publication number
JP2022173182A
JP2022173182A JP2022001977A JP2022001977A JP2022173182A JP 2022173182 A JP2022173182 A JP 2022173182A JP 2022001977 A JP2022001977 A JP 2022001977A JP 2022001977 A JP2022001977 A JP 2022001977A JP 2022173182 A JP2022173182 A JP 2022173182A
Authority
JP
Japan
Prior art keywords
camera
projection
marking system
target
projection marking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022001977A
Other languages
English (en)
Other versions
JP7191309B2 (ja
Inventor
俊超 ▲塗▼
Junchao Tu
兵 徐
Bing Xu
慈南 史
Cinan Shi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lightvision Technology Ltd
Original Assignee
Lightvision Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lightvision Technology Ltd filed Critical Lightvision Technology Ltd
Publication of JP2022173182A publication Critical patent/JP2022173182A/ja
Application granted granted Critical
Publication of JP7191309B2 publication Critical patent/JP7191309B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3161Modulator illumination systems using laser light sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Laser Beam Processing (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】カメラを用いてレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正を行う。【解決手段】事前にカメラ200とプロジェクションマーキングシステム100との間の相対的な姿勢の位置関係を決定し、カメラを利用して反射ターゲットを有する被投影対象の位置姿勢をリアルタイムに監視し、被投影対象の位置姿勢の変化が閾値を超えた場合、プロジェクションマーキングシステムと被投影対象との間の位置姿勢の補正を行う。【選択図】図1

Description

本発明は、レーザーポジショニングプロジェクション技術分野に関し、特に、カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法に関する。
空間3次元(3D)曲線のレーザープロジェクションマーキング技術は、工業生産内の部品のデジタル化設計情報を実際の製品の製造現場に直接表示させることができ、拡張現実技術の重要な一部であり、デジタル化製造、デジタル化計測分野に幅広く活用されている。レーザープロジェクションマーキング技術の具体的な実現は、基本的に商用化されているレーザーガルバノスキャナプロジェクションマーキングシステムに依存する。前記システムを介してターゲット曲線(被投影対象)に対してレーザープロジェクションマーキングを実行する前に、まずプロジェクションマーキングシステムとターゲット曲線との位置姿勢を合わせる必要がある。現在、アライメントプロセスは、一般的に位置決めを支援するため、手動ガイドに依存する必要がある。すなわち、人手でレーザープロジェクションマーキングシステムを操作して、被投影対象の表面に配置された位置決め用の反射ターゲットによっておおよその位置を見つけ出す。全ての反射ターゲットのおおよその位置を見つけ出した後、レーザープロジェクションマーキングシステムは、反射ターゲットのおおよその位置に基づいて検索範囲を設定し、この範囲内で反射ターゲットを正確にスキャンして位置決めし、アライメントプロセスを完了する。
レーザープロジェクションマーキングシステム自体は、観測および測定の能力を備えていない。そのため、外部の要因により被投影対象の全体的な位置姿勢が変化した場合、プロジェクションマーキングシステムは、この位置姿勢の変化をモニタリングできないため、投射された空間曲線が設計位置からずれてしまっていた。直ちにこの位置ずれを補正するため、定期的に投影部位を手動で検査する必要があり、ずれ状況が見つかった場合には、再度手動ガイドを介してプロジェクションマーキングシステムを制御して被投影対象の位置姿勢に再度合わせる。このため、レーザープロジェクションマーキング技術の自動化ならびにスマート化のレベルは、高くなかった。
本発明の目的は、カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法を提供することである。本発明は、レーザープロジェクションマーキングシステムが無人状態で被投影対象を自動的にガイド・位置決めすることを可能にし、被投影対象の位置姿勢をリアルタイムでモニタリング及び補正することもできる。
本発明の技術的手段として、カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法であって、次のステップ1~9を含む。すなわち、
カメラを用いるプロジェクションマーキングシステムを標定し、プロジェクションマーキングシステムの入力する制御デジタル信号と対応する出射光のプロジェクションマーキングシステム座標系における空間ベクトルとの間のマッピング関係を得;ガイド・位置決めに参加するカメラを標定し、カメラの内部パラメータを得るステップ1、
カメラとプロジェクションマーキングシステムとの間の相対的な姿勢の位置関係を求めるステップ2、
表面に反射ターゲットを配置した被投影対象がプロジェクションマーキングシステムの投影領域内に現れた時、カメラを制御して被投影対象の表面に配置された反射ターゲットに対応する画像をサンプリングし、サンプリングにより被投影対象座標系における反射ターゲットの空間座標を得、ステップ1で標定されたカメラの内部パラメータの助けを借りてカメラと被投影対象との間の相対的な姿勢の位置関係を求めるステップ3、
ステップ3で得られたカメラと被投影対象との間の相対的な姿勢の位置関係、被投影対象座標系における反射ターゲットの空間座標及びステップ2で得られたカメラとプロジェクションマーキングシステムとの間の相対的な姿勢の位置関係を介してプロジェクションマーキングシステム座標系における反射ターゲットのおおよその空間的位置を求めるステップ4、
ステップ1で標定されたマッピング関係、ステップ4で得られたプロジェクションマーキングシステム座標系における反射ターゲットのおおよその空間的位置を介して、プロジェクションマーキングシステムがこれら反射ターゲットに近似的に投影するためにレーザーガルバノスキャナへ入力すべき制御デジタル信号を求めるステップ5、
ステップ5で得られたデジタル信号をさらに処理して、プロジェクションマーキングシステムが反射ターゲット中心に正確に投射するためにレーザーガルバノスキャナへ入力すべき制御デジタル信号を決定するステップ6、
ステップ1で標定されたマッピング関係、ステップ6で得たデジタル信号、被投影対象座標系における反射ターゲットの空間座標を介して、プロジェクションマーキングシステムと被投影対象との間の相対的な姿勢の位置関係を求め、カメラによるプロジェクションマーキングシステムと被投影対象との間のガイド・位置決めを完了するステップ7、
カメラを制御して一定のフレームレートに従い被投影対象表面の反射ターゲットの画像をリアルタイムでサンプリングし、サンプリング結果とステップ3内の反射ターゲットの画像サンプリング結果とを比較し、両者の差が設定された閾値を超えた場合、被投影対象の位置姿勢に変化が生じたと判定するステップ8、
位置姿勢が変化した後の被投影対象表面の反射ターゲットサンプリング画像が安定したら、安定後の新しい反射ターゲットのリアルタイムサンプリング画像位置を取得し、ステップ3~ステップ7に従いプロジェクションマーキングシステムと被投影対象との間の位置姿勢の合わせを改めて実現し、カメラによるプロジェクションマーキングシステムと被投影対象との間の位置姿勢のリアルタイム監視と補正を完了するステップ9。
前記カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法において、前記ステップ2は、具体的にステップ2.1~2.4を含む。すなわち、
N個の反射ターゲットを貼った標定板をステップ1のプロジェクションマーキングシステムの投影領域内に置き、カメラがプロジェクションマーキングシステムの投影領域を観測できるようにカメラの視野を調整するステップ2.1、
カメラと標定板との間の相対的な姿勢の位置関係を得、プロジェクションマーキングシステムと標定板との間の相対的な姿勢の位置関係を得るステップ2.2、
投影領域のサイズに応じて、標定板の配置位置を変更し、ステップ2.2を繰り返し、複数のカメラと標定板との間の相対的な姿勢の位置関係及び複数のプロジェクションマーキングシステムと標定板との間の相対的な姿勢の位置関係を得るステップ2.3、
ステップ2.3で得られた複数のカメラと標定板との間の相対的な姿勢の位置関係及び複数のプロジェクションマーキングシステムと標定板との間の相対的な姿勢の位置関係に基づき、カメラとプロジェクションマーキングシステムとの間の相対的な姿勢の位置関係を求めるステップ2.4。
前記カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法において、前記ステップ2.2内でカメラを制御して、ステップ2.1内の標定板に対し画像をサンプリングし、カメラと標定板との間の相対的な姿勢の位置関係を得;
プロジェクションマーキングシステムを制御して、投影領域内の標定板上の反射ターゲットポイントをスキャンし、プロジェクションマーキングシステムと標定板との間の相対的な姿勢の位置関係を得る。
前記カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法において、前記ステップ2.2でカメラによる標定板の画像サンプリングで得られた画像内の反射ターゲットの中心位置、標定板座標系における反射ターゲット中心位置の空間座標、及びステップ1で得られたカメラの内部パラメータに基づいて、カメラと標定板との間の相対的な姿勢の位置関係を求める。
前記カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法において、ステップ5で得られたデジタル信号をステップ6でさらに処理する時、ステップ5で得られたデジタル信号を中心として1つの矩形レーザースキャン領域を定め、この領域内においてレーザーグリッド線の方式でこの領域内にある反射ターゲットをスキャン・位置決めすることで、プロジェクションマーキングシステムが反射ターゲット中心に正確に投射するために必要なレーザーガルバノスキャナの入力する制御デジタル信号を決定する。
従来技術と比較して、本発明の有利な効果としては、本発明は、事前にカメラとレーザープロジェクションマーキングシステムとの間の姿勢の位置関係を標定することによって、手動の代わりにカメラがレーザープロジェクションマーキングシステムをガイドして反射ターゲットに対してレーザーをスキャンし、位置決めを実行できるようにさせるため、レーザープロジェクションマーキングシステムと被投影対象との間の姿勢の位置合わせを自動的に実現する。これに基づいて、カメラで被投影対象表面の反射ターゲット画像をリアルタイムにサンプリングし、被投影対象の位置姿勢をリアルタイムで監視することもでき、前後のサンプリング画像の位置を比較することにより、被投影対象の位置姿勢に変化が生じた時、投影されたレーザー曲線についてリアルタイムの位置姿勢補正を自動的に実行することで、実際の製造工程でのレーザープロジェクションマーキング作業の自動化及びスマート化のレベルを大幅に向上する。
本発明のカメラでレーザープロジェクションマーキングシステムを自動的にガイドして被投影対象を位置決めする実施の概略図である。 本発明のレーザープロジェクションマーキングシステムの内部構造を示す概略図である。 本発明の反射ターゲットを貼った標定板でカメラとプロジェクションマーキングシステムの位置姿勢関係を決定する原理を示す概略図である。 本発明におけるカメラがレーザープロジェクションマーキングシステムをガイドして被投影対象を位置決めする方法の原理を示す概略図である。 本発明におけるカメラが被投影対象の位置姿勢を監視し、プロジェクションマーキングを自動的に補正する原理を示す概略図である。 本発明のステップフローチャートである。 本発明の具体的実施例における被投影対象とターゲット空間曲線のCADデジタルモデル図である。 本発明の具体的実施例におけるカメラがレーザープロジェクションマーキングシステムをガイドして被投影対象を位置決めし、ターゲット空間曲線をレーザーマーキングするプロセス全体を示す図である。 本発明の具体的実施例におけるカメラが被投影対象の位置姿勢に変化が生じたことをモニタリングした後、プロジェクションマーキングシステムを自動的にガイドして被投影対象を再度位置決めし、ターゲット曲線をマーキング・補正するプロセス全体を示す図である。
以下、図面及び実施形態を参照しつつ本発明をさらに説明するが、本発明を限定するため根拠としては使用されない。
本発明の方法は、図1に示すようにレーザープロジェクションマーキングシステム100(以下、「プロジェクションマーキングシステム」という)、産業用カメラ200(以下、「カメラ」という)及び主幹制御装置300を用いる。
うち、レーザープロジェクションマーキングシステム100は、図2に示すように、レーザーガルバノスキャナと、受光センシングデバイスとを備え、前記レーザーガルバノスキャナは、レーザー光源11と、ビームエキスパンダー12と、集束装置13と、2次元ガルバノスキャンヘッド14とを備える。前記受光センシングデバイスは、受光センサー21と、レンズフィルター22と、集束ミラー23と、ビームスプリッタ24とを備える。
前記主幹制御装置300は、制御盤と、コンピュータ本体とを備える。制御盤は、レーザーガルバノスキャナ及び受光センシングデバイスを協調的に制御する。コンピュータ本体は、システムのソフトウェアと制御盤、産業用カメラ200との間の通信に用いられる。前記受光センサー21は、レーザー光源11から発射された後に反射して戻ってくるレーザービーム信号を受光する。
図3~図6に示されるように、カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法は、以下のステップを含む。
カメラを用いるプロジェクションマーキングシステムを標定し、プロジェクションマーキングシステムの入力する制御デジタル信号Dと、対応する出射光のプロジェクションマーキングシステム座標系における空間ベクトルVとの間のマッピング関係D→Vを得;
ガイド・位置決めに参加するカメラを標定し、カメラの内部パラメータAを得る。
ステップ2:カメラとプロジェクションマーキングシステムとの間の相対的な姿勢の位置関係を求める。
ステップ2は、具体的には次のステップを含む。すなわち、
ステップ2.1:N個の反射ターゲットを貼った標定板をステップ1のプロジェクションマーキングシステムの投影領域内に置き、カメラがプロジェクションマーキングシステムの投影領域を観測できるようにカメラの視野を調整し;
ステップ2.2:カメラを制御してステップ2.1内の標定板に対して画像をサンプリングし、カメラによる標定板の画像サンプリングで得られた画像内の反射ターゲットの中心位置
Figure 2022173182000002
標定板座標系
Figure 2022173182000003
における反射ターゲット中心位置の空間座標
Figure 2022173182000004
及びステップ1で得られたカメラの内部パラメータAに基づいて、カメラと標定板との間の相対的な姿勢の位置関係
Figure 2022173182000005
を求め;
手動ガイド方式を通じてプロジェクションマーキングシステムを制御して投影領域における標定板上の反射ターゲットポイントをスキャンし、プロジェクションマーキングシステムと標定板との間の相対的な姿勢の位置関係
Figure 2022173182000006
を得;
ステップ2.3:投影領域のサイズに応じて、標定板の配置位置を変更し、ステップ2.2を繰り返し、M個のカメラと標定板との間の相対的な姿勢の位置関係
Figure 2022173182000007
及び、M個のプロジェクションマーキングシステムと標定板との間の相対的な姿勢の位置関係
Figure 2022173182000008
を得;
ステップ2.4:ステップ2.3で得られたM個のカメラと標定板との間の相対的な姿勢の位置関係
Figure 2022173182000009
及び、M個のプロジェクションマーキングシステムと標定板との間の相対的な姿勢の位置関係
Figure 2022173182000010
に基づき、M個のカメラとプロジェクションマーキングシステムとの間の相対的な姿勢の位置関係
Figure 2022173182000011
を求める。
Figure 2022173182000012
をカメラとプロジェクションマーキングシステムとの間の最終的な、相対的な姿勢の位置関係とする。
ステップ3:表面に反射ターゲットを配置した被投影対象が、プロジェクションマーキングシステムの投影領域内にある時、カメラを制御して被投影対象の表面に配置された反射ターゲットに対応する画像をサンプリングする。カメラによる被投影対象の画像のサンプリングで得られた画像内の反射ターゲットの中心位置
Figure 2022173182000013
被投影対象座標系
Figure 2022173182000014
における反射ターゲット中心位置の空間座標
Figure 2022173182000015
及び、ステップ1で得られたカメラの内部パラメータAに基づいて、カメラと被投影対象との間の相対的な姿勢の位置関係
Figure 2022173182000016
を求める。
ステップ4:ステップ3で得られたカメラと被投影対象との間の相対的な姿勢の位置関係
Figure 2022173182000017
、被投影対象座標系における反射ターゲットの空間座標
Figure 2022173182000018
及び、ステップ2で得られたカメラとプロジェクションマーキングシステムとの間の相対的な姿勢の位置関係
Figure 2022173182000019
を介して、プロジェクションマーキングシステム座標系における反射ターゲットのおおよその空間的位置
Figure 2022173182000020
を求める。
ステップ5:ステップ1で標定されたマッピング関係、ステップ4で得られたプロジェクションマーキングシステム座標系における反射ターゲットのおおよその空間的位置
Figure 2022173182000021
を介して、プロジェクションマーキングシステムが、これら反射ターゲットに近似的に投影するために、レーザーガルバノスキャナへ入力すべき制御デジタル信号
Figure 2022173182000022
を求める。
ステップ6:ステップ5で得られたデジタル信号Dj cを中心として1つの矩形レーザースキャン領域を定め、この領域内においてレーザーグリッド線の方式でこの領域内にある反射ターゲットの位置をスキャンして特定することにより、プロジェクションマーキングシステムが、反射ターゲットの中心に正確に投影するために、レーザーガルバノスキャナへ入力すべき制御デジタル信号
Figure 2022173182000023
を決定する。
ステップ7:ステップ1で標定されたマッピング関係、ステップ6で得たデジタル信号
Figure 2022173182000024
および、被投影対象座標系における反射ターゲットの空間座標
Figure 2022173182000025
を介して、プロジェクションマーキングシステムと被投影対象との間の相対的な姿勢の位置関係を求め、カメラによるプロジェクションマーキングシステムと被投影対象との間のガイド・位置決めを完了する。
ステップ8:カメラを制御して、一定のフレームレートに従って、被投影対象表面の反射ターゲットの画像をリアルタイムでサンプリングし、反射ターゲットのリアルタイムな中心位置Pj '=(uj ',vj '),j=1,2,・・・,nを抽出し、サンプリング結果Pj '=(uj ',vj '),j=1,2,・・・,nと、ステップ3内の反射ターゲットの画像サンプリング結果Pj=(uj,vj),j=1,2,・・・,nとを比較し、
両者の差が
Figure 2022173182000026
の場合(ΔPは、設定された閾値である)、被投影対象の位置姿勢に変化が生じたと判定する。
ステップ9:位置姿勢が変化した後の被投影対象表面の反射ターゲットのサンプリング画像が安定したら、安定後の新しい反射ターゲットのリアルタイムサンプリング画像位置Pj '=(uj ',vj '),j=1,2,・・・,nを取得し、ステップ3~ステップ7に従って、プロジェクションマーキングシステムと被投影対象との間の位置姿勢の位置合わせを改めて実現し、カメラによるプロジェクションマーキングシステムと被投影対象との間の位置姿勢のリアルタイム監視と補正を完了する。
(本発明の具体的実施例)
図7に示すように、多面体を被投影対象とし、ターゲット空間曲線としてこの対象の表面に2つの五角形を選択してレーザーマーキングを実施する。なお、事前に多面体の表面に一定数量の反射ターゲット(図7)を配置し、反射ターゲットの空間的位置が事前に測定されている。図8に示すように、産業用カメラとプロジェクションマーキングシステムとの間の位置姿勢の関係を標定した後、カメラを制御して被投影対象の画像をサンプリングし、反射ターゲットの画像座標とカメラ自体の内部パラメータに基づいてカメラと多面体の位置決めを実現する。次にカメラ座標系内で得られた反射ターゲットの空間座標を通じてレーザープロジェクションマーキングシステムを自動的にガイドして多面体をレーザースキャンして位置決めし、最後にプロジェクションマーキングシステムと多面体との間の位置姿勢の関係の確認を完了する。これにより、プロジェクションマーキングシステムを制御してターゲット曲線に対してレーザープロジェクションマーキングすることができる。
図9に示すように、多面体の位置姿勢に変化が生じた後、レーザーで投射された曲線が実際の位置からずれてしまう。この時カメラは、多面体表面の反射ターゲットの画像座標に明らかな変化が生じたことをモニタリングするため、自動補正がトリガーされる。反射ターゲットの画像座標が再度安定した後、まず新しい反射ターゲットの画像座標に従って多面体を視覚的に再度位置決めする。次にカメラ座標系における反射ターゲットの空間座標を改めて得て、プロジェクションマーキングシステムを再度ガイドして多面体に対してレーザースキャンし、位置決めを実施することにより、プロジェクションマーキングシステムと多面体との間の姿勢の位置関係を改めて得る。この新しい姿勢の位置関係を介してターゲット曲線に対してレーザープロジェクションマーキングを再度実施し、この時投射されたレーザー曲線も再度実際の位置と重なり、最後に自動補正プロセス全体を完了する。
上記は本発明の好ましい実施形態にすぎず、本発明の保護範囲は上記実施例に限定されない。本発明の技術的思想の下でのすべての技術的手段は、本発明の保護範囲に属する。当業者であれば、本発明の原理を脱しない範囲内で各種の改良や潤色を加えることができ、かかる改良や潤色も本発明の保護範囲に網羅することを見なされるべきであることに留意されたい。
100 レーザープロジェクションマーキングシステム
11 レーザー光源
12 ビームエキスパンダー
13 集束装置
14 2次元ガルバノスキャンヘッド
200 産業用カメラ
21 受光センサー
22 レンズフィルター
23 集束ミラー
24 ビームスプリッタ
300 主幹制御装置

Claims (5)

  1. カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法であって、
    前記カメラを用いるプロジェクションマーキングシステムを標定し、前記プロジェクションマーキングシステムの入力する制御デジタル信号と、対応する出射光のプロジェクションマーキングシステム座標系における空間ベクトルとの間のマッピング関係を得;ガイド・位置決めに参加する前記カメラを標定し、前記カメラの内部パラメータを得るステップ1と、
    前記カメラと前記プロジェクションマーキングシステムとの間の相対的な姿勢の位置関係を求めるステップ2と、
    表面に反射ターゲットを配置した被投影対象が前記プロジェクションマーキングシステムの投影領域内にある時、前記カメラを制御して前記被投影対象の表面に配置された前記反射ターゲットに対応する画像をサンプリングし、サンプリングにより被投影対象座標系における前記反射ターゲットの空間座標を得、前記ステップ1で標定された前記カメラの内部パラメータの助けを借りて前記カメラと前記被投影対象との間の相対的な姿勢の位置関係を求めるステップ3と、
    前記ステップ3で得られた前記カメラと前記被投影対象との間の相対的な姿勢の位置関係、前記被投影対象座標系における前記反射ターゲットの空間座標、及び、前記ステップ2で得られた前記カメラと前記プロジェクションマーキングシステムとの間の相対的な姿勢の位置関係を介して、前記プロジェクションマーキングシステム座標系における前記反射ターゲットのおおよその空間的位置を求めるステップ4と、
    前記ステップ1で標定されたマッピング関係、および、前記ステップ4で得られた前記プロジェクションマーキングシステム座標系における前記反射ターゲットのおおよその空間的位置を介して、前記プロジェクションマーキングシステムがこれら前記反射ターゲットに近似的に投影するためにレーザーガルバノスキャナへ入力すべき制御デジタル信号を求めるステップ5と、
    前記ステップ5で得られたデジタル信号をさらに処理して、前記プロジェクションマーキングシステムが反射ターゲット中心に正確に投射するために、前記レーザーガルバノスキャナへ入力すべき前記制御デジタル信号を決定するステップ6と、
    前記ステップ1で標定されたマッピング関係、前記ステップ6で得た前記デジタル信号、および、前記被投影対象座標系における前記反射ターゲットの空間座標を介して、前記プロジェクションマーキングシステムと前記被投影対象との間の相対的な姿勢の位置関係を求め、前記カメラによる前記プロジェクションマーキングシステムと前記被投影対象との間のガイド・位置決めを完了するステップ7と、
    前記カメラを制御して一定のフレームレートに従い前記被投影対象表面の前記反射ターゲットの画像をリアルタイムでサンプリングし、サンプリング結果と前記ステップ3内の前記反射ターゲットの画像サンプリング結果とを比較し、両者の差が設定された閾値を超えた場合、前記被投影対象の位置姿勢に変化が生じたと判定するステップ8と、
    位置姿勢が変化した後の前記被投影対象表面の反射ターゲットサンプリング画像が安定したら、安定後の新しい前記反射ターゲットのリアルタイムサンプリング画像位置を取得し、前記ステップ3~ステップ7に従い前記プロジェクションマーキングシステムと前記被投影対象との間の位置姿勢の合わせを改めて実現し、前記カメラによる前記プロジェクションマーキングシステムと前記被投影対象との間の位置姿勢のリアルタイム監視と補正を完了するステップ9と、
    を含むことを特徴とする、カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法。
  2. 前記ステップ2は、
    N個の前記反射ターゲットを貼った標定板を前記ステップ1の前記プロジェクションマーキングシステムの前記投影領域内に置き、前記カメラが前記プロジェクションマーキングシステムの前記投影領域を観測できるように前記カメラの視野を調整するステップ2.1と、
    前記カメラと前記標定板との間の相対的な姿勢の位置関係を得、前記プロジェクションマーキングシステムと前記標定板との間の相対的な姿勢の位置関係を得るステップ2.2と、
    前記投影領域のサイズに応じて、前記標定板の配置位置を変更し、前記ステップ2.2を繰り返し、複数の前記カメラと前記標定板との間の相対的な姿勢の位置関係及び複数の前記プロジェクションマーキングシステムと前記標定板との間の相対的な姿勢の位置関係を得るステップ2.3と、
    前記ステップ2.3で得られた複数の前記カメラと前記標定板との間の相対的な姿勢の位置関係及び複数の前記プロジェクションマーキングシステムと前記標定板との間の相対的な姿勢の位置関係に基づき、前記カメラと前記プロジェクションマーキングシステムとの間の相対的な姿勢の位置関係を求めるステップ2.4と、
    を含むことを特徴とする、請求項1に記載のカメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法。
  3. 前記ステップ2.2内で前記カメラを制御して、前記ステップ2.1内の前記標定板に対し画像をサンプリングし、前記カメラと前記標定板との間の相対的な姿勢の位置関係を得;
    前記プロジェクションマーキングシステムを制御して、前記投影領域内の前記標定板上の反射ターゲットポイントをスキャンし、前記プロジェクションマーキングシステムと前記標定板との間の相対的な姿勢の位置関係を得る、
    を含むことを特徴とする、請求項2に記載のカメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法。
  4. 前記ステップ2.2で前記カメラによる前記標定板の画像サンプリングで得られた画像内の反射ターゲットの中心位置、標定板座標系における反射ターゲット中心位置の空間座標、及び前記ステップ1で得られた前記カメラの内部パラメータに基づいて、前記カメラと前記標定板との間の相対的な姿勢の位置関係を求めることを特徴とする、請求項3に記載のカメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法。
  5. 前記ステップ5で得られたデジタル信号を前記ステップ6でさらに処理する時、前記ステップ5で得られたデジタル信号を中心として1つの矩形レーザースキャン領域を定め、前記領域内においてレーザーグリッド線の方式で前記領域内にある前記反射ターゲットをスキャンし位置決めすることで、前記プロジェクションマーキングシステムが前記反射ターゲット中心に正確に投射するためにレーザーガルバノスキャナへ入力すべき前記制御デジタル信号を決定することを特徴とする、請求項1に記載のカメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法。
JP2022001977A 2021-05-08 2022-01-08 カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法 Active JP7191309B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110497634.2 2021-05-08
CN202110497634.2A CN112991467B (zh) 2021-05-08 2021-05-08 基于相机的激光投影标识自动引导定位与实时校正方法

Publications (2)

Publication Number Publication Date
JP2022173182A true JP2022173182A (ja) 2022-11-18
JP7191309B2 JP7191309B2 (ja) 2022-12-19

Family

ID=76337228

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022001977A Active JP7191309B2 (ja) 2021-05-08 2022-01-08 カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法

Country Status (2)

Country Link
JP (1) JP7191309B2 (ja)
CN (1) CN112991467B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660473B (zh) * 2021-07-07 2024-03-08 深圳市睿达科技有限公司 一种基于投影仪的辅助定位方法
CN113724321B (zh) * 2021-07-08 2023-03-24 南京航空航天大学苏州研究院 一种自适应激光投影辅助装配方法
CN113298886B (zh) * 2021-07-27 2021-10-08 光量信息科技(宁波)有限公司 一种投影仪的标定方法
CN115040238B (zh) * 2022-08-15 2022-11-15 南昌大学第二附属医院 体表皮损区域激光定位设备的控制方法及激光定位设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000241874A (ja) * 1999-02-19 2000-09-08 Nec Corp プロジェクタの自動画面位置調整方法及び装置
JP2006523067A (ja) * 2003-04-11 2006-10-05 三菱電機株式会社 物体上に出力画像を表示する方法
JP2008533451A (ja) * 2005-03-11 2008-08-21 クリアフォーム インク. 3次元スキャンの自動参照システム及び装置
US9055237B1 (en) * 2012-06-01 2015-06-09 Rawles Llc Projection autofocus
JP2016152586A (ja) * 2015-02-19 2016-08-22 国立大学法人電気通信大学 プロジェクションマッピング装置、映像投影制御装置、映像投影制御方法および映像投影制御プログラム
CN111147694A (zh) * 2019-12-30 2020-05-12 Oppo广东移动通信有限公司 拍摄方法、拍摄装置、终端设备及计算机可读存储介质
CN112304568A (zh) * 2020-09-18 2021-02-02 光量信息科技(宁波)有限公司 一种基于光敏传感器的激光振镜标定系统及其标定方法
CN112666703A (zh) * 2021-03-18 2021-04-16 光量信息科技(宁波)有限公司 基于多个激光振镜的空间曲线联合定位投影系统及其方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011205524A (ja) * 2010-03-26 2011-10-13 Seiko Epson Corp プロジェクター装置およびプロジェクター装置の投写方法
EP3070495B1 (en) * 2015-03-19 2020-08-19 Albert-Ludwigs-Universität Freiburg Method and system for calibrating a network of multiple horizontally scanning range finders
CN109194939A (zh) * 2018-08-29 2019-01-11 明基智能科技(上海)有限公司 画面校正方法及投影机系统
CN111953950B (zh) * 2020-08-14 2022-06-07 青岛海信移动通信技术股份有限公司 投影设备及其投影镜头的姿态调整方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000241874A (ja) * 1999-02-19 2000-09-08 Nec Corp プロジェクタの自動画面位置調整方法及び装置
JP2006523067A (ja) * 2003-04-11 2006-10-05 三菱電機株式会社 物体上に出力画像を表示する方法
JP2008533451A (ja) * 2005-03-11 2008-08-21 クリアフォーム インク. 3次元スキャンの自動参照システム及び装置
US9055237B1 (en) * 2012-06-01 2015-06-09 Rawles Llc Projection autofocus
JP2016152586A (ja) * 2015-02-19 2016-08-22 国立大学法人電気通信大学 プロジェクションマッピング装置、映像投影制御装置、映像投影制御方法および映像投影制御プログラム
CN111147694A (zh) * 2019-12-30 2020-05-12 Oppo广东移动通信有限公司 拍摄方法、拍摄装置、终端设备及计算机可读存储介质
CN112304568A (zh) * 2020-09-18 2021-02-02 光量信息科技(宁波)有限公司 一种基于光敏传感器的激光振镜标定系统及其标定方法
CN112666703A (zh) * 2021-03-18 2021-04-16 光量信息科技(宁波)有限公司 基于多个激光振镜的空间曲线联合定位投影系统及其方法

Also Published As

Publication number Publication date
JP7191309B2 (ja) 2022-12-19
CN112991467B (zh) 2021-07-20
CN112991467A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
JP7191309B2 (ja) カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法
KR102532072B1 (ko) 로봇 모션 용 비전 시스템의 자동 핸드-아이 캘리브레이션을 위한 시스템 및 방법
US10571254B2 (en) Three-dimensional shape data and texture information generating system, imaging control program, and three-dimensional shape data and texture information generating method
TWI670153B (zh) 機器人及機器人系統
KR102276259B1 (ko) 비전-기반 조작 시스템들의 교정 및 동작
US9519736B2 (en) Data generation device for vision sensor and detection simulation system
CN111278608B (zh) 用于3d视觉机器人系统的校准物品
EP2033747A2 (en) Robot simulation apparatus
CN108406123A (zh) 一种激光加工中三维零件标定系统及方法
JP2005201824A (ja) 計測装置
US20210291376A1 (en) System and method for three-dimensional calibration of a vision system
JP6869159B2 (ja) ロボットシステム
US20040081352A1 (en) Three-dimensional visual sensor
US12128571B2 (en) 3D computer-vision system with variable spatial resolution
US12080011B2 (en) Size estimation device, size estimation method, and recording medium
CN106125066B (zh) 激光雷达的控制系统及控制方法
JP6420530B2 (ja) 情報処理装置、計測システム、制御システム、光量決定方法、プログラム及び記憶媒体
CN111993420A (zh) 一种固定式双目视觉3d引导上件系统
CN117103295A (zh) 位姿确定方法及建筑机器人
JP2018194542A (ja) 画像処理システム、画像処理装置および画像処理プログラム
CN109773589B (zh) 对工件表面进行在线测量和加工导引的方法及装置、设备
JP2018031701A (ja) 校正方法、および校正装置
CN114378808B (zh) 一种多目相机和线激光辅助机械臂跟踪目标的方法和装置
JPH0820207B2 (ja) 光学式3次元位置計測方法
Iakovou et al. Integrated sensors for robotic laser welding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221128

R150 Certificate of patent or registration of utility model

Ref document number: 7191309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150