JP2022173182A - カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法 - Google Patents
カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法 Download PDFInfo
- Publication number
- JP2022173182A JP2022173182A JP2022001977A JP2022001977A JP2022173182A JP 2022173182 A JP2022173182 A JP 2022173182A JP 2022001977 A JP2022001977 A JP 2022001977A JP 2022001977 A JP2022001977 A JP 2022001977A JP 2022173182 A JP2022173182 A JP 2022173182A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- projection
- marking system
- target
- projection marking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000005070 sampling Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000006641 stabilisation Effects 0.000 claims description 3
- 238000011105 stabilization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 230000036544 posture Effects 0.000 claims 3
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000010330 laser marking Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/315—Modulator illumination systems
- H04N9/3161—Modulator illumination systems using laser light sources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Laser Beam Processing (AREA)
- Mechanical Optical Scanning Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
カメラを用いるプロジェクションマーキングシステムを標定し、プロジェクションマーキングシステムの入力する制御デジタル信号と対応する出射光のプロジェクションマーキングシステム座標系における空間ベクトルとの間のマッピング関係を得;ガイド・位置決めに参加するカメラを標定し、カメラの内部パラメータを得るステップ1、
ガイド・位置決めに参加するカメラを標定し、カメラの内部パラメータAを得る。
ステップ2.1:N個の反射ターゲットを貼った標定板をステップ1のプロジェクションマーキングシステムの投影領域内に置き、カメラがプロジェクションマーキングシステムの投影領域を観測できるようにカメラの視野を調整し;
標定板座標系
における反射ターゲット中心位置の空間座標
及びステップ1で得られたカメラの内部パラメータAに基づいて、カメラと標定板との間の相対的な姿勢の位置関係
を求め;
を得;
及び、M個のプロジェクションマーキングシステムと標定板との間の相対的な姿勢の位置関係
を得;
及び、M個のプロジェクションマーキングシステムと標定板との間の相対的な姿勢の位置関係
に基づき、M個のカメラとプロジェクションマーキングシステムとの間の相対的な姿勢の位置関係
を求める。
をカメラとプロジェクションマーキングシステムとの間の最終的な、相対的な姿勢の位置関係とする。
被投影対象座標系
における反射ターゲット中心位置の空間座標
及び、ステップ1で得られたカメラの内部パラメータAに基づいて、カメラと被投影対象との間の相対的な姿勢の位置関係
を求める。
、被投影対象座標系における反射ターゲットの空間座標
及び、ステップ2で得られたカメラとプロジェクションマーキングシステムとの間の相対的な姿勢の位置関係
を介して、プロジェクションマーキングシステム座標系における反射ターゲットのおおよその空間的位置
を求める。
を介して、プロジェクションマーキングシステムが、これら反射ターゲットに近似的に投影するために、レーザーガルバノスキャナへ入力すべき制御デジタル信号
を求める。
を決定する。
および、被投影対象座標系における反射ターゲットの空間座標
を介して、プロジェクションマーキングシステムと被投影対象との間の相対的な姿勢の位置関係を求め、カメラによるプロジェクションマーキングシステムと被投影対象との間のガイド・位置決めを完了する。
両者の差が
の場合(ΔPは、設定された閾値である)、被投影対象の位置姿勢に変化が生じたと判定する。
図7に示すように、多面体を被投影対象とし、ターゲット空間曲線としてこの対象の表面に2つの五角形を選択してレーザーマーキングを実施する。なお、事前に多面体の表面に一定数量の反射ターゲット(図7)を配置し、反射ターゲットの空間的位置が事前に測定されている。図8に示すように、産業用カメラとプロジェクションマーキングシステムとの間の位置姿勢の関係を標定した後、カメラを制御して被投影対象の画像をサンプリングし、反射ターゲットの画像座標とカメラ自体の内部パラメータに基づいてカメラと多面体の位置決めを実現する。次にカメラ座標系内で得られた反射ターゲットの空間座標を通じてレーザープロジェクションマーキングシステムを自動的にガイドして多面体をレーザースキャンして位置決めし、最後にプロジェクションマーキングシステムと多面体との間の位置姿勢の関係の確認を完了する。これにより、プロジェクションマーキングシステムを制御してターゲット曲線に対してレーザープロジェクションマーキングすることができる。
11 レーザー光源
12 ビームエキスパンダー
13 集束装置
14 2次元ガルバノスキャンヘッド
200 産業用カメラ
21 受光センサー
22 レンズフィルター
23 集束ミラー
24 ビームスプリッタ
300 主幹制御装置
Claims (5)
- カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法であって、
前記カメラを用いるプロジェクションマーキングシステムを標定し、前記プロジェクションマーキングシステムの入力する制御デジタル信号と、対応する出射光のプロジェクションマーキングシステム座標系における空間ベクトルとの間のマッピング関係を得;ガイド・位置決めに参加する前記カメラを標定し、前記カメラの内部パラメータを得るステップ1と、
前記カメラと前記プロジェクションマーキングシステムとの間の相対的な姿勢の位置関係を求めるステップ2と、
表面に反射ターゲットを配置した被投影対象が前記プロジェクションマーキングシステムの投影領域内にある時、前記カメラを制御して前記被投影対象の表面に配置された前記反射ターゲットに対応する画像をサンプリングし、サンプリングにより被投影対象座標系における前記反射ターゲットの空間座標を得、前記ステップ1で標定された前記カメラの内部パラメータの助けを借りて前記カメラと前記被投影対象との間の相対的な姿勢の位置関係を求めるステップ3と、
前記ステップ3で得られた前記カメラと前記被投影対象との間の相対的な姿勢の位置関係、前記被投影対象座標系における前記反射ターゲットの空間座標、及び、前記ステップ2で得られた前記カメラと前記プロジェクションマーキングシステムとの間の相対的な姿勢の位置関係を介して、前記プロジェクションマーキングシステム座標系における前記反射ターゲットのおおよその空間的位置を求めるステップ4と、
前記ステップ1で標定されたマッピング関係、および、前記ステップ4で得られた前記プロジェクションマーキングシステム座標系における前記反射ターゲットのおおよその空間的位置を介して、前記プロジェクションマーキングシステムがこれら前記反射ターゲットに近似的に投影するためにレーザーガルバノスキャナへ入力すべき制御デジタル信号を求めるステップ5と、
前記ステップ5で得られたデジタル信号をさらに処理して、前記プロジェクションマーキングシステムが反射ターゲット中心に正確に投射するために、前記レーザーガルバノスキャナへ入力すべき前記制御デジタル信号を決定するステップ6と、
前記ステップ1で標定されたマッピング関係、前記ステップ6で得た前記デジタル信号、および、前記被投影対象座標系における前記反射ターゲットの空間座標を介して、前記プロジェクションマーキングシステムと前記被投影対象との間の相対的な姿勢の位置関係を求め、前記カメラによる前記プロジェクションマーキングシステムと前記被投影対象との間のガイド・位置決めを完了するステップ7と、
前記カメラを制御して一定のフレームレートに従い前記被投影対象表面の前記反射ターゲットの画像をリアルタイムでサンプリングし、サンプリング結果と前記ステップ3内の前記反射ターゲットの画像サンプリング結果とを比較し、両者の差が設定された閾値を超えた場合、前記被投影対象の位置姿勢に変化が生じたと判定するステップ8と、
位置姿勢が変化した後の前記被投影対象表面の反射ターゲットサンプリング画像が安定したら、安定後の新しい前記反射ターゲットのリアルタイムサンプリング画像位置を取得し、前記ステップ3~ステップ7に従い前記プロジェクションマーキングシステムと前記被投影対象との間の位置姿勢の合わせを改めて実現し、前記カメラによる前記プロジェクションマーキングシステムと前記被投影対象との間の位置姿勢のリアルタイム監視と補正を完了するステップ9と、
を含むことを特徴とする、カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法。 - 前記ステップ2は、
N個の前記反射ターゲットを貼った標定板を前記ステップ1の前記プロジェクションマーキングシステムの前記投影領域内に置き、前記カメラが前記プロジェクションマーキングシステムの前記投影領域を観測できるように前記カメラの視野を調整するステップ2.1と、
前記カメラと前記標定板との間の相対的な姿勢の位置関係を得、前記プロジェクションマーキングシステムと前記標定板との間の相対的な姿勢の位置関係を得るステップ2.2と、
前記投影領域のサイズに応じて、前記標定板の配置位置を変更し、前記ステップ2.2を繰り返し、複数の前記カメラと前記標定板との間の相対的な姿勢の位置関係及び複数の前記プロジェクションマーキングシステムと前記標定板との間の相対的な姿勢の位置関係を得るステップ2.3と、
前記ステップ2.3で得られた複数の前記カメラと前記標定板との間の相対的な姿勢の位置関係及び複数の前記プロジェクションマーキングシステムと前記標定板との間の相対的な姿勢の位置関係に基づき、前記カメラと前記プロジェクションマーキングシステムとの間の相対的な姿勢の位置関係を求めるステップ2.4と、
を含むことを特徴とする、請求項1に記載のカメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法。 - 前記ステップ2.2内で前記カメラを制御して、前記ステップ2.1内の前記標定板に対し画像をサンプリングし、前記カメラと前記標定板との間の相対的な姿勢の位置関係を得;
前記プロジェクションマーキングシステムを制御して、前記投影領域内の前記標定板上の反射ターゲットポイントをスキャンし、前記プロジェクションマーキングシステムと前記標定板との間の相対的な姿勢の位置関係を得る、
を含むことを特徴とする、請求項2に記載のカメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法。 - 前記ステップ2.2で前記カメラによる前記標定板の画像サンプリングで得られた画像内の反射ターゲットの中心位置、標定板座標系における反射ターゲット中心位置の空間座標、及び前記ステップ1で得られた前記カメラの内部パラメータに基づいて、前記カメラと前記標定板との間の相対的な姿勢の位置関係を求めることを特徴とする、請求項3に記載のカメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法。
- 前記ステップ5で得られたデジタル信号を前記ステップ6でさらに処理する時、前記ステップ5で得られたデジタル信号を中心として1つの矩形レーザースキャン領域を定め、前記領域内においてレーザーグリッド線の方式で前記領域内にある前記反射ターゲットをスキャンし位置決めすることで、前記プロジェクションマーキングシステムが前記反射ターゲット中心に正確に投射するためにレーザーガルバノスキャナへ入力すべき前記制御デジタル信号を決定することを特徴とする、請求項1に記載のカメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110497634.2 | 2021-05-08 | ||
CN202110497634.2A CN112991467B (zh) | 2021-05-08 | 2021-05-08 | 基于相机的激光投影标识自动引导定位与实时校正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022173182A true JP2022173182A (ja) | 2022-11-18 |
JP7191309B2 JP7191309B2 (ja) | 2022-12-19 |
Family
ID=76337228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022001977A Active JP7191309B2 (ja) | 2021-05-08 | 2022-01-08 | カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7191309B2 (ja) |
CN (1) | CN112991467B (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113660473B (zh) * | 2021-07-07 | 2024-03-08 | 深圳市睿达科技有限公司 | 一种基于投影仪的辅助定位方法 |
CN113724321B (zh) * | 2021-07-08 | 2023-03-24 | 南京航空航天大学苏州研究院 | 一种自适应激光投影辅助装配方法 |
CN113298886B (zh) * | 2021-07-27 | 2021-10-08 | 光量信息科技(宁波)有限公司 | 一种投影仪的标定方法 |
CN115040238B (zh) * | 2022-08-15 | 2022-11-15 | 南昌大学第二附属医院 | 体表皮损区域激光定位设备的控制方法及激光定位设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000241874A (ja) * | 1999-02-19 | 2000-09-08 | Nec Corp | プロジェクタの自動画面位置調整方法及び装置 |
JP2006523067A (ja) * | 2003-04-11 | 2006-10-05 | 三菱電機株式会社 | 物体上に出力画像を表示する方法 |
JP2008533451A (ja) * | 2005-03-11 | 2008-08-21 | クリアフォーム インク. | 3次元スキャンの自動参照システム及び装置 |
US9055237B1 (en) * | 2012-06-01 | 2015-06-09 | Rawles Llc | Projection autofocus |
JP2016152586A (ja) * | 2015-02-19 | 2016-08-22 | 国立大学法人電気通信大学 | プロジェクションマッピング装置、映像投影制御装置、映像投影制御方法および映像投影制御プログラム |
CN111147694A (zh) * | 2019-12-30 | 2020-05-12 | Oppo广东移动通信有限公司 | 拍摄方法、拍摄装置、终端设备及计算机可读存储介质 |
CN112304568A (zh) * | 2020-09-18 | 2021-02-02 | 光量信息科技(宁波)有限公司 | 一种基于光敏传感器的激光振镜标定系统及其标定方法 |
CN112666703A (zh) * | 2021-03-18 | 2021-04-16 | 光量信息科技(宁波)有限公司 | 基于多个激光振镜的空间曲线联合定位投影系统及其方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011205524A (ja) * | 2010-03-26 | 2011-10-13 | Seiko Epson Corp | プロジェクター装置およびプロジェクター装置の投写方法 |
EP3070495B1 (en) * | 2015-03-19 | 2020-08-19 | Albert-Ludwigs-Universität Freiburg | Method and system for calibrating a network of multiple horizontally scanning range finders |
CN109194939A (zh) * | 2018-08-29 | 2019-01-11 | 明基智能科技(上海)有限公司 | 画面校正方法及投影机系统 |
CN111953950B (zh) * | 2020-08-14 | 2022-06-07 | 青岛海信移动通信技术股份有限公司 | 投影设备及其投影镜头的姿态调整方法 |
-
2021
- 2021-05-08 CN CN202110497634.2A patent/CN112991467B/zh active Active
-
2022
- 2022-01-08 JP JP2022001977A patent/JP7191309B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000241874A (ja) * | 1999-02-19 | 2000-09-08 | Nec Corp | プロジェクタの自動画面位置調整方法及び装置 |
JP2006523067A (ja) * | 2003-04-11 | 2006-10-05 | 三菱電機株式会社 | 物体上に出力画像を表示する方法 |
JP2008533451A (ja) * | 2005-03-11 | 2008-08-21 | クリアフォーム インク. | 3次元スキャンの自動参照システム及び装置 |
US9055237B1 (en) * | 2012-06-01 | 2015-06-09 | Rawles Llc | Projection autofocus |
JP2016152586A (ja) * | 2015-02-19 | 2016-08-22 | 国立大学法人電気通信大学 | プロジェクションマッピング装置、映像投影制御装置、映像投影制御方法および映像投影制御プログラム |
CN111147694A (zh) * | 2019-12-30 | 2020-05-12 | Oppo广东移动通信有限公司 | 拍摄方法、拍摄装置、终端设备及计算机可读存储介质 |
CN112304568A (zh) * | 2020-09-18 | 2021-02-02 | 光量信息科技(宁波)有限公司 | 一种基于光敏传感器的激光振镜标定系统及其标定方法 |
CN112666703A (zh) * | 2021-03-18 | 2021-04-16 | 光量信息科技(宁波)有限公司 | 基于多个激光振镜的空间曲线联合定位投影系统及其方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7191309B2 (ja) | 2022-12-19 |
CN112991467B (zh) | 2021-07-20 |
CN112991467A (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7191309B2 (ja) | カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法 | |
KR102532072B1 (ko) | 로봇 모션 용 비전 시스템의 자동 핸드-아이 캘리브레이션을 위한 시스템 및 방법 | |
US10571254B2 (en) | Three-dimensional shape data and texture information generating system, imaging control program, and three-dimensional shape data and texture information generating method | |
TWI670153B (zh) | 機器人及機器人系統 | |
KR102276259B1 (ko) | 비전-기반 조작 시스템들의 교정 및 동작 | |
US9519736B2 (en) | Data generation device for vision sensor and detection simulation system | |
CN111278608B (zh) | 用于3d视觉机器人系统的校准物品 | |
EP2033747A2 (en) | Robot simulation apparatus | |
CN108406123A (zh) | 一种激光加工中三维零件标定系统及方法 | |
JP2005201824A (ja) | 計測装置 | |
US20210291376A1 (en) | System and method for three-dimensional calibration of a vision system | |
JP6869159B2 (ja) | ロボットシステム | |
US20040081352A1 (en) | Three-dimensional visual sensor | |
US12128571B2 (en) | 3D computer-vision system with variable spatial resolution | |
US12080011B2 (en) | Size estimation device, size estimation method, and recording medium | |
CN106125066B (zh) | 激光雷达的控制系统及控制方法 | |
JP6420530B2 (ja) | 情報処理装置、計測システム、制御システム、光量決定方法、プログラム及び記憶媒体 | |
CN111993420A (zh) | 一种固定式双目视觉3d引导上件系统 | |
CN117103295A (zh) | 位姿确定方法及建筑机器人 | |
JP2018194542A (ja) | 画像処理システム、画像処理装置および画像処理プログラム | |
CN109773589B (zh) | 对工件表面进行在线测量和加工导引的方法及装置、设备 | |
JP2018031701A (ja) | 校正方法、および校正装置 | |
CN114378808B (zh) | 一种多目相机和线激光辅助机械臂跟踪目标的方法和装置 | |
JPH0820207B2 (ja) | 光学式3次元位置計測方法 | |
Iakovou et al. | Integrated sensors for robotic laser welding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7191309 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |