JP2023106284A - 組立ロボットの遠隔操作環境のデジタルツインモデリング方法及びシステム - Google Patents
組立ロボットの遠隔操作環境のデジタルツインモデリング方法及びシステム Download PDFInfo
- Publication number
- JP2023106284A JP2023106284A JP2022133499A JP2022133499A JP2023106284A JP 2023106284 A JP2023106284 A JP 2023106284A JP 2022133499 A JP2022133499 A JP 2022133499A JP 2022133499 A JP2022133499 A JP 2022133499A JP 2023106284 A JP2023106284 A JP 2023106284A
- Authority
- JP
- Japan
- Prior art keywords
- assembly
- robot
- image
- coordinate system
- acquisition device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000009466 transformation Effects 0.000 claims abstract description 26
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37567—3-D vision, stereo vision, with two cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40323—Modeling robot environment for sensor based robot system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Architecture (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
Description
画像収集装置により遠隔操作環境の画像を収集するステップと、
画像中の現在組立中の部品を識別し、組立体の組立順序を問い合わせて、現在組立中の部品に基づいて組立済みの部品リストを取得するステップと、
組立済みの部品リストに基づいて現在組立体の三次元モデルを生成し、且つ現在組立体の画像収集装置座標系での姿勢情報を計算するステップと、
ロボットの三次元モデルをロードして、ロボット座標系と画像収集装置座標系との座標変換関係を決定するステップと、
座標変換関係に基づいて画像中のロボットに対して方位標定を行って、ロボットの画像収集装置座標系での姿勢情報を決定するステップと、
現在組立体の画像収集装置座標系での姿勢情報及びロボットの画像収集装置座標系での姿勢情報に基づいて現在組立体とロボットとの相対位置関係を決定するステップと、
現在組立体の三次元モデル、ロボットの三次元モデル及び現在組立体とロボットとの相対位置関係に基づいて遠隔操作環境のデジタルツインモデルを確立するステップと、を含む。
深度画像中の組立体の異なる部品の領域を異なるカラータグで標識して、実例分割画像を生成し、
実例分割画像のカラータグを統計し、現在組立中の部品を識別する。
組立済みの部品リストにおける各部品の三次元モデルをロードし、
予め定義された組立体の各部品間の制約関係に応じてリストにおける各部品の組立体上での位置を決定し、
リストにおける各部品の組立体上での位置に基づいて各部品の三次元モデルの位置を調整して、現在組立体の三次元モデルを生成する。
深度画像を前処理して、背景を除去して、現在組立体の深度画像を保存し、
画像収集装置の内部参照及びイメージングモデルを利用して現在組立体の深度画像を組立体ポイントクラウドに変換し、
組立体ポイントクラウドをポイントクラウド特徴抽出ネットワークに入力して組立体ポイントクラウド特徴を抽出し、
組立体ポイントクラウド特徴を事前に訓練された姿勢推定ネットワークに入力し、組立体の画像収集装置座標系での姿勢情報を出力する。
初期情報を決定し、初期視点における組立体の三次元モデルポイントクラウドのタグ姿勢情報を抽出して記録し、タグ姿勢情報が三次元モデルポイントクラウドにおける各点の回転行列Ri及びオフセット行列Tiを含み、iが三次元モデルポイントクラウドにおける各点のインデックスであり、
ポイントクラウド変換を行い、組立体の三次元モデルの初期視点と異なる他の視点における組立体の深度画像を抽出し、且つ画像収集装置の内部参照及びイメージングモデルを利用して該組立体の深度画像を組立体ポイントクラウドに変換し、
姿勢予測を行い、組立体ポイントクラウドをポイントクラウド特徴抽出ネットワークに入力し、ポイントクラウドの各点の特徴を出力して、ポイントクラウドの各点の特徴を姿勢推定ネットワークに入力し、各点の姿勢予測情報を予測し、前記各点の姿勢予測情報が予測回転行列R'i及び予測オフセット行列T'iを含み、
各点の姿勢予測情報とタグ姿勢情報とのユークリッド距離を計算して、ユークリッド距離に基づいて信頼度を生成し、信頼度が設定された閾値よりも小さい場合、画像更新ステップを実行し、信頼度が設定された閾値よりも大きく又は訓練回数が設定値に達する場合、現在視点における組立体の最適な姿勢予測情報を出力し、訓練が完了したかどうかを判断し、完了しなければポイントクラウド変換ステップに戻って、次の視点における組立体の深度画像を取り替えて訓練し続け、完了すれば画像更新ステップを実行し、
画像更新を行い、予測回転行列R'i及び予測オフセット行列T'iを入力として組立体ポイントクラウドに対して変位及び回転変換を行って、組立体ポイントクラウドの三次元座標を更新し、更新後の組立体ポイントクラウドをポイントクラウド特徴抽出ネットワークに入力して訓練し続ける。
ロボットの関節に位置決め標識物を設置し、
ロボットを制御してポイントツーポイント間欠運動を行わせ、各間欠運動点において、ロボットコントローラにより位置決め標識物のロボット座標系での座標Pi(xwi, ywi, zwi)を読み取るとともに、位置決め標識物の特徴点のRGB画像での画素座標Zi(ui, vi)を識別し、
位置決め標識物の特徴点のRGB画像での画素座標Zi(ui, vi)及びRGB-Dカメラのイメージングモデルに基づいて、RGB-Dカメラにおける深度カメラとカラーカメラとの位置関係を利用して、位置決め標識物の特徴点のカメラ座標系での三次元座標P'i(xci, yci, zci)を求め、
4つ以上の間欠運動点の位置決め標識物のロボット座標系での座標Pi(xwi, ywi, zwi)及び位置決め標識物の特徴点のカメラ座標系での三次元座標P'i(xci, yci, zci)を取得して、ロボット座標系とカメラ座標系との変換行列を計算する。
遠隔操作環境の画像を収集するための画像収集装置と、
組立体の各部品の三次元モデル、各部品の制約関係及び組立体の組立順序が事前にロードされる組立体デジタルモジュールと、
画像中の現在組立中の部品を識別し及び組立体の組立順序を問い合わせて、現在組立中の部品に基づいて組立済みの部品リストを取得し、且つ組立済みの部品リストに基づいて現在組立体の三次元モデルを生成するための組立体再構築モジュールと、
現在組立体の画像収集装置座標系での姿勢情報を計算するための組立体位置決めモジュールと、
ロボットの三次元モデルが事前にロードされるロボットデジタルモジュールと、
ロボット座標系と画像収集装置座標系との座標変換関係を決定し、且つ座標変換関係に基づいて画像中のロボットに対して方位標定を行って、ロボットの画像収集装置座標系での姿勢情報を決定するためのロボット位置決めモジュールと、
現在組立体の画像収集装置座標系での姿勢情報及びロボットの画像収集装置座標系での姿勢情報に基づいて現在組立体とロボットとの相対位置関係を決定し、且つ現在組立体の三次元モデル、ロボットの三次元モデル及び現在組立体とロボットとの相対位置関係に基づいて遠隔操作環境のデジタルツインモデルを確立するためのデジタルツインモデル再構築モジュールと、を備える。
図1を参照して、本実施例は組立ロボットの遠隔操作環境のデジタルツインモデリング方法を提供し、
画像収集装置により遠隔操作環境の画像を収集するステップと、
画像中の現在組立中の部品を識別し、組立体の組立順序を問い合わせて、現在組立中の部品に基づいて組立済みの部品リストを取得するステップと、
組立済みの部品リストに基づいて現在組立体の三次元モデルを生成し、且つ現在組立体の画像収集装置座標系での姿勢情報を計算するステップと、
ロボットの三次元モデルをロードして、ロボット座標系と画像収集装置座標系との座標変換関係を決定するステップと、
座標変換関係に基づいて画像中のロボットに対して方位標定を行って、ロボットの画像収集装置座標系での姿勢情報を決定するステップと、
現在組立体の画像収集装置座標系での姿勢情報及びロボットの画像収集装置座標系での姿勢情報に基づいて現在組立体とロボットとの相対位置関係を決定するステップと、
現在組立体の三次元モデル、ロボットの三次元モデル及び現在組立体とロボットとの相対位置関係に基づいて遠隔操作環境のデジタルツインモデルを確立するステップと、を含む。
深度画像中の組立体の異なる部品の領域を異なるカラータグで標識して、実例分割画像を生成し、
実例分割画像のカラータグを統計し、現在組立中の部品を識別する。
組立済みの部品リストにおける各部品の三次元モデルをロードし、
予め定義された組立体の各部品間の制約関係に応じてリストにおける各部品の組立体上での位置を決定し、
リストにおける各部品の組立体上での位置に基づいて各部品の三次元モデルの位置を調整して、現在組立体の三次元モデルを生成する。
深度画像を前処理して、背景を除去して、現在組立体のみを保存し、現在組立体の深度画像を取得し、
画像収集装置の内部参照及びイメージングモデルを利用して現在組立体の深度画像を深度画像ポイントクラウドに変換し、以下に前記深度画像ポイントクラウドが組立体ポイントクラウドと称され、
組立体ポイントクラウドをPointNet++ポイントクラウド特徴抽出ネットワークに入力して、組立体ポイントクラウド特徴を抽出し、
組立体ポイントクラウド特徴を事前に訓練されたDense Fusion姿勢推定ネットワークに入力し、組立体の画像収集装置座標系での姿勢情報を出力する。
初期情報を決定し、初期視点における組立体の三次元モデルポイントクラウドのタグ姿勢情報を抽出して記録し、タグ姿勢情報が三次元モデルポイントクラウドにおける各点の回転行列Ri及びオフセット行列Tiを含み、iが三次元モデルポイントクラウドにおける各点のインデックスであり、
ポイントクラウド変換を行い、組立体の三次元モデルの初期視点と異なる他の視点における組立体の深度画像を抽出し、且つ画像収集装置の内部参照及びイメージングモデルを利用して該組立体の深度画像を組立体ポイントクラウドに変換し、
姿勢予測を行い、組立体ポイントクラウドをPointNet++ポイントクラウド特徴抽出ネットワークに入力し、組立体ポイントクラウドの幾何特徴を抽出して、稠密なポイントクラウドの各点の特徴を生成し、ポイントクラウドの各点の特徴をDense Fusion姿勢推定ネットワークに入力し、各点の姿勢予測情報を予測し、姿勢予測情報が予測回転行列R'i及び予測オフセット行列T'iを含み、
各点の姿勢予測情報とタグ姿勢情報とのユークリッド距離を計算して、ユークリッド距離に基づいて信頼度を生成し、信頼度が設定された閾値よりも小さい場合、画像更新ステップを実行し、信頼度が設定された閾値よりも大きく又は訓練回数が設定値に達する場合、現在視点における組立体の最適な姿勢予測情報を出力し、訓練が完了したかどうかを判断し、完了しなければポイントクラウド変換ステップに戻って、次の視点における組立体の深度画像を取り替えて訓練し続け、完了すれば画像更新ステップを実行し、
画像更新を行い、予測回転行列R'i及び予測オフセット行列T'iを入力として組立体ポイントクラウドに対して変位及び回転変換を行って、組立体ポイントクラウドの三次元座標を更新し、更新後の組立体ポイントクラウドをPointNet++ポイントクラウド特徴抽出ネットワークに入力して訓練し続ける。
ロボットの関節に位置決め標識物(例えば、特別な形状及びカラーの小球)を設置し、
ロボットを制御してポイントツーポイント間欠運動を行わせ、各間欠運動点において、ロボットコントローラにより位置決め標識物のロボット座標系(Ow-XwYwZw)での座標Pi(xwi,ywi, zwi)を読み取るとともに、位置決め標識物の特徴点のRGB画像での画素座標Zi(ui, vi)を識別し、
位置決め標識物の特徴点のRGB画像での画素座標Zi(ui, vi)及びRGB-Dカメラのイメージングモデルに基づいて、RGB-Dカメラにおける深度カメラとカラーカメラとの位置関係を利用して、位置決め標識物の特徴点のカメラ座標系(Oc-XcYcZc)での三次元座標P'i(xci,yci, zci)を求め、
4つ以上の間欠運動点の位置決め標識物のロボット座標系での座標Pi(xwi,ywi, zwi)及び位置決め標識物の特徴点のカメラ座標系での三次元座標P'i(xci,yci, zci)を取得して、ロボット座標系とカメラ座標系との変換行列を計算し、前記変換行列は、次式(数1)と示されてもよく、ここで、Rが3*3回転行列であり、Tが3*1平行移動ベクトルであって、ロボット座標系のカメラ座標系での方向及び位置を示す。
遠隔操作環境の画像を収集するための画像収集装置と、
組立体の各部品の三次元モデル、各部品の制約関係及び組立体の組立順序が事前にロードされる組立体デジタルモジュールと、
画像中の現在組立中の部品を識別し及び組立体の組立順序を問い合わせて、現在組立中の部品に基づいて組立済みの部品リストを取得し、且つ組立済みの部品リストに基づいて現在組立体の三次元モデルを生成するための組立体再構築モジュールと、
現在組立体の画像収集装置座標系での姿勢情報を計算するための組立体位置決めモジュールと、
ロボットの三次元モデルが事前にロードされるロボットデジタルモジュールと、
ロボット座標系と画像収集装置座標系との座標変換関係を決定し、且つ座標変換関係に基づいて画像中のロボットに対して方位標定を行って、ロボットの画像収集装置座標系での姿勢情報を決定するためのロボット位置決めモジュールと、
現在組立体の画像収集装置座標系での姿勢情報及びロボットの画像収集装置座標系での姿勢情報に基づいて現在組立体とロボットとの相対位置関係を決定し、且つ現在組立体の三次元モデル、ロボットの三次元モデル及び現在組立体とロボットとの相対位置関係に基づいて遠隔操作環境のデジタルツインモデルを確立するためのデジタルツインモデル再構築モジュールと、を備える。
Claims (10)
- 組立ロボットの遠隔操作環境のデジタルツインモデリング方法であって、
画像収集装置により遠隔操作環境の画像を収集するステップと、
画像中の現在組立中の部品を識別し、組立体の組立順序を問い合わせて、現在組立中の部品に基づいて組立済みの部品リストを取得するステップと、
組立済みの部品リストに基づいて現在組立体の三次元モデルを生成し、且つ現在組立体の画像収集装置座標系での姿勢情報を計算するステップと、
ロボットの三次元モデルをロードして、ロボット座標系と画像収集装置座標系との座標変換関係を決定するステップと、
座標変換関係に基づいて画像中のロボットに対して方位標定を行って、ロボットの画像収集装置座標系での姿勢情報を決定するステップと、
現在組立体の画像収集装置座標系での姿勢情報及びロボットの画像収集装置座標系での姿勢情報に基づいて現在組立体とロボットとの相対位置関係を決定するステップと、
現在組立体の三次元モデル、ロボットの三次元モデル及び現在組立体とロボットとの相対位置関係に基づいて遠隔操作環境のデジタルツインモデルを確立するステップと、を含むことを特徴とする組立ロボットの遠隔操作環境のデジタルツインモデリング方法。 - 前記画像収集装置が収集した画像は深度画像を含み、画像中の現在組立中の部品を識別する前記ステップは具体的に、
深度画像中の組立体の異なる部品の領域を異なるカラータグで標識して、実例分割画像を生成し、
実例分割画像のカラータグを統計し、現在組立中の部品を識別することを特徴とする請求項1に記載の組立ロボットの遠隔操作環境のデジタルツインモデリング方法。 - 組立済みの部品リストに基づいて現在組立体の三次元モデルを生成する前記ステップは具体的に、
組立済みの部品リストにおける各部品の三次元モデルをロードし、
予め定義された組立体の各部品間の制約関係に応じてリストにおける各部品の組立体上での位置を決定し、
リストにおける各部品の組立体上での位置に基づいて各部品の三次元モデルの位置を調整して、現在組立体の三次元モデルを生成することを特徴とする請求項2に記載の組立ロボットの遠隔操作環境のデジタルツインモデリング方法。 - 現在組立体の画像収集装置座標系での姿勢情報を計算する前記ステップは具体的に、
深度画像を前処理して、背景を除去して、現在組立体の深度画像を保存し、
画像収集装置の内部参照及びイメージングモデルを利用して現在組立体の深度画像を組立体ポイントクラウドに変換し、
組立体ポイントクラウドをポイントクラウド特徴抽出ネットワークに入力して組立体ポイントクラウド特徴を抽出し、
組立体ポイントクラウド特徴を事前に訓練された姿勢推定ネットワークに入力し、組立体の画像収集装置座標系での姿勢情報を出力することを特徴とする請求項2に記載の組立ロボットの遠隔操作環境のデジタルツインモデリング方法。 - 前記姿勢推定ネットワークの事前訓練過程は、
初期情報を決定し、初期視点における組立体の三次元モデルポイントクラウドのタグ姿勢情報を抽出して記録し、タグ姿勢情報が三次元モデルポイントクラウドにおける各点の回転行列Ri及びオフセット行列Tiを含み、iが三次元モデルポイントクラウドにおける各点のインデックスであり、
ポイントクラウド変換を行い、組立体の三次元モデルの初期視点と異なる他の視点における組立体の深度画像を抽出し、且つ画像収集装置の内部参照及びイメージングモデルを利用して該組立体の深度画像を組立体ポイントクラウドに変換し、
姿勢予測を行い、組立体ポイントクラウドをポイントクラウド特徴抽出ネットワークに入力し、ポイントクラウドの各点の特徴を出力して、ポイントクラウドの各点の特徴を姿勢推定ネットワークに入力し、各点の姿勢予測情報を予測し、前記各点の姿勢予測情報が予測回転行列R'i及び予測オフセット行列T'iを含み、
各点の姿勢予測情報とタグ姿勢情報とのユークリッド距離を計算して、ユークリッド距離に基づいて信頼度を生成し、信頼度が設定された閾値よりも小さい場合、画像更新ステップを実行し、信頼度が設定された閾値よりも大きく又は訓練回数が設定値に達する場合、現在視点における組立体の最適な姿勢予測情報を出力し、訓練が完了したかどうかを判断し、完了しなければポイントクラウド変換ステップに戻って、次の視点における組立体の深度画像を取り替えて訓練し続け、完了すれば画像更新ステップを実行し、
画像更新を行い、予測回転行列R'i及び予測オフセット行列T'iを入力として組立体ポイントクラウドに対して変位及び回転変換を行って、組立体ポイントクラウドの三次元座標を更新し、更新後の組立体ポイントクラウドをポイントクラウド特徴抽出ネットワークに入力して訓練し続けることを特徴とする請求項4に記載の組立ロボットの遠隔操作環境のデジタルツインモデリング方法。 - 前記画像収集装置はRGB-Dカメラであり、収集された画像は更にRGB画像を含み、ロボット座標系と画像収集装置座標系との座標変換関係を決定する前記ステップは具体的に、
ロボットの関節に位置決め標識物を設置し、
ロボットを制御してポイントツーポイント間欠運動を行わせ、各間欠運動点において、ロボットコントローラにより位置決め標識物のロボット座標系での座標Pi(xwi,ywi, zwi)を読み取るとともに、位置決め標識物の特徴点のRGB画像での画素座標Zi(ui, vi)を識別し、
位置決め標識物の特徴点のRGB画像での画素座標Zi(ui, vi)及びRGB-Dカメラのイメージングモデルに基づいて、RGB-Dカメラにおける深度カメラとカラーカメラとの位置関係を利用して、位置決め標識物の特徴点のカメラ座標系での三次元座標P'i(xci,yci, zci)を求め、
4つ以上の間欠運動点の位置決め標識物のロボット座標系での座標Pi(xwi,ywi, zwi)及び位置決め標識物の特徴点のカメラ座標系での三次元座標P'i(xci,yci, zci)を取得して、ロボット座標系とカメラ座標系との変換行列を計算することを特徴とする請求項2に記載の組立ロボットの遠隔操作環境のデジタルツインモデリング方法。 - ロボットを制御してポイントツーポイント間欠運動を行わせるステップにおいて、ポイントツーポイント間欠運動の軌跡を複数の正方形として設定することを特徴とする請求項6に記載の組立ロボットの遠隔操作環境のデジタルツインモデリング方法。
- 組立ロボットの遠隔操作環境のデジタルツインモデリングシステムであって、
遠隔操作環境の画像を収集するための画像収集装置と、
組立体の各部品の三次元モデル、各部品の制約関係及び組立体の組立順序が事前にロードされる組立体デジタルモジュールと、
画像中の現在組立中の部品を識別し及び組立体の組立順序を問い合わせて、現在組立中の部品に基づいて組立済みの部品リストを取得し、且つ組立済みの部品リストに基づいて現在組立体の三次元モデルを生成するための組立体再構築モジュールと、
現在組立体の画像収集装置座標系での姿勢情報を計算するための組立体位置決めモジュールと、
ロボットの三次元モデルが事前にロードされるロボットデジタルモジュールと、
ロボット座標系と画像収集装置座標系との座標変換関係を決定し、且つ座標変換関係に基づいて画像中のロボットに対して方位標定を行って、ロボットの画像収集装置座標系での姿勢情報を決定するためのロボット位置決めモジュールと、
現在組立体の画像収集装置座標系での姿勢情報及びロボットの画像収集装置座標系での姿勢情報に基づいて現在組立体とロボットとの相対位置関係を決定し、且つ現在組立体の三次元モデル、ロボットの三次元モデル及び現在組立体とロボットとの相対位置関係に基づいて遠隔操作環境のデジタルツインモデルを確立するためのデジタルツインモデル再構築モジュールと、を備えることを特徴とする組立ロボットの遠隔操作環境のデジタルツインモデリングシステム。 - 前記画像収集装置はRGB-Dカメラであることを特徴とする請求項8に記載の組立ロボットの遠隔操作環境のデジタルツインモデリングシステム。
- メモリと、プロセッサと、メモリに記憶され且つプロセッサにおいて実行され得るコンピュータプログラムとを備える電子機器であって、
前記プロセッサが前記プログラムを実行するとき、請求項1~7のいずれか1項に記載の組立ロボットの遠隔操作環境のデジタルツインモデリング方法を実現することを特徴とする電子機器。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210067998.1 | 2022-01-20 | ||
CN202210067998.1A CN114417616A (zh) | 2022-01-20 | 2022-01-20 | 一种装配机器人遥操作环境的数字孪生建模方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023106284A true JP2023106284A (ja) | 2023-08-01 |
JP7410499B2 JP7410499B2 (ja) | 2024-01-10 |
Family
ID=81275791
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022133499A Active JP7410499B2 (ja) | 2022-01-20 | 2022-08-24 | 組立ロボットの遠隔操作環境のデジタルツインモデリング方法及びシステム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230230312A1 (ja) |
JP (1) | JP7410499B2 (ja) |
CN (1) | CN114417616A (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115383256B (zh) * | 2022-09-30 | 2024-04-16 | 上海柏楚电子科技股份有限公司 | 自动焊接方法、装置以及系统 |
CN116563491B (zh) * | 2023-03-29 | 2024-03-19 | 广州番禺职业技术学院 | 一种数字孪生场景建模及标定方法 |
CN116030213B (zh) * | 2023-03-30 | 2023-06-06 | 千巡科技(深圳)有限公司 | 一种多机云边协同地图创建与动态数字孪生方法及系统 |
CN116758237B (zh) * | 2023-08-17 | 2023-10-20 | 山东萌山钢构工程有限公司 | 一种基于实时建模的装配建筑监测系统 |
CN116882070B (zh) * | 2023-09-01 | 2023-11-14 | 中汽研汽车工业工程(天津)有限公司 | 一种面向整车制造的工业数字孪生管理系统 |
CN116852382A (zh) * | 2023-09-04 | 2023-10-10 | 青岛理工大学 | 一种轴孔装配机器人末端姿态快速调整系统和方法 |
CN117021117B (zh) * | 2023-10-08 | 2023-12-15 | 电子科技大学 | 一种基于混合现实的移动机器人人机交互与定位方法 |
CN117140539B (zh) * | 2023-11-01 | 2024-01-23 | 成都交大光芒科技股份有限公司 | 基于空间坐标变换矩阵的机器人三维协同巡检方法 |
CN117182930B (zh) * | 2023-11-07 | 2024-02-13 | 山东捷瑞数字科技股份有限公司 | 基于数字孪生的四轴机械臂绑定方法、系统、设备及介质 |
CN117647952A (zh) * | 2024-01-30 | 2024-03-05 | 南京航空航天大学 | 面向工业机器人的数字建模位置精度补偿方法及系统 |
CN117817417A (zh) * | 2024-03-05 | 2024-04-05 | 中北大学 | 一种基于数字孪生的大型筒体最优加工位姿调整方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102257939B1 (ko) | 2017-03-27 | 2021-05-27 | 지멘스 악티엔게젤샤프트 | 설계 툴들로부터의 데이터 및 디지털 트윈 그래프로부터의 지식을 사용하는 자동화된 생성적 설계 합성을 위한 시스템 |
CN107832497B (zh) | 2017-10-17 | 2018-08-28 | 广东工业大学 | 一种智能车间快速定制设计方法及系统 |
CN107870600B (zh) | 2017-10-17 | 2018-10-19 | 广东工业大学 | 一种智能车间透明监控方法及系统 |
CN109445305A (zh) * | 2018-10-26 | 2019-03-08 | 中国电子科技集团公司第三十八研究所 | 一种基于数字孪生的装配精度仿真分析方法与系统 |
CN109373898B (zh) * | 2018-11-27 | 2020-07-10 | 华中科技大学 | 一种基于三维测量点云的复杂零件位姿估计系统及方法 |
CN109940605B (zh) * | 2019-01-29 | 2021-04-20 | 中国工程物理研究院激光聚变研究中心 | 融合三维视觉与接触力分析的柔顺装配系统及方法 |
CN112801977B (zh) * | 2021-01-28 | 2022-11-22 | 青岛理工大学 | 一种基于深度学习的装配体零件相对位姿估计监测方法 |
CN113128610A (zh) * | 2021-04-26 | 2021-07-16 | 苏州飞搜科技有限公司 | 一种工业零件位姿估计方法及系统 |
-
2022
- 2022-01-20 CN CN202210067998.1A patent/CN114417616A/zh active Pending
- 2022-08-23 US US17/893,368 patent/US20230230312A1/en active Pending
- 2022-08-24 JP JP2022133499A patent/JP7410499B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
CN114417616A (zh) | 2022-04-29 |
US20230230312A1 (en) | 2023-07-20 |
JP7410499B2 (ja) | 2024-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023106284A (ja) | 組立ロボットの遠隔操作環境のデジタルツインモデリング方法及びシステム | |
US11498220B2 (en) | Control system and control method | |
Wang et al. | Latte: accelerating lidar point cloud annotation via sensor fusion, one-click annotation, and tracking | |
CN109472828B (zh) | 一种定位方法、装置、电子设备及计算机可读存储介质 | |
CN112801977B (zh) | 一种基于深度学习的装配体零件相对位姿估计监测方法 | |
JP2008538832A (ja) | 歩行者の追跡による、ビデオ系列からの3次元道路配置の推定 | |
US20230080133A1 (en) | 6d pose and shape estimation method | |
CN110260866A (zh) | 一种基于视觉传感器的机器人定位与避障方法 | |
Joshi et al. | Deepurl: Deep pose estimation framework for underwater relative localization | |
Oe et al. | Estimating camera position and posture by using feature landmark database | |
JP2021060868A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN113160275A (zh) | 一种基于多个视频的自动目标跟踪和轨迹计算的方法 | |
Wang et al. | Construction Photo Localization in 3D Reality Models for Vision-Based Automated Daily Project Monitoring | |
Chen et al. | Easyhec: Accurate and automatic hand-eye calibration via differentiable rendering and space exploration | |
Scheuermann et al. | Mobile augmented reality based annotation system: A cyber-physical human system | |
Hou et al. | Octree-Based Approach for Real-Time 3D Indoor Mapping Using RGB-D Video Data | |
Kiyokawa et al. | Efficient collection and automatic annotation of real-world object images by taking advantage of post-diminished multiple visual markers | |
CN110942083A (zh) | 拍摄装置以及拍摄系统 | |
Durchon et al. | Challenges in applying deep learning to augmented reality for manufacturing | |
Ma et al. | Semantic geometric fusion multi-object tracking and lidar odometry in dynamic environment | |
KR20230049969A (ko) | 글로벌 측위 장치 및 방법 | |
Gulde et al. | Ropose-real: Real world dataset acquisition for data-driven industrial robot arm pose estimation | |
Wanyan et al. | Scene Prediction and Manipulator Grasp Pose Estimation Based on YOLO-GraspNet | |
Jiang et al. | 6D pose annotation and pose estimation method for weak-corner objects under low-light conditions | |
US9129147B1 (en) | Optimal automatic capture of facial movements and expressions in video sequences |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7410499 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |