JP2022103025A - 情報処理方法、情報処理システム、プログラム - Google Patents
情報処理方法、情報処理システム、プログラム Download PDFInfo
- Publication number
- JP2022103025A JP2022103025A JP2021114956A JP2021114956A JP2022103025A JP 2022103025 A JP2022103025 A JP 2022103025A JP 2021114956 A JP2021114956 A JP 2021114956A JP 2021114956 A JP2021114956 A JP 2021114956A JP 2022103025 A JP2022103025 A JP 2022103025A
- Authority
- JP
- Japan
- Prior art keywords
- information
- model data
- point coordinate
- information processing
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 66
- 238000003672 processing method Methods 0.000 title claims abstract description 50
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000005259 measurement Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 239000003086 colorant Substances 0.000 claims description 3
- 238000013499 data model Methods 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Image Analysis (AREA)
Abstract
【課題】三次元点群データモデルである基準対象物モデルを直接フィッティングに用いずに実質的にフィッティングが可能となり、実対象物モデルと基準対象物モデルとを比較することのできるようにする。【解決手段】本発明の主たる発明である情報処理方法は、基準対象物からセンサにより基準三次元モデルデータを取得するステップと、基準点座標取得部により、前記基準三次元モデルデータから三以上の任意の数の基準点座標情報を取得するステップと、測定対象物からセンサにより対応三次元モデルデータを取得するステップと、基準探索範囲設定部により、前記基準点座標情報に基づく基準探索範囲を設定するステップと、応点座標情報取得部により、前記対応三次元モデルデータにおいて基準探索範囲内における対応点座標情報を取得するステップと、を含む。【選択図】図６
Description
特許法第３０条第２項適用申請有り 令和２年１０月２日にトヨタ自動車株式会社に納品
本発明は、情報処理方法、情報処理システム、プログラムに関する。
従来から対象物（例えばワーク）を事前にスキャンして基準対象物モデルを作成してお
き、実際の対象物をスキャンして実対象物モデルを作成し、基準対象物モデルとの比較結
果に応じて位置ずれの補正を行う技術が知られている。例えば特許文献１には、基準画像
及び入力画像を互いに比較して位置ずれ量を求める技術が示されている。
き、実際の対象物をスキャンして実対象物モデルを作成し、基準対象物モデルとの比較結
果に応じて位置ずれの補正を行う技術が知られている。例えば特許文献１には、基準画像
及び入力画像を互いに比較して位置ずれ量を求める技術が示されている。
このように、実際の対象物の位置が想定位置よりもずれていたとしても、基準対象モデ
ルを記憶しておくことで、実対象物モデルとのずれ量を求め、これを補正する（いわゆる
フィッティング）ことで実対象物モデルを用いて正確な作業ができる。しかしながら、例
えば、対象物モデルとして三次元点群データを用いた場合などには、三次元点群データは
単なる点データの集まりであるため、実対象物モデルの点データごとに対応する基準対象
物モデルの点データを探索する必要があり、フィッティングが可能な程度に両モデルの形
状が同一または近似した形状である必要があった。
ルを記憶しておくことで、実対象物モデルとのずれ量を求め、これを補正する（いわゆる
フィッティング）ことで実対象物モデルを用いて正確な作業ができる。しかしながら、例
えば、対象物モデルとして三次元点群データを用いた場合などには、三次元点群データは
単なる点データの集まりであるため、実対象物モデルの点データごとに対応する基準対象
物モデルの点データを探索する必要があり、フィッティングが可能な程度に両モデルの形
状が同一または近似した形状である必要があった。
すなわち、例えば両モデルを用いて形状比較等をする場合には、実対象物モデルの形状
が基準対象物モデルに対してフィッティングが可能な程度の形状変化範囲内であるか、フ
ィッティングのためにさらなる補間を行う必要があり得た。
が基準対象物モデルに対してフィッティングが可能な程度の形状変化範囲内であるか、フ
ィッティングのためにさらなる補間を行う必要があり得た。
本発明はこのような背景を鑑みてなされたものであり、三次元点群データモデルである
基準対象物モデルを直接フィッティングに用いずに実質的にフィッティングが可能となり
、実対象物モデルと基準対象物モデルとを比較することのできる技術を提供することを目
的とする。
基準対象物モデルを直接フィッティングに用いずに実質的にフィッティングが可能となり
、実対象物モデルと基準対象物モデルとを比較することのできる技術を提供することを目
的とする。
上記課題を解決するための本発明の主たる発明は、基準対象物からセンサにより基準三
次元モデルデータを取得するステップと、基準点座標取得部により、前記基準三次元モデ
ルデータから三以上の任意の数の基準点座標情報を取得するステップと、測定対象物から
センサにより対応三次元モデルデータを取得するステップと、基準探索範囲設定部により
、前記基準点座標情報に基づく基準探索範囲を設定するステップと、応点座標情報取得部
により、前記対応三次元モデルデータにおいて基準探索範囲内における対応点座標情報を
取得するステップと、を含む、ことを特徴とする情報処理方法である。
次元モデルデータを取得するステップと、基準点座標取得部により、前記基準三次元モデ
ルデータから三以上の任意の数の基準点座標情報を取得するステップと、測定対象物から
センサにより対応三次元モデルデータを取得するステップと、基準探索範囲設定部により
、前記基準点座標情報に基づく基準探索範囲を設定するステップと、応点座標情報取得部
により、前記対応三次元モデルデータにおいて基準探索範囲内における対応点座標情報を
取得するステップと、を含む、ことを特徴とする情報処理方法である。
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面に
より明らかにされる。
より明らかにされる。
本発明によれば、三次元点群データモデルである基準対象物モデルを直接フィッティン
グに用いずに実質的にフィッティングが可能となり、実対象物モデルと基準対象物モデル
とを比較することのできるようにする。
グに用いずに実質的にフィッティングが可能となり、実対象物モデルと基準対象物モデル
とを比較することのできるようにする。
本発明の実施形態の内容を列記して説明する。本発明は、たとえば以下のような構成を
備える。
備える。
［項目１］
情報処理方法であって、
基準対象物からセンサにより基準三次元モデルデータを取得するステップと、
基準点座標取得部により、前記基準三次元モデルデータから三以上の任意の数の基準点
座標情報を取得するステップと、
測定対象物からセンサにより対応三次元モデルデータを取得するステップと、
基準探索範囲設定部により、前記基準点座標情報に基づく基準探索範囲を設定するステ
ップと、
対応点座標情報取得部により、前記対応三次元モデルデータにおいて基準探索範囲内に
おける対応点座標情報を取得するステップと、
を含む、ことを特徴とする情報処理方法。
［項目２］
項目１に記載の情報処理方法であって、
前記三次元モデルデータのそれぞれは、三次元点群データである、
ことを特徴とする情報処理方法。
［項目３］
項目１または２のいずれかに記載の情報処理方法であって、
前記基準点座標情報を取得するステップは、
特定形状部位検出部により、前記基準三次元モデルデータにおける特定形状の部位を検
出し、当該部位の座標情報を基準点座標情報として取得するステップと、を含む、
ことを特徴とする情報処理方法。
［項目４］
項目１ないし３のいずれかに記載の情報処理方法であって、
基準点座標平面算出部により、前記基準三次元モデルデータにおいて、前記基準点座標
を含む基準平面を算出するステップと、
基準差分値情報取得部により、前記基準平面上を所定の座標軸方向の基準値として設定
し、前記基準平面に対する前記所定の座標軸方向における前記基準三次元モデルデータと
前記基準値との基準差分値情報を取得するステップと、をさらに含む、
ことを特徴とする情報処理方法。
［項目５］
項目１ないし３のいずれかに記載の情報処理方法であって、
対応点座標平面算出部により、前記対応三次元モデルデータにおいて、前記対応点座標
を含む対応平面を算出するステップと、
対応差分値情報取得部により、前記対応平面上を所定の座標軸方向の基準値として設定
し、前記対応平面に対する前記所定の座標軸方向における前記対応三次元モデルデータと
前記基準値との対応差分値情報を取得するステップと、をさらに含む、
ことを特徴とする情報処理方法。
［項目６］
項目１ないし３のいずれかに記載の情報処理方法であって、
基準点座標平面算出部により、前記基準三次元モデルデータにおいて、前記基準点座標
を含む基準平面を算出するステップと、
基準差分値情報取得部により、前記基準平面上を所定の座標軸方向の基準値として設定
し、前記基準平面に対する前記所定の座標軸方向における前記基準三次元モデルデータと
前記基準値との基準差分値情報を取得するステップと、
対応点座標平面算出部により、前記対応三次元モデルデータにおいて、前記対応点座標
を含む対応平面を算出するステップと、
対応差分値情報取得部により、前記対応平面上を所定の座標軸方向の基準値として設定
し、前記対応平面に対する前記所定の座標軸方向における前記対応三次元モデルデータと
前記基準値との対応差分値情報を取得するステップと、をさらに含む、
ことを特徴とする情報処理方法。
［項目７］
項目６に記載の情報処理方法であって、
差分値情報比較部により、基準差分値情報及び対応差分値情報を互いに比較し、その比
較結果情報を算出するステップをさらに含む、
ことを特徴とする情報処理方法。
［項目８］
項目７に記載の情報処理方法であって、
前記比較結果情報は、基準差分値情報が示す値と対応差分値情報が示す値との差分をさ
らに算出することで取得された両者のずれ量情報である、。さらに、例えばユーザにより
設定されたずれ量の許容範囲情報に基づき、許容範囲内外を示すフラグを設定してもよい
。、
ことを特徴とする情報処理方法。
［項目９］
項目８に記載の情報処理方法であって、
前記差分値情報比較部により、ユーザにより設定されたずれ量の許容範囲情報と前記ず
れ量情報を比較し、許容範囲内外に応じて異なる色で対応三次元モデルデータの少なくと
も一部を表示するステップをさらに含む、
ことを特徴とする情報処理方法。
［項目１０］
情報処理システムであって、
基準対象物及び測定対象物からセンサにより基準三次元モデルデータ及び対応三次元モ
デルデータを取得する三次元モデルデータ取得部と、
前記基準三次元モデルデータから三以上の任意の数の基準点座標情報を取得する基準点
座標取得部と、
前記基準点座標情報に基づく基準探索範囲を設定する基準探索範囲設定部と、
前記対応三次元モデルデータにおいて基準探索範囲内における対応点座標情報を取得す
る対応点座標情報取得部と、
を含む、ことを特徴とする情報処理システム。
［項目１１］
情報処理方法をコンピュータに実行させるためのプログラムであって、
前記プログラムは、前記情報処理方法として、
基準対象物からセンサにより基準三次元モデルデータを取得するステップと、
基準点座標取得部により、前記基準三次元モデルデータから三以上の任意の数の基準点
座標情報を取得するステップと、
測定対象物からセンサにより対応三次元モデルデータを取得するステップと、
基準探索範囲設定部により、前記基準点座標情報に基づく基準探索範囲を設定するステ
ップと、
対応点座標情報取得部により、前記対応三次元モデルデータにおいて基準探索範囲内に
おける対応点座標情報を取得するステップと、
をコンピュータに実行させる、ことを特徴とするプログラム。
情報処理方法であって、
基準対象物からセンサにより基準三次元モデルデータを取得するステップと、
基準点座標取得部により、前記基準三次元モデルデータから三以上の任意の数の基準点
座標情報を取得するステップと、
測定対象物からセンサにより対応三次元モデルデータを取得するステップと、
基準探索範囲設定部により、前記基準点座標情報に基づく基準探索範囲を設定するステ
ップと、
対応点座標情報取得部により、前記対応三次元モデルデータにおいて基準探索範囲内に
おける対応点座標情報を取得するステップと、
を含む、ことを特徴とする情報処理方法。
［項目２］
項目１に記載の情報処理方法であって、
前記三次元モデルデータのそれぞれは、三次元点群データである、
ことを特徴とする情報処理方法。
［項目３］
項目１または２のいずれかに記載の情報処理方法であって、
前記基準点座標情報を取得するステップは、
特定形状部位検出部により、前記基準三次元モデルデータにおける特定形状の部位を検
出し、当該部位の座標情報を基準点座標情報として取得するステップと、を含む、
ことを特徴とする情報処理方法。
［項目４］
項目１ないし３のいずれかに記載の情報処理方法であって、
基準点座標平面算出部により、前記基準三次元モデルデータにおいて、前記基準点座標
を含む基準平面を算出するステップと、
基準差分値情報取得部により、前記基準平面上を所定の座標軸方向の基準値として設定
し、前記基準平面に対する前記所定の座標軸方向における前記基準三次元モデルデータと
前記基準値との基準差分値情報を取得するステップと、をさらに含む、
ことを特徴とする情報処理方法。
［項目５］
項目１ないし３のいずれかに記載の情報処理方法であって、
対応点座標平面算出部により、前記対応三次元モデルデータにおいて、前記対応点座標
を含む対応平面を算出するステップと、
対応差分値情報取得部により、前記対応平面上を所定の座標軸方向の基準値として設定
し、前記対応平面に対する前記所定の座標軸方向における前記対応三次元モデルデータと
前記基準値との対応差分値情報を取得するステップと、をさらに含む、
ことを特徴とする情報処理方法。
［項目６］
項目１ないし３のいずれかに記載の情報処理方法であって、
基準点座標平面算出部により、前記基準三次元モデルデータにおいて、前記基準点座標
を含む基準平面を算出するステップと、
基準差分値情報取得部により、前記基準平面上を所定の座標軸方向の基準値として設定
し、前記基準平面に対する前記所定の座標軸方向における前記基準三次元モデルデータと
前記基準値との基準差分値情報を取得するステップと、
対応点座標平面算出部により、前記対応三次元モデルデータにおいて、前記対応点座標
を含む対応平面を算出するステップと、
対応差分値情報取得部により、前記対応平面上を所定の座標軸方向の基準値として設定
し、前記対応平面に対する前記所定の座標軸方向における前記対応三次元モデルデータと
前記基準値との対応差分値情報を取得するステップと、をさらに含む、
ことを特徴とする情報処理方法。
［項目７］
項目６に記載の情報処理方法であって、
差分値情報比較部により、基準差分値情報及び対応差分値情報を互いに比較し、その比
較結果情報を算出するステップをさらに含む、
ことを特徴とする情報処理方法。
［項目８］
項目７に記載の情報処理方法であって、
前記比較結果情報は、基準差分値情報が示す値と対応差分値情報が示す値との差分をさ
らに算出することで取得された両者のずれ量情報である、。さらに、例えばユーザにより
設定されたずれ量の許容範囲情報に基づき、許容範囲内外を示すフラグを設定してもよい
。、
ことを特徴とする情報処理方法。
［項目９］
項目８に記載の情報処理方法であって、
前記差分値情報比較部により、ユーザにより設定されたずれ量の許容範囲情報と前記ず
れ量情報を比較し、許容範囲内外に応じて異なる色で対応三次元モデルデータの少なくと
も一部を表示するステップをさらに含む、
ことを特徴とする情報処理方法。
［項目１０］
情報処理システムであって、
基準対象物及び測定対象物からセンサにより基準三次元モデルデータ及び対応三次元モ
デルデータを取得する三次元モデルデータ取得部と、
前記基準三次元モデルデータから三以上の任意の数の基準点座標情報を取得する基準点
座標取得部と、
前記基準点座標情報に基づく基準探索範囲を設定する基準探索範囲設定部と、
前記対応三次元モデルデータにおいて基準探索範囲内における対応点座標情報を取得す
る対応点座標情報取得部と、
を含む、ことを特徴とする情報処理システム。
［項目１１］
情報処理方法をコンピュータに実行させるためのプログラムであって、
前記プログラムは、前記情報処理方法として、
基準対象物からセンサにより基準三次元モデルデータを取得するステップと、
基準点座標取得部により、前記基準三次元モデルデータから三以上の任意の数の基準点
座標情報を取得するステップと、
測定対象物からセンサにより対応三次元モデルデータを取得するステップと、
基準探索範囲設定部により、前記基準点座標情報に基づく基準探索範囲を設定するステ
ップと、
対応点座標情報取得部により、前記対応三次元モデルデータにおいて基準探索範囲内に
おける対応点座標情報を取得するステップと、
をコンピュータに実行させる、ことを特徴とするプログラム。
＜実施の形態１の詳細＞
本発明の一実施形態に係る情報処理システム１００の具体例を、以下に図面を参照しつ
つ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲に
よって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれること
が意図される。以下の説明では、添付図面において、同一または類似の要素には同一また
は類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に
関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに
矛盾しない限り他の実施形態にも適用可能である。
本発明の一実施形態に係る情報処理システム１００の具体例を、以下に図面を参照しつ
つ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲に
よって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれること
が意図される。以下の説明では、添付図面において、同一または類似の要素には同一また
は類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に
関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに
矛盾しない限り他の実施形態にも適用可能である。
図１は、本実施形態の情報処理システム１００の一例を示す図である。図１に示される
ように、本実施形態の情報処理システム１００では、端末１と、作業用ロボット２、コン
トローラ３とを有している。作業用ロボット２は、少なくともアーム２１、ツール２２、
センサ２３を有している。端末１・コントローラ３と作業用ロボット２とは、有線または
無線にて互いに通信可能に接続されている。
ように、本実施形態の情報処理システム１００では、端末１と、作業用ロボット２、コン
トローラ３とを有している。作業用ロボット２は、少なくともアーム２１、ツール２２、
センサ２３を有している。端末１・コントローラ３と作業用ロボット２とは、有線または
無線にて互いに通信可能に接続されている。
＜端末１＞
図２は、端末１のハードウェア構成を示す図である。端末１は、例えばパーソナルコン
ピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティン
グによって論理的に実現されてもよい。なお、図示された構成は一例であり、これ以外の
構成を有していてもよい。例えば、端末１のプロセッサ１０に設けられる一部の機能が外
部のサーバや別端末により実行されてもよい。
図２は、端末１のハードウェア構成を示す図である。端末１は、例えばパーソナルコン
ピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティン
グによって論理的に実現されてもよい。なお、図示された構成は一例であり、これ以外の
構成を有していてもよい。例えば、端末１のプロセッサ１０に設けられる一部の機能が外
部のサーバや別端末により実行されてもよい。
端末１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３
、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。
、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。
プロセッサ１０は、端末１全体の動作を制御し、少なくとも作業用ロボット２とのデー
タ等の送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行
う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉ
ｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕ
ｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開された本システムのための
プログラム等を実行して各情報処理を実施する。
タ等の送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行
う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉ
ｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕ
ｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開された本システムのための
プログラム等を実行して各情報処理を実施する。
メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒ
ｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ
Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ
１１は、プロセッサ１０のワークエリア等として使用され、また、端末１の起動時に実行
されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各
種設定情報等を格納する。
ｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ
Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ
１１は、プロセッサ１０のワークエリア等として使用され、また、端末１の起動時に実行
されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各
種設定情報等を格納する。
ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各
処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよ
い。
処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよ
い。
送受信部１３は、端末１を少なくとも作業用ロボット２と接続し、プロセッサの指示に
従い、データ等の送受信を行う。なお、送受信部１３は、有線または無線により構成され
おり、無線である場合には、例えば、ＷｉＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）及びＢ
ＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）の近距離通信インターフェースによ
り構成されていてもよい。
従い、データ等の送受信を行う。なお、送受信部１３は、有線または無線により構成され
おり、無線である場合には、例えば、ＷｉＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）及びＢ
ＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）の近距離通信インターフェースによ
り構成されていてもよい。
入出力部１４は、例えば端末１がパーソナルコンピュータで構成されている場合は情報
出力機器（例えばディスプレイ）と情報入力機器（例えばキーボードやマウス）により構
成され、スマートフォンまたはタブレット端末で構成されている場合はタッチパネル等の
情報入出力機器により構成されている。
出力機器（例えばディスプレイ）と情報入力機器（例えばキーボードやマウス）により構
成され、スマートフォンまたはタブレット端末で構成されている場合はタッチパネル等の
情報入出力機器により構成されている。
バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各
種制御信号を伝達する。
種制御信号を伝達する。
＜作業用ロボット２＞
図１に戻り、本実施形態に係る作業用ロボット２について説明する。
図１に戻り、本実施形態に係る作業用ロボット２について説明する。
上述のとおり、作業用ロボット２は、アーム２１と、ツール２２と、センサ２３とを有
する。なお、図示された構成は一例であり、この構成に限定されない。
する。なお、図示された構成は一例であり、この構成に限定されない。
アーム２１は、三次元のロボット座標系に基づき、端末１にその動作を制御される。ま
た、アーム２１は、有線または無線で作業用ロボット２と接続されたコントローラ３をさ
らに備え、これによりその動作を制御されてもよい。
た、アーム２１は、有線または無線で作業用ロボット２と接続されたコントローラ３をさ
らに備え、これによりその動作を制御されてもよい。
ツール２２は、三次元のツール座標系に基づき、端末１にその動作を制御される。また
、ツール２２の構成は、用途に合わせて何れのツールを備えていてもよく、例えば、溶接
用トーチや塗装用塗料噴射装置、把持装置、掘削装置、研磨装置などであってもよい。
、ツール２２の構成は、用途に合わせて何れのツールを備えていてもよく、例えば、溶接
用トーチや塗装用塗料噴射装置、把持装置、掘削装置、研磨装置などであってもよい。
センサ２３は、三次元のセンサ座標系に基づき、対象物のセンシングを行う。センサ２
３は、例えば三次元スキャナとして動作するレーザセンサであり、センシングにより対象
物の三次元モデルデータ４０を取得する。三次元モデルデータ４０は、例えば、図４及び
図５に示されるような三次元点群データであり、それぞれの点データがセンサ座標系の座
標情報を有し、点群により対象物の形状を把握することが可能となる。なお、センサ２３
は、レーザセンサに限らず、例えばステレオ方式などを用いた画像センサなどであっても
よいし、作業用ロボットとは独立したセンサであってもよく、三次元のセンサ座標系にお
ける座標情報が取得できるものであればよい。また、説明を具体化するために、以下では
三次元モデルデータ４０として、三次元点群データを用いた構成を一例として説明する。
３は、例えば三次元スキャナとして動作するレーザセンサであり、センシングにより対象
物の三次元モデルデータ４０を取得する。三次元モデルデータ４０は、例えば、図４及び
図５に示されるような三次元点群データであり、それぞれの点データがセンサ座標系の座
標情報を有し、点群により対象物の形状を把握することが可能となる。なお、センサ２３
は、レーザセンサに限らず、例えばステレオ方式などを用いた画像センサなどであっても
よいし、作業用ロボットとは独立したセンサであってもよく、三次元のセンサ座標系にお
ける座標情報が取得できるものであればよい。また、説明を具体化するために、以下では
三次元モデルデータ４０として、三次元点群データを用いた構成を一例として説明する。
なお、作業前に所定のキャリブレーションを行い、ロボット座標系及びツール座標系、
センサ座標系を互いに関連付け、例えばセンサ座標系を基にユーザが位置（座標）を指定
することにより、アーム２１やツール２２が対応した位置を基に動作制御されるように構
成をなしてもよい。
センサ座標系を互いに関連付け、例えばセンサ座標系を基にユーザが位置（座標）を指定
することにより、アーム２１やツール２２が対応した位置を基に動作制御されるように構
成をなしてもよい。
＜端末１の機能＞
図３は、端末１に実装される機能を例示したブロック図である。本実施の形態において
は、端末１のプロセッサ１０は、三次元モデルデータ取得部（三次元点群データ取得部）
１０１、三次元モデルデータ表示部（三次元点群データ表示部）１０２、基準点座標取得
部１０３、特定形状部位検出部１０４、基準探索範囲設定部１０５、対応点座標情報取得
部１０６を有している。また、端末１のストレージ１２は、三次元モデルデータ記憶部（
三次元点群データ記憶部）１２１、基準点座標情報記憶部１２２、対応点座標情報記憶部
１２３を有している。
図３は、端末１に実装される機能を例示したブロック図である。本実施の形態において
は、端末１のプロセッサ１０は、三次元モデルデータ取得部（三次元点群データ取得部）
１０１、三次元モデルデータ表示部（三次元点群データ表示部）１０２、基準点座標取得
部１０３、特定形状部位検出部１０４、基準探索範囲設定部１０５、対応点座標情報取得
部１０６を有している。また、端末１のストレージ１２は、三次元モデルデータ記憶部（
三次元点群データ記憶部）１２１、基準点座標情報記憶部１２２、対応点座標情報記憶部
１２３を有している。
三次元点群データ取得部１０１は、端末１の入出力部１４からの指示により、例えば作
業用ロボット２を制御し、センサ２３により対象物の三次元点群データを取得する。取得
した三次元点群データは、例えばセンサ座標系に基づく三次元座標情報データであり、三
次元点群データ記憶部１２１に記憶される。
業用ロボット２を制御し、センサ２３により対象物の三次元点群データを取得する。取得
した三次元点群データは、例えばセンサ座標系に基づく三次元座標情報データであり、三
次元点群データ記憶部１２１に記憶される。
三次元点群データ表示部１０２は、三次元点群データ取得部１０１により取得された三
次元点群データを、例えば図４に例示されるように端末１の入出力部１４に表示する。ユ
ーザは、表示された三次元点群データを任意の方向から視認可能である。この場合、入出
力部１４は、前述のとおり、例えば端末１がパーソナルコンピュータで構成されている場
合は情報出力機器（例えばディスプレイ）と情報入力機器（例えばキーボードやマウス）
により構成され、スマートフォンまたはタブレット端末で構成されている場合はタッチパ
ネル等の情報入出力機器により構成されており、入出力部１４により、上記任意の方向を
指定可能である。
次元点群データを、例えば図４に例示されるように端末１の入出力部１４に表示する。ユ
ーザは、表示された三次元点群データを任意の方向から視認可能である。この場合、入出
力部１４は、前述のとおり、例えば端末１がパーソナルコンピュータで構成されている場
合は情報出力機器（例えばディスプレイ）と情報入力機器（例えばキーボードやマウス）
により構成され、スマートフォンまたはタブレット端末で構成されている場合はタッチパ
ネル等の情報入出力機器により構成されており、入出力部１４により、上記任意の方向を
指定可能である。
基準点座標取得部１０３は、図７等に例示されるような基準三次元モデルデータ４１（
例えば基準三次元点群データ）を基に、例えばユーザの所定操作に応じて任意の数の基準
点座標情報を取得する。具体例としては、例えば原点とする基準原点座標情報、当該原点
からＸ方向の基点とするＸ基準点座標情報、当該原点からＹ方向の基点とするＹ基準点座
標情報の３点を取得するようにしてもよい。各基準座標情報の取得方法は、例えばユーザ
が端末１の入出力部１４にて三次元点群データ表示部１０２により表示された基準三次元
点群データ４１から所定の点を直接選択するようにしてもよいし、基準対象物上の特定形
状の部位における所定の点を所定の演算により決定可能としてもよい。当該特定形状の部
位とは、例えばホール（穴部）であったり、円錐状や円柱状などの突起であったりしても
よく、所定の演算方法については、例えば後述する方法によりホール（穴部）を検出し、
当該ホールの中心座標情報を基準座標情報としてもよいし、既知の方法により突起の先端
部座標情報を基準座標情報としてもよいが、これらに限らず、特に演算により一意に定ま
る形状であればどのような形状であっても、特定形状の部位といえる。なお、取得した基
準点座標情報は、基準点座標情報記憶部１２２に記憶される。
例えば基準三次元点群データ）を基に、例えばユーザの所定操作に応じて任意の数の基準
点座標情報を取得する。具体例としては、例えば原点とする基準原点座標情報、当該原点
からＸ方向の基点とするＸ基準点座標情報、当該原点からＹ方向の基点とするＹ基準点座
標情報の３点を取得するようにしてもよい。各基準座標情報の取得方法は、例えばユーザ
が端末１の入出力部１４にて三次元点群データ表示部１０２により表示された基準三次元
点群データ４１から所定の点を直接選択するようにしてもよいし、基準対象物上の特定形
状の部位における所定の点を所定の演算により決定可能としてもよい。当該特定形状の部
位とは、例えばホール（穴部）であったり、円錐状や円柱状などの突起であったりしても
よく、所定の演算方法については、例えば後述する方法によりホール（穴部）を検出し、
当該ホールの中心座標情報を基準座標情報としてもよいし、既知の方法により突起の先端
部座標情報を基準座標情報としてもよいが、これらに限らず、特に演算により一意に定ま
る形状であればどのような形状であっても、特定形状の部位といえる。なお、取得した基
準点座標情報は、基準点座標情報記憶部１２２に記憶される。
特定形状部位検出部１０４は、例えばユーザの所定操作に応じて基準三次元点群データ
４１内の特定形状の部位を検出し、当該部位から基準座標情報を取得する。具体例として
は、例えば、図５に例示されるように、端末１において、三次元点群データ４０（基準三
次元点群データ４１）における対象物の所定の平面上に設けられたホール周辺の任意の３
点の座標情報Ｐ１－Ｐ３をそれぞれ取得し、各３点の座標情報からホール中心座標情報Ｐ
１１を算出する。より具体的な例としては、特徴的形状部位検出部１０４は、例えば、ホ
ール周辺の各３点の座標情報Ｐ１－Ｐ３から垂直二等分線を用いるなどして仮円中心座標
情報を算出し、３点を通る円と仮円中心座標情報から所定高さの円柱状の探索範囲を設定
し、当該探索範囲内の三次元点群データに対して既知のエッジ検出方法を用いることでホ
ールの輪郭座標情報を導出する。そして、当該輪郭座標情報を基に、既知の演算（例えば
、円の最小二乗法など）により、ホール中心座標情報Ｐ１１を算出する。
４１内の特定形状の部位を検出し、当該部位から基準座標情報を取得する。具体例として
は、例えば、図５に例示されるように、端末１において、三次元点群データ４０（基準三
次元点群データ４１）における対象物の所定の平面上に設けられたホール周辺の任意の３
点の座標情報Ｐ１－Ｐ３をそれぞれ取得し、各３点の座標情報からホール中心座標情報Ｐ
１１を算出する。より具体的な例としては、特徴的形状部位検出部１０４は、例えば、ホ
ール周辺の各３点の座標情報Ｐ１－Ｐ３から垂直二等分線を用いるなどして仮円中心座標
情報を算出し、３点を通る円と仮円中心座標情報から所定高さの円柱状の探索範囲を設定
し、当該探索範囲内の三次元点群データに対して既知のエッジ検出方法を用いることでホ
ールの輪郭座標情報を導出する。そして、当該輪郭座標情報を基に、既知の演算（例えば
、円の最小二乗法など）により、ホール中心座標情報Ｐ１１を算出する。
基準探索範囲設定部１０５は、基準点座標情報に基づき、他の測定対象物モデルデータ
５１（例えば、他の三次元点群データ）における基準点座標情報に対応する対応点座標情
報を取得するための基準探索範囲を設定する。例えば、特定形状部位検出部１０４におい
て、すでに円柱状の探索範囲が生成されている場合にはこれを基準探索範囲として設定し
てもよいし、基準点座標情報を中心とした球、立方体、直方体、角柱、円柱、楕円体など
の任意の三次元形状（立体形状）の基準探索範囲を設定してよい。
５１（例えば、他の三次元点群データ）における基準点座標情報に対応する対応点座標情
報を取得するための基準探索範囲を設定する。例えば、特定形状部位検出部１０４におい
て、すでに円柱状の探索範囲が生成されている場合にはこれを基準探索範囲として設定し
てもよいし、基準点座標情報を中心とした球、立方体、直方体、角柱、円柱、楕円体など
の任意の三次元形状（立体形状）の基準探索範囲を設定してよい。
対応点座標情報取得部１０６は、他の測定対象物モデルデータ５１（例えば、他の三次
元点群データ）に対して設定された基準探索範囲に基づき、測定対象物モデルデータ５１
における対応点座標情報を取得する。なお、取得した対応点座標情報は、対応点座標情報
記憶部１２３に記憶される。
元点群データ）に対して設定された基準探索範囲に基づき、測定対象物モデルデータ５１
における対応点座標情報を取得する。なお、取得した対応点座標情報は、対応点座標情報
記憶部１２３に記憶される。
＜情報処理方法のフローチャート＞
図６は、本実施の形態１の情報処理システム１００における情報処理方法のフローチャ
ートの一例である。
図６は、本実施の形態１の情報処理システム１００における情報処理方法のフローチャ
ートの一例である。
まず、ユーザは、端末１の三次元点群データ取得部１０１による制御に基づき、センサ
２３により、例えば作業台上に位置する基準対象物の基準三次元点群データ４１を取得す
る（ＳＱ１０１）。
２３により、例えば作業台上に位置する基準対象物の基準三次元点群データ４１を取得す
る（ＳＱ１０１）。
次に、図７に示されるように、三次元点群データ表示部１０２により取得した基準三次
元点群データ４１を端末１上で表示する（ＳＱ１０２）。
元点群データ４１を端末１上で表示する（ＳＱ１０２）。
次に、基準点座標取得部１０３により基準三次元点群データ４１を基に、例えばユーザ
の所定操作に応じて任意の数の基準点座標情報を取得する（ＳＱ１０３）。この時、図８
に示されるように、特定形状部位検出部１０４により、例えばユーザの所定操作に応じて
基準三次元点群データ４１内の特定形状の部位（ホール）を検出し、当該部位から基準座
標情報であるホールＡ－Ｃの各中心座標を取得してもよい。
の所定操作に応じて任意の数の基準点座標情報を取得する（ＳＱ１０３）。この時、図８
に示されるように、特定形状部位検出部１０４により、例えばユーザの所定操作に応じて
基準三次元点群データ４１内の特定形状の部位（ホール）を検出し、当該部位から基準座
標情報であるホールＡ－Ｃの各中心座標を取得してもよい。
ここで、次に、ユーザは、端末１の三次元点群データ取得部１０１による制御に基づき
、センサ２３により、例えば作業台上に位置する他の測定対象物（ただし、上記基準対象
物と形状が同一または略同一、近似、類似、同種類、同型番等の対象物）の三次元点群デ
ータ５１を取得する（ＳＱ１０４）。
、センサ２３により、例えば作業台上に位置する他の測定対象物（ただし、上記基準対象
物と形状が同一または略同一、近似、類似、同種類、同型番等の対象物）の三次元点群デ
ータ５１を取得する（ＳＱ１０４）。
次に、基準探索範囲設定部１０５により、基準点座標情報に基づき、他の測定対象物モ
デルデータ５１（例えば、他の三次元点群データ）における基準点座標情報に対応する対
応点座標情報を取得するための基準探索範囲を設定する（ＳＱ１０５）。この時、例えば
、特定形状部位検出部１０４において生成された円柱状の探索範囲を基準探索範囲として
設定する。
デルデータ５１（例えば、他の三次元点群データ）における基準点座標情報に対応する対
応点座標情報を取得するための基準探索範囲を設定する（ＳＱ１０５）。この時、例えば
、特定形状部位検出部１０４において生成された円柱状の探索範囲を基準探索範囲として
設定する。
次に、図９に示されるように、対応点座標情報取得部１０６により、他の三次元点群デ
ータに対して設定された基準探索範囲に基づき、他の三次元点群データにおける対応点座
標情報であるホールＡ’－Ｃ’の各中心座標を取得する（ＳＱ１０６）。
ータに対して設定された基準探索範囲に基づき、他の三次元点群データにおける対応点座
標情報であるホールＡ’－Ｃ’の各中心座標を取得する（ＳＱ１０６）。
これにより、基準三次元点群データ及び他の三次元点群データにおいて、同様の特定形
状部位に基づく基準点座標情報及び対応点座標情報が３点取得された状態となる。上述の
通り、これら各３点の座標情報は、例えば原点とする基準原点座標情報、当該原点からＸ
方向の基点とするＸ基準点座標情報、当該原点からＹ方向の基点とするＹ基準点座標情報
となり得るので、これらを用いて各対象物に対して同一の位置を原点とするセンサ座標系
（ＸＹＺ座標系）が設定可能となる。
状部位に基づく基準点座標情報及び対応点座標情報が３点取得された状態となる。上述の
通り、これら各３点の座標情報は、例えば原点とする基準原点座標情報、当該原点からＸ
方向の基点とするＸ基準点座標情報、当該原点からＹ方向の基点とするＹ基準点座標情報
となり得るので、これらを用いて各対象物に対して同一の位置を原点とするセンサ座標系
（ＸＹＺ座標系）が設定可能となる。
したがって、本実施の形態１の情報処理システム１００は、従来の三次元モデルデータ
同士の対応付けによるフィッティングに代えて、基準三次元モデルデータ（特に基準三次
元点群データ）におけるセンサ座標系（ＸＹＺ座標系）を設定するための基準点座標情報
に基づく基準探索範囲を他の三次元モデルデータに適用することで、同一の規則により対
応点座標情報が導き出される。その結果、図１０に示されるように、両者が対象物に対し
て同一位置を原点とするセンサ座標系が設定されることで、実質的に両者がフィッティン
グされたこととなる。
同士の対応付けによるフィッティングに代えて、基準三次元モデルデータ（特に基準三次
元点群データ）におけるセンサ座標系（ＸＹＺ座標系）を設定するための基準点座標情報
に基づく基準探索範囲を他の三次元モデルデータに適用することで、同一の規則により対
応点座標情報が導き出される。その結果、図１０に示されるように、両者が対象物に対し
て同一位置を原点とするセンサ座標系が設定されることで、実質的に両者がフィッティン
グされたこととなる。
＜実施の形態２の詳細＞
上述の実施の形態１にて説明したシステム構成及びフィッティング方法については同様
であるので説明を省略する。本実施の形態２においては、フィッティング後に基準対象物
の三次元モデルデータ（基準三次元点群データ）と他の測定対象物の三次元モデルデータ
（他の三次元点群データ）とを互いに形状比較する際の構成の一例について説明する。
上述の実施の形態１にて説明したシステム構成及びフィッティング方法については同様
であるので説明を省略する。本実施の形態２においては、フィッティング後に基準対象物
の三次元モデルデータ（基準三次元点群データ）と他の測定対象物の三次元モデルデータ
（他の三次元点群データ）とを互いに形状比較する際の構成の一例について説明する。
図１１は、端末１に実装される機能を例示したブロック図であり、図３に示される機能
を省略した本実施の形態２に関わる機能を例示したブロック図である。本実施の形態２に
おいては、端末１のプロセッサ１０は、さらに、基準点座標平面算出部２０１、基準平面
差分値情報取得部２０２、対応点座標平面算出部２０３、対応平面差分値情報取得部２０
４、差分値情報表示部２０５、差分値情報比較部２０６を有している。また、端末１のス
トレージ１２は、基準差分値情報記憶部２２１、対応差分値情報記憶部２２２、比較結果
情報記憶部２２３を有している。
を省略した本実施の形態２に関わる機能を例示したブロック図である。本実施の形態２に
おいては、端末１のプロセッサ１０は、さらに、基準点座標平面算出部２０１、基準平面
差分値情報取得部２０２、対応点座標平面算出部２０３、対応平面差分値情報取得部２０
４、差分値情報表示部２０５、差分値情報比較部２０６を有している。また、端末１のス
トレージ１２は、基準差分値情報記憶部２２１、対応差分値情報記憶部２２２、比較結果
情報記憶部２２３を有している。
基準点座標平面算出部２０１は、取得済みの基準点座標情報に基づき、既知の算出方法
により、当該基準点座標情報を含む基準平面（ＸＹ平面）を算出する。例えば、三次元座
標系においては、少なくとも３点の基準点座標情報があればＸＹＺ座標系におけるＸＹ平
面が定まる。当該基準平面の範囲は、例えば、無限遠の平面範囲であったり、三次元点群
データに基づき対象物が全て含まれる平面範囲が設定されてもよいし、対象物の一部を含
む範囲をセンサ座標系の座標情報によりユーザが設定してもよい。
により、当該基準点座標情報を含む基準平面（ＸＹ平面）を算出する。例えば、三次元座
標系においては、少なくとも３点の基準点座標情報があればＸＹＺ座標系におけるＸＹ平
面が定まる。当該基準平面の範囲は、例えば、無限遠の平面範囲であったり、三次元点群
データに基づき対象物が全て含まれる平面範囲が設定されてもよいし、対象物の一部を含
む範囲をセンサ座標系の座標情報によりユーザが設定してもよい。
基準平面差分値情報取得部２０２により、当該基準平面上を所定の座標軸方向（Ｚ軸方
向）の基準値（例えば０）として設定し、基準平面に対する所定の座標軸方向における基
準対象物モデルデータと基準値の基準差分値情報を取得する。当該基準差分値情報は、例
えば基準平面がＸＹ平面で、基準値がＺ軸方向の０である場合には、各点データのＺ座標
情報が基準差分値情報となる。なお、取得した基準差分値情報は、基準差分値情報記憶部
２２１に記憶される。
向）の基準値（例えば０）として設定し、基準平面に対する所定の座標軸方向における基
準対象物モデルデータと基準値の基準差分値情報を取得する。当該基準差分値情報は、例
えば基準平面がＸＹ平面で、基準値がＺ軸方向の０である場合には、各点データのＺ座標
情報が基準差分値情報となる。なお、取得した基準差分値情報は、基準差分値情報記憶部
２２１に記憶される。
対応点座標平面算出部２０３は、取得済みの対応点座標情報に基づき、既知の算出方法
により、当該対応点座標情報を含む対応平面（ＸＹ平面）を算出する。例えば、三次元座
標系においては、少なくとも３点の対応点座標情報があればＸＹＺ座標系におけるＸＹ平
面が定まる。当該対応平面の範囲は、基準平面同様に設定可能であり、基準平面と同一の
範囲であることが望ましいが、この限りではない
により、当該対応点座標情報を含む対応平面（ＸＹ平面）を算出する。例えば、三次元座
標系においては、少なくとも３点の対応点座標情報があればＸＹＺ座標系におけるＸＹ平
面が定まる。当該対応平面の範囲は、基準平面同様に設定可能であり、基準平面と同一の
範囲であることが望ましいが、この限りではない
対応平面差分値情報取得部２０４により、当該対応平面上を所定の座標軸方向（Ｚ軸方
向）の基準値（例えば０）として設定し、対応平面に対する所定の座標軸方向における測
定対象物モデルデータと基準値との対応差分値情報を取得する。当該対応差分値情報は、
例えば対応平面がＸＹ平面で、基準値がＺ軸方向の０である場合には、各点データのＺ座
標情報が対応差分値情報となる。なお、取得した対応差分値情報は、対応差分値情報記憶
部２２２に記憶される。
向）の基準値（例えば０）として設定し、対応平面に対する所定の座標軸方向における測
定対象物モデルデータと基準値との対応差分値情報を取得する。当該対応差分値情報は、
例えば対応平面がＸＹ平面で、基準値がＺ軸方向の０である場合には、各点データのＺ座
標情報が対応差分値情報となる。なお、取得した対応差分値情報は、対応差分値情報記憶
部２２２に記憶される。
差分値情報表示部２０５は、基準平面または対応平面に対する各差分値情報を、例えば
図１４に例示されるように端末１の入出力部１４に表示する。表示例としては、例えば、
図１４に示されるように、基準平面または対応平面を仮想的に形成して表示し、基準値よ
りもプラスまたはマイナスの少なくとも何れかの差分値情報を有する点データを表示する
ようにしてもよい。また、表示の際には、例えば差分値情報を所定の数値範囲ごとに区切
り、数値範囲ごとに色を設定して表示する（いわゆる、ヒートマップ）ようにしてもよい
。
図１４に例示されるように端末１の入出力部１４に表示する。表示例としては、例えば、
図１４に示されるように、基準平面または対応平面を仮想的に形成して表示し、基準値よ
りもプラスまたはマイナスの少なくとも何れかの差分値情報を有する点データを表示する
ようにしてもよい。また、表示の際には、例えば差分値情報を所定の数値範囲ごとに区切
り、数値範囲ごとに色を設定して表示する（いわゆる、ヒートマップ）ようにしてもよい
。
差分値情報比較部２０６は、基準差分値情報及び対応差分値情報を互いに比較し、その
比較結果情報を算出する。比較結果情報は、例えば各点データにおける基準差分値情報が
示す値と対応差分値情報が示す値との差分をさらに算出し、両者のずれ量情報を取得して
もよい。さらに、例えばユーザにより設定されたずれ量の許容範囲情報に基づき、許容範
囲内外を示すフラグを設定してもよい。そして、当該フラグに対して色を設定し（例えば
図１５に示されるように、許容範囲内でＯＫなら緑色、許容範囲外でＮＧなら赤色、さら
に許容範囲外においてもプラス側なら赤色、マイナス側なら青色など）、図１３に例示さ
れる表示または図１４に例示される表示において、当該色を反映させて表示してもよい。
なお、算出した比較結果情報は、比較結果情報記憶部２２３に記憶される。
比較結果情報を算出する。比較結果情報は、例えば各点データにおける基準差分値情報が
示す値と対応差分値情報が示す値との差分をさらに算出し、両者のずれ量情報を取得して
もよい。さらに、例えばユーザにより設定されたずれ量の許容範囲情報に基づき、許容範
囲内外を示すフラグを設定してもよい。そして、当該フラグに対して色を設定し（例えば
図１５に示されるように、許容範囲内でＯＫなら緑色、許容範囲外でＮＧなら赤色、さら
に許容範囲外においてもプラス側なら赤色、マイナス側なら青色など）、図１３に例示さ
れる表示または図１４に例示される表示において、当該色を反映させて表示してもよい。
なお、算出した比較結果情報は、比較結果情報記憶部２２３に記憶される。
＜情報処理方法のフローチャート＞
図１２は、本実施の形態２の情報処理システム１００における情報処理方法のフローチ
ャートの一例である。
図１２は、本実施の形態２の情報処理システム１００における情報処理方法のフローチ
ャートの一例である。
まず、基準点座標平面算出部２０１により、取得済みの基準点座標情報に基づき、当該
基準点座標情報を含む基準平面（ＸＹ平面）を算出する（ＳＱ２０１）。例えば、図１３
に示されるように、対象物が全て含まれる平面範囲を設定する。
基準点座標情報を含む基準平面（ＸＹ平面）を算出する（ＳＱ２０１）。例えば、図１３
に示されるように、対象物が全て含まれる平面範囲を設定する。
つぎに、基準平面差分値情報取得部２０２により、当該基準平面上を所定の座標軸方向
（Ｚ軸方向）の基準値（例えば０）として設定し、基準平面に対する所定の座標軸方向に
おける基準対象物モデルデータと基準値の基準差分値（例えば各点データのＺ座標情報）
を取得する（ＳＱ２０２）。この時、差分値情報表示部２０５により、基準平面に対する
基準差分値情報を、例えば図１４に例示されるように端末１の入出力部１４に表示しても
よい。
（Ｚ軸方向）の基準値（例えば０）として設定し、基準平面に対する所定の座標軸方向に
おける基準対象物モデルデータと基準値の基準差分値（例えば各点データのＺ座標情報）
を取得する（ＳＱ２０２）。この時、差分値情報表示部２０５により、基準平面に対する
基準差分値情報を、例えば図１４に例示されるように端末１の入出力部１４に表示しても
よい。
つぎに、対応点座標平面算出部２０３により、取得済みの対応点座標情報に基づき、当
該対応点座標情報を含む対応平面（ＸＹ平面）を算出する（ＳＱ２０３）。例えば、図１
３に示されるような、基準平面と同一範囲として設定する。
該対応点座標情報を含む対応平面（ＸＹ平面）を算出する（ＳＱ２０３）。例えば、図１
３に示されるような、基準平面と同一範囲として設定する。
つぎに、対応平面差分値情報取得部２０４により、当該対応平面上を所定の座標軸方向
（Ｚ軸方向）の基準値（例えば０）として設定し、対応平面に対する所定の座標軸方向に
おける測定対象物モデルデータと基準値の対応差分値（例えば各点データのＺ座標情報）
を取得する（ＳＱ２０４）。この時、差分値情報表示部２０５により、対応平面に対する
対応差分値情報を、例えば図１４に例示されるように端末１の入出力部１４に表示しても
よい。
（Ｚ軸方向）の基準値（例えば０）として設定し、対応平面に対する所定の座標軸方向に
おける測定対象物モデルデータと基準値の対応差分値（例えば各点データのＺ座標情報）
を取得する（ＳＱ２０４）。この時、差分値情報表示部２０５により、対応平面に対する
対応差分値情報を、例えば図１４に例示されるように端末１の入出力部１４に表示しても
よい。
つぎに、差分値情報比較部２０６により、基準差分値情報及び対応差分値情報を互いに
比較し、その比較結果情報を算出する（ＳＱ２０５）。さらに、差分値情報比較部２０６
により、例えば、両者のずれ量情報を取得し、図１５に示されるように、当該ずれ量情報
を許容範囲情報と比較し、許容範囲内外で色分け表示を行ってもよい（ＳＱ２０５）。
比較し、その比較結果情報を算出する（ＳＱ２０５）。さらに、差分値情報比較部２０６
により、例えば、両者のずれ量情報を取得し、図１５に示されるように、当該ずれ量情報
を許容範囲情報と比較し、許容範囲内外で色分け表示を行ってもよい（ＳＱ２０５）。
したがって、本実施の形態２の情報処理システム１００は、実施の形態１の構成により
各対象物に対して同一位置を原点とするセンサ座標系が設定されているので、例えば同一
平面を基準位置として差分を確認することが可能である。そして、さらには両者のずれ量
を容易に算出することも可能であるので、測定対象物の形状を基準対象物の形状と容易に
比較可能となる。
各対象物に対して同一位置を原点とするセンサ座標系が設定されているので、例えば同一
平面を基準位置として差分を確認することが可能である。そして、さらには両者のずれ量
を容易に算出することも可能であるので、測定対象物の形状を基準対象物の形状と容易に
比較可能となる。
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするため
のものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸
脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
のものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸
脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
１ 端末
２ 作業用ロボット
２１ アーム
２２ ツール
２３ センサ
３ コントローラ
２ 作業用ロボット
２１ アーム
２２ ツール
２３ センサ
３ コントローラ
Claims (11)
- 情報処理方法であって、
基準対象物からセンサにより基準三次元モデルデータを取得するステップと、
基準点座標取得部により、前記基準三次元モデルデータから三以上の任意の数の基準点
座標情報を取得するステップと、
測定対象物からセンサにより対応三次元モデルデータを取得するステップと、
基準探索範囲設定部により、前記基準点座標情報に基づく基準探索範囲を設定するステ
ップと、
対応点座標情報取得部により、前記対応三次元モデルデータにおいて基準探索範囲内に
おける対応点座標情報を取得するステップと、
を含む、ことを特徴とする情報処理方法。 - 請求項１に記載の情報処理方法であって、
前記三次元モデルデータのそれぞれは、三次元点群データである、
ことを特徴とする情報処理方法。 - 請求項１または２のいずれかに記載の情報処理方法であって、
前記基準点座標情報を取得するステップは、
特定形状部位検出部により、前記基準三次元モデルデータにおける特定形状の部位を検
出し、当該部位の座標情報を基準点座標情報として取得するステップと、を含む、
ことを特徴とする情報処理方法。 - 請求項１ないし３のいずれかに記載の情報処理方法であって、
基準点座標平面算出部により、前記基準三次元モデルデータにおいて、前記基準点座標
を含む基準平面を算出するステップと、
基準差分値情報取得部により、前記基準平面上を所定の座標軸方向の基準値として設定
し、前記基準平面に対する前記所定の座標軸方向における前記基準三次元モデルデータと
前記基準値との基準差分値情報を取得するステップと、をさらに含む、
ことを特徴とする情報処理方法。 - 請求項１ないし３のいずれかに記載の情報処理方法であって、
対応点座標平面算出部により、前記対応三次元モデルデータにおいて、前記対応点座標
を含む対応平面を算出するステップと、
対応差分値情報取得部により、前記対応平面上を所定の座標軸方向の基準値として設定
し、前記対応平面に対する前記所定の座標軸方向における前記対応三次元モデルデータと
前記基準値との対応差分値情報を取得するステップと、をさらに含む、
ことを特徴とする情報処理方法。 - 請求項１ないし３のいずれかに記載の情報処理方法であって、
基準点座標平面算出部により、前記基準三次元モデルデータにおいて、前記基準点座標
を含む基準平面を算出するステップと、
基準差分値情報取得部により、前記基準平面上を所定の座標軸方向の基準値として設定
し、前記基準平面に対する前記所定の座標軸方向における前記基準三次元モデルデータと
前記基準値との基準差分値情報を取得するステップと、
対応点座標平面算出部により、前記対応三次元モデルデータにおいて、前記対応点座標
を含む対応平面を算出するステップと、
対応差分値情報取得部により、前記対応平面上を所定の座標軸方向の基準値として設定
し、前記対応平面に対する前記所定の座標軸方向における前記対応三次元モデルデータと
前記基準値との対応差分値情報を取得するステップと、をさらに含む、
ことを特徴とする情報処理方法。 - 請求項６に記載の情報処理方法であって、
差分値情報比較部により、基準差分値情報及び対応差分値情報を互いに比較し、その比
較結果情報を算出するステップをさらに含む、
ことを特徴とする情報処理方法。 - 請求項７に記載の情報処理方法であって、
前記比較結果情報は、基準差分値情報が示す値と対応差分値情報が示す値との差分をさ
らに算出することで取得された両者のずれ量情報である、。さらに、例えばユーザにより
設定されたずれ量の許容範囲情報に基づき、許容範囲内外を示すフラグを設定してもよい
。、
ことを特徴とする情報処理方法。 - 請求項８に記載の情報処理方法であって、
前記差分値情報比較部により、ユーザにより設定されたずれ量の許容範囲情報と前記ず
れ量情報を比較し、許容範囲内外に応じて異なる色で対応三次元モデルデータの少なくと
も一部を表示するステップをさらに含む、
ことを特徴とする情報処理方法。 - 情報処理システムであって、
基準対象物及び測定対象物からセンサにより基準三次元モデルデータ及び対応三次元モ
デルデータを取得する三次元モデルデータ取得部と、
前記基準三次元モデルデータから三以上の任意の数の基準点座標情報を取得する基準点
座標取得部と、
前記基準点座標情報に基づく基準探索範囲を設定する基準探索範囲設定部と、
前記対応三次元モデルデータにおいて基準探索範囲内における対応点座標情報を取得す
る対応点座標情報取得部と、
を含む、ことを特徴とする情報処理システム。 - 情報処理方法をコンピュータに実行させるためのプログラムであって、
前記プログラムは、前記情報処理方法として、
基準対象物からセンサにより基準三次元モデルデータを取得するステップと、
基準点座標取得部により、前記基準三次元モデルデータから三以上の任意の数の基準点
座標情報を取得するステップと、
測定対象物からセンサにより対応三次元モデルデータを取得するステップと、
基準探索範囲設定部により、前記基準点座標情報に基づく基準探索範囲を設定するステ
ップと、
対応点座標情報取得部により、前記対応三次元モデルデータにおいて基準探索範囲内に
おける対応点座標情報を取得するステップと、
をコンピュータに実行させる、ことを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021114956A JP2022103025A (ja) | 2020-12-25 | 2021-07-12 | 情報処理方法、情報処理システム、プログラム |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020217246A JP6917096B1 (ja) | 2020-12-25 | 2020-12-25 | 情報処理方法、情報処理システム、プログラム |
| JP2021114956A JP2022103025A (ja) | 2020-12-25 | 2021-07-12 | 情報処理方法、情報処理システム、プログラム |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020217246A Division JP6917096B1 (ja) | 2020-12-25 | 2020-12-25 | 情報処理方法、情報処理システム、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022103025A true JP2022103025A (ja) | 2022-07-07 |
| JP2022103025A5 JP2022103025A5 (ja) | 2023-12-28 |
Family
ID=77172675
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020217246A Active JP6917096B1 (ja) | 2020-12-25 | 2020-12-25 | 情報処理方法、情報処理システム、プログラム |
| JP2021114956A Pending JP2022103025A (ja) | 2020-12-25 | 2021-07-12 | 情報処理方法、情報処理システム、プログラム |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020217246A Active JP6917096B1 (ja) | 2020-12-25 | 2020-12-25 | 情報処理方法、情報処理システム、プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11481971B2 (ja) |
| JP (2) | JP6917096B1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114353711A (zh) * | 2022-01-07 | 2022-04-15 | 四川莱斯特真空科技有限公司 | 罗茨转子三坐标检测建立基准的方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2552884B2 (ja) * | 1987-10-16 | 1996-11-13 | 日産自動車株式会社 | ティーチングプレイバック方式の三次元計測ロボットの自動計測に於ける穴探しの方法 |
| JP2000207557A (ja) | 1999-01-11 | 2000-07-28 | Matsushita Electric Ind Co Ltd | 位置ずれ量計測方法 |
| GB0205332D0 (en) * | 2002-03-06 | 2002-04-17 | Renishaw Plc | Dynamic artefact comparison |
| KR100590543B1 (ko) * | 2004-02-26 | 2006-06-19 | 삼성전자주식회사 | 영상 화소의 밝기에 따라 보정 기능을 구비한 색온도 변환방법 및 장치 |
| JP7008930B2 (ja) * | 2017-03-30 | 2022-01-25 | 株式会社東京精密 | 三次元測定機、測定方法、及び測定プログラム |
| JP7209333B2 (ja) * | 2018-09-10 | 2023-01-20 | 国立大学法人 東京大学 | 関節位置の取得方法及び装置、動作の取得方法及び装置 |
| WO2020179439A1 (ja) * | 2019-03-05 | 2020-09-10 | パナソニックＩｐマネジメント株式会社 | 変位検出方法、撮影指示方法、変位検出装置及び撮影指示装置 |
-
2020
- 2020-12-25 JP JP2020217246A patent/JP6917096B1/ja active Active
-
2021
- 2021-07-12 JP JP2021114956A patent/JP2022103025A/ja active Pending
- 2021-12-22 US US17/559,677 patent/US11481971B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP6917096B1 (ja) | 2021-08-11 |
| US11481971B2 (en) | 2022-10-25 |
| JP2022102484A (ja) | 2022-07-07 |
| US20220207823A1 (en) | 2022-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200033109A1 (en) | Workpiece measurement device, workpiece measurement method and non-transitory computer readable medium recording a program | |
| US20150261899A1 (en) | Robot simulation system which simulates takeout process of workpieces | |
| WO2021181929A1 (ja) | 情報処理方法、情報処理システム、プログラム | |
| US20060269123A1 (en) | Method and system for three-dimensional measurement | |
| US20180290300A1 (en) | Information processing apparatus, information processing method, storage medium, system, and article manufacturing method | |
| US20090289953A1 (en) | System and method for adjusting view of a measuring report of an object | |
| CN112106055A (zh) | 利用增强现实在制造期间进行实时质量控制 | |
| JP6849262B1 (ja) | 情報処理方法、情報処理システム、プログラム | |
| JP6917096B1 (ja) | 情報処理方法、情報処理システム、プログラム | |
| TWI492080B (zh) | 三次元安全面建立系統及方法 | |
| WO2023027068A1 (ja) | 溶接検査方法、溶接検査システム、溶接検査プログラム | |
| JP6796899B1 (ja) | 情報処理方法、情報処理システム、プログラム | |
| CN110109143B (zh) | 多线激光雷达与imu的位姿标定方法及装置 | |
| US20220164975A1 (en) | Shape detection method, shape detection system, and program | |
| JP6742661B1 (ja) | 形状検出方法、形状検出システム、プログラム | |
| JP6758695B1 (ja) | 形状検出方法、形状検出システム、プログラム | |
| JP6758696B1 (ja) | 形状検出方法、形状検出システム、プログラム | |
| US20240119686A1 (en) | Information processing method, information processing system, and program | |
| JPS63285615A (ja) | ３次元測定機のオフラインティ−チング装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231220 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231220 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20231220 |