JP2022102484A

JP2022102484A - 情報処理方法、情報処理システム、プログラム

Info

Publication number: JP2022102484A
Application number: JP2020217246A
Authority: JP
Inventors: 基史鈴木; Motofumi Suzuki; 文生池ヶ谷; Fumio Ikegaya
Original assignee: Linkwiz Inc
Current assignee: Linkwiz Inc
Priority date: 2020-12-25
Filing date: 2020-12-25
Publication date: 2022-07-07
Anticipated expiration: 2040-12-25
Also published as: US20220207823A1; JP2022103025A; JP6917096B1; US11481971B2

Abstract

【課題】三次元点群データモデルである基準対象物モデルを直接フィッティングに用いずに実質的にフィッティングが可能となり、実対象物モデルと基準対象物モデルとを比較する情報処理方法、情報処理システム、プログラムを提供する。
【解決手段】情報処理方法は、基準対象物からセンサにより基準三次元モデルデータを取得するステップと、基準点座標取得部により、基準三次元モデルデータから三以上の任意の数の基準点座標情報を取得するステップと、測定対象物からセンサにより対応三次元モデルデータを取得するステップと、基準探索範囲設定部により、基準点座標情報に基づく基準探索範囲を設定するステップと、対応点座標情報取得部により、対応三次元モデルデータにおいて基準探索範囲内における対応点座標情報を取得するステップと、を含む。
【選択図】図６

Description

特許法第３０条第２項適用申請有り令和２年１０月２日にトヨタ自動車株式会社に納品

本発明は、情報処理方法、情報処理システム、プログラムに関する。

従来から対象物（例えばワーク）を事前にスキャンして基準対象物モデルを作成しておき、実際の対象物をスキャンして実対象物モデルを作成し、基準対象物モデルとの比較結果に応じて位置ずれの補正を行う技術が知られている。例えば特許文献１には、基準画像及び入力画像を互いに比較して位置ずれ量を求める技術が示されている。

特開２０００－２０７５５７号公報

このように、実際の対象物の位置が想定位置よりもずれていたとしても、基準対象モデルを記憶しておくことで、実対象物モデルとのずれ量を求め、これを補正する（いわゆるフィッティング）ことで実対象物モデルを用いて正確な作業ができる。しかしながら、例えば、対象物モデルとして三次元点群データを用いた場合などには、三次元点群データは単なる点データの集まりであるため、実対象物モデルの点データごとに対応する基準対象物モデルの点データを探索する必要があり、フィッティングが可能な程度に両モデルの形状が同一または近似した形状である必要があった。

すなわち、例えば両モデルを用いて形状比較等をする場合には、実対象物モデルの形状が基準対象物モデルに対してフィッティングが可能な程度の形状変化範囲内であるか、フィッティングのためにさらなる補間を行う必要があり得た。

本発明はこのような背景を鑑みてなされたものであり、三次元点群データモデルである基準対象物モデルを直接フィッティングに用いずに実質的にフィッティングが可能となり、実対象物モデルと基準対象物モデルとを比較することのできる技術を提供することを目的とする。

上記課題を解決するための本発明の主たる発明は、基準対象物からセンサにより基準三次元モデルデータを取得するステップと、基準点座標取得部により、前記基準三次元モデルデータから三以上の任意の数の基準点座標情報を取得するステップと、測定対象物からセンサにより対応三次元モデルデータを取得するステップと、基準探索範囲設定部により、前記基準点座標情報に基づく基準探索範囲を設定するステップと、応点座標情報取得部により、前記対応三次元モデルデータにおいて基準探索範囲内における対応点座標情報を取得するステップと、を含む、ことを特徴とする情報処理方法である。

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。

本発明によれば、三次元点群データモデルである基準対象物モデルを直接フィッティングに用いずに実質的にフィッティングが可能となり、実対象物モデルと基準対象物モデルとを比較することのできるようにする。

本実施形態１の情報処理システム１００の全体構成例を示す図である。本実施形態１に係る端末１のハードウェア構成例を示す図である。本実施形態１に係る端末１の機能構成例を示す図である。本実施形態１に係る三次元モデルデータの表示例を示す図を示す。本実施形態１に係る特定形状部位検出の例を示す図である。本実施形態１に係る情報処理方法のフローチャート例を示す図である。本実施形態１に係る基準三次元モデルデータの表示例を示す図を示す。本実施形態１に係る基準三次元モデルデータの表示例を示す図を示す。本実施形態１に係る対応三次元モデルデータの表示例を示す図を示す。本実施形態１に係るフィッティングの概念を説明する図である。本実施形態２に係る端末１の機能構成例を示す図である。本実施形態２に係る情報処理方法のフローチャート例を示す図である。本実施形態２に係る基準探索範囲の一例を説明する図である。本実施形態２に係る差分値情報の表示例を示す図である。本実施形態２に係る比較結果情報の表示例を示す図である。

本発明の実施形態の内容を列記して説明する。本発明は、たとえば以下のような構成を備える。

［項目１］
情報処理方法であって、
基準対象物からセンサにより基準三次元モデルデータを取得するステップと、
基準点座標取得部により、前記基準三次元モデルデータから三以上の任意の数の基準点座標情報を取得するステップと、
測定対象物からセンサにより対応三次元モデルデータを取得するステップと、
基準探索範囲設定部により、前記基準点座標情報に基づく基準探索範囲を設定するステップと、
対応点座標情報取得部により、前記対応三次元モデルデータにおいて基準探索範囲内における対応点座標情報を取得するステップと、
を含む、ことを特徴とする情報処理方法。
［項目２］
項目１に記載の情報処理方法であって、
前記三次元モデルデータのそれぞれは、三次元点群データである、
ことを特徴とする情報処理方法。
［項目３］
項目１または２のいずれかに記載の情報処理方法であって、
前記基準点座標情報を取得するステップは、
特定形状部位検出部により、前記基準三次元モデルデータにおける特定形状の部位を検出し、当該部位の座標情報を基準点座標情報として取得するステップと、を含む、
ことを特徴とする情報処理方法。
［項目４］
項目１ないし３のいずれかに記載の情報処理方法であって、
基準点座標平面算出部により、前記基準三次元モデルデータにおいて、前記基準点座標を含む基準平面を算出するステップと、
基準差分値情報取得部により、前記基準平面上を所定の座標軸方向の基準値として設定し、前記基準平面に対する前記所定の座標軸方向における前記基準三次元モデルデータと前記基準値との基準差分値情報を取得するステップと、をさらに含む、
ことを特徴とする情報処理方法。
［項目５］
項目１ないし３のいずれかに記載の情報処理方法であって、
対応点座標平面算出部により、前記対応三次元モデルデータにおいて、前記対応点座標を含む対応平面を算出するステップと、
対応差分値情報取得部により、前記対応平面上を所定の座標軸方向の基準値として設定し、前記対応平面に対する前記所定の座標軸方向における前記対応三次元モデルデータと前記基準値との対応差分値情報を取得するステップと、をさらに含む、
ことを特徴とする情報処理方法。
［項目６］
項目１ないし３のいずれかに記載の情報処理方法であって、
基準点座標平面算出部により、前記基準三次元モデルデータにおいて、前記基準点座標を含む基準平面を算出するステップと、
基準差分値情報取得部により、前記基準平面上を所定の座標軸方向の基準値として設定し、前記基準平面に対する前記所定の座標軸方向における前記基準三次元モデルデータと前記基準値との基準差分値情報を取得するステップと、
対応点座標平面算出部により、前記対応三次元モデルデータにおいて、前記対応点座標を含む対応平面を算出するステップと、
対応差分値情報取得部により、前記対応平面上を所定の座標軸方向の基準値として設定し、前記対応平面に対する前記所定の座標軸方向における前記対応三次元モデルデータと前記基準値との対応差分値情報を取得するステップと、をさらに含む、
ことを特徴とする情報処理方法。
［項目７］
項目６に記載の情報処理方法であって、
差分値情報比較部により、基準差分値情報及び対応差分値情報を互いに比較し、その比較結果情報を算出するステップをさらに含む、
ことを特徴とする情報処理方法。
［項目８］
項目７に記載の情報処理方法であって、
前記比較結果情報は、基準差分値情報が示す値と対応差分値情報が示す値との差分をさらに算出することで取得された両者のずれ量情報である、。さらに、例えばユーザにより設定されたずれ量の許容範囲情報に基づき、許容範囲内外を示すフラグを設定してもよい。、
ことを特徴とする情報処理方法。
［項目９］
項目８に記載の情報処理方法であって、
前記差分値情報比較部により、ユーザにより設定されたずれ量の許容範囲情報と前記ずれ量情報を比較し、許容範囲内外に応じて異なる色で対応三次元モデルデータの少なくとも一部を表示するステップをさらに含む、
ことを特徴とする情報処理方法。
［項目１０］
情報処理システムであって、
基準対象物及び測定対象物からセンサにより基準三次元モデルデータ及び対応三次元モデルデータを取得する三次元モデルデータ取得部と、
前記基準三次元モデルデータから三以上の任意の数の基準点座標情報を取得する基準点座標取得部と、
前記基準点座標情報に基づく基準探索範囲を設定する基準探索範囲設定部と、
前記対応三次元モデルデータにおいて基準探索範囲内における対応点座標情報を取得する対応点座標情報取得部と、
を含む、ことを特徴とする情報処理システム。
［項目１１］
情報処理方法をコンピュータに実行させるためのプログラムであって、
前記プログラムは、前記情報処理方法として、
基準対象物からセンサにより基準三次元モデルデータを取得するステップと、
基準点座標取得部により、前記基準三次元モデルデータから三以上の任意の数の基準点座標情報を取得するステップと、
測定対象物からセンサにより対応三次元モデルデータを取得するステップと、
基準探索範囲設定部により、前記基準点座標情報に基づく基準探索範囲を設定するステップと、
対応点座標情報取得部により、前記対応三次元モデルデータにおいて基準探索範囲内における対応点座標情報を取得するステップと、
をコンピュータに実行させる、ことを特徴とするプログラム。

＜実施の形態１の詳細＞
本発明の一実施形態に係る情報処理システム１００の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。

図１は、本実施形態の情報処理システム１００の一例を示す図である。図１に示されるように、本実施形態の情報処理システム１００では、端末１と、作業用ロボット２、コントローラ３とを有している。作業用ロボット２は、少なくともアーム２１、ツール２２、センサ２３を有している。端末１・コントローラ３と作業用ロボット２とは、有線または無線にて互いに通信可能に接続されている。

＜端末１＞
図２は、端末１のハードウェア構成を示す図である。端末１は、例えばパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。例えば、端末１のプロセッサ１０に設けられる一部の機能が外部のサーバや別端末により実行されてもよい。

端末１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。

プロセッサ１０は、端末１全体の動作を制御し、少なくとも作業用ロボット２とのデータ等の送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）および／またはＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開された本システムのためのプログラム等を実行して各情報処理を実施する。

メモリ１１は、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（ＨａｒｄＤｉｓｃＤｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、端末１の起動時に実行されるＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）、及び各種設定情報等を格納する。

ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。

送受信部１３は、端末１を少なくとも作業用ロボット２と接続し、プロセッサの指示に従い、データ等の送受信を行う。なお、送受信部１３は、有線または無線により構成されおり、無線である場合には、例えば、ＷｉＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（ＢｌｕｅｔｏｏｔｈＬｏｗＥｎｅｒｇｙ）の近距離通信インターフェースにより構成されていてもよい。

入出力部１４は、例えば端末１がパーソナルコンピュータで構成されている場合は情報出力機器（例えばディスプレイ）と情報入力機器（例えばキーボードやマウス）により構成され、スマートフォンまたはタブレット端末で構成されている場合はタッチパネル等の情報入出力機器により構成されている。

バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

＜作業用ロボット２＞
図１に戻り、本実施形態に係る作業用ロボット２について説明する。

上述のとおり、作業用ロボット２は、アーム２１と、ツール２２と、センサ２３とを有する。なお、図示された構成は一例であり、この構成に限定されない。

アーム２１は、三次元のロボット座標系に基づき、端末１にその動作を制御される。また、アーム２１は、有線または無線で作業用ロボット２と接続されたコントローラ３をさらに備え、これによりその動作を制御されてもよい。

ツール２２は、三次元のツール座標系に基づき、端末１にその動作を制御される。また、ツール２２の構成は、用途に合わせて何れのツールを備えていてもよく、例えば、溶接用トーチや塗装用塗料噴射装置、把持装置、掘削装置、研磨装置などであってもよい。

センサ２３は、三次元のセンサ座標系に基づき、対象物のセンシングを行う。センサ２３は、例えば三次元スキャナとして動作するレーザセンサであり、センシングにより対象物の三次元モデルデータ４０を取得する。三次元モデルデータ４０は、例えば、図４及び図５に示されるような三次元点群データであり、それぞれの点データがセンサ座標系の座標情報を有し、点群により対象物の形状を把握することが可能となる。なお、センサ２３は、レーザセンサに限らず、例えばステレオ方式などを用いた画像センサなどであってもよいし、作業用ロボットとは独立したセンサであってもよく、三次元のセンサ座標系における座標情報が取得できるものであればよい。また、説明を具体化するために、以下では三次元モデルデータ４０として、三次元点群データを用いた構成を一例として説明する。

なお、作業前に所定のキャリブレーションを行い、ロボット座標系及びツール座標系、センサ座標系を互いに関連付け、例えばセンサ座標系を基にユーザが位置（座標）を指定することにより、アーム２１やツール２２が対応した位置を基に動作制御されるように構成をなしてもよい。

＜端末１の機能＞
図３は、端末１に実装される機能を例示したブロック図である。本実施の形態においては、端末１のプロセッサ１０は、三次元モデルデータ取得部（三次元点群データ取得部）１０１、三次元モデルデータ表示部（三次元点群データ表示部）１０２、基準点座標取得部１０３、特定形状部位検出部１０４、基準探索範囲設定部１０５、対応点座標情報取得部１０６を有している。また、端末１のストレージ１２は、三次元モデルデータ記憶部（三次元点群データ記憶部）１２１、基準点座標情報記憶部１２２、対応点座標情報記憶部１２３を有している。

三次元点群データ取得部１０１は、端末１の入出力部１４からの指示により、例えば作業用ロボット２を制御し、センサ２３により対象物の三次元点群データを取得する。取得した三次元点群データは、例えばセンサ座標系に基づく三次元座標情報データであり、三次元点群データ記憶部１２１に記憶される。

三次元点群データ表示部１０２は、三次元点群データ取得部１０１により取得された三次元点群データを、例えば図４に例示されるように端末１の入出力部１４に表示する。ユーザは、表示された三次元点群データを任意の方向から視認可能である。この場合、入出力部１４は、前述のとおり、例えば端末１がパーソナルコンピュータで構成されている場合は情報出力機器（例えばディスプレイ）と情報入力機器（例えばキーボードやマウス）により構成され、スマートフォンまたはタブレット端末で構成されている場合はタッチパネル等の情報入出力機器により構成されており、入出力部１４により、上記任意の方向を指定可能である。

基準点座標取得部１０３は、図７等に例示されるような基準三次元モデルデータ４１（例えば基準三次元点群データ）を基に、例えばユーザの所定操作に応じて任意の数の基準点座標情報を取得する。具体例としては、例えば原点とする基準原点座標情報、当該原点からＸ方向の基点とするＸ基準点座標情報、当該原点からＹ方向の基点とするＹ基準点座標情報の３点を取得するようにしてもよい。各基準座標情報の取得方法は、例えばユーザが端末１の入出力部１４にて三次元点群データ表示部１０２により表示された基準三次元点群データ４１から所定の点を直接選択するようにしてもよいし、基準対象物上の特定形状の部位における所定の点を所定の演算により決定可能としてもよい。当該特定形状の部位とは、例えばホール（穴部）であったり、円錐状や円柱状などの突起であったりしてもよく、所定の演算方法については、例えば後述する方法によりホール（穴部）を検出し、当該ホールの中心座標情報を基準座標情報としてもよいし、既知の方法により突起の先端部座標情報を基準座標情報としてもよいが、これらに限らず、特に演算により一意に定まる形状であればどのような形状であっても、特定形状の部位といえる。なお、取得した基準点座標情報は、基準点座標情報記憶部１２２に記憶される。

特定形状部位検出部１０４は、例えばユーザの所定操作に応じて基準三次元点群データ４１内の特定形状の部位を検出し、当該部位から基準座標情報を取得する。具体例としては、例えば、図５に例示されるように、端末１において、三次元点群データ４０（基準三次元点群データ４１）における対象物の所定の平面上に設けられたホール周辺の任意の３点の座標情報Ｐ_１－Ｐ_３をそれぞれ取得し、各３点の座標情報からホール中心座標情報Ｐ_１１を算出する。より具体的な例としては、特徴的形状部位検出部１０４は、例えば、ホール周辺の各３点の座標情報Ｐ_１－Ｐ_３から垂直二等分線を用いるなどして仮円中心座標情報を算出し、３点を通る円と仮円中心座標情報から所定高さの円柱状の探索範囲を設定し、当該探索範囲内の三次元点群データに対して既知のエッジ検出方法を用いることでホールの輪郭座標情報を導出する。そして、当該輪郭座標情報を基に、既知の演算（例えば、円の最小二乗法など）により、ホール中心座標情報Ｐ_１１を算出する。

基準探索範囲設定部１０５は、基準点座標情報に基づき、他の測定対象物モデルデータ５１（例えば、他の三次元点群データ）における基準点座標情報に対応する対応点座標情報を取得するための基準探索範囲を設定する。例えば、特定形状部位検出部１０４において、すでに円柱状の探索範囲が生成されている場合にはこれを基準探索範囲として設定してもよいし、基準点座標情報を中心とした球、立方体、直方体、角柱、円柱、楕円体などの任意の三次元形状（立体形状）の基準探索範囲を設定してよい。

対応点座標情報取得部１０６は、他の測定対象物モデルデータ５１（例えば、他の三次元点群データ）に対して設定された基準探索範囲に基づき、測定対象物モデルデータ５１における対応点座標情報を取得する。なお、取得した対応点座標情報は、対応点座標情報記憶部１２３に記憶される。

＜情報処理方法のフローチャート＞
図６は、本実施の形態１の情報処理システム１００における情報処理方法のフローチャートの一例である。

まず、ユーザは、端末１の三次元点群データ取得部１０１による制御に基づき、センサ２３により、例えば作業台上に位置する基準対象物の基準三次元点群データ４１を取得する（ＳＱ１０１）。

次に、図７に示されるように、三次元点群データ表示部１０２により取得した基準三次元点群データ４１を端末１上で表示する（ＳＱ１０２）。

次に、基準点座標取得部１０３により基準三次元点群データ４１を基に、例えばユーザの所定操作に応じて任意の数の基準点座標情報を取得する（ＳＱ１０３）。この時、図８に示されるように、特定形状部位検出部１０４により、例えばユーザの所定操作に応じて基準三次元点群データ４１内の特定形状の部位（ホール）を検出し、当該部位から基準座標情報であるホールＡ－Ｃの各中心座標を取得してもよい。

ここで、次に、ユーザは、端末１の三次元点群データ取得部１０１による制御に基づき、センサ２３により、例えば作業台上に位置する他の測定対象物（ただし、上記基準対象物と形状が同一または略同一、近似、類似、同種類、同型番等の対象物）の三次元点群データ５１を取得する（ＳＱ１０４）。

次に、基準探索範囲設定部１０５により、基準点座標情報に基づき、他の測定対象物モデルデータ５１（例えば、他の三次元点群データ）における基準点座標情報に対応する対応点座標情報を取得するための基準探索範囲を設定する（ＳＱ１０５）。この時、例えば、特定形状部位検出部１０４において生成された円柱状の探索範囲を基準探索範囲として設定する。

次に、図９に示されるように、対応点座標情報取得部１０６により、他の三次元点群データに対して設定された基準探索範囲に基づき、他の三次元点群データにおける対応点座標情報であるホールＡ’－Ｃ’の各中心座標を取得する（ＳＱ１０６）。

これにより、基準三次元点群データ及び他の三次元点群データにおいて、同様の特定形状部位に基づく基準点座標情報及び対応点座標情報が３点取得された状態となる。上述の通り、これら各３点の座標情報は、例えば原点とする基準原点座標情報、当該原点からＸ方向の基点とするＸ基準点座標情報、当該原点からＹ方向の基点とするＹ基準点座標情報となり得るので、これらを用いて各対象物に対して同一の位置を原点とするセンサ座標系（ＸＹＺ座標系）が設定可能となる。

したがって、本実施の形態１の情報処理システム１００は、従来の三次元モデルデータ同士の対応付けによるフィッティングに代えて、基準三次元モデルデータ（特に基準三次元点群データ）におけるセンサ座標系（ＸＹＺ座標系）を設定するための基準点座標情報に基づく基準探索範囲を他の三次元モデルデータに適用することで、同一の規則により対応点座標情報が導き出される。その結果、図１０に示されるように、両者が対象物に対して同一位置を原点とするセンサ座標系が設定されることで、実質的に両者がフィッティングされたこととなる。

＜実施の形態２の詳細＞
上述の実施の形態１にて説明したシステム構成及びフィッティング方法については同様であるので説明を省略する。本実施の形態２においては、フィッティング後に基準対象物の三次元モデルデータ（基準三次元点群データ）と他の測定対象物の三次元モデルデータ（他の三次元点群データ）とを互いに形状比較する際の構成の一例について説明する。

図１１は、端末１に実装される機能を例示したブロック図であり、図３に示される機能を省略した本実施の形態２に関わる機能を例示したブロック図である。本実施の形態２においては、端末１のプロセッサ１０は、さらに、基準点座標平面算出部２０１、基準平面差分値情報取得部２０２、対応点座標平面算出部２０３、対応平面差分値情報取得部２０４、差分値情報表示部２０５、差分値情報比較部２０６を有している。また、端末１のストレージ１２は、基準差分値情報記憶部２２１、対応差分値情報記憶部２２２、比較結果情報記憶部２２３を有している。

基準点座標平面算出部２０１は、取得済みの基準点座標情報に基づき、既知の算出方法により、当該基準点座標情報を含む基準平面（ＸＹ平面）を算出する。例えば、三次元座標系においては、少なくとも３点の基準点座標情報があればＸＹＺ座標系におけるＸＹ平面が定まる。当該基準平面の範囲は、例えば、無限遠の平面範囲であったり、三次元点群データに基づき対象物が全て含まれる平面範囲が設定されてもよいし、対象物の一部を含む範囲をセンサ座標系の座標情報によりユーザが設定してもよい。

基準平面差分値情報取得部２０２により、当該基準平面上を所定の座標軸方向（Ｚ軸方向）の基準値（例えば０）として設定し、基準平面に対する所定の座標軸方向における基準対象物モデルデータと基準値の基準差分値情報を取得する。当該基準差分値情報は、例えば基準平面がＸＹ平面で、基準値がＺ軸方向の０である場合には、各点データのＺ座標情報が基準差分値情報となる。なお、取得した基準差分値情報は、基準差分値情報記憶部２２１に記憶される。

対応点座標平面算出部２０３は、取得済みの対応点座標情報に基づき、既知の算出方法により、当該対応点座標情報を含む対応平面（ＸＹ平面）を算出する。例えば、三次元座標系においては、少なくとも３点の対応点座標情報があればＸＹＺ座標系におけるＸＹ平面が定まる。当該対応平面の範囲は、基準平面同様に設定可能であり、基準平面と同一の範囲であることが望ましいが、この限りではない

対応平面差分値情報取得部２０４により、当該対応平面上を所定の座標軸方向（Ｚ軸方向）の基準値（例えば０）として設定し、対応平面に対する所定の座標軸方向における測定対象物モデルデータと基準値との対応差分値情報を取得する。当該対応差分値情報は、例えば対応平面がＸＹ平面で、基準値がＺ軸方向の０である場合には、各点データのＺ座標情報が対応差分値情報となる。なお、取得した対応差分値情報は、対応差分値情報記憶部２２２に記憶される。

差分値情報表示部２０５は、基準平面または対応平面に対する各差分値情報を、例えば図１４に例示されるように端末１の入出力部１４に表示する。表示例としては、例えば、図１４に示されるように、基準平面または対応平面を仮想的に形成して表示し、基準値よりもプラスまたはマイナスの少なくとも何れかの差分値情報を有する点データを表示するようにしてもよい。また、表示の際には、例えば差分値情報を所定の数値範囲ごとに区切り、数値範囲ごとに色を設定して表示する（いわゆる、ヒートマップ）ようにしてもよい。

差分値情報比較部２０６は、基準差分値情報及び対応差分値情報を互いに比較し、その比較結果情報を算出する。比較結果情報は、例えば各点データにおける基準差分値情報が示す値と対応差分値情報が示す値との差分をさらに算出し、両者のずれ量情報を取得してもよい。さらに、例えばユーザにより設定されたずれ量の許容範囲情報に基づき、許容範囲内外を示すフラグを設定してもよい。そして、当該フラグに対して色を設定し（例えば図１５に示されるように、許容範囲内でＯＫなら緑色、許容範囲外でＮＧなら赤色、さらに許容範囲外においてもプラス側なら赤色、マイナス側なら青色など）、図１３に例示される表示または図１４に例示される表示において、当該色を反映させて表示してもよい。なお、算出した比較結果情報は、比較結果情報記憶部２２３に記憶される。

＜情報処理方法のフローチャート＞
図１２は、本実施の形態２の情報処理システム１００における情報処理方法のフローチャートの一例である。

まず、基準点座標平面算出部２０１により、取得済みの基準点座標情報に基づき、当該基準点座標情報を含む基準平面（ＸＹ平面）を算出する（ＳＱ２０１）。例えば、図１３に示されるように、対象物が全て含まれる平面範囲を設定する。

つぎに、基準平面差分値情報取得部２０２により、当該基準平面上を所定の座標軸方向（Ｚ軸方向）の基準値（例えば０）として設定し、基準平面に対する所定の座標軸方向における基準対象物モデルデータと基準値の基準差分値（例えば各点データのＺ座標情報）を取得する（ＳＱ２０２）。この時、差分値情報表示部２０５により、基準平面に対する基準差分値情報を、例えば図１４に例示されるように端末１の入出力部１４に表示してもよい。

つぎに、対応点座標平面算出部２０３により、取得済みの対応点座標情報に基づき、当該対応点座標情報を含む対応平面（ＸＹ平面）を算出する（ＳＱ２０３）。例えば、図１３に示されるような、基準平面と同一範囲として設定する。

つぎに、対応平面差分値情報取得部２０４により、当該対応平面上を所定の座標軸方向（Ｚ軸方向）の基準値（例えば０）として設定し、対応平面に対する所定の座標軸方向における測定対象物モデルデータと基準値の対応差分値（例えば各点データのＺ座標情報）を取得する（ＳＱ２０４）。この時、差分値情報表示部２０５により、対応平面に対する対応差分値情報を、例えば図１４に例示されるように端末１の入出力部１４に表示してもよい。

つぎに、差分値情報比較部２０６により、基準差分値情報及び対応差分値情報を互いに比較し、その比較結果情報を算出する（ＳＱ２０５）。さらに、差分値情報比較部２０６により、例えば、両者のずれ量情報を取得し、図１５に示されるように、当該ずれ量情報を許容範囲情報と比較し、許容範囲内外で色分け表示を行ってもよい（ＳＱ２０５）。

したがって、本実施の形態２の情報処理システム１００は、実施の形態１の構成により各対象物に対して同一位置を原点とするセンサ座標系が設定されているので、例えば同一平面を基準位置として差分を確認することが可能である。そして、さらには両者のずれ量を容易に算出することも可能であるので、測定対象物の形状を基準対象物の形状と容易に比較可能となる。

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。

１端末
２作業用ロボット
２１アーム
２２ツール
２３センサ
３コントローラ

Claims

情報処理方法であって、
基準対象物からセンサにより基準三次元モデルデータを取得するステップと、
基準点座標取得部により、前記基準三次元モデルデータから三以上の任意の数の基準点座標情報を取得するステップと、
測定対象物からセンサにより対応三次元モデルデータを取得するステップと、
基準探索範囲設定部により、前記基準点座標情報に基づく基準探索範囲を設定するステップと、
対応点座標情報取得部により、前記対応三次元モデルデータにおいて基準探索範囲内における対応点座標情報を取得するステップと、
を含む、ことを特徴とする情報処理方法。
請求項１に記載の情報処理方法であって、
前記三次元モデルデータのそれぞれは、三次元点群データである、
ことを特徴とする情報処理方法。
請求項１または２のいずれかに記載の情報処理方法であって、
前記基準点座標情報を取得するステップは、
特定形状部位検出部により、前記基準三次元モデルデータにおける特定形状の部位を検出し、当該部位の座標情報を基準点座標情報として取得するステップと、を含む、
ことを特徴とする情報処理方法。
請求項１ないし３のいずれかに記載の情報処理方法であって、
基準点座標平面算出部により、前記基準三次元モデルデータにおいて、前記基準点座標を含む基準平面を算出するステップと、
基準差分値情報取得部により、前記基準平面上を所定の座標軸方向の基準値として設定し、前記基準平面に対する前記所定の座標軸方向における前記基準三次元モデルデータと前記基準値との基準差分値情報を取得するステップと、をさらに含む、
ことを特徴とする情報処理方法。
請求項１ないし３のいずれかに記載の情報処理方法であって、
対応点座標平面算出部により、前記対応三次元モデルデータにおいて、前記対応点座標を含む対応平面を算出するステップと、
対応差分値情報取得部により、前記対応平面上を所定の座標軸方向の基準値として設定し、前記対応平面に対する前記所定の座標軸方向における前記対応三次元モデルデータと前記基準値との対応差分値情報を取得するステップと、をさらに含む、
ことを特徴とする情報処理方法。
請求項１ないし３のいずれかに記載の情報処理方法であって、
基準点座標平面算出部により、前記基準三次元モデルデータにおいて、前記基準点座標を含む基準平面を算出するステップと、
基準差分値情報取得部により、前記基準平面上を所定の座標軸方向の基準値として設定し、前記基準平面に対する前記所定の座標軸方向における前記基準三次元モデルデータと前記基準値との基準差分値情報を取得するステップと、
対応点座標平面算出部により、前記対応三次元モデルデータにおいて、前記対応点座標を含む対応平面を算出するステップと、
対応差分値情報取得部により、前記対応平面上を所定の座標軸方向の基準値として設定し、前記対応平面に対する前記所定の座標軸方向における前記対応三次元モデルデータと前記基準値との対応差分値情報を取得するステップと、をさらに含む、
ことを特徴とする情報処理方法。
請求項６に記載の情報処理方法であって、
差分値情報比較部により、基準差分値情報及び対応差分値情報を互いに比較し、その比較結果情報を算出するステップをさらに含む、
ことを特徴とする情報処理方法。
請求項７に記載の情報処理方法であって、
前記比較結果情報は、基準差分値情報が示す値と対応差分値情報が示す値との差分をさらに算出することで取得された両者のずれ量情報である、。さらに、例えばユーザにより設定されたずれ量の許容範囲情報に基づき、許容範囲内外を示すフラグを設定してもよい。、
ことを特徴とする情報処理方法。
請求項８に記載の情報処理方法であって、
前記差分値情報比較部により、ユーザにより設定されたずれ量の許容範囲情報と前記ずれ量情報を比較し、許容範囲内外に応じて異なる色で対応三次元モデルデータの少なくとも一部を表示するステップをさらに含む、
ことを特徴とする情報処理方法。
情報処理システムであって、
基準対象物及び測定対象物からセンサにより基準三次元モデルデータ及び対応三次元モデルデータを取得する三次元モデルデータ取得部と、
前記基準三次元モデルデータから三以上の任意の数の基準点座標情報を取得する基準点座標取得部と、
前記基準点座標情報に基づく基準探索範囲を設定する基準探索範囲設定部と、
前記対応三次元モデルデータにおいて基準探索範囲内における対応点座標情報を取得する対応点座標情報取得部と、
を含む、ことを特徴とする情報処理システム。
情報処理方法をコンピュータに実行させるためのプログラムであって、
前記プログラムは、前記情報処理方法として、
基準対象物からセンサにより基準三次元モデルデータを取得するステップと、
基準点座標取得部により、前記基準三次元モデルデータから三以上の任意の数の基準点座標情報を取得するステップと、
測定対象物からセンサにより対応三次元モデルデータを取得するステップと、
基準探索範囲設定部により、前記基準点座標情報に基づく基準探索範囲を設定するステップと、
対応点座標情報取得部により、前記対応三次元モデルデータにおいて基準探索範囲内における対応点座標情報を取得するステップと、
をコンピュータに実行させる、ことを特徴とするプログラム。