JP2021124485A - 形状検出方法、形状検出システム、プログラム - Google Patents

Abstract

【課題】対象物上の所定の形状を簡易かつ迅速に検出できる形状検出方法を提供する。
【解決手段】対象物の形状を検出する形状検出方法であって、前記対象物からセンサにより三次元点群データを取得するステップＳＱ１０１と、三次元点群データを端末の表示領域に表示するステップと、三次元点群データが表示されている表示領域を二次元画像データとして取得するステップＳＱ１０２と、二次元画像データ内の所定の形状を判定する画像解析を行い、対象物における所定の形状を検出するステップＳＱ１０３と、を含む。
【選択図】図７

Description

本発明は、形状検出方法、形状検出システム、プログラムに関する。

従来から、物体の形状を検出する方法として、接触式または非接触式の形状検出方法が存在していた（例えば、特許文献１を参照）。

特開２０１５−１３５２７６号公報

しかしながら、従来の形状検出方法では、全体の形状を検出することは容易に行われるが、対象物上の所定の形状を見つけ出すことは困難であり、例えば三次元モデルを用いて所定の形状を目視にて確認したり、三次元モデル自体を直接解析したりすることは可能であっても、前者においては作業者の労力や時間の面で負荷が大きく、かつ、所定形状の確認が漏れる可能性もあり、後者においては解析に用いる端末の解析処理の負荷も大きいため、それらが簡易かつ迅速な方法とはいえなかった。

本発明はこのような背景を鑑みてなされたものであり、対象物上の所定の形状を簡易かつ迅速に検出することのできる技術を提供することを目的とする。

上記課題を解決するための本発明の主たる発明は、対象物の形状を検出する形状検出方法であって、前記対象物からセンサにより三次元点群データを取得するステップと、前記三次元点群データを端末の表示領域に表示するステップと、前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得するステップと、前記二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を検出するステップと、を含む、ことを特徴とする形状検出方法である。

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。

本発明によれば、対象物上の所定の形状を簡易かつ迅速に検出することができる。

本実施形態の一の形状検出システム１００の全体構成例を示す図である。 本実施形態に係る端末１のハードウェア構成例を示す図である。 本実施形態に係る端末１の機能構成例を示す図である。 本実施形態に係る表示領域Ｖの表示例を示す図を示す。 本実施形態に係る表示領域Ｖの表示例を示す図である。 本実施形態に係る三次元点群データの特徴点を説明する図である。 本実施形態に係る形状検出方法のフローチャート例を示す図である。 本実施形態の他の形状検出システムの機能を説明する図である。

本発明の実施形態の内容を列記して説明する。本発明は、たとえば以下のような構成を備える。

［項目１］
対象物の形状を検出する形状検出方法であって、
前記対象物からセンサにより三次元点群データを取得するステップと、
前記三次元点群データを端末の表示領域に表示するステップと、
前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得するステップと、
前記二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を検出するステップと、
を含む、ことを特徴とする形状検出方法。
［項目２］
項目１に記載の形状検出方法であって、
前記二次元画像データの二次元座標は、前記三次元点群データの三次元座標と対応付けされており、
さらに、前記検出された所定の形状の位置が、前記対象物の三次元データ上で把握可能に前記表示領域に表示するステップを含む、
ことを特徴とする形状検出方法。
［項目３］
項目１または２に記載の形状検出方法であって、
前記二次元画像データを取得時の表示領域の大きさを記憶するステップをさらに含む、
ことを特徴とする形状検出方法。
［項目４］
項目１ないし３に記載の形状検出方法であって、
前記二次元画像データを取得時に表示領域の大きさの変更を禁止するステップをさらに含む、
ことを特徴とする形状検出方法。
［項目５］
項目１ないし４に記載の形状検出方法であって、
前記所定の形状は、対象物の凹部形状である、
ことを特徴とする形状検出方法。
［項目６］
項目１ないし４に記載の形状検出方法であって、
前記所定の形状は、対象物の凸部形状である、
ことを特徴とする形状検出方法。
［項目７］
項目１ないし４に記載の形状検出方法であって、
前記対象物は、二以上の構成物が重なったものであり、
前記所定の形状は、前記構成物同士の境界形状である
ことを特徴とする形状検出方法。
［項目８］
項目１ないし７に記載の形状検出方法であって、
前記二次元画像データ上の任意の位置間の長さを測定する、
ことを特徴とする形状検出方法。
［項目９］
対象物の形状を検出する形状検出システムであって、
前記対象物からセンサにより三次元点群データを取得する三次元点群データ取得部と、
前記三次元点群データを端末の表示領域に表示する三次元点群データ表示部と、
前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得する二次元画像データ取得部と、
前記二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を検出する画像解析部と、
を含む、ことを特徴とする形状検出システム。
［項目１０］
対象物の形状を検出する形状検出方法をコンピュータに実行させるためのプログラムであって、
前記プログラムは、前記形状検出方法として、
前記対象物からセンサにより三次元点群データを取得するステップと、
前記三次元点群データを端末の表示領域に表示するステップと、
前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得するステップと、
前記二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を検出するステップと、
をコンピュータに実行させる、ことを特徴とするプログラム。

＜実施の形態の詳細＞
本発明の一実施形態に係る形状検出システム１００の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。

図１は、本実施形態の形状検出システム１００の一例を示す図である。図１に示されるように、本実施形態の形状検出システム１００では、端末１と、作業用ロボット２とを有している。作業用ロボット２は、少なくともアーム２１、ツール２２、センサ２３を有している。端末１と作業用ロボット２とは、有線または無線にて互いに通信可能に接続されている。

＜端末１＞
図２は、端末１のハードウェア構成を示す図である。端末１は、例えばパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。

端末１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。

プロセッサ１０は、端末１全体の動作を制御し、少なくとも作業用ロボット２とのデータ等の送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開された本システムのためのプログラム等を実行して各情報処理を実施する。

メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、端末１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。

ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。

送受信部１３は、端末１を少なくとも作業用ロボット２と接続し、プロセッサの指示に従い、データ等の送受信を行う。なお、送受信部１３は、有線または無線により構成されおり、無線である場合には、例えば、ＷｉＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）の近距離通信インターフェースにより構成されていてもよい。

入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。

バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

＜作業用ロボット２＞
図１に戻り、本実施形態に係る作業用ロボット２について説明する。

上述のとおり、作業用ロボット２は、アーム２１と、ツール２２と、センサ２３とを有する。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。

アーム２１は、三次元のロボット座標系に基づき、端末１にその動作を制御される。また、アーム２１は、有線または無線で作業用ロボット２と接続されたコントローラ（不図示）をさらに備え、これによりその動作を制御されてもよい。

ツール２２は、三次元のツール座標系に基づき、端末１にその動作を制御される。また、ツール２２の構成は、用途に合わせて何れのツールを備えていてもよく、例えば、溶接用トーチや塗装用塗料噴射装置、把持装置、掘削装置、研磨装置などであってもよい。

センサ２３は、三次元のセンサ座標系に基づき、対象物のセンシングを行う。センサ２３は、例えば三次元スキャナとして動作するレーザセンサであり、センシングにより対象物の三次元点群データを取得する。三次元点群データは、例えば、図４に示されるようなものであり、それぞれの点データがセンサ座標を有し、点群により対象物の形状を把握することが可能となる。

なお、より具体的には、作業前に所定のキャリブレーションを行い、ロボット座標系及びツール座標系、センサ座標系を互いに関連付け、例えばセンサ座標系を基にユーザが位置を指定することにより、アーム２１やツール２２が対応した位置を基に動作制御されるように構成をなしてもよい。

＜端末１の機能＞
図３は、端末１に実装される機能を例示したブロック図である。本実施の形態においては、端末１のプロセッサ１０は、三次元点群データ取得部１０１、三次元点群データ表示部１０２、二次元画像データ取得部１０３、画像解析部１０４を有している。また、端末１のストレージ１２は、三次元点群データ記憶部１２１、二次元画像データ記憶部１２２、画像解析結果情報記憶部１２３を有している。

三次元点群データ取得部１０１は、端末１の入出力部１４からの指示により、作業用ロボット２を制御し、センサ２３により対象物の三次元点群データを取得する。取得した三次元点群データは、例えばセンサ座標系に基づく三次元座標情報データであり、三次元点群データ記憶部１２１に記憶される。

三次元点群データ表示部１０２は、三次元点群データ取得部１０１により取得された三次元点群データを、例えば図４に例示されるような表示領域Ｖに表示する。ユーザは、表示領域Ｖ内に表示された三次元点群データを任意の方向から視認可能であり、例えば入出力部１４に接続されたキーボード・マウス類等の情報入力機器にて、当該任意の方向を指定可能である。

また、三次元点群データ表示部１０２は、後述の画像解析部１０４によって検出された所定の形状を構成する座標データ（例えば、二次元画像データ上の二次元座標）に基づき、例えば図５に示されるように当該所定の形状が認識可能なように表示領域Ｖに表示する（例えば、表示領域Ｖ上の所定の形状を構成する座標データ部分に、白色部分に赤等で色付けを行うなど）。ユーザは、表示領域Ｖ内に表示された三次元点群データを任意の方向から視認可能であり、例えば入出力部１４に接続されたキーボード・マウス類等の情報入力機器にて、当該任意の方向を指定可能である。

二次元画像データ取得部１０３は、表示領域Ｖの表示を、いわゆるスクリーンショットのように二次元画像データとして取得する。取得した二次元画像データは、例えばビットマップデータのような汎用的な画像データであり、二次元画像データ記憶部１２２に記憶される。

画像解析部１０４は、二次元画像データ取得部１０３により取得された二次元画像データを所定の条件下で画像解析し、当該所定の条件により指定された所定の形状を検出する。そして、所定の形状を構成する座標データ（例えば、二次元画像データ上の二次元座標）を画像解析結果情報記憶部１２３に記憶する。所定の条件は、例えば、所定の色の点群が密集することにより生じた所定の色の特徴点の大きさや長さが所定値以上であることを判定するものである。

ここで、所定の色の点群が密集した状態について、例えば、金属加工分野や樹脂成型分野において、材料の成形収縮等により生じる微小な凹部形状（いわゆる、ヒケ）を有し得る対象物に対して三次元スキャンを行って得た三次元点群データを確認する場合を基に説明する。例えば、図６の仮想ユーザ位置４２から三次元点群データ４１を確認する場合には、全体として概ね１つ程度の点データが見えるため、密集度合いは概ね一様となり、特徴点は存在しないに等しい。一方で、図６の仮想ユーザ位置４３から三次元点群データ４１を確認する場合には、２以上の点データが密集する部分が存在するため、このような部分が特徴点として現れてくる。その結果、例えば図４の凹部形状３１や凸部形状３２のように、例えば白色の特徴部分が画像解析により検出することが可能となる。

また、画像解析部１０４は、同一または類似の条件により、対象物が二以上の構成物が重なったものである場合においても、構成物同士の境界形状を検出可能である。すなわち、二以上の構成物が重なったものに対して三次元スキャンを行うと、境界形状は一種の凹部形状のような点群データが取得できるため、上述と同様に画像解析により構成物同士の境界形状を検出することが可能となる。

さらに、画像解析部１０４は、同一または類似の条件により、対象物の端面やエッジも検出可能である。すなわち、対象物の端面やエッジは一種の凸部形状のような点群データが取得できるため、上述と同様に画像解析により対象物の端面やエッジを検出することが可能となる。

なお、画像解析部１０４は、機械学習や深層学習により、凹部形状や境界形状、凸部形状などの所定の形状（特徴部分）が現れやすい部分と三次元点群データの関係を学習することで、ユーザが所定の形状を指定するだけで画像解析により二次元画像データ上の所定の形状を検出することを可能としてもよい。

＜形状検出方法のフローチャート＞
図７は、本実施形態の形状検出システム１００における形状検出方法のフローチャートである。

まず、ユーザは、端末１またはコントローラ（不図示）により作業用ロボット２を操作し、端末１の三次元点群データ取得部１０１による制御に基づき、センサ２３により、例えば作業台上に位置する対象物の三次元点群データを取得する（ＳＱ１０１）。

次に、三次元点群データ表示部１０２により取得した三次元点群データを表示領域Ｖへ表示し、二次元画像データ取得部１０３により当該表示領域Ｖの画像データを取得する（ＳＱ１０２）。

次に、画像解析部１０４により取得した二次元画像データを所定の条件下で画像解析し、ユーザ指定の所定の形状を検出する（ＳＱ１０３）。

次に、三次元点群データ表示部１０２は、検出された所定の形状を構成する座標データ（例えば、二次元画像データ上の二次元座標）に基づき、表示領域Ｖ上で当該所定の形状が認識可能なように表示する（ＳＱ１０４）。

したがって、二次元画像データの解析を行うだけで対象物上の所定の形状を検出可能であるため、本実施形態の形状検出システム１００は、対象物上の所定の形状を簡易かつ迅速に検出できるものである。

なお、二次元画像データを取得するステップ（ＳＱ１０２）時に取得した二次元画像データ上の二次元座標を基に画像解析結果を反映していることを鑑みれば、例えば、二次元画像データ取得時の表示領域Ｖの大きさを記憶しておくことにより、もし表示領域Ｖの大きさが画像解析後に変更されていたとしても、現在の表示領域Ｖの大きさ（および／またはその二次元座標）と、二次元画像データ取得時の表示領域Ｖの大きさ（および／またはその二次元座標）を対応付けすることにより、画像解析結果を反映することが可能である。そのほか、少なくとも画像データ取得後には、表示領域Ｖの大きさを変更不可とするように設定してもよい。

＜他の実施の形態１＞
上述の形状検出システム１００では、画像解析結果として得られた所定の形状を構成する座標データ（例えば、二次元画像データ上の二次元座標）に基づき、表示領域Ｖ上で当該所定の形状が認識可能なように表示している。これに加えて（または代えて）、三次元点群データ表示部１０２が、ユーザが三次元点群データを何れの方向から視認しているか、表示領域Ｖにはどの三次元点群データが何れの位置に表示されているかを把握することで、表示領域Ｖ上の二次元座標系の所定位置と、三次元点群データの三次元座標系の所定位置とが、互いに対応付けされ、三次元点群データ上に画像解析結果を反映させてもよい。

より具体的には、例えば、図８を参照すると、ユーザが指定した任意の方向とは、仮想ユーザ位置６１からの方向であり、仮想ユーザ位置６１から当該任意の方向へ所定長さ進んだ位置での所定範囲の平面領域を仮想表示領域６２とし、これを表示領域Ｖへ表示する。そして、例えば仮想ユーザ位置６１から仮想表示領域６２のある点Ｎが位置する二次元位置６３へと仮想直線（図８の一点鎖線）を引き、当該仮想直線を延長して三次元点群データのうち最初に交わる点Ｍを求め、点Ｍと点Ｎの各座標間の対応関係を記憶するようにしてもよい。

その後、画像解析部１０４の画像解析により、二次元画像データ上の所定の形状を構成する座標データが得られた場合には、上述の対応関係を用いて、三次元点群データ内の対応する点データを検出し、当該点データが表示領域Ｖ上で色付けされるなどして確認可能なように表示されてもよい。

このような構成をなすことにより、表示領域Ｖ上に表示された解析結果が、画像解析時の二次元画像データ上に限らず、例えば入出力部１４に接続されたキーボード・マウス類等の情報入力機器にて、当該任意の方向を指定された場合であっても、表示領域Ｖ上で所定の形状を確認可能となる。

また、プロセッサ１０は、特に、三次元点群データ上または表示領域Ｖ上の解析した任意の点間の長さを把握することも可能である。これにより、ユーザが認識したい位置間の長さを把握することも可能になり、例えば所定形状が溝等の凹部形状である場合には、その凹部形状間の長さや幅なども確認することが可能である。

＜他の実施の形態２＞
上述の形状検出方法は、特に、複数の対象物に対して基準を満たさない形状となっていないかを判定することに用いると有用である。すなわち、基準を満たさない形状の対象物（例えば、凹部形状３１が所定の部分に現れているなど）に対して、いずれの方向（仮想ユーザ位置）から点群データを確認すると特徴部分が画像解析にて検出可能かを記憶することにより、全ての対象物に対して、同様の基準を満たさない形状となっていないかを容易に確認可能である。

＜他の実施の形態３＞
上述の形状検出方法は、特に、複数の対象物に対して基準を満たす形状となっているかどうかを判定することに用いると有用である。すなわち、基準を満たしている形状か確認可能なように対象物周囲の多方向に仮想ユーザ位置を設定して記憶し、それらの方向から取得した画像の解析結果を、基準を満たすものの画像解析結果と比較して、例えば形状変形やスクラッチなどの有無の判定を行うようにしてもよい。

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。

１ 端末
２ 作業用ロボット
２１ アーム
２２ ツール
２３ センサ

Claims (10)

1. 対象物の形状を検出する形状検出方法であって、
   前記対象物からセンサにより三次元点群データを取得するステップと、
   前記三次元点群データを端末の表示領域に表示するステップと、
   前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得するステップと、
   前記二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を検出するステップと、
   を含む、ことを特徴とする形状検出方法。
2. 請求項１に記載の形状検出方法であって、
   前記二次元画像データの二次元座標は、前記三次元点群データの三次元座標と対応付けされており、
   さらに、前記検出された所定の形状の位置が、前記対象物の三次元データ上で把握可能に前記表示領域に表示するステップを含む、
   ことを特徴とする形状検出方法。
3. 請求項１または２に記載の形状検出方法であって、
   前記二次元画像データを取得時の表示領域の大きさを記憶するステップをさらに含む、
   ことを特徴とする形状検出方法。
4. 請求項１ないし３に記載の形状検出方法であって、
   前記二次元画像データを取得時に表示領域の大きさの変更を禁止するステップをさらに含む、
   ことを特徴とする形状検出方法。
5. 請求項１ないし４に記載の形状検出方法であって、
   前記所定の形状は、対象物の凹部形状である、
   ことを特徴とする形状検出方法。
6. 請求項１ないし４に記載の形状検出方法であって、
   前記所定の形状は、対象物の凸部形状である、
   ことを特徴とする形状検出方法。
7. 請求項１ないし４に記載の形状検出方法であって、
   前記対象物は、二以上の構成物が重なったものであり、
   前記所定の形状は、前記構成物同士の境界形状である
   ことを特徴とする形状検出方法。
8. 請求項１ないし７に記載の形状検出方法であって、
   前記二次元画像データ上の任意の位置間の長さを測定する、
   ことを特徴とする形状検出方法。
9. 対象物の形状を検出する形状検出システムであって、
   前記対象物からセンサにより三次元点群データを取得する三次元点群データ取得部と、
   前記三次元点群データを端末の表示領域に表示する三次元点群データ表示部と、
   前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得する二次元画像データ取得部と、
   前記二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を検出する画像解析部と、
   を含む、ことを特徴とする形状検出システム。
10. 対象物の形状を検出する形状検出方法をコンピュータに実行させるためのプログラムであって、
    前記プログラムは、前記形状検出方法として、
    前記対象物からセンサにより三次元点群データを取得するステップと、
    前記三次元点群データを端末の表示領域に表示するステップと、
    前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得するステップと、
    前記二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を検出するステップと、
    をコンピュータに実行させる、ことを特徴とするプログラム。
    

Images