JP2021096610A - 情報処理システム、情報処理方法、情報処理プログラム - Google Patents

Abstract

【課題】製品の撮像画像に３次元モデルを自動で重ねて表示できる情報処理システムを提供する。【解決手段】情報処理システムは、対象物の撮像画像を取得する画像取得部と、対象物上に設けられた基準点とカメラとの間の距離を取得する距離取得部と、対象物の設計データに基づいて対象物の３次元モデルを生成し、基準点とカメラとの間の距離に基づいて３次元モデルの大きさ及び向きを調整し、撮像画像上に３次元モデルを重ねて表示部に表示させる表示制御部と、を備える。【選択図】 図１

Description

本発明は、情報処理システム、情報処理方法、情報処理プラグラムに関する。

従来、製品が製作図面どおりに製作されているか否かを検査する場合には、人が製品の寸法を測定し、製作図面と照らして形状に間違いが無いかを確認し、判定基準を基に合否を判定していた。

しかしながら、ボイラなどの複数の部品からなる製品は、検査に時間を要し、全ての部位の寸法測定を実施することは、現実的に不可能である。そのため、測定対象外の部位で許容範囲外の寸法差が生じていても、発見できない可能性がある。また、勝手反対の図面表記の場合、製作・検査ともに時間がかかり、間違えが生じやすい。

特許文献１には、製品の設計データから生成される３次元モデルを当該製品の撮像画像に重ねて表示するシステムが開示されている。

特開２０１９−１５９３７５号公報

しかしながら、特許文献１のシステムでは、製品の撮像画像に対して３次元モデルを正確に重ねて表示するためには、当該製品に対するカメラの相対的な位置姿勢（視線位置および視線方向）の情報を、外部パラメータとして、ユーザが撮像画像を参照しながらマウスやキーボード操作により入力する必要がある。そのため、特許文献１のシステムでは、製品検査を自動化することができない。また、入力操作を行うユーザの熟練度に応じて撮像画像と３次元モデルとの重なり精度にバラツキが発生し、その結果、製品と設計データとの差異を誤検出する可能性がある。

また、特許文献１のシステムでは、物体の撮像画像から抽出した直線群と設計データから生成した直線群とを比較、一致させるところ、製造途中の加工前段階において物体の形状がまだ完成していない場合や、組立・据付確認時のように形状が完成している物体がその場に無い状態には、直線群の比較、一致ができないため、物体の撮像画像に対して３次元モデルを重ねて表示することができず、３次元モデルの重畳表示を活用できない。

本発明は、以上のような点を考慮してなされたものでる。本発明の目的は、製品の撮像画像に３次元モデルを自動で重ねて表示できる情報処理システム、情報処理方法、情報処理プログラムを提供することにある。

本発明の第１の態様に係る情報処理システムは、
対象物の撮像画像を取得する画像取得部と、
前記対象物上に設けられた基準点と前記カメラとの間の距離を取得する距離取得部と、
前記対象物の設計データに基づいて前記対象物の３次元モデルを生成し、前記基準点とカメラとの間の距離に基づいて前記３次元モデルの大きさ及び向きを調整し、前記撮像画像上に前記３次元モデルを重ねて表示部に表示させる表示制御部と、
を備える。

このような態様によれば、撮像画像上に３次元モデルを重ねて表示する際に、対象物上に設けられた基準点とカメラとの間の距離が距離取得部により取得され、当該基準点とカメラとの間の距離に基づいて３次元モデルの大きさ及び向きが表示制御部により調整されるため、対象物に対するカメラの相対的な位置姿勢（視線位置および視線方向）の情報をユーザが入力しなくても、製品の撮像画像に３次元モデルを自動で重ねて表示することが可能である。また、ユーザによる外部パラメータの入力操作が不要であるため、入力操作を行うユーザの熟練度に応じて重なり精度にバラツキが発生したりすることがなく、経験値の低いユーザであっても製品の撮像画像に３次元モデルに精度よく重ねて表示することができる。さらに、製造途中の加工前段階において物体の形状がまだ完成していない場合や、組立・据付確認時のように形状が完成している物体がその場に無い状態であっても、対象物上に設けられた基準点とカメラとの間の距離に基づいて３次元モデルの大きさ及び向きが調整されることで、対象物の撮像画像に対して３次元モデルを適切に重ねて表示することができる。

本発明の第２の態様に係る情報処理システムは、第１の態様に係る情報処理システムであって、
前記３次元モデルの輪郭線と前記撮像画像の輪郭線とを比較する比較部をさらに備える。

本発明の第３の態様に係る情報処理システムは、第２の態様に係る情報処理システムであって、
前記比較部は、異なる角度から撮像された複数の撮像画像にて前記輪郭線の比較を行う。

本発明の第４の態様に係る情報処理システムは、第１〜３のいずれかの態様に係る情報処理システムであって、
前記基準点の数は３以上である。

本発明の第５の態様に係る情報処理システムは、第４の態様に係る情報処理システムであって、
前記基準点の数は４以上である。

本発明の第６の態様に係る情報処理システムは、第１〜５のいずれかの態様に係る情報処理システムであって、
前記カメラはドローンに設けられている。

本発明の第７の態様に係る情報処理システムは、第６の態様に係る情報処理システムであって、
前記ドローンは前記対象物の溶接線または前記設計データに基づいて指定された範囲に沿って移動する。

本発明の第８の態様に係る情報処理システムは、第１〜７のいずれかの態様に係る情報処理システムであって、
前記対象物はボイラまたはボイラを構成する部品である。

本発明の第９の態様に係る情報処理システムは、第２または３の態様、もしくは第２または３の態様を引用する第４〜８のいずれかの態様に係る情報処理システムであって、
前記比較部の比較結果に基いて寸法差を測定し、当該寸法差が予め定められた許容範囲内であるか否かを判定し、許容範囲内である場合には、前記対象物が単体として合格であると判定し、許容範囲外である場合には、前記対象物が単体として不合格であると判定する合否判定部をさらに備える。

本発明の第１０の態様に係る情報処理システムは、第９の態様に係る情報処理システムであって、
前記合否判定部は、互いに接合されるべき一対の対象物の各々に対して単体として合格であると判定した場合に、一方の対象物についての前記撮像画像に基づく前記比較部の比較結果に基いて測定された寸法差の符号と、他方の対象物についての前記撮像画像に基づく前記比較部の比較結果に基いて測定された寸法差の符号とを比較し、符号が同じか異なるかに応じてペアとしての合否を判定する。前記合否判定部により不合格と判定された場合には、前記表示制御部は、不合格と判定された部位を３次元モデル上に他の部位とは異なる態様で表示してもよい。

本発明の第１１の態様に係る情報処理システムは、第１〜１０のいずれかの態様に係る情報処理システムであって、
前記基準点は、前記対象物上に磁力により着脱可能に取り付けられている。

本発明の第１２の態様に係る情報処理システムは、第１〜１０のいずれかの態様に係る情報処理システムであって、
前記基準点は、前記対象物上に溶接されて固定されている。

本発明の第１３の態様に係る情報処理システムは、第１〜１２のいずれかの態様に係る情報処理システムであって、
前記表示制御部は、前記対象物の設計データに基づいて前記対象物の３次元モデルを生成し、前記基準点とカメラとの間の距離に基づいて前記３次元モデルを勝手反対に変換するとともに前記３次元モデルの大きさ及び向きを調整し、前記撮像画像上に前記３次元モデルを重ねて表示部に表示させる。

本発明の第１４の態様に係る情報処理システムは、第２または３の態様、もしくは第２または３の態様を引用する第４〜１３のいずれかの態様に係る情報処理システムであって、
前記カメラと、前記表示部と、記憶部と、を有する端末装置をさらに備え、
前記記憶部には、前記比較部の比較結果に基いて測定された寸法差が反映された３次元モデルが記憶され、
前記表示部は、前記記憶部に記憶された３次元モデルを表示可能である。

本発明の第１５の態様に係る情報処理システムは、第１〜１４のいずれかの態様に係る情報処理システムであって、
前記表示部において、前記３次元モデルは、線で表すパターンと、実写で表すパターンとを選択して表示可能である。

本発明の第１６の態様に係る情報処理システムは、第１〜１５のいずれかの態様に係る情報処理システムであって、
前記対象物の撮像画像に基づいて、前記対象物の溶接外観および／または塗装外観を画像認識により合否判定する第２合否判定部をさらに備える。

本発明の第１７の態様に係る情報処理方法は、
コンピュータが実行する情報処理方法であって、
対象物の撮像画像を取得するステップと、
前記対象物上に設けられた基準点と前記カメラとの間の距離を取得するステップと、
前記対象物の設計データに基づいて前記対象物の３次元モデルを生成し、前記基準点とカメラとの間の距離に基づいて前記３次元モデルの大きさ及び向きを調整し、前記撮像画像上に前記３次元モデルを重ねて表示部に表示させるステップと、
を含む。

本発明の第１８の態様に係る情報処理プログラムは、
コンピュータを、
対象物の撮像画像を取得する画像取得部と、
前記対象物上に設けられた基準点と前記カメラとの間の距離を取得する距離取得部と、
前記対象物の設計データに基づいて前記対象物の３次元モデルを生成し、前記基準点とカメラとの間の距離に基づいて前記３次元モデルの大きさ及び向きを調整し、前記撮像画像上に前記３次元モデルを重ねて表示部に表示させる表示制御部と、
として機能させる。

本発明によれば、製品の撮像画像に３次元モデルを自動で重ねて表示できる。

図１は、一実施の形態に係る情報処理システムの概略的な構成を示す図である。 図２Ａは、図１に示す情報処理システムにおいて対象物（ボイラを構成する部品）とカメラとの位置関係の一例を説明するための図である。 図２Ｂは、図１に示す情報処理システムにおいて対象物（ボイラを構成する別の部品）とカメラとの位置関係の一例を説明するための図である。 図２Ｃは、図１に示す情報処理システムにおいて対象物（ボイラを構成する別の部品）とカメラとの位置関係の一例を説明するための図である。 図２Ｄは、図１に示す情報処理システムにおいて対象物（組立後のボイラ）とカメラとの位置関係の一例を説明するための図である。 図３は、図２Ａに示す位置関係で撮像したときの対象物の撮像画像の一例を示す図である。 図４は、図２Ａに示す位置関係で測定された基準点までの距離に基づいて大きさおよび向きが調整された対象物の３次元モデルの一例を示す図である。 図５Ａは、端末装置の表示部にて撮像画像上に３次元モデルが重ねて表示された状態の一例を示す図である。 図５Ｂは、端末装置の表示部にて３次元モデルが表示された状態の一例を示す図である。 図６Ａは、互いに接合されるべき一対の対象物の接合前の状態を説明するための図である。 図６Ｂは、互いに接合されるべき一対の対象物の接合後の状態を説明するための図である。 図７Ａは、寸法差の符号が両方ともプラスの場合について説明するための図である。 図７Ｂは、寸法差の符号が両方ともマイナスの場合について説明するための図である。 図８は、一実施の形態に係る情報処理システムの動作の一例を示すフローチャートである。 図９は、カメラがドローンに設けられた態様を説明するための図である。

以下に、添付の図面を参照して、本発明の実施の形態を詳細に説明する。なお、以下の説明および以下の説明で用いる図面では、同一に構成され得る部分について、同一の符号を用いるとともに、重複する説明を省略する。

図１は、一実施の形態に係る情報処理システム１の概略的な構成を示す図である。

図１に示すように、情報処理システム１は、端末装置２と、サーバ３とを備えている。端末装置２とサーバ３とは、インターネット等のネットワーク４を介して互いに通信可能に接続されている。ネットワーク４は、有線回線と無線回線のいずれでもよく、回線の種類や形態は問わない。なお、端末装置２とサーバ３の少なくとも一部は、コンピュータにより実現される。

端末装置２は、ユーザが使用するものであり、たとえば、スマートフォンやタブレット端末、ウェアラブル端末、ノートブックコンピュータなどの電子機器である。

図１に示すように、端末装置２は、端末通信部２１と、端末制御部２２と、端末記憶部２３と、端末入力部２４と、端末表示部２５と、カメラ２６と、距離センサ２７とを有している。各部は、バスを介して互いに通信可能に接続されている。

端末通信部２１は、端末装置２とネットワーク４との間の通信インターフェースである。端末通信部２１は、ネットワーク４を介して端末装置２とサーバ３との間で情報を送受信する。

端末制御部２２は、端末装置２の各種処理を行う制御手段である。端末制御部２２は、端末装置２内のプロセッサが所定のプログラムを実行することにより実現されてもよいし、ハードウェアで実装されてもよい。

端末記憶部２３は、たとえば内蔵メモリや外部メモリ（ＳＤメモリカード等）などのデータストレージである。端末記憶部２３には、端末制御部２２が取り扱う各種データが記憶される。なお、端末記憶部２３は、必ずしも端末装置２内に設けられていなくてもよく、端末記憶部２３の一部または全部は、ネットワーク４を介して端末装置２と通信可能に接続された別の装置（たとえば不図示のストレージサーバ）内に設けられていてもよい。

端末入力部２４は、ユーザが端末装置２に情報を入力するためのインターフェースであり、たとえばスマートフォンやタブレット端末におけるタッチパネルやマイクロフォン、ノートブックコンピュータにおけるタッチパッド、キーボードまたはマウスなどである。

端末表示部２５は、端末装置２からユーザに対して各種情報を表示するインターフェースであり、たとえば液晶ディスプレイ等の映像表示手段である。具体的には、たとえば、端末表示部２５は、ユーザからの操作を受け付けるためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示してもよい。

カメラ２６は、対象物１００（図２Ａ参照）を撮像して撮像画像２００（図３参照）を生成する撮像装置であり、たとえば対象物１００から反射または放射される光を受光して２次元の電子情報に変換するＣＣＤカメラやＣＭＯＳカメラを用いることができる。カメラ２６により撮像されて生成される対象物１００の撮像画像２００は、端末記憶部２３に記憶されてもよいし、図５Ａに示すように、端末表示部２５に（たとえばリアルタイムで）表示されてもよい。

一変形として、図９を参照し、カメラ２６はドローン５に設けられていてもよい。これにより、ユーザがカメラ２６を手元で操作して対象物１００を撮像する必要がなくなり、たとえば夜間などに無人でドローン５を移動させて対象物１００を撮像することが可能となり、効率的である。また、対象物１００がボイラやボイラを構成する部品などの大型の物品である場合であっても、ドローン５であれば任意の方向（たとえば真上）から対象物１００に接近して撮像できるため、対象物１００の外観を漏れなく詳細に撮像することができる。

カメラ２６がドローン５に設けられている場合には、ドローン５は対象物１００の溶接線または設計データ３３１に基づいて指定された範囲に沿って移動するように構成されていてもよい。この場合、対象物１００における溶接線の位置情報や設計データ３３１に基づいて指定された範囲の位置情報（すなわちドローン５の移動ルート）は、ドローン５内のメモリ（不図示）に予め記憶されていてもよいし、ドローン５の移動中にサーバ３などからネットワーク４を介して逐次取得されてもよい。ドローン５が対象物１００の溶接線に沿って移動することにより、カメラ２６にて対象物１００の溶接外観を効率的に撮像することが可能となり、対象物１００がボイラなどの圧力容器の場合には、圧力容器に求められる高い溶接基準を対象物１００が満たしているかどうかを自動で検査することが可能となる。

距離センサ２７は、対象物１００上に設けられた基準点１０１〜１０３とカメラ２６との間の距離Ｄ１〜Ｄ３（図２Ａ参照）を測定するセンサである。距離センサ２７としては、たとえばカメラ２６の位置から基準点１０１〜１０３に向けてレーザを照射し、基準点１０１〜１０３で反射したレーザを受光してカメラ２６と基準点１０１〜１０３との間の距離Ｄ１〜Ｄ３を測定するレーザ式距離センサを用いてもよいし、端末装置２に２台以上のカメラ２６が設けられている場合には、２台以上のカメラ２６による撮像画像間の視差に基づいてカメラ２６と基準点１０１〜１０３との間の距離Ｄ１〜Ｄ３を測定する視差式距離センサを用いてもよい。

なお、図２Ａを参照し、対象物１００上に設けられた基準点１０１〜１０３は、対象物１００上に磁力により着脱可能に取り付けられたものであってもよいし、対象物１００上に溶接されて固定されたものであってもよい。基準点１０１〜１０３が対象物１００上に磁力により着脱可能に取り付けられている場合には、対象物の出荷前に不要な基準点１０１〜１０３を取り外すことが容易である。また、基準点１０１〜１０３が対象物１００上に溶接されて固定されている場合には、振動などの影響で基準点１０１〜１０３に位置ずれが生じることを防止できる。図２Ａに示す例では、基準点１０１〜１０３の数が３個であるが、４個以上であってもよい。また、図２Ａに示す例では、対象物１００はボイラを構成するウォーターウォールアセンブリであるが、これに限定されるものではなく、たとえばボイラを構成するドラムアセンブリ１００Ｘ（図２Ｂ参照）であってもよいし、ボイラを構成する接続パイプアセンブリ１００Ｙ（図２Ｃ参照）であってもよいし、現場組立後のボイラ１００Ｚ（図２Ｄ参照）であってもよい。

次に、サーバ３について説明する。図１に示すように、サーバ３は、サーバ通信部３１と、サーバ制御部３２と、サーバ記憶部３３とを有している。各部は、バスやネットワークを介して互いに通信可能に接続されている。

このうちサーバ通信部３１は、サーバ３とネットワーク４との間の通信インターフェースである。サーバ通信部３１は、ネットワーク４を介してサーバ３と端末装置２との間で情報を送受信する。

サーバ記憶部３３は、たとえばハードディスク等の固定型データストレージである。サーバ記憶部３３には、サーバ制御部３２が取り扱う各種データが記憶される。たとえば、サーバ記憶部３３には、対象物の設計データ３３１と、対象物の撮像画像２００とが記憶される。

対象物の設計データ３３１は、互いに接合されるべき一対の対象物については、一方の対象物の設計データ３３１のみがサーバ記憶部３３に記憶され、勝手反対である他方の対象物の設計データはサーバ記憶部３３に記憶されていなくてもよい。これにより、サーバ記憶部３３の記憶容量を節約することができる。

対象物の撮像画像２００は、端末装置２のカメラ２６により撮像されたものであり、静止画像であってもよいし、動画像であってもよい。静止画像である場合には、一つの対象物１００について、異なる角度から撮像された複数の撮像画像２００が記憶されていてもよい。

なお、サーバ記憶部３３は、必ずしもサーバ３内に設けられていなくてもよく、サーバ記憶部３３の一部または全部は、ネットワーク４を介してサーバ３と通信可能に接続された別の装置（たとえば不図示のストレージサーバ）内に設けられていてもよい。

図１に示すように、サーバ制御部３２は、画像取得部３２１と、距離取得部３２２と、表示制御部３２３と、比較部３２４と、合否判定部３２５とを有している。これらの各部は、サーバ３内のプロセッサが所定のプログラムを実行することにより実現されてもよいし、ハードウェアで実装されてもよい。

画像取得部３２１は、端末装置２のカメラ２６により撮像された対象物の撮像画像２００を、端末装置２からネットワーク４を介して取得する。画像取得部３２１により取得された対象物の撮像画像２００は、サーバ記憶部３３に記憶される。

距離取得部３２２は、端末装置２の距離センサ２７により測定された、対象物１００上に設けられた基準点１０１〜１０３とカメラ２６との間の距離Ｄ１〜Ｄ３の情報を、端末装置２からネットワーク４を介して取得する。距離取得部３２２により取得された基準点とカメラとの間の距離Ｄ１〜Ｄ３の情報は、サーバ記憶部３３に記憶されてもよい。

表示制御部３２３は、対象物の設計データ３３１をサーバ記憶部３３から読み出し、当該設計データ３３１に基づいて対象物の３次元モデル３００を生成する（図４参照）。次いで、表示制御部３２３は、距離取得部３２２により取得された基準点とカメラとの間の距離Ｄ１〜Ｄ３の情報に基づいて、対象物の３次元モデル３００の大きさ及び向きを調整する。たとえば、３次元モデル３００上における基準点３０１〜３０３の相対位置関係（大きさおよび向き）と、距離取得部３２２により取得された基準点とカメラとの間の距離Ｄ１〜Ｄ３の情報に基づいて特定される対象物１００上における基準点１０１〜１０３の相対位置関係（大きさおよび向き）との差異を算出し、当該差異がゼロになるように（すなわち、３次元モデル３００上における基準点３０１〜３０３の相対位置関係が、カメラ２６の位置から見たときの対象物１００上における基準点１０１〜１０３の相対位置関係と一致するように）、対象物の３次元モデル３００の大きさを拡大または縮小するとともに向きを回転させる。

サーバ記憶部３３に記憶された設計データ３３１が対象物の勝手反対の設計データである場合には、表示制御部３２３は、勝手反対の設計データ３３１に基づいて３次元モデル３００を生成したのち、距離取得部３２２により取得された基準点とカメラとの間の距離Ｄ１〜Ｄ３の情報に基づいて、当該３次元モデル３００を勝手反対に変換するとともに、勝手反対に変換された後の３次元モデル３００の大きさ及び向きを調整してもよい。

そして、表示制御部３２３は、大きさおよび向きが調整された後の対象物の３次元モデル３００の情報を、ネットワーク４を介して端末装置２へ送信し、図５Ａに示すように、端末表示部２７に表示された撮像画像２００上に３次元モデル３００を重ねて表示させる。このとき、３次元モデル３００の大きさおよび向きは、カメラ２６の位置から見たときの対象物１００の大きさおよび向きと一致するように、距離取得部３２２により取得された基準点とカメラとの間の距離Ｄ１〜Ｄ３の情報に基づいて調整済みであるため、対象物１００に対するカメラ２６の相対的な位置姿勢（視線位置および視線方向）の情報をユーザが入力しなくても、製品の撮像画像２００に３次元モデル３００を自動で重ねて表示することができる。

端末表示部２７において、対象物の３次元モデル３００は、線で表すパターンと、実写で表すパターンとを選択して表示できるようになっていてもよい。３次元モデル３００が線で表すパターンの場合には、対象物の撮像画像２００に３次元モデル３００が重ねて表示されていても、当該３次元モデル３００が対象物の表面（外観）を隠してしまうことがないので、対象物１００の溶接外観および／または塗装外観を判定することが可能となる。サーバ制御部３２は、対象物の撮像画像２００に基づいて、対象物１００の溶接外観および／または塗装外観を画像認識により合否判定する第２合否判定部（不図示）を有していてもよい。第２合否判定部における合否判定の判定基準は、たとえば、溶接脚長、長さ、幅の不揃い、クレータ、アンダーカット、スパッタなどであってもよい。

端末装置２がサーバ３から受信した対象物の３次元モデル３００の情報は、端末記憶部２３に記憶されてもよい。端末記憶部２３に記憶される３次元モデルは、実際の対象物１００の公差（すなわち、後述する実際の対象物１００の寸法と設計データ３３１上での寸法との間の寸法差Δ）が反映されたものであってもよい。端末記憶部２３に３次元モデル３００の情報が記憶されることで、図５Ｂに示すように、対象物の３次元モデル３００をサーバ３から離れたところにある据付現場でも据付基準の設定により端末表示部２５に表示でき、据付誤差、組立間違えを検出することが可能となる。また、端末表示部２５に表示された３次元モデル３００は端末入力部２４からのユーザの入力操作により端末表示部２５上で移動可能であってもよい。これにより、据付時の吊り込み動線の確認、現地組み立ての取り合い確認に活用できる。また、製品の受入検査時に製品を再検査することにより、完成時の３次元モデル３００と比較して、輸送時の損傷、変形を確認することができる。

比較部３２４は、画像認識により３次元モデル３００の輪郭線と撮像画像２００の輪郭線との比較を行う。ここで、輪郭線とは、３次元モデル３００または撮像画像２００とその背景との間の境界線であってもよいし、３次元モデル３００または撮像画像２００に含まれる稜線であってもよい。比較部３２４は、異なる角度から撮像された複数の撮像画像２００を利用して３次元モデル３００の輪郭線と撮像画像２００の輪郭線との比較を行ってもよい。異なる角度から撮像された複数の撮像画像２００を利用することで、稜線を抽出できない曲面についても、その曲面と背景との境界線を輪郭線として抽出して比較を行うことが可能となる。

比較部３２４は、画像認識により３次元モデル３００と撮像画像２００との比較を行うことで、輪郭線の差異の他に、溶接外観、塗装や傷に関する外観の問題点を抽出してもよい。

合否判定部３２５は、比較部３２４の比較結果に基いて実際の対象物１００の寸法と設計データ３３１上での寸法との間の符号付きの寸法差Δ（図５Ａ参照）を測定し、当該寸法差Δが予め定められた許容範囲内であるか否かを判定する。ここで、寸法差Δの符号は、実際の対象物１００の寸法が設計データ３３１上での寸法より大きければプラス、小さければマイナスであってもよいし、その逆であってもよい。そして、合否判定部３２５は、寸法差Δが許容範囲内であると判定された場合には、対象物１００が単体として合格であると判定する。他方、合否判定部３２５は、寸法差Δが許容範囲外であると判定された場合には、対象物１００が単体として不合格であると判定する。表示制御部３２３は、合否判定部３２５による合否の判定結果および該当部位の情報を端末装置２へと送信し、端末表示部２５に表示させてもよい。図５Ａの符号２５１は、端末表示部２５に表示された合否の判定結果を示している。また、図５Ｂの符号３００Ｘは、合否を判定された該当部位（たとえば不合格の部位）を示している。。寸法差Δや合否の判定結果はサーバ記憶部３３に記憶されてもよい。

また、合否判定部３２５は、図６Ａおよび図６Ｂを参照し、互いに接合されるべき一対の対象物１００ａ、１００ｂの各々に対して単体として合格であると判定した場合に、一方の対象物１００ａについて測定された寸法差Δの符号と、他方の対象物１００ｂについて測定された寸法差Δの符号とを比較する。

そして、合否判定部３２５は、寸法差Δの符号が同じか異なるかに応じてペアとしての合否を判定する。具体的には、たとえば、寸法差の長短で打ち消し合って全長が許容範囲内となるような態様では、寸法差Δの符号が異なると判定された場合（すなわち、一方の対象物１００ａの寸法が設計データ３３１上での寸法差より大きく、他方の対象物１００ｂの寸法が設計データ３３１上での寸法差より小さい場合）には、図６Ｂに示すように、当該一対の対象物１００ａ、１００ｂ同士を符号Ｃ１の箇所で接合する時と当該一対の対象物１００ａ、１００ｂの各々を符号Ｃ２、Ｃ３の箇所で他の対象物１００ｃと接合する時の両方で問題が生じないから、当該一対の対象物１００ａ、１００ｂがペアとして合格であると判定する。

他方、図７Ａおよび図７Ｂを参照し、寸法差Δの符号が同じであると判定された場合には、当該一対の対象物１００ａ、１００ｂがペアとして不合格であると判定する。なぜなら、図７Ａを参照し、寸法差Δの符号が両方ともプラス（すなわち、一対の対象物１００ａ、１００ｂのどちらの寸法も設計データ３３１上での寸法差より大きい場合）には、当該一対の対象物１００ａ、１００ｂ同士を符号Ｃ１の箇所で接合すると、当該一対の対象物１００ａ、１００ｂの各々を符号Ｃ２、Ｃ３の箇所で他の対象物１００ｃと接合できなくなるからである。また、図７Ｂを参照し、寸法差Δの符号が両方ともマイナス（すなわち、一対の対象物１００ａ、１００ｂのどちらの寸法も設計データ３３１上での寸法差より小さい場合）には、当該一対の対象物１００ａ、１００ｂの各々を符号Ｃ２、Ｃ３の箇所で他の対象物１００ｃと接合すると、当該一対の対象物１００ａ、１００ｂ同士を符号Ｃ１の箇所で接合できなくなるからである。

別例として、平面位置の取り合いで同じ位置（符号）の公差となるような態様では、合否判定部３２５は、寸法差Δの符号が同じであると判定された場合には、当該一対の対象物１００ａ、１００ｂがペアとして合格であると判定し、寸法差Δの符号が異なると判定された場合には、当該一対の対象物１００ａ、１００ｂがペアとして不合格であると判定してもよい。表示制御部３２３は、合否判定部３２５によるペアでの合否の判定結果および該当部位の情報を端末装置２へと送信し、端末表示部２５に表示させてもよい。ペアでの合否の判定結果はサーバ記憶部３３に記憶されてもよい。

次に、図８を参照して、このような構成からなる情報処理システム１の動作の一例について説明する。図８は、情報処理システム１の動作の一例を示すフローチャートである。

図８に示すように、まず、端末装置２のカメラ２６が対象物１００（図２Ａ参照）を撮像して撮像画像２００（図３参照）を生成し、サーバ３の画像取得部３２１が対象物の撮像画像２００を端末装置２から取得する（ステップＳ１０）。画像取得部３２１により取得された対象物の撮像画像２００は、サーバ記憶部３３に記憶される。

次に、端末装置２の距離センサ２７が対象物１００上に設けられた基準点１０１〜１０３とカメラ２６のとの間の距離Ｄ１〜Ｄ３（図２Ａ参照）を測定し、サーバ３の距離取得部３２２が当該測定された距離Ｄ１〜Ｄ３の情報を端末装置２から取得する（ステップＳ１１）。距離取得部３２２により取得された基準点とカメラとの間の距離Ｄ１〜Ｄ３の情報は、サーバ記憶部３３に記憶されてもよい。

なお、図８に示す例では、ステップＳ１０の後にステップＳ１１が行われているが、ステップＳ１１の後にステップＳ１０が行われてもよいし、ステップＳ１０とステップＳ１１とが同時に行われてもよい。

次に、表示制御部３２３が、対象物の設計データ３３１をサーバ記憶部３３から読み出し、当該設計データ３３１に基づいて対象物の３次元モデル３００（図４参照）を生成する（ステップＳ１２）。

そして、表示制御部３２３は、距離取得部３２２により取得された基準点とカメラとの間の距離Ｄ１〜Ｄ３の情報に基づいて、対象物の３次元モデル３００の大きさ及び向きを調整する（ステップＳ１３）。

次いで、表示制御部３２３は、大きさおよび向きが調整された後の対象物の３次元モデル３００の情報を、端末装置２へ送信し、図５Ａに示すように、撮像画像２００上に３次元モデル３００を重ねて端末表示部２７に表示させる（ステップＳ１４）。このとき、３次元モデル３００の大きさおよび向きは、カメラ２６の位置から見たときの対象物１００の大きさおよび向きと一致するように、基準点とカメラとの間の距離Ｄ１〜Ｄ３の情報に基づいて調整済みであるため、対象物１００に対するカメラ２６の相対的な位置姿勢（視線位置および視線方向）の情報をユーザが入力しなくても、製品の撮像画像２００に３次元モデル３００を自動で重ねて表示することができる。

次に、比較部３２４が、３次元モデル３００の輪郭線と撮像画像２００の輪郭線との比較を行う（ステップＳ１５）。

そして、合否判定部３２５が、比較部３２４の比較結果に基いて実際の対象物１００の寸法と設計データ３３１上での寸法との間の符号付きの寸法差Δ（図５Ａ参照）を測定し（ステップＳ１６）、当該寸法差Δが予め定められた許容範囲内であるか否かを判定する（ステップＳ１７）。

ステップＳ１７において、寸法差Δが許容範囲内であると判定された場合には、合否判定部３２５は、対象物１００が単体として合格であると判定する（ステップＳ１８）。

他方、ステップＳ１７において、寸法差Δが許容範囲外であると判定された場合には、合否判定部３２５は、対象物１００が単体として不合格であると判定する（ステップＳ１９）。

さらに、合否判定部３２５は、互いに接合されるべき一対の対象物１００ａ、１００ｂ（図６Ａおよび図６Ｂ参照）の各々に対して、ステップＳ１８において単体として合格であると判定した場合に、一方の対象物１００ａについて測定された寸法差Δの符号と、他方の対象物１００ｂについて測定された寸法差Δの符号とを比較する（ステップＳ２０）。

ステップＳ２０において、寸法差Δの符号が異なると判定された場合（すなわち、一方の対象物１００ａの寸法が設計データ３３１上での寸法差より大きく、他方の対象物１００ｂの寸法が設計データ３３１上での寸法差より小さい場合）には、合否判定部３２５は、当該一対の対象物１００ａ、１００ｂがペアとして合格であると判定する（ステップＳ２１）。

他方、ステップＳ２０において、図７Ａおよび図７Ｂを参照し、寸法差Δの符号が同じであると判定された場合には、当該一対の対象物１００ａ、１００ｂがペアとして不合格であると判定する（ステップＳ２２）。

その後、表示制御部３２３は、合否判定部３２５による合否の判定結果および該当部位の情報を端末装置２へと送信し、端末表示部２５に表示させてもよい。図５Ａの符号２５１は、端末表示部２５に表示された合否の判定結果を示している。また、図５Ｂの符号３００Ｘは、合否を判定された該当部位（たとえば不合格の部位）を示している。

以上のような本実施の形態によれば、撮像画像２００上に３次元モデル３００を重ねて表示する際に、対象物１００上に設けられた基準点１０１〜１０３とカメラ２６との間の距離Ｄ１〜Ｄ３が距離取得部３２２により取得され、当該基準点とカメラとの間の距離Ｄ１〜Ｄ３に基づいて３次元モデル３００の大きさ及び向きが表示制御部３２３により調整されるため、対象物１００に対するカメラ２６の相対的な位置姿勢（視線位置および視線方向）の情報をユーザが入力しなくても、製品の撮像画像２００に３次元モデル３００を自動で重ねて表示することが可能である。また、本実施の形態によれば、ユーザによる外部パラメータの入力操作が不要であるため、ユーザの熟練度に応じて重なり精度にバラツキが発生したりすることがなく、経験値の低いユーザであっても製品の撮像画像２００に３次元モデル３００に精度よく重ねて表示することができる。さらに、製造途中の加工前段階において物体の形状がまだ完成していない場合や、組立・据付確認時のように形状が完成している（組み上がっている）物体がその場に無い状態であっても、対象物１００上に設けられた基準点１０１〜１０３とカメラ２６との間の距離Ｄ１〜Ｄ３に基づいて３次元モデル３００の大きさ及び向きが調整されることで、対象物の撮像画像２００に対して３次元モデル３００を適切に重ねて表示することができる。これにより、製作間違いの防止、製作精度の向上、補修などの出戻り作業の防止によるコスト削減、生産業務の効率化、自動化による検査短縮によるコストの削減、データ活用による輸送後の損傷チェック、据付精度の向上といった効果が得られる。

以上、本発明の実施の形態および変形例を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。また、各実施の形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、本実施の形態に係る情報処理システム１は１つまたは複数のコンピュータによって構成され得るが、１つまたは複数のコンピュータに、情報処理システム１を実現させるためのプログラム及び当該プログラムを記録した記録媒体も、本件の保護対象である。

１ 情報処理システム
２ 端末装置
２１ 端末通信部
２２ 端末制御部
２３ 端末記憶部
２４ 端末入力部
２５ 端末表示部
２５１ 判定結果
２６ カメラ
２７ 距離センサ
３ サーバ
３１ サーバ通信部
３２ サーバ制御部
３２１ 画像取得部
３２２ 距離取得部
３２３ 表示制御部
３２４ 比較部
３２５ 合否判定部
３３ サーバ記憶部
３３１ 設計データ
３４ サーバ表示部
４ ネットワーク
５ ドローン
１００、１００ａ〜１００ｃ 対象物
１０１〜１０３ 基準点
２００ 撮像画像
３００ ３次元モデル

Claims (18)

1. 対象物の撮像画像を取得する画像取得部と、
   前記対象物上に設けられた基準点と前記カメラとの間の距離を取得する距離取得部と、
   前記対象物の設計データに基づいて前記対象物の３次元モデルを生成し、前記基準点とカメラとの間の距離に基づいて前記３次元モデルの大きさ及び向きを調整し、前記撮像画像上に前記３次元モデルを重ねて表示部に表示させる表示制御部と、
   を備えたことを特徴とする情報処理システム。
2. 前記３次元モデルの輪郭線と前記撮像画像の輪郭線とを比較する比較部
   をさらに備えたことを特徴とする請求項１に記載の情報処理システム。
3. 前記比較部は、異なる角度から撮像された複数の撮像画像にて前記輪郭線の比較を行う
   ことを特徴とする請求項２に記載の情報処理システム。
4. 前記基準点の数は３以上である
   ことを特徴とする請求項１〜３のいずれかに記載の情報処理システム。
5. 前記基準点の数は４以上である
   ことを特徴とする請求項４に記載の情報処理システム。
6. 前記カメラはドローンに設けられている
   ことを特徴とする請求項１〜５のいずれかに記載の情報処理システム。
7. 前記ドローンは前記対象物の溶接線または前記設計データに基づいて指定された範囲に沿って移動する
   ことを特徴とする請求項６に記載の情報処理システム。
8. 前記対象物はボイラまたはボイラを構成する部品である
   ことを特徴とする請求項１〜７のいずれかに記載の情報処理システム。
9. 前記比較部の比較結果に基いて寸法差を測定し、当該寸法差が予め定められた許容範囲内であるか否かを判定し、許容範囲内である場合には、前記対象物が単体として合格であると判定し、許容範囲外である場合には、前記対象物が単体として不合格であると判定する合否判定部
   をさらに備えたことを特徴とする請求項２または３、もしくは請求項２または３を引用する請求項４〜８のいずれかに記載の情報処理システム。
10. 前記合否判定部は、互いに接合されるべき一対の対象物の各々に対して単体として合格であると判定した場合に、一方の対象物についての前記撮像画像に基づく前記被各部の比較結果に基いて測定された寸法差の符号と、他方の対象物についての前記撮像画像に基づく前記被各部の比較結果に基いて測定された寸法差の符号とを比較し、符号が同じか異なるかに応じてペアとしての合否を判定する
    ことを特徴とする請求項９に記載の情報処理システム。
11. 前記基準点は、前記対象物上に磁力により着脱可能に取り付けられている
    ことを特徴とする請求項１〜１０のいずれかに記載の情報処理システム。
12. 前記基準点は、前記対象物上に溶接されて固定されている
    ことを特徴とする請求項１〜１０のいずれかに記載の情報処理システム。
13. 前記表示制御部は、前記対象物の設計データに基づいて前記対象物の３次元モデルを生成し、前記基準点とカメラとの間の距離に基づいて前記３次元モデルを勝手反対に変換するとともに前記３次元モデルの大きさ及び向きを調整し、前記撮像画像上に前記３次元モデルを重ねて表示部に表示させる
    ことを特徴とする請求項１〜１２のいずれかに記載の情報処理システム。
14. 前記カメラと、前記表示部と、記憶部と、を有する端末装置をさらに備え、
    前記記憶部には、前記比較部の比較結果に基いて測定された寸法差が反映された３次元モデルが記憶され、
    前記表示部は、前記記憶部に記憶された３次元モデルを表示可能である
    ことを特徴とする請求項２または３、もしくは請求項２または３を引用する請求項４〜１３のいずれかに記載の情報処理システム。
15. 前記表示部において、前記３次元モデルは、線で表すパターンと、実写で表すパターンとを選択して表示可能である
    ことを特徴とする請求項１〜１４のいずれかに記載の情報処理システム。
16. 前記対象物の撮像画像に基づいて、前記対象物の溶接外観および／または塗装外観を画像認識により合否判定する第２合否判定部
    をさらに備えたことを特徴とする請求項１〜１５のいずれかに記載の情報処理システム。
17. コンピュータが実行する情報処理方法であって、
    対象物の撮像画像を取得するステップと、
    前記対象物上に設けられた基準点と前記カメラとの間の距離を取得するステップと、
    前記対象物の設計データに基づいて前記対象物の３次元モデルを生成し、前記基準点とカメラとの間の距離に基づいて前記３次元モデルの大きさ及び向きを調整し、前記撮像画像上に前記３次元モデルを重ねて表示部に表示させるステップと、
    を含むことを特徴とする情報処理方法。
18. コンピュータを、
    対象物の撮像画像を取得する画像取得部と、
    前記対象物上に設けられた基準点と前記カメラとの間の距離を取得する距離取得部と、
    前記対象物の設計データに基づいて前記対象物の３次元モデルを生成し、前記基準点とカメラとの間の距離に基づいて前記３次元モデルの大きさ及び向きを調整し、前記撮像画像上に前記３次元モデルを重ねて表示部に表示させる表示制御部と、
    として機能させることを特徴とする情報処理プログラム。

Images