JP2020122653A

JP2020122653A - 対象物確認装置

Info

Publication number: JP2020122653A
Application number: JP2019012788A
Authority: JP
Inventors: 佐藤　洋一; Yoichi Sato; 洋一佐藤; 匠一郎迫; Shoichiro Sako; 麿介菊池; Marosuke Kikuchi
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2019-01-29
Filing date: 2019-01-29
Publication date: 2020-08-13
Anticipated expiration: 2039-01-29
Also published as: US11335016B2; CN111489449A; EP3690807A1; US20200242787A1; JP7204504B2

Abstract

【課題】対象物の確認を正確に行う。【解決手段】対象物確認装置１０は、対象物を撮像した撮像データから抽出された特徴部に基づいて、対象物の３Ｄモデルデータのうち、撮像データに対応する領域を特定する領域特定部２１と、３Ｄモデルデータから、特定された領域の画像データを生成する画像生成部２２と、撮像データと画像データとの間で差異がある箇所を特定する差異特定部２３と、を備える。撮像装置３０の位置や向きを制限するためにフレームなどを準備する必要がない。【選択図】図１

Description

本発明は、対象物確認装置に関する。

従来、撮像装置で撮像された撮像データにより、対象物の検査を行う場合がある。例えば、特許文献１には、航空機のエンジンの周囲にフレームを配し、フレームに沿って撮像装置を移動させてエンジンを撮像する技術が開示されている。撮像データは、撮像装置の位置や向きと共に記憶される。検査対象となるエンジンの撮像の前に、基準となるエンジンが撮像されてマスタ画像が生成される。同一の位置や向きで撮像された撮像データとマスタ画像との比較により、検査が可能となる。

特開２０１７−１７２９８４号公報

特許文献１に記載の技術では、マスタ画像が設計データと同一とは限らない。基準となるエンジンが設計データ通りでないと、検査が不正確となってしまう。そのため、例えば、製品検査のように対象物の確認を行う処理を、正確に行う技術の開発が希求されている。

本発明は、このような課題に鑑み、対象物の確認を正確に行うことが可能な対象物確認装置を提供することを目的としている。

上記課題を解決するために、本発明の対象物確認装置は、対象物を撮像した撮像データから抽出された特徴部に基づいて、対象物の３Ｄモデルデータのうち、撮像データに対応する領域を特定する領域特定部と、３Ｄモデルデータから、特定された領域の画像データを生成する画像生成部と、撮像データと画像データとの間で差異がある箇所を特定する差異特定部と、を備える。

差異がある箇所を特定可能となる態様に撮像データまたは画像データを加工する差異加工部を備えてもよい。

３Ｄモデルデータのうち、対応する撮像データがある領域と、対応する撮像データがない領域とを特定できるように、３Ｄモデルデータを加工するモデル加工部を備えてもよい。

本発明によれば、対象物の確認を正確に行うことが可能となる。

対象物確認装置の概略を示す機能ブロック図である。対象物の撮像の様子を説明するための図である。図３（ａ）は、画像生成部が生成した画像データの一例である。図３（ｂ）は、撮像装置が生成した撮像データの一例である。加工された撮像データの一例を示す図である。加工された３Ｄモデルデータの一例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

図１は、対象物確認装置１０の概略を示す機能ブロック図である。対象物確認装置１０は、例えば、パーソナルコンピュータ、ワークステーションなどのコンピュータで構成される。図１に示すように、対象物確認装置１０は、記憶部１１と、操作部１２と、表示部１３と、制御部２０とを含んで構成される。

記憶部１１は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成される。記憶部１１には、後述する対象物の設計データである３Ｄモデルデータが記憶される。操作部１２は、例えば、キーボードや表示部１３に重畳されるタッチパネルで構成される。操作部１２は、管理者の操作入力を受け付ける。表示部１３は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成される。

制御部２０は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、対象物確認装置１０全体を管理および制御する。また、制御部２０は、領域特定部２１、画像生成部２２、差異特定部２３、差異加工部２４、モデル加工部２５としても機能する。

領域特定部２１は、対象物を撮像した撮像データを撮像装置３０から取得する。撮像装置３０は、例えば、デジタルカメラ、カメラ機能付きのスマートホンなどで構成される。ただし、撮像装置３０は、対象物を撮像して撮像データを生成できれば、他のどのような装置で構成されてもよい。

図２は、対象物Ｐの撮像の様子を説明するための図である。ここでは、対象物Ｐとして、航空機の翼に用いられる部品（ウェブ、スティフナ）を例に挙げて説明する。ただし、対象物Ｐは、これに限定されず、航空機の他の部品であってもよいし、航空機以外の部品であってもよい。また、対象物Ｐは、物品（品物）であればよく、製品（完成品）であってもよいし、製品の一部（未完成の製品）であってもよい。

作業者は、撮像装置３０を携帯し、対象物Ｐを撮像する。撮像者は、対象物Ｐのうち、撮像されていない箇所がなくなるまで、複数回に亘って、様々な画角（位置、向き、光学ズーム機能があれば光学倍率）で対象物Ｐを撮像する。ただし、撮像装置３０は、携帯されずに撮影場所に設置されたものであってもよい。撮像装置３０は、通信により撮像データを対象物確認装置１０に出力する。

領域特定部２１は、撮像データから特徴部（特徴点）を抽出する。特徴部は、エッジ抽出、ブロブ解析などにより抽出される。特徴部には、例えば、鋭角部などの特徴的な輪郭（エッジ）が含まれる。そして、領域特定部２１は、抽出された複数の特徴部と、記憶部１１に記憶された３Ｄモデルデータとのパターンマッチングを行う。具体的に、領域特定部２１は、３Ｄモデルデータの任意の領域を抽出し、特徴部の色、形状、位置関係などとの類似度を導出する。領域特定部２１は、類似度が最も高い３Ｄモデルデータの領域を、対象物Ｐの３Ｄモデルデータのうち、撮像データに対応する領域（画角）として特定する。

領域特定部２１による特徴部の抽出、および、パターンマッチングによる領域特定処理は、上記の処理に限らず、ＡＲ（拡張現実）技術に用いられる任意の処理が用いられてもよい。

画像生成部２２は、３Ｄモデルデータから、特定された領域の画像データ（２Ｄデータ）を生成する。生成される画像データは、撮像データの画角と大凡同じ画角となっている。

図３（ａ）は、画像生成部２２が生成した画像データ４０の一例である。図３（ｂ）は、撮像装置３０が生成した撮像データ４１の一例である。画像データ４０は、撮像データ４１に対応する領域のものとなっている。

差異特定部２３は、撮像データ４１と画像データ４０との間で差異がある箇所を特定する。図３（ａ）、図３（ｂ）に示す例では、画像データ４０にある部品Ａが、撮像データ４１にない。また、画像データ４０の部品Ｂと、撮像データ４１の部品Ｂの配置が異なる。

差異特定部２３は、例えば、パターンマッチングによる類似度の低さ、または、二値化した画像間の差分値などにより、撮像データ４１と画像データ４０との間で差異がある箇所を抽出する（差異がある箇所として仮判定する）。

そして、差異特定部２３は、３Ｄモデルデータに基づいて、抽出された箇所に対応する部品（以下、対象部品という）を特定する。差異特定部２３は、対象部品を特定すると、３Ｄモデルデータに設定された対象部品の公差データを取得する。そして、差異特定部２３は、撮像データ４１における対象部品の位置が、公差データに示される公差の範囲内であるか否かを判定する。

差異特定部２３は、公差の範囲内にない対象部品を、差異がある箇所と特定する（差異がある箇所として本判定する）。例えば、部品Ａについては、そもそも、撮像データ４１にないため、確実に公差の範囲外となる。また、部品Ｂについては、部品Ｂの位置によって、公差の範囲内か範囲外かが定まる。例えば、部品Ｂも公差の範囲外であったものとする。

ここでは、部品Ａ、Ｂを例に挙げて説明した。ただし、差異特定部２３は、例えば、一部品の一部に加工が施されているか否か、および、一部品の一部の寸法や形状が正しいか否かを判定してもよい。この場合、差異特定部２３は、差異があるとして抽出された箇所に対応する部位（以下、対象部位という）の公差データを取得し、撮像データ４１における対象部位の形状が、公差データに示される公差の範囲内であるか否かを判定する。

差異加工部２４は、差異がある箇所を特定可能となる態様に撮像データ４１または画像データ４０を加工する。ここでは、差異加工部２４が撮像データ４１を加工する場合を例に挙げて説明する。

図４は、加工された撮像データ４１の一例を示す図である。図４に示すように、差異加工部２４は、撮像データ４１に対し、部品Ａ、Ｂの画像を、部品Ａ、Ｂが設けられるはずの位置に、例えば、原色など、周囲と識別可能な態様で重畳する。また、撮像データ４１は、撮像データ４１のうち、元々写っていた（位置がずれていた）部品Ｂを、周囲と識別可能な態様となるように加工してもよい。

また、差異加工部２４は、差異がある箇所のうち、公差の範囲内であってもずれが閾値以上大きいものを黄色に加工してもよい。この場合、差異加工部２４は、差異がある箇所のうち、公差の範囲外となっているものを、より目立つ色（例えば、赤色）に加工する。

差異加工部２４は、表示部１３に、加工された撮像データ４１を表示させる。作業者は、撮像データ４１によって、対象物Ｐのうち、設計通りになっていない箇所を認識できる。作業者は、例えば、部品Ａ、Ｂが設計通りになるように対象物Ｐに対する作業を行う。

このように、対象物確認装置１０では、作業者が携帯した撮像装置３０で対象物Ｐを撮像すれば対象物Ｐの検査を行うことができる。そのため、検査の作業負荷を軽減することが可能となる。また、３Ｄモデルデータが用いられているため、実際の対象物Ｐを撮像してマスタデータとする場合に比べ、より正確な検査が可能となる。

また、３Ｄモデルデータに設けられた公差データが用いられている。そのため、公差の範囲内であるにもかかわらずエラーとして表示されてしまうことがない。その結果、公差の範囲内であるかの確認のために無駄な作業が生じる事態を回避できる。

モデル加工部２５は、３Ｄモデルデータのうち、対応する撮像データ４１がある領域と、対応する撮像データ４１がない領域とを特定できるように、３Ｄモデルデータを加工する。すなわち、モデル加工部２５は、３Ｄモデルデータのうち、撮像装置３０により生成された撮像データ４１がある領域と、撮像データ４１が未生成の領域とを特定できるように、３Ｄモデルデータを加工する。

図５は、加工された３Ｄモデルデータ４２の一例を示す図である。図５にクロスハッチングで示すように、モデル加工部２５は、３Ｄモデルデータ４２のうち、すでに対応する撮像データ４１がある領域に対し、周囲と識別可能な態様となるように、原色などの色を付加する。モデル加工部２５は、加工した３Ｄモデルデータ４２を表示部１３に表示させる。

ここでは、モデル加工部２５が、３Ｄモデルデータ４２のうち、すでに対応する撮像データ４１がある領域に対し色を付加する場合について説明した。ただし、モデル加工部２５は、３Ｄモデルデータ４２のうち、対応する撮像データ４１がまだない領域に対し、周囲と識別可能な態様となるように、原色などの色を付加してもよい。

３Ｄモデルデータ４２を加工することで、作業者は、対象物Ｐのうち、撮像すべき領域を容易に把握できる。また、対象物Ｐの一部を撮像し忘れるといった可能性を低減することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

上述した実施形態では、差異加工部２４が設けられる場合について説明した。この場合、作業者は、撮像データ４１と画像データ４０との間で差異がある箇所を容易に把握できる。ただし、差異加工部２４は必須の構成ではない。対象物確認装置１０は、例えば、スピーカを備え、部品Ａ、Ｂの名称などをスピーカから出力（報知）して、差異がある旨が作業者に伝えられてもよい。

また、上述した実施形態では、モデル加工部２５が設けられる場合について説明した。ただし、モデル加工部２５は必須の構成ではない。

また、上述した実施形態では、対象物確認装置１０が対象物Ｐの検査に用いられる場合について説明した。しかし、対象物確認装置１０は、例えば、検査（検査工程）に限らず、対象物Ｐの製造作業中における自主的な確認作業（部品取付の有無、位置などの確認作業）で用いられてもよい。

また、コンピュータを対象物確認装置１０として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

本発明は、対象物確認装置に利用することができる。

Ｐ対象物
１０対象物確認装置
２１領域特定部
２２画像生成部
２３差異特定部
２４差異加工部
２５モデル加工部
４０画像データ
４１撮像データ
４２３Ｄモデルデータ

Claims

対象物を撮像した撮像データから抽出された特徴部に基づいて、前記対象物の３Ｄモデルデータのうち、前記撮像データに対応する領域を特定する領域特定部と、
前記３Ｄモデルデータから、特定された前記領域の画像データを生成する画像生成部と、
前記撮像データと前記画像データとの間で差異がある箇所を特定する差異特定部と、
を備える対象物確認装置。
前記差異がある箇所を特定可能となる態様に前記撮像データまたは前記画像データを加工する差異加工部
を備える請求項１に記載の対象物確認装置。
前記３Ｄモデルデータのうち、対応する前記撮像データがある領域と、対応する前記撮像データがない領域とを特定できるように、前記３Ｄモデルデータを加工するモデル加工部
を備える請求項１または２に記載の対象物確認装置。