JP2013182428A - 画像識別方法、画像識別装置および画像識別プログラム - Google Patents

Abstract

【課題】各部品の配置情報として完成物の３次元データを必要とせず、容易に破損した部品の種別を自動検出することができる。
【解決手段】画像識別装置は、機器における複数の部品をそれぞれ撮影した登録画像の特徴点、および認識対象部品の画像である認識対象画像の特徴点を検知する特徴点検知手段３と、登録画像および認識対象画像の特徴点における特徴量を算出する特徴量抽出手段４と、登録画像における特徴量を蓄積する特徴量蓄積手段６と、認識対象画像における特徴量と、登録画像における特徴量とを比較する特徴量比較手段５と、認識対象画像に対応する登録画像を決定する認識結果決定手段７と、認識対象画像の特徴点と、当該認識対象画像に対応する登録画像の特徴点とを照合する特徴量照合手段８と、認識対象部品の破損状態を判定する破損状態判定手段９とを備える。
【選択図】図１

Description

本発明は、物体を識別する画像識別方法に関する。

設備または機械等の保守において、作業員は目視で物品の状態を確認している。しかし、複数の部品などを含む機械では、破損（経年劣化によるものを含む。以下の説明において同じ。）した部品の検知や、その種類の特定が難しい場合がある。そのため、破損の発生を見逃したり破損した部品の種類を特定できなかったりすることがあった。そのため、例えば設備または機械等の保守作業において、部品の発注手続きが遅延して整備期間が延びることがあった。

また、設備または機械等の製造現場においても、製品の状況確認を人手により判定するため、破損部品の検出および特定の誤り、または破損部品の見逃しが問題となっている。そのため、カメラに映る物品の破損状況を自動的に判断してこのような問題を回避できる方法が望まれていた。

物体の画像認識をする技術として、特許文献１には、基準パターンが表示された検索対象範囲の画像データと、上記基準パターンを表す基準画像データとの相関を求め、その結果をもとに上記検索対象範囲から基準パターンを検索するパターン検索方法が記載されている。

また、車両から損傷部分を特定する技術として、特許文献２には、車両データベースの基準３次元データを元に２次元画像を順番に作成し、順次作成される２次元画像と車両の損傷を含む２次元写真画像とを比較して、車両の損傷位置を特定する技術が記載されている。

特開２００９−０８０７０１号公報 特開平０９−８１７３９号公報

しかし、特許文献１に記載された技術を応用して、部品等の画像処理を行ったとしても、破損して部品形状に変化があった場合、部品の種類を自動で識別することができず、破損した部品等の破損状況を判断することができないとう課題がある。

また、特許文献２に記載された技術では、各部品の配置情報として完成物の３次元データが必要であるため、コストが高いという課題がある。また、３次元データ外観を一定距離から見た画像と実物からの画像とをマッチングしているが、技術的な難易度が高いという課題がある。

本発明は、各部品の配置情報として完成物の３次元データを必要とせず、容易に破損した部品の種別を自動検出することができる画像識別方法を提供することを目的とする。

本発明による画像識別方法は、機器における複数の部品をそれぞれ撮影した登録画像の特徴点を検知して特徴量を算出し、前記登録画像における特徴量を蓄積し、認識対象部品の画像である認識対象画像の特徴点を検知して特徴量を算出し、前記認識対象画像における特徴量と、前記登録画像における特徴量とを比較し、比較結果を出力し、前記比較結果に基づいて、前記認識対象画像に対応する前記登録画像を決定し、前記認識対象画像の特徴点と、当該認識対象画像に対応する前記登録画像の特徴点とを照合し、照合結果を出力し、前記照合結果に基づいて、前記認識対象部品の破損状態を判定することを特徴とする。

本発明による画像識別装置は、機器における複数の部品をそれぞれ撮影した登録画像の特徴点、および認識対象部品の画像である認識対象画像の特徴点を検知する特徴点検知手段と、前記登録画像および前記認識対象画像の特徴点における特徴量を算出する特徴量抽出手段と、前記登録画像における特徴量を蓄積する特徴量蓄積手段と、前記認識対象画像における特徴量と、前記登録画像における特徴量とを比較し、比較結果を出力する特徴量比較手段と、前記比較結果に基づいて、前記認識対象画像に対応する前記登録画像を決定する認識結果決定手段と、前記認識対象画像の特徴点と、当該認識対象画像に対応する前記登録画像の特徴点とを照合し、照合結果を出力する特徴量照合手段と、前記照合結果に基づいて、前記認識対象部品の破損状態を判定する破損状態判定手段とを備えたことを特徴とする。

本発明による画像識別プログラムは、コンピュータに、機器における複数の部品をそれぞれ撮影した登録画像の特徴点、および認識対象部品の画像である認識対象画像の特徴点を検知する特徴点検知処理と、前記登録画像および前記認識対象画像の特徴点における特徴量を算出する特徴量抽出処理と、前記登録画像における特徴量を蓄積する特徴量蓄積処理と、前記認識対象画像における特徴量と、前記登録画像における特徴量とを比較し、比較結果を出力する特徴量比較処理と、前記比較結果に基づいて、前記認識対象画像に対応する前記登録画像を決定する認識結果決定処理と、前記認識対象画像の特徴点と、当該認識対象画像に対応する前記登録画像の特徴点とを照合し、照合結果を出力する特徴量照合処理と、前記照合結果に基づいて、前記認識対象部品の破損状態を判定する破損状態判定処理とを実行させることを特徴とする。

本発明によれば、各部品の配置情報として完成物の３次元データを必要とせず、容易に破損した部品の種別を自動検出することができる。

本発明による画像識別装置の実施形態の構成を示すブロック図である。 画像識別装置における登録処理の動作を示すフローチャートである。 画像識別装置における検索処理の動作を示すフローチャートである。 検索処理における画像の概念図である。

図１は、本実施形態の画像識別装置の構成を示すブロック図である。本実施形態の画像識別装置は、画像入力手段１、登録画像入力手段２、特徴点検知手段３、特徴量抽出手段４、特徴量比較手段５、特徴量蓄積手段６、認識結果決定手段７、特徴点照合手段８、および破損状態判定手段９を備える。

画像入力手段１は、認識対象となる部品（認識対象部品）を撮影した画像（認識対象画像）を入力する。登録画像入力手段２は、認識対象となる画像との比較に用いる登録画像を入力する。登録画像は、識別対象となる部品を予め撮影した画像である。具体的には、登録画像は、機器の完成品の画像ではなく、例えば製造および保守の際に組み立て前の状態や分解された状態で撮影された機械等の部品群の画像である。特徴点検知手段３は、与えられた画像（認識対象画像および登録画像）に含まれる特徴点を検知する。特徴点とは、例えば輪郭やエッジが交差する部分である。特徴量抽出手段４は、検知された特徴点ごとに特徴量を算出する。特徴量蓄積手段６は、登録画像から得られた特徴量を部品の情報とともに蓄積する。

特徴量比較手段５は、特徴量抽出手段４が識別対象となる画像から抽出した特徴量と、特徴量蓄積手段６に蓄積された特徴量とを比較し、比較結果を出力する。認識結果決定手段７は、特徴量比較手段５が出力した比較結果に基づいて、認識対象画像に対応する登録画像を決定する。特徴点照合手段８は、決定された登録画像の特徴点と、認識対象画像の特徴点とを照合する。破損状態判定手段９は、特徴点照合手段８の照合結果に基づいて、識別対象の部品と正常な部品との違いを判断し、破損状態を判定する。そして、破損状態判定手段９は、例えば、ディスプレイ等の図示しない表示装置にその破損状態を示す画像を表示させてもよい。

以下、本実施形態の画像識別方法の動作を、図面を参照して説明する。図２は、本実施形態の画像識別装置における登録処理の動作を示すフローチャートである。登録処理とは、認識対象の画像と比較するための画像の登録を事前に行う処理である。

始めに、特徴点検知手段３は、登録画像入力手段２が入力した各部品の画像の特徴点を検知する(ステップＡ１)。ステップＡ１の特徴点検知は、既知の手法を用いることにより実現可能であり、例えば、本実施形態ではＳＩＦＴ（Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）特徴を用いる。ＳＩＦＴ特徴は、画像の回転、スケール変化および照明変化等に頑健なため、画像処理において広く用いられている局所特徴量である。

次に、特徴量抽出手段４は、ステップＡ１で検知された各特徴点における特徴量を求める（ステップＡ２）。ステップＡ２の特徴量の算出も、既知の手法を用いることで実現可能であり、本実施形態では、例えばＳＩＦＴ特徴を用いる。

ステップＡ２で得られた特徴量は、画像に付加された他の情報とともに、特徴量蓄積手段６に蓄積記録される（ステップＡ３）。以上の登録処理は、登録すべき部品を含む各画像についてそれぞれ実施される。

次に、本実施形態の画像識別方法における検索処理の動作を説明する。図３は、本実施形態の画像識別装置における検索処理の動作を示すフローチャートである。

始めに、特徴点検知手段３は、画像入力手段１が入力した検索対象となる認識対象画像を取得し、その特徴点を検知する処理を行う（ステップＢ１）。ステップＢ１における特徴点検知についても、図２に示した特徴点検知処理（ステップＡ１）と同様に、例えばＳＩＦＴ特徴を用いる。

次に、特徴量抽出手段４は、検知された各特徴点の特徴量を算出する（ステップＢ２）。ステップＢ２における特徴量の算出も、図２に示した登録処理における特徴量抽出処理（ステップＡ２）と同様に、例えばＳＩＦＴ特徴を用いる。

特徴量比較手段５は、ステップＢ２で得られた特徴量と特徴量蓄積手段６に蓄積されている各特徴量とを比較し、類似度を測る（ステップＢ３）。具体的には、１２８次元のＳＩＦＴ特徴量間における対応要素の値の差分の二乗和、すなわちユークリッド距離を算出し、ユークリッド距離が最小となる点を対応点とみなし、その距離に応じて類似度を測る。

次に、認識結果決定手段７は、ステップＢ３において算出された類似度が最大となる登録画像を、識別対象となる入力画像に合致するものとして決定する（ステップＢ４）。

次に、特徴点照合手段８は、ステップＢ４にて選択された登録画像の特徴点を特徴量蓄積手段６から読み出し、認識対象画像の特徴点との対応を調べる。そして、特徴点照合手段８は、登録画像に含まれるが認識対象画像から検出されていない非検出特徴点群の分布を調べる（ステップＢ５）。

破損状態判定手段９は、ステップＢ５で得られた非検出特徴点群の分布を基に、識別対象の部品の破損の種類や破損の有無を判定し、判定結果を出力する（ステップＢ５）。非検出特徴点の分布が、物体の一部の箇所に集中している場合（例えば、分布位置の分散が小さい場合）、その箇所に局所的に欠損が生じたと判定して画像中の欠損想定領域を重畳して表示装置等に表示させる。

なお、特徴点照合手段８の処理において、認識対象画像と登録画像との特徴点だけでなく特徴量を比較することでより詳細な照合を行い、破損状態判定手段９がその結果を基に破損状態の判定を行ってもよい。また、特徴点照合手段８は、登録画像における特徴点群と、その特徴群に対応する認識対象画像の特徴点群との位置のずれを検出し、破損状態判定手段９がその結果を基に破損状態の判定を行ってもよい。

以下、画像の概念図を参照して本実施形態の画像識別装置の実施例を説明する。図４は、検索処理における画像の概念図であり、図４（ａ）は、認識対象画像内の物体と登録画像内の物体とを示す概念図である。物体１１は、画像入力手段１により入力された検索対象となる認識対象画像内の物体を示す。また、第１の登録物体２１および第２の登録物体２２は、登録画像入力手段２により登録された登録画像内の物体を示す。また、「＋」で示される部分は、特徴点検知手段３により検出された特徴点である。

特徴量比較手段５は、登録画像内の第１の登録物体２１および第２の登録物体２２から、物体１１と類似度が最大となる登録画像を選択する。図４に示す例では、第１の登録物体２１が物体１１と類似度が最大となり、認識結果決定手段７は、第１の登録物体２１を入力画像に合致するものとして選択する。そして、特徴点照合手段８は、第１の登録物体２１と物体１１特徴点との対応を調べる。

図４（ｂ）は、第１の登録物体２１に含まれるが物体１１に含まれない特徴点を示した概念図である。また、図４（ｃ）は、破損状態判定手段９が、図４（ｂ）に示された特徴点の箇所に欠損が含まれると判定して欠損想定領域を重畳して表示装置に表示させた概念図である。利用者は、例えば図４（ｃ）に示すような画像を参照することで、部品の破損状態を容易に確認できる。

本実施形態の画像識別方法は、認識対象となる画像と比較するために、各部品の配置情報として完成物の３次元データを必要とせず、個々の部品の画像のみを用いて破損した部品の種別を自動検出することができる。この比較は、撮影された２次元の画像データ同士を直接比較するものであるため、既存の方法を用いて容易にできる。また、部品の欠損した箇所を特定し、破損物品の欠損箇所を表示させることができる。これにより、例えば保守作業において物品の部品が破損した場合、直ぐに必要な部品を確認して部品の除去や発注ができるので、保守作業を効率化することができる。

本実施形態の画像識別方法の具体的な適用例およびその効果を説明する。本実施形態の画像識別方法は、例えば、各部品について在庫状況などの関連情報を参照し、破損を検知した物品について、その関連情報を読み出し表示させることで、利用者に対し交換部品を発注するなどの対応の支援に適用することができる。

また、本実施形態の画像識別方法は、登録する画像として、例えば過去の保守作業における画像および破損状況の認識結果を記録する。そして、新たに撮影した識別対象の画像からの特徴量と、過去の保守時点での特徴量とを比較して、経年劣化を把握し、同様の経年劣化が進む部品を利用者に表示することができる。

また、上記の実施形態では、以下の（１）から（４）に示すような画像識別装置も開示されている。

（１）機器における複数の部品をそれぞれ撮影した登録画像の特徴点、および認識対象部品の画像である認識対象画像の特徴点を検知する特徴点検知手段（例えば、特徴点検知手段３）と、登録画像および認識対象画像の特徴点における特徴量を算出する特徴量抽出手段（例えば、特徴量抽出手段４）と、登録画像における特徴量を蓄積する特徴量蓄積手段（例えば、特徴量蓄積手段６）と、認識対象画像における特徴量と、登録画像における特徴量とを比較し、比較結果を出力する特徴量比較手段（例えば、特徴量比較手段５）と、比較結果に基づいて、認識対象画像に対応する登録画像を決定する認識結果決定手段（例えば、認識結果決定手段７）と、認識対象画像の特徴点と、当該認識対象画像に対応する登録画像の特徴点とを照合し、照合結果を出力する特徴量照合手段（例えば、特徴量照合手段８）と、照合結果に基づいて、認識対象部品の破損状態を判定する破損状態判定手段（例えば、破損状態判定手段９）とを備えた画像識別装置。

（２）画像識別装置は、認識対象画像に対応する登録画像に、当該認識対象画像には存在しない特徴点が集中して存在する箇所がある場合、破損状態判定手段が、当該認識対象画像内の認識対象部品が破損していると判定するように構成されていてもよい。このような画像識別装置によれば、利用者が破損した部品を特定することができる。

（３）画像識別装置は、認識対象画像に対応する登録画像に、当該認識対象画像には存在しない特徴点が集中して存在する箇所がある場合、破損状態判定手段が、当該箇所を当該認識対象画像内の認識対象部品における破損箇所であると判定するように構成されていてもよい。このような画像識別装置によれば、利用者が部品の破損した箇所を特定することができる。

（４）画像識別装置は、認識対象画像に対応する登録画像に、当該認識対象画像には存在しない特徴点が集中して存在する箇所がある場合、破損状態判定手段が、当該箇所を当該認識対象画像内の認識対象部品における破損箇所として表示させるように構成されていてもよい。このような画像識別装置によれば、利用者が、部品の破損箇所を容易に把握することができる。

本発明は、画像中の物体の識別、特に、機械の保守作業等において使用されている各部品などの破損の検知等に適用することができる。

１ 画像入力手段
２ 登録画像入力手段
３ 特徴点検知手段
４ 特徴量抽出手段
５ 特徴量比較手段
６ 特徴量蓄積手段
７ 認識結果決定手段
８ 特徴点照合手段
９ 破損状態判定手段

Claims (6)

1. 機器における複数の部品をそれぞれ撮影した登録画像の特徴点を検知して特徴量を算出し、
   前記登録画像における特徴量を蓄積し、
   認識対象部品の画像である認識対象画像の特徴点を検知して特徴量を算出し、
   前記認識対象画像における特徴量と、前記登録画像における特徴量とを比較し、比較結果を出力し、
   前記比較結果に基づいて、前記認識対象画像に対応する前記登録画像を決定し、
   前記認識対象画像の特徴点と、当該認識対象画像に対応する前記登録画像の特徴点とを照合し、照合結果を出力し、
   前記照合結果に基づいて、前記認識対象部品の破損状態を判定する
   画像識別方法。
2. 認識対象画像に対応する登録画像に、当該認識対象画像には存在しない特徴点が集中して存在する箇所がある場合、当該認識対象画像内の認識対象部品が破損していると判定する
   請求項１記載の画像識別方法。
3. 認識対象画像に対応する登録画像に、当該認識対象画像には存在しない特徴点が集中して存在する箇所がある場合、当該箇所を当該認識対象画像内の認識対象部品における破損箇所であると判定する
   請求項２記載の画像識別方法。
4. 認識対象画像に対応する登録画像に、当該認識対象画像には存在しない特徴点が集中して存在する箇所がある場合、当該箇所を当該認識対象画像内の認識対象部品における破損箇所として表示させる
   請求項３記載の画像識別方法。
5. 機器における複数の部品をそれぞれ撮影した登録画像の特徴点、および認識対象部品の画像である認識対象画像の特徴点を検知する特徴点検知手段と、
   前記登録画像および前記認識対象画像の特徴点における特徴量を算出する特徴量抽出手段と、
   前記登録画像における特徴量を蓄積する特徴量蓄積手段と、
   前記認識対象画像における特徴量と、前記登録画像における特徴量とを比較し、比較結果を出力する特徴量比較手段と、
   前記比較結果に基づいて、前記認識対象画像に対応する前記登録画像を決定する認識結果決定手段と、
   前記認識対象画像の特徴点と、当該認識対象画像に対応する前記登録画像の特徴点とを照合し、照合結果を出力する特徴量照合手段と、
   前記照合結果に基づいて、前記認識対象部品の破損状態を判定する破損状態判定手段とを備えた
   ことを特徴とする画像識別装置。
6. コンピュータに、
   機器における複数の部品をそれぞれ撮影した登録画像の特徴点、および認識対象部品の画像である認識対象画像の特徴点を検知する特徴点検知処理と、
   前記登録画像および前記認識対象画像の特徴点における特徴量を算出する特徴量抽出処理と、
   前記登録画像における特徴量を蓄積する特徴量蓄積処理と、
   前記認識対象画像における特徴量と、前記登録画像における特徴量とを比較し、比較結果を出力する特徴量比較処理と、
   前記比較結果に基づいて、前記認識対象画像に対応する前記登録画像を決定する認識結果決定処理と、
   前記認識対象画像の特徴点と、当該認識対象画像に対応する前記登録画像の特徴点とを照合し、照合結果を出力する特徴量照合処理と、
   前記照合結果に基づいて、前記認識対象部品の破損状態を判定する破損状態判定処理と
   を実行させるための画像識別プログラム。

Images