JP2021174213A - 特徴点の認識システムおよび認識方法 - Google Patents

Abstract

【課題】被写体の画像から特徴点の位置情報を安定かつ正確に得る。【解決手段】この特徴点認識システムでは、第１アルゴリズム演算部が非マスク処理により求めた第１群の特徴点のデータと、第２アルゴリズム演算部のマスク処理を経て第３アルゴリズム演算部が検出した第２群の特徴点のデータとを比較し、データに異常があるか否かを判断することにより、被写体の特徴点を従来よりも正確かつ安定して認識する。【選択図】図３

Description

本発明は、例えば、食肉中の骨部を判別する場合などに使用可能な、深層学習を用いた特徴点の認識システムおよび認識方法に関する。

例えば、食肉を被写体として撮影して食肉中の骨部の特徴点を検出し、骨部を食肉処理ロボットで自動的に脱骨する場合などには、被写体中における特徴点の正確な位置情報を得る必要がある。
特許文献１には、Ｘ線照射装置から被写体に向けてＸ線を照射し、被写体を透過したＸ線透過画像を画像処理し、骨部などの特徴点の位置座標を得るシステムが開示されている。

国際公開第２０１２／０５６７９３号（特許第５３８４７４０号）

特許文献１のシステムでは、画像中の特徴点が存在すると予想される領域を固定座標でまず指定し、その領域内の画像について閾値処理による二値化やエッジ抽出などの画像処理手法を用いて捉えたい境界部分を抽出し、その形状から特徴点を求めている。

しかし、例えば前記食肉や人体のように形状やサイズ、肉付きなどに個体差がある被写体の場合、前記固定座標範囲から特徴点検出に必要な形状部分が外れたり、閾値処理の輝度値が想定外であったり、内部構造の不均一により不必要な形状が検出されて必要な特徴点を絞り込めない場合があった。

また、画像のノイズや照明光の変化による外乱を受けたり、被写体の表面状態が一様ではなく画像に影響を与えたり、撮影時の被写体の姿勢や形状の変化により様々に画像が影響を受けるため、形状やサイズが一定である人工物を被写体とする場合に比べて、画像処理による特徴点の正確な認識が難しかった。食肉処理システムに応用した場合などには、特徴点の認識位置に誤差があると、ナイフが骨に食い込む、食肉の無駄が生じるなどの問題が生じる。

以上のように、従来の技術では、被写体の画像から特徴点の位置情報を安定かつ正確に得る点で改善の余地があった。

［１］ 本発明の一態様は、被写体から取得した画像から前記被写体の特徴点を認識する特徴点の認識システムであって、
前記被写体の画像を取得する画像取得部と、
前記画像取得部により取得された画像を、前記被写体の特徴点を深層学習した推論演算に従って演算処理し、第１群の特徴点を検出する第１アルゴリズム演算部と、
前記画像取得部により取得された画像を、前記被写体の特徴領域を深層学習した推論演算に従って演算処理し、特徴領域を検出する第２アルゴリズム演算部と、
前記第２アルゴリズム演算部で得られた前記特徴領域を用いて第２群の特徴点を検出する第３アルゴリズム演算部と、
前記第１アルゴリズム演算部が検出した前記第１群の特徴点のデータおよび前記第３アルゴリズム演算部が検出した前記第２群の特徴点のデータの少なくとも一方を用いて、前記被写体の特徴点を出力する演算部とを具備する。

この特徴点の認識システムによれば、前記第１アルゴリズム演算部が検出した前記第１群の特徴点のデータと、前記第２アルゴリズム演算部が特徴領域を検出した後に前記特徴領域を用いて前記第３アルゴリズム演算部が検出した前記第２群の特徴点のデータの少なくとも一方を選択的に用いて、前記被写体の特徴点を出力することにより、被写体の画像から特徴点の位置情報を安定かつより正確に得ることが可能である。

［２］ 前記［１］の特徴点の認識システムにおいて、前記被写体の第２画像を取得する第２画像取得部と、前記第２画像取得部により取得された前記第２画像から第３群の特徴点を検出する第２画像演算部とをさらに有し、前記演算部は、前記第１アルゴリズム演算部が検出した前記第１群の特徴点のデータ、前記第３アルゴリズム演算部が検出した前記第２群の特徴点のデータ、および、前記第２画像演算部が検出した前記第３群の特徴点のデータのうち、少なくとも２つを用いて、前記被写体の特徴点の検出結果の正常・異常を検査してもよい。

この場合、前記演算部が、前記第１アルゴリズム演算部が検出した前記第１群の特徴点のデータ、前記第３アルゴリズム演算部が検出した前記第２群の特徴点のデータ、および、前記第２画像演算部が検出した前記第３群の特徴点のデータのうち、少なくとも２つを用いて前記被写体の特徴点の検出結果の正常・異常を検査することにより、被写体の画像から特徴点の位置情報をさらに安定かつ高い精度で得ることが可能である。

［３］ 前記［１］または［２］の特徴点の認識システムにおいて、前記第２アルゴリズム演算部で得られた前記特徴領域のデータを、正常な特徴領域を深層学習した推論演算に従って演算し、前記第２アルゴリズム演算部で得られた前記特徴領域の正常性を判断する第４アルゴリズム演算部を具備してもよい。

この場合、前記第４アルゴリズム演算部が前記第２アルゴリズム演算部で得られた前記特徴領域のデータを、正常な特徴領域を深層学習した推論演算に従って演算し、前記第２アルゴリズム演算部で得られた前記特徴領域の正常性を判断することにより、被写体の画像から特徴点の位置情報をさらに安定かつ高い精度で得ることが可能である。

［４］ 前記［１］〜［３］の特徴点の認識システムにおいて、前記演算部は、前記第１アルゴリズム演算部が検出した前記第１群の特徴点のデータ、前記第３アルゴリズム演算部が検出した前記第２群の特徴点のデータ、および、前記第２画像演算部が検出した前記第３群の特徴点のデータのうち少なくとも２つを相互に比較し、比較に用いた２つの特徴点のうちより精度が高いと判定された方を前記被写体の特徴点として選択して出力してもよい。この場合、前記比較により、被写体の画像から特徴点の位置情報をさらに安定かつ高い精度で得ることが可能である。

前記画像取得部は、Ｘ線画像、３Ｄ画像、ＣＴスキャン画像、ガンマ線画像、紫外線画像、可視光画像、赤外線画像、ＲＧＢ画像、および超音波探傷画像のうち少なくとも１種を取得してもよい。

［５］ 本発明の他の態様は、被写体から取得した画像から前記被写体の特徴点を認識する特徴点の認識方法であって、
前記被写体の画像を取得する画像取得工程と、
前記画像取得工程で取得された画像を、前記被写体の特徴点を深層学習した推論演算に従って演算処理し、第１群の特徴点を検出する第１アルゴリズム演算工程と、
前記画像取得部により取得された画像を、前記被写体の特徴領域を深層学習した推論演算に従って演算処理し、特徴領域を検出する第２アルゴリズム演算工程と、
前記第２アルゴリズム演算部で得られた前記特徴領域を用いて第２群の特徴点を検出する第３アルゴリズム演算工程と、
前記第１アルゴリズム演算工程で検出した前記第１群の特徴点のデータおよび前記第３アルゴリズム演算工程で検出した前記第２群の特徴点のデータの少なくとも一方を用いて、前記被写体の特徴点を出力する演算工程とを具備する。

この特徴点の認識方法によれば、前記第１アルゴリズム演算工程で検出した前記第１群の特徴点のデータと、前記第２アルゴリズム演算工程で特徴領域を検出した後に前記特徴領域を用いて前記第３アルゴリズム演算工程で検出した前記第２群の特徴点のデータの少なくとも一方を選択的に用いて、前記被写体の特徴点を出力することにより、被写体の画像から特徴点の位置情報を安定かつより正確に得ることが可能である。

前記［５］の方法において、前記［２］〜［４］のシステムの動作における各工程と同様の工程を設けてもよい。その場合には、前記［２］〜［４］のシステムと同様の効果を得ることが可能である。

本発明に係る特徴点の認識システムおよび認識方法によれば、画像取得部が取得した被写体の画像から直接に検出した第１群の特徴点のデータと、前記画像から特徴領域を検出した後にこの特徴領域データを用いて検出した第２群の特徴点のデータの少なくとも一方を選択的に用いることにより、被写体の画像から特徴点の位置情報を安定かつより正確に得ることが可能である。

本発明の一実施形態の特徴点の認識システムを示す側面図である。 同実施形態の画像処理装置を示すブロック図である。 同実施形態の動作を示すフローチャートである。 同実施形態の第１アルゴリズム演算部の動作を説明する図である。 同実施形態の第１アルゴリズム演算部の動作を説明する図である。 同実施形態の第１アルゴリズム演算部の教師データを説明する図である。 同実施形態の第２アルゴリズム演算部の動作を説明する図である。 同実施形態の第２アルゴリズム演算部の動作を説明する図である。 同実施形態の第３アルゴリズム演算部の動作を説明する図である。 同実施形態の第３アルゴリズム演算部の動作を説明する図である。 同実施形態の第３アルゴリズム演算部の動作を説明する図である。 同実施形態の第３アルゴリズム演算部の動作を説明する図である。 同実施形態の３Ｄデータに対する第２アルゴリズム演算部および第３アルゴリズム演算部の動作を説明する図である。 同実施形態の演算部の動作を説明する図である。

以下、実施形態を挙げて本発明を詳細に説明するが、本発明の技術的範囲はこれらの実施形態の構成によって限定されるものではなく、請求の範囲の記載に基づいて最も広く解釈されるべきである。下記の実施形態から一部構成を省いたり、既知の他の構成を付加することも可能である。

図１は、本発明の一実施形態の特徴点の認識システムを示す正面図である。この特徴点認識システム１は、被写体Ｐとして食肉を処理するものであり、被写体Ｐを運ぶコンベア２と、コンベア２上に置かれた被写体Ｐの透過Ｘ線画像を取得するＸ線画像取得部４と、Ｘ線画像取得部４のためにＸ線を発生させるＸ線発生装置（図示略）と、被写体Ｐの表面の３Ｄ画像を取得する３Ｄ画像取得部６（第２画像取得部）と、Ｘ線画像取得部４および３Ｄ画像取得部６からの出力信号を処理する画像処理装置８と、Ｘ線発生装置からのＸ線を遮蔽するためのシールド１０とを具備する。Ｘ線画像取得部４による撮像タイミングと、３Ｄ画像取得部６による撮像タイミングは同時であってもよいし、同時でなくてもよい。また、Ｘ線画像取得部４および３Ｄ画像取得部６によって撮影する際の被写体Ｐの位置は同じであっても、異なっていてもよい。

この実施形態の特徴点認識システム１では、被写体Ｐが豚、牛、羊、および鶏などの家畜屠体の一部であり、被写体Ｐ内部の骨部Ｂの外周に沿う複数の特徴点の位置情報を取得する。図示しない後処理において、特徴点認識システム１が認識した特徴点の座標を使用して、例えば、ロボットアームが操作するナイフを動かすことにより、骨部Ｂと肉部の境界を切断し、被写体Ｐの肉部から骨部Ｂを取り出すなどの処理を行うことが可能である。

ただし、本発明は食肉への応用に限定されず、被写体Ｐとして人体を含む各種生物の生体、植物、または人工物中の、何らかの構造の特異点を求めるために用いてもよいし、特徴点の利用目的は限定されず、脱骨作業以外のいかなる目的に用いられてもよい。被写体Ｐを搬送するコンベア２は必ずしも用いる必要は無く、撮影時に被写体Ｐを何らかの手段で固定しておいてもよいし、または被写体Ｐを移動させながら画像を取得してもよい。

また、この実施形態では、画像取得部および第２画像取得部としてＸ線画像取得部４および３Ｄ画像取得部６を用いているが、本発明の画像取得部はこれらに限定されず、ＣＴスキャン画像、ガンマ線画像、超音波探傷画像、紫外線画像、可視光画像、赤外線画像、またはＲＧＢ画像などを取得する画像取得部を用いてもよいし、二種類の画像を用いる代わりに、同一種の画像を被写体Ｐの異なる方向から取得した二つの画像を用いてもよいし、一つのみの画像を用いて特徴点を認識することも可能である。すなわち、第２画像取得部を用いない構成も可能である。

Ｘ線画像取得部４は、Ｘ線発生装置のＸ線管から放射され被写体Ｐを透過したＸ線をＸ線検出器で検出し、被写体Ｐの二次元のＸ線画像を取得する。Ｘ線画像取得部４が取得したＸ線画像のデータはＸ線画像取得部４の内部又は外部に設けられている記憶媒体に格納され、画像処理装置８へ伝達されて処理される。図４中の画像２２はＸ線画像取得部４により取得されたＸ線画像の一例である。

３Ｄ画像取得部６は、コンベア２上に置かれた被写体Ｐの立体形状を把握するためのものである。３Ｄ画像取得部６の種類は限定されないが、例えば、被写体Ｐの表面にライン状の光線を走査しつつ照射し、カメラで被写体Ｐの表面からの反射光を測定することにより、被写体Ｐの立体形状を反映した３Ｄ画像を取得するものであってもよい。３Ｄ画像取得部６が取得した３Ｄ画像のデータは、３Ｄ画像取得部６の内部又は外部に設けられている記憶媒体に格納され、画像処理装置８へ伝達されて処理される。図１３は３Ｄ画像取得部６が取得した３Ｄ画像の一例である。

図２は、画像処理装置８の構成を示すブロック図である。画像処理装置８は、第１アルゴリズム演算部１２と、第２アルゴリズム演算部１４と、第３アルゴリズム演算部１６と、第４アルゴリズム演算部１８と、演算部２０とから主構成されている。

画像処理装置８は、回路部（circuitry）を含むコンピューター等のハードウェアがソフトウェアプログラムを実行することにより実現される。前記ハードウェアは、例えば、ＣＰＵ（Central Processing Unit）、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などである。上述したプログラムは、記憶媒体を備える記憶装置に格納されている。前記記憶媒体は、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＲＯＭ（Read Only Memory）、ＤＶＤ（Digital Versatile Disc）などである。さらに、上述したプログラムは、画像処理装置８が有する機能の一部を実現する差分プログラムであってもよい。

第１アルゴリズム演算部１２は、Ｘ線画像取得部４からのＸ線画像データに基づき、被写体Ｐ内で検出すべき特徴点を深層学習した推論演算に従って演算処理し、第１群の特徴点を検出する。この実施形態では、これら特徴点は、後処理におけるナイフの移動軌跡を求めるための位置に対応する。

図４は第１アルゴリズム演算部１２の演算処理を模式的に示し、Ｘ線画像取得部４が取得したＸ線画像２２の二次元ピクセルデータが入力されることにより、予め求めるべき特徴点を深層学習した推論演算に従って演算処理し、各特徴点Ａ，Ｂ，Ｃ，…，Ｃ６，Ｃ７，Ｃ８の正規化した（Ｘ，Ｙ）座標２４を出力する。

第１アルゴリズム演算部１２の深層学習は、次のようにして行うことができる。図５に示すように、Ｘ線画像取得部４によって予め撮影したＸ線画像２６を多数用意し、熟練者の判断に基づいて、これらＸ線画像２６内に特徴点をプロットする。これにより、図６に示すように、Ｘ線画像２８とそれに現れている特徴点の座標セット３０が得られ、Ｘ線画像２８と特徴点の座標セット３０を教師データ３２として深層学習させ、第１アルゴリズムを第１アルゴリズム演算部１２内に構築すればよい。

第２アルゴリズム演算部１４は、Ｘ線画像取得部４からのＸ線画像データに基づき、被写体Ｐ内の特徴領域を深層学習した推論演算に従って演算処理し、特徴領域を検出する。この実施形態では、これら特徴領域は、被写体Ｐの内部にある複数の骨の位置に対応する。この実施形態では、第２アルゴリズム演算部１４が３Ｄ画像に対するマスク画像検出（Ｓ１７）にも用いられ、この場合は第２画像演算部に対応する。

図７は第２アルゴリズム演算部１４の演算処理を模式的に示し、Ｘ線画像取得部４が取得したＸ線画像３４の二次元ピクセルデータが入力されることにより、予め求めるべき特徴領域を深層学習した推論演算に従って演算処理し、各特徴領域の（Ｘ，Ｙ）座標範囲以外をマスクした画像データ３６を出力する。

図８は、第２アルゴリズム演算部１４が求めるべき複数の特徴領域（背景、下腿骨、大腿骨、皿骨、寛骨、尾骨、距骨、恥骨）の一例を示すマスク画像である。第２アルゴリズム演算部１４の深層学習は、次のようにして行うことができる。Ｘ線画像取得部４によって予め撮影したＸ線画像を多数用意し、熟練者の判断に基づいて、これらＸ線画像内に図８に示す各骨に対応する特徴範囲を描く。これにより、Ｘ線画像とそれに現れている特徴領域の座標範囲セットが得られるから、これらのデータセットを教師データとして深層学習を行い、第２アルゴリズムを第２アルゴリズム演算部１４内に構築すればよい。３Ｄ画像に対するマスク画像検出（Ｓ１７）に第２アルゴリズム演算部１４を用いる場合は、３Ｄ画像に対して同様に深層学習させればよい。

第３アルゴリズム演算部１６は、第２アルゴリズム演算部１４で得られた特徴領域のデータに基づき、被写体Ｐ内で検出すべき特徴点を深層学習した推論演算に従って演算処理し、第２群の特徴点を検出する。第３アルゴリズム演算部１６が検出すべき特徴点は、第１アルゴリズム演算部１２が検出すべき特徴点とそれぞれ同じ点であるが、第１アルゴリズム演算部１２がＸ線画像から特徴点を直接求めるのに対して、第３アルゴリズム演算部１６は第２アルゴリズム演算部１４が求めた特徴領域に基づいて、特徴点を間接的に検出する点が異なっている。この実施形態では、第３アルゴリズム演算部１６が、３Ｄ画像から得た特徴領域から特徴点を検出する特徴点検出（Ｓ１８）にも用いられ、この場合は第２画像演算部に対応する。さらに、第３アルゴリズム演算部１６は、第２アルゴリズム演算部１４で得られた特徴領域のデータに基づき、画像処理手法を用いて被写体Ｐ内における第２群の特徴点を検出してもよい。

図９は第３アルゴリズム演算部１６の演算処理を模式的に示し、第２アルゴリズム演算部１４が求めた特殊領域によるマスク画像３８の二次元ピクセルデータが入力されることにより、予め特徴点を深層学習した推論演算に従って演算処理し、各特徴点Ａ，Ｂ，Ｃ，…，Ｃ６，Ｃ７，Ｃ８の正規化した（Ｘ，Ｙ）座標４０を出力する。

第３アルゴリズム演算部１６の深層学習は、次のようにして行うことができる。第２アルゴリズム演算部１４が求めた特殊領域によるマスク画像３８を多数用意し、熟練者の判断に基づいて、これらマスク画像３８内に特徴点をプロットする。これにより、マスク画像３８とそれに現れている特徴点の座標セットが得られ、これらデータセットの多数を深層学習させて第３アルゴリズムを第３アルゴリズム演算部１６内に構築すればよい。３Ｄ画像に対する特徴点検出（Ｓ１８）に第３アルゴリズム演算部１６を用いる場合は、３Ｄ画像に対して同様に深層学習させればよい。

図１０は、第２アルゴリズム演算部１４による特徴領域の検出が異常となったマスク画像４２と、そのマスク画像４２から第３アルゴリズム演算部１６が検出したため特徴点の検出が異常になったＸ線画像４４を示している。

第４アルゴリズム演算部１８は、第２アルゴリズム演算部１４で得られた特徴領域のデータを、正常な特徴領域を深層学習した推論演算に従って演算し、第２アルゴリズム演算部１４で得られた特徴領域の正常性を判断する。これにより、例えば、図１０に示す異常なマスク画像４２を、正常な特徴領域を深層学習した推論演算に従って演算し、異常であると判断することができる。さらに、第４アルゴリズム演算部１８において、統計的手法により予め得られた特徴領域のあり得る範囲と、第２アルゴリズム演算部１４で得られた特徴領域のデータを比較し、第２アルゴリズム演算部１４で得られた特徴領域の正常性を判断してもよい。

第４アルゴリズム演算部１８の深層学習は、次のようにして行うことができる。第２アルゴリズム演算部１４が求めた特殊領域によるマスク画像を多数用意し、熟練者の判断に基づいて、正常なマスク画像３８（図９）と、異常なマスク画像４２とを判断し、マスク画像と正常／異常の評価とをデータセットとして、これらデータセットの多数を深層学習させて第４アルゴリズムを第４アルゴリズム演算部１８内に構築すればよい。

演算部２０は、第１アルゴリズム演算部１２が検出した第１群の特徴点のデータおよび第３アルゴリズム演算部１６が検出した第２群の特徴点のデータの少なくとも一方を用いて、被写体Ｐの最終的な特徴点を出力する。演算部２０の動作の詳細は、下記のフローチャートに関連させて説明する。

図３は、本実施形態の特徴点の認識システム１の動作を示すフローチャートであり、工程順に特徴点認識システム１の動作を説明する。
ステップＳ１において、Ｘ線画像取得部４が被写体ＰのＸ線画像（第１画像）を取得する。これにより、例えば図４中のＸ線画像２２が撮像される。
ステップＳ２において、Ｘ線画像取得部４が取得したＸ線画像のデータは、画像処理装置８中の第１アルゴリズム演算部１２により、被写体Ｐの特徴点を予め深層学習した推論演算（第１アルゴリズム）に従って演算処理され、第１アルゴリズム演算部１２が第１群の特徴点を検出する。これにより、例えば、図４に示す各特徴点Ａ，Ｂ，Ｃ，…，Ｃ６，Ｃ７，Ｃ８の正規化した（Ｘ，Ｙ）座標２４が求められる。

ステップＳ３において、Ｘ線画像取得部４が取得したＸ線画像のデータは、第２アルゴリズム演算部１４により、被写体Ｐの特徴領域を深層学習した推論演算（第２アルゴリズム）に従って演算処理され、第２アルゴリズム演算部１４が特徴領域を検出する。特徴領域の検出には、予め行われた深層学習により、被写体Ｐ内の骨の領域のみを抽出するマスク処理が行われる。これにより、例えば、図７中のマスク画像３６が求められる。

ステップＳ４において、第２アルゴリズム演算部１４が検出した特徴領域のデータは、第３アルゴリズム演算部１６に渡され、第３アルゴリズム演算部１６は第３アルゴリズムを用いて特徴領域のデータを用いて第２群の特徴点を検出する。これにより、例えば図９に示すような第２群の特徴点４０が得られる。

ステップＳ５において、第２アルゴリズム演算部１４が検出した特徴領域のデータは、第４アルゴリズム演算部１８にも渡され、第４アルゴリズム演算部１８は、第２アルゴリズム演算部１４で得られた特徴領域のデータを、正常な特徴領域を深層学習した推論演算に従って演算し、特徴領域の正常性を判断し、その結果を形状スコアとして出力する。これにより、例えば、図１０に示す異常なマスク画像４２に対しては低い形状スコアが第４アルゴリズム演算部１８から出力され、異常であると判定される。

ステップＳ６において、演算部２０は、第３アルゴリズム演算部１６からの第２群の特徴点のデータと、第４アルゴリズム演算部１８からの形状スコアを受け、両者を照合して、第３アルゴリズム演算部１６が検出した第２群の特徴点のデータが正常か否かを判別する。正常であれば、ステップＳ７へ進み、異常と判断されればステップＳ８へ進む。

ステップＳ７において、演算部２０は、ステップＳ２で得られた第１アルゴリズム演算部１２からの第１群の特徴点の座標データと、ステップＳ６で正常と判断された第３アルゴリズム演算部１６からの第２群の特徴点の座標データとを比較する。第１群の特徴点のデータは、マスク処理が行われずに直接、特徴点を検出した非マスク処理による特徴点の座標データである。例えば、図１４は第１アルゴリズム演算部１２からの第１群の特徴点の座標データ５２と、第３アルゴリズム演算部１６からの第２群の特徴点の座標データ５４とを、同一特徴点同士で比較して、差分が大きい場合には誤検知の可能性が高いことを示す模式図である。

ステップＳ７では、例えば、マスク処理を介して得られた第３アルゴリズム演算部１６からの第２群の各特徴点の座標データから、非マスク処理により得られた第１アルゴリズム演算部１２からの第１群の各特徴点の座標データの差分をとり、この差分が予め決めておいた一定の閾値を超えた特徴点があれば、その特徴点の座標は異常であると判断する。

ステップＳ８において、第２群の各特徴点の座標データと、後述するステップＳ１８において３Ｄ画像（第２画像）から得られた第３群の各特徴点の座標データと比較する。この比較により、Ｘ線画像から得られた第２群の特徴点のデータと、３Ｄ画像から得られた第３群の特徴点のデータとの差分が一定の閾値以下であれば、その特徴点の異常はＸ線画像と３Ｄ画像とで共通して存在すると判断して、その特徴点の比較情報を無視せよとの命令を発する。一方、閾値より大きければ、異常フラグを立ててステップＳ１９へ進む。

ステップＳ９において、ステップＳ７での比較により特徴点が正常であると判断された場合はステップＳ１０へ進み、第１群および第２群の特徴点のデータの比較から異常と判断された場合もしくはステップＳ８から比較無効情報が出力されている場合には異常と判断してステップＳ１１へ進む。

ステップＳ１０において、正常と判断された第２群の特徴点のデータと、後述するステップＳ１８で得られる３Ｄ画像から得られた第３群の特徴点のデータとを比較する。Ｘ線画像から得られた第２群の特徴点のデータと、３Ｄ画像から得られた第３群の特徴点のデータとの差分が、一定の閾値以下であれば、正常と判断し、閾値よりも大きければ、異常と判断する。

ステップＳ１１において、ステップＳ９で検出した特徴点が正常ではないと判断された場合は、第２群の特徴点の座標データと、後述するステップＳ１８において３Ｄ画像から得られた第３群の特徴点の座標データと比較する。この比較により、Ｘ線画像から得られた第２群の特徴点の座標データと、３Ｄ画像から得られた第３群の特徴点の座標データとの差分が一定の閾値以下であれば、その特徴点の異常はＸ線画像と３Ｄ画像とで共通して存在すると判断して、その特徴点の比較情報を無視せよとの命令を発発し、閾値より大きければ、異常フラグを立ててステップＳ１９へ進む。

ステップＳ１２において、ステップＳ１０での比較により特徴点が正常であると判断された場合はステップＳ１４へ進み、第１群および第２群の特徴点のデータの比較から異常と判断された場合もしくはステップＳ１１から比較無効情報が出力されている場合には異常と判断してステップＳ１３へ進む。

ステップＳ１３において、Ｘ線画像から得られた第２群の特徴点の座標データと、３Ｄ画像から得られた第３群の特徴点の座標データとの差分が小さいか否かを判断し、差分が一定の閾値よりも小さければ、両者に共通する特徴点のデータについて、使用可能であると判断する。使用可能であると判断した場合にはステップＳ１４へ進み、両者に共通する特徴点のデータについて使用可能ではないと判断した場合にはステップＳ１９へ進む。

ステップＳ１４において、Ｘ線画像から得られた第２群の特徴点のデータと、３Ｄ画像から得られた第３群の特徴点のデータとを合成し、送信すべき座標を最終決定する。合成方法の一例としては、両者の中間点の座標を計算し、その中間点の座標を最終的な特徴点のデータの座標としてもよい。他の例として、ステップ１３において、Ｘ線画像から得られた第１群および第２群の特徴点のデータと、３Ｄ画像から得られた第３群の特徴点のデータの合計３種の座標の平均を、最終的な特徴点のデータとしてもよい。このように正常な２群または３群の特徴点データ群を平均して最終座標を求めることにより、最終的に求められる特徴点の座標の精度をさらに向上できる。

ステップＳ１５において、ステップＳ１４で合成された特徴点のデータを画像処理装置８から出力して、フローチャートの１サイクルが完了する。

一方、ステップ１６において、３Ｄ画像取得部６により被写体Ｐを撮影し、３Ｄ画像取得部６が３Ｄ画像（第２画像）のデータを得る。ステップ１６は、ステップＳ１と同時に行ってもよいし、ステップＳ１と同じではないタイミングで行ってもよい。

ステップ１７において、３Ｄ画像取得部６が取得した３Ｄ画像のデータは、第２アルゴリズム演算部１４（第２画像演算部の一部）により、被写体Ｐの特徴領域を深層学習した推論演算（第２アルゴリズム）に従って演算処理し、第２アルゴリズム演算部１４が特徴領域を検出する。特徴領域の検出には、予め行われた深層学習により、被写体Ｐ内の骨の領域のみを抽出するマスク処理が行われる。深層学習の仕方は、先に述べたＸ線画像に関する特徴点の深層学習と同様に行えばよい。

ステップ１８において、第２アルゴリズム演算部１４が検出した特徴領域のデータは、第３アルゴリズム演算部１６（第２画像演算部の一部）に渡され、第３アルゴリズム演算部１６は第３アルゴリズムにより特徴領域のデータを用いて第３群の特徴点を検出する。検出された第３群の特徴点のデータをステップＳ８およびステップＳ１０へ送る。

ステップ１９において、ステップＳ８，Ｓ１１，Ｓ１４で異常フラグが立てられている場合には、ステップＳ１に戻って再度、撮影済みのＸ線画像および３Ｄ画像に基づき、ステップＳ１からやり直す。また、初期値がＴ＝０であるリトライ回数Ｔ＝１にする。ステップＳ１からＳ１９を再び繰り返した場合には、リトライ回数Ｔを１ずつ加算していき、Ｔ＝ｎ（ｎは予め決めておく正の整数で２以上）となった場合には、Ｔ＝０に初期化するとともに、今回の被写体Ｐに対する特徴点認識作業を中止して、作業員にアラームを発して、その被写体Ｐに対する特徴点の認識は失敗したものとして、人手による作業に委ねるか、特徴点認識システム１から被写体Ｐを排出する。作業員は、被写体Ｐを特徴点認識システム１から除去するか、人手による後工程を行うかする。

以上の特徴点認識システム１によれば、前記フローチャートに基づく動作により、第１アルゴリズム演算部１２が非マスク処理により求めた第１群の特徴点のデータと、第２アルゴリズム演算部１４のマスク処理を経て第３アルゴリズム演算部１６が検出した第２群の特徴点のデータと比較し、一定の閾値以上に離れていれば異常と判断することにより、被写体Ｐの特徴点を従来よりも正確かつ安定して認識することが可能である。

これにより、例えば、図１１に示すように、第２アルゴリズム演算部１４で得られたマスク画像４６が一見正常に見えた場合にも、このマスク画像４６に基づいて得られた第２群の特徴点（図１２）の各座標データを、第１アルゴリズム演算部１２から得られた特徴点の各座標データと比較することにより、図１２に示す特徴点Ｆ、Ｇ、Ｈのように異常を示している特徴点を検出することができ、再びステップＳ１からやり直して正しいデータを得たり、所定回数やり直しても正常なデータが得られなければその被写体Ｐについての処理を停止するなどの対応が可能となる。

さらにこの実施形態では、図１３に示すような３Ｄ画像を第２画像として３Ｄ画像取得部６で取得し、この３Ｄ画像から得た第３群の特徴点の座標データとも比較を行っているから、さらに高い精度が得られる。第１画像を３Ｄ画像とし、第２画像をＸ線画像とすることもできるし、前述した他種の画像と交換しても用いてもよい。

なお、前記実施形態における３Ｄ画像に関連するステップは、省略することも可能である。
また、統計的手法により予め得られた統計的特徴点のデータとしては、単に特徴点同士の距離の最小値から最大値の範囲を多数のサンプルについて統計的に求めておき、これら統計的特徴点のデータと、第３アルゴリズム演算部１６から得られた第２群の特徴点の各座標データおよび／または第１アルゴリズム演算部１２から得られた特徴点の各座標データの正常または異常を判断させてもよい。

本発明の特徴点の認識システムおよび認識方法によれば、２つの手法で得られた第１群および第２群の特徴点を用いることにより、被写体の画像から特徴点の位置情報を安定かつより正確に得ることが可能である。

１ 特徴点認識システム
２ コンベア
４ Ｘ線画像取得部（第１画像取得部）
６ ３Ｄ画像取得部（第２画像取得部）
８ 画像処理装置
１０ シールド
１２ 第１アルゴリズム演算部
１４ 第２アルゴリズム演算部
１６ 第３アルゴリズム演算部
１８ 第４アルゴリズム演算部
２０ 演算部
２２ Ｘ線画像（第１画像の例）
２４ 第１群の特徴点データ
３２ 教師データ
３６ マスク画像
５０ ３Ｄ画像（第２画像の例）

Claims (5)

1. 被写体から取得した画像から前記被写体の特徴点を認識する特徴点の認識システムであって、
   前記被写体の画像を取得する画像取得部と、
   前記画像取得部により取得された画像を、前記被写体の特徴点を深層学習した推論演算に従って演算処理し、第１群の特徴点を検出する第１アルゴリズム演算部と、
   前記画像取得部により取得された画像を、前記被写体の特徴領域を深層学習した推論演算に従って演算処理し、特徴領域を検出する第２アルゴリズム演算部と、
   前記第２アルゴリズム演算部で得られた前記特徴領域を用いて第２群の特徴点を検出する第３アルゴリズム演算部と、
   前記第１アルゴリズム演算部が検出した前記第１群の特徴点のデータおよび前記第３アルゴリズム演算部が検出した前記第２群の特徴点のデータの少なくとも一方を用いて、前記被写体の特徴点を出力する演算部とを具備することを特徴とする特徴点の認識システム。
2. 前記被写体の第２画像を取得する第２画像取得部と、
   前記第２画像取得部により取得された前記第２画像から、第３群の特徴点を検出する第２画像演算部とをさらに有し、
   前記演算部は、前記第１アルゴリズム演算部が検出した前記第１群の特徴点のデータ、前記第３アルゴリズム演算部が検出した前記第２群の特徴点のデータ、および、前記第２画像演算部が検出した前記第３群の特徴点のデータのうち、少なくとも２つを用いて、前記被写体の特徴点の検出結果の正常・異常を検査するすることを特徴とする請求項１に記載の特徴点の認識システム。
3. 前記第２アルゴリズム演算部で得られた前記特徴領域のデータを、正常な特徴領域を深層学習した推論演算に従って演算し、前記第２アルゴリズム演算部で得られた前記特徴領域の正常性を判断する第４アルゴリズム演算部を具備することを特徴とする請求項１または２に記載の特徴点の認識システム。
4. 前記演算部は、前記第１アルゴリズム演算部が検出した前記第１群の特徴点のデータ、前記第３アルゴリズム演算部が検出した前記第２群の特徴点のデータ、および、前記第２画像演算部が検出した前記第３群の特徴点のデータのうち少なくとも２つを相互に比較し、比較に用いた２つの特徴点のうちより精度が高いと判定された方を前記被写体の特徴点として選択して出力することを特徴とする請求項２に記載の特徴点の認識システム。
5. 被写体から取得した画像から前記被写体の特徴点を認識する特徴点の認識方法であって、
   前記被写体の画像を取得する画像取得工程と、
   前記画像取得工程で取得された画像を、前記被写体の特徴点を深層学習した推論演算に従って演算処理し、第１群の特徴点を検出する第１アルゴリズム演算工程と、
   前記画像取得工程により取得された画像を、前記被写体の特徴領域を深層学習した推論演算に従って演算処理し、特徴領域を検出する第２アルゴリズム演算工程と、
   前記第２アルゴリズム演算工程で得られた前記特徴領域を用いて第２群の特徴点を検出する第３アルゴリズム演算工程と、
   前記第１アルゴリズム演算工程で検出した前記第１群の特徴点のデータおよび前記第３アルゴリズム演算工程で検出した前記第２群の特徴点のデータの少なくとも一方を用いて、前記被写体の特徴点を出力する演算工程とを具備することを特徴とする特徴点の認識方法。

Images