JP2020028679A - 異常判別プログラム、異常判別方法および異常判別装置 - Google Patents

Abstract

【課題】超音波検査画像の結果に基づき、異常判定を行うことができる異常判別プログラム、異常判別方法および異常判別装置を提供する。【解決手段】異常判別プログラムは、既知の構造を有する物体に対する複数の超音波検査画像を用いた、物体の異常判別処理をコンピュータに実行させる。異常判別プログラムは、複数の超音波検査画像それぞれについて、物体検知技術を用いた物体の部位の検知を行う処理をコンピュータに実行させる。異常判別プログラムは、検知の結果、および、物体の構造に基づき、複数の超音波検査画像それぞれについて、物体の複数の部位それぞれの検知結果を取得する処理をコンピュータに実行させる。異常判別プログラムは、複数の部位それぞれの、複数の超音波検査画像の検知結果に基づき、物体の異常を判定する処理をコンピュータに実行させる。【選択図】図１

Description

本発明は、異常判別プログラム、異常判別方法および異常判別装置に関する。

対象を破壊することなく内部構造の異常の有無を検査する超音波検査が知られている。超音波検査では、例えば、検査対象に対して二次元走査断面を撮像し、当該走査断面の画像を確認することで検査を行う。走査断面の画像は、撮像に用いるプローブが、例えば人によって走査されるため、撮像環境の変化の影響を強く受ける。このため、走査断面の画像、つまり超音波検査画像の確認は、目視によって行われることが多い。

また、画像にどの様な物体が映っているかを検知する物体検知技術が知られている。物体検知技術は、例えば、機械学習によって画像内の物体を検知する手法として、ＤＰＭ（Deformable Parts Model）やＹＯＬＯ（You Only Look Once）が提案されている。

M.A.Sadeghi and D.Forsyth，"30Hz Object Detection with DPM V5"，In Computer Vision-ECCV 2014，pages 65-79，Springer，2014 Joseph Redmon，Santosh Divvala，Ross Girshick，Ali Farhadi，"You Only Look Once: Unified, Real-Time Object Detection"，arXiv:1506.02640v5 [cs.CV]，9 May 2016

しかしながら、超音波検査画像に対してオートエンコーダ等による異常検知技術を用いて物体の異常を検知しようとすると、画像の解像度が低く、撮像環境の変化が大きいため、背景等の違いを異常と検知してしまう場合がある。このため、超音波検査画像に基づいて、内部構造の異常判定を行うことが難しい。

一つの側面では、既知の構造を有する物体に対する超音波検査画像の物体検知結果に基づき、異常判定を行うことができる異常判別プログラム、異常判別方法および異常判別装置を提供することにある。

一つの態様では、異常判別プログラムは、既知の構造を有する物体に対する複数の超音波検査画像を用いた、前記物体の異常判別処理をコンピュータに実行させる。異常判別プログラムは、前記複数の超音波検査画像それぞれについて、物体検知技術を用いた前記物体の部位の検知を行う処理をコンピュータに実行させる。異常判別プログラムは、前記検知の結果、および、前記物体の構造に基づき、前記複数の超音波検査画像それぞれについて、前記物体の複数の部位それぞれの検知結果を取得する処理をコンピュータに実行させる。異常判別プログラムは、前記複数の部位それぞれの、前記複数の超音波検査画像の前記検知結果に基づき、前記物体の異常を判定する処理をコンピュータに実行させる。

超音波検査画像の結果に基づき、異常判定を行うことができる。

図１は、実施例１の異常判別装置の構成の一例を示すブロック図である。 図２は、オートエンコーダによる異常検知の一例を示す図である。 図３は、異常判定の一例を示す図である。 図４は、超音波検査画像の取得の一例を示す図である。 図５は、部位検知マップの一例を示す図である。 図６は、部位検知マップの他の一例を示す図である。 図７は、超音波検査画像の一例を示す図である。 図８は、部位の検知結果の一例を示す図である。 図９は、部位検知マップの他の一例を示す図である。 図１０は、超音波検査画像の他の一例を示す図である。 図１１は、部位の検知結果の他の一例を示す図である。 図１２は、実施例１の異常判別処理の一例を示すフローチャートである。 図１３は、実施例２の検査対象および検査方法の一例を示す図である。 図１４は、映っているべきコンポーネントの一例を示す図である。 図１５は、異常判別プログラムを実行するコンピュータの一例を示す図である。

以下、図面に基づいて、本願の開示する異常判別プログラム、異常判別方法および異常判別装置の実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。

図１は、実施例１の異常判別装置の構成の一例を示すブロック図である。図１に示す異常判別装置１００は、既知の構造を有する物体に対する複数の超音波検査画像を用いた、物体の異常判別を行う情報処理装置の一例である。異常判別装置１００は、複数の超音波検査画像それぞれについて、物体検知技術を用いた物体の部位の検知を行う。異常判別装置１００は、検知の結果、および、物体の構造に基づき、複数の超音波検査画像それぞれについて、物体の複数の部位それぞれの検知結果を取得する。異常判別装置１００は、複数の部位それぞれの、複数の超音波検査画像の検知結果に基づき、物体の異常を判定する。これにより、異常判別装置１００は、超音波検査画像の結果に基づき、異常判定を行うことができる。

まず、図２を用いてディープラーニングを用いた異常検知について説明する。訓練データとして異常例が豊富にあれば、ディープラーニングによる通常の教師あり学習法によって正常と異常を分別する学習モデルを学習できるが、異常検知問題においては正常例のみが豊富にあり、異常例はほとんど無い、あるいはまったく無い場合が通例である。そこで、異常検知に対しては教師なし学習法の一つであるオートエンコーダが利用される。図２は、オートエンコーダによる異常検知の一例を示す図である。図２の例は、異常検知にオートエンコーダを用いる場合である。オートエンコーダの学習時には、学習モデル１１に対して、正常な入力画像１２を入力すると、教師データとして入力画像１２そのものを与える。つまり、学習モデル１１は、正常な入力画像１２とほぼ同じといえる出力画像１３を再構成できるように学習が行われる。これに対し、運用時には、例えば入力画像１４ａと出力画像１５ａとを比較し、再構成エラー（reconstruction error）を算出する。このとき、出力画像１５ａのように、再構成エラーの値が小さければ、正常であると判定できる。一方、異常値を含む入力画像１４ｂが学習モデル１１に入力された場合、入力画像１４ｂと出力画像１５ｂとの再構成エラーの値が大きくなり、異常を検知することができる。なお、動画像に対して異常検知を行う場合、フレームごとに再構成エラーの値の判定を行う。

この様な異常検知としては、溶接の異常検知の例、監視カメラにおける異常事象の検知の例（Learning Temporal Regularity in Video Sequences）等が挙げられる。また、動画データをキューブ状に分割し、各キューブの異常度を判定して動画像に重畳して表示する例（Dynamic video anomaly detection and localization using sparse denoising autoencoders）もある。これらの例では、背景が動かないため、オートエンコーダによる異常検知を行うことができる。

図２に示すようなオートエンコーダを用いた異常検知では、ノイズに対して鋭敏であるため、画像の解像度が低い超音波検査画像では、誤検知が多く発生してしまう。また、当該異常検知では、入力画像全体が比較対象であるため、つまり、着目すべき部分を指定できないため、撮像環境の変化によって背景が変わってしまうと、誤検知が多く発生してしまう。さらに、学習モデル１１の学習には、大量の正常データが必要となる。

ここで、超音波検査を行う場面を考えると、検査対象の物体は、内部構造が一定であることが多い。このため、超音波検査では、プローブ位置等の情報から本来存在するべき構造を、検査における知見や設計図等を用いて推定することが可能である。そこで、本実施例では、正常な場合の内部構造が判明している検査対象に対し、機械学習を用いた物体検知技術にて検知した内部構造と、本来存在するべき正常構造とを比較することで、異常の有無について判定を行う。なお、機械学習を用いた物体検知技術は、現状では人の水準（平均精度ｍＡＰ＝８０程度）には及ばないものの、処理結果を統計的に処理することで十分に信頼のおける結果を計算できる。また、本実施例では、検査対象として胎児の心臓を一例として説明するが、他の臓器等にも適用可能である。

図３は、異常判定の一例を示す図である。本実施例では、図３に示すように、超音波検査における入力走査断面（入力フレーム）に対して、現走査断面において存在すべき正常構造１７と、物体検知技術によって検知した現走査断面の構造１８とを比較する。比較の結果、構造１８に欠損部１９があると、異常があると判定することができる。なお、正常構造１７は、予め人手によって入力されていてもよいし、入力フレームの画像や位置情報等から推定して求めるようにしてもよい。

次に、異常判別装置１００の構成について説明する。図１に示すように、異常判別装置１００は、プローブ１１０と、表示部１１１と、操作部１１２と、記憶部１２０と、制御部１３０とを有する。なお、異常判別装置１００は、図１に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。

プローブ１１０は、検査対象に対して超音波を照射するとともに、検査対象内部で反射した超音波を受信する探触子の一例である。プローブ１１０は、例えば、リニア型、コンベックス型、セクタ型といった各種のプローブを用いることができる。また、プローブ１１０は、例えば、２ＭＨｚ〜２０ＭＨｚ程度の周波数の超音波を用いることができる。プローブ１１０は、受信データを制御部１３０に出力する。

表示部１１１は、各種情報を表示するための表示デバイスである。表示部１１１は、例えば、表示デバイスとして液晶ディスプレイ等によって実現される。表示部１１１は、制御部１３０から入力された表示画面等の各種画面を表示する。

操作部１１２は、異常判別装置１００のユーザから各種操作を受け付ける入力デバイスである。操作部１１２は、例えば、入力デバイスとして、キーボードやマウス等によって実現される。操作部１１２は、ユーザによって入力された操作を操作情報として制御部１３０に出力する。なお、操作部１１２は、入力デバイスとして、タッチパネル等によって実現されるようにしてもよく、表示部１１１の表示デバイスと、操作部１１２の入力デバイスとは、一体化されるようにしてもよい。

記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部１２０は、画像記憶部１２１と、物体データ記憶部１２２と、学習モデル記憶部１２３と、部位検知データ記憶部１２４と、異常スコア記憶部１２５とを有する。また、記憶部１２０は、制御部１３０での処理に用いる情報を記憶する。

画像記憶部１２１は、プローブ１１０から入力された受信データに基づいて生成された複数の超音波検査画像を記憶する。ここで、複数の超音波検査画像とは、例えば、複数のフレームを持つ動画像とすることができる。なお、以下の説明では、複数の超音波検査画像を動画像と表し、動画像の１フレームの画像を検査画像と表す場合がある。

物体データ記憶部１２２は、検査対象の物体の構造を表す物体データを記憶する。物体データは、例えば、プローブ１１０の現在位置や、前後のフレームの関係等を用いて推定されたルールベースのデータを用いることができる。また、物体データは、人手での入力や設計図に基づいた三次元モデル等に基づくデータを用いてもよい。すなわち、物体データは、何らかの手法を用いて取得した、時刻ｔにおける検査画像ｍ＿ｔに映っているべき部位の集合Ｒ＿ｔと表すことができる。従って、以下の説明では、時刻ｔにおける検査画像ｍ＿ｔに映っているべき部位の集合Ｒ＿ｔを、物体データＲ＿ｔとも表現する。また、物体データＲ＿ｔが存在する検査画像ｍ＿ｔに対応する時刻ｔの区間を時刻集合Ｔ＿Ｒで表し、時刻集合Ｔ＿Ｒに対応する検査画像ｍ＿ｔの集合を全検査画像Ｍで表す。すなわち、物体データ記憶部１２２は、物体データＲ＿ｔとともに、時刻集合Ｔ＿Ｒを記憶する。

学習モデル記憶部１２３は、検査対象の物体について、物体の構造Ｈに関する複数の要素ｈを学習させた学習モデルを記憶する。学習モデルは、ＹＯＬＯ、ＳＳＤ（Single Shot MultiBox Detector）、Ｆａｓｔｅｒ−ＲＮＮ（Recurrent Neural Network）等の物体検知アルゴリズムによって、予め物体の構造Ｈの各要素ｈを学習したものである。学習モデルは、例えば、ニューラルネットワークの各種パラメータ（重み係数）等を記憶する。

部位検知データ記憶部１２４は、検査画像ｍ＿ｔごとに、学習モデルを用いて物体の構造Ｈの各要素ｈを検知したデータである部位検知データを記憶する。部位検知データは、時刻ｔにおける検査画像ｍ＿ｔに映っている部位（要素ｈ）の集合Ｄ＿ｔと表すことができる。従って、以下の説明では、時刻ｔにおける検査画像ｍ＿ｔに映っている部位の集合Ｄ＿ｔを、部位検知データＤ＿ｔとも表現する。

異常スコア記憶部１２５は、時刻集合Ｔ＿Ｒに対応する全検査画像Ｍについて、物体データＲ＿ｔおよび部位検知データＤ＿ｔに基づいて算出された異常スコアを記憶する。なお、時刻集合Ｔ＿Ｒに対応する物体データＲ＿ｔは、物体データＲと表し、時刻集合Ｔ＿Ｒに対応する部位検知データＤ＿ｔは、部位検知データＤと表す。

制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるようにしてもよい。制御部１３０は、取得部１３１と、第１判定部１３２と、検知部１３３と、算出部１３４と、第２判定部１３５とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

取得部１３１は、動画像の取得の開始が指示されると、プローブ１１０から受信データの取得を開始する。取得部１３１は、取得した受信データに基づいて、動画像の生成を開始する。すなわち、取得部１３１は、動画像の取得を開始する。なお、受信データに基づく検査画像は、超音波を照射してから反射波が返ってくるまでの時間から距離を算出することで得られ、例えば、Ｂモード、Ｍモード、カラードップラー等の各種の検査画像を用いることができる。また、取得部１３１は、取得した動画像について、例えば胎児が動く等により走査方向が戻る部分がある場合には、動画像の各フレームを比較することで戻り部分のフレームを除去する。取得部１３１は、取得した動画像を画像記憶部１２１に記憶するとともに、第１判定部１３２に出力する。

ここで、図４を用いて動画像の取得、つまり複数の超音波検査画像の取得について説明する。図４は、超音波検査画像の取得の一例を示す図である。図４の例では、母体２０内の胎児２１について、母体２０の腹部をプローブ１１０で走査することで検査画像（超音波検査画像）を取得する。プローブ１１０は、例えば、医師によって胎児２１の胃付近から心臓上部にかけて連続的に走査される。この場合の検査画像としては、心臓の前後の検査画像例と、心臓の検査画像例として、検査画像２２〜２４が取得される。検査画像２２には、肋骨２５、脊椎２６、下行大動脈２７、胃胞２８および臍静脈２９が映っている。

検査画像２３には、肋骨２５、脊椎２６、下行大動脈２７および心臓３０が映っている。また、検査画像２３には、心臓３０の内部構造の各部位である、右心室３１、右心房３２、左心室３３、左心房３４、心室中隔３５および心交差３６が映っている。ここで、心臓３０は、物体の構造Ｈ、つまり心臓構造の集合に相当する。また、右心室３１、右心房３２、左心室３３、左心房３４、心室中隔３５および心交差３６は、各要素ｈに相当する。検査画像２４には、肋骨２５、脊椎２６、下行大動脈２７、肺動脈３７、上行大動脈３８および上大静脈３９が映っている。本実施例では、走査が開始され検査画像に心臓が映っている区間（時刻集合Ｔ＿Ｒ）について、物体データＲと部位検知データＤとを比較することで心臓の異常の有無を判定する。なお、図４における検査画像２２〜２４は、説明のために各部位を判りやすく描いているが、実際の検査画像では、このように明確に各部位が表示されるものではない。

言い換えると、複数の超音波検査画像は、物体上を走査して得られた画像である。また、プローブ１１０の走査は、一方向に行われる。また、複数の超音波検査画像は、走査の戻りの部分が含まれないように選択された画像である。

図１の説明に戻って、第１判定部１３２は、動画像の前後のフレームの関係を用いて、検査画像ｍ＿ｔに検査対象の物体の構造Ｈ（心臓）が映っているか否かを判定する。第１判定部１３２は、取得部１３１から動画像が入力されると、入力された動画像から１フレームの検査画像ｍ＿ｔを抽出する。第１判定部１３２は、心臓が大きく拍動していることを利用し、下記の式（１）を用いて、拍動に対応するスコア（rule_score）を算出する。つまり、第１判定部１３２は、動画像のフレーム間の差分に基づいて、拍動に対応するスコアを算出する。

式（１）において、ｘは画面の縦軸を示し、ｙは画面の横軸を示す。また、ｍ＿ｔ（ｘ，ｙ）は、時刻ｔにおける検査画像（フレーム）の座標（ｘ，ｙ）の画素を示し、式（１）全体は、時刻ｔより時間ａだけ遡った時刻の検査画像と、時刻ｔの検査画像の差異の総和を、スコアとして求めることを意味している。このスコアが高いほど、時間ａの間で検査画像が大きく変化している、つまり拍動していると判断できる。ｔ’はｔ−ａ、つまりｔから所定の差分ａを引いた値である。差分ａは、例えば「１〜２０」程度であり、４０ｆｐｓの動画では時間単位は１／４０秒であるから、「１／４０秒〜１／２秒」程度となる。

第１判定部１３２は、算出したスコアが予め設定した閾値ｋ＿ｒを超えたか否かを判定することで、検査画像ｍ＿ｔに検査対象の物体の構造Ｈ（心臓）が映っているか否かを判定する。閾値ｋ＿ｒは、任意の値でよいが、例えば「３．０」といった値を採用することができる。第１判定部１３２は、検査画像ｍ＿ｔに検査対象の物体の構造Ｈ（心臓）が映っていると判定した場合には、時刻ｔにおける検査画像ｍ＿ｔに映っているべき部位の集合Ｒ＿ｔを下記の式（２）と算出する。一方、第１判定部１３２は、検査画像ｍ＿ｔに検査対象の物体の構造Ｈ（心臓）が映っていないと判定した場合には、物体データＲ＿ｔを下記の式（３）（Ｒ＿ｔ＝空集合）と算出する。なお、式（２）では、６つの要素ｈに基づいて、物体の構造Ｈが映っている物体データＲ＿ｔを算出したが、任意の数の要素ｈに基づいて、物体データＲ＿ｔを算出してもよい。

Ｒ＿ｔ＝｛右心室，右心房，左心室，左心房，心室中隔，心交差｝ ・・・（２）

また、第１判定部１３２は、物体データＲ＿ｔを式（２）と算出した場合には、時刻ｔを時刻集合Ｔ＿Ｒに追加する。第１判定部１３２は、算出した物体データＲ＿ｔと、時刻集合Ｔ＿Ｒとを物体データ記憶部１２２に記憶する。また、第１判定部１３２は、抽出した検査画像ｍ＿ｔを検知部１３３に出力する。

さらに、第１判定部１３２は、検知部１３３から終了判定指示が入力されると、動画像が終了したか否かを判定する。つまり、第１判定部１３２は、抽出した検査画像ｍ＿ｔが動画像の最後のフレームであったか否かを判定する。第１判定部１３２は、動画像が終了していないと判定した場合には、時刻ｔを１つ進めて、動画像から次の検査画像ｍ＿ｔを抽出し、物体の構造Ｈ（心臓）が映っているか否かの判定を繰り返す。一方、第１判定部１３２は、動画像が終了したと判定した場合には、算出指示を算出部１３４に出力する。

言い換えると、第１判定部１３２は、物体の走査断面を含む動画における複数フレームから時間変化に基づいて、特定の部位の集合が映っているべき検査画像を選択する第１判定部の一例である。また、選択した検査画像は検知部１３３に出力され、映っているべき部位の集合物体データＲ＿ｔと時刻集合Ｔ＿Ｒは物体データ記憶部１２２に記憶される。

検知部１３３は、第１判定部１３２から検査画像ｍ＿ｔが入力されると、学習モデル記憶部１２３を参照し、入力された検査画像ｍ＿ｔに対して、学習モデルを用いて物体の構造Ｈ（心臓）の各要素ｈ（部位）の検知を行う。すなわち、検知部１３３は、検査画像ｍ＿ｔに映っている部位（要素ｈ）の集合Ｄ＿ｔである部位検知データＤ＿ｔを、下記の式（４）を用いて算出する。

Ｄ＿ｔ＝｛ｈ｜Ｐ＿ｈ（ｍ＿ｔ）が閾値ｋ＿ｄ以上｝ ・・・（４）

式（４）において、Ｐ＿ｈは、学習モデルを用いて要素ｈを検知する際に算出される、要素ｈの位置の確信度（probability）を示す。閾値ｋ＿ｄは、要素ｈの位置の確信度に対して、当該要素ｈの検知を判定するための閾値である。すなわち、検知部１３３は、式（４）を用いて、検査画像ｍ＿ｔから、各要素ｈ（部位）の検知結果を部位検知データＤ＿ｔとして算出する。なお、閾値ｋ＿ｄは、任意の値でよいが、例えば「３．０」といった値を採用することができる。また、閾値ｋ＿ｄは、その値を調整することにより、「完全な要素の欠落」〜「正常データからの逸脱」の範囲内で、検出の鋭敏性を設定することができる。検知部１３３は、算出した部位検知データＤ＿ｔを部位検知データ記憶部１２４に記憶するとともに、終了判定指示を第１判定部１３２に出力する。

言い換えると、検知部１３３は、第１判定部１３２が選択した複数の超音波検査画像それぞれについて、物体検知技術を用いた物体の部位の検知を行う。また、検知部１３３は、複数フレームのそれぞれから物体を検出するための物体検知、つまり画像認識を行う認識部の一例である。また、検知部１３３は、複数フレームのうちで時間変化が検出されたフレームにおいて、画像認識（物体検知）において物体が検出された度合いを算出する。また、検知部１３３は、物体の有無を検知する。

算出部１３４は、第１判定部１３２から算出指示が入力されると、物体データ記憶部１２２を参照し、時刻集合Ｔ＿Ｒと、時刻集合Ｔ＿Ｒに対応する物体データＲとを取得する。また、算出部１３４は、部位検知データ記憶部１２４を参照し、時刻集合Ｔ＿Ｒに対応する部位検知データＤを取得する。算出部１３４は、時刻集合Ｔ＿Ｒ、物体データＲおよび部位検知データＤに基づいて、異常スコアを下記の式（５）に示す異常スコア算出関数Ａ（Ｒ，Ｔ＿Ｒ，Ｄ）を用いて算出する。

式（５）において、「＼」は差集合を示し、「＃」は集合に含まれる要素の個数を示す。また、時刻ｔは、時刻集合Ｔ＿Ｒに属するので、Ｒ＿ｔは物体データＲを示し、Ｄ＿ｔは部位検知データＤを示す。

すなわち、算出部１３４は、時刻集合Ｔ＿Ｒに対応する全検査画像Ｍについて、異常スコアを算出する。算出部１３４は、算出した異常スコアを異常スコア記憶部１２５に記憶するとともに、異常判定指示を第２判定部１３５に出力する。

言い換えると、算出部１３４は、検知の結果、および、物体の構造に基づき、複数の超音波検査画像それぞれについて、物体の複数の部位それぞれの検知結果を取得する取得部の一例である。

第２判定部１３５は、算出部１３４から異常判定指示が入力されると、異常スコア記憶部１２５を参照し、異常スコアに基づいて、異常の有無を判定する。すなわち、第２判定部１３５は、異常スコアＡ（Ｒ，Ｔ＿Ｒ，Ｄ）が予め設定された閾値ｋ＿Ａを超えたか否かを判定する。なお、閾値ｋ＿Ａは、任意の値でよいが、例えば「３．０」といった値を採用することができる。第２判定部１３５は、閾値ｋ＿Ａを超えていないと判定した場合には、検査対象の物体の構造Ｈ（心臓）について異常がないという判定結果を生成する。第２判定部１３５は、閾値ｋ＿Ａを超えたと判定した場合には、検査対象の物体の構造Ｈ（心臓）について異常があるという判定結果を生成する。第２判定部１３５は、例えば、生成した判定結果に基づく画面を表示部１１１に出力して表示させる。

言い換えると、第２判定部１３５は、複数の部位それぞれの、複数の超音波検査画像の検知結果に基づき、物体の異常を判定する判定部の一例である。また、第２判定部１３５は、複数の部位それぞれの、複数の超音波検査画像における検出割合（異常スコア）に基づいて、物体の異常を判定する。また、第２判定部１３５は、物体の有無に基づいて、物体の異常を判定する。また、第２判定部１３５は、複数フレームのうちで時間変化が検出されたフレームにおいて、画像認識（物体検知）において物体が検出された度合いに基づいて、物体の異常を検出する第２検出部の一例である。

なお、第２判定部１３５は、部位検知データ記憶部１２４を参照し、時刻集合Ｔ＿Ｒに対応する部位検知データＤについて、部位ごとに走査方向の検知結果を表示するような部位検知マップを生成して表示部１１１に出力して表示させるようにしてもよい。

図５は、部位検知マップの一例を示す図である。図５に示す部位検知マップ４０は、要素ｈを縦軸、時刻ｔを横軸とし、部位ごとに走査方向の検知結果として確信度を表したものである。部位検知マップ４０の異常例４１は、心臓が映っているべき区間４２において、例えば心交差の部位検知データＤ＿ｔにおける確信度が低く、検知出来ていない領域が多くなっている。一方、正常例４３は、心臓が映っているべき区間４４において、例えば心交差の部位検知データＤ＿ｔにおける確信度が高く、正しく検知出来ている。つまり、異常判別装置１００は、部位検知マップ４０に示すように、正常領域と異常領域との割合を見ているため、検査画像上では不明瞭であっても、異常を判定することができる。

図６は、部位検知マップの他の一例を示す図である。図６に示す部位検知マップ４５は、要素ｈを縦軸、時刻ｔを横軸とし、部位ごとに走査方向の検知結果として確信度を表したものである。部位検知マップ４５では、例えば、未検知、検知（確信度２０％未満）、検知（確信度２０％以上）の３段階で表している。なお、部位検知マップ４５は、未検知をグレーとし、検知（確信度２０％未満）と検知（確信度２０％以上）とを異なる色、例えば、白色と青色とで表すようにしてもよい。ここで、断面の２３５番を抜粋して超音波検査画像および部位の検知結果について説明する。また、時刻集合Ｔ＿Ｒの領域外、つまり遷移領域の断面の一例として３７０番の超音波検査画像を示す。

図７は、超音波検査画像の一例を示す図である。図７では、断面の２３５番および３７０番に対応する超音波検査画像を表す。３７０番の断面では、遷移領域であるので、心室中隔３５および心交差３６が映っていなくても構わない。

図８は、部位の検知結果の一例を示す図である。図８では、図７の２３５番についての部位の検知結果を示す。２３５番では、右心室３１、右心房３２、左心室３３、左心房３４、心室中隔３５および心交差３６が検知されている。なお、異常判別装置１００は、プローブ１１０の走査中に表示部１１１に表示するモニタ用の超音波検査画像に対して、図８に示すような部位の検知結果の枠をリアルタイムに表示するようにしてもよい。また、異常判別装置１００は、図８に示すような部位の検知結果の枠に、例えば部位の名称等のラベルを表示するようにしてもよい。

図９は、部位検知マップの他の一例を示す図である。図９に示す部位検知マップ４６は、図６の部位検知マップ４５と同様に、要素ｈを縦軸、時刻ｔを横軸とし、部位ごとに走査方向の検知結果として確信度を表したものである。部位検知マップ４６では、心交差３６の欠損を読み取ることができる。心交差３６の欠損に対応する断面は、例えば１３１番が挙げられる。

図１０は、超音波検査画像の他の一例を示す図である。図１０では、図９の１３１番に対応する超音波検査画像を表す。１３１番では、心交差３６が欠損していることがわかる。

図１１は、部位の検知結果の他の一例を示す図である。図１１では、図１０の１３１番についての部位の検知結果を示す。１３１番では、右心室３１、右心房３２、左心室３３、左心房３４および心室中隔３５が検知されているが、心交差３６は欠損しているため検知されていない。つまり、部位検知マップ４６から、心交差３６の欠損が読み取れることに対し、対応する超音波検査画像においても欠損が認められることがわかる。

次に、実施例１の異常判別装置１００の動作について説明する。図１２は、実施例１の異常判別処理の一例を示すフローチャートである。

取得部１３１は、動画像の取得の開始が指示されると、プローブ１１０から取得した受信データに基づいて、動画像の取得を開始する（ステップＳ１）。取得部１３１は、取得した動画像を画像記憶部１２１に記憶するとともに、第１判定部１３２に出力する。

第１判定部１３２は、取得部１３１から動画像が入力されると、入力された動画像から１フレームの検査画像ｍ＿ｔを抽出する（ステップＳ２）。第１判定部１３２は、抽出した検査画像ｍ＿ｔから物体データＲ＿ｔを算出する（ステップＳ３）。第１判定部１３２は、検査画像ｍ＿ｔに検査対象の物体の構造Ｈ（心臓）が映っていると判定した場合には、時刻ｔを時刻集合Ｔ＿Ｒに追加する（ステップＳ４）。第１判定部１３２は、算出した物体データＲ＿ｔと、時刻集合Ｔ＿Ｒとを物体データ記憶部１２２に記憶する。また、第１判定部１３２は、抽出した検査画像ｍ＿ｔを検知部１３３に出力する。

検知部１３３は、第１判定部１３２から検査画像ｍ＿ｔが入力されると、学習モデル記憶部１２３を参照し、入力された検査画像ｍ＿ｔに対して、学習モデルを用いて物体の構造Ｈ（心臓）の各要素ｈ（部位）の検知を行う。つまり、検知部１３３は、検査画像ｍ＿ｔから部位検知データＤ＿ｔを算出する（ステップＳ５）。検知部１３３は、算出した部位検知データＤ＿ｔを部位検知データ記憶部１２４に記憶するとともに、終了判定指示を第１判定部１３２に出力する。

第１判定部１３２は、検知部１３３から終了判定指示が入力されると、動画像が終了したか否かを判定する（ステップＳ６）。第１判定部１３２は、動画像が終了していないと判定した場合には（ステップＳ６：否定）、時刻ｔを１つ進めて、つまり動画像を１フレーム進めて、ステップＳ２に戻る。一方、第１判定部１３２は、動画像が終了したと判定した場合には（ステップＳ６：肯定）、算出指示を算出部１３４に出力する。

算出部１３４は、第１判定部１３２から算出指示が入力されると、時刻集合Ｔ＿Ｒに対応する全検査画像Ｍについて、異常スコアを算出する（ステップＳ７）。算出部１３４は、算出した異常スコアを異常スコア記憶部１２５に記憶するとともに、異常判定指示を第２判定部１３５に出力する。

第２判定部１３５は、算出部１３４から異常判定指示が入力されると、異常スコア記憶部１２５を参照し、異常スコアに基づいて、異常の有無を判定する（ステップＳ８）。第２判定部１３５は、例えば、判定結果に基づく画面を表示部１１１に出力して表示させる（ステップＳ９）。これにより、異常判別装置１００は、超音波検査画像の結果に基づき、異常判定を行うことができる。すなわち、異常判別装置１００は、物体検知技術の結果（検知できるか否か）を利用して、検知対象が正常から外れているか否か、つまり異常であるか、あるいは、欠損しているかを調べることができる。また、異常判別装置１００は、学習モデルに明示的に正常構造を教示できるため、少数の教師データで学習を行うことができ、かつ、ノイズに対して頑強である。また、異常判別装置１００は、物体中の任意の部位に着目して異常を判定することができる。

このように、異常判別装置１００は、既知の構造を有する物体に対する複数の超音波検査画像を用いた、物体の異常判別を行う。異常判別装置１００は、複数の超音波検査画像それぞれについて、物体検知技術を用いた物体の部位の検知を行う。また、異常判別装置１００は、検知の結果、および、物体の構造に基づき、複数の超音波検査画像それぞれについて、物体の複数の部位それぞれの検知結果を取得する。また、異常判別装置１００は、複数の部位それぞれの、複数の超音波検査画像の検知結果に基づき、物体の異常を判定する。その結果、異常判別装置１００は、超音波検査画像の結果に基づき、異常判定を行うことができる。

また、異常判別装置１００では、複数の超音波検査画像は、物体が映っているべきことを判定して選択された画像である。その結果、異常判別装置１００は、物体が映っているべきである位置に対して部位の検知を行うので、検知精度を向上させることができる。

また、異常判別装置１００は、複数の部位それぞれの、複数の超音波検査画像における検出割合に基づいて、物体の異常を判定する。その結果、異常判別装置１００は、部位の異常を判定できる。

また、異常判別装置１００は、物体の有無に基づいて、物体の異常を判定する。その結果、異常判別装置１００は、部位の欠損を判定できる。

また、異常判別装置１００では、複数の超音波検査画像は、物体上を走査して得られた画像である。その結果、異常判別装置１００は、物体の内部構造の異常判定を行うことができる。

また、異常判別装置１００では、走査は、一方向に行われる。その結果、異常判別装置１００は、物体の内部構造の異常判定を行うことができる。

また、異常判別装置１００では、複数の超音波検査画像は、走査の戻りの部分が含まれないように選択された画像である。その結果、異常判別装置１００は、検知精度を向上させることができる。

また、異常判別装置１００は、時間変化を伴う物体の異常を検出する。異常判別装置１００は、物体の走査断面を含む動画における複数フレームから時間変化を検出する。また、異常判別装置１００は、複数フレームのそれぞれから物体を検出するための画像認識（物体検知）を行う。また、異常判別装置１００は、複数フレームのうちで時間変化が検出されたフレームにおいて、画像認識（物体検知）において物体が検出された度合いに基づいて、物体の異常を検出する。その結果、異常判別装置１００は、物体の走査断面を含む動画に基づき、異常判定を行うことができる。

上記実施例１では、検査対象として胎児の心臓を一例として説明したが、超音波検査が可能な物体であれば適用でき、例えば半導体パッケージを検査対象としてもよく、この場合の実施の形態につき、実施例２として説明する。なお、実施例２では、実施例１の異常判別装置１００と検査対象が異なるのみであるので、検査対象に関する説明を行い、重複する構成および動作の説明については省略する。

近年の半導体パッケージでは、三次元実装技術の発展等によって、ＳｉＰ（System in Package）と呼ばれる多くのチップ類（コンポーネント）が同じパッケージに実装されることが増加している。この様な半導体パッケージは、内部構造が複雑化しているため、従来の超音波検査による探傷に留まらず、内部構造の実装の状況も確認することが求められている。

図１３は、実施例２の検査対象および検査方法の一例を示す図である。図１３に示すパッケージ５０は、半導体パッケージの一例である。パッケージ５０は、基板５１の上に複数のチップ５２が実装され、パッケージ樹脂５３で封止されている。実施例２では、パッケージ５０を水槽５４に沈め、水槽５４の水面に対して平行にプローブ５５を動かすことで、検査画像を取得する。

実施例２では、異常判別装置１００は、パッケージ５０の設計図に基づいて、物体データＲ＿ｔを算出する。つまり、実施例２では、異常判別装置１００は、パッケージ５０の設計図に基づいて、断面である検査画像ｍ＿ｔに映っているべきコンポーネントの種類と、時刻ｔとを求めて物体データＲ＿ｔを算出する。また、異常判別装置１００は、コンポーネントが映っているべき区間ごとに、時刻集合Ｔ＿Ｒを求める。なお、物体データＲ＿ｔの算出は、実施例１と同様であるので、その説明を省略する。

図１４は、映っているべきコンポーネントの一例を示す図である。図１４に示すように、パッケージ５０の平面図５６には、映っているべきコンポーネントとして、複数のチップ５２ａがあるものとする。実施例２では、断面５７をプローブ走査方向に移動させた場合に、チップ５２ａが断面５７に現れる箇所と、断面５７からチップ５２ａが消える箇所とに基づいて区切られた区間５８ごとに、映っているべきチップ５２ａを推定する。つまり、時刻集合Ｔ＿Ｒは、それぞれのチップ５２ａが映っているべき区間５８に対応する。

異常判別装置１００は、検査画像ｍ＿ｔから部位検知データＤ＿ｔを算出する。異常判別装置１００は、各チップ５２ａにおける時刻集合Ｔ＿Ｒに対応する全検査画像Ｍについて、異常スコアを算出して異常の有無を判定する。なお、部位検知データＤ＿ｔの算出、および、異常スコアの算出は、実施例１と同様であるので、その説明を省略する。このように、実施例２の異常判別装置１００は、検査対象が半導体パッケージであっても、超音波検査画像の結果に基づき、異常判定を行うことができる。

なお、上記各実施例では、動画像の検査対象の物体が映っているべき区間について異常スコアを算出したが、これに限定されない。例えば、動画像の全区間について異常スコアを算出するようにしてもよい。この場合、検査対象の物体が映っていないはずの区間は、空集合と空集合の差となるので、検査対象の物体が映っているべき区間の異常スコアには影響を与えないことになる。

上記各実施例では、正常な場合の内部構造が判明している検査対象に対し、超音波検査画像に機械学習を用いた物体検知技術を用いることで、異常の有無について判定を行っている。これにより、超音波検査画像に対する物体検知の精度が十分でない場合であっても、異常の有無の判定を行うことができる。

また、上記各実施例では、プローブ１１０の走査方向を一方向として説明したが、これに限定されない。例えば、動画像の各フレームを比較することで走査方向を特定し、重複するフレームを除去した所定範囲の検査画像の集合から、物体データＲ＿ｔと部位検知データＤ＿ｔとを算出し、所定範囲の検査画像の集合から異常スコアを算出するようにしてもよい。

また、上記各実施例では、物体検知アルゴリズムとして、ＹＯＬＯ、ＳＳＤ、Ｆａｓｔｅｒ−ＲＮＮを一例として挙げたが、これに限定されない。例えば、ＤＰＭ、Ｆａｓｔ−ＲＮＮなど様々なニューラルネットワークを用いた物体検知アルゴリズムを用いることができる。また、学習の手法も、誤差逆伝播以外にも公知の様々な手法を採用することができる。また、ニューラルネットワークは、例えば入力層、中間層（隠れ層）、出力層から構成される多段構成であり、各層は複数のノードがエッジで結ばれる構造を有する。各層は、「活性化関数」と呼ばれる関数を持ち、エッジは「重み」を持ち、各ノードの値は、前の層のノードの値、接続エッジの重みの値、層が持つ活性化関数から計算される。なお、計算方法については、公知の様々な手法を採用できる。また、機械学習としては、ニューラルネットワーク以外にも、ＳＶＭ（support vector machine）等の各種手法を用いてもよい。

また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、算出部１３４と第２判定部１３５とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものでなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。

さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。

ところで、上記の各実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の各実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図１５は、異常判別プログラムを実行するコンピュータの一例を示す図である。

図１５に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、データ入力を受け付ける入力装置２０２と、モニタ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る媒体読取装置２０４と、各種装置と接続するためのインタフェース装置２０５と、他の情報処理装置等と有線または無線により接続するための通信装置２０６とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０７と、ハードディスク装置２０８とを有する。また、各装置２０１〜２０８は、バス２０９に接続される。

ハードディスク装置２０８には、図１に示した取得部１３１、第１判定部１３２、検知部１３３、算出部１３４および第２判定部１３５の各処理部と同様の機能を有する異常判別プログラムが記憶される。また、ハードディスク装置２０８には、画像記憶部１２１、物体データ記憶部１２２、学習モデル記憶部１２３、部位検知データ記憶部１２４、異常スコア記憶部１２５、および、異常判別プログラムを実現するための各種データが記憶される。入力装置２０２は、例えば、コンピュータ２００のユーザから操作情報等の各種情報の入力を受け付ける。モニタ２０３は、例えば、コンピュータ２００のユーザに対して表示画面等の各種画面を表示する。インタフェース装置２０５は、例えばプローブ等が接続される。通信装置２０６は、例えば、図示しないネットワークと接続され、他の情報処理装置と各種情報をやりとりする。

ＣＰＵ２０１は、ハードディスク装置２０８に記憶された各プログラムを読み出して、ＲＡＭ２０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ２００を図１に示した取得部１３１、第１判定部１３２、検知部１３３、算出部１３４および第２判定部１３５として機能させることができる。

なお、上記の異常判別プログラムは、必ずしもハードディスク装置２０８に記憶されている必要はない。例えば、コンピュータ２００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ２００が読み出して実行するようにしてもよい。コンピュータ２００が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこの異常判別プログラムを記憶させておき、コンピュータ２００がこれらから異常判別プログラムを読み出して実行するようにしてもよい。

１００ 異常判別装置
１１０ プローブ
１１１ 表示部
１１２ 操作部
１２０ 記憶部
１２１ 画像記憶部
１２２ 物体データ記憶部
１２３ 学習モデル記憶部
１２４ 部位検知データ記憶部
１２５ 異常スコア記憶部
１３０ 制御部
１３１ 取得部
１３２ 第１判定部
１３３ 検知部
１３４ 算出部
１３５ 第２判定部

Claims (12)

1. 既知の構造を有する物体に対する複数の超音波検査画像を用いた、前記物体の異常判別プログラムであって、
   前記複数の超音波検査画像それぞれについて、物体検知技術を用いた前記物体の部位の検知を行い、
   前記検知の結果、および、前記物体の構造に基づき、前記複数の超音波検査画像それぞれについて、前記物体の複数の部位それぞれの検知結果を取得し、
   前記複数の部位それぞれの、前記複数の超音波検査画像の前記検知結果に基づき、前記物体の異常を判定する、
   処理をコンピュータに実行させる異常判別プログラム。
2. 前記複数の超音波検査画像は、前記物体が映っているべきことを判定して選択された画像である、
   請求項１に記載の異常判別プログラム。
3. 前記異常を判定する処理は、前記複数の部位それぞれの、前記複数の超音波検査画像における検出割合に基づいて、前記物体の異常を判定する、
   請求項１または２に記載の異常判別プログラム。
4. 前記異常を判定する処理は、前記物体の有無に基づいて、前記物体の異常を判定する、
   請求項１〜３のいずれか１つに記載の異常判別プログラム。
5. 前記複数の超音波検査画像は、前記物体上を走査して得られた画像である、
   請求項１〜４のいずれか１つに記載の異常判別プログラム。
6. 前記走査は、一方向に行われる、
   請求項５に記載の異常判別プログラム。
7. 前記複数の超音波検査画像は、前記走査の戻りの部分が含まれないように選択された画像である、
   請求項５に記載の異常判別プログラム。
8. 時間変化を伴う物体の異常を検出する異常判別プログラムであって、
   前記物体の走査断面を含む動画における複数フレームから前記時間変化を検出し、
   前記複数フレームのそれぞれから前記物体を検出するための画像認識を行い、
   前記複数フレームのうちで前記時間変化が検出されたフレームにおいて、前記画像認識において前記物体が検出された度合いに基づいて、前記物体の前記異常を検出する、
   処理をコンピュータに実行させる異常判別プログラム。
9. 既知の構造を有する物体に対する複数の超音波検査画像を用いた、前記物体の異常判別方法であって、
   前記複数の超音波検査画像それぞれについて、物体検知技術を用いた前記物体の部位の検知を行い、
   前記検知の結果、および、前記物体の構造に基づき、前記複数の超音波検査画像それぞれについて、前記物体の複数の部位それぞれの検知結果を取得し、
   前記複数の部位それぞれの、前記複数の超音波検査画像の前記検知結果に基づき、前記物体の異常を判定する、
   処理をコンピュータが実行する異常判別方法。
10. 時間変化を伴う物体の異常を検出する異常判別方法であって、
    前記物体の走査断面を含む動画における複数フレームから前記時間変化を検出し、
    前記複数フレームのそれぞれから前記物体を検出するための画像認識を行い、
    前記複数フレームのうちで前記時間変化が検出されたフレームにおいて、前記画像認識において前記物体が検出された度合いに基づいて、前記物体の前記異常を検出する、
    処理をコンピュータが実行する異常判別方法。
11. 既知の構造を有する物体に対する複数の超音波検査画像を用いた、前記物体の異常判別装置であって、
    前記複数の超音波検査画像それぞれについて、物体検知技術を用いた前記物体の部位の検知を行う検知部と、
    前記検知の結果、および、前記物体の構造に基づき、前記複数の超音波検査画像それぞれについて、前記物体の複数の部位それぞれの検知結果を取得する取得部と、
    前記複数の部位それぞれの、前記複数の超音波検査画像の前記検知結果に基づき、前記物体の異常を判定する判定部と、
    を有する異常判別装置。
12. 時間変化を伴う物体の異常を検出する異常判別装置であって、
    前記物体の走査断面を含む動画における複数フレームから前記時間変化を検出する第１検出部と、
    前記複数フレームのそれぞれから前記物体を検出するための画像認識を行う認識部と、
    前記複数フレームのうちで前記時間変化が検出されたフレームにおいて、前記画像認識において前記物体が検出された度合いに基づいて、前記物体の前記異常を検出する第２検出部と、
    を有する異常判別装置。