JP2022550712A - ３次元測定値における誤差の検出のための方法、システムおよびコンピュータ可読記憶媒体 - Google Patents

Abstract

歯の３次元測定中に画像中の欠陥を検出するための方法、システムおよびコンピュータ可読記憶媒体。オペレータは歯科用カメラを使用して歯をスキャンしてもよく、訓練されたディープニューラルネットワークは、欠陥を有する入力画像の一部を自動的に検出し、かつ講じられる補正措置のためにそれらの欠陥に関する出力情報を生成してもよい。【選択図】図７

Description

関連出願の相互参照
本特許出願は、２０１９年９月２４日に出願された米国特許出願第１６／５７９，９９５号の利益および優先権を主張するものであり、この米国出願は全ての目的のために参照により本明細書に組み込まれる。

本出願は一般に３次元（３Ｄ）測定値における誤差を検出するための方法、システムおよびコンピュータ可読記憶媒体に関し、より詳細にはディープラーニング方法を利用して３Ｄ測定値における誤差を検出するための方法、システムおよびコンピュータ可読記憶媒体に関する。

歯科開業医は肉眼で口腔内画像などの３Ｄ画像における誤差を検出するように訓練されている場合がある。これらの誤差は、例えば口腔内スキャナー／カメラのガラス内の凹凸（例えば、引っ掻き傷、息による曇り、唾液滴など）、スキャンされている歯の表面にある異物の存在（例えば、唾液の泡または血液）、測定環境における有害な条件（例えば、太陽光またはサージカルライト）ならびに口腔内スキャナーの誤作動（例えば、カメラのセンサにおける画素の欠陥）などの妨害因子によって引き起こされる画像中の欠陥／妨害であってもよい。測定／スキャンプロセス中に誤差が認識されない場合には、その測定は完了することができなかったり、正確性が低くなったり、あるいは繰り返しの中断により著しく遅延したりすることがある。

しかしこれらの誤差ならびに誤差の原因は、経験豊富な歯科医師および未経験の歯科医師のどちらにとっても検出するのが難しい場合がある。多くの場合、測定プロセスのより後の時点または記録条件の従来もしくは手動の検査によってのみそれらに気づくことがある。より具体的には、誤差のいくつかは非常に区別がつけにくいため、従来の方法では誤差を常に存在し得る一般的なセンサノイズおよび較正誤差から区別することができない（例えば、カメラのガラスの表面にある小さい引っ掻き傷は測定データ中に小さい「バンプ」を生じさせることがあり、前記「バンプ」はセンサノイズの高さと同様の高さを有する）。しかし誤差は系統的であるため、それを常にさらなる画像によって平均化することができるわけではない。他のより深刻な誤差は実際に、従来の検査により問題を認識させ、次いで取得プロセスを停止させることができる。しかし従来／手動の方法では誤差の原因を診断することができない場合があり、従来もしくは手動の手法を用いて必要とされる複雑さを伴うフィルタの実装は手に負えない。

他方で自動の誤差検出は、好適な対策を講じるために誤った測定値の早期指標を与えることができる。

米国特許第９７８８９１７Ｂ２号は、自動化歯科矯正診断および治療計画に人工知能を用いるための方法を開示している。この方法は、患者によって動作されるように構成された口腔内イメージャを提供する工程と、歯科矯正状態に関する患者データを受信する工程と、歯科矯正治療から得られた情報を含むかそれへのアクセスを有するデータベースにアクセスする工程と、歯科矯正状態の電子モデルを生成する工程と、少なくとも１つのコンピュータプログラムに、患者データを分析して歯科矯正治療から得られた情報に基づいて歯科矯正状態の少なくとも１つの診断および治療計画を特定するように命令する工程とを含んでもよい。

米国特許出願公開第２０１９００２６８９３Ａ１号は、歯科矯正アライナーの形状を評価するための方法であって、分析画像上に表されている歯に関する歯の属性の値および／または分析画像に関する画像属性の少なくとも１つの値を決定するために、分析画像をディープラーニング装置にサブミットする方法を開示している。

ＰＣＴ出願のＰＣＴ／ＥＰ２０１８／０５５１４５は、修復物を構築するための方法であって、歯の状態を歯科用カメラによって測定し、かつ歯の状態の３次元（３Ｄ）モデルを生成する方法を開示している。次いでコンピュータ支援検出アルゴリズムを歯の状態の３Ｄモデルに適用してもよく、修復物の種類、歯の本数または修復物の位置が自動的に決定される。

米国特許出願公開第２０１８００２８２９４Ａ１号は、ディープラーニングを用いた歯科用ＣＡＤ自動化のための方法を開示している。この方法は、患者の歯列データセットの少なくとも１つの部分を表している患者のスキャンデータを受信する工程と、訓練されたディープニューラルネットワークを用いて患者のスキャンにおいて１つ以上の歯の特徴を特定する工程とを含んでもよい。ここでは設計自動化は、完全なスキャンが生成された後に行ってもよい。しかし、この方法により実際のスキャンプロセスは向上しない。

上記に関連する既存の限界ならびに他の限界は、ディープラーニング方法を利用して３Ｄ測定値における誤差を検出するための方法、システムおよびコンピュータ可読記憶媒体によって克服することができる。これらの３Ｄ測定値としては口腔内測定値が挙げられるが、そのような測定値に限定されなくてもよい。例えば硬膏模型に関する測定値などの口腔外測定値を含めてもよい。

本明細書中の一態様では、本発明は、１つ以上の計算装置によって患者の歯列の個々の画像を受信する工程と、患者の歯列の個々の画像をセマンティック領域および／または誤差領域に対応する領域にセグメンテーションすることにより訓練されたディープニューラルネットワークの１つ以上の出力ラベル値を用いて前記欠陥を自動的に特定する工程と、特定された欠陥を補正するための１つ以上の補正措置を決定する工程と、患者の歯列の個々の画像を組み合わせて補正された大域的３Ｄ画像を形成する工程とを含む、３次元測定中に欠陥を検出するためのコンピュータ実装方法を提供することができる。出力ラベル値は確率値であってもよい。

本明細書中の別の態様では、本コンピュータ実装方法は、以下の１つ以上の組み合わせをさらに含んでもよい。（ｉ）個々の画像は個々の３次元光学画像である、（ｉｉ）個々の画像は時間的な一連の画像として受信される、（ｉｉｉ）個々の画像は患者の歯列の３Ｄ測定データおよび色データを含む、（ｉｖ）特定された誤差領域の関連性の指標は対応するセマンティック領域に基づいている、（ｖ）各訓練用画像の少なくとも１つの部分にある１つ以上の欠陥を確率ベクトルの１つ以上の確率値に対応付けするように１つ以上の計算装置および複数の個々の訓練用画像を用いてディープニューラルネットワークを訓練する工程であって、訓練する工程は、個々の訓練用画像および／または個々の訓練用画像の画素をセマンティックデータ型および／または誤差データ型に対応する１つ以上のクラスに分類することにより画素レベルで行う工程をさらに含む、（ｖｉ）セマンティックデータ型は、歯、頬、唇、舌、歯肉、充填物およびセラミックからなる群から選択され、誤差データ型は、曇り、引っ掻き傷、唾液滴、汚れ、血液、ハイライト、環境照明、測定距離、画素の欠陥からなる群から選択される、（ｖｉｉ）個々の画像のレジストレーション前に欠陥に対応する位置をマスクアウトすることにより欠陥を補正する工程をさらに含む、（ｖｉｉｉ）所定の重みを用いて欠陥に対応する位置の寄与を部分的に含めることにより欠陥を補正する工程をさらに含む、（ｉｘ）欠陥に対応する歯科用カメラのパラメータを自動的に調整することにより欠陥を補正する工程をさらに含む、（ｘ）前記パラメータは歯科用カメラの露光時間、光強度およびガラス温度を含む、（ｘｉ）ユーザに警告を中継することおよび／または誤差に関するレポートを生成することにより欠陥を示す工程をさらに含む、（ｘｉｉ）ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）、回帰型ニューラルネットワーク（ＲＮＮ）および回帰型畳み込みニューラルネットワーク（回帰型ＣＮＮ）からなる群から選択されるネットワークである。

本発明のさらに別の態様では、コンピュータシステムによって実行された場合にコンピュータシステムに、１つ以上の計算装置によって患者の歯列の個々の画像を受信する工程と、患者の歯列の個々の画像をセマンティック領域および／または誤差領域に対応する領域にセグメンテーションすることにより訓練されたディープニューラルネットワークの１つ以上の出力確率値を用いて患者の歯列の前記個々の画像中の欠陥を自動的に特定する工程と、特定された欠陥を補正するための１つ以上の補正措置を決定する工程と、患者の歯列の個々の画像を組み合わせて補正された大域的３Ｄ画像を形成する工程とを含む手順を実行させるプログラムを記憶している非一時的コンピュータ可読記憶媒体を提供することができる。

さらに、１つ以上の計算装置によって患者の歯列の個々の画像を受信し、患者の歯列の個々の画像をセマンティック領域および／または誤差領域に対応する領域にセグメンテーションすることにより訓練されたディープニューラルネットワークの１つ以上の出力ラベル値を用いて患者の歯列の前記個々の画像中の欠陥を自動的に特定し、特定された欠陥を補正するための１つ以上の補正措置を決定し、かつ患者の歯列の個々の画像を組み合わせて補正された大域的３Ｄ画像を形成するように構成されたプロセッサを備える、３次元測定中に欠陥を検出するための装置を提供することができる。

例示的な実施形態は、本明細書において以下に与えられている詳細な説明および添付の図面からより十分に理解されるであろう。図面において同様の要素は同様の符号によって表されており、これらは単に例示として与えられており、従って本明細書中の例示的な実施形態を限定するものではない。

患者の歯列の個々の画像のスキャン／記録を示す口腔の上面図のスケッチである。 本発明の一実施形態に係るシステムのハイレベルブロック図である。 本発明の一実施形態に係る、それらの欠陥が除去されていない状態の個々の画像から形成された歯列の大域的３Ｄ画像の斜視図である。 本発明の一実施形態に係る、それらの欠陥が除去されている状態の個々の画像から形成された歯列の補正された大域的３Ｄ画像の斜視図である。 一実施形態に係るディープニューラルネットワークなどのニューラルネットワークの構造を示すハイレベルブロック図である。 本発明の一実施形態に係る方法を示すフローチャートである。 本発明の一実施形態に係る訓練する工程ためのサンプル画像である。 本発明の一実施形態を示すブロック図である。 本発明の別の実施形態を示す別のブロック図である。 本発明の一実施形態を示すさらに別のブロック図である。 本発明の例示的な実施形態に係るコンピュータシステムを示すブロック図である。

図面の中の異なる図は少なくともいくつかの符号を有する場合があるが、それらは同じ構成要素を特定するために同じである場合があり、そのような構成要素のそれぞれの詳細な説明は各図に関して以下に提供されていない場合がある。

本明細書に記載されている例示的な態様に従って、ディープラーニング方法を利用して３Ｄ測定値における誤差を検出するための方法、システムおよびコンピュータ可読記憶媒体を提供することができる。

３Ｄ測定値における誤差を検出するためのシステム

患者の口腔の正確な３Ｄ測定は患者の歯の表面にある唾液滴または血液などの因子によって妨げられる場合がある。本明細書に記載されているシステムは好ましくは個々の３次元光学画像２（図１）などの画像を得ることができ、ここでは各３次元光学画像２は好ましくは歯の測定された表面の３Ｄ測定データおよび色データを含み、かつ好ましくは直接的な口腔内スキャンにより口腔内において連続的に記録される。これは例えば歯科医院もしくは診療所において行われてもよく、歯科医師または歯科技工士によって行われてもよい。また当該画像は、患者の歯の印象のスキャンまたは一連の記憶された画像から間接的に得てもよい。好ましくは時間的な一連の画像において得られたこれらの画像を用いてコンピュータ実装システムは、患者歯列の正確なスキャンを容易にするために画像中の誤差／欠陥１５を自動的に特定および／または補正してもよい。本明細書ではこの補正はリアルタイムで行ってもよい。また当然ながら当該画像は個々の２次元（２Ｄ）画像、ＲＧＢ画像、距離画像（２．５次元、２．５Ｄ）、４チャネル画像（ＲＧＢ－Ｄ）であってもよく、ここでは深度および色は完全に位置合わせされていなくてもよく、すなわち深度画像およびカラー画像は異なる期間で取得されてもよい。

スキャンプロセスでは複数の個々の画像を生成してもよく、次いで少なくとも２枚の個々の画像の一連の画像８または複数の一連の画像８を組み合わせて全体的／大域的３Ｄ画像１０を形成してもよい（図３）。より具体的には、図１に示すように矩形の形態で示されている個々の３次元光学画像２は、測定中に測定経路４に沿って物体１に対して移動させることができるスキャナー／歯科用カメラ３によって得てもよい。歯科用カメラ３は、例えば縞投影法を用いて物体１を測定する手持ち式カメラであってもよい。３Ｄ測定の他の方法は当業者によって理解され得る。破線で示されている第１の画像６と第２の画像７との間の重なり合っている領域５は、コンピュータを用いて記録条件が満たされているか否かを決定するために確認され、満たされている場合に３次元光学画像２を組み合わせて大域的３Ｄ画像１０を形成してもよい。記録条件としては、特徴的ジオメトリの適切なサイズ、適切なうねり、適切な粗さおよび／または適切な数および配置が挙げられる。しかし、記録条件の確認と同じ従来の方法で妨害因子によって引き起こされた個々の３次元光学画像２中の誤差／欠陥１５を決定するようにコンピュータをプログラムすることは難しい場合がある。他方でニューラルネットワークは、誤差１５の原因を認識し、かつ影響を受けた領域を切り離す（スキャンプロセスが中断されずに進行することができるように）か、あるいはユーザに補正のために提案される措置と共に診断を与えるための複雑なタスクを学習することができる。前記妨害因子としては、口腔内スキャナー／カメラのガラス内の凹凸（例えば、引っ掻き傷、息による曇り、唾液滴など）、スキャンされている歯の表面にある異物の存在（例えば、唾液の泡、血液、汚れ）、測定環境における有害な条件（例えば、太陽光またはサージカルライト、歯からの測定距離／角度）ならびに口腔内スキャナーの誤作動（例えば、カメラのセンサにおける画素の欠陥、欠陥のあるＬＥＤ）が挙げられる。また前記妨害因子はそれ自体を誤差／欠陥１５とみなしもよく、画像中に現れる場合がある。例えば、血液によって引き起こされる個々の３次元光学画像２中の欠陥１５（唾液滴などの他の流体によって引き起こされるものと同様であってもよい）は、個々の３次元光学画像２中にハイライトおよび反射として現れ、測定において誤差を生じさせる場合がある。例えば血液によって引き起こされる欠陥１５は、血液によって覆われた領域に局所的であってもよい。従って血液を除去する際に、欠陥１５も除去することができる。従って欠陥１５および誤差という用語は以後、欠陥／誤差／妨害／歪みをまとめて指すために使用する場合があり、前記個々の３次元光学画像２中に現れる妨害因子は非常に区別がつけにくいため、時として肉眼によって見逃される場合があり、スキャンプロセスにおける複数の中断の存在による患者の歯列の不正確な測定、患者の歯列の時間のかかる測定（従ってスキャン装置の再位置決めが必要となる）および／または患者の歯列の不可能な測定（カメラのガラスが曇った場合など）という結果に至る場合がある。

従って本システムは、好ましくはリアルタイムで３次元光学画像２中の誤差／欠陥１５を自動的に認識および／または補正するように、複数の訓練用データセットを用いてディープニューラルネットワークなどのニューラルネットワークを訓練してもよい。従って大域的３Ｄ画像１０に伝播される大域的欠陥１７を、図４の補正された大域的３Ｄ画像９に示されているように減少または排除してもよく、かつ／またはより少ない中断であるか中断しないことによりスキャンフローを向上させてもよい。例えば本システムは、画素レベルで欠陥１５を検出して曇り、引っ掻き傷、唾液滴、汚れ、血液、ハイライトなどに対応するラベルでラベル付けするか、あるいは画像レベルで欠陥１５を検出して環境照明、測定距離などのラベルでラベル付けしてもよい。また本システムはセマンティックデータ（コンテキスト目的のため）を特定し、かつ３次元光学画像２中の歯、頬、唇、舌、歯肉、充填物、セラミックに対応するラベルでラベル付けしてもよい。さらに本システムは補正措置を決定し、かつ／または誤差を検出した際に前記決定した補正措置を適用してもよく、当該誤差は好ましくはコンテキストアウェアで決定される（すなわち、コンテキストは適当な補正方法を選択するために重要であり得る。例えば頬に対応するスキャン部分の必要とされる正確性は歯の正確性よりも非常に低い場合があるため、頬または歯肉の表面にある唾液は無視してもよい）。

図２は、一実施形態に係る患者の歯列の個々の３次元光学画像２から歯の情報を認識するためのシステム２００のブロック図を示す。システム２００は歯科用カメラ３、訓練モジュール２０４、画像補正モジュール２０６、コンピュータシステム１００およびデータベース２０２を備えていてもよい。別の実施形態では、データベース２０２、画像補正モジュール２０６および／または訓練モジュール２０４はコンピュータシステム１００の一部であってもよく、かつ／または補正措置に基づいて歯科用カメラ３のパラメータを直接および／または間接的に調整できるものであってもよい。コンピュータシステム１００は少なくとも１つのコンピュータプロセッサ１２２、ユーザインタフェース１２６および入力装置１３０も備えていてもよい。コンピュータプロセッサは様々な要求を受信してもよく、かつ記憶装置に記憶されている適当な命令をメモリにロードし、次いでロードした命令を実行してもよい。コンピュータシステム１００は、ソフトウェアおよびデータをコンピュータシステム１００と外部装置との間で転送するのを可能にする通信インタフェース１４６も備えていてもよい。

コンピュータシステム１００は歯科用カメラ３などの外部装置またはユーザ（図示せず）から誤差検出要求を受信してもよく、かつ前記誤差を検出するための適当な命令をロードしてもよい。あるいはコンピュータシステムは独立して、要求を待つことなく個々の３次元光学画像２を受信した際に前記誤差を検出してもよい。

一実施形態ではコンピュータシステム１００は、データベース２０２（これは例えば複数の個々の３次元光学画像２を含んでいてもよい）からの多くの訓練用データセットを使用して、訓練モジュール２０４の一部であってもよい１つ以上のディープニューラルネットワークを訓練してもよい。いくつかの実施形態では、システム２００は畳み込みニューラルネットワーク（ＣＮＮ）、回帰型ニューラルネットワーク（ＲＮＮ）および回帰型畳み込みニューラルネットワーク（回帰型ＣＮＮ）などの各種ディープラーニングニューラルネットワークを含むニューラルネットワークモジュール（図示せず）を備えていてもよい。例示的な回帰型ＣＮＮモデルは、Ｃｏｕｒｔｎｅｙ Ｊ．Ｓｐｏｅｒｅｒら，「回帰型畳み込みニューラルネットワーク：生物学的物体認識のより良好なモデル（Ｒｅｃｕｒｒｅｎｔ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ：Ａ Ｂｅｔｔｅｒ Ｍｏｄｅｌ ｏｆ Ｂｉｏｌｏｇｉｃａｌ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ）」（Ｆｒｏｎｔ．Ｐｓｙｃｈｏｌ，２０１７年９月１２日）という表題の刊行物に記載されており、これはあたかも本明細書に完全に記載されているかのように、その全体が参照により本明細書に組み込まれる。

ニューラルネットワークへの訓練用データセットおよび／または入力は前処理されていてもよい。例えば３Ｄ測定値と共に色データを処理するために、較正を適用してカラー画像を３Ｄ表面と位置合わせしてもよい。さらに合成回転、拡大縮小などの標準的なデータ拡張手順を訓練用データセットおよび／または入力に適用してもよい。

訓練モジュール２０４は、ラベルを有する訓練用データセットを使用してディープニューラルネットワークの学習プロセスを監視してもよい。特徴を記述するためにラベルを使用してもよい。ラベル値は例えば確率値または確率ベクトルであってもよい。訓練モジュール２０４は逆に、ラベル付けされていない訓練用データセットを使用して生成ディープニューラルネットワークを訓練してもよい。

訓練用データセットは、誤差／欠陥１５を特定するように訓練モジュール２０４の１つ以上のディープニューラルネットワークを訓練するために設計されていてもよい。例えば唾液滴によって引き起こされる個々の３次元光学画像２中の誤差を検出するようにディープニューラルネットワークを訓練するために、唾液滴によって引き起こされる欠陥１５を有する複数の現実の個々の３次元光学画像データセットを特に唾液滴のための訓練用データセットとして使用してもよい。セマンティックデータ（例えば歯肉１１）を認識するようにディープニューラルネットワークを訓練するための別の例では、特に歯肉のための訓練用データセット群を形成するために１つ以上の歯肉を有する現実の歯科用患者からの別の複数の訓練用データセットを選択する。従ってデータベース２０２は、例えば各誤差データ型のための１つの群および／または各セマンティックデータ型のための１つの群である異なる訓練用データセット群を含んでいてもよい。

本発明の一実施形態では、訓練モジュール２０４はリアルタイムで１つ以上のディープニューラルネットワークを訓練してもよい。いくつかの実施形態では、コンピュータシステム１００が誤差を検出するために１つ以上の予め訓練されたディープニューラルネットワークを容易に使用することができるように、訓練モジュール２０４は、データベース２０２からの訓練用データセットを用いて１つ以上のディープニューラルネットワークを予め訓練してもよい。次いでそれは検出された誤差の補正のために、検出された誤差に関する情報および／または個々の３次元光学画像２を好ましくは自動的かつリアルタイムで画像補正モジュール２０６に送信してもよい。本明細書の後に記載されている所定の補正措置および／または人工知能を用いて得られた補正措置を用いて、検出された誤差を補正してもよい。例えば検出された誤差、対応するセマンティックデータ、対応する補正を含む各診断用データセットならびに科学文献、教科書からのデータ、ユーザからの入力などと共に過去の補正の診断用データセットに基づいて、画像補正モジュール２０６は、１つ以上の検出された誤差のために１つ以上の補正措置を特定、提案および／または実行するように構成されていてもよい。補正措置は例えば、所定の重みを使用することにより誤差を有する部分から得られた最終的な個々の３次元光学画像への寄与を計算することを含んでもよい。歯科計画において人工知能を用いるためのシステムは、「自動化歯科矯正診断および治療計画において人工知能を用いるための方法およびシステム（Ｍｅｔｈｏｄｓ ａｎｄ ｓｙｓｔｅｍｓ ｆｏｒ ｅｍｐｌｏｙｉｎｇ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ ｉｎ ａｕｔｏｍａｔｅｄ ｏｒｔｈｏｄｏｎｔｉｃ ｄｉａｇｎｏｓｉｓ ａｎｄ ｔｒｅａｔｍｅｎｔ ｐｌａｎｎｉｎｇ）」という発明の名称の米国特許第９７８８９１７Ｂ２号に記載されており、この特許はあたかも本明細書に完全に記載されているかのように、その全体が参照により本明細書に組み込まれる。当然ながら、ユーザに通知すること、歯科用カメラ３パラメータを変更することなどの他の非人工知能補正措置を用いてもよい。

データベース２０２は、対応する個々の３次元光学画像２と共にディープニューラルネットワークおよび特定された誤差に関するデータも記憶していてもよい。さらにコンピュータシステム１００は表示装置１２６および入力装置１３０を有していてもよく、これらを用いてユーザは要求をサブミットすること、および特定された欠陥１５を受信して再考することなどの機能を行ってもよい。

システム２００の他の実施形態は異なる構成要素および／またはさらなる構成要素を備えていてもよい。さらにこれらの機能は、本明細書に記載されているものとは異なるように当該構成要素に分散されていてもよい。

図５は本発明の一実施形態に係るディープニューラルネットワーク３００などのニューラルネットワークの構造を示すブロック図を示す。それは入力層３０２、１つ以上の隠れ層３０４および出力層３０６を含むいくつかの層を有していてもよい。各層は小さい円によって示されている１つ以上のノード３０８からなっていてもよい。情報は入力層３０２から出力層３０６へ、すなわち左から右方向に流れてもよいが、他の実施形態ではそれは右から左であったりそれらの両方であったりしてもよい。例えば回帰型ネットワークは、一連の画像８において新しいデータを処理する場合に前に観察されたデータを考慮してもよく（例えば、前の画像を考慮して現在の画像をセグメンテーションしてもよく）、非回帰型ネットワークは個々に新しいデータを処理してもよい。ノード３０８は入力および出力を有してもよく、入力層３０８のノードはパッシブであってもよく、これはそれらがデータを修正しなくてもよいことを意味する。例えば入力層３０２のノード３０８はそれぞれ、それらの入力に対して単一の値（例えば画素値）を受信し、かつそれらの複数の出力への値を複製してもよい。逆に隠れ層３０４および出力層３０６のノードはアクティブであってもよく、従ってデータを修正することができる。例示的な構造では、入力層３０２からの各値を複製して隠れノードの全てに送信してもよい。隠れノードに到着した値に重みを掛けてもよく、これは隠れノードのそれぞれに関連づけられた所定の数のセットであってもよい。次いで重み付けされた入力を合計して単一の数を生成してもよい。

本発明に係る一実施形態では、ディープニューラルネットワーク３００は、曇り、引っ掻き傷、唾液滴、汚れ、血液、ハイライトなどのいくつかの欠陥１５を検出した場合に、個々の３次元光学画像２の画素を入力として使用してもよい。個々の３次元光学画像２はカラー画像であってもよい。本明細書では、入力層３０２中のノードの数は個々の３次元光学画像２中の画素の数に等しくてもよい。例示的な一実施形態では、１つのニューラルネットワークを全ての欠陥１５のために使用してもよく、別の実施形態では、異なるネットワークを異なる欠陥１５のために使用してもよい。別の例では、ディープニューラルネットワーク３００は、環境光および測定距離によって引き起こされる欠陥などのいくつかの欠陥１５を検出した場合に、個々の画素の代わりに個々の３次元光学画像２を分類してもよい。さらなる実施形態では、入力は４番目ごとの画素などのサブサンプリングされた入力であってもよい。さらに別の実施形態では、ディープニューラルネットワークはカラー画像、深度測定値、加速度などの歯科用カメラ３によって取得された複数のデータならびに露光時間、アパーチャなどの装置パラメータを入力として有していてもよい。それは回帰型畳み込みニューラルネットワークを用いることなどにより取得されたデータの時間的な一連の画像も組み入れてもよい（いくつかの欠陥１５は単一画像を用いて検出するのが難しい場合があるため）。欠陥１５は場合によっては、主として歯が画像から画像へと変わっている間に同じ画像位置に留まっている特徴的歪みから見えるものであってもよい。これは、例えば曇りなどの妨害因子ならびにより少ない程度で引っ掻き傷に当てはまる。回帰型ネットワークは一連の画像８におけるそのような特徴を認識するのに非常に適している場合がある。ディープニューラルネットワークはラベルを出力してもよく、この出力は、例えば特定のカテゴリに属している各画素入力の１つ以上の確率値を含む確率ベクトルであってもよい。例えば当該出力は確率値を含む確率ベクトルを含んでもよく、ここでは最も高い確率値は欠陥１５を定めてもよい。ディープニューラルネットワークはどんな付加された確率も含まないラベル値のマップも出力してもよい。さらに異なる分類を達成してもよい。例えば第１の分類は欠陥カテゴリ、例えば引っ掻き傷、息による曇り、唾液の泡、血液、汚れ、太陽光、サージカルライト、歯からの測定距離、カメラのセンサにおける画素の欠陥などのうちの１つ以上を含んでもよい。別の分類はセマンティックカテゴリ、例えば歯、頬、唇、舌、歯肉、充填物、セラミックなどのうちの１つ以上を含んでもよい。各分類のためにディープニューラルネットワークを作成することができる。

考察されているように、ディープニューラルネットワークは畳み込みニューラルネットワーク（ＣＮＮ）、回帰型ニューラルネットワーク（ＲＮＮ）および回帰型畳み込みニューラルネットワーク（回帰型ＣＮＮ）などであってもよい。

３Ｄ測定値における誤差を検出するための方法

ここまで図２のシステム２００について説明してきたが、次に本明細書中の例示的な実施形態の少なくともいくつかに係るプロセスＳ４００を示す図６Ａを参照する。

プロセスＳ４００は、訓練用データセット中の目的の領域を得て所定のラベルでラベル付けすることにより開始してもよい（工程Ｓ４０２）。例えば図６Ｂに示されているサンプル画像４１２上のサンプル欠陥４１４（前記サンプル画像４１４は暗室で撮影され、妨害因子が存在しない場合は黒色になる）は引っ掻き傷としてラベル付けしてもよい。訓練用画像のラベル付けは、例えば目的の点に対応する画像上にドットを設定することによりデジタルで行ってもよい。

セマンティクスを個々の３次元光学画像２に割り当てるために、訓練用データにラベル付けしてもよい。これは、色もしくは深度情報のために画素ごとのレベルで行ってもよい。あるいは単一画像のために、完全な３Ｄモデルのメッシュをカットして対応する画素ごとのラベルを計算してもよい。さらにラベル付けプロセスを自動化することができるように、前記メッシュをセグメンテーションしてもよい。ラベル付けするために必要とされる作業量を減らすためにメッシュにラベル付けしてもよく、かつこれらのラベルを単一画像の対応する画素に移してもよい。それ以外のものにはどれにもラベルを割り当てずに、これらのラベルにより歯、頬、唇、舌、歯肉、充填物、セラミックを区別してもよい。測定に無関係なものは、頬、唇、舌およびラベル付けされていないデータであってもよい。

欠陥ラベルを個々の３次元光学画像２に割り当てるために、訓練用データにもラベル付けしてもよい。これも画像もしくは深度情報のために画素ごとのレベルで行ってもよい。例えば、曇り、引っ掻き傷、唾液滴、汚れ、血液、ハイライトのために画素レベルで、環境照明、測定距離、アパーチャなどの他の情報のために画像レベルで訓練用データにラベル付けしてもよい。

セマンティックラベルは欠陥１５のためのマーカーと重複していてもよく、例えば「歯＋唾液」、「歯＋血液」、「歯＋引っ掻き傷」および「歯」などのラベルを達成してもよく、これらのラベルを「頬＋引っ掻き傷」などの他のラベルから区別してもよく、すなわち歯の表面にある唾液滴（これは関連する欠陥であってもよい）を頬の表面にある唾液滴（これは無関係の欠陥であってもよい）から区別してもよい。このようにして、誤った通知を回避してもよい。

一実施形態では、計算量を最適化し、かつネットワーク実行可能性を高めるために、相互相関、オプティカルフロー、エッジ検出器、差分画像および移動平均を含む画像処理フィルタなどの特定の効率的に計算可能なフィルタを入力データに適用してもよく、同じかより低い画素解像度を有する得られたフィルタ処理した画像をディープニューラルネットワーク３００にさらなる入力として供給してもよい。ニューラルネットワークの入力層は、画像フィルタからのさらなる画素ごとの情報を処理するために、さらなるノードを含んでいてもよい。

このラベル付けまたは分類された画像のセットを用いて、ネットワークが新しい画像を自らセグメンテーションすることができるネットワーク配線を行うことができるように、ディープニューラルネットワーク３００を構築してラベル付けされた画像を供給し、それによりネットワークがそれから「学習する」のを可能にしてもよい。

セグメンテーションの別のオプションとして、画像ごとのベースまたは画素ごとのベースでのセグメンテーションは、画素ごとのレベルよりも僅かに高いレベルで（「スーパー画素ごとの」レベルで、すなわち「スーパー画素」は画像の通常の画素よりも大きい画像の部分である）、分類することを含んでもよい。

プロセスＳ４００の命令およびアルゴリズムは、確率ベクトルの１つ以上の出力確率値に基づいて１つ以上の欠陥１５を検出するように訓練用データセットを用いて１つ以上のディープニューラルネットワークを訓練する（工程Ｓ４０４）ために、コンピュータシステム１００のメモリに記憶されていてもよく、かつプロセッサ１２２によってロードされて実行されてもよい。例えば環境光に対応する確率ベクトルの確率値の１つが９０％である場合、ニューラルネットワークは個々の３次元の画像における欠陥１５の１つとして過剰な環境光を検出してもよい。別の例では、引っ掻き傷の位置に対応する確率値が高い場合に、ニューラルネットワークは引っ掻き傷の位置として対応する位置を特定する。従ってネットワークが新しい画像を自らセグメンテーションすることができるネットワーク配線を行うことができるように、ディープニューラルネットワークを構築し、かつネットワークがそれから「学習する」のを可能にするラベル付けされた画像を供給してもよい。

訓練する工程は１回、複数回または断続的に行ってもよい。また訓練する工程は「半教師あり」または「自己教師あり」であってもよい。例えば第１の訓練する工程後に、ディープニューラルネットワークは前に見たことのない画像を受信または取得してもよく、かつ出力を得てもよく、ネットワークが好ましくは自ら動作して最終的に人間の助けなしに画像を分類することができるように対応するフィードバックを与えてもよい。これは画素レベルまたは画像レベルで行ってもよい。例えば画像レベルでは、環境光を有する画像および環境光を有しない画像を画像が環境光を有する確率を示す確率値を有する確率ベクトルに対応付けするように、ディープニューラルネットワーク３００を訓練してもよい。従って画像が環境光を有することを示している確率値はベクトルにおいて最も高くてもよい。従って、個々の３次元光学画像２の一連の画像８がディープニューラルネットワーク３００に入力された場合に、ディープニューラルネットワークが画像が属するカテゴリ（環境光を有するまたは有しない）を示している各画像のために得られた確率ベクトルを返することができるように、ディープニューラルネットワーク３００を訓練してもよい。

訓練する工程後に、ディープニューラルネットワークは歯科用カメラ３から個々の３次元光学画像の一連の画像８を取得または受信してリアルタイムでセグメンテーションしてもよく（工程Ｓ４０６）、かつ画像中の欠陥１５を検出してもよい（工程４０８）。前記欠陥１５を検出したら、補正モジュール２０６は欠陥１５を補正し（工程Ｓ４１０）、かつ／または補正措置を提案してもよい。これは、（個々の３次元光学画像の）連続的な画像レジストレーションあるいは大域的画像レジストレーション（同時に取得された全ての画像８のレジストレーション）、モデル表面再構成および／またはモデルテクスチャ生成などのその後の処理工程においてリアルタイムで行ってもよい。補正は欠陥位置に対応する信頼できないデータ点をマスキングアウトすること、および／または影響を受けていないデータ点が妨害因子によって導入される誤差を無効にするのを可能にするためにより小さい重みを有するデータを使用することにより行ってもよい。

図７は、歯科用カメラ３が口腔内で歯１２を記録し、かつ欠陥１５を含む画像の一連の画像８を生成する本発明の一実施形態を示す。画像の一連の画像１８をディープニューラルネットワーク３００に入力し、次いでこのネットワークは欠陥１５を検出して欠陥１５に対応する位置１６にラベル付けする。次の工程では、レジストレーションモジュール５００を用いる画像のレジストレーション前にそれらをマスキングアウトすることにより位置１６を好ましくは無視する。別の工程では、完全に再構成された三角メッシュ／完全に再構成された３Ｄ画像／補正された大域的３Ｄ画像９を、再構成モジュール５０２を用いてマスクされた画像から得てもよい。また前記再構成モジュール５０２を使用して、所定の重みを用いて重み付け手段により欠陥１５に対応する位置１６からの寄与を部分的に含めることにより完全に再構成された三角メッシュ９を生成してもよい。また前記再構成モジュールを使用して同じ重み付け機構を用いて再構成された三角メッシュ９のためにカラーのテクスチャを生成してもよい。

図８は、ディープニューラルネットワークが出力する情報を制御装置６００が使用して今後見つかる／現在見つかっている欠陥１５を減らすか無くすために、検出された欠陥１５に対応する歯科用カメラのパラメータを自動的に調整するように、ディープニューラルネットワークが情報（欠陥１５の位置１６を示す二値画像または講じられる補正措置の指標など）またはそれ以外の情報を出力し、例えば当該出力に基づいて、歯科用カメラ３の露光時間または光強度を自動的に増加または減少させることができ、かつ／またはカメラのガラス（または場合によっては鏡）の温度を上げて曇りを減少／除去することができる本発明の別の実施形態を示す。本明細書中の一実施形態では、調整の程度は欠陥１５の関連性および／またはサイズ／量に基づいていてもよい。

図９は、ディープニューラルネットワーク３００がユーザへの警告に関する情報を発行する本発明のさらに別の実施形態を示す。この警告は取得装置７００に伝播されてもよく、この装置は補正措置を講じるために、クラウドネットワークまたはインターネットなどのネットワーク７０２を介して顧客サポートなどのクライアントによってアクセスすることができるレポートを生成してもよい。

３Ｄ測定値における誤差を検出するためのコンピュータシステム

ここまで図６ＡのプロセスＳ４００について説明してきたが、次に本明細書中の例示的な実施形態の少なくともいくつかに従って用いることができるコンピュータシステム１００のブロック図を示す図１０を参照する。この例示的なコンピュータシステム１００に関して様々な実施形態が本明細書に記載されている場合があるが、本明細書を読んだ後に、他のコンピュータシステムおよび／またはアーキテクチャを用いて本発明を実行する方法が当業者には明らかになるであろう。

コンピュータシステム１００は訓練モジュール２０４、データベース２０２および／または画像補正モジュール２０６を備えていてもそれらとは分離されていてもよい。これらのモジュールはハードウェア、ファームウェアおよび／またはソフトウェアに実装されていてもよい。当該コンピュータシステムは少なくとも１つのコンピュータプロセッサ１２２、ユーザインタフェース１２６および入力装置１３０も備えていてもよい。入力装置１３０は例示的な一実施形態において、欠陥１５を検出することに関する命令または要求を送信するためにモニターなどの表示装置１２８と共に歯科医師によって使用されてもよい。本明細書中の別の例示的な実施形態では、入力装置１３０はタッチスクリーンインタフェース（図示せず）上で使用される指またはスタイラスである。入力装置１３０は代わりとしてジェスチャ／音声認識装置、トラックボール、マウスあるいはキーボードまたはスタイラスなどの他の入力装置であってもよい。一例では、表示装置１２８、入力装置１３０およびコンピュータプロセッサ１２２はまとめてユーザインタフェース１２６を形成してもよい。

コンピュータプロセッサ１２２としては、例えば中央処理装置、多重処理装置、特定用途向けＩＣ（「ＡＳＩＣ」）またはフィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）などが挙げられる。プロセッサ１２２は通信インフラ１２４（例えば、通信バスまたはネットワーク）に接続されていてもよい。本明細書中の一実施形態では、プロセッサ１２２は３Ｄ測定の要求を受信してもよく、かつ画像中の欠陥１５を自動的に検出し、訓練モジュール２０４、データベース２０２および画像補正モジュール２０６を用いて画像中の前記欠陥１５を自動的に補正してもよい。プロセッサ１２２は、コンピュータ可読プログラム命令の形態で非一時的記憶装置に記憶されている対応する命令をロードし、かつロードした命令を実行することによりこれを達成してもよい。

コンピュータシステム１００は、ランダムアクセスメモリ（「ＲＡＭ」）であってもよい主記憶装置１３２をさらに備えていてもよく、かつ補助記憶装置１３４も備えていてもよい。補助記憶装置１３４は、例えばハードディスクドライブ１３６および／または取外し可能なストレージドライブ１３８を含んでいてもよい。取外し可能なストレージドライブ１３８は周知の方法で、取外し可能な記憶装置１４０から読み出し、かつ／またはそこに書き込んでもよい。取外し可能な記憶装置１４０は例えば、取外し可能なストレージドライブ１３８によって書き込みおよび読み出し可能なフロッピーディスク、磁気テープ、光ディスクおよびフラッシュメモリ装置などであってもよい。取外し可能な記憶装置１４０は、コンピュータ実行可能ソフトウェア命令および／またはデータを記憶している非一時的コンピュータ可読記憶媒体を含んでもよい。

さらなる他の実施形態では、補助記憶装置１３４は、コンピュータ実行可能プログラムまたはコンピュータシステム１００の中にロードされる他の命令を記憶している他のコンピュータ可読媒体を含んでいてもよい。そのような装置は、取外し可能な記憶装置１４４およびインタフェース１４２（例えば、プログラムカートリッジおよびカートリッジインタフェース）、取外し可能なメモリチップ（例えば、消去可能プログラム可能リードオンリーメモリ（「ＥＰＲＯＭ」）またはプログラム可能リードオンリーメモリ（「ＰＲＯＭ」））および関連するメモリソケット、他の取外し可能な記憶装置１４４ならびにソフトウェアおよびデータを取外し可能な記憶装置１４４からコンピュータシステム１００の他の部分に転送するのを可能にするインタフェース１４２を備えていてもよい。

コンピュータシステム１００は、ソフトウェアおよびデータをコンピュータシステム１００と外部装置との間で転送するのを可能にする通信インタフェース１４６も備えていてもよい。そのようなインタフェースとしては、モデム、ネットワークインタフェース（例えば、イーサネットカード、無線インタフェース、インターネットを通じたクラウドホスティングサービスなど）、通信ポート（例えば、ユニバーサル・シリアル・バス（「ＵＳＢ」）ポートまたはファイアワイヤ（登録商標）ポート）、パーソナルコンピュータメモリカード国際協会（「ＰＣＭＣＩＡ」：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｅｍｏｒｙ Ｃａｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｓｓｏｃｉａｔｉｏｎ）インタフェースおよびブルートゥース（登録商標）などが挙げられる。通信インタフェース１４６を介して転送されるソフトウェアおよびデータは信号の形態であってもよく、この信号は、通信インタフェース１４６によって送信および／または受信することができるようにしてもよい電子信号、電磁信号、光信号または別の種類の信号であってもよい。信号は、通信路１４８（例えばチャネル）を介して通信インタフェース１４６に提供されてもよい。通信路１４８は信号を運んでもよく、かつワイヤまたはケーブル、ファイバーオプティクス、電話線、セルラーリンクまたは無線周波数（「ＲＦ」）リンクなどを用いて実装されていてもよい。コンピュータシステム１００とリモートサーバまたはクラウドベースのストレージとの間でソフトウェアまたはデータあるいは他の情報を転送するために、通信インタフェース１４６を使用してもよい。

１つ以上のコンピュータプログラムまたはコンピュータ制御ロジックは、主記憶装置１３２および／または補助記憶装置１３４に記憶されていてもよい。またコンピュータプログラムは通信インタフェース１４６を介して受信されてもよい。コンピュータプログラムは、コンピュータプロセッサ１２２によって実行された場合にコンピュータシステム１００に本明細書に記載されている方法を実行させるコンピュータ実行可能命令を含んでいてもよい。

別の実施形態では、ソフトウェアは非一時的コンピュータ可読記憶媒体に記憶され、かつ取外し可能なストレージドライブ１３８、ハードディスクドライブ１３６および／または通信インタフェース１４６を用いてコンピュータシステム１００の主記憶装置１３２および／または補助記憶装置１３４の中にロードされてもよい。制御ロジック（ソフトウェア）はプロセッサ１２２によって実行された場合に、コンピュータシステム１００およびより一般にスキャン妨害を検出するための本システムに、本明細書に記載されている方法の全てまたはいくつかを実行させる。

本明細書に記載されている機能を実行させるための他のハードウェアおよびソフトウェア構成の実装は、本明細書を考慮すれば当業者には明らかであろう。

Claims (17)

1. １つ以上の計算装置によって患者の歯列の個々の画像を受信する工程と、
   前記患者の歯列の前記個々の画像をセマンティック領域および／または誤差領域に対応する領域にセグメンテーションすることにより訓練されたディープニューラルネットワークの１つ以上の出力ラベル値を用いて前記欠陥を自動的に特定する工程と、
   前記特定された欠陥を補正するための１つ以上の補正措置を決定する工程と、
   前記患者の歯列の前記個々の画像を組み合わせて補正された大域的３Ｄ画像を形成する工程と
   を含む、３次元測定中に欠陥を検出するためのコンピュータ実装方法。
2. 前記個々の画像は個々の３次元光学画像である、請求項１に記載の方法。
3. 前記個々の画像は時間的な一連の画像として受信される、請求項２に記載の方法。
4. 前記個々の画像は前記患者の歯列の３Ｄ測定データおよび色データを含む、請求項３に記載の方法。
5. 前記特定された誤差領域の関連性の指標は対応するセマンティック領域に基づいている、請求項１に記載の方法。
6. 各訓練用画像の少なくとも１つの部分にある１つ以上の欠陥を１つ以上のラベル値と対応付けするように、前記１つ以上の計算装置および複数の個々の訓練用画像を用いて前記ディープニューラルネットワークを訓練する工程
   をさらに含み、
   前記訓練する工程は、前記個々の訓練用画像および／または前記個々の訓練用画像の画素をセマンティックデータ型および／または誤差データ型に対応する１つ以上のクラスに分類することにより画素レベルで行う、
   請求項１に記載の方法。
7. 前記セマンティックデータ型は、歯、頬、唇、舌、歯肉、充填物およびセラミックからなる群から選択され、前記誤差データ型は、曇り、引っ掻き傷、唾液滴、汚れ、血液、ハイライト、環境照明、測定距離、画素の欠陥からなる群から選択される、請求項６に記載の方法。
8. 前記個々の画像のレジストレーション前に前記欠陥に対応する位置をマスクアウトすることにより前記欠陥を補正する工程をさらに含む、請求項１に記載の方法。
9. 所定の重みを用いて前記欠陥に対応する前記位置の寄与を部分的に含めることにより前記欠陥を補正する工程をさらに含む、請求項１に記載の方法。
10. 前記欠陥に対応する歯科用カメラのパラメータを自動的に調整することにより前記欠陥を補正する工程をさらに含む、請求項１に記載の方法。
11. 前記パラメータは前記歯科用カメラの露光時間、光強度およびガラス温度を含む、請求項１０に記載の方法。
12. ユーザに警告を中継することおよび／または前記誤差に関するレポートを生成することにより前記欠陥を示す工程をさらに含む、請求項１に記載の方法。
13. 前記ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）、回帰型ニューラルネットワーク（ＲＮＮ）および回帰型畳み込みニューラルネットワーク（回帰型ＣＮＮ）からなる群から選択されるネットワークである、請求項１に記載の方法。
14. 前記個々の画像は個々の２次元（２Ｄ）画像である、請求項１に記載の方法。
15. コンピュータシステムによって実行された場合に、前記コンピュータシステムに、
    １つ以上の計算装置によって患者の歯列の個々の画像を受信する工程と、
    前記患者の歯列の前記個々の画像をセマンティック領域および／または誤差領域に対応する領域にセグメンテーションすることにより訓練されたディープニューラルネットワークの１つ以上の出力ラベル値を用いて前記患者の歯列の前記個々の画像中の欠陥を自動的に特定する工程と、
    前記特定された欠陥を補正するための１つ以上の補正措置を決定する工程と、
    前記患者の歯列の前記個々の画像を組み合わせて補正された大域的３Ｄ画像を形成する工程と
    を含む手順を実行させるプログラムを記憶している非一時的コンピュータ可読記憶媒体。
16. １つ以上の計算装置によって患者の歯列の個々の画像を受信し、
    前記患者の歯列の前記個々の画像をセマンティック領域および／または誤差領域に対応する領域にセグメンテーションすることにより訓練されたディープニューラルネットワークの１つ以上の出力ラベル値を用いて前記患者の歯列の前記個々の画像中の欠陥を自動的に特定し、
    前記特定された欠陥を補正するための１つ以上の補正措置を決定し、かつ
    前記患者の歯列の前記個々の画像を組み合わせて補正された大域的３Ｄ画像を形成する
    ように構成されたプロセッサを備える、３次元測定中に欠陥を検出するためのシステム。
17. 前記ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）、回帰型ニューラルネットワーク（ＲＮＮ）および回帰型畳み込みニューラルネットワーク（回帰型ＣＮＮ）からなる群から選択されるネットワークである、請求項１６に記載のシステム。
    
    

Images