JP2021524309A - 角度ベースシェードマッチングを有する歯の3dスキャナ - Google Patents

角度ベースシェードマッチングを有する歯の3dスキャナ Download PDF

Info

Publication number
JP2021524309A
JP2021524309A JP2020564545A JP2020564545A JP2021524309A JP 2021524309 A JP2021524309 A JP 2021524309A JP 2020564545 A JP2020564545 A JP 2020564545A JP 2020564545 A JP2020564545 A JP 2020564545A JP 2021524309 A JP2021524309 A JP 2021524309A
Authority
JP
Japan
Prior art keywords
color
shade
brdf
color vector
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020564545A
Other languages
English (en)
Other versions
JP7312770B2 (ja
Inventor
ヤニック グリネック
ヤニック グリネック
ビクター ウォン
ビクター ウォン
ジェームス ミルヒ
ジェームス ミルヒ
Original Assignee
ケアストリーム・デンタル・テクノロジー・トプコ・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ケアストリーム・デンタル・テクノロジー・トプコ・リミテッド filed Critical ケアストリーム・デンタル・テクノロジー・トプコ・リミテッド
Publication of JP2021524309A publication Critical patent/JP2021524309A/ja
Application granted granted Critical
Publication of JP7312770B2 publication Critical patent/JP7312770B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/508Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors measuring the colour of teeth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A61C9/006Optical means or methods, e.g. scanning the teeth by a laser or light beam projecting one or more stripes or patterns on the teeth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/463Colour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/504Goniometric colour measurements, for example measurements of metallic or flake based paints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth

Abstract

色シェードマッチングのための方法は、口腔内スキャナを用いて3D歯表面表現を獲得し、3D歯表面表現は、表面データ、及び色ベクトルの空間分解角度分布を含み、色ベクトルの空間分解角度分布は、表面データからの1つ又は複数の点位置を色ベクトルの対応する角度分布に関連付ける。方法は、1つ又は複数のシェード値を同定し、ここに、それぞれのシェード値は、色ベクトルの角度分布を色ベクトルの基準角度分布の集合と比較することによって、色ベクトルの空間分解角度分布からの色ベクトルの1つの角度分布と関連付けられ、集合内のそれぞれの基準角度分布は、対応するシェード値と関連付けられる。方法は、1つ又は複数のシェード値の指示を有する表面データを表示し、記憶し、又は伝送する。

Description

本開示は、概して歯の3Dスキャナに関し、より具体的には、歯の色シェード(color shade)の空間及び角度変動に関係した情報を取得する口腔内スキャニング方法及び装置に関する。
歯の色シェードを正確にモデル化することは、修復歯科学における患者の外観及び満足感に対して特に評価される。従来の実施において、歯科技工士又は歯科医が、シェードタブの集合を用いて歯の色及び全体の外観を近似させる。歯の色についてのシェードタブは、しばしば、修復材料の供給元によって提供され、そして、充填物、歯冠、インプラント、ブリッジ、又は別の修復特徴に利用可能である利用可能な色合い又は色の範囲を表す。しかし、歯のシェードタブの品揃え豊富な集合を用いてさえ、色シェード決定は、行なうことが困難であることがあり、人為ミスを被ることがあり、歯のシェード決定についての全体精度が、しばしば歯科医の関連する経験及び美的趣味に依存する。
プロセスを自動化して、色シェード決定をより混同し難く、誤差を起こし難くするのを助ける手法は、比色撮像等の技術、特別に設計された分光光度計システムの使用、並びに3D(3次元)スキャニング装置を用いるシェード及びテクスチャマッピングを含む。これらの方法は、なんらかのレベルの成功を達成してきたけれども、最高仕様のシステムからでも、依然として、時間のかかる手順、出費、及びしばしばの期待外れの結果が存在する。
したがって、特に口腔内3Dスキャ二ングの実行中に、歯の色シェードについての正確な特性評価を提供する方法及び装置に対する必要性が存在することが理解されてもよい。
米国特許第9,295,532B2号明細書 米国特許第9,349,182B2号明細書
Kazhdan,M.,&Hoppe,「Screened Poisson Surface Reconstruction」,ACM Transactions on Graphics,2013,Vol.32(3),p1−13 Brian Curless,&Marc Levoy,「A Volumetric Method for Building Complex Models from Range Images」,Proceedings of SIGGRAPH96, Proceedings of the 23rd annual conference on Computer graphics and interactive techniques,August 1996, p.303-312」 ポイントクラウドライブラリー、インターネット、<http://pointclouds.org/documentation/tutorials/normal-estimation.php> Rusu,R.B.,「Semantic 3D Object Maps for Everyday Manipulation in Human Living Environments」,2009年8月17日,pp.57−61 M.Langovoy,「Novel metric for analysis,interpretation and visualization of BRDF data」,2014年,ACM Transaction on Spatial Algorithms and Systems
本発明の目的は、歯の3Dスキャニングの技術を向上させることである。この目的を念頭に置けば、従来実施されたような技術の知られた欠陥に対処するシステム及び技術についての特定の意義が存在するであろうことが理解される。
これらの目的は、例示的な例としてだけで提供され、かかる目的は、本発明の1つ又は複数の実施形態についての例示であってもよい。開示された方法によって本質的に達成される別の望ましい目的及び利点が表れてもよく、又は当業者に明らかになってもよい。本発明は、添付クレームによって規定される。
本開示の一態様に従って、口腔内3Dスキャニングのための方法が提供され、当該方法は、
a)口腔内スキャナを用いて3D歯表面表現を獲得するステップであって、3D歯表面表現は、表面データ及び色ベクトルの空間分解角度分布を含み、色ベクトルの空間分解角度分布は、表面データからの1つ又は複数の点位置を色ベクトルの対応する角度分布に関連付ける、ステップと、
b)1つ又は複数のシェード値を同定するステップであって、それぞれのシェード値は、色ベクトルの角度分布を色ベクトルの基準角度分布の集合と比較することによって、色ベクトルの空間分解角度分布からの色ベクトルの角度分布と関連付けられ、集合内のそれぞれの基準角度分布が、対応するシェード値と関連付けられる、ステップと、
c)1つ又は複数のシェード値の指示を有する表面データを表示し、記憶し、又は伝送するステップと、を含む。
本発明についての前述の並びに別の目的、特徴及び長所は、添付図面に示すような、
本発明の実施形態についての以下のより具体的な説明から明らかであろう。図面の要素は、必ずしも互いに対して共通の尺度を有するわけではない。
本開示の実施形態に従う、シェードマッチングのための撮像装置を表す概略図である。 均等光学明度を有するランベルト球を表す。 歯に対して異なる位置にある口腔内撮像プローブを表す概略図である。 双方向反射率分布関数(BRDF)変数についての基本的な幾何形状を表す概略図である。 極角の定義、及び表面部分について測定された反射率データが概略的に表現される方法を表す概略図である。 本開示の実施形態に従う改善された色シェーディング識別及び表示についてのBRDFデータを取得して用いるためのシーケンスを表す論理流れ図である。 図5のプロセスで用いられるBRDFライブラリを形成するためのステップを表す論理流れ図である。 対応するBRDFスナップショットを有するシェードタブの集合を表す線図である。 同じ座標系でのBRDFグリッド、BRDFスナップショット、及び成長する3D表面輪郭を表す概略図である。 BRDFライブラリを作成するための基準点の位置及び検出されたシェードについての指示を有するシェードタブを表す。
以下は、好ましい実施形態についての詳細な説明であり、図面に参照がなされ、当該図面において、同じ参照番号がいくつかの図面のそれぞれにおける同じ構造要素を同定する。
本開示に関して用いられる場合に、用語「第1」、「第2」等は、なんらかの順序の、一連の、又は優先順序の関係を必ずしも表さないけれども、別途指定しない限り、1つのステップ、要素、又は要素の集合を別のものからより明確に識別するために用いられる。
本明細書で用いられるとき、用語「通電可能な」とは、デバイス又は構成要素の集合に関連し、これらは、電力を受け取ると、選択的に、権能付与的な信号を受け取ると、示された関数を実行する。
本開示に関して、用語「観察者」、「オペレータ」、及び「ユーザ」は、同等であるとみなされ、ディスプレイモニタ上の歯の画像等の画像を観察して操作する観察している専門家、技術者、又は別の人を指す。「オペレータ命令」又は「観察者命令」は、カメラ上のボタンをクリックすることによる、又はコンピュータマウスを用いることによる、又はタッチスクリーン若しくはキーボード入力による等、観察者によって入力された明示的な命令から得られる。
本開示に関して、句「信号通信している」は、2つ以上のデバイス及び/又は構成要素が、なんらかのタイプの信号経路にわたって移動する信号を介して互いに通信することができることを示す。信号通信は、有線又は無線で繋がれてもよい。信号は、通信、電力、データ又はエネルギ信号であってもよい。信号経路は、第1デバイス及び/又は構成要素と第2デバイス及び/又は構成要素との間の物理、電気、磁性、電磁、光学、有線及び/又は無線の接続を含んでもよい。信号経路は、また、第1デバイス及び/又は構成要素と第2デバイス及び/又は構成要素との間に、追加のデバイス及び/又は構成要素を含んでもよい。
本明細書で用いられるとき、用語「集合」は、集合のエレメント又は要素の集団についての概念が初等数学において広く理解されるように、空でない集合を指す。別途明確に示されない限り、用語「部分集合」又は「部分的な部分集合」が本明細書で用いられることにより、空でない適切な部分集合を指す、すなわち、1つ又は複数の要素を有する、より大きい集合の部分集合を指す。集合Sについて、部分集合は、完全集合Sを含んでもよい。しかし、集合Sの「真部分集合」は、集合Sに厳密に含まれ、集合Sの少なくとも1つの要素を排除する。
本開示に関して、「表面データ」は、点群、多角形メッシュ、又は別の表面表現若しくは画像の形式における表面輪郭特性評価を含んでもよい。表面データは、データ取得中に撮像システムによって能動的にアセンブルされる動的に成長する表面輪郭等の表面輪郭の視野を含んでもよく、そして、表面輪郭を表現する低分解撮像を含んでもよい。その代替として、表面データは、改良ステップ、追加のデータ取得又は計算の結果の部分として生成させられてもよい。高分解表面データは、修復器具の精密設計のために技術者によって典型的に必要とされる。本開示の一実施形態に従うと、表面データは、取得された3Dスキャンデータから導出された2D表面情報を含んでもよい。好ましくは、表面データは、続けて更に詳細に説明するように、色ベクトルの空間分解角度分布の計算に用いられるのと同じ座標系内に画定される。
色ベクトルの角度分布は、角度座標を対応する色ベクトルに関係付けるマッピングを記述する。角度座標は、照明方向、観測方向、及び表面法線に依存する。そして、色ベクトルは、RGB、(国際照明委員会によって規定された)CIELab XYZ、又は可視スペクトル等の標準色空間における値を表す。本開示の一実施形態に従うと、色ベクトルの角度分布は、BRDF(双方向反射率分布関数)構造又はBRDFスナップショットによって表現されてもよい。
本開示に関して、句「色ベクトルの空間分解角度分布」は、空間変動を有する色ベクトルの角度分布を記述する。空間変動が用いられて、歯の表面にわたる歯の光学応答の変動をパラメータで表す。
色ベクトルの空間分解角度分布は、空間座標を色ベクトルの対応する角度分布に関係付ける関数である。この関数が用いられて、表面データからの1つ又は複数の点の空間座標を色ベクトルの対応する角度分布と関連付ける。色ベクトルの空間分解角度分布は、色ベクトルの対応する角度分布の連続した又は離散した変動に空間座標の変動を提供してもよい。
一実施形態では、単一データ取得が用いられて、表面データ及び色ベクトルの空間分解角度分布の両方を生成する。データ取得から、表面データを動的に成長する表面輪郭の形式で、又は改良ステップの一部分として生成することが可能である。データ取得物の同じ部分、又は別の部分集合が用いられて、色ベクトルの空間分解角度分布を獲得する。一意的なデータ取得が用いられるので、表面データについての基底座標系と、色ベクトルの空間分解角度分布についてのそれとは、同じである可能性があろう。ユーザにとっての利点は、患者の口腔内におけるスキャンが、レポートを作成して決着をつける前であってユーザの注目力を必要とするスクリーン上での精査(review)から完全に独立しているというより良い経験である。
別の一実施形態では、色ベクトルの空間分解角度分布が、表面データから独立したデータ取得から獲得される。第1データ取得が、表面データを提供してもよく、そして、第2スキャン取得が、シェードを決定するために用いられる色ベクトルの空間分解角度分布を提供してもよい。実際には、第1データ取得の表面全体においてシェードデータが収集される必要はない。通常、シェード正確度は、微笑中に視認可能である切歯及び犬歯について重要である。臼歯上又は歯の舌側側面上においてシェードデータを取得することが、更に選択可能である。シェードを独立して取得することによって、歯科医がシェード決定のために関連付けられる歯をスキャンする前後において、歯番号が要求されてもよい。スキャンが独立しているので、スキャナの開始位置は、異なる可能性があり、そして、表面データを支持する基底座標系と、色ベクトルの空間分解角度分布を支持するそれとは、異なる可能性があろう。しかし、色ベクトルの空間分解角度分布は、また、法線及び色、又は等価な3D表面データを有する点群を必要とし、そして、それは、ステッチング処理によって第1データ取得物からの表面データに関連付けられてもよい。獲得された関係、通常、剛体変換マトリックスが用いられて、表面データからの1つ又は複数の点の空間座標を対応する色ベクトルの角度分布に関係してもよい。
第3実施形態において、第1データ取得は、表面データ及び色ベクトルの空間分解角度分布の両方を提供してもよく、そして、第2データ取得は、色ベクトルの空間分解角度分布についての追加データを提供してもよい。第1スキャンから取得されたシェードの精査中に、ユーザは、満足できずに更にスキャンすることを望むことが起こり得る。ユーザが、作業フローにおいて、第1データ取得の状態に戻るならば、ユーザは、また、更なる表面データを取得し、これは、最終表面を再生するための追加の改良時間を意味する。一実施形態では、作業フローにおける別個のステップが、表面データを変更することなく、色ベクトルの空間分解角度分布に含有されたデータを改変するように規定される。追加の改良が必要とされず、そして、色ベクトルの空間分解角度分布から獲得されたシェードの高速更新が、ユーザが満足するまでユーザに示されてもよい。
図1は、本開示の一実施形態に従う、3Dスキャニングのための撮像装置90を表す概略図である。カメラ16、典型的にはハンドヘルドデジタルカメラ、色深度カメラ、ハンドヘルド3Dスキャナ、又は口腔内3Dスキャナが、患者14の口を通してスキャンされて、反射率画像及び関連付けられた深度情報を含む画像データの集合を取得する。カメラ16と信号通信している制御論理プロセッサ80が、カメラ16から画像データを獲得し、反射率画像を処理して、色を関連付けられた深度情報に割り当て、そして、色と関連付けられた深度情報の、成長する表面輪郭上への配置を計算する。配置が成功裏に計算され得るならば、制御論理プロセッサ80は、更新された成長する表面輪郭及びシェードラベル92を生成する。制御論理プロセッサ80は、点群として典型的に提供される成長する表面を結合し、そして、表面及び結果として生じるシェードラベルを、プロセッサ80と信号通信しているディスプレイ84上にレンダリングする。
背景の節で以前に述べたように、テクスチャ特性評価は、歯の真の色シェーディングの正確なモデル化には及ばない。このことは、わずかに異なる照明を有する同じ歯又はシェードタブについての異なる視野の対照比較において容易に認識されてもよい。
それの欠点のうちの1つとして、テクスチャ特性評価は、本質的に照明及び検出因子を説明することができない。歯又は別の口腔内特徴についての正確な色シェード特性評価は、表面幾何形状及び歯に入射している照明の角度についての考慮を含む。形状に関連した影響を示すために、図2は、均等アルベド、すなわち、均等な光学明度応答を有するランベルト球を表し、この場合、入射エネルギに対する反射エネルギの比は一定である。しかし、外観において、明度の強度プロフィルは、検出に対する表面法線の余弦として減少する。明度が減少するにつれて、それに応じてキャプチャされる色テクスチャが変化する。しかし、色シェードは、走査されている対象物の材料の特性であり、そして、それの測定は、照明/観測幾何形状から独立していなければならない。
本開示の実施形態は、口腔内撮像デバイスの能力を利用して、口腔内撮像カメラ16から、図3に表すような異なる角度から、歯の同じ表面等の同じ特徴についての多重反射率画像を獲得する。結合された角度付き照明と異なる画像から抽出された反射率情報とが次いで用いられて、それぞれの撮像された歯の色シェード又は別の表面特徴をより精密に特性評価してもよい。
双方向反射率分布関数(BRDF)
双方向反射率分布関数(BRDF)が、照明及び様々な角度での観測の色シェードにおける影響をより正確に特性評価する方法を提供する。この関数の使用は、照明及び検出角度の寄与から生じる混乱を低減しながら、材料自体の色シェードを特性評価してもよい。単一色に関して、スキャナによる材料の表面特性評価のためのBRDFが、関係変数するの関数として以下のように表現される。
Figure 2021524309
ここに、Lは、放射輝度であって、単位立体角あたり単位垂直面積あたりのパワーであり、下付き添字rは、反射光に関係し、下付き添字iは、入射照明に関係し、
Eは、放射照度であって、単位面積あたりのパワーであり、
ωiは、入射光方向であり、
ωrは、反射光方向であり、
nは、所定の点における局所表面法線である。
BRDFは、逆ステラジアンsr−1の単位で表される。表面上の点に対してBRDF変数を獲得するための測定についての基本幾何形状が、図4Aに概略的に表されている。直線hは、ωiとωrとの間の半方向であり、以下において更に詳細に説明される。
単色表面データについての汎用BRDFは、4次元であって、入射及び反射光角度のそれぞれ毎に2次元(方位及び天頂)を有する。口腔内撮像のための出願人のシステムについて、以下の2つの制約、
(i)固定された照明及び検出角度が、口腔内カメラ16の設計によって指示されること、及び
(ii)表面の点についてのBRDFデータが、法線周りの回転について不変であると仮定されること、
が適用される。
単色表面データについてのBRDFデータが、色表面データからのそれぞれの色チャネルを個々に考慮することによって、色表面データについてのBRDF色データに拡張されてもよい。一実施形態では、色ベクトルの角度分布が、BRDF色データとして表現される。ここに、BRDF色データは、照明方向と反射方向との間の対応、並びに一方における表面法線、及び他方において取得された色ベクトルを記録する。
本開示の一実施形態では、BRDFデータは、2次元RGB画像によって表現される。
図4Bは、左側に角度幾何形状、右側に、本開示においてBRDF構造と呼ばれる、図解形式のBRDF2次元「スライス」の成分を表す。2次元構造は、4次元を有する汎用BRDFの区画についての公知の表現である。本開示に関して、出願人の口腔内撮像システムの固定された照明/センサ対称性に起因して、BRDF構造は、色シェードに対応するBRDF情報を表現する。
図4Bの左側にある角度の定義は、半方向h及び表面法線nから獲得される。天頂角θ及び方位角φは、半方向hに関する、面法線nの極座標を提供する。角度φの起点及び方向は、入力方向(ωi,ωr)に対して任意に選ばれてもよいけれども、スキャン全体にわたってスキャナ座標系と整合しなければならない。
図4Aに示すように、2次元BRDF構造は、入射光方向ωiについての照明光学軸と反射光方向ωrについての検出器光学軸との間の中央ベクトルを表現する半方向又は半角hについて画定される。図4Bのグラフ表現において、水平軸線は、最も左側にある0度の向きについて、0〜90度の範囲にわたる表面法線nと半方向hとの間の天頂角θを表現する。垂直軸線は、0〜360度の範囲にわたる表面法線nと半方向hとの間の方位角を表現する。このタイプのマッピング配列は、鏡面反射ピーク、再帰反射、及び散乱光等をレンダリングすることにおける標準的寄与の位置を含む。
鏡面反射は、典型的には、観察者が表面法線に関して照明の反対側にあるときに、金属表面において観測される強く明るい反射である。鏡面反射応答は、基本的に表面研摩に依存するけれども、フライス加工に用いられるブロックシェードの選択には影響を与えない。鏡面反射応答は、しばしば検出器を飽和させて、2次元スライスのその領域内でのシェード測定の値を棄損する。この鏡面反射ピークは、図4Bの2DのBRDFマッピングの左側に沿って表されるように、法線nと半方向hとがほぼ整列したときに生じる。
拡散応答が、スライスの大部分の上の天頂角θ及び方位角φの広範囲にわたって測定される。かすめ再帰反射は、角度の狭い範囲にわたって測定され、ここに、ハンドピース幾何形状制約によって設計されるように、入射ωi、反射ωr、及び半方向hが、ほぼ整列しているけれども、表面法線nは、それらに対して90°だけ傾斜している。物理的性質をモデル化するとき、かすめ再帰反射は、通常、マイクロファセット分布、すなわち、顕微鏡学的レベルでの表面粗度のタイプを決定する。これは、表面外観を特性評価する様々な物理的影響の角度分離を示す。かすめ再帰反射は、法線方向に対するかすめ入射の下での性質を表し、それは、患者の歯を観察することの自然な方法ではない。それに加えて、深度情報、したがって表面法線は、かかる幾何形状において同定及び測定することがより困難である。
口腔内シェードマッチングについて、図4Bマッピングの拡散領域が、最大の関心事である。鏡面反射及びかすめ再帰反射光は、ちょうど今述べた理由のために、ずっと小さい価値のものである。
図4Bに表すBRDF構造内(平面内)の単一点P1は、それぞれの色についてのBRDF値fri,ωr,n)を表現し、当該BDRF値は、表面輪郭に沿った対応する点における法線nに対する所定の関係について、所定の検出器方向ωrにおいて、所定の照明方向ωiにおける照明から生じる。
割り当てられた色と関連付けられる深度情報は、スキャナ座標系内のカメラによって測定され、当該カメラは、共通の座標系内のスキャナの配置から独立している。スキャナ座標系内で、入射及び反射光方向は、一定であり、それにより、方向ωi、ωr、hは、一定であり、局所表面法線nだけが、関連付けられた深度情報に依存する。スキャナ座標系内で、関連付けられた深度情報が、局所表面法線nを所定の点に提供する。局所表面法線n及び割り当てられた色が用いられて、その点についてのBRDF値を計算する。以下の節は、カメラによって取得されたBRDF値が、成長する表面輪郭がその中に画定される共通の座標系内に構成されてもよい方法を記述する。
表面データ及び色割当て
図1の撮像装置90に関して、カメラ16は、反射率画像と、関連する深度情報と、を含む画像データの集合を取得する。制御論理プロセッサ80は、画像データを処理して、局所シェード指示を表面輪郭に提供する。
一実施形態において、反射率画像が結合されて、色画像を形成し、ここに、色チャネルの数は、3以上である。色チャネルの数とマッチする次元の色ベクトルが用いられて、結合された色画像内に色値を記憶してもよい。一実施形態において、センサは、単色であって、異なる中央波長における照明による多重露光を必要とする。別の一実施形態では、色値は、RGB色ベクトル内に記憶される。別の等価な3D色空間が、代替として用いられてもよい。例えば、色距離について、CIELab 3D色空間を用いることが有利であってもよく、当該CIELab 3D色空間は、眼の感度に従って、知覚的に均等な色距離を提供するように設計されている。別の一実施形態では、4つ以上の中央波長を有する色チャネルのスペクトルが取得されるならば、対応する色値は、色ベクトル内に記憶される。
一実施形態において、関連付けられた深度情報は、また、構造化された照明を用いて反射率画像を処理することによって獲得され、当該構造化された照明は、本発明の譲受人に譲渡された、両方ともMilchへの、「3D intraoral measurements using optical multiline method」という名称の米国特許第9,295,532B2号及び「3D intraoral measurements using optical multiline method」という名称の米国特許第9,349,182B2号に記載されているようなものであり、これらの特許の両方は、それらの全体が本明細書に組み込まれる。別の一実施形態では、関連付けられた深度情報は、以下の、投影されたパターンを用いる三角測量、共焦点幾何形状を用いる焦点からの深度、又はアクティブ若しくはパッシブ立体写真計測法のうちのいずれかを含むが、これに限定されない技術を用いて獲得されてもよい。
実際には、反射率画像及び関連付けられた深度情報が、可能な限り速く取得されることにより、画像データが生成されるときに、カメラ露光のシーケンス中にスキャナ変位を最小化する。この手順に続いて、関連付けられた深度情報は、範囲画像とも呼ばれる反射率画像からピクセル場所に関係してもよく、そして、色が、範囲画像に割り当てられてもよい。範囲画像からの画素データが、3D点座標に変換されてもよい。
成長する表面輪郭を更新するためのスキャナ向き
画像データから抽出された色と関連付けられた深度情報が用いられて、連続して増強されるか又は成長する表面輪郭を作成する。法線及び色を有する点群が、取得(高速な点挿入、削除)中に点群発達に適した適応性を提供するけれども、色付き/テクスチャ付き表面メッシュが、概してディスプレイ84(図1)上でユーザに表示される。
点群又はメッシュデータ構造が等しく用いられて、3D表面を表現してもよい。法線及び色を有する点群は、メッシュからの頂点並びにそれらの平均三角形法線及び頂点色から頂点を用いること、三角形データを廃棄すること等によって、色付き/テクスチャメッシュから抽出されてもよい。色を有するメッシュは、元のアルゴリズムからの範囲画像の代わりに、入力として法線及び色データを有する点群を受けるように適合された、Kazhdan,M.,&Hoppeによる「Screened Poisson Surface Reconstruction」、ACM Transactions on Graphics,32(3),1−13,(2013)に記載されたようなアルゴリズムを用いて、又はBrian Curless及びMarc Levoyによる 「A Volumetric Method for Building Complex Models from Range Images」、Proceedings of SIGGRAPH96に記載されたようなVripの変形を用いて、法線及び色を有する点群から生成されてもよい。普遍性を失うことなく、用語「表面輪郭」は、「表面メッシュ」又は「表面点群」を用いて同様に表現されてもよい。点群とメッシュとの間の変換は、表面輪郭撮像技術における当業者にとって公知である。
一実施形態に従って、メッシュ構造及び点群構造の両方が用いられて、ディスプレイ上に表される表面輪郭を生成してもよい。法線及び色を有する点群は、全ての入力のステッチされた画像データからの情報を結合する動的構造である。色メッシュは、表示のための一時的構造として低解像度の点群から生成されてもよい。色メッシュが、それぞれの更新によって再生成されることにより、色及び法線を有する正確な点群と同期されてもよい。
色と関連付けられた深度情報が、色を有する表面輪郭に変換されてもよい。表面輪郭のそれぞれの点についての法線情報が、例えば、the pointclouds.org website under documentation/tutorials/normal_estimation.phpにおいて記述されたもの等の、コンピュータグラフィクスにおける周知の技術を用いて推定されてもよい。処理要求点において、点の局所近傍が、画定される。共分散マトリックスは、点の局所近傍を用いて計算される。共分散マトリックスCは、以下の形式を有する。
Figure 2021524309
ここに、kは、局所近傍内の点の数であり、p値は、点座標であり、P−(これはPの上に−を書いたことを意味する)は、局所近傍内の点からの平均点位置である。この正方対称3x3マトリックスは、固有ベクトル及び関連付けられた固有値を提供してもよい。点の局所近傍についての最小二乗適合が楕円を用いて実行されるならば、楕円軸線が、固有ベクトルであり、軸線長が、対応する固有値に関係しているであろう。共分散マトリックスの最小固有値は、最短楕円軸線を表現し、そして、関連付けられた固有ベクトルは、局所法線の方向を与える。局所法線の方向は、スキャナからの観測方向をマッチングさせるのに必要であるならば、反転させられてもよい。この局所法線は、次いで、処理要求点に割り当てられ、当該処理要求点は、法線及び色を有する表面輪郭についての計算を可能にする。
ステッチング手順
成長する表面輪郭上に取得された画像データからの法線及び色を有する表面輪郭のステッチング手順は、以下の汎用ステップを有する。(i)画像データからの法線及び色を有する表面輪郭についての及び成長する表面輪郭についての特徴記述子の1つの集合を推定するステップ、(ii)特徴記述子の両方の集合を用いる特徴マッチングを実行して、相対配置及びスコアを作成するステップ、(iii)スコアに基づいて相対配置を認容又は拒絶するステップ、(iv)反復最近接点アルゴリズムを用いて相対配置を改良して、距離測度を生成するステップ、及び(v)生成された距離測度に基づいて相対配置を認容又は拒絶するステップ。これらのステップについての詳細は、以下のようである。
(i)表面輪郭についての特徴記述子は、剛体変換(回転/並進)について不変である局所表面記述を表す。例えば、高速点特徴量ヒストグラム(FPFH)が、法線を有する表面輪郭のそれぞれの処理要求点について計算されてもよい。このことは、例えば、Rusu,R.B.の論文「Semantic 3D Object Maps for Everyday Manipulation in Human Living Environments」、pp.57−61(2009年8月17日)に記載されている。点群からの色情報をまた含む別の記述子が、用いられてもよい。
(ii)法線を有する可動表面輪郭からの特徴記述子の1つの集合の、法線を有する標的表面輪郭からの特徴記述子の1つの集合への特徴マッチングは、特徴記述子同士の間の対応の作成を含む。FPFH特徴記述子は、ヒストグラムであり、距離は、2つの特徴記述子の間のヒストグラム差分のノルムとして定義されてもよい。対応は、1つの特徴記述子から特徴記述子の別の集合への最小距離として定義される。特徴マッチングは、次いで、相対配置を生成するための一群の一致の選択を含む。このステップは、概して、ランダムサンプルコンセンサス(RANSAC)アルゴリズムを用いて実行され、当該アルゴリズムは、候補の相対変換を計算し、次いで、この候補の相対変換と整合する一致の数をカウントするための3つの一致についてのランダム選択からなる。一致は、2つの特徴記述子から形成され、1つは可動点群からのものであり、1つは法線を有する標的点群からのものである。それぞれの特徴記述子は、処理要求点に対応する。一致は、候補の相対変換を用いて動かされる可動処理要求点が、標的処理要求点からの事前に決められた距離内部にあるならば、候補の相対変換と整合する。整合する一致についての最大数を有する候補の相対変換が、最終の相対配置になる。スコアは、最終の相対配置の品質を示し、整合する一致についての対応する数であってもよい。
(iii)相対配置は、スコアが予定された閾値以下であるという事象において拒絶されてもよい。この場合、ステッチングが起こり得ず、画像データは廃棄される。
(iv)反復最近接点(ICP)アルゴリズムを用いる相対配置の改良は、相対配置が可動表面輪郭に適用されるときに、最近接マッチングを見つけることによって、可動表面輪郭と標的表面輪郭との間の点対応を定義する。マッチング同士の間の最小自乗距離最小化は、相対配置の更新を提供する。点一致の選択及び相対配置の更新が、次いで、収束まで又は所定数の反復が達成されるまで、反復される。距離測度は、最終の更新された相対配置に対応する、最小自乗距離最小化に用いられる費用関数の値であってもよい。
(v)更新された相対配置は、距離測度が予定された閾値以下であるならば、拒絶されてもよい。この場合、ステッチングが起こり得ず、画像データは廃棄される。そうでなければ、ステッチングは成功である。
ステッチングが成功であるならば、画像データからの法線及び色を有する表面輪郭を、成長する表面輪郭上に最終的に相対的に配置することは、既知である。このことが、法線及び色を有する計算された表面輪郭全てに対して共通の座標系を生じさせ、当該座標系内に、点が付加され、更新され、結合され、又は削除されて、成長する表面輪郭を形成してもよい。スキャナの元来の座標系が、また存在し、当該座標系は、ステッチングが実行される前に元来取得されたような、画像データの軸線に対応する。共通の座標系は、通常、最初の画像データの取得中に、スキャナの任意の向きに対して規定される。
口腔内撮像のためのBRDFを取得して用いるためのシーケンス
図5の論理流れ図は、本開示の実施形態に従う改善された色シェード同定及び表示のためのBRDF構造を取得して用いるためのシーケンスを表す。取得及び処理ステップS510において、表面輪郭画像が、取得された画像データから法線及び色情報を有する点群又はメッシュとして獲得される。色補正ステップS520が、(ステッチング前に)画像データの取得中に、それぞれの色チャネルについてのfr(ωi,ωr,n)を用いて、及びスキャナの座標系内の照明方向ωi及び検出器方向ωrを用いて、点群からの色をBRDF色データに変換する。ステップS520は、後の段階に延期されてもよいけれども、BRDF値を生成するための即時の色補正が、処理パイプライン内の初期に色のより良好な正規化を可能にし、それにより、補正された色が、歯材料のより正確な表現となり、照明/検出幾何形状により少なく依存するようになる。この方法を用いて、全ての後続のデータ構造が、補正された色値から利益を生み出される。
表面輪郭から同定された点は、それぞれ、空間3D位置、法線ベクトル、及び色ベクトル(典型的には、RGB色)を少なくとも含む。ステッチングステップS530は、取得された画像データからの表面輪郭の相対位置を、「成長する」表面輪郭、すなわち、能動的に生成されている表面輪郭の座標系内に画定する。ステッチングが成功すると、成長する表面輪郭の座標系内での空間点位置が、獲得されてもよい。
空間変化BRDF(SVBRDF)は、空間的に分解されたBRDFを用い、これは、点位置情報を分布関数に付加する。SVBRDFは、成長する表面輪郭と同じ座標系内に画定された通常のBRDFグリッド構造を用いることによって表現されてもよい。グリッドセルサイズ(ボクセルサイズ)は、典型的には、望ましい空間シェード分解であり、典型的には、口腔内スキャナを用いるとき、1mmと20mmとの間で変化する。歯科技工士又は歯科医は、通常、1つの歯を1〜3のシェードに分離し、それで、この空間分解に到達するために、5mmの典型的なグリッドセルサイズを用いる。ステッチング後の点位置は、BRDFグリッド構造内に座標を提供する。対応するBRDFグリッドセルは、更新されるべきBRDF構造を含む。
上記で導入された汎用BRDF関数fr(ωi,ωr,n)は、法線方向nを有する所定の点のあたりで、様々な観測/測定幾何形状の下で、スキャン中にサンプリングされる。それぞれのサンプルは、上記で導入されたBRDF値のうちの1つであり、それらの値は、BRDF関数と同じ次元のBRDF構造内に記憶されてもよい。出願人のシステムについては、BRDF構造は、以前に述べた2次元画像である。点から生じる、BRDFへの更新は、以下のように、スキャナ座標系における、点位置及び点法線が用いられて、BRDF構造の角度座標を計算することで行われる。対応するピクセルが、そのピクセルについての全体重みと共に補正された色の重み付け合計を記憶する。そのピクセルについての平均BRDF色は、全体重みによって補正された色の重み付け合計を分割することによって、いつでも獲得されてもよい。1つのピクセルは、BRDF関数の角度範囲を表現する。
点に対応する重みは、測定における相対信頼度を表現する。デフォルトの重みは、1であってもよく、そして、例えば、点位置における相対不確実性、点法線方向における不確実性、又はマッチング判定基準からの不確実性に従って減少させられてもよい。例えば、法線方向における不確実性は、最小固有値と次に小さい固有値との間の比から計算されてもよい。比が1に近いならば、両方の固有値は、類似しており、それで、法線の選択は、曖昧である。事前に決められた閾値、例えば0.5を上回るとき、その点についての対応する重みが、減少させられてもよい。同様に、ステッチングは、距離測度についての推定で仕上げを行い、当該距離測度は、事前に決められた閾値と比較されて、その視野内の全ての点についての重みを最終的に減少させてもよい。
ピクセルサイズは、角度範囲が点群の法線についての推定における角度ノイズに類似しているように選択される。典型的には、それぞれのピクセルは、各軸線に沿った5〜20度の角度変動を表現する。この2D画像において、水平及び垂直軸線は、それぞれ、表面法線と半方向との間の天頂角及び方位角を表現する。
双方向表面散乱反射率分布関数(BSSRDF)、又は双方向テクスチャ関数(BTF)、又は双方向散乱分布関数(BSDF)等のより複雑なモデルが存在する。これらのモデルのそれぞれは、スキャンされた対象物の様々な性質を表す。それらの関数によってモデル化された物理的性質は、反射率、散乱及び/又はシャドーイング、あるいはマスキングを表現してもよい。これらの分布関数は、入射及び反射光方向の関数として、色ベクトルの角度分解についての同じ共通原理を共有している。本明細書で用いられる用語「BRDF」は、これらの類似する角度分解双方向分布関数を指し、当該関数は、表面に沿った異なる点における光相互作用を特性評価する。
図4Bの右側に概略的に表された2DのBRDFデータ構造は、BRDFの色データを記憶する。その代替として、反射、並びに透過、散乱、及びシャドーイングについての値分布を有する対応する表面性質についてのモデルが、記憶されてもよい。これらの代替のデータ構造は、所定の入射及び出力角度において、観測された色を光にマッチングさせるように調整されてもよいパラメータを表示してもよい。
データ点同士の間のBRDF距離が測定基準として規定されてもよいならば、特定のBRDF関数を表現するための代替の表現が用いられてもよい。デフォルトの距離は、本明細書で画定されたピクセル場所においてBRDF関数をサンプリングするBRDF構造について、以下に記述されるBRDF距離を用いることによって、獲得されてもよい。
例えば、BRDFについての代替表現は、Torrance−Sparrow BRDF、Cook−Torrance BRDF、Phong BRDF等の解析表現であってもよく、これらは、コンピュータレンダリングアプリケーションにおいて普及している。BRDFモデルのより詳細な列挙が、グラナダ大学からの技術レポートLSI−2012−001内にあるR.Montes及びC.Urenaによる「An Overview of BRDF Models」に見られ得、これは、参照によって本明細書に組み込まれる。このレポートは、本開示で述べられたBRDF値の観測にマッチングするように調整される自由パラメータを有する解析モデルを記述する。典型的な調整方法が、スキャナからの測定BRDF値と解析モデルからの計算されたBRDF値との間の残余距離の最小自乗最小化を含む。
図5のシーケンスを再開すると、輪郭形成ステップS540が、関連付けられた色シェードの指示を含む、成長する表面輪郭の表示を形成する。それぞれのBRDF構造について、関連付けられた色シェードが、別個のBRDFライブラリを用いて計算される。BRDFライブラリは、色シェード値及び関連付けられたBRDF構造を含む集合である。BRDFライブラリの作成が、続いて更に詳細に記述される。
BRDF距離
図4Bに表されるような1つの点P1における2つのBRDF関数の評価は、2つのBRDF値を与える。本開示に関して、BRDF値は、色ベクトルとも呼ばれる。2つのBRDF値の間の距離の概念が、以下で定義される。2つのBRDF関数の間のBRDF距離は、点P1の全ての容認された位置にわたる、色距離の積分として定義されてもよい。言い換えれば、積分領域は、入力変数ωi及びωrの角度範囲を網羅している。
BRDFデータ構造が(図4Bに表されているBRDF構造に類似した)2次元画像であり、それぞれのピクセルが、色の重み付け合計及び全体重みを記憶する場合、BRDFスナップショットは、(それぞれのピクセル値を全体重みによって除算することによって取得された)平均色ベクトルを有する2D画像として定義されてもよい。全体重みがゼロであるか、又は事前に決められた閾値以下であるならば、色の重み付け合計は、信頼性がないと考えられてもよい。この場合、平均色ベクトルは、RGB=(−1.0,−1.0,−1.0)等の無効な色ベクトルと置換されてもよい。
BRDF構造は、スキャン期間全体にわたって情報を蓄積する。記憶された情報は、それぞれのピクセルへの寄与の合計を表現する。BRDFスナップショットは、(元来のBRDF構造を不変にしながら)平均値算出を実行し、そして、短い寿命を有する、すなわち、それのデータは、BRDF距離計算中、それが生成される時にだけ有効である。後続の画像データからの新たな3D点がBRDF構造に影響を及ぼすと直ぐに、BRDFスナップショットについての平均が一新されてもよい。
一般の場合において、いずれかの次元における色差は、色差について計算されたノルム等によって、ベクトル差分として表現されてもよい。信頼性がないと見なされた値について上記したように、2つの色ベクトルのうちの1つが無効であるならば、色距離が、予め決定された距離値に設定されてもよい。2つのBRDFスナップショットの間のBRDF距離が、全ての対応するピクセルについての色距離の重み付き合計である。
この重み付き合計からの重みが、積分領域にわたる色距離の積分の離散化から導出される。出願人のシステムについて、BRDF構造及びBRDFスナップショットに用いられる極座標を用いると、(重みについての)積分要素は、それぞれのピクセルの中央において角度座標について評価されるsinθdθdφ形式のものである。
BRDFスナップショットがまた用いられて、元来のBRDF構造(RGB値等)からの色を色空間に変換してもよく、当該色空間は、(撮像技術の当業者によく知られた標準CIELAB色空間等の)色距離を評価するのにより適している。
所定のBRDF構造について、BRDFライブラリからの関連付けられた色シェードは、所定のBRDF構造からのBRDFスナップショットと、BRDFライブラリ内部の関連付けられたBRDF構造からのBRDFスナップショットとの間の最小距離に対応するシェード値である。
関連付けられた色シェードは、BRDFグリッドからのBRDF構造のそれぞれについてのBRDFライブラリからのシェード値である。
関連付けられた色シェードの指示は、関連付けられた色シェードに対応するラベルであってもよい。例えば、ラベルは、BRDFライブラリからの関連付けられた色シェードを表現する対応するテキスト又は任意の色であってもよい。一般に、「シェード値の指示」は、シェード値を識別するラベル付けである。このタイプのラベル付けは、例えば、いくつかのテキストラベル又は色ラベルを結合することによって、多重シェード値に提供されてもよい。
例えば、歯についての色シェード処方は、特定の実施に従うと、歯の上部3分の1、中部3分の1、及び下部3分の1を表現してもよい「D2−A2−A3」等の2つ以上のシェードを含んでもよい。その代替として、歯についてのシェード値は、表面データ上に表示されるテキストラベルを用いて示されてもよく、それぞれのシェード値は、テキストラベルを提供し、当該テキストラベルは、シェード値を決定するのに用いられる色ベクトルの角度分布に対応する表面データからの点において表される。
代替の一実施形態に従うと、1つ又は複数のシェード値の指示は、表面データ上に表示される1つ又は複数の色ラベルを含んでもよく、それぞれのシェード値は、1つの色ラベルに関連付けられ、当該色レベルは、シェード値を決定するのに用いられた色ベクトルの角度分布に対応する表面データからの点において表される。
成長する表面輪郭とBRDFグリッドとは、同じ座標系内にある。このため、関連付けられた色シェードは、対応する表面場所に従って表示されてもよい。色がラベルに対して用いられるならば、成長する表面輪郭からのそれぞれの点は、BRDFグリッド内に対応する座標を有し、その座標においてBRDF構造と関連付けられたBRDFライブラリからの色シェードのラベルの色が割り当てられてもよい。このように、1つのBRDFセル内に含まれる表示された表面の全ては、同じ色ラベルによってレンダリングされてもよい。言い換えると、成長する表面輪郭上の2つの隣接する点は、BRDFグリッド内の同じセルに対応することが大いにあり得る(以下で述べられる)。そのため、その2つの点は、同じ色ラベルを割り当てられてもよい。更に言うと、BRDF構造によってクリップされた表面領域は、同じ色ラベルによってレンダリングされてもよい。
テキストがラベルに用いられるならば、成長する表面輪郭に関係するテキストラベルの位置は、同じ座標空間内のBRDFセルの中心であってもよい。それは、また、オペレータによって選択された領域の中心であってもよい。
次の位置ステップS550は、ステップS510において処理するためにカメラからの画像データの次の集合に移るプロセスを反復する。
代替の一実施形態に従うと、表面輪郭生成は、元来取得されたような歯色を用いて、最初に完成されてもよい。BRDFデータが取得されるけれども、初期の表面輪郭生成中には適用されない。表面輪郭ステッチングに次いで、取得されたBRDFデータを用いるシェードマッチング処理が続いてもよい。この代替の作業フローのために、ステップS540が、次の位置ステップS550及びそれの対応するプロセスループの後に、有効に実行される。
代替の一実施形態に従うと、シェードマッチングが従来の3Dスキャンプロセスに続いて実行されることにより、シェードデータが、既存の3D表面データに付加される。角度情報を用いるシェードマッチングは、次いで、以下の従来の3Dスキャンを開始してもよいか、又は患者について読み込まれた3Dスキャンデータを用いてもよい。角度情報を用いるシェードマッチングのためのステッチングは、次いで、既存の表面輪郭に当接して実行される。このシーケンスによって、オペレータは、治療されるべき特定の1つの歯又は複数の歯に焦点を合わせてもよい。この手順は、例えば、BRDFデータ取得及びシェードラベル表示が、修復のための関心領域だけに提供されることを可能にする。実施において、同じシェード取得シーケンスが続けられる。初期のBRDFデータ構造は、空であるけれども、表面輪郭は、空ではない。
別の代替の一実施形態に従うと、オペレータは、例えば治療方針に基づいて、患者の歯列の限定領域を選択してもよく、当該限定領域についてのシェードラベルが関心の対象である。かかる場合、表示された表面上でのシェードラベルのレンダリングは、選択された領域に限定されるか、又は選択された領域から事前に決められた距離の範囲内に限定される。選択は、コンピュータマウス等のポインタを用いて、タブレットからの入力を用いて、又はいくつかの別のデジタル入力インタフェースを用いて実行されてもよい。選択は、3Dスキャ二ングの前に又は後になされてもよい。後者について、3Dスキャンプロセス中、シェードデータが生成されるが、ステッチングされた表面輪郭上に表示されない。シェードマッチングされた結果は、オペレータが関心領域を選択した後に、選択領域上又はモニタスクリーン上の独立した領域上のいずれかに、シェード指示と共に表示されてもよい。
代替の一実施形態に従うと、シェードラベルは、シェードライブラリからのシェードタブに対応するなんらかのテキストである。
例えば、有効な情報がタイムアウト期間後にもはや検出されなくなると、スキャナからの画像データの流れが、自動的に停止させられてもよい。例えば、ホルダ中に戻すスキャナの再配置によって、画像データが、また、オペレータによって停止させられてもよい。これらの又は類似の事象が検知されて、スキャンを停止させてもよい。ユーザは、次いで、表示された表面と対話し、それにより、アプリケーションは、最終のシェードマッチングされた画像を表示する、記憶する、又は伝送してもよい。例えば、色シェーディングされた画像であってもよい、最終のシェードマッチングされた画像は、表示ステップS560において、表示された表面及び関連付けられた色シェードの指示を含む。
BRDFライブラリを形成
図6の論理フローは、図5のプロセス中に用いられるBRDFライブラリを形成するためのステップを表す。図5プロセスのステップS540において、歯科材料の供給元から商業的に入手可能な従来のシェードタブの集積が用いられて、値をマッチングさせるために用いられるべきBRDFライブラリを生成してもよい。共通のシェード値が、Vita Classical(登録商標)シェードタブ(例えば、「A1」「A3.5」「D2」)、又はVita Linearguide 3D−MASTER(登録商標)(例えば、「2L1.5」又は「3M2」)から獲得されてもよい。
選択ステップS610において、シェードタブのうちの1つが、後に続く処理のために選択される。色シェード関連付けステップS620が、図5のステップS510、S520、S530、及びS550を結合させ、これらのステップは、シェードタブの表面スキャニング中に反復される。スキャニングの完了において、基準BRDF計算ステップS630が、スキャンからのいくつかのBRDF構造を固有の基準BRDFに自動的に結合させる。ステップS630は、シェードタブを基準シェードタブの全てに共通する基準座標系と整列させる。ステップS630は、更に自動的にセルの群を選択し、BRDF構造を、そのシェードタブについての基準BRDFとして指定された単一BRDF構造に合計する。
BRDFライブラリは、基準BRDFの集団及びそれらの関連付けられたシェードラベルを表現する。BRDFライブラリは、製作時に直ちに事前記録され、患者の歯のスキャン中に再使用されてもよい。BRDFライブラリは、また、専門家によって、好ましいシェードタブを用いて生成されてもよい、専門家は、単に、3Dスキャナデバイスを用いて、ここで輪郭を描かれたモデルに追従する必要がある。このことは、また、歯科医が単にそれらをスキャンすることによってシェードの集団を作成することを可能にする。測定システムの光学特性は、同じであるままである。BRDFライブラリに記憶された基準BRDFは、元来のBRDFデータ、BRDF構造、又は適合モデルの集団であってもよい。基準BRDFは、BRDF関数を含むセルのうちのいくつかの結合であってもよい。
表面輪郭は、全てのシェードタブに共通の類似座標系内に優先的に整列させられる。整列は、成長する表面輪郭をシェードタブのうちの1つの固定基準表面上にステッチングすることよって実行される。
集合からの全てのシェードタブは、通常、類似の表面状態を有するけれども、それらの外観は、階調度を表す。
選択されたシェードは、産業協定に基づいている。そのため、全ての成長する表面輪郭を類似の座標系に整列させることが重要である。このように、事前に決められた領域内の対応するBRDFセルが選択されて、BRDFライブラリにわたって一貫した意味を有してもよい。
一実施形態では、固定基準表面は、シェードライブラリの作成の前に取得されてもよい。固定基準表面は、共通の座標系の軸線(指定されたОz)がシェード測定のための所望の位置において固定基準表面と交差するように、手動で整列させられてもよい。この望ましい位置は、典型的には、シェードタブメーカによって規定される。例として、Vita Classicalシェードタブについて、望ましい位置が、図9の例に示すようにX印115のあたりに位置決めされなければならない。
一実施形態では、望ましい位置は、スキャンの始めにスキャナの初期配置によって、自動的に画定されてもよい。前記のように、表面輪郭の成長中の共通の座標系が、通常、最初の画像データの取得中のスキャナの任意の向きに対して画定される。このように、手動による整列は、最初の画像データが固定基準に対して取得されるとき、スキャナの位置によって制御される。
基準BRDFは、事前に決められた領域において選択されたBRDFセルからの全てのBRDF構造の合計として規定される。合計は、全ての色の重み付き合計及び全体重みのピクセルワイズ蓄積によって別々に実行される。
大数の統計法則は、より多い観測を収集することが、より正確な平均値、すなわちより小さい標準偏差につながることを指す。事前に決められた領域内でのBRDF構造のピクセルワイズ蓄積の目的は、BRDF距離測定中に、基準BRDFのBRDFスナップショットを計算するときに、より正確な平均推定値を獲得することである。
事前に決められた領域は、基準表面上の事前に決められた位置あたりに集中している、約2mmの半径の球であってもよい。事前に決められた位置は、例えば、基準表面との(Оz)軸線の交線であってもよい。記憶ステップS640は、それぞれのBRDF基準及び関連付けられたラベルをシェードライブラリ内に記憶する。決定ステップS650は、集合からのシェードタブの全体アレイの系統的処理のためのループ演算を制御する。測定の終結において、BRDFライブラリが生成されて記憶される。それは、次いで、口腔内スキャンの開始前にロードされてもよい。
球半径は、BRDF情報の蓄積のための境界を画定するのに役立つ。事前に決められた領域についての球半径は、シェードタブにわたるシェード外観の局所変動に基づいて決定される。少なくとも、単一BRDF構造は、事前に決められた位置を含むセルから選択される。シェード決定のための伝統的な作業フローは、通常、バンド内に表現された犬歯についての多くても3つのシェードを規定し、半径は、一般に、シェードの均一性を保証するためには5mm未満である。
図7は、BRDFライブラリ100内に含まれる対応するBRDF基準構造を有するシェードタブ94の集合を表す。それぞれのBRDF基準構造は、シェードラベル104(D2、D3、D4、C1、C2、C3、その他)とも呼ばれるテキストラベルと、及び/又は色ラベル112と関連付けられる。それらのシェードラベルは、また、シェードタブ94の金属支持体の上にスタンプされるか、又は別の態様で記録されてもよい。
CIELab値への変換について、90%の反射率を有する表面として規定された白色標準からの信号が、取得される。同じく、検出器の飽和を回避するために、18%の反射率標準(N5灰色カード)からの信号が、また、用いられてもよい。18%の反射率標準からの信号は、次いで、白色標準の均等物を提供するために5が掛けられる。反射率標準の取得は、(図6のシーケンスにおいて、ステップS610の前に)シェードライブラリのための基準表面及びシェードタブの取得の前に実行されてもよい。反射率標準からの信号は、シェードライブラリ内に記憶されてもよい。反射率標準からのデータは、次いで、シェード取得のために、及び実際の歯のスキャン中に利用可能であり、その理由は、シェードライブラリが既にコンピュータメモリにロードされているからである。
実際には、反射率標準についてのデータは、また、反射率標準の表面をスキャンすることによって、3Dスキャナを用いて取得される。S510〜S560のステップが完了された後には、BRDFグリッドが既に作成されている。BRDFグリッドからの全てのBRDF構造は、蓄積されたBRDF構造に結合されてもよく、これらは、次いで、BRDFスナップショットに変換される。このBRDFスナップショットからの平均色ベクトルは、CIELab色空間への変換のために用いられてもよい平均反射率標準色ベクトルを提供する。色ベクトルは、可視波長を包含する波長を有するスペクトルを含んでもよい。本開示に関して、可視波長は、360と830nmとの間の範囲内にある。
反射率標準色ベクトルを用いる、色ベクトルのCIELab値への変換は、公知の手順であり、それは、以下の
(1)反射率標準色ベクトルの色構成要素によって補正された色ベクトルから、それぞれの色成分を分割すること、
(2)この正規化された色ベクトルを三刺激XYZ値に変換すること、及び
(3)三刺激XYZ値をCIELab色に変換すること、に要約されてもよい。
反射率標準のスキャンは、より複雑な反射率標準データを提供してもよい。一実施形態では、単純な平均反射率標準色ベクトルの代わりに、反射率標準の平均BRDF構造が、直接記録される。これがなされる場合、BRDFスナップショットからの色ベクトルをCIELab色に変換するとき、反射率標準のBRDFスナップショットからの対応するピクセルが、色ベクトル正規化に用いられてもよい。この技術は、反射率標準の反射性の角度変動を説明するのを助けてもよい。実施において、スキャナの分散光源、非理想的な照明スペクトル(発光体がD65ではないので)は、わずかな角度変動をもたらすことがある。
別の一実施形態では、反射率標準のスキャンは、空間的に分解された色データを提供する。特に、空間分解は、スキャナの座標系内に表示されてもよい。このことは、視野にわたって照明及び検出についての変動の測定を可能にする。それは、スキャナの座標系と整列した3Dグリッドとして表されてもよく、ここに、X/Y軸線は、撮像平面を表し、Z軸線は、スキャナの主要光軸を表す。反射率標準色ベクトルの空間的に分解されたプロファイルを用いることは、視野にわたる色ベクトルのより正確な正規化を可能にする。このことは、視野内の表面の位置から独立することになる、より多くのCIELab色を生成することを助ける。
BRDFグリッド構造
図8は、同じ座標系内に複数の要素を表す線図であり、セル72からなる3DのBRDFグリッド30が、シェードタブ94によって表された3Dの成長する表面輪郭を包含する空間分割を画定する。それぞれのセル72は、BRDF構造70を含み、当該BRDF構造は、スキャン中のその時に関連付けられたBRDFスナップショットによって表される。それぞれのセル72は、単一の1mm部分によって遮断された表面等の歯表面の小さい部分に対応する。ステッチングステップS530(図5)中に、法線及び色を有する点群が3Dの成長する表面輪郭上にステッチングされるとき、BRDFセル72に対応する点群からの色及び法線を有するそれらの点は、そのセル内のBRDFデータ構造70と結合される。必要に応じて、BRDFグリッド30は、全てのステッチングされた点が有効なBRDFセル72内にあるように拡張される。次いで、点群からの全ての点が、成長する表面輪郭内に結合され、当該成長する表面輪郭は、ディスプレイ上で更新される。
それぞれのセル72内のBRDF構造への更新は、以下を含む。
(i)分割に対応する歯領域への法線のパラメータ、
(ii)照明の入射方向ωi
(iii)検出された光の反射方向ωr
(iv)RGB、CIE Lab、又は別の好適な色空間等の周知の色空間内の色ベクトル。色チャネルの数は、3以上であってもよい。
照明の入射方向ωi、検出された光の反射方向ωr、及び局所表面法線nからなる所定の幾何形状について、BRDF構造は、角度分布を記憶し、この場合、角度分布のそれぞれの要素(ピクセル)が全ての色ベクトルの重み付き合計及び対応する全体重みを記憶する。したがって、所定の幾何形状について、BRDF構造が用いられて平均色ベクトルを計算してもよく、それは、BRDFスナップショット内に記憶される。
色ベクトルの重み付き合計において、及び対応する全体重みにおいて用いられる重みは、以前に述べたように、取得された3Dの点の信頼度(又は品質)レベルと関係してもよく、当該信頼度レベルは、3Dの点位置、表面法線、又は色の正確度における信用についての可変レベルを表現する。それに加えて、重みは、また、(1)正確な点の場所が不確かになるので、飽和領域(鏡面反射円錐形)が減少すること、(2)局所法線が、入射光又は測定角から離れる方に傾くときに減少すること、(3)法線が局所近傍内で整合しているならば、増加すること、を含んでもよい要因によって変化してもよい。
照明方向ωi、反射方向ωr、及び法線nについての幾何形状が、セル72内のBRDF構造における2Dの角度座標にコード化されてもよい。2Dの画像構造が用いられて、BRDF構造の角度範囲を表現する。それぞれのピクセルは、色ベクトルの重み付き合計と、関連付けられた全体重みと、を含む。
歯の領域について結果として生じるデータ構造は、測定シーケンスにおけるスキャナの位置決めが、全ての様々な角度組合せを探査しないことがあるので、不完全である可能性がある。取得シーケンスの始めにおいて、BRDF距離は、主としてデフォルトの色距離によって動かされる。追加データがスキャン中にBRDF構造内に蓄積されるにつれて、BRDFスナップショットは、より有効な色値を含み、それで、シェードライブラリからのシェードの同定が、ますます正確になる。計算は、最小閾値距離を用いてもよく、当該最小閾値距離以下では、ステップS540から関連付けられた色シェードが無効であることがあり、かかる場合、シェードラベルは、表面のその領域に対して表示されない。このことは、スキャンの初めにおいて関連付けられた色シェードの非常に速い変化を防止する。充分な数の向きが、BRDF構造のピクセル内に有意であるまで蓄積されたときに、シェードが現れる。一実施形態に従うと、BRDF距離は、DeltaE単位、CIELab色空間における色距離についての標準測定基準で表示されてもよい。50%の歯科医は、3DeltaE(3ΔE)の差分を視覚的に検出してもよいことが仮定される。最大距離についての閾値が、3DeltaE、又は(典型的には、約1DeltaEと8DeltaEとの間にある)類似の値に設定されてもよく、当該閾値以下では、関連付けられた色シェードは無効である。
BRDFデータは、メモリ内に記憶されるか、又は必要に応じて口腔内カメラ及びスキャニング装置から生成されてもよい。図8は、データ構造の1つの可視化を提供し、当該データ構造が用いられて、ステップS540から結果として生じる歯について取得されたBRDFデータを蓄積して組織化してもよい。かかるデータ構造自体は、オペレータに視認できる必要がないことがわかる。
しばしば、画像データからの鏡面反射彩度値、つまり、関連付けられた深度情報は、
鏡面反射に対応する領域についての有効データを有しない。表面輪郭の残りのステッチング後に、対応するBRDF構造の座標を計算するための点、したがって法線が存在しない。関連付けられた深度情報が鏡面反射の領域の外側境界の近くでそれでも入手可能である場合、深度情報は、しばしばその領域において誤って推定される。このことは、法線が非常にノイズの多いことを意味することがある。また、たとえ深度情報が有効であっても、画像データからの反射率画像が飽和させられることがある。飽和は、センサのダイナミックレンジが十分でないために起こる。それらの誤った測定値をBRDF構造内に記憶するよりも拒絶する方がよい。拒絶は、拒絶閾値を点法線と半方向との余弦に設定することによって実装されてもよい(例えば、0.98を上回るならば、拒絶される)。別の実装形態では、色及び法線を有する点群からの点の色がカメラの彩度値に近いならば(例えば、全ての色チャネルが、最大255にまで至るカメラの範囲に対して値250を上回るならば)、BRDF構造内に記憶することを拒絶する。シェードタブ90から獲得された基準BRDFは、図6の論理流れ図に関して以前に述べたように、例えば、BRDFライブラリの要素として記憶されてもよい。
本開示の一実施形態は、ステップS520において、標準のBRDF関係を以下の式に適合させる。
Figure 2021524309
ここに、照明が一定であり、スキャナ幾何形状が一定のままであるならば、kは定数項であり、値Epixは、測定された放射照度(すなわち、カメラピクセル値、特定の色チャネルについて観測された色に比例する)であり、ωiとnとの点乗積は、局所法線と照明方向との間の余弦角を与え、そして、r2項は、スキャナ構成要素から表面位置までの二次距離である。上記の式は、元来の点群色を補正された色に変換するときに、用いられてもよい。式は、本開示において以前に提示した汎用定義fri,ωr,n)から導出される。二次距離項は、距離による立体角の変動に起因する補正である。点乗積からの余弦補正は、fri,ωr,n)の元来の定義における分母から得られる。この色補正は、それぞれの色チャネルに個々に適用されてもよい。
2つのBRDF構造の間の距離についての改善された測定値は、固定された数のパラメータによって定義された基礎モデルを用いてもよい。M.Langovoyらによる論文が、可能な実装を与え、当該論文は、「Novel metric for analysis,interpretation and visualization of BRDF data」、ACM Transaction on Spatial Algorithms and Systems (2014)である。(測定基準の例として式(8)又は(15)を参照)。このことは、パラメータを最適化し、次いで、それらのモデルの間の距離を計算することによって、記録された2DのBRDF構造をモデルに適合させることを意味する。
目下開示されている実施形態は、そのため、全ての点で、例示的だが限定的ではないとみなされる。本発明の範囲は、添付クレームによって示され、そして、それの均等物の趣旨及び範囲内で生じる全ての変化は、その中に包含されるように意図されている。
図9は、シェード指示を有する表面輪郭を表し、ここに、表面輪郭は、シェードタブに対応する。BRDFライブラリを作成するための基準位置115の典型的な位置が、検出されたシェードについてのテキストラベル116及び色ラベル112を用いてシェード指示の例と共に表される。成長する表面輪郭114の一部分が表される。図9は、ステップS540から、識別された色シェードのためのラベルと共に3Dの表面輪郭の有り得る表現110を表す。BRDFグリッドのそれぞれのセルについて、それぞれのBRDF構造が、1つのシェード値を提供してもよい。シェード値が成功裏に同定されるならば、空間の対応する領域内の表面が、そのシェード値と関連付けられたラベル112によってレンダリングされる。例えば、Vita Classical(登録商標)シェードタブからのA2シェードが、淡緑色を用いてレンダリングされてもよく、それは、それの任意の事前に決められた色ラベルである。
BRDFグリッドは、ラベルを有する3D表面の表現におけるラベルの空間変動につながる。最小のBRDF距離が予定された距離閾値よりも大きいために、シェード値の決定がうまくいかないならば、表面は、ラベルによってレンダリングされず、そのため、色又はテクスチャがBRDFシェードライブラリから独立しているので、色付きメッシュ又はテクスチャ付きメッシュ114のそれの元来の外観を保持する。この例では、色付きメッシュ114の元来の外観は、この金属的表面がBRDFライブラリ内に存在する類似の材料に対応しないという事実から生じる。
本開示の一実施形態に従うと、図1の口腔内撮像装置90は、3Dの歯表面表現を取得し、そして、色ベクトルの空間分解角度分布を取得し、ここに、色ベクトルの空間分解角度分布は、表面データからの1つ又は複数の点位置を色ベクトルの対応する角度分布に関連付ける。プロセッサ80は、歯表面表現を獲得し、そして、1つ又は複数のシェード値を同定するための処理論理命令によってプログラム化され、ここに、それぞれのシェード値が、色ベクトルの角度分布を色ベクトルの基準角度分布の1つの集合と比較することによって、色ベクトルの空間分解角度分布からの色ベクトルの1つの角度分布と関連付けられる。ここに、集合内のそれぞれの基準角度分布は、対応するシェード値と関連付けられる。ディスプレイ84が、次いで、3Dの歯表面表現を表示し、そして、同定されたシェード値の指示を表示する。
一実施形態と整合して、本発明は、記憶された命令を有するコンピュータプログラムを利用し、当該記憶された命令は、画像取得のためのシステム関数、及び電子式メモリに記憶され、それから呼び出される画像データについての画像データ処理を制御する。画像処理技術における当業者によって理解され得るように、プロセッサが本明細書に記載されているようにデータを取得し、処理し、伝送し、記憶し、及び表示するように動作するのに好適なソフトウェアプログラムを備えているとき、本発明の一実施形態のコンピュータプログラムは、画像プロセッサとして作動するパーソナルコンピュータ又はワークステーション等の好適な多目的計算機システムによって利用されてもよい。多くの別のタイプの計算機システムアーキテクチャが用いられて、例えば、ネットワーク化プロセッサの配列を含む、本発明のコンピュータプログラムを実行してもよい。
本発明の方法を実行するためのコンピュータプログラムは、コンピュータ読取り可能記憶媒体内に記憶されてもよい。この媒体は、例えば、ハードドライブ若しくは取外し可能デバイス等の磁気ディスク又は磁気テープ等の磁気記憶媒体、光ディスク、光学テープ又は機械可読光符号化等の光学記憶媒体、ランダムアクセスメモリ(RAM)又は読出し専用メモリ(ROM)等のソリッドステート電子記憶デバイス、あるいは、コンピュータプログラムを記憶するために用いられるいずれかの別の物理デバイス又は媒体を含んでもよい。本発明の方法を実行するためのコンピュータプログラムは、また、コンピュータ読取り可能記憶媒体に記憶されてもよく、当該コンピュータ読取り可能記憶媒体は、インターネット若しくは別のネットワーク、又は通信媒体を経由して画像プロセッサに接続されている。画像データ処理技術における当業者であれば、かかるコンピュータプログラム製品の同等物が、またハードウェア内に構成されてもよいことを更に容易に認識するであろう。
注記されるのは、本開示に関して「コンピュータアクセス可能なメモリ」と同等である用語「メモリ」が、画像データ上に記憶して動作させるために用いられ、データベースを含む計算機システムにアクセス可能ないずれかのタイプの一時的な又はより永続的なデータ記憶作業領域を指してもよいことである。メモリは、例えば、磁気又は光学記憶装置等の長期記憶媒体を用いて、不揮発性であってもよい。その代替として、メモリは、マイクロプロセッサ又は別の制御論理プロセッサデバイスによって一時的バッファ又は作業領域として用いられるランダムアクセスメモリ(RAM)等の電子回路を用いる、より揮発性のものであってもよい。表示データは、例えば、ディスプレイデバイスと直接に関連付けられ、表示されるデータを提供するために必要に応じて定期的に一新される一時的記憶バッファ内に典型的には記憶される。この一時的記憶バッファは、また、その用語が本開示において用いられるとき、メモリであると考えられてもよい。メモリは、また、計算及び別の処理の中間及び最終結果を実行して記憶するためのデータ作業領域として用いられる。コンピュータアクセス可能メモリは、揮発性、不揮発性、又は揮発性及び不揮発性タイプのハイブリッド結合であってもよい。
本発明のコンピュータプログラム製品は、周知である様々な画像操作アルゴリズム及びプロセスを利用してもよいことが理解される。本発明のコンピュータプログラム製品実施形態は、実装に役に立つ、本明細書で具体的に示されていないか、又は記載されていないアルゴリズム及びプロセスを具現化してもよいことが更に理解されるであろう。かかるアルゴリズム及びプロセスは、画像処理技術の通常知識の範囲内にある従来の実用性を含んでもよい。画像を生成及び別途処理し、又は本発明のコンピュータプログラム製品と協力するための、かかるアルゴリズム及びシステム、並びにハードウェア及び/又はソフトウェアの追加の局面が、本明細書では具体的に示されず、又は説明されず、そして、当該技術分野で公知のかかるアルゴリズム、システム、ハードウェア、構成要素、及び要素から選択されてもよい。
本発明がこれまで詳細に述べられ、好適な又は目下好ましい実施形態を具体的に参照することによって述べられてきたかもしれないけれども、変化及び修正が、本発明の趣旨及び範囲内で作用させられてもよいことが理解されるであろう。目下開示されている実施形態は、そのため、全ての点で例示的で非限定的であるとみなされる。本発明の範囲は、添付クレームによって示され、そして、それの同等物の趣旨及び範囲内にある全ての変化が、その中に包含されることが意図されている。

Claims (23)

  1. 口腔内3Dスキャニングのための方法であって、
    a)口腔内スキャナを用いて3D歯表面表現を獲得するステップであって、前記3D歯表面表現は、表面データ及び色ベクトルの空間分解角度分布を含み、前記色ベクトルの空間分解角度分布は、前記表面データからの1つ又は複数の点位置を色ベクトルの対応する角度分布に関連付ける、ステップと、
    b)1つ又は複数のシェード値を同定するステップであって、それぞれのシェード値は、色ベクトルの角度分布を色ベクトルの基準角度分布の集合と比較することによって、前記色ベクトルの空間分解角度分布からの前記色ベクトルの角度分布と関連付けられ、前記集合内のそれぞれの基準角度分布が、対応するシェード値と関連付けられる、ステップと、
    c)前記1つ又は複数のシェード値の指示を有する前記表面データを表示し、記憶し、又は伝送するステップと、を含む方法。
  2. 前記色ベクトルの空間分解角度分布は、前記歯表面データに対応する色ベクトルの単一角度分布を含む、請求項1に記載の方法。
  3. 前記角度分布は、前記歯表面での入射照明方向、反射光方向、表面法線、及び位置のうちの少なくとも1つを含む、請求項1に記載の方法。
  4. 前記色ベクトルは、赤、緑、及び青の色データ値を含む、請求項1に記載の方法。
  5. 前記色ベクトルは、CIELab色データ値を含む、請求項1に記載の方法。
  6. 前記色ベクトルは、可視波長を網羅する波長を有するスペクトルを含む、請求項1に記載の方法。
  7. 前記色ベクトルの基準角度分布及び関連付けられたシェード値は、歯のシェードタブの集合の測定から取得される、請求項1に記載の方法。
  8. 前記色ベクトルの角度分布は、双方向反射率分布関数値を含む、請求項1に記載の方法。
  9. 前記色ベクトルの角度分布は、空間的に変化する双方向反射率分布関数(BRDF)値を含む、請求項1に記載の方法。
  10. 前記色ベクトルの角度分布は、双方向表面散乱反射率分布関数(BSSRDF)又は双方向散乱分布関数(BSDF)値を含む、請求項1に記載の方法。
  11. 前記3D歯表面表現は、点群、三角形メッシュ、又はスプライン曲面を含む、請求項1に記載の方法。
  12. 前記同定されたシェード値のうちの1つ又は複数は、テキストラベル、色コード化ラベル、又は前記歯表面にわたる前記シェード変動の空間プロファイルである、請求項1に記載の方法。
  13. 前記1つ又は複数のシェード値は、前記歯表面の上部3分の1、中部3分の1、又は下部3分の1のうちの少なくとも1つに対応する、請求項1に記載の方法。
  14. 色ベクトルの少なくとも1つの角度分布のそれぞれを前記色ベクトルの基準角度分布の集合と比較するステップは、2つの色ベクトルの間の色距離を算出するステップを含む、請求項1に記載の方法。
  15. 1つ又は複数のシェード値を同定するステップが、前記3D歯表面表現における全ての歯表面で実行される、請求項1に記載の方法。
  16. 1つ又は複数のシェード値を同定するステップは、前記3D歯表面表現内の選択された領域で実行される、請求項1に記載の方法。
  17. 前記表面データは、データ取得中に獲得されてもよいか、又は改良ステップの部分として生成されてもよい、請求項1に記載の方法。
  18. 前記表面データと前記色ベクトルの空間分解角度分布とは、同じデータ取得から獲得される、請求項1に記載の方法。
  19. 前記表面データと前記色ベクトルの空間分解角度分布とは、別個のデータ取得から獲得される、請求項1に記載の方法。
  20. 反射率標準からスキャン信号を獲得するステップを更に含み、前記スキャン信号は、色ベクトル、又は双方向反射率分布関数(BRDF)構造を提供する、請求項1に記載の方法。
  21. 前記スキャン信号は、前記口腔内スキャナの視野にわたって空間的に分解される、請求項20に記載の方法。
  22. 口腔内3Dスキャニングのための方法であって、
    口腔内スキャナを用いて3D歯表面表現を獲得するステップであって、前記3D歯表面表現は、表面データ、及び色ベクトルの空間分解角度分布を含み、前記色ベクトルの空間分解角度分布は、前記3D歯表面表現における複数の点のそれぞれについて、照明方向、反射光方向、及び表面法線を含む、ステップと、
    前記複数の点のうちの1つ又は複数について、前記対応する色ベクトルの空間分解角度分布に従って、予め定められた色シェードの集合からの色シェードを関連付けるステップと、
    前記関連付けられた色シェードのうちの1つ又は複数についての同定によって前記歯表面表現の少なくとも一部分を表示し、記憶し、又は伝送するステップと、
    を含む方法。
  23. 口腔内撮像装置であって、
    3D歯表面表現を取得し、色ベクトルの空間分解角度分布を取得する画像キャプチャ装置であって、前記色ベクトルの空間分解角度分布は、前記3D歯表面表現からの1つ又は複数の点位置を色ベクトルの対応する角度分布に関連付ける、画像キャプチャ装置と、
    前記歯表面表現を獲得し、1つ又は複数のシェード値を同定するために論理命令を処理することによってプログラム化されるプロセッサであって、それぞれのシェード値は、色ベクトルの角度分布を色ベクトルの基準角度分布の集合と比較することによって、前記色ベクトルの空間分解角度分布からの前記色ベクトルの1つの角度分布と関連付けられ、前記集合内のそれぞれの基準角度分布は、対応するシェード値と関連付けられる、プロセッサと、
    前記3D歯表面表現を表示し、前記同定されたシェード値の指示を表示するディスプレイと、を備える口腔内撮像装置。
JP2020564545A 2018-05-18 2019-05-17 角度ベースシェードマッチングを有する歯の3dスキャナ Active JP7312770B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862673390P 2018-05-18 2018-05-18
US62/673,390 2018-05-18
PCT/IB2019/000682 WO2019220212A2 (en) 2018-05-18 2019-05-17 Dental 3d scanner with angular-based shade matching

Publications (2)

Publication Number Publication Date
JP2021524309A true JP2021524309A (ja) 2021-09-13
JP7312770B2 JP7312770B2 (ja) 2023-07-21

Family

ID=68208319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020564545A Active JP7312770B2 (ja) 2018-05-18 2019-05-17 角度ベースシェードマッチングを有する歯の3dスキャナ

Country Status (9)

Country Link
US (1) US11624655B2 (ja)
EP (1) EP3794556B1 (ja)
JP (1) JP7312770B2 (ja)
KR (1) KR20210011966A (ja)
CN (1) CN112912933A (ja)
DK (1) DK3794556T3 (ja)
ES (1) ES2943138T3 (ja)
PL (1) PL3794556T3 (ja)
WO (1) WO2019220212A2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102287472B1 (ko) * 2018-10-08 2021-08-09 한국과학기술원 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치
DE102020003856A1 (de) * 2020-06-26 2021-12-30 Jan-Frederik Güth Verfahren zur digitalen Erfassung einer intraoralen Struktur, sowie Farbreferenzvorlage und System zur Durchführung des Verfahrens
KR102463389B1 (ko) * 2020-08-06 2022-11-07 주식회사 메디트 다각도 스캐닝을 사용한 신뢰도 데이터 획득 시스템 및 방법
TWI816197B (zh) * 2021-10-15 2023-09-21 財團法人印刷創新科技研究發展中心 利用樣本頻譜母色溯源之方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005111266A (ja) * 2003-10-03 2005-04-28 Ivoclar Vivadent Ag 歯色調走査システム並びに走査方法
JP2006277748A (ja) * 2005-03-29 2006-10-12 Mitsubishi Electric Research Laboratories Inc コンピュータにより実施される、顔の皮膚反射モデルを生成する方法
JP2007219715A (ja) * 2006-02-15 2007-08-30 Dainippon Printing Co Ltd 物体の反射特性データの作成方法および作成装置
JP2011170891A (ja) * 2000-08-30 2011-09-01 Microsoft Corp 顔画像処理方法およびシステム
US20170165038A1 (en) * 2014-02-07 2017-06-15 3Shape A/S Detecting tooth shade
JP2017538455A (ja) * 2014-10-03 2017-12-28 スリーエム イノベイティブ プロパティズ カンパニー 入射光の散乱を管理する方法、及びそれにより形成される物品
US20180047208A1 (en) * 2016-08-15 2018-02-15 Aquifi, Inc. System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020021439A1 (en) * 2000-08-07 2002-02-21 Derek Priestley Colour matching system
US20050196039A1 (en) * 2004-03-02 2005-09-08 Wolfgang Bengel Method for color determination using a digital camera
US20060105179A1 (en) * 2004-11-17 2006-05-18 Hofman Gerald R A Elastomeric dental article with a protective fluoropolymer layer
US8345252B2 (en) * 2005-04-25 2013-01-01 X-Rite, Inc. Method and system for enhanced formulation and visualization rendering
US8310483B2 (en) * 2007-11-20 2012-11-13 Dreamworks Animation Llc Tinting a surface to simulate a visual effect in a computer generated scene
US8570530B2 (en) * 2009-06-03 2013-10-29 Carestream Health, Inc. Apparatus for dental surface shape and shade imaging
JP5591017B2 (ja) * 2010-08-09 2014-09-17 キヤノン株式会社 画像処理装置および画像処理方法
KR101893793B1 (ko) * 2011-05-17 2018-10-04 삼성전자주식회사 컴퓨터 그래픽 영상의 실감도 증강을 위한 장치 및 방법
US9349182B2 (en) 2011-11-10 2016-05-24 Carestream Health, Inc. 3D intraoral measurements using optical multiline method
US9295532B2 (en) 2011-11-10 2016-03-29 Carestream Health, Inc. 3D intraoral measurements using optical multiline method
JP5576993B2 (ja) * 2012-05-30 2014-08-20 パナソニック株式会社 画像計測装置、画像計測方法及び画像計測システム
US9266287B2 (en) * 2013-09-18 2016-02-23 Disney Enterprises, Inc. 3D printing with custom surface reflectance
US10347031B2 (en) * 2015-03-09 2019-07-09 Carestream Dental Technology Topco Limited Apparatus and method of texture mapping for dental 3D scanner
JP6604744B2 (ja) * 2015-05-03 2019-11-13 キヤノン株式会社 画像処理装置、画像処理方法、画像形成システム及びプログラム
JP6624939B2 (ja) * 2016-01-14 2019-12-25 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
PL3578131T3 (pl) * 2016-07-27 2021-06-28 Align Technology, Inc. Skaner wewnątrzustny z możliwościami diagnostyki stomatologicznej

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170891A (ja) * 2000-08-30 2011-09-01 Microsoft Corp 顔画像処理方法およびシステム
JP2005111266A (ja) * 2003-10-03 2005-04-28 Ivoclar Vivadent Ag 歯色調走査システム並びに走査方法
JP2006277748A (ja) * 2005-03-29 2006-10-12 Mitsubishi Electric Research Laboratories Inc コンピュータにより実施される、顔の皮膚反射モデルを生成する方法
JP2007219715A (ja) * 2006-02-15 2007-08-30 Dainippon Printing Co Ltd 物体の反射特性データの作成方法および作成装置
US20170165038A1 (en) * 2014-02-07 2017-06-15 3Shape A/S Detecting tooth shade
JP2017538455A (ja) * 2014-10-03 2017-12-28 スリーエム イノベイティブ プロパティズ カンパニー 入射光の散乱を管理する方法、及びそれにより形成される物品
US20180047208A1 (en) * 2016-08-15 2018-02-15 Aquifi, Inc. System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function

Also Published As

Publication number Publication date
ES2943138T3 (es) 2023-06-09
US11624655B2 (en) 2023-04-11
DK3794556T3 (da) 2023-04-24
WO2019220212A2 (en) 2019-11-21
KR20210011966A (ko) 2021-02-02
EP3794556A2 (en) 2021-03-24
US20210215539A1 (en) 2021-07-15
WO2019220212A3 (en) 2020-01-09
EP3794556B1 (en) 2023-02-22
PL3794556T3 (pl) 2023-06-12
JP7312770B2 (ja) 2023-07-21
CN112912933A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
JP7312770B2 (ja) 角度ベースシェードマッチングを有する歯の3dスキャナ
US20220110729A1 (en) Dental shade matching for multiple anatomical regions
US11723759B2 (en) Detecting tooth shade
JP7386215B2 (ja) 歯列メッシュ矯正具除去のための方法および装置
US8532355B2 (en) Lighting compensated dynamic texture mapping of 3-D models
US11961238B2 (en) Tooth segmentation using tooth registration
EP3022525A1 (en) Method of capturing three-dimensional (3d) information on a structure
JP2007516745A (ja) 歯科用画像内での歯の位置決め
US11094085B2 (en) System comprising a color selection aid and a method for determining tooth colors
CN113039587B (zh) 使用口内扫描仪获取3d数据的混合方法
US20230298270A1 (en) Method and device for acquiring three-dimensional data, and computer-readable storage medium storing program for performing method
Furtner Comparing the Accuracy of Close-Range Photogrammetry to microCT Scanning via Surface Deviation Analysis of 3D Digital Models of Hominin Molars
Matsopoulos et al. Image registration based on lifting process: an application to digital subtraction radiography

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220415

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20230215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230710

R150 Certificate of patent or registration of utility model

Ref document number: 7312770

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350