JP2020524031A - 2次元全体画像を生成するための方法 - Google Patents

2次元全体画像を生成するための方法 Download PDF

Info

Publication number
JP2020524031A
JP2020524031A JP2019569894A JP2019569894A JP2020524031A JP 2020524031 A JP2020524031 A JP 2020524031A JP 2019569894 A JP2019569894 A JP 2019569894A JP 2019569894 A JP2019569894 A JP 2019569894A JP 2020524031 A JP2020524031 A JP 2020524031A
Authority
JP
Japan
Prior art keywords
image
individual
individual image
plane
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019569894A
Other languages
English (en)
Other versions
JP7203051B2 (ja
Inventor
アダムソン,アンダース
エルバッハー,マルクス
ハウス,ステファン
ボス,ビョルン
Original Assignee
シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング filed Critical シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング
Publication of JP2020524031A publication Critical patent/JP2020524031A/ja
Application granted granted Critical
Publication of JP7203051B2 publication Critical patent/JP7203051B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

本発明は、複数の個別画像により撮影されている記録領域の2次元全体画像を生成する方法に関するものであり、各個別画像は、個別画像固有のビューイング方向および個別画像固有の距離を有し、それぞれのさらなる個別画像の主画像平面に対する各個別画像の主画像平面の空間配向は、撮影されているそれぞれのサブ領域の重なり合いに基づいて決定され、少なくとも複数の個別画像は、空間配向に従って組み合わされて全体画像を形成する。全体画像エリアは、トーラスの表面である。【選択図】図4A

Description

本発明は、複数の個別画像により撮影される記録領域の2次元全体画像を生成する方法に関するものであり、各個別画像は、記録領域のサブ領域を当該個別画像固有のビューイング方向およびサブ領域までの当該個別画像固有の距離から撮影し、少なくとも複数の個別画像は、互いに対して決定されるそれぞれの空間配向に従って組み合わされて全体画像を形成する。
被写体または記録領域全体がカメラの測定視野よりもはるかに大きい場合でも、被写体または記録領域全体の撮影を、カメラを援用して可能にする様々な方法が最先端技術から知られている。方法は、複数の個別画像を1つの全体画像に融合させることに基づく。
デジタルカメラの一般のパノラマ機能は、これの例である。パノラマモードでは、生成した複数の個別画像は通常、球面に投影されて、これらの個別画像を融合させて1つの全体画像とする。これは、カメラを基本的に、個別画像が撮影されているときにのみ回転させるが、被写体サイズまたは記録領域のサイズに関連する3次元カメラの位置がわずかにしか変化しないと仮定することができるので可能である。
本発明の目的は、最先端技術をさらに発展させることにある。目的は、具体的には、全体画像を個別画像から生成する別の方法を提供することにあり、これにより、被写体/記録領域に対するカメラの並進移動にもかかわらず、高い記録品質を有する全体画像を確実に生成することができる。
2次元全体画像の歪みをさらに低減する必要もある。
本発明の1つの主題は、複数の個別画像により撮影される記録領域の2次元全体画像を生成するための方法であり、各個別画像は、記録領域のサブ領域を、個別画像固有のビューイング方向およびサブ領域までの個別画像固有の距離から撮影し、各個別画像は、少なくとも1つのカラー値および/または少なくとも1つのグレー値および/または少なくとも1つの高さ値を有する複数の画素を含み、各個別画像内に撮影されているそれぞれのサブ領域は、少なくとも1つのそれぞれのさらなる個別画像内の少なくとも1つのサブ領域と重なり合う。それぞれのさらなる個別画像の主画像平面に対する各個別画像の主画像平面の空間配向は、それぞれ撮影されているサブ領域の重なり合いに基づいて決定され、少なくとも複数の個別画像は、それぞれの決定された空間配向に従って互いに組み合わされて、全体画像を形成する。
さらなる個別画像の主画像平面に対する各個別画像の主画像平面の空間配向は、品質値を最適化することにより決定され、個別画像の主画像平面内の少なくとも1つの第1画素に対する第1の相対的な空間配向に関して、第1の配向に対応する画素は、さらなる個別画像の主画像平面内に決定され、個別画像の画素およびさらなる画像の対応する画素のそれぞれのカラー値および/またはグレー値に関する比較値が作成され、品質値が、少なくとも1つの比較値から作成され、品質値は、さらなる個別画像の主画像平面に対する個別画像の主画像平面の相対的な空間配向を変えることにより、指定された目標値に少なくとも近似される。
個別画像は、記録ユニットにより記録され、記録ユニットは、記録対象の被写体または領域に対して移動させることができる。個別画像を生成する場合の記録対象の領域または被写体に対する記録ユニットの位置に従って、個別画像は、サブ領域をここではビューイング方向と表記される特定の空間配向から、記録ユニットとサブ領域との間の特定の距離に対応して撮影したものである。
個別画像の全てを融合させて全体画像を形成すること、または全体画像が生成した個別画像の選択した部分から選択的に作成されることは言うまでもない。
それぞれの2次元画像に関連する3次元空間内の平面は、主画像平面、例えば個別画像内の決定された最も鋭利な平面、または個別画像を撮影するために使用されるカメラの公称焦点距離に対応する公称焦点平面としてそれぞれ指定される。
相対的な空間配向は、第2の個別画像に対する3次元空間内の第1の個別画像の主画像平面の位置または配向を指定する。共通座標系への変換、または他方の個別画像への1つの個別画像の投影、または他方の個別画像の主画像平面への投影は、当該配向に基づいて行うことができる。
各場合において、2つの個別画像の間の相対的配向を見つけ出すための最適化手順の開始点は、第1の個別画像とさらなる個別画像との間の第1の相対的な空間配向である。例えば、配向される2つの個別画像の主画像平面の同一性は、第1の配向として仮定される。
最適化手順中の相対的な空間配向の変化が制限されない、すなわち当該変化が6自由度を含むことは言うまでもない。
また、各相対的な空間配向に関して、個別画像の主画像平面内の全ての点が有利に決定され、これらの点に対して、相対的な空間配向に対応する画素がさらなる個別画像の主画像平面内に存在することは言うまでもない。さらに、比較値が、個別画像の画素、およびさらなる画像の対応する画素からなる各ペアに関して有利に計算され、計算された全ての比較値は、品質値に関する基準として使用される。
最適化手順において仮定される相対的な空間配向が、主画像平面の実際の空間配向に互いに対応する場合、画素および対応する画素はそれぞれ、撮影対象の被写体/領域の同じ領域を描写しているか、または撮影した領域を有しており、画素および対応する画素の値は、同じであるか、または互いにわずかしか異ならない。
最適化手順の進行は、目標値との比較によりチェックされる。目標値は、例えば指定した値が達するリミット値である、または指定した値が達するリミット値とは異なる。
本発明による方法の1つの利点は、個別画像の間の配向が、画像内に特定されるマーカまたは構造のようなさらなる支援を伴わず、不変に並進移動するカメラ位置のようなさらなる仮定/近似をともなわずに決定されることである。最適化手順または品質値は、画像データ自体、すなわち個別画像の画素値のみに基づいている。これにより、同じ被写体領域を撮影する画素の画素値は、画素値がカラー値またはグレー値を表わしているかどうかに関係なく、同様であるか、または同じでさえもある。
少なくとも1つの画素ペアは、個別画像およびさらなる個別画像、またはさらなる個別画像を含む中間画像を全体画像エリアに投影することにより決定され、投影は、当該相対的な空間配向および全体画像エリアに対する個別画像またはさらなる個別画像の相対的な空間配向に基づいて行われる。全体画像エリアは、トーラスの表面である。
本発明による方法を使用して、2次元全体画像を特に高い解像度で生成することが可能となる。特に、本発明による2D全体画像の解像度は、例えば口腔内カメラにより生成される3次元全体画像を投影することにより生成される2次元全体画像の解像度よりも著しく良好である。
2次元全体画像の歪みもさらに小さくなる。
有利なことに、それぞれの個別画像は、カメラのカラー画像またはカメラのグレースケール画像もしくは質感を有する3次元画像である。質感は通常、表面品質の画像を指している。
個別画像の画素、およびさらなる個別画像の対応する画素からなる少なくとも1つの画素ペアは、個別画像をさらなる個別画像の主画像平面に投影することにより、またはさらなる個別画像を個別画像の主画像平面に投影することにより決定されることができ、これにより、投影は、相対的な空間配向に従って行われる。
画素ペアは、個別画像を、さらなる個別画像を含む中間画像の画像平面に投影することにより、またはさらなる個別画像を含む中間画像を個別画像の主画像平面に投影することにより、選択的に決定される。
相対的な空間配向に対応する投影または変換を使用して、画像は、共通画像平面または共通画像表面に変換される。投影または変換の結果として、個別画像およびさらなる個別画像の画素が一致し、これにより、一致する画素または互いの上に撮像される画素が、それぞれの画素ペアを形成する。
上述の代替例の全てに関して、投影とは、投影変換を指している。
全体画像は、個別画像を、さらなる個別画像を少なくとも含む中間画像に追加することにより漸増的に形成され、追加の前に、個別画像は、中間画像の画像平面に投影されるか、または追加の前に、中間画像が個別画像の主画像平面に投影される。
代替的に、全体画像平面が定義され、個別画像の全てが、追加の前に、全体画像平面に投影される。したがって、中間画像の画像平面は、全体画像平面内にある、または全体画像平面に一致する。
有利なことに、空間内の固定点が個別画像ごとに決定され、固定点のほとんどを少なくとも含む経路が空間内で計算され、経路上の固定点に属する個別画像が選択され、全体画像が、選択された個別画像から計算される。
経路を使用して、全体画像に寄与するように意図される個別画像の選択を行う。例えば、画像の残りの画像から遠く離れすぎたカメラ位置から記録される個別画像、および/またはカメラの後方移動の後に、または後方移動中に記録される個別画像は破棄される。
個別画像に関する固定点は、個別画像を撮影するときのカメラの位置に対応する、または記録用カメラのセンサ中心に描写される、もしくは主画像平面内の個別画像の画像中心に描写される主画像平面内の個別画像の画素に有利に対応する。
経路は、2つのそれぞれの固定点の間の距離に基づいて、および固定点に属する個別画像の間の方向ベクトルに基づいて決定されるので有利である。
代替的に、グローバル登録カードを作成する、すなわち全ての個別画像を全ての他の個別画像と位置合わせする試みが行われ、成功すると、個別画像の間の相対的な空間配向および/または距離が、登録カードに記載される。その後、記載された配向または距離を使用して、第1の個別画像から最後の個別画像に至る最短経路が探索され、経路の外側の画像が破棄される。代替的に、グローバル登録カードを使用してスパニングツリーを決定し、その後、個別分岐が破棄される。
有利なことに、個別画像の主画像平面内の画像中心は、使用される個別画像ごとに決定されて全体画像を形成し、これにより、個別画像の画像中心は、パラメータ化曲線により収束するようになり、融合させて全体画像を形成する前に、各個別画像は、第1および第2の切断エッジに沿ってトリミングされ、これにより、第1および第2の切断エッジが主画像平面の内部を、曲線と直交してそれぞれ延在するようになる。
個別画像をトリミングすることにより、これらの個別画像を融合させて全体画像を形成するときの個別画像の不必要な重なり合いを回避する、または不所望な重なり合いさえも回避することが特に可能となる。重なり合いが、2つの個別画像の間の相対的な空間配向を決定するために必要である場合でさえも、重なり合いは、画像を融合させるときの全体画像の品質に悪影響を及ぼし得るのであり、個別画像を適切にトリミングすることにより回避される。
画像中心は、記録用カメラのセンサ中心に描写されるか、または主画像平面内の個別画像の幾何学的重心に描写される主画像平面内の個別画像の画素に有利に対応する。
有利なことに、第1の切断エッジおよび第2の切断エッジはそれぞれ、個別画像の画像中心までの距離にあり、距離は、画像中心から曲線上の前の画像中心または次の画像中心までの距離の40%〜60%である。
第1の代替実施形態によれば、切断エッジは、隣接する個別画像が、厳密に切断エッジに沿って互いに当接するように、または隣接する個別画像の切断エッジが一致するように選択される。第2の代替実施形態では、切断エッジは、個別画像が、切断エッジに隣接する領域内で重なり合うように選択される。
個別画像をトリミングする前に、少なくとも1つの画像中心を、曲線に沿って新規位置に移動させるか、または画像平面内の曲線に平行に新規位置に移動させるので有利である。画像中心を移動させることにより、画像中心に対して決定される切断エッジもそれに応じて移動させる。移動させることにより、曲線に沿って隣接する画像中心の間の距離の差を均等化し、全体画像の品質を向上させることが可能となる。
有利なことに、個別画像のうち1つの個別画像内に撮影されている各第1のサブ領域は、さらなる個別画像のうち1つのさらなる個別画像内に撮影されている少なくとも1つのさらなるサブ領域と、第1のサブ領域の少なくとも30%または少なくとも40%または少なくとも50%だけ重なり合う。重なり合いがより大きくなると、すなわち撮影されているそれぞれのサブ領域の重なり合いの割合がより大きくなると、相対的な空間配向をより確実に、より正確に決定することができる。
切断エッジに隣接する各個別画像のサブ領域は、隣接する個別画像のサブ領域とクロスフェードするので有利である。サブ領域は、切断エッジと直交する方向に直線的にクロスフェードすることが好ましい。
個別画像は、有利なことに、2D口腔内カメラまたは3D口腔内カメラにより撮影されるので有利である。
本発明の設計例が図面に示されている。
第1の実施形態による手順を示す。 本発明による設計に基づいて決定される経路を示す。 1つのさらなる発展による個別画像の切断エッジの決定を示す。 図4A、図4Bは、本発明による投影を説明する略図を示す。
本発明による方法の第1の実施形態による方法ステップを図1に模式的に示している。
この設計例では、下顎が口腔内カメラ2を援用して記録領域1として撮影される。この目的のために、カメラ2は、下顎1の上を記録時間区間t=0〜t=tmaxの間に移動し、この記録時間区間では、i=1...Nとする場合に、記録領域1のサブ領域3が連続的に個別画像Bi内に撮影される。
各個別画像Biは、n×m行列の画素を含み、これにより、各画素はグレー値を有するようになる。代替実施形態によれば、全ての画素が、カラー値または複数のカラー値もしくは高さ値を有する。
記録領域1の2次元全体画像Bgesを複数の個別画像Bjに基づいて生成するために、少なくとも1つのさらなる個別画像Bjに対する相対的な空間配向が、個別画像Biごとに決定され、これにより、個別画像Biおよびさらなる個別画像Bjは同一ではないが、個別画像Bi内に撮影されているサブ領域3は、さらなる個別画像Bj内に撮影されているサブ領域3’と少なくとも重なり合う。2つの個別画像BiおよびBjは、例えば時間的に連続して撮影される2つの画像である。
互いに対する2つの個別画像BiおよびBjの相対的配向は、最適化手順により決定される。最も鋭利な平面は、個別画像BiおよびBjの各個別画像に関する2つの主画像平面HiおよびHjとして仮定され、2つの主画像平面のHiおよびHjの第1の相対的な空間配向が仮定される。
第1の個別画像Biは、この第1の空間配向に従ってさらなる個別画像Bjの上に投影される。投影は、逆さまであるが同じ方法で行われ得る。投影は、第1の個別画像Biの画素を主画像平面Hiからさらなる個別画像Bjの主画像平面Hjに変換Tijすることにより行われ、これにより、第1の個別画像Biの画素の一部分に少なくとも対応する画素が、さらなる個別画像Bj内に決定される。関連するグレー値の差は、第1の個別画像Biおよびさらなる個別画像Bjの対応画素ペアごとに計算され、品質値は、前記差に基づいて作成される。
撮影対象の領域または被写体の同じ箇所を撮影した個別画像Bjおよびさらなる個別画像Bjのこのような画素は、撮影値に一致する、または撮影値とは、ほんのわずかだけ少なくとも異なっているので、計算による差がより小さくなると、2つの個別画像BiおよびBjの主画像平面HiとHjとの間で仮定される配向は、1個の画像BiおよびBjの実際の配向に一致するようになる。このように、計算による差を最小化することにより、または品質値をそれに応じて最適化することにより、仮定される配向を実際の配向に近似させることができる。
したがって、品質値は、第1の個別画像Biおよびさらなる個別画像Bjの相対的な空間配向を互いに対して変えることにより最適化される、および/または指定した目標値に近似される。目標値自体は、最適化手順の終了条件として機能することができる。
最適化手順の開始点は、第1の個別画像Biとさらなる個別画像Bjとの第1の相対的な空間配向である、例えば相対的な空間配向を、他方の主画像平面HjもしくはHiに対する1つの主画像平面HiもしくはHjの相対的変位量および/または相対的回転量だけ漸増的に変化させる。空間配向を変化させるたびに、1つの個別画像BiまたはBjが、他方の個別画像BjまたはBiの上に再び投影され、2つの個別画像BiおよびBjの対応画素の画素ペアに関して、グレー値の差が計算され、品質値が作成される。
最適化手順を使用して、さらなる個別画像Bjに対する、またはさらなる個別画像Bjを含む中間画像に対する少なくとも1つの相対的な空間配向が、個別画像Biごとに決定される。
全体画像Bgesは、決定された相対的な空間配向を使用して組み立てられる。例えば、第1の個別画像B1を第2の個別画像B2の主画像平面に投影し、2つの個別画像B1およびB2を融合させて第1の中間画像を形成し、次に第1の中間画像を第3の個別画像B3の主画像平面に投影し、第1の中間画像および第3の個別画像を融合させて第2の中間画像を形成するなどである。
撮影した第1の個別画像または最後の個別画像もしくは別の最適な時刻に撮影した個別画像は、例えば第1の個別画像B1として選択される。あるいは、記録領域1の第1または第2のエッジを撮影した個別画像、または記録領域1の中心サブ領域3を撮影した個別画像は、第1の個別画像として選択される。記録領域1の中心サブ領域3を撮影した個別画像を選択することにより、歪みを小さくすることができるか、または防止することができる。
さらなる変形例によれば、個別画像の全てが、全体画像Bgesに使用されるのではなく、代わりに選択が行われる、または個別画像Biの一部が破棄される。この目的のために、経路4が図2に模式的に示されるように計算される。固定点Fiが経路の開始点を形成し、これにより、固定点Fiが個別画像Biごとに計算される。第1の実施形態によれば、個別画像Biごとに、固定点Fiは、個別画像Biをカメラ位置から撮影した3次元カメラの位置をそれぞれ表わしている。各場合において、カメラ位置は、個別画像Biおよび関連する主画像平面Hiの特定の相対的な空間配向に基づいて決定される。
次に、経路4は、第1の固定点F1から最後の固定点FNに至る接続線として決定され、i=2...N−1とした場合のさらなる固定点Fiに対する異常値または後方移動量が破棄される。
経路4は、例えばコスト関数が、第1の固定点Fiからさらなる固定点に至る各接続についてセットアップされる場合のコスト関数を使用して決定される。例えば、コスト関数は、第1の固定点Fiとさらなる固定点Fjとの間の距離、および第1の固定点Fiに属する第1の個別画像Biの主画像平面Hiと、さらなる固定点Fjに属するさらなる個別画像Bjの主画像平面Hjとの間の方向ベクトルの両方を考慮に入れる。例えば、1つの個別画像Biの主画像平面Hiをさらなる個別画像Hjの主画像平面Hjに投影する並進移動成分が、方向ベクトルとして機能する。
コスト関数に基づいて決定される経路4は通常、第1の固定点F1と最後の固定点FNとの間の固定点Fiのほとんどを通過するものであり、これにより、大きく外れた固定点Fi、または非常に少なくなった固定点Fiを経路4が通過することはない。
次に、全体画像は個別画像Biによってのみ構成され、個別画像Biの固定点Fiを経路4が通過する。個別画像Bi、経路4が通過しない個別画像Biの固定点Fiが破棄される。
さらなる実施形態によれば、全体画像Bgesに使用される個別画像Biは、融合前にトリミングされる、すなわち各個別画像Biの一部分または分割部分のみが全体画像Bgesに使用される。この目的のために、図3に模式的に示されるように、2つの切断エッジS1iおよびS2iが個別画像Biごとに決定される。全体画像Bgesに使用される個別画像Biの全てに関して、基準画素Pi、例えばそれぞれの画像中心が決定される。基準画素Piは、それぞれの主画像平面Hiの特定の相対的な空間配向に基づいて共通座標系に変換され、共通座標系において、所定の基本形状、例えば、放物線もしくは双曲線または円形を有する曲線5によって近似される。例えば、図3に概説したように、手順は、第1のパラメータセットを有する曲線5’で始まる。基準画素までの距離は、パラメータセットのパラメータを変えることにより最小化される。最小化の結果が、曲線5である。
切断エッジS1iおよびS2iは、曲線5に基づいて、曲線5と直交して延在する直線として決定される。基準画素Piが常に、それぞれの個別画像Biの中心点である場合、切断エッジS1iまたはS2iは、当該切断エッジが、2つの隣接する個別画像BiおよびBi+1の基準画素Piまで等距離にある曲線上の点を通過するように選択される。
さらなる変形例によれば、曲線5上の基準画素Piの位置、または互いの画素までの基準画素Piの距離は、切断エッジS1iおよびS2iの決定の前にチェックされ、必要に応じて、個別基準画素Piをシフトさせて、曲線に沿った連続する基準画素Piの全ての基準画素の間で可能な限り均等な距離として取得する。図3は、基準画素P5’に向かってシフトさせた基準画素P5に関するこれの例を示している。互いに近すぎる基準画素Piの間の距離は、曲線5に沿った2つの基準画素Piの少なくとも一方を移動させることにより人為的に増加させる。次に、切断エッジS1iおよびS2iは、基準画素Piの新規位置を考慮に入れて計算される。
切断エッジS1iおよびS2iは、隣接するそれぞれの個別画像BiおよびBi+1の切断エッジが互いに一致するか、または互いに隣接するように選択される。代替的に、切断エッジS1iおよびS2iは、それぞれの隣接する個別画像BiおよびBi+1が指定した幅のオーバーラップを有するように選択され、これにより、これらの個別画像を融合させるときに、2つの個別画像BiおよびBi+1を、特に、直線的に、オーバーラップ領域においてクロスフェードさせることが有利であり、すなわち、個別画像の画素の値は、個別画像を融合させて全体画像を形成する前に、それぞれの切断エッジと直交する方向のオーバーラップ領域の増分だけ小さくなる。
3次元空間のトーラスへの投影と球体への投影との間の差は、図4Aおよび図4Bの略図を援用して説明される。3次元空間のトーラスは、r<Rとした場合の半径Rを有する円形曲線から一定距離rを有する点の集合である。3次元空間内の球体は、中心点から一定距離Rを有する点の集合である。
トーラスは図4Aに見ることができ、球体は図4Bに見ることができ、上方から見たときの上側部分、および前面から見たときの下側部分である。厳密に言うと、半径Rおよび半球を有する円形曲線と直交する分割平面により形成されるのが、トーラスの一方の半分である。
3つの画像A1、A2、およびA3は、略図である。画像A2およびA3では、球体とトーラスとの間に、投影の差があることが分かり、これにより、画像は、トーラスの場合よりも球体の場合により大きく歪む。
トーラスの半径Rを有する円形曲線は、画像の経路4により決定され、経路4がトーラスの外郭にもなる。r<Rである場合のトーラスの距離は同様に、画像から決定され得る、または指定され得る。このように、トーラスは、記録の終了時にのみ完全に定義される。
1 記録領域
2 カメラ
3 記録領域のサブ領域
4 経路
5 曲線
5’ 曲線
A1 画像1
A2 画像2
A3 画像3
B 個別画像
Bges 2次元全体画像
Fi 固定点
Hi 主画像平面
Pi 基準画素
R トーラスまたは 球体の円形曲線の半径
r 円形曲線までの距離
T 変換

Claims (15)

  1. 複数の個別画像により撮影される記録領域の2次元全体画像を生成するための方法であって、
    −各個別画像は、前記記録領域のサブ領域を、前記個別画像固有のビューイング方向、および前記サブ領域までの前記個別画像固有の距離から撮影し、
    −各個別画像は、少なくとも1つのカラー値および/または少なくとも1つのグレー値を有する複数の画素を含み、
    −各個別画像内に撮影される前記それぞれのサブ領域は、少なくとも1つのそれぞれのさらなる個別画像の少なくとも1つのサブ領域と重なり合い、
    −前記それぞれのさらなる個別画像の主画像平面に対する各個別画像の主画像平面の空間配向は、前記それぞれ撮影されたサブ領域の前記重なり合いに基づいて決定され、
    −少なくとも複数の前記個別画像は、前記それぞれの決定された空間配向に従って互いに組み合わされて、前記全体画像を形成し、
    −前記さらなる個別画像の前記主画像平面に対する各個別画像の前記主画像平面の前記空間配向は、品質値を最適化することにより決定され、
    −前記個別画像の前記主画像平面の少なくとも1つの第1画素に対する第1の相対的な空間配向に関して、前記配向に対応する画素が、前記さらなる個別画像の前記主画像平面内で決定され、
    −前記個別画像の前記画素および前記さらなる画像の前記対応する画素の前記それぞれのカラー値および/またはグレー値に関する比較値が作成され、
    −前記品質値は、前記少なくとも1つの比較値から作成され、
    −前記品質値は、前記さらなる個別画像の前記主画像平面に対する前記個別画像の前記主画像平面の前記相対的な空間配向を変えることにより、指定された目標値に少なくとも近似され、
    −前記個別画像の画素、および前記さらなる個別画像の対応する画素からなる少なくとも1つの画素ペアは、前記個別画像および前記さらなる個別画像、または前記さらなる個別画像を含む中間画像を、予め決定された全体画像エリアに投影することにより決定され、前記投影は、前記相対的な空間配向、および前記全体画像エリアに対する前記個別画像または前記さらなる個別画像の相対的な空間配向に基づいて行われ、
    −前記全体画像エリアは、トーラスの表面であることを特徴とする、方法。
  2. 前記それぞれの個別画像は、カメラのカラー画像であるか、またはカメラのグレースケール画像であるか、または質感を有する3次元画像であることを特徴とする、請求項1に記載の方法。
  3. 前記全体画像は、前記個別画像を、前記さらなる個別画像を少なくとも含む中間画像に追加することにより漸増的に形成され、前記追加の前に、前記個別画像が前記中間画像の画像平面に投影されるか、または前記追加の前に、前記中間画像が前記個別画像の前記主画像平面に投影されることを特徴とする、請求項1〜2のいずれか一項に記載の方法。
  4. 前記全体画像は、前記さらなる個別画像を少なくとも含む中間画像に、前記個別画像を追加することにより漸増的に形成され、全体画像エリアが定義され、前記個別画像の全てが、前記追加の前に、前記全体画像エリアに投影されることを特徴とする、請求項1〜2のいずれか一項に記載の方法。
  5. −各個別画像に関して、前記空間内の固定点が決定され、
    −前記固定点のうちのほとんどを少なくとも含む経路が前記空間内で計算され、
    −前記経路上の固定点に属する個別画像が選択され、
    −前記全体画像が、前記選択された個別画像から計算されることを特徴とする、請求項1〜4のいずれか一項に記載の方法。
  6. 個別画像に関する前記固定点は、前記個別画像を撮影するときのカメラの位置に対応するか、または記録用カメラのセンサ中心もしくは前記主画像平面内の前記個別画像の画像中心に描写される前記主画像平面内の前記個別画像の画素に対応することを特徴とする、請求項5に記載の方法。
  7. 前記経路は、2つのそれぞれの固定点の間の距離に基づいて、および前記固定点に属する前記個別画像の間の方向ベクトルに基づいて決定されることを特徴とする、請求項5または6に記載の方法。
  8. 前記個別画像の前記主画像平面内の画像中心は、使用される個別画像ごとに決定されて、前記全体画像を形成し、前記個別画像の前記画像中心は、パラメータ化曲線により収束し、融合させて前記全体画像を形成する前に、各個別画像は、第1および第2の切断エッジに沿ってトリミングされ、前記第1および第2の切断エッジは、前記主画像平面の内部を、前記曲線と直交してそれぞれ延在していることを特徴とする、請求項1〜7のいずれか一項に記載の方法。
  9. 前記画像中心は、記録用カメラのセンサ中心または前記主画像平面内の前記個別画像の幾何学的重心に描写される前記主画像平面内の前記個別画像の画素に対応することを特徴とする、請求項8に記載の方法。
  10. 前記第1の切断エッジおよび前記第2の切断エッジはそれぞれ、前記個別画像の前記画像中心までのある距離にあり、前記距離は、前記画像中心から前記曲線上の前の画像中心または次の画像中心までの距離の40%〜60%であることを特徴とする、請求項8または9のいずれか一項に記載の方法。
  11. 前記個別画像をトリミングする前に、少なくとも1つの画像中心を、前記曲線に沿って新規位置に移動させるか、または前記画像平面内の前記曲線に平行に新規位置に移動させることを特徴とする、請求項8〜10のいずれか一項に記載の方法。
  12. 前記個別画像のうち1つの個別画像内に撮影されている各第1のサブ領域は、前記さらなる個別画像のうち1つのさらなる個別画像内に撮影されている少なくとも1つのさらなるサブ領域と、前記第1のサブ領域の少なくとも30%または少なくとも40%または少なくとも50%だけ重なり合うことを特徴とする、請求項1〜11のいずれか一項に記載の方法。
  13. 切断エッジに隣接する各個別画像のサブ領域を、隣接する個別画像のサブ領域とクロスフェードさせることを特徴とする、請求項1〜12のいずれか一項に記載の方法。
  14. 前記サブ領域は、前記切断エッジと直交する方向に直線的にクロスフェードすることを特徴とする、請求項13に記載の方法。
  15. 前記個別画像は、2D口腔内カメラまたは3D口腔内カメラにより撮影されることを特徴とする、請求項1〜14のいずれか一項に記載の方法。

JP2019569894A 2017-06-20 2018-06-20 2次元全体画像を生成するための方法 Active JP7203051B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017210222.5A DE102017210222A1 (de) 2017-06-20 2017-06-20 Verfahren zur Erzeugung eines zweidimensionalen Gesamtbilds
DE102017210222.5 2017-06-20
PCT/EP2018/066459 WO2018234396A1 (de) 2017-06-20 2018-06-20 Verfahren zur erzeugung eines zweidimensionalen gesamtbilds

Publications (2)

Publication Number Publication Date
JP2020524031A true JP2020524031A (ja) 2020-08-13
JP7203051B2 JP7203051B2 (ja) 2023-01-12

Family

ID=62778899

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019569894A Active JP7203051B2 (ja) 2017-06-20 2018-06-20 2次元全体画像を生成するための方法

Country Status (5)

Country Link
US (1) US11216943B2 (ja)
EP (1) EP3642848A1 (ja)
JP (1) JP7203051B2 (ja)
DE (1) DE102017210222A1 (ja)
WO (1) WO2018234396A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950558B (zh) * 2020-08-26 2024-02-09 上海申瑞继保电气有限公司 高压油浸式变压器油液液位图像识别方法
EP4169479A1 (en) 2021-10-19 2023-04-26 DENTSPLY SIRONA Inc. Method and system for two dimensional imaging

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012179370A (ja) * 2000-04-19 2012-09-20 Orametrix Inc 歯の口内走査に基づいたインタラクティブな歯列矯正ケアシステム
JP2015513407A (ja) * 2012-01-27 2015-05-14 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 測定システムを検査するための方法及び参照モデル
US20150221084A1 (en) * 2012-08-14 2015-08-06 Sirona Dental Systems Gmbh Method for measuring a dental object
JP2017513597A (ja) * 2014-04-23 2017-06-01 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 光学式三次元撮像を実施するための方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8811771B2 (en) * 2008-08-22 2014-08-19 Adobe Systems Incorporated Content aware slideshows
WO2011056574A1 (en) * 2009-10-26 2011-05-12 Olaf Andrew Hall-Holt Dental imaging system and method
US9463081B2 (en) * 2011-01-11 2016-10-11 Kabushiki Kaisya Advance Intraoral video camera and display system
US9510757B2 (en) * 2014-05-07 2016-12-06 Align Technology, Inc. Identification of areas of interest during intraoral scans

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012179370A (ja) * 2000-04-19 2012-09-20 Orametrix Inc 歯の口内走査に基づいたインタラクティブな歯列矯正ケアシステム
JP2015513407A (ja) * 2012-01-27 2015-05-14 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 測定システムを検査するための方法及び参照モデル
US20150221084A1 (en) * 2012-08-14 2015-08-06 Sirona Dental Systems Gmbh Method for measuring a dental object
JP2017513597A (ja) * 2014-04-23 2017-06-01 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 光学式三次元撮像を実施するための方法

Also Published As

Publication number Publication date
WO2018234396A9 (de) 2019-02-21
US20210097680A1 (en) 2021-04-01
WO2018234396A1 (de) 2018-12-27
JP7203051B2 (ja) 2023-01-12
DE102017210222A1 (de) 2018-12-20
EP3642848A1 (de) 2020-04-29
US11216943B2 (en) 2022-01-04

Similar Documents

Publication Publication Date Title
TWI555378B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
WO2019049421A1 (ja) キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
US10425638B2 (en) Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device
JP7291244B2 (ja) プロジェクタの台形補正方法、装置、システム及び読み取り可能な記憶媒体
WO2018076154A1 (zh) 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法
JP5456020B2 (ja) 情報処理装置および方法
KR102013978B1 (ko) 이미지들의 융합을 위한 방법 및 장치
US9398215B2 (en) Stereoscopic panoramas
US8659640B2 (en) Digital 3D/360 ° camera system
KR101804205B1 (ko) 영상 처리 장치 및 방법
JP2006113807A (ja) 多視点画像の画像処理装置および画像処理プログラム
KR101853269B1 (ko) 스테레오 이미지들에 관한 깊이 맵 스티칭 장치
JP2008217243A (ja) 画像生成装置
KR20200013800A (ko) 다중 카메라 파노라마식 촬상 시스템
KR20190044439A (ko) 스테레오 이미지들에 관한 깊이 맵 스티칭 방법
JP7203051B2 (ja) 2次元全体画像を生成するための方法
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
JP2014010783A (ja) 画像処理装置、画像処理方法およびプログラム
US11924395B2 (en) Device comprising a multi-aperture imaging device for generating a depth map
JP2017028510A (ja) 多視点映像生成装置及びそのプログラム、並びに、多視点映像生成システム
JP2020191624A (ja) 電子機器およびその制御方法
WO2019216229A1 (ja) データ処理装置、データ処理方法、及び、プログラム
JP2011146762A (ja) 立体モデル生成装置
CN111292380A (zh) 图像处理方法及装置
JP6595878B2 (ja) 要素画像群生成装置及びそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210407

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220329

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221226

R150 Certificate of patent or registration of utility model

Ref document number: 7203051

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150