JP2019086712A - 観察装置、観察ユニット及び観察方法 - Google Patents
観察装置、観察ユニット及び観察方法 Download PDFInfo
- Publication number
- JP2019086712A JP2019086712A JP2017216338A JP2017216338A JP2019086712A JP 2019086712 A JP2019086712 A JP 2019086712A JP 2017216338 A JP2017216338 A JP 2017216338A JP 2017216338 A JP2017216338 A JP 2017216338A JP 2019086712 A JP2019086712 A JP 2019086712A
- Authority
- JP
- Japan
- Prior art keywords
- range
- narrow
- observation
- unit
- wide
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003384 imaging method Methods 0.000 claims abstract description 229
- 230000008859 change Effects 0.000 claims abstract description 24
- 238000012937 correction Methods 0.000 claims abstract description 21
- 230000003287 optical effect Effects 0.000 claims description 180
- 210000003128 head Anatomy 0.000 claims description 21
- 210000000214 mouth Anatomy 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 abstract description 22
- 238000012545 processing Methods 0.000 abstract description 20
- 239000011521 glass Substances 0.000 description 79
- 230000008569 process Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 239000003550 marker Substances 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 238000010408 sweeping Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 210000004513 dentition Anatomy 0.000 description 5
- 230000036346 tooth eruption Effects 0.000 description 5
- 239000007788 liquid Substances 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 230000002195 synergetic effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 239000006059 cover glass Substances 0.000 description 2
- 210000004262 dental pulp cavity Anatomy 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 239000001055 blue pigment Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 210000002455 dental arch Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 239000003094 microcapsule Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000001054 red pigment Substances 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/00048—Constructional features of the display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C19/00—Dental auxiliary appliances
- A61C19/04—Measuring instruments specially adapted for dentistry
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
- G02B21/20—Binocular arrangements
- G02B21/22—Stereoscopic arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
- A61B2090/502—Headgear, e.g. helmet, spectacles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1077—Measuring of profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Computing Systems (AREA)
- Epidemiology (AREA)
- Microscoopes, Condenser (AREA)
- Lenses (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Endoscopes (AREA)
Abstract
Description
例えば、特許文献1に記載の顕微鏡付診療台もそのひとつであるが、特許文献1に記載の顕微鏡付診療台は、医療用診療台の近傍に配置された支持アームに顕微鏡が支持されており、術者(観察者)は顕微鏡で観察部位を観察しながら精密な診療をすることができる。別の例として、拡大鏡(ルーペ)を観察者の頭部に装着し、拡大観察しながら精密な診療行為を行う場合もある。
上記観察部位は、歯牙や歯牙内部、あるいは歯肉など口腔内の部位や、人間や動物の体の一部であってもよい。
詳述すると、前記観察部位と狭範囲撮像部との三次元相対位置に変化が生じると、上述したようなブレが狭範囲撮像画像に生じるが、観察装置の撮像部を構成する前記広範囲撮像部で撮像した広範囲撮像画像に基づいて検出した、少なくとも前記観察部位の三次元位置と、狭範囲撮像部との三次元相対位置に変化によって生じる狭範囲撮像画像のブレを補正するため、ブレのない鮮明な狭範囲撮像画像を得ることができる。したがって、狭範囲の観察部位を精密に観察することができる。
また、広範囲撮像部によって、観察部位を広範囲に撮像できるため、狭範囲撮像部で観察している箇所を含む広範囲を観察することができる。
上記光学経路は、例えば、イメージセンサなどの撮像素子、光路、及びレンズなどで構成され、これら光学経路を構成する要素の一部を共用してもよい。
詳述すると、前記狭範囲撮像部と前記広範囲撮像部とが別体である場合や、一体で構成されている場合であっても撮像素子、光路、及びレンズなどで構成される光学経路を前記狭範囲撮像部と前記広範囲撮像部とがそれぞれ備えている場合、部品点数も多くなるとともに、構造も複雑化するが、前記狭範囲撮像部の光学経路と前記広範囲撮像部の光学経路との少なくとも一部を共用することで部品点数を低減し、構造を簡素化することができる。
詳述すると、狭範囲撮像部は、観察部位における狭範囲を高拡大倍率で撮像するが、その反面、狭範囲撮像部によって撮像された狭範囲撮像画像は被写界深度が浅い、つまり画像の奥行方向において焦点が合っている箇所が狭く、精密に観察できる範囲が少ない傾向にある。
上記光投影部が投影する上記光は、所定のパターンを有するパターン光であってもよいし、パターンのない光であってもよい。
この発明により、狭範囲撮像手段で鮮明で被写界深度の深い狭範囲撮像画像を撮像することで、撮像箇所の三次元形状も精度よく得ることができる。
上記頭部装着型の画像表示部は、ヘッドギアタイプ、ヘルメットタイプ、サンバイザータイプ、バンドタイプ、観察者が視力矯正等のために普段使用している一般のメガネのフレームに対してクリップで装着するタイプなど、頭部に少なくとも接眼部を装着できる様々なタイプとすることができる。
この発明により、頭部の移動を制限されることなく自由な位置にて、ブレが補正された前記狭範囲撮像画像を表示させて、観察することができる。
この発明により、支持部に支持された状態の前記観察装置で観察者の頭部への負担のない状態でブレが補正された前記狭範囲撮像画像を表示させて、観察することができる。
上記支持部は、天井、壁、床、スタンドやワゴンやラック、あるいは医療用診療台、スピットン台、医療用ロボット又はその他の医療機器等から延びる支持アーム等としてもよい。
例えば、前記支持部を、可動する関節部を有する支持アームで構成することで、観察者は該関節部を曲げることにより、支持部が移動、すなわち支持された観察装置を観察部位に対して移動することができ、所望の位置からの観察が可能となる。
この発明により、前記支持部を観察部位に対して適切な位置に配置してから観察できるため、より詳細に観察することができる。
上記表示装置は、例えば、前記支持部や壁や天井等、観察装置本体とは別の位置に設けられてもよいし、複数の表示装置が設けられてもよい。
上記頭部装着型表示装置は、ヘッドギアタイプ、ヘルメットタイプ、サンバイザータイプ、バンドタイプ、メガネタイプ、観察者が視力矯正等のために普段使用している一般のメガネのフレームに対してクリップで装着するタイプなど、頭部に少なくとも接眼部を装着できる様々なタイプとすることができる。
この発明により、頭部の移動を制限されることなく、ブレが補正された前記狭範囲撮像画像を表示させて、観察することができる。
図1は拡大鏡1及び全焦点拡大鏡1fの構成説明図を示しており、図2は診療ユニットXの概略斜視図を示しており、図3は拡大鏡1の拡大概略斜視図を示しており、図4乃至図8は広範囲光学系Wと狭範囲光学系Nの説明図を示しており、図9は表示画像Pの概略図を示しており、図10は拡大鏡1による観察方法のフローチャートを示しており、図11は観察部位の三次元位置計測のためのマーキング方法についての説明図を示している。
歯科診療装置200は、図2に示すように、診療器具213(213a〜213e)を備えた器具台210と、施術対象である患者を載せて治療を行うための診療台220とで構成している。
また、各種操作の入力するフートコントローラ214を備えているが、フートコントローラの機構については公知であるため、詳細な説明は省略する。
また、治療用スタンドポール230には、拡大鏡1とともに観察ユニットYを構成するモニタ240が設けられている。
支持アーム300は、診療台220に付設された治療用スタンドポール230の上端に対して回動可能に設けられ、複数のアーム301がそれぞれ可動できるように複数の関節部301aで連結された多関節アーム式であり、支持アーム300の先端に装着された拡大鏡1を、所望の位置に移動可能に構成されている。
なお、図4に図示する広範囲カメラ21は、例えば、1眼タイプの立体カメラであり、例えば、三角法、合焦法、Time of Flight法、RGB−D(Distance)カメラ、ライトフィールドカメラなどの公知の三次元計測原理を採用した三次元カメラで構成することができる。
また、図3に示す筐体20aのように拡大鏡本体10の筐体10aと別体で構成するのではなく、拡大鏡本体10と同一の筐体10aに広範囲カメラ21を備えるように構成してもよい。
なお、画像表示部40は図示省略する通信部によって制御部50に接続されている。
画像生成部51は、少なくとも狭範囲カメラ30で撮像した撮像画像に基づき、画像表示部40で表示する表示画像を生成する構成である。例えば、画像生成部51によって、図9(a)に図示するような表示画像Pを画像表示部40に表示することができる。なお、図9(a)に図示する表示画像Pは、狭範囲カメラ30で撮像した撮像画像を表示する狭範囲観察画像表示Pnと、広範囲カメラ21で撮像した撮像画像を表示する広範囲観察画像表示Pwとを並列して表示したものとなっている。
これに対し、狭範囲観察画像表示Pnは、表示領域の大きさは広範囲観察画像表示Pwに比べて大きく、解像度も高いが、歯牙T付近のみが観察可能に表示している。
あるいは、広範囲カメラ21が立体カメラであり、歯列の三次元的な表面形状を演算でき、前記演算された三次元的な表面形状における三次元的な特徴点を採用してもよい。
その際には、三次元位置算出部52で算出する相対三次元位置は、上下方向の相対位置の移動を無視し、上下以外の方向のみを考慮した二次元の相対位置と近似しても差し支えがなく、三次元位置算出部52での演算負荷を軽減することができる。またその場合、特徴点の必要数は2点以下とすることができる。
例えば、ハンドル13を観察者が把持して拡大鏡1を所望の観察位置にまで移動している最中などは、補正可能限界を超える量の前記三次元相対位置の変化が発生し得るため、ブレ補正を行わない方が有利である。
また、ブレが補正された狭範囲撮像画像を少なくとも表示する画像表示部40とが備えられているため、視野の狭い狭範囲撮像画像と、視野の広い広範囲撮像画像とを合わせ見ながら、精密かつ包括的な観察を行うことができる。
このように構成された拡大鏡1bは、対物部12から入光した歯牙Tの光学像は共通光学路63を透過した後、ビームスプリッタ62で狭範囲光学系Nと広範囲光学系Wとに分離され、広範囲光学系Wを構成する広範囲光学路22を透過して広範囲カメラ21で撮像するとともに、狭範囲光学系Nを構成する狭範囲光学路31を透過して狭範囲カメラ30で撮像することで観察することができる。そして、拡大鏡1bは、上述のような拡大鏡1の効果を奏するとともに、拡大鏡1に比べて、コンパクトに構成することができる。
また、投影光Lは、例えば、格子状等のパターンを含むパターン投影光Laとしてもよい。これにより、例えば、広範囲カメラを三次元的な表面形状を演算できる立体カメラ(例えば、パターン投影型の三角法に基づく立体カメラ)とし、三次元位置算出部52が上記表面形状の三次元的な特徴点の三次元位置を算出する際の精度や、後述する全焦点狭範囲撮像画像を生成する際の精度が向上する。
(1)まず、狭範囲カメラ30における狭範囲光学路31のレンズ等を機械的に駆動させるなどの方法によって焦点位置を歯牙T上で掃引しながら連続的に狭範囲カメラ30で撮像する。
(2)各狭範囲撮像画像を構成する画素毎にコントラスト量(狭範囲撮像画像がボケているか、ピントが合っているかを定量化したもの)を計算し、レンズを一往復(または半往復)させるなどによって焦点位置を掃引する間に、コントラスト量が極大値を示したときの画素値を、画像表示部40に表示する狭範囲撮像画像として採用する。
なお、コントラスト量を得る方法としては、ラプラシアン演算子を用いた方法、微分フィルタを用いた方法などの公知の手法を適用することができる。
なお、上述の手順は、FPGAなどのハードウェアプロセッサを使って高速に演算するとよい。
以下同様に、
撮像部はカメラ30,21に対応し、
観察装置は拡大鏡1に対応し、
狭範囲は狭撮像範囲Anに対応し、
狭範囲撮像部は狭範囲カメラ30に対応し、
広範囲は広撮像範囲Awに対応し、
広範囲撮像部は広範囲カメラ21に対応し、
広範囲撮像画像は広範囲撮像画像に対応し、
三次元位置検出部は三次元位置算出部52に対応し、
狭範囲撮像画像は狭範囲撮像画像に対応し、
ブレ補正部はブレ補正処理部53に対応し、
画像表示部は画像表示部40に対応し、
狭範囲撮像部の光学経路は狭範囲光学路31に対応し、
広範囲撮像部の光学経路は広範囲光学路22に対応し、
狭範囲撮像部制御部は制御部50に対応し、
狭範囲撮像画像生成部は画像生成部51に対応し、
光は投影光L,Laに対応し、
光投影部は投影部70に対応し、
三次元形状計測部は三次元形状計測部56に対応し、
頭部装着型表示装置はHMD,HUDに対応し、
支持部は支持アーム300に対応し、
観察ユニットは観察ユニットYに対応し、
表示装置はモニタ240,外部モニタに対応するが、上記実施形態に限定するものではない。
21…広範囲カメラ
22…広範囲光学路
30…狭範囲カメラ
31…狭範囲光学路
40…画像表示部
50…制御部
51…画像生成部
52…三次元位置算出部
53…ブレ補正処理部
56…三次元形状計測部
70,70a…照明部
240…モニタ
300…狭範囲カメラ
An…狭撮像範囲
Aw…広撮像範囲
L…投影光
La…パターン投影光
T…歯牙
Y…観察ユニット
Claims (13)
- 観察部位を撮像部で撮像して観察する観察装置であって、
前記撮像部が、前記観察部位を狭範囲で撮像する狭範囲撮像部と、前記観察部位を広範囲で撮像する広範囲撮像部とで構成され、
前記広範囲撮像部で撮像した広範囲撮像画像に基づいて、少なくとも前記観察部位の三次元位置を検出する三次元位置検出部と、
該三次元位置検出部によって前記三次元位置が検出された前記観察部位と、狭範囲撮像部との三次元相対位置の変化に基づいて、前記狭範囲撮像部で撮像した狭範囲撮像画像のブレを補正するブレ補正部と、
ブレが補正された前記狭範囲撮像画像、及び前記広範囲撮像画像のうちブレが補正された前記狭範囲撮像画像を少なくとも表示する画像表示部とが備えられた
観察装置。 - 前記狭範囲撮像部の光学経路と前記広範囲撮像部の光学経路との少なくとも一部が共用されている
請求項1に記載の観察装置。 - 前記観察部位に対して、前記狭範囲撮像部における焦点位置を移動させながらの連続撮影を制御する狭範囲撮像部制御部と、
連続撮影された複数の前記狭範囲撮像画像を合成して被写界深度の深い狭範囲撮像画像を生成する狭範囲撮像画像生成部が備えられた
請求項1または2に記載の観察装置。 - 前記狭範囲撮像部制御部の制御によって連続撮影する際に、少なくとも前記狭範囲撮像部で撮像する前記観察部位に光を投影する光投影部が備えられた
請求項3に記載の観察装置。 - 前記狭範囲撮像部制御部の制御によって連続撮影した際の移動する焦点位置に関する焦点位置情報に基づいて、少なくとも前記狭範囲撮像部で撮像する前記観察部位の三次元形状を計測する三次元形状計測部が備えられた
請求項3または4に記載の観察装置。 - 前記観察部位が口腔内における所望の部位であり、
前記三次元位置検出部は、噛合紙によって口腔内の歯の表面に着色された複数の着色箇所を前記広範囲画像内で検出することによって前記観察部位の三次元位置を検出する構成である
請求項1乃至5のうちいずれかに記載の観察装置。 - 少なくとも前記画像表示部が観察者の頭部に装着する頭部装着型で構成された
請求項1乃至6のうちいずれかに記載の観察装置。 - 請求項1乃至7のうちいずれかに記載の観察装置と、
前記観察装置の少なくとも前記狭範囲撮像部を支持する支持部が備えられた
観察ユニット。 - 前記支持部に支持された前記観察装置の少なくとも前記狭範囲撮像部が前記観察部位に対して移動可能に、前記支持部を構成した
請求項8に記載の観察ユニット。 - ブレが補正された前記狭範囲撮像画像を少なくとも表示する表示装置が備えられた
請求項8又は9に記載の観察ユニット。 - 前記表示装置が、
観察者の頭部に装着する頭部装着型表示装置で構成された
請求項10に記載の観察ユニット。 - 観察装置の撮像部で観察部位を撮像して観察する観察方法であって、
前記撮像部を構成する広範囲撮像部で撮像した広範囲撮像画像に基づいて、少なくとも前記観察部位の三次元位置を検出し、
前記三次元位置が検出された前記観察部位と、前記撮像部を構成する狭範囲撮像部との三次元相対位置の変化に基づいて、前記狭範囲撮像部で撮像した狭範囲撮像画像のブレを補正し、
ブレが補正された前記狭範囲撮像画像、及び前記広範囲撮像画像のうちブレが補正された前記狭範囲撮像画像を少なくとも表示する
観察方法。 - 前記観察部位に対して、前記狭範囲撮像部における焦点位置を移動させながらの連続撮影を行い、
連続撮影された複数の前記狭範囲撮像画像を合成して被写界深度の深い狭範囲撮像画像を生成する
請求項12に記載の観察方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017216338A JP6770500B2 (ja) | 2017-11-09 | 2017-11-09 | 口腔内観察装置、観察ユニット及び観察方法 |
US16/762,678 US11317794B2 (en) | 2017-11-09 | 2018-11-08 | Observation device, observation unit, and observation method |
PCT/JP2018/041516 WO2019093426A1 (ja) | 2017-11-09 | 2018-11-08 | 観察装置、観察ユニット及び観察方法 |
EP18876392.4A EP3709066B1 (en) | 2017-11-09 | 2018-11-08 | Observation device, observation unit, and observation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017216338A JP6770500B2 (ja) | 2017-11-09 | 2017-11-09 | 口腔内観察装置、観察ユニット及び観察方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019086712A true JP2019086712A (ja) | 2019-06-06 |
JP6770500B2 JP6770500B2 (ja) | 2020-10-14 |
Family
ID=66438368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017216338A Active JP6770500B2 (ja) | 2017-11-09 | 2017-11-09 | 口腔内観察装置、観察ユニット及び観察方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11317794B2 (ja) |
EP (1) | EP3709066B1 (ja) |
JP (1) | JP6770500B2 (ja) |
WO (1) | WO2019093426A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022061224A (ja) * | 2020-10-06 | 2022-04-18 | 学校法人福岡工業大学 | 三次元画像生成システム、三次元画像生成方法、三次元画像生成プログラムおよび記録媒体 |
WO2023018540A1 (en) * | 2021-08-11 | 2023-02-16 | Caterpillar Inc. | Work machine ground engaging tool wear and loss detection system and method |
JP2023068275A (ja) * | 2021-11-02 | 2023-05-17 | 株式会社モリタ製作所 | データ処理装置、データ処理方法、およびプログラム |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3407820A4 (en) | 2016-01-26 | 2019-11-06 | Cyberdontics, Inc. | AUTOMATED DENTAL TREATMENT SYSTEM |
KR102056910B1 (ko) * | 2018-12-21 | 2019-12-17 | 주식회사 디오에프연구소 | 3차원 구강 스캐너 및 이를 이용한 구강 스캔 방법 |
JP7431527B2 (ja) * | 2019-08-07 | 2024-02-15 | キヤノン株式会社 | 深度情報生成装置、撮像装置、深度情報生成方法、画像処理装置、画像処理方法、及びプログラム |
TW202109550A (zh) * | 2019-08-23 | 2021-03-01 | 陳義聰 | 牙齒保健照護系統 |
US11373315B2 (en) * | 2019-08-30 | 2022-06-28 | Tata Consultancy Services Limited | Method and system for tracking motion of subjects in three dimensional scene |
TWI712396B (zh) * | 2020-01-16 | 2020-12-11 | 中國醫藥大學 | 口腔缺陷模型之修補方法及口腔缺陷模型之修補系統 |
DE102020206216A1 (de) | 2020-05-18 | 2021-11-18 | Carl Zeiss Meditec Ag | Stereoskopische Aufnahmevorrichtung |
EP4208122A4 (en) | 2020-09-03 | 2024-09-11 | Perceptive Tech Inc | METHOD AND DEVICE FOR CNA ANALYSIS OF DENTAL ANATOMY |
CA3233469A1 (en) * | 2021-11-09 | 2023-05-19 | Gillian MYERS | Stereoscopic imaging apparatus with multiple fixed magnification levels |
US12059315B2 (en) | 2022-09-08 | 2024-08-13 | Enamel Pure | Systems and methods for estimating a trend associated with dental tissue |
WO2024062326A1 (en) * | 2022-09-21 | 2024-03-28 | Alcon Inc. | Low profile optical systems for surgical procedures |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0616099B2 (ja) * | 1989-02-07 | 1994-03-02 | 浜松ホトニクス株式会社 | Ct装置におけるデータ補正装置 |
JPH11253433A (ja) * | 1998-03-11 | 1999-09-21 | Morita Mfg Co Ltd | Ct撮影装置 |
JP2003052718A (ja) * | 2001-08-10 | 2003-02-25 | Morita Mfg Co Ltd | 顕微鏡付診療台 |
JP2013117848A (ja) * | 2011-12-02 | 2013-06-13 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2017191609A (ja) * | 2017-04-14 | 2017-10-19 | ソニー株式会社 | 画像処理装置および画像処理方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4809291B2 (ja) | 2007-06-01 | 2011-11-09 | 株式会社豊田中央研究所 | 計測装置及びプログラム |
US20140099604A1 (en) * | 2012-10-08 | 2014-04-10 | Albert J. Kurpis | Dental marking product with varying widths and thicknesses for gauging and marking occlusal clearance to facilitate fabrication and installation of a dental restorative element |
US10424115B2 (en) * | 2014-04-24 | 2019-09-24 | Christof Ellerbrock | Head-worn platform for integrating virtuality with reality |
-
2017
- 2017-11-09 JP JP2017216338A patent/JP6770500B2/ja active Active
-
2018
- 2018-11-08 US US16/762,678 patent/US11317794B2/en active Active
- 2018-11-08 WO PCT/JP2018/041516 patent/WO2019093426A1/ja unknown
- 2018-11-08 EP EP18876392.4A patent/EP3709066B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0616099B2 (ja) * | 1989-02-07 | 1994-03-02 | 浜松ホトニクス株式会社 | Ct装置におけるデータ補正装置 |
JPH11253433A (ja) * | 1998-03-11 | 1999-09-21 | Morita Mfg Co Ltd | Ct撮影装置 |
JP2003052718A (ja) * | 2001-08-10 | 2003-02-25 | Morita Mfg Co Ltd | 顕微鏡付診療台 |
JP2013117848A (ja) * | 2011-12-02 | 2013-06-13 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2017191609A (ja) * | 2017-04-14 | 2017-10-19 | ソニー株式会社 | 画像処理装置および画像処理方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022061224A (ja) * | 2020-10-06 | 2022-04-18 | 学校法人福岡工業大学 | 三次元画像生成システム、三次元画像生成方法、三次元画像生成プログラムおよび記録媒体 |
JP7262800B2 (ja) | 2020-10-06 | 2023-04-24 | 学校法人福岡工業大学 | 三次元画像生成システム、三次元画像生成方法、三次元画像生成プログラムおよび記録媒体 |
WO2023018540A1 (en) * | 2021-08-11 | 2023-02-16 | Caterpillar Inc. | Work machine ground engaging tool wear and loss detection system and method |
US12020419B2 (en) | 2021-08-11 | 2024-06-25 | Caterpillar Inc. | Ground engaging tool wear and loss detection system and method |
JP2023068275A (ja) * | 2021-11-02 | 2023-05-17 | 株式会社モリタ製作所 | データ処理装置、データ処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3709066A1 (en) | 2020-09-16 |
WO2019093426A1 (ja) | 2019-05-16 |
EP3709066B1 (en) | 2023-12-27 |
JP6770500B2 (ja) | 2020-10-14 |
EP3709066A4 (en) | 2021-08-18 |
US11317794B2 (en) | 2022-05-03 |
US20210169318A1 (en) | 2021-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019093426A1 (ja) | 観察装置、観察ユニット及び観察方法 | |
JP7225300B2 (ja) | 立体視覚化カメラ及びプラットフォーム | |
US11336804B2 (en) | Stereoscopic visualization camera and integrated robotics platform | |
US11571272B2 (en) | Stereoscopic camera with fluorescence visualization | |
US20210227200A1 (en) | Open view, multi-modal, calibrated digital loupe with depth sensing | |
AU771368B2 (en) | Visual aid in the form of telescopic spectacles with an automatic focussing device | |
AU2024219905A1 (en) | Stereoscopic visualization camera and integrated robotics platform | |
JP2008093433A (ja) | 眼科用手術顕微鏡システム | |
US20230120611A1 (en) | Stereoscopic camera with fluorescence strobing based visualization | |
KR101481905B1 (ko) | 수술 현미경용 일체형 입체 화상 획득 시스템 | |
JP6793623B2 (ja) | 観察器具、観察装置、観察ユニット及び診療ユニット | |
ZA200203746B (en) | Visual aid in the form of telescopic spectacles with an automatic focussing device. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200818 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200915 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200925 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6770500 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |