JP2019086712A - 観察装置、観察ユニット及び観察方法 - Google Patents

観察装置、観察ユニット及び観察方法 Download PDF

Info

Publication number
JP2019086712A
JP2019086712A JP2017216338A JP2017216338A JP2019086712A JP 2019086712 A JP2019086712 A JP 2019086712A JP 2017216338 A JP2017216338 A JP 2017216338A JP 2017216338 A JP2017216338 A JP 2017216338A JP 2019086712 A JP2019086712 A JP 2019086712A
Authority
JP
Japan
Prior art keywords
range
narrow
observation
unit
wide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017216338A
Other languages
English (en)
Other versions
JP6770500B2 (ja
Inventor
啓介 反本
Keisuke Sorimoto
啓介 反本
田中 剛
Tsuyoshi Tanaka
剛 田中
雅之 佐野
Masayuki Sano
雅之 佐野
亮佑 鍛治
Ryosuke Kaji
亮佑 鍛治
巳貴則 西村
Mikinori Nishimura
巳貴則 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
J Morita Manufaturing Corp
Original Assignee
J Morita Manufaturing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by J Morita Manufaturing Corp filed Critical J Morita Manufaturing Corp
Priority to JP2017216338A priority Critical patent/JP6770500B2/ja
Priority to US16/762,678 priority patent/US11317794B2/en
Priority to PCT/JP2018/041516 priority patent/WO2019093426A1/ja
Priority to EP18876392.4A priority patent/EP3709066B1/en
Publication of JP2019086712A publication Critical patent/JP2019086712A/ja
Application granted granted Critical
Publication of JP6770500B2 publication Critical patent/JP6770500B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/00048Constructional features of the display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00Dental auxiliary appliances
    • A61C19/04Measuring instruments specially adapted for dentistry
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/18Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20Binocular arrangements
    • G02B21/22Stereoscopic arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/671Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502Headgear, e.g. helmet, spectacles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077Measuring of profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computing Systems (AREA)
  • Epidemiology (AREA)
  • Microscoopes, Condenser (AREA)
  • Lenses (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Endoscopes (AREA)

Abstract

【課題】狭範囲の観察部位を、ブレを抑制して精密に観察できる観察装置、観察ユニット及び観察方法を提供する。【解決手段】歯牙をカメラ30,21で撮像して観察する拡大鏡1であって、カメラ30,21が、歯牙を狭撮像範囲で撮像する狭範囲カメラ30と、歯牙を広撮像範囲で撮像する広範囲カメラ21とで構成され、広範囲カメラ21で撮像した広範囲撮像画像に基づいて、少なくとも歯牙の三次元位置を検出する三次元位置算出部52と、三次元位置算出部52によって三次元位置が検出された歯牙と、狭範囲カメラ30との三次元相対位置の変化に基づいて、狭範囲カメラ30で撮像した狭範囲撮像画像のブレを補正するブレ補正処理部53と、ブレが補正された狭範囲撮像画像を少なくとも表示する画像表示部40とが備えられた拡大鏡1。【選択図】図1

Description

本発明は、例えば、口腔領域における所望の観察部位を観察する観察装置、観察ユニット及び観察方法に関する。
従来より、例えば、歯科医療分野等において、歯牙に対する根管治療の際には、顕微鏡で歯牙を観察して治療することで精密な根管治療を行うようになってきている。
例えば、特許文献1に記載の顕微鏡付診療台もそのひとつであるが、特許文献1に記載の顕微鏡付診療台は、医療用診療台の近傍に配置された支持アームに顕微鏡が支持されており、術者(観察者)は顕微鏡で観察部位を観察しながら精密な診療をすることができる。別の例として、拡大鏡(ルーペ)を観察者の頭部に装着し、拡大観察しながら精密な診療行為を行う場合もある。
しかしながら、このような顕微鏡は、観察部位を狭範囲であるものの高倍率で精密に観察できる反面、顕微鏡を支持する支持アームの振動や被観察者の微動などによる観察部位と顕微鏡の相対移動が拡大されて、観察視野がブレてしまうため、精密に観察できないおそれがあった。頭部に装着するタイプの拡大鏡の場合も同様に、特に拡大倍率を高倍率とした場合に、観察者の頭部の動きや被観察者の動きにより、ブレが問題となる。ブレを低減するために、支持アームや頭部固定具を高剛性となる構造で構成すると、支持アームや頭部固定具が大型化したり、製造や設置にかかるコストが増加したり、観察者の負担が増加するおそれがあった。
特開2003−052718号公報
そこで本発明は、狭範囲の観察部位を、ブレを抑制して精密に観察できる観察装置、観察ユニット及び観察方法を提供することを目的とする。
この発明は、観察部位を撮像部で撮像して観察する観察装置であって、前記撮像部が、前記観察部位を狭範囲で撮像する狭範囲撮像部と、前記観察部位を広範囲で撮像する広範囲撮像部とで構成され、前記広範囲撮像部で撮像した広範囲撮像画像に基づいて、少なくとも前記観察部位の三次元位置を検出する三次元位置検出部と、該三次元位置検出部によって前記三次元位置が検出された前記観察部位と、狭範囲撮像部との三次元相対位置の変化に基づいて、前記狭範囲撮像部で撮像した狭範囲撮像画像のブレを補正するブレ補正部と、ブレが補正された前記狭範囲撮像画像、及び前記広範囲撮像画像のうちブレが補正された前記狭範囲撮像画像を少なくとも表示する画像表示部とが備えられたことを特徴とする。
またこの発明は、観察装置の撮像部で観察部位を撮像して観察する観察方法であって、前記撮像部を構成する広範囲撮像部で撮像した広範囲撮像画像に基づいて、少なくとも前記観察部位の三次元位置を検出し、前記三次元位置が検出された前記観察部位と、前記撮像部を構成する狭範囲撮像部との三次元相対位置の変化に基づいて、前記狭範囲撮像部で撮像した狭範囲撮像画像のブレを補正し、ブレが補正された前記狭範囲撮像画像、及び前記広範囲撮像画像のうちブレが補正された前記狭範囲撮像画像を少なくとも表示することを特徴とする。
上記狭範囲撮像部と上記広範囲撮像部は、一体で撮像部を構成してもよいし、別体で撮像部を構成してもよい。また、一体で撮像部を構成した場合であっても、一体化された撮像部の筐体の内部においては上記狭範囲撮像部と上記広範囲撮像部とが独立して備えられていてもよい。また、各撮像部は、撮像素子やレンズを含む光学経路から構成されるが、それぞれの撮像素子に対して光学経路の一部を共用してもよい。
さらには、左右の視差に対応した二種の画像を画像表示部に表示することで観察者は立体感のある画像として観察部位を観察でき、利便性を向上することができるが、該二種の画像を撮像するために、上記狭範囲撮像部と上記広範囲撮像部のうち少なくとも上記狭範囲撮像部を、前記観察部位を異なる2つの角度から撮像するように二系統で構成してもよい。
前記観察装置は、HMD(Head Mount Display)のように観察者の頭部に装着されてもよいし、支持部で支持されてもよい。あるいは、あるときには支持部から観察装置を分離して観察者の頭部に装着した状態で使用でき、別のときには頭部から観察装置を分離して支持部に取り付けた状態で使用できるように構成してもよい。
なお、上記支持部は、天井、壁、床、あるいは、スタンド、ワゴン、ラック、さらには医療用診療台、スピットン台、医療用ロボットやその他の医療機器等から延びる支持アーム等としてもよい。観察部位の位置や患者の体格等に応じて観察に適した位置に移動できるよう、手動で位置調整が可能な支持アーム(例えば、多関節のバランスアーム)であることが好ましい。
また、自動で位置調整が可能なロボットアーム等でよい。さらにまた、上記狭範囲撮像部と上記広範囲撮像部を別体で構成した撮像部の場合、同じ支持部で支持してもよいし、異なる支持部で支持してもよいし、一方は支持部を介さずに天井や壁などに直接固定されていてもよい。
上記観察部位は、歯牙や歯牙内部、あるいは歯肉など口腔内の部位や、人間や動物の体の一部であってもよい。
前記三次元位置検出部は、前記広範囲撮像部にて撮像した広範囲撮像画像に基づいて前記観察部位の三次元位置を検出する。具体的には、前記広範囲撮像部をステレオカメラ等の立体カメラで構成し、撮像した広範囲撮像画像を処理することで、観察部位の特徴的な部位や、観察部位に対して剛体的に装着したボールマーカーなどの特徴点に基づき、前記観察部位の三次元位置を検出することができる。
上述の該三次元位置検出部によって前記三次元位置が検出された前記観察部位と、狭範囲撮像部との三次元相対位置は、広範囲撮像画像に基づいて検出された前記観察部位の三次元位置と、広範囲撮像部に対する既知の狭範囲撮像部の三次元位置とに基づく三次元相対位置、広範囲撮像画像に基づいて検出された前記観察部位及び狭範囲撮像部の三次元位置に基づく三次元相対位置、あるいは、異なる三次元位置検出装置によって検出された狭範囲撮像画像の三次元位置に基づく三次元相対位置であってもよい。
上述の狭範囲撮像画像のブレを補正するとは、三次元相対位置の変化に応じて狭範囲撮像画像に対してブレを補正するための、例えば、画素値の平行移動や回転移動や拡大縮小処理などの画像処理を施してもよいし、狭範囲撮像画像にブレが生じないように三次元相対位置の変化を解消する方向に狭範囲撮像部の全体、あるいは、狭範囲撮像部を構成する光学系路の一部を移動させてもよいし、これらを組み合わせてもよい。
なお、狭範囲撮像部の全体あるいは一部を移動するための方法としては、例えば、アクチュエータを用いて撮像素子(イメージセンサ)や光学系路を構成するレンズ・プリズム・ミラーなどの光学素子を機械的に移動する方法や、屈折率や形状が電気的な制御により可変できる可変レンズ・可変プリズムや空間光変調器などを用いて狭範囲撮像部の光軸を光学的に移動する方法を適用することができる。
上述のブレが補正された前記狭範囲撮像画像を少なくとも表示するとは、前記狭範囲撮像画像のみを表示すること、あるいは前記狭範囲撮像画像と前記広範囲撮像画像とを並列して表示することや切り替えて表示することを含むものとする。
この発明により、狭範囲の観察部位を、ブレを抑制して精密に観察することができる。
詳述すると、前記観察部位と狭範囲撮像部との三次元相対位置に変化が生じると、上述したようなブレが狭範囲撮像画像に生じるが、観察装置の撮像部を構成する前記広範囲撮像部で撮像した広範囲撮像画像に基づいて検出した、少なくとも前記観察部位の三次元位置と、狭範囲撮像部との三次元相対位置に変化によって生じる狭範囲撮像画像のブレを補正するため、ブレのない鮮明な狭範囲撮像画像を得ることができる。したがって、狭範囲の観察部位を精密に観察することができる。
また、広範囲撮像部によって、観察部位を広範囲に撮像できるため、狭範囲撮像部で観察している箇所を含む広範囲を観察することができる。
また、ブレが補正された前記狭範囲撮像画像、及び前記広範囲撮像画像のうちブレが補正された前記狭範囲撮像画像を少なくとも表示する画像表示部が備えられているため、視野の狭い狭範囲撮像画像と、視野の広い広範囲撮像画像とを合わせ見ながら、精密かつ包括的な観察を行うことができる。
また、前記広範囲撮像画像と狭範囲撮像画像とを前記画像表示部に並べて表示したり、切り替えて表示したりして同時に表示することで、狭範囲の部位を精密に観察しながらも、広範囲の視野の中での現在の着目位置を同時に確認でき、操作性が向上する。すなわち、広範囲撮像部は、部品点数を増やすことなく同じ撮像部により、ブレ補正するための撮像部として機能するだけでなく、上述のような包括的観察にも活用できるという相乗効果を奏することができる。
また、ブレの原因となる機械的な振動が許容されるため、支持部で観察装置を支持する場合であっても、剛性の低い、すなわち小型・軽量・低コストな構成で支持部を構成することができる。
この発明の態様として、前記狭範囲撮像部の光学経路と前記広範囲撮像部の光学経路との少なくとも一部が共用されてもよい。
上記光学経路は、例えば、イメージセンサなどの撮像素子、光路、及びレンズなどで構成され、これら光学経路を構成する要素の一部を共用してもよい。
なお、撮像素子を共用する場合は、ひとつの撮像素子を前記狭範囲撮像部用の領域と前記広範囲撮像部用の領域とに領域分けをすることで共用することができる。また、共用された光路から前記狭範囲用の撮像素子と前記広範囲撮像部用の撮像素子とで、それぞれの範囲が異なる撮像画像を撮像するためには、撮像素子と観察部位との間の光路の途中の位置にビームスプリッタやレンズを設置して光路を分岐することで実現できる。
前記撮像素子は、広範囲撮像部と狭範囲撮像部とで、シャッタスピードや撮像レート、画素サイズ、画素ビニングサイズ、カラーフィルタの構成(カラー撮影用/モノクロ撮影用/赤外撮影用/可視域撮影用/紫外撮影用など)の仕様が異なるように構成されてもよい。領域分けした場合も、領域ごとに上記した各種仕様が異なるよう構成されていてもよい。
この発明により、撮像部を簡素化することができ、コンパクトな撮像部を構成することができる。
詳述すると、前記狭範囲撮像部と前記広範囲撮像部とが別体である場合や、一体で構成されている場合であっても撮像素子、光路、及びレンズなどで構成される光学経路を前記狭範囲撮像部と前記広範囲撮像部とがそれぞれ備えている場合、部品点数も多くなるとともに、構造も複雑化するが、前記狭範囲撮像部の光学経路と前記広範囲撮像部の光学経路との少なくとも一部を共用することで部品点数を低減し、構造を簡素化することができる。
またこの発明の態様として、前記観察部位に対して、前記狭範囲撮像部における焦点位置を移動させながらの連続撮影を制御する狭範囲撮像部制御部と、連続撮影された複数の前記狭範囲撮像画像を合成して被写界深度の深い狭範囲撮像画像を生成する狭範囲撮像画像生成部が備えられてもよい。
具体的には、画像を合成して被写界深度が拡大された狭範囲撮像画像(すなわち被写界深度の深い狭範囲撮像画像)を生成する方法として、例えば、下記の手順によって計算される。(1)狭範囲撮像部を構成するレンズを機械的に駆動させるなどの方法によって焦点位置を観察部位上で光軸方向に掃引しながら連続的に撮像する。(2)画素毎にコントラスト量(画像がボケているか、ピントが合っているかを定量化したもの)を計算し、レンズを所定の距離に亘って一往復(または半往復)させるなどによって焦点位置を掃引する間に、コントラスト量が極大値を示したときの画素値を、画像表示部に表示する狭範囲撮像画像として採用する。コントラスト量を得る方法として、ラプラシアン演算子を用いた方法、微分フィルタを用いた方法などの公知の手法を適用することができる。もし、被写界深度が拡大された狭範囲撮像画像を生成するために連続的に撮像する複数の画像にブレが生じていると、(2)の演算において、極大値が複数回存在するなどし、画像表示部に表示する狭範囲撮像画像が歪んだりノイズが生じたりするおそれがあるが、本発明においてはブレが補正された狭範囲撮像画像に基づいて演算を行うため、上述のノイズ等の問題は解消され、観察者の操作性が向上する。
なお、上記(1)〜(2)に記載の処理は、FPGAなどのハードウェアプロセッサを使って高速に演算するとよい。これにより被写界深度の深い、かつ低遅延かつ高フレームレートな狭範囲撮像画像を画像表示部に表示することができ、観察者の満足度が向上する。
上述の焦点位置を移動させるとは、前記狭範囲撮像部における撮像素子を固定し、その他のレンズ等で構成される光学系の実効的な焦点距離を変化させること(例えば、上記光学系を構成する複数の要素レンズのうち少なくとも一つの要素レンズを光軸に沿って前後に機械的に移動させる方法や、上記光学系に含まれる液体レンズ等の焦点可変レンズを電気的に制御することで該焦点可変レンズの焦点距離を調整する方法)、上記光学系の焦点距離を所定の距離に維持したまま狭範囲撮像部を物理的に移動させて焦点位置を移動させること、上記光学系の焦点距離を所定の距離に維持したまま撮像素子を光軸に沿って移動させること、あるいはこれらの組み合わせによって実現してもよい。
この発明により、被写界深度の深い狭範囲撮像画像に基づいてより精密に観察することができる。
詳述すると、狭範囲撮像部は、観察部位における狭範囲を高拡大倍率で撮像するが、その反面、狭範囲撮像部によって撮像された狭範囲撮像画像は被写界深度が浅い、つまり画像の奥行方向において焦点が合っている箇所が狭く、精密に観察できる範囲が少ない傾向にある。
これに対し、前記観察部位に対して、前記狭範囲撮像部における焦点位置を移動させながら連続撮影し、連続撮影された複数の前記狭範囲撮像画像を合成して被写界深度の深い狭範囲撮像画像を生成することができる。つまり、観察部位における狭範囲を高拡大倍率かつ、奥行方向に焦点が合っている範囲の広い狭範囲撮像画像により、精密に観察することができる。
なお、焦点位置を移動させながら連続撮影された複数の前記狭範囲撮像画像はブレが補正されているため、連続撮影された複数の前記狭範囲撮像画像を精度よく合成して、鮮明な被写界深度の深い狭範囲撮像画像を精度よく生成することができる。
すなわち、広範囲撮像部は、ブレを補正するための撮像部として機能するだけでなく、上述のような被写界深度の深い狭範囲撮像画像を精度よく生成するためにも活用でき、さらには、包括的観察を実施できるという相乗効果を奏することができる。
またこの発明の態様として、前記狭範囲撮像部制御部の制御によって連続撮影する際に、少なくとも前記狭範囲撮像部で撮像する前記観察部位に光を投影する光投影部が備えられてもよい。
上記光投影部が投影する上記光は、所定のパターンを有するパターン光であってもよいし、パターンのない光であってもよい。
この発明により、視野の狭い狭範囲撮像部によって観察している観察部位に光が投影されるため、広範囲撮像部で撮像された広範囲撮像画像において、狭範囲撮像部によって観察している観察部位を明示することができる。つまり、投影された光は、狭範囲撮像画像で撮像された箇所を明示する撮像箇所明示部として機能することができる。また、狭範囲撮像部と広範囲撮像画像とを画像表示部に並列して表示、もしくは切り替えて表示することで、全体位置の中での観察箇所が明瞭になり操作性を向上することができる。
また、上記光投影部が投影する上記光が、所定のパターンを有するパターン光である場合、少なくとも前記狭範囲撮像部で撮像する前記観察部位に光が投影されるため、例えば、観察部位が模様の無い均質な構造体であってもパターンを付与することにより、上述した処理(2)におけるコントラスト量の検知が容易となり、より鮮明な被写界深度の深い狭範囲撮像画像を精度よく生成することができる。
またこの発明の態様として、前記狭範囲撮像部制御部の制御によって連続撮影した際の移動する焦点位置に関する焦点位置情報に基づいて、少なくとも前記狭範囲撮像部で撮像する前記観察部位の三次元形状を計測する三次元形状計測部が備えられてもよい。
具体的には、上述の被写界深度の深い狭範囲撮像画像を生成する処理(2)において、ある画素においてコントラスト量が極大値を示すことと、移動する前記焦点位置と観察部位の表面位置とが一致することとは、同値である。
また、移動する前記焦点位置に関する焦点位置情報は、あらかじめ形状既知の基準物体を撮像する等の校正処理を実行しておくことにより、前記狭範囲撮像部制御部の制御状態(液体レンズへの入力電圧情報や、エンコーダセンサ等を用いることで検出可能な機械的に移動するレンズの現在位置情報)と対応付けることが可能である。すなわち上述の被写界深度の深い狭範囲撮像画像を生成する処理と、上記の焦点位置情報とに基づき、観察部位の三次元形状を取得することが可能である。
もし、被写界深度が拡大された狭範囲撮像画像を生成するために連続的に撮像する複数の画像にブレが生じていると、上述の(2)の処理において、極大値が複数回存在することなどによって、計測される三次元形状が歪んだりノイズが生じたりするおそれがあるが、本発明においてはブレが補正された狭範囲撮像画像に基づいて三次元形状を計測する処理が行われるため、上述のノイズ等の問題は解消され、より高精度な三次元形状を計測することが可能となる。
この発明により、狭範囲撮像手段で鮮明で被写界深度の深い狭範囲撮像画像を撮像することで、撮像箇所の三次元形状も精度よく得ることができる。
またこの発明の態様として、前記観察部位が口腔内における所望の部位であり、前記三次元位置検出部は、噛合紙によって口腔内の歯の表面に着色された複数の着色箇所を前記広範囲画像内で検出することによって前記観察部位の三次元位置を検出する構成であってもよい。
この発明により、口腔内に特徴点を形成できるため、例えば、ボールマーカーなどの特徴点となる別部材を設ける必要がなく、そのための患者の苦痛を低減させつつも、精度よく三次元位置を検出することができる。
またこの発明の態様として、前記画像表示部が、観察者の頭部に装着する頭部装着型の画像表示部で構成されてもよい。
上記頭部装着型の画像表示部は、ヘッドギアタイプ、ヘルメットタイプ、サンバイザータイプ、バンドタイプ、観察者が視力矯正等のために普段使用している一般のメガネのフレームに対してクリップで装着するタイプなど、頭部に少なくとも接眼部を装着できる様々なタイプとすることができる。
この発明により、頭部の移動を制限されることなく自由な位置にて、ブレが補正された前記狭範囲撮像画像を表示させて、観察することができる。
またこの発明は、上述の観察装置と、前記観察装置の少なくとも前記狭範囲撮像部を支持する支持部が備えられた観察ユニットであることを特徴とする。
この発明により、支持部に支持された状態の前記観察装置で観察者の頭部への負担のない状態でブレが補正された前記狭範囲撮像画像を表示させて、観察することができる。
上記支持部は、天井、壁、床、スタンドやワゴンやラック、あるいは医療用診療台、スピットン台、医療用ロボット又はその他の医療機器等から延びる支持アーム等としてもよい。
またこの発明の態様として、前記支持部に支持された前記観察装置の少なくとも前記狭範囲撮像部が前記観察部位に対して移動可能に、前記支持部を構成してもよい。
例えば、前記支持部を、可動する関節部を有する支持アームで構成することで、観察者は該関節部を曲げることにより、支持部が移動、すなわち支持された観察装置を観察部位に対して移動することができ、所望の位置からの観察が可能となる。
この発明により、前記支持部を観察部位に対して適切な位置に配置してから観察できるため、より詳細に観察することができる。
またこの発明の態様として、ブレが補正された前記狭範囲撮像画像を少なくとも表示する表示装置が備えられてもよい。
上記表示装置は、例えば、前記支持部や壁や天井等、観察装置本体とは別の位置に設けられてもよいし、複数の表示装置が設けられてもよい。
この発明により、観察者が様々な位置に移動する場合や、観察者が複数いる場合であっても、画像表示部とは別の表示装置で、さまざまな視点位置からブレが補正された前記狭範囲撮像画像を表示させて、観察することができる。例えば、歯科診療において、被観察者である患者から見ることができる位置に表示装置を配置することで、診療状況の患者への説明や、インフォームドコンセントなどに有効である。
またこの発明の態様として、前記表示装置が、観察者の頭部に装着する頭部装着型表示装置で構成されてもよい。
上記頭部装着型表示装置は、ヘッドギアタイプ、ヘルメットタイプ、サンバイザータイプ、バンドタイプ、メガネタイプ、観察者が視力矯正等のために普段使用している一般のメガネのフレームに対してクリップで装着するタイプなど、頭部に少なくとも接眼部を装着できる様々なタイプとすることができる。
この発明により、頭部の移動を制限されることなく、ブレが補正された前記狭範囲撮像画像を表示させて、観察することができる。
本発明により、狭範囲の観察部位を、ブレを抑制して精密に観察できる観察装置、観察ユニット及び観察方法を提供することができる。
拡大鏡の構成説明図。 診療ユニットの概略斜視図。 拡大鏡の拡大概略斜視図。 拡大鏡における光学構成の概略構成図。 広範囲光学系と狭範囲光学系の説明図。 広範囲光学系と狭範囲光学系の説明図。 広範囲光学系と狭範囲光学系の説明図。 広範囲光学系と狭範囲光学系の説明図。 表示画面の概略図。 拡大鏡による観察方法のフローチャート。 観察部位の三次元位置計測のためのマーキング方法の説明図。 全焦点拡大鏡の概略図。 全焦点拡大鏡による観察状況の概略図。 全焦点拡大鏡による全焦点観察方法の詳細説明図。
以下、本発明による拡大鏡1について、図1乃至図14とともに説明する。
図1は拡大鏡1及び全焦点拡大鏡1fの構成説明図を示しており、図2は診療ユニットXの概略斜視図を示しており、図3は拡大鏡1の拡大概略斜視図を示しており、図4乃至図8は広範囲光学系Wと狭範囲光学系Nの説明図を示しており、図9は表示画像Pの概略図を示しており、図10は拡大鏡1による観察方法のフローチャートを示しており、図11は観察部位の三次元位置計測のためのマーキング方法についての説明図を示している。
また、図12は全焦点拡大鏡1fの概略図を示しており、図13は全焦点拡大鏡1fによる観察状況の概略図を示しており、図14は全焦点拡大鏡1fによる全焦点観察方法の詳細説明図を示している。
詳述すると、図1(a)は拡大鏡1の構成ブロック図を示しており、図1(b)は全焦点拡大鏡1fの構成ブロック図を示している。図4は、狭範囲光学系Nと広範囲光学系Wとが別々に設けられた拡大鏡1における光学構成の概略構成図を示している。
図5(a)及び(b)はそれぞれ共通光路である共通レンズ61及びウェッジプレート61aにより別々に設けられた狭範囲光学系Nと広範囲光学系Wとが先端側で共通化した拡大鏡1aにおける光学構成の概略構成図を示しており、図6(a)及び(b)は共通光路であるビームスプリッタ62により狭範囲光学系Nと広範囲光学系Wとが先端側で共通化した拡大鏡1bにおける光学構成の概略構成図を示している。
図7(a)は狭範囲光学系Nと広範囲光学系Wとが別々に設けられ、共通イメージセンサ64を備えた拡大鏡1cの光学構成の概略構成図を示しており、図7(b)は別々に設けられた狭範囲光学系Nと広範囲光学系Wとがそれぞれ二系統で構成された拡大鏡1dにおける光学構成の概略構成図を示している。
図8(a)は別々に設けられた狭範囲光学系Nと広範囲光学系Wに対して共通の投影部70が設けられた拡大鏡1における光学構成の概略構成図を示しており、図8(b)は別々に設けられた狭範囲光学系Nと広範囲光学系Wに対して投影部70がそれぞれ設けられた拡大鏡1eにおける光学構成の概略構成図を示しており、図14は全焦点拡大鏡1fを用いて全焦点観察方法によって観察対象である歯牙Tを観察する際のステップを概略的に図示している。
診療ユニットXは、図2に示す歯科診療装置200と、観察装置に相当する拡大鏡1とともに使用される観察ユニットYとで構成されている。
歯科診療装置200は、図2に示すように、診療器具213(213a〜213e)を備えた器具台210と、施術対象である患者を載せて治療を行うための診療台220とで構成している。
器具台210は、診療台220にアームを介して回動可能に取付けたテーブル211の手前側に器具ホルダ212を備え、器具ホルダ212にエアータービンハンドピース、マイクロモータハンドピースなどの切削工具やスケーラ、スリーウエイシリンジ、バキュームシリンジなどで構成する診療器具213(213a〜213e)を着脱可能に取付けている。
また、診療器具213は、水供給源、エア供給源やエア吸引部に接続されて駆動するが、これらの機構については公知であるため、詳細な説明は省略する。
また、各種操作の入力するフートコントローラ214を備えているが、フートコントローラの機構については公知であるため、詳細な説明は省略する。
患者を載せる診療台220は、図2に示すように、基台221に昇降可能に載置された座部シートと、その座部シートの後方に連接された傾動可能な背板シート223と、その背板シート223の上端に連接された傾動可能なヘッドレスト224とを備え、これらを診療状況に応じた最適位置に制御するため座部シート昇降部、背板シート傾倒部、ヘッドレスト傾倒部が設けられ、フートコントローラ214によって操作制御された油圧シリンダや電動モータ等の駆動によって駆動するように構成している。
また、診療台220には、スピットン225及び治療用スタンドポール230が付設され、治療用スタンドポール230には、途中より分岐し、回動可能に突出させたアーム231と上端に後述する支持アーム300が備えられている。
また、治療用スタンドポール230には、拡大鏡1とともに観察ユニットYを構成するモニタ240が設けられている。
なお、スピットン225は、口腔内を濯ぐ際などに給水する給水栓と、排唾鉢とを備えている。更に、患者の背中又は腹部では診療台220に配設された電気系路、油圧系路又はエア系路等と接続する接続部(不図示)が設けられている。
また、位置調整可能な支持アーム300(支持部に相当)によって拡大鏡1が支持されている。なお、支持アーム300と拡大鏡1とで観察ユニットYを構成している。
支持アーム300は、診療台220に付設された治療用スタンドポール230の上端に対して回動可能に設けられ、複数のアーム301がそれぞれ可動できるように複数の関節部301aで連結された多関節アーム式であり、支持アーム300の先端に装着された拡大鏡1を、所望の位置に移動可能に構成されている。
また、支持アーム300は、診療台220に付設された治療用スタンドポール230に設けられずとも、天井、壁、あるいは床から延びるように構成されてもよいし、治療用スタンドポール230とは別のスタンドやワゴンやラックに設けられてもよい。さらには、医療用診療台、スピットン台、医療用ロボットやその他の医療機器等から延びるように構成されてもよい。
このように構成された歯科診療装置200とで診療ユニットXを構成する拡大鏡1は、図1(a)及び図3に図示するように、拡大鏡本体10と、拡大鏡本体10に沿うように設けられた広範囲撮像装置20とで構成されている。
広範囲撮像装置20は、拡大鏡本体10の筐体10aに固定された筐体20aの内部にイメージセンサで構成する広範囲カメラ21と、観察対象である歯牙Tを含む広範囲で撮像するためのレンズ等で構成する広範囲光学路22(図4参照)とを備えている。
広範囲カメラ21は、撮像する画像の解像度が後述の狭範囲カメラ30で撮像した画像の解像度に比べて低解像度であるものの、図3に図示するように、広範囲光学路22によって、狭範囲カメラ30が撮像する狭撮像範囲Anを含む広い範囲である広撮像範囲Awを撮像可能に広範囲カメラ21が配置されている。また、広範囲カメラ21は、図示省略する通信部によって制御部50に接続されている。
また、広範囲カメラ21は、歯牙Tや広撮像範囲Awの三次元位置を撮像可能な立体カメラで構成している。
なお、図4に図示する広範囲カメラ21は、例えば、1眼タイプの立体カメラであり、例えば、三角法、合焦法、Time of Flight法、RGB−D(Distance)カメラ、ライトフィールドカメラなどの公知の三次元計測原理を採用した三次元カメラで構成することができる。
また、広範囲カメラ21とは別の三次元計測器を広範囲撮像装置20の内部または外部に組み込み、別の三次元計測器を用いて歯牙Tや広撮像範囲Awの三次元位置情報を取得し、立体的な撮像画像を得る構成であってもよい。また、両眼タイプ(ステレオカメラ)や、3眼以上の多眼タイプ等、3つ以上の角度で撮像した撮像画像に基づいて立体的な撮像画像を得る構成の多系統の光学路を有するカメラであってもよい。
なお、図3において、広範囲カメラ21は単一の筐体21aであるように描かれているが、例えば、両眼タイプや多眼タイプの立体カメラの場合には、ひとつの筐体21aの内部に複数系統のカメラを備えてもよいし、カメラの系統別にそれぞれ筐体を有していてもよい。
また、図3に示す筐体20aのように拡大鏡本体10の筐体10aと別体で構成するのではなく、拡大鏡本体10と同一の筐体10aに広範囲カメラ21を備えるように構成してもよい。
また、拡大鏡本体10は、接眼部11と対物部12とを有する筐体10aの内部において、対物部12に対応して配置された狭範囲カメラ30と、歯牙Tを高精度で撮像するためのレンズ等で構成する狭範囲光学路31(図4参照)と、接眼部11に対応して配置された画像表示部40と、制御部50とで構成されている。
また、筐体10aには、拡大鏡1を所望の位置に移動させる、つまり多関節アーム式である支持アーム300を構成する各アームの関節部301aを可動させるために観察者が把持するハンドル13が備えられている。なお、筐体10aには、上述の構成の他、拡大鏡1を起動するための起動スイッチや、接眼部11の位置を調整するアジャスタ等が備わっていてもよい(図示省略)。
狭範囲カメラ30は、イメージセンサで構成されており、対物部12に対応して配置された狭範囲光学路31によって規定される観察範囲は、図3に図示するように狭範囲(狭撮像範囲An)であるものの、撮像した画像の解像度が上述の広範囲カメラ21で撮像した画像の解像度に比べて高解像となるよう構成されている。すなわち狭範囲カメラ30は、狭範囲光学路31によって歯牙Tを高解像度で狭範囲撮像画像を撮像して観察することができる。
狭範囲カメラ30は、歯牙Tを立体的に撮像する立体カメラで構成してもよい。この場合、左右の眼の視差を利用して観察する両眼タイプ(双眼タイプ)であっても1眼タイプであってもよい。なお、狭範囲カメラ30は、図示省略する通信部によって後述する制御部50に接続されている。
画像表示部40は、上述したように接眼部11に対応して配置されており、狭範囲カメラ30で撮像した歯牙Tの撮像画像を表示することができる。そのため、観察者は、狭範囲カメラ30で撮像され、画像表示部40に表示された歯牙Tの撮像画像を、接眼部11を介して観察することができる。
なお、画像表示部40は、撮影した画像情報を表示する液晶ディスプレイや有機ELディスプレイ等や、スクリーンに映像を投影するタイプ、あるいはレーザ走査によって観察者の網膜に映像を書き込むタイプ等であってもよく、さらには、立体カメラで撮像された立体撮像画像を立体的に表示できるタイプ等であってもよい。
また、左右の接眼部11、すなわち右目用の接眼部11と左目用の接眼部11に対してそれぞれ画像表示部40を設けてもよいし、共通の画像表示部40を左右の接眼部11から見えるように構成してもよい。
なお、画像表示部40は図示省略する通信部によって制御部50に接続されている。
制御部50は、CPUとROMとRAM等で構成されており、画像生成部51、三次元位置算出部52、及びブレ補正処理部53などの機能構成を備えている。
画像生成部51は、少なくとも狭範囲カメラ30で撮像した撮像画像に基づき、画像表示部40で表示する表示画像を生成する構成である。例えば、画像生成部51によって、図9(a)に図示するような表示画像Pを画像表示部40に表示することができる。なお、図9(a)に図示する表示画像Pは、狭範囲カメラ30で撮像した撮像画像を表示する狭範囲観察画像表示Pnと、広範囲カメラ21で撮像した撮像画像を表示する広範囲観察画像表示Pwとを並列して表示したものとなっている。
広範囲観察画像表示Pwは、表示領域の大きさは狭範囲観察画像表示Pnに比べて小さく、解像度も低いものの、例えば、歯列弓全体など歯牙Tを含む広範囲を観察可能に表示している。
これに対し、狭範囲観察画像表示Pnは、表示領域の大きさは広範囲観察画像表示Pwに比べて大きく、解像度も高いが、歯牙T付近のみが観察可能に表示している。
なお、図9(a)では、狭範囲観察画像表示Pnと広範囲観察画像表示Pwとを並列して表示しているが、狭範囲観察画像表示Pnだけを表示画像Pに表示し、フートコントローラ214などを用いた所定の操作によって、狭範囲観察画像表示Pnと広範囲観察画像表示Pwとを切り替えて表示するように構成してもよいし、自動的に切り替わるように構成してもよい。さらには、狭範囲観察画像表示Pnと広範囲観察画像表示Pwとを並列して表示した後に狭範囲観察画像表示Pnのみが表示され、その後広範囲観察画像表示Pwに切り替わるように構成してもよい。
また、両画像表示Pw,Pnは、フートコントローラ214やマウス等の入力手段の操作によってそれぞれの表示サイズや表示濃度等を変更できるにしてもよい。また、両画像表示Pw,Pnは一部もしくは全部が重なって表示されていてもよい。
三次元位置算出部52は、広範囲カメラ21で撮像した広撮像範囲Awの撮像画像(広範囲撮像画像)より、歯牙Tの三次元位置を算出するとともに、相対位置変化を検出する構成である。なお、歯牙Tの三次元位置を算出する三次元位置算出部52では、絶対三次元位置を算出してもよいが、少なくとも、狭範囲カメラ30と一体構成された広範囲カメラ21に対する相対三次元位置を算出すればよい。
具体的には、三次元位置算出部52は、連続的に撮像した広範囲撮像画像のうち、現在撮像された広範囲撮像画像と、それよりも過去のタイミングで撮像した少なくとも1枚の広範囲撮像画像とを比較し、撮像画像内の特徴的な箇所(特徴点)がどのような運動をしているかをテンプレートマッチングや特徴点マッチング等の手法を適用することによって各時刻での三次元位置と、前時刻からの三次元位置の変化量とを検出する。
なお、前記特徴点は、少なくとも3点あればよく、歯牙Tを含む歯列の特徴的な部位や、歯列に対して剛体的に装着したボールマーカーなどの特徴点としてよい。また、前記特徴点は、広範囲カメラ21が二系統で構成されたステレオカメラである場合には、各系統の広範囲カメラ21で撮像した画像内の二次元的な特徴点をステレオマッチング処理することで三次元位置の算出が可能である。
あるいは、広範囲カメラ21が立体カメラであり、歯列の三次元的な表面形状を演算でき、前記演算された三次元的な表面形状における三次元的な特徴点を採用してもよい。
また、歯科診療のように、仰向けの状態で姿勢が概ね固定され患者の口腔内を、略上方から拡大鏡1で観察する場合には、ブレがあったときに観察の阻害となるのは、上下方向(すなわち歯牙Tから拡大鏡1に向かう直線方向)のブレよりも、上下以外の方向のブレのほうが支配的であることが多い。
その際には、三次元位置算出部52で算出する相対三次元位置は、上下方向の相対位置の移動を無視し、上下以外の方向のみを考慮した二次元の相対位置と近似しても差し支えがなく、三次元位置算出部52での演算負荷を軽減することができる。またその場合、特徴点の必要数は2点以下とすることができる。
ブレ補正処理部53は、三次元位置算出部52で算出した歯牙Tの三次元位置の変化を検出し、三次元位置の相対位置変化によって狭範囲カメラ30が撮像する高解像度の撮像画像に生じるブレを、検出した三次元位置の変化に基づいて補正処理する構成である。
検出した歯牙Tの三次元位置の変化に基づいて狭範囲カメラ30が撮像する高精度の狭範囲撮像画像に生じるブレを補正する処理方法としては、例えば、狭範囲撮像画像に対して、画素値の平行移動や回転移動や拡大縮小処理などの画像処理を施してブレを補正する。
ブレを補正する他の方法としては、狭範囲撮像画像にブレが生じないように三次元相対位置の変化を解消する方向に拡大鏡本体10の全体、あるいは、狭範囲カメラ30及び狭範囲光学路31の一部を移動させてもよいし、これらを組み合わせてもよい。また、上述の画像処理と狭範囲カメラ30等の移動とを組み合わせてブレを補正してもよい。
なお、拡大鏡本体10の全体あるいは狭範囲カメラ30の狭範囲光学路31などの一部を移動するための方法としては、例えば、アクチュエータを用いて拡大鏡本体10、狭範囲カメラ30及び狭範囲光学路31の少なくとも一部を機械的に移動する方法や、屈折率や形状が電気的な制御により可変できる可変レンズ・可変プリズムや空間光変調器などを用いて光軸を光学的に移動する方法などを適用することができる。
このように各要素が構成された拡大鏡1は、図4に示すように、広範囲カメラ21及び広範囲光学路22で構成する広範囲光学系Wと、狭範囲カメラ30及び狭範囲光学路31で構成する狭範囲光学系Nとが別々で構成された拡大鏡を構成している。
そして、拡大鏡1を用いて歯牙Tを観察するためには、図10に示すフローチャートに示すように、まず、狭範囲光学系Nと広範囲光学系Wとで歯牙Tを撮像し(ステップs1)、撮像画像に基づいて生成された表示画像を画像表示部40に表示する(ステップs2)。
具体的には、狭範囲光学路31を介した歯牙Tの撮像画像を狭範囲光学系Nの狭範囲カメラ30で撮像するとともに、広範囲光学路22を介した歯牙Tの撮像画像を広範囲光学系Wの広範囲カメラ21で撮像する(ステップs1)。
このとき、狭範囲カメラ30では歯牙Tを含む狭範囲の光学像(狭範囲撮像画像)を高解像度で撮像し、広範囲カメラ21では歯牙Tを含む広範囲の光学像(広範囲撮像画像)を低解像度で撮像する。そして、各撮像画像を検出した狭範囲カメラ30及び広範囲カメラ21は図示省略する通信部によって接続された制御部50の画像生成部51に撮像画像情報を出力し、画像生成部51によって例えば、表示画像Pのような表示画像を生成し、制御部50に接続された画像表示部40に表示する(ステップs2)。
そして、三次元位置算出部52により、広範囲カメラ21によって検出された広範囲撮像画像に基づいて歯牙Tの三次元位置を算出する(ステップs3)。このとき、歯牙Tの広範囲カメラ21に対する相対移動を検出すると(ステップs4:Yes)、ブレ補正処理部53によって歯牙Tの相対移動に応じてブレが生じる狭範囲カメラ30が撮像した狭範囲撮像画像に対してブレを解消するブレ補正処理を施し(ステップs5)、ブレ補正処理が施された表示画像を狭範囲観察画像表示Pnのように画像表示部40に表示する。これを観察が終了するまで繰り返し(ステップs6:No)、観察終了(ステップs6:Yes)によって当該フローを終了する。
なお、フートコントローラ214やマウス等の入力手段の操作によって、ブレを補正する動作のON/OFF状態を切り替えられるように構成してもよい。
例えば、ハンドル13を観察者が把持して拡大鏡1を所望の観察位置にまで移動している最中などは、補正可能限界を超える量の前記三次元相対位置の変化が発生し得るため、ブレ補正を行わない方が有利である。
また、上記のような手動による方法で上記ON/OFF状態の切り替え操作を行うのではなく、前記三次元相対位置の変化量の履歴から振動周波数、振動振幅、などのパラメータを計算し、パラメータに応じて、上記ON/OFF状態が自動的に切り替わるように構成してもよい。
このように、歯牙Tをカメラ30,21で撮像して観察する拡大鏡1において、歯牙Tを狭撮像範囲Anで撮像する狭範囲カメラ30と、歯牙Tを広撮像範囲Awで撮像する広範囲カメラ21とを備え、広範囲カメラ21で撮像した広範囲撮像画像に基づいて、少なくとも歯牙Tを含む観察対象の三次元位置を検出する三次元位置算出部52と、三次元位置算出部52によって三次元位置が検出された歯牙Tと、狭範囲カメラ30との三次元相対位置の変化に基づいて、狭範囲カメラ30で撮像した狭範囲撮像画像のブレを補正するブレ補正処理部53と、ブレが補正された狭範囲撮像画像を少なくとも表示する画像表示部40とを備えているため、狭撮像範囲Anの歯牙Tを、ブレを抑制して精密に観察することができる。
詳述すると、歯牙Tと狭範囲カメラ30との三次元相対位置に変化が生じると、狭範囲カメラ30が撮像する狭範囲撮像画像にブレが生じるが、広範囲カメラ21で撮像した広範囲撮像画像に基づいて算出した、少なくとも歯牙Tの三次元位置と、狭範囲カメラ30との三次元相対位置の変化によって生じる狭範囲撮像画像のブレを補正するため、ブレのない鮮明な狭範囲撮像画像を得ることができる。したがって、狭撮像範囲Anの歯牙Tを精密に観察することができる。
また、広範囲カメラ21によって、歯牙Tを広撮像範囲Awに撮像できるため、狭範囲カメラ30で観察している箇所を含む広撮像範囲Awを観察することができる。
また、ブレが補正された狭範囲撮像画像を少なくとも表示する画像表示部40とが備えられているため、視野の狭い狭範囲撮像画像と、視野の広い広範囲撮像画像とを合わせ見ながら、精密かつ包括的な観察を行うことができる。
つまり、広範囲撮像画像と狭範囲撮像画像とを画像表示部40に並べて表示したり、切り替えて表示したりして同時に表示することで、狭撮像範囲Anの部位を精密に観察しながらも、広撮像範囲Awの視野の中での現在の着目位置を同時に確認でき、操作性や安全性が向上する。
例えば、観察者が拡大鏡1にて歯牙Tを観察しながら、診療器具213として歯牙Tを切削するための歯科用タービンを使用する場面を考えたとき、観察者は狭範囲観察画像表示Pnばかりに着目していると、歯科用タービンの位置が狭撮像範囲Anから外れてしまった場合に、見えなくなってしまった歯科用タービンの鋭利な先端バーが、意図せず患者の口腔内や皮膚に触れ、傷付けてしまう虞があったが、上記のような包括的な観察が可能な構成としたことで、仮に、歯科用タービンの位置が狭撮像範囲Anから外れてしまった場合であっても、患者の歯牙T周辺の広撮像範囲Awを撮像した広範囲観察画像表示Pwに映っている歯科用タービンの位置を視認することができ、患者を傷付けないよう歯科用タービンを操作することが可能となるため、安全性が向上する。
このように、広範囲カメラ21は、部品点数を増やすことなく同じカメラにより、ブレ補正処理に必要な歯牙Tの三次元位置情報を取得するためのカメラとして機能するだけでなく、上述のような包括的観察にも活用できるという相乗効果を奏することができる。
また、ブレの原因となる機械的な振動が許容されるため、支持アーム300で拡大鏡1を支持する場合であっても、剛性の低い、すなわち小型・軽量・低コストな構成で支持アーム300を構成することができる。
また、上述の拡大鏡1を支持する支持アーム300が備えられ、支持アーム300に支持された状態の拡大鏡1で負担なく観察することができる観察ユニットYとして説明したが、支持アーム300は、関節部301aを可動させることによって支持した拡大鏡1が歯牙Tに対して移動可能に構成されているため、支持アーム300を歯牙Tに対して適切な位置に配置してから拡大鏡1で観察できるため、より詳細に観察することができる。
なお、三次元位置算出部52によって三次元位置が検出された歯牙Tと、狭範囲カメラ30との三次元相対位置は、広範囲撮像画像に基づいて検出された歯牙Tの三次元位置と広範囲カメラ21に対する既知の狭範囲カメラ30の三次元位置とに基づいて算出しているが、広範囲撮像画像に狭範囲カメラ30や拡大鏡本体10も映り込むように広範囲撮像装置20を配置するとともに、歯牙Tとともに狭範囲カメラ30や拡大鏡本体10が映り込む広範囲撮像画像に基づいて歯牙T及び狭範囲カメラ30の各三次元位置や三次元相対値を算出してもよい。
なお、上述の説明では、図4に示すように狭範囲光学系Nと広範囲光学系Wとを別々に構成した拡大鏡1について説明したが、狭範囲光学系Nと広範囲光学系Wについて様々な形態で構成することできる。
例えば、図5(a)に示すように、広範囲カメラ21と広範囲光学路22とで構成する広範囲光学系Wと、狭範囲カメラ30と狭範囲光学路31とで構成する狭範囲光学系Nとを別々で構成するものの、広範囲光学路22及び狭範囲光学路31を透過する撮像画像がともに透過する共通レンズ61を備えた拡大鏡1aであってもよい。
なお、このような拡大鏡1aは、図3に示すような拡大鏡本体10の筐体10aに対して別体で広範囲撮像装置20を設けた拡大鏡1と異なり、狭範囲カメラ30及び狭範囲光学路31に加え、広範囲カメラ21及び広範囲光学路22も筐体10aに内蔵し、共通レンズ61を対物部12に備えることで構成することができる。
なお、図5(a)において、共通レンズ61は単一のレンズとして描かれているが、他の形態であってよい。例えば、複数の要素レンズで構成されたレンズシステムであったり、ミラー、光学フィルタ、偏光素子、カバーガラス等のその他の光学素子であったり、あるいは上記の組み合わせで構成された光学系であってもよい。
特に、共通レンズ61を構成する上記光学系が等価的にレンズとみなせる場合(合成焦点距離が規定できる場合)、図5(a)に示すように、光軸(カメラ21,30から歯牙Tへと向けられる矢印)の方向を歯牙Tに向けて屈折させることができ、共通レンズ61よりもカメラ21,30に近い側の光軸を筐体に対して平行に配置することが可能となる。
図4のように両光軸を斜めに配置する場合と比べ、広範囲光学系Wや狭範囲光学系Nを筐体に保持するための部品の設計や組立工程を簡素することができるなどの効果が生じる。また、カメラ21,30を配置する面が同一となるよう配置することによって、カメラ21,30を構成するイメージセンサを同一の電子基板上に実装でき、小型・部品点数削減・組立簡素化を図ることができる。
また、図5(b)のように共通レンズ61の代わりに、複数の斜面を有するウェッジプレート61aを用いて拡大鏡1aを構成しても同様の効果が得られる。また、該ウェッジプレート61aは単一の素子であるように図示しているが、例えば、単一の斜面を有するウェッジプレートを複数組み合わせることでウェッジプレート61aを構成してもよい。また、共通レンズ61やウェッジプレート61aを、ミラーやペンタプリズムなどその他の屈折作用のある素子で置換または組み合わせて構成することで、同様の光軸を屈折させる効果が得られることは言うまでもない。
このように構成された拡大鏡1aは、対物部12から入光した歯牙Tの光学像は共通レンズ61を透過した後、広範囲光学系Wを構成する広範囲光学路22を透過して広範囲カメラ21で撮像するとともに、狭範囲光学系Nを構成する狭範囲光学路31を透過して狭範囲カメラ30で撮像することで観察することができる。そして、拡大鏡1aは、上述のような拡大鏡1の効果を奏するとともに、拡大鏡1に比べ、筐体20aを不要としており、また、レンズ、ミラー、光学フィルタ、偏光素子、カバーガラス等の光学素子を共通化することで、個別に上記光学素子を各光学系N,Wに設ける場合に比べ、部品点数を低減でき、拡大鏡1aをコンパクトに構成することができる。
このように、共通レンズ61やウェッジプレート61aを備えた拡大鏡1aは、共通レンズ61やウェッジプレート61aによって狭範囲光学系Nや広範囲光学系Wの少なくとも一部が共用されるため、構造を簡素化することができ、コンパクトな拡大鏡本体10を構成することができる。
また、図5に示した共通レンズ61やウェッジプレート61aの代わりに、図6に示すようにビームスプリッタ62を備えるとともに、ビームスプリッタ62と対物部12との間にレンズ等で構成する共通光学路63を備えて拡大鏡1bを構成してもよい。
このように構成された拡大鏡1bは、対物部12から入光した歯牙Tの光学像は共通光学路63を透過した後、ビームスプリッタ62で狭範囲光学系Nと広範囲光学系Wとに分離され、広範囲光学系Wを構成する広範囲光学路22を透過して広範囲カメラ21で撮像するとともに、狭範囲光学系Nを構成する狭範囲光学路31を透過して狭範囲カメラ30で撮像することで観察することができる。そして、拡大鏡1bは、上述のような拡大鏡1の効果を奏するとともに、拡大鏡1に比べて、コンパクトに構成することができる。
また、図6(a)に示したようにビームスプリッタによる光学系N,Wの分離角が90°であるため、図4に図示する拡大鏡1の光学系のように、光学路やイメージセンサといった部品を斜めに配置する必要が無くなり、固定部品の設計や組立を簡素化することができる。
また、図6(a)では光学系N,Wが90°に分離される例を図示しているが、例えば、図6(b)に示すようにビームスプリッタ62で光学像の進行方向を、90°に分離した後に、分離された一方の光学像を、ミラー62aなどを用いて、進行方向をもう一度逆方向に90°曲げることで、分離後の各光学系N,Wを平行に配置するように構成してもよい。この場合、カメラ21,30を構成するイメージセンサを同一の電子基板上に実装でき、小型、組立容易、部品点数削減を図ることができる。
このように、ビームスプリッタ62やミラー62aを備えた拡大鏡1bは、ビームスプリッタ62やミラー62aによって狭範囲光学路31と広範囲光学路22との少なくとも一部を共用できるため、構造を簡素化することができ、コンパクトな拡大鏡本体10を構成することができる。
さらには、図7(a)に示すように、広範囲カメラ21と広範囲光学路22とで構成する広範囲光学系Wと、狭範囲カメラ30と狭範囲光学路31とで構成する狭範囲光学系Nとを別々で構成するものの、広範囲カメラ21と狭範囲カメラ30とをひとつの共通イメージセンサ64で構成した拡大鏡1cであってもよい。
このとき、共通イメージセンサ64を、広範囲カメラ21における領域と、狭範囲カメラ30における領域とに分けて使用することでひとつのイメージセンサで広範囲カメラ21と狭範囲カメラ30としての機能を実現することができる。
この拡大鏡1cも、別々の電子基板が必要であった図4に図示の拡大鏡1の構成に比べ、ひとつの電子基板にて広範囲の撮像と狭範囲の撮像とを実現できるため、部品点数を削減でき、小型・組立簡素化を図ることができる。
このように構成された拡大鏡1cは、対物部12から入光した歯牙Tの撮像画像は、広範囲光学系Wを構成する広範囲光学路22を透過し、共通イメージセンサ64における広範囲カメラ21として機能する領域で撮像するとともに、狭範囲光学系Nを構成する狭範囲光学路31を透過して狭範囲カメラ30として機能する領域で撮像することで観察することができる。
このように構成された拡大鏡1cは、拡大鏡1による効果及び拡大鏡1aによる効果を奏するとともに、共通イメージセンサ64で狭範囲カメラ30と広範囲カメラ21との機能を実現しているため、狭範囲カメラ30と広範囲カメラ21との相対位置が変化しないため、広範囲カメラ21によって検出された広範囲撮像画像に基づく歯牙Tの三次元位置の変化に対して狭範囲カメラ30が撮像した狭範囲撮像画像のブレ補正を正確に行うことができる。なお、拡大鏡1aに備えた共通レンズ61やウェッジプレート61a、または拡大鏡1bに備えたビームスプリッタ62及びミラー62aを拡大鏡1cに備えてもよい。
また、狭範囲光学系Nと広範囲光学系Wとを左眼用と右眼用とにそれぞれ二系統を設けてもよい。狭範囲光学系Nと広範囲光学系Wとをそれぞれ二系統設けた拡大鏡1dは、図7(b)に示すように、広範囲カメラ21及び広範囲光学路22を左眼用と右眼用とにそれぞれ二つずつ設け、狭範囲カメラ30及び狭範囲光学路31も左眼用と右眼用とにそれぞれ二つずつ設けることで構成することができる。
これにより、広範囲撮像装置20及び狭範囲カメラ30を双眼タイプの立体カメラで構成することができるため、拡大鏡1dは、広範囲カメラ21及び狭範囲カメラ30の両方ともを、視差を利用して歯牙Tを立体的に観察することができる立体カメラ(ステレオカメラ)として構成できる。これにより、表示部40に表示する画像表示Pn,Pwの両方を、観察者は立体視することができるため、包括的観察及び精密な観察の両方において観察の際の操作性や満足度を向上することができる。
なお、拡大鏡1dにおける左右それぞれの狭範囲光学系N及び広範囲光学系Wにおいて、拡大鏡1aのように共通レンズ61やウェッジプレート61aを設けてもよいし、拡大鏡1bのようにビームスプリッタ62やミラー62aと共通光学路63とを設けてもよい。これにより、拡大鏡1dは、拡大鏡1aや拡大鏡1bと同様の効果を奏することができる。
さらには、拡大鏡1dにおける左右それぞれの狭範囲光学系Nの狭範囲カメラ30と広範囲光学系Wの広範囲カメラ21とを、拡大鏡1cのように共通イメージセンサ64で構成してもよい。これにより、拡大鏡1dは、拡大鏡1cと同様の効果も奏することができる。
なお、拡大鏡1dのように狭範囲光学系N及び広範囲光学系Wの両方とも二系統で構成してもよいが、狭範囲光学系N及び広範囲光学系Wのうちいずれかを二系統で構成し、もう一方を一系統で構成してもよい。
また、図8(a)に示すように、拡大鏡1に対して、少なくとも歯牙Tを照らす投影部70を設けてもよい。具体的には、投影部70は、歯牙Tに対して投影光Lを投影する。ここでは、狭範囲撮像領域に対応する範囲を照らすように投影光Lの照明範囲を設定している。例えば、図8(a)のように狭範囲カメラの最適な焦点位置にてカメラの光軸と、投影光の光軸とが交差するよう配置することで実現される。
なお、投影光Lは、拡大鏡1を使用している間、常時点灯していてもよいし、所定のタイミングで点滅するように構成してもよい。
また、投影光Lは、例えば、格子状等のパターンを含むパターン投影光Laとしてもよい。これにより、例えば、広範囲カメラを三次元的な表面形状を演算できる立体カメラ(例えば、パターン投影型の三角法に基づく立体カメラ)とし、三次元位置算出部52が上記表面形状の三次元的な特徴点の三次元位置を算出する際の精度や、後述する全焦点狭範囲撮像画像を生成する際の精度が向上する。
また、上記投影光L,Laの照明範囲は、狭撮像範囲Anだけでなく、狭撮像範囲Anを含む広撮像範囲Awとしてもよい。この場合、照明範囲のうち、狭撮像範囲Anと広撮像範囲Awとで、明るさや、色、パターン投影光Laのパターンの形態を変えるなど照明状態を区別するのが有利である。
例えば、広範囲カメラ21と狭範囲カメラ30とで、撮像する範囲や絞り値やシャッタスピード等、露光感度を規定するパラメータが異なっている場合に、カメラに応じて適切な光量や色を設定するのがよい。また、広範囲カメラ21が三次元的な表面形状を演算するためのアルゴリズムや、後述する全焦点狭範囲撮像画像を生成するアルゴリズムに応じて、狭撮像範囲Anと広撮像範囲Awとで、パターン投影光Laのパターンの形態を区別するのがよい。
このように投影部70を備えることによって、狭範囲カメラ30で明るい狭範囲撮像画像を撮像できるとともに、狭範囲カメラ30で撮像する狭範囲撮像画像に対応する狭撮像範囲Anが明るく表示されるため、広範囲カメラ21で撮像する広範囲撮像画像において狭撮像範囲Anを明示することができる。
また、狭撮像範囲Anだけでなく、狭撮像範囲Anを含む広撮像範囲Awを照明する場合であっても、狭撮像範囲Anと広撮像範囲Awとで、明るさや、色やパターンを変えるなど、照明状態を区別することで上述の明示機能を実現することができる。
なお、投影部70は拡大鏡1a,1b,1cに備えてもよい。また、上述の拡大鏡1dにおいて投影部70を備える場合には、左右用の二系統の狭範囲光学系N及び広範囲光学系Wに対して系統ごとに投影部70を備えてもよいし、ひとつの投影部70を備えてもよい。左右用の二系統の狭範囲光学系N及び広範囲光学系Wに対して系統ごとに投影部70を備える場合、左眼用の投影部70と右眼用の投影部70とで投影光Lの波長(色)、偏光状態、点滅タイミングを変えてもよい。
このように、制御部50の制御によって連続撮影する際に、少なくとも狭範囲カメラ30で撮像する歯牙Tに投影光L,Laを投影する投影部70を備えることにより、視野の狭い狭範囲カメラ30によって観察している歯牙Tに投影光L,Laが投影されるため、図9(b)に示すように、広範囲カメラ21で撮像された広範囲撮像画像において、狭範囲カメラ30によって観察している歯牙Tを明示することができる。
つまり、投影された投影光L,Laは、図9(b)における広範囲観察画像表示Pw’に示すように、広範囲撮像画像において狭範囲撮像画像で撮像された箇所を明示する撮像箇所明示部Peとして機能することができる。また、広範囲撮像画像と狭範囲撮像画像とを画像表示部40に並列して表示することで、全体位置の中での観察箇所が明瞭になり操作性を向上することができる。
また、投影部70が投影するパターン投影光Laが少なくとも狭範囲カメラ30で撮像する歯牙Tに投影されることにより、例えば、歯牙Tが模様の無い均質な構造体であってもパターンを付与することにより、後述する全焦点狭範囲撮像画像を生成する過程において、コントラストの検知が容易かつ正確となり、より鮮明な被写界深度の深い狭範囲撮像画像を精度よく生成することができる。
また、図8(b)に示すように、狭範囲光学系N及び広範囲光学系Wにそれぞれ投影部70(70a,70b)を備えた拡大鏡1eであってもよい。この場合、狭範囲光学系N及び広範囲光学系Wにそれぞれ投影部70(70a,70b)に加えて、光学路31,22にビームスプリッタ71を備えていてもよい。
このように構成された拡大鏡1eは、上述のような拡大鏡1の効果を奏するとともに、投影部70から投影した投影光L,Laはビームスプリッタ71を通り歯牙Tに投影され、歯牙Tで反射した反射光はビームスプリッタ71を透過して狭範囲カメラ30及び広範囲カメラ21で撮像することで観察することができる。
また、投影部70(70a,70b)を別々に設けたことにより、投影部70が単一であった場合と比べ、上述したような撮像範囲Aw,Anに応じて照明状態を区別する場合に、投影部70の設計の自由度が向上する。
なお、狭範囲光学系Nの投影部70aと広範囲光学系Wの投影部70bとで同時に投影光L,Laを投影する場合、投影光L,Laの波長(色)、偏光状態、点滅タイミング、あるいはパターンの模様などを変えてもよい。
さらに、拡大鏡1の別の例として、図12に示すように全焦点拡大鏡1fを構成してもよい。全焦点拡大鏡1fは図8(b)に図示する拡大鏡1eにおける狭範囲光学系Nにおける狭範囲光学路31にビームスプリッタ71に加えて焦点可変レンズ72を備えている。そして、全焦点拡大鏡1fは、図1(b)に示すように、狭範囲光学系Nにおける狭範囲カメラ30に対する焦点可変レンズ72の位置を調整する焦点調整部73を備えるとともに、制御部50に、焦点調整部73を制御する焦点調整制御部54と、投影部70によるパターン投影光Laの投影を制御する投影制御部55とを備えている。
このように構成した全焦点拡大鏡1fの狭範囲光学系Nでは、例えば、焦点可変レンズ72が機械的にレンズの位置を移動するタイプの焦点可変レンズである場合には、図13に示すように、狭範囲カメラ30に対する焦点可変レンズ72の位置を焦点調整部73によって調整することで、狭範囲カメラ30の焦点位置(すなわち図13において、狭撮像範囲Anとして図示されている面の、高さ方向の位置)を、光軸方向における所定の範囲Rに亘って掃引することができ、焦点位置を掃引させながら狭範囲撮像画像を撮像することができる。
図14に示すように、焦点調整部73の制御によって焦点可変レンズ72を調整することで焦点位置を歯牙Tの上部から高さ方向に順に掃引させながら、焦点位置の所定のタイミングに合わせて狭範囲カメラ30で狭範囲撮像画像を撮像することで、焦点位置の異なる複数の狭範囲撮像画像を得ることができる。そして、これら焦点位置の異なる複数の狭範囲撮像画像を画像生成部51で合成することで、狭範囲カメラ30の光軸方向である高さ方向の全範囲にわたって焦点が合った、すなわち被写界深度が拡大された、全焦点狭範囲撮像画像を得ることができる。なお、図14においては、焦点位置を歯牙Tの上部から高さ方向に順に掃引する様子を示しているが、逆方向から掃引を始めてもよいし、周期的に掃引を繰り返してもよい。
具体的には、複数の狭範囲撮像画像を合成して全焦点狭範囲撮像画像、すなわち被写界深度が拡大された狭範囲撮像画像を生成する方法として、
(1)まず、狭範囲カメラ30における狭範囲光学路31のレンズ等を機械的に駆動させるなどの方法によって焦点位置を歯牙T上で掃引しながら連続的に狭範囲カメラ30で撮像する。
(2)各狭範囲撮像画像を構成する画素毎にコントラスト量(狭範囲撮像画像がボケているか、ピントが合っているかを定量化したもの)を計算し、レンズを一往復(または半往復)させるなどによって焦点位置を掃引する間に、コントラスト量が極大値を示したときの画素値を、画像表示部40に表示する狭範囲撮像画像として採用する。
なお、コントラスト量を得る方法としては、ラプラシアン演算子を用いた方法、微分フィルタを用いた方法などの公知の手法を適用することができる。
もし、狭範囲撮像画像にブレが生じていると、(2)の演算において、極大値が複数回存在するなどし、画像表示部40に表示する狭範囲撮像画像が歪んだりノイズが生じたりするおそれがあるが、本発明においてはブレが補正された狭範囲撮像画像に基づいて演算を行うため、上述のノイズ等の問題は解消され、観察者の操作性を向上させることができる。
なお、上述の手順は、FPGAなどのハードウェアプロセッサを使って高速に演算するとよい。
なお、狭範囲カメラ30による焦点位置を移動させるためには、上述したように範囲カメラ30を固定し、狭範囲光学路31を構成するレンズ等の焦点距離を機械的に移動させる方法のほか、液体レンズ等の焦点可変レンズを電気的に制御することで調整して焦点位置を移動させてもよい。また、焦点距離を所定の距離に維持したまま狭範囲カメラ30を物理的に移動させて焦点位置を移動させてもよいし、拡大鏡本体10全体を移動させてもよい。
また、上述のような機械的な可動部を含む構成にて焦点位置の掃引を連続的に繰り返す場合、重心の移動に伴って発生する振動を打ち消すためのカウンターウェイト(前記可動部とは反対方向に運動する錘)を用いるのが良い。該カウンターウェイトの採用により、不要な振動が抑圧されるとともに、全焦点拡大鏡1fが低騒音に動作するようになり、さらに高精度な観察が可能となる。
このように全焦点拡大鏡1fは、歯牙Tに対して、狭範囲カメラ30における焦点位置を移動させながらの連続撮影を制御する焦点調整制御部54と、連続撮影された複数の狭範囲撮像画像を合成して全焦点狭範囲撮像画像、すなわち被写界深度の深い狭範囲撮像画像を生成する画像生成部51が備えられているため、被写界深度の深い狭範囲撮像画像に基づいてより精密に観察することができる。
詳述すると、狭範囲カメラ30は、歯牙Tにおける狭撮像範囲Anを高拡大倍率で撮像するが、その反面、狭範囲カメラ30によって撮像された狭範囲撮像画像は被写界深度が浅い、つまり撮像画像の奥行方向において焦点が合っている箇所が狭く、精密に観察できる範囲が少ない傾向にあるが、歯牙Tに対して、狭範囲カメラ30における焦点位置を移動させながら連続撮影し、連続撮影された複数の狭範囲撮像画像を合成して被写界深度の深い狭範囲撮像画像を生成する、つまり、歯牙Tにおける狭撮像範囲Anを高拡大倍率かつ、奥行方向に焦点が合っている範囲の広い狭範囲撮像画像により、精密に観察することができる。
なお、焦点位置を移動させながら連続撮影された複数の狭範囲撮像画像はブレが補正されているため、連続撮影された複数の狭範囲撮像画像を精度よく合成して、鮮明な被写界深度の深い狭範囲撮像画像を高精度で生成することができる。
すなわち、広範囲カメラ21は、ブレ補正するために機能し、狭範囲カメラ30により上述のような被写界深度の深い撮像画像を生成する際の精度向上のためにも活用でき、さらには部品点数を増やすことなく同じ広範囲カメラ21を用いて、包括的観察・明示部の処理・後述の焦点位置情報に基づいた歯牙Tの精密な三次元計測を実施できるという相乗効果を奏することができる。
また、図1(b)に破線で示すように、全焦点拡大鏡1fに制御部50の制御によって連続撮影した際の移動する焦点位置に関する焦点位置情報に基づいて、少なくとも狭範囲カメラ30で撮像する歯牙Tの三次元形状を計測する三次元形状計測部56を備えてもよく、三次元形状計測部56を備えることで、狭撮像範囲Anにおいて鮮明で被写界深度の深い狭範囲撮像画像を撮像するとともに、歯牙Tの三次元形状も得ることができる。
具体的には、上述の全焦点狭範囲撮像画像を生成する処理(2)において、ある画素においてコントラスト量が極大値を示すことと、移動する前記焦点位置と観察部位である歯牙Tの表面位置とが一致することとは、同値である。
また、移動する前記焦点位置に関する焦点位置情報は、あらかじめ形状既知の基準物体を撮像する等の校正処理を実行しておくことにより、前記狭範囲撮像部制御部の制御状態(液体レンズへの入力電圧情報や、レンズを移動するアクチュエータ等への入力電圧情報、あるいはエンコーダセンサ等を用いることで実測可能な機械的に移動するレンズの現在位置情報)と対応付けることが可能である。すなわち上述の被写界深度の深い狭範囲撮像画像を生成する処理と、上記の焦点位置情報とに基づき、観察部位の三次元形状を取得することが可能である。
もし、被写界深度の深い狭範囲撮像画像を生成するために連続的に撮像する複数の画像にブレが生じていると、上述の(2)の処理において、極大値が複数回存在するなどによって、計測される三次元形状が歪んだり、ノイズが生じたりするおそれがあるが、本発明においてはブレが補正された狭範囲撮像画像に基づいて三次元形状を計測する処理が行われるため、上述のノイズ等の問題は解消され、より高精度な三次元形状を計測することが可能となる。
また、広範囲カメラ21で撮像した広範囲撮像画像から歯牙Tや広撮像範囲Awの三次元位置を検出するために、口腔内に複数の特徴点を設けることでより正確に三次元位置を算出することができる。そのための一例として、図11に示すように、被観察対象である患者が咬合紙を噛むことで、患者の歯に赤/青などの色の模様(色点Pc)が転写され、転写された色点Pcを特徴点とすることができる。これらの色点Pcの動きを広範囲カメラ21でトラッキングすることで、患者歯列の三次元的な位置・動きを認識することができる。したがって、広範囲カメラ21によって検出された広範囲撮像画像に基づく歯牙Tの三次元位置の変化に対して狭範囲カメラ30が撮像した狭範囲撮像画像のブレ補正をより正確に行うことができる。
なお、転写した色点が頬肉などに隠れてしまい特徴点が見えづらくなることを防ぐため、硬組織(すなわち患者の歯列)を露出させる開口器を併用するとよい。ここでいう咬合紙とは、「咬合紙」の名称で広く市販されているもの、すなわち赤や青色の顔料が転写されるシート状の薄膜に限らず、歯で噛むことで、咬合に応じた箇所に、色や光学的な特徴(生体安全性のある顔料などの塗料、粘着剤、粘着シート、マイクロカプセル、粒子、投影光Lの照射に応じて蛍光を示す物質など)が転写されるものであり、口に挿入可能なサイズのシート状もしくは厚みのある形状、印象トレー形状、マウスピース(スプリント)形状のもの全般を含む。
このように、歯牙Tが口腔内における所望の部位であり、三次元位置算出部52は、噛合紙によって口腔内の歯の表面に着色された複数の着色箇所を広範囲撮像画像内で検出することによって、例えば、ボールマーカーなどの特徴点となる別部材を設けることなく、精度よく三次元位置を検出することができる。
なお、このように構成した拡大鏡1(1a乃至1f)を有する観察ユニットYは、制御部50にモニタ240を接続することによって、狭範囲カメラ30及び広範囲カメラ21で撮像した撮像画像を画像表示部40のみならず、モニタ240にも表示させて、観察することができる。上記モニタ240は、例えば、図2において治療用スタンドポール230に設置された例を示しているが、支持アーム300や、支持アーム300とは別の支持アーム、壁、天井等、など別の位置に設けられてもよい。
また、図示省略するが、観察ユニットYに、モニタ240以外の外部モニタを制御部50に接続してもよく、あるいはヘッドマウントディスプレイ(HMD)や、メガネ型のヘッドアップディスプレイ(HUD)などのようにヘッドギアタイプ、ヘルメットタイプ、サンバイザータイプ、バンドタイプ、メガネタイプ、観察者が視力矯正等のために普段使用している一般のメガネのフレームに対してクリップで装着するタイプの表示装置を制御部50に無線等の通信手段を用いて接続してもよい。
このようにモニタ240をはじめ、複数の表示装置を設けることにより、観察者が様々な位置に移動する場合や、観察者が複数いる場合であっても、画像表示部40とは別のモニタ240にて、さまざまな視点位置からブレが補正された前記狭範囲撮像画像を表示させて、観察することができる。例えば、歯科診療において、被観察者である患者から見ることができる位置にモニタ240を配置することで、診療状況の患者への説明や、インフォームドコンセントなどにも有効である。
また、拡大鏡1(1a乃至1f)に画像表示部40を配置せず、図示省略するHMDやHUDなどのようにヘッドギアタイプ、ヘルメットタイプ、サンバイザータイプ、バンドタイプ、メガネタイプ、観察者が視力矯正等のために普段使用している一般のメガネのフレームに対してクリップで装着するタイプに、拡大鏡1(1a乃至1f)における画像表示部40を配置し、拡大鏡1の本体から画像表示部40を分離した頭部装着型の拡大鏡であってもよい。
このように、画像表示部40の代わりに、あるいは画像表示部40と併用して、観察者の頭部に画像表示部40を装着するHMD,HUDは、頭部の移動を制限されることなく、ブレが補正された狭範囲撮像画像を表示させて、観察することができる。
以上、本発明の構成と、前述の実施態様との対応において、本実施形態の観察部位は歯牙Tに対応し、
以下同様に、
撮像部はカメラ30,21に対応し、
観察装置は拡大鏡1に対応し、
狭範囲は狭撮像範囲Anに対応し、
狭範囲撮像部は狭範囲カメラ30に対応し、
広範囲は広撮像範囲Awに対応し、
広範囲撮像部は広範囲カメラ21に対応し、
広範囲撮像画像は広範囲撮像画像に対応し、
三次元位置検出部は三次元位置算出部52に対応し、
狭範囲撮像画像は狭範囲撮像画像に対応し、
ブレ補正部はブレ補正処理部53に対応し、
画像表示部は画像表示部40に対応し、
狭範囲撮像部の光学経路は狭範囲光学路31に対応し、
広範囲撮像部の光学経路は広範囲光学路22に対応し、
狭範囲撮像部制御部は制御部50に対応し、
狭範囲撮像画像生成部は画像生成部51に対応し、
光は投影光L,Laに対応し、
光投影部は投影部70に対応し、
三次元形状計測部は三次元形状計測部56に対応し、
頭部装着型表示装置はHMD,HUDに対応し、
支持部は支持アーム300に対応し、
観察ユニットは観察ユニットYに対応し、
表示装置はモニタ240,外部モニタに対応するが、上記実施形態に限定するものではない。
例えば、上述の説明では、拡大鏡1や観察ユニットY、及び診療ユニットXについて、患者の歯牙Tを観察対象とし、歯科診療における観察について説明したが、歯牙のみならず、歯牙の内部や歯肉など口腔内の部位を観察対象として診療のみならず、実習などに活用してもよい。また、歯科のみならず、耳鼻科や脳外科など精密な診療が必要な他領域においても活用できるし、歯科、医療領域のみならず、拡大鏡1や観察ユニットYはバイオなどの精密性が求められる分野においても活用することができる。
また、三次元位置算出部52は、連続的に撮像した広範囲撮像画像のうち、現在撮像された広範囲撮像画像と、それよりも過去のタイミングで撮像した少なくとも1枚の広範囲撮像画像とを比較し、撮像画像内の特徴的な箇所(特徴点)がどのような運動をしているかをテンプレートマッチングや特徴点マッチング等の手法を適用することによって検出したが、特徴点はブレ無く観察したい歯牙Tに対して剛体的に固定されたものであれば別の形態でもよく、カメラ21で撮像可能な光の波長や、トラッキングのアルゴリズムに応じた形態のもの(たとえば赤外線に対して強い反射を示す再帰反射型のボールマーカー等)を選択し、トラッキングすることが有効である。
また、撮像画像内でトラッキング対象をそれ以外(例えば、被観察者の歯とは無関係に動く観察者の手、手術具、被観察者の口腔内外の軟組織)を除外する除外処理があるとなおよい。除外処理の例として、例えば、色の違いを利用して歯ではない部分を特定する方法などが適用できる。また、形状や光学的な反射・発光特性が特徴的なマーカを設け、被観察者の歯に対して剛体的に固定することで、当該マーカを特徴点としてもよい。
1…拡大鏡
21…広範囲カメラ
22…広範囲光学路
30…狭範囲カメラ
31…狭範囲光学路
40…画像表示部
50…制御部
51…画像生成部
52…三次元位置算出部
53…ブレ補正処理部
56…三次元形状計測部
70,70a…照明部
240…モニタ
300…狭範囲カメラ
An…狭撮像範囲
Aw…広撮像範囲
L…投影光
La…パターン投影光
T…歯牙
Y…観察ユニット

Claims (13)

  1. 観察部位を撮像部で撮像して観察する観察装置であって、
    前記撮像部が、前記観察部位を狭範囲で撮像する狭範囲撮像部と、前記観察部位を広範囲で撮像する広範囲撮像部とで構成され、
    前記広範囲撮像部で撮像した広範囲撮像画像に基づいて、少なくとも前記観察部位の三次元位置を検出する三次元位置検出部と、
    該三次元位置検出部によって前記三次元位置が検出された前記観察部位と、狭範囲撮像部との三次元相対位置の変化に基づいて、前記狭範囲撮像部で撮像した狭範囲撮像画像のブレを補正するブレ補正部と、
    ブレが補正された前記狭範囲撮像画像、及び前記広範囲撮像画像のうちブレが補正された前記狭範囲撮像画像を少なくとも表示する画像表示部とが備えられた
    観察装置。
  2. 前記狭範囲撮像部の光学経路と前記広範囲撮像部の光学経路との少なくとも一部が共用されている
    請求項1に記載の観察装置。
  3. 前記観察部位に対して、前記狭範囲撮像部における焦点位置を移動させながらの連続撮影を制御する狭範囲撮像部制御部と、
    連続撮影された複数の前記狭範囲撮像画像を合成して被写界深度の深い狭範囲撮像画像を生成する狭範囲撮像画像生成部が備えられた
    請求項1または2に記載の観察装置。
  4. 前記狭範囲撮像部制御部の制御によって連続撮影する際に、少なくとも前記狭範囲撮像部で撮像する前記観察部位に光を投影する光投影部が備えられた
    請求項3に記載の観察装置。
  5. 前記狭範囲撮像部制御部の制御によって連続撮影した際の移動する焦点位置に関する焦点位置情報に基づいて、少なくとも前記狭範囲撮像部で撮像する前記観察部位の三次元形状を計測する三次元形状計測部が備えられた
    請求項3または4に記載の観察装置。
  6. 前記観察部位が口腔内における所望の部位であり、
    前記三次元位置検出部は、噛合紙によって口腔内の歯の表面に着色された複数の着色箇所を前記広範囲画像内で検出することによって前記観察部位の三次元位置を検出する構成である
    請求項1乃至5のうちいずれかに記載の観察装置。
  7. 少なくとも前記画像表示部が観察者の頭部に装着する頭部装着型で構成された
    請求項1乃至6のうちいずれかに記載の観察装置。
  8. 請求項1乃至7のうちいずれかに記載の観察装置と、
    前記観察装置の少なくとも前記狭範囲撮像部を支持する支持部が備えられた
    観察ユニット。
  9. 前記支持部に支持された前記観察装置の少なくとも前記狭範囲撮像部が前記観察部位に対して移動可能に、前記支持部を構成した
    請求項8に記載の観察ユニット。
  10. ブレが補正された前記狭範囲撮像画像を少なくとも表示する表示装置が備えられた
    請求項8又は9に記載の観察ユニット。
  11. 前記表示装置が、
    観察者の頭部に装着する頭部装着型表示装置で構成された
    請求項10に記載の観察ユニット。
  12. 観察装置の撮像部で観察部位を撮像して観察する観察方法であって、
    前記撮像部を構成する広範囲撮像部で撮像した広範囲撮像画像に基づいて、少なくとも前記観察部位の三次元位置を検出し、
    前記三次元位置が検出された前記観察部位と、前記撮像部を構成する狭範囲撮像部との三次元相対位置の変化に基づいて、前記狭範囲撮像部で撮像した狭範囲撮像画像のブレを補正し、
    ブレが補正された前記狭範囲撮像画像、及び前記広範囲撮像画像のうちブレが補正された前記狭範囲撮像画像を少なくとも表示する
    観察方法。
  13. 前記観察部位に対して、前記狭範囲撮像部における焦点位置を移動させながらの連続撮影を行い、
    連続撮影された複数の前記狭範囲撮像画像を合成して被写界深度の深い狭範囲撮像画像を生成する
    請求項12に記載の観察方法。
JP2017216338A 2017-11-09 2017-11-09 口腔内観察装置、観察ユニット及び観察方法 Active JP6770500B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017216338A JP6770500B2 (ja) 2017-11-09 2017-11-09 口腔内観察装置、観察ユニット及び観察方法
US16/762,678 US11317794B2 (en) 2017-11-09 2018-11-08 Observation device, observation unit, and observation method
PCT/JP2018/041516 WO2019093426A1 (ja) 2017-11-09 2018-11-08 観察装置、観察ユニット及び観察方法
EP18876392.4A EP3709066B1 (en) 2017-11-09 2018-11-08 Observation device, observation unit, and observation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017216338A JP6770500B2 (ja) 2017-11-09 2017-11-09 口腔内観察装置、観察ユニット及び観察方法

Publications (2)

Publication Number Publication Date
JP2019086712A true JP2019086712A (ja) 2019-06-06
JP6770500B2 JP6770500B2 (ja) 2020-10-14

Family

ID=66438368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017216338A Active JP6770500B2 (ja) 2017-11-09 2017-11-09 口腔内観察装置、観察ユニット及び観察方法

Country Status (4)

Country Link
US (1) US11317794B2 (ja)
EP (1) EP3709066B1 (ja)
JP (1) JP6770500B2 (ja)
WO (1) WO2019093426A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022061224A (ja) * 2020-10-06 2022-04-18 学校法人福岡工業大学 三次元画像生成システム、三次元画像生成方法、三次元画像生成プログラムおよび記録媒体
WO2023018540A1 (en) * 2021-08-11 2023-02-16 Caterpillar Inc. Work machine ground engaging tool wear and loss detection system and method
JP2023068275A (ja) * 2021-11-02 2023-05-17 株式会社モリタ製作所 データ処理装置、データ処理方法、およびプログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3407820A4 (en) 2016-01-26 2019-11-06 Cyberdontics, Inc. AUTOMATED DENTAL TREATMENT SYSTEM
KR102056910B1 (ko) * 2018-12-21 2019-12-17 주식회사 디오에프연구소 3차원 구강 스캐너 및 이를 이용한 구강 스캔 방법
JP7431527B2 (ja) * 2019-08-07 2024-02-15 キヤノン株式会社 深度情報生成装置、撮像装置、深度情報生成方法、画像処理装置、画像処理方法、及びプログラム
TW202109550A (zh) * 2019-08-23 2021-03-01 陳義聰 牙齒保健照護系統
US11373315B2 (en) * 2019-08-30 2022-06-28 Tata Consultancy Services Limited Method and system for tracking motion of subjects in three dimensional scene
TWI712396B (zh) * 2020-01-16 2020-12-11 中國醫藥大學 口腔缺陷模型之修補方法及口腔缺陷模型之修補系統
DE102020206216A1 (de) 2020-05-18 2021-11-18 Carl Zeiss Meditec Ag Stereoskopische Aufnahmevorrichtung
EP4208122A4 (en) 2020-09-03 2024-09-11 Perceptive Tech Inc METHOD AND DEVICE FOR CNA ANALYSIS OF DENTAL ANATOMY
CA3233469A1 (en) * 2021-11-09 2023-05-19 Gillian MYERS Stereoscopic imaging apparatus with multiple fixed magnification levels
US12059315B2 (en) 2022-09-08 2024-08-13 Enamel Pure Systems and methods for estimating a trend associated with dental tissue
WO2024062326A1 (en) * 2022-09-21 2024-03-28 Alcon Inc. Low profile optical systems for surgical procedures

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0616099B2 (ja) * 1989-02-07 1994-03-02 浜松ホトニクス株式会社 Ct装置におけるデータ補正装置
JPH11253433A (ja) * 1998-03-11 1999-09-21 Morita Mfg Co Ltd Ct撮影装置
JP2003052718A (ja) * 2001-08-10 2003-02-25 Morita Mfg Co Ltd 顕微鏡付診療台
JP2013117848A (ja) * 2011-12-02 2013-06-13 Canon Inc 画像処理装置及び画像処理方法
JP2017191609A (ja) * 2017-04-14 2017-10-19 ソニー株式会社 画像処理装置および画像処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4809291B2 (ja) 2007-06-01 2011-11-09 株式会社豊田中央研究所 計測装置及びプログラム
US20140099604A1 (en) * 2012-10-08 2014-04-10 Albert J. Kurpis Dental marking product with varying widths and thicknesses for gauging and marking occlusal clearance to facilitate fabrication and installation of a dental restorative element
US10424115B2 (en) * 2014-04-24 2019-09-24 Christof Ellerbrock Head-worn platform for integrating virtuality with reality

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0616099B2 (ja) * 1989-02-07 1994-03-02 浜松ホトニクス株式会社 Ct装置におけるデータ補正装置
JPH11253433A (ja) * 1998-03-11 1999-09-21 Morita Mfg Co Ltd Ct撮影装置
JP2003052718A (ja) * 2001-08-10 2003-02-25 Morita Mfg Co Ltd 顕微鏡付診療台
JP2013117848A (ja) * 2011-12-02 2013-06-13 Canon Inc 画像処理装置及び画像処理方法
JP2017191609A (ja) * 2017-04-14 2017-10-19 ソニー株式会社 画像処理装置および画像処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022061224A (ja) * 2020-10-06 2022-04-18 学校法人福岡工業大学 三次元画像生成システム、三次元画像生成方法、三次元画像生成プログラムおよび記録媒体
JP7262800B2 (ja) 2020-10-06 2023-04-24 学校法人福岡工業大学 三次元画像生成システム、三次元画像生成方法、三次元画像生成プログラムおよび記録媒体
WO2023018540A1 (en) * 2021-08-11 2023-02-16 Caterpillar Inc. Work machine ground engaging tool wear and loss detection system and method
US12020419B2 (en) 2021-08-11 2024-06-25 Caterpillar Inc. Ground engaging tool wear and loss detection system and method
JP2023068275A (ja) * 2021-11-02 2023-05-17 株式会社モリタ製作所 データ処理装置、データ処理方法、およびプログラム

Also Published As

Publication number Publication date
EP3709066A1 (en) 2020-09-16
WO2019093426A1 (ja) 2019-05-16
EP3709066B1 (en) 2023-12-27
JP6770500B2 (ja) 2020-10-14
EP3709066A4 (en) 2021-08-18
US11317794B2 (en) 2022-05-03
US20210169318A1 (en) 2021-06-10

Similar Documents

Publication Publication Date Title
WO2019093426A1 (ja) 観察装置、観察ユニット及び観察方法
JP7225300B2 (ja) 立体視覚化カメラ及びプラットフォーム
US11336804B2 (en) Stereoscopic visualization camera and integrated robotics platform
US11571272B2 (en) Stereoscopic camera with fluorescence visualization
US20210227200A1 (en) Open view, multi-modal, calibrated digital loupe with depth sensing
AU771368B2 (en) Visual aid in the form of telescopic spectacles with an automatic focussing device
AU2024219905A1 (en) Stereoscopic visualization camera and integrated robotics platform
JP2008093433A (ja) 眼科用手術顕微鏡システム
US20230120611A1 (en) Stereoscopic camera with fluorescence strobing based visualization
KR101481905B1 (ko) 수술 현미경용 일체형 입체 화상 획득 시스템
JP6793623B2 (ja) 観察器具、観察装置、観察ユニット及び診療ユニット
ZA200203746B (en) Visual aid in the form of telescopic spectacles with an automatic focussing device.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200925

R150 Certificate of patent or registration of utility model

Ref document number: 6770500

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150