JP2017006330A - 医療用画像処理装置、医療用画像処理方法、及び、医療用観察システム - Google Patents

医療用画像処理装置、医療用画像処理方法、及び、医療用観察システム Download PDF

Info

Publication number
JP2017006330A
JP2017006330A JP2015124005A JP2015124005A JP2017006330A JP 2017006330 A JP2017006330 A JP 2017006330A JP 2015124005 A JP2015124005 A JP 2015124005A JP 2015124005 A JP2015124005 A JP 2015124005A JP 2017006330 A JP2017006330 A JP 2017006330A
Authority
JP
Japan
Prior art keywords
image
focus
captured
unit
latest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015124005A
Other languages
English (en)
Other versions
JP2017006330A5 (ja
JP6750194B2 (ja
Inventor
雄生 杉江
Takeo Sugie
雄生 杉江
白木　寿一
Juichi Shiraki
寿一 白木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2015124005A priority Critical patent/JP6750194B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201680034321.0A priority patent/CN107735713B/zh
Priority to PCT/JP2016/002696 priority patent/WO2016203727A1/en
Priority to US15/559,602 priority patent/US10371933B2/en
Priority to EP16733716.1A priority patent/EP3311215A1/en
Publication of JP2017006330A publication Critical patent/JP2017006330A/ja
Publication of JP2017006330A5 publication Critical patent/JP2017006330A5/ja
Priority to US16/446,630 priority patent/US10928622B2/en
Application granted granted Critical
Publication of JP6750194B2 publication Critical patent/JP6750194B2/ja
Priority to US17/168,187 priority patent/US11835702B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ディープフォーカスの画像を、低遅延、かつ、高フレームレートで得る。
【解決手段】合成部は、フォーカス位置を変えながら、生体を撮影することにより得られる複数の撮影画像を合成し、合成画像を生成する。合成部は、直前に得られた合成画像の画素、及び、最新の撮影画像の画素のうちの、フォーカスが合っている画素を選択することにより、直前に得られた合成画像と、最新の撮影画像とを合成し、最新の合成画像を生成する。本技術は、例えば、内視鏡システムや医療用顕微鏡等の医療機器に適用することができる。
【選択図】図２

Description

本技術は、医療用画像処理装置、医療用画像処理方法、及び、医療用観察システムに関し、特に、例えば、ディープフォーカスの画像を、低遅延、かつ、高フレームレートで得ることができるようにする医療用画像処理装置、医療用画像処理方法、及び、医療用観察システムに関する。
例えば、医療用顕微鏡で撮影される撮影画像の被写界深度は浅く、実空間においてフォーカスが合っているフォーカス位置（フォーカス面）から、少しでも奥行きが異なる被写体は、ぼけた画像になる。
例えば、脳外科手術等において、医療用顕微鏡で得られる撮影画像では、周辺部に、手前にある被写体が映り、中心部に、幾分、奥にある注目する被写体（術部等）が映る。このとき、撮影画像の中央部に映る被写体がインフォーカスになるように、フォーカスが調整されると、撮影画像の周辺部に映る被写体がぼけ、被写体の観察性や、医療用顕微鏡の操作性に影響することがある。
そこで、例えば、フォーカス位置（焦点距離）を変更して画像を高速撮影し、その結果得られる複数の画像から、ディープフォーカスの画像（全焦点画像）を得る実時間全焦点顕微鏡カメラが提案されている（例えば、特許文献１を参照）。
国際公開WO2002/082805号
ところで、医療用顕微鏡等の医療機器において、施術等を行う医者等のユーザに、画像を提供する場合には、医療という分野の性質上、低遅延であること、及び、画像のフレームレートが、高フレームレートであることが要求される。
本技術は、このような状況に鑑みてなされたものであり、ディープフォーカスの画像を、低遅延、かつ、高フレームレートで得ることができるようにするものである。
本技術の医療用画像処理装置は、フォーカス位置を変えながら、生体を撮影することにより得られる複数の撮影画像を合成し、合成画像を生成する合成部であって、直前に得られた合成画像の画素、及び、最新の撮影画像の画素のうちの、フォーカスが合っている画素を選択することにより、前記直前に得られた合成画像と、前記最新の撮影画像とを合成し、最新の合成画像を生成する合成部を備える医療用画像処理装置である。
本技術の医療用画像処理方法は、フォーカス位置を変えながら、生体を撮影することにより得られる複数の撮影画像を合成し、合成画像を生成する合成処理であって、直前に得られた合成画像の画素、及び、最新の撮影画像の画素のうちの、フォーカスが合っている画素を選択することにより、前記直前に得られた合成画像と、前記最新の撮影画像とを合成し、最新の合成画像を生成する合成処理を行う医療用画像処理方法である。
本技術の医療用観察システムは、フォーカス位置を変えながら、生体を撮影する撮影部と、前記撮影部により撮影された複数の撮影画像を合成し、合成画像を生成する合成部であって、直前に得られた合成画像の画素、及び、最新の撮影画像の画素のうちの、フォーカスが合っている画素を選択することにより、前記直前に得られた合成画像と、前記最新の撮影画像とを合成し、最新の合成画像を生成する合成部とを備える医療用観察システムである。
本技術の医療用画像処理装置、医療用画像処理方法、及び、医療用観察システムにおいては、フォーカス位置を変えながら、生体を撮影することにより得られる複数の撮影画像が合成され、合成画像が生成される。合成画像の生成では、直前に得られた合成画像の画素、及び、最新の撮影画像の画素のうちの、フォーカスが合っている画素を選択することにより、前記直前に得られた合成画像と、前記最新の撮影画像とを合成し、最新の合成画像が生成される。
なお、医療用画像処理装置や医療用観察システムは、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
本技術によれば、例えば、ディープフォーカスの画像を、低遅延、かつ、高フレームレートで得ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した医療用観察システムの一実施の形態の構成例を示すブロック図である。 信号処理装置１２の第１の構成例を示すブロック図である。 撮影部１１での撮影画像の撮影、及び、信号処理装置１２での合成画像の生成の概要を説明する図である。 位置合わせ部３２及び合成部３３の処理の例を説明する図である。 撮影部１１において、フォーカス位置を変えながら撮影される撮影画像を説明する図である。 医療用観察システムの第１の動作例を説明するフローチャートである。 医療用観察システムの第２の動作例を説明するフローチャートである。 医療用観察システムの第３の動作例を説明するフローチャートである。 信号処理装置１２の第２の構成例を示すブロック図である。 範囲設定部６２でのフォーカス移動範囲の設定の例を説明する図である。 医療用観察システムの第４の動作例を説明するフローチャートである。 信号処理装置１２の第３の構成例を示すブロック図である。 フォーカス位置と、フォーカス評価値との関係の例を示す図である。 医療用観察システムの第５の動作例を説明するフローチャートである。 信号処理装置１２の第４の構成例を示すブロック図である。 信号処理装置１２で行われるAF枠の設定の処理の例を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
＜本技術を適用した医療用観察システムの一実施の形態＞
図１は、本技術を適用した医療用観察システムの一実施の形態の構成例を示すブロック図である。
図１の医療用観察システムは、例えば、医療用の内視鏡システムや、医療用電子顕微鏡（手術用顕微鏡）等の、生体を観察する機能を有する医療機器に適用することができる。
図１において、医療用観察システムは、撮影部１１、信号処理装置１２、及び、表示装置１３を有する。
撮影部１１は、例えば、施術を施す人体の術部等の生体である被写体を照明しながら撮影し、その撮影により得られる生体画像である撮影画像を、信号処理装置１２に供給する。
撮影部１１は、光源２１、光学系２２、及び、イメージセンサ２３を有する。
光源２１は、例えば、LED (Light Emitting Diode）等で構成され、被写体を照明する光を発する。
光学系２２は、図示せぬ鏡筒に設けられており、フォーカスレンズや絞り等の光学部品で構成される。光学系２２は、光源２１が発する光が被写体で反射されることにより入射する被写体光（反射光）を、イメージセンサ２３上に集光する。
イメージセンサ２３は、例えば、CMOS（Complementary Metal Oxide Semiconductor）センサであり、光学系２２からの被写体光を受光し、光電変換を行うことで、被写体を撮影する。イメージセンサ２３が被写体を撮影することにより得られる撮影画像は、信号処理装置１２に供給される。
なお、撮影部１１では、撮影画像として、2D(Dimension)画像を撮影することもできるし、左眼用の画像（L(Left)画像）と右眼用の画像（R(Right)画像）とからなる3D画像を撮影することもできる。
撮影部１１において、3D画像を撮影する場合、撮影部１１には、図中、点線で示すように、L画像を撮影する光学系２２及びイメージセンサ２３と、R画像を撮影する光学系２２及びイメージセンサ２３とが設けられる。
また、撮影部１１において、3D画像を撮影する場合、信号処理装置１２では、例えば、L画像と、R画像とのそれぞれに、同様の処理が施される。
以下では、説明を簡単にするため、撮影部１１では、撮影画像として、2D画像が撮影されることとする。
信号処理装置１２は、撮影部１１からの撮影画像に必要な信号処理を施し、その信号処理の結果得られる画像を、表示装置１３に供給する。
その他、信号処理装置１２は、必要に応じて、撮影部１１を制御する。
すなわち、信号処理装置１２は、例えば、光源２１を制御することにより、光源２１による照明の明るさを制御する。また、信号処理装置１２は、例えば、光学系２２を制御することにより、絞りや、フォーカス（位置）、ズームを調整する。さらに、信号処理装置１２は、例えば、イメージセンサ２３を制御することにより、撮影画像のフレームレートや、撮影画像を撮影するときの露光時間（シャッタスピード）を制御する。
表示装置１３は、信号処理装置１２から供給される画像を表示する。表示装置１３としては、例えば、信号処理装置１２と一体となったディスプレイや、信号処理装置１２とは別個の据え置き型のディスプレイ、ヘッドマウントディスプレイ等を採用することができる。
＜信号処理装置１２の第１の構成例＞
図２は、図１の信号処理装置１２の第１の構成例を示すブロック図である。
図２において、信号処理装置１２は、フレームバッファ３１、位置合わせ部３２、合成部３３、駆動制御部３４、及び、制御部３５を有する。
フレームバッファ３１には、撮影部１１（のイメージセンサ２３）から、撮影画像が供給されるとともに、合成部３３から、後述する合成画像が供給される。
フレームバッファ３１は、撮影部１１からの撮影画像や、合成部３３からの合成画像を一時記憶する。
ここで、撮影部１１では、後述する駆動制御部３４による光学系２２の制御にしたがって、フォーカス位置を変えながら、撮影画像が、表示装置１３で表示される画像のフレームレート以上のフレームレートで（高速）撮影される。
したがって、撮影部１１からフレームバッファ３１には、フォーカス位置が異なる複数の撮影画像が供給され、フレームバッファ３１は、そのような、フォーカス位置が異なる複数の撮影画像を記憶する。
位置合わせ部３２は、フレームバッファ３１に記憶された直前の合成画像と最新の撮影画像との位置合わせを行い、その位置合わせ後の合成画像と撮影画像を、合成部３３に供給する。
すなわち、位置合わせ部３２は、画角調整部４１、動きぼけ除去部４２、及び、被写体位置合わせ部４３を有する。
画角調整部４１は、合成画像及び撮影画像について、画角を調整し、画角の調整後の合成画像と撮影画像とを、動きぼけ除去部４２に供給する。
動きぼけ除去部４２は、画角調整部４１からの撮影画像に生じている動きぼけを除去し、その動きぼけの除去後の撮影画像を、合成画像とともに、被写体位置合わせ部４３に供給する。
被写体位置合わせ部４３は、動きぼけ除去部４２からの合成画像及び撮影画像について、動きを検出し、その動きの検出結果に基づいて、合成画像と撮影画像との位置合わせを行う。
すなわち、被写体位置合わせ部４３は、撮影画像に映る被写体に対して、合成画像に映る、同一の被写体の位置を合わせる位置合わせを行う。
そして、被写体位置合わせ部４３は、位置合わせ後の合成画像及び撮影画像を、合成部３３に供給する。
合成部３３は、位置合わせ部３２（の被写体位置合わせ部４３）からの合成画像と撮影画像とを合成することにより、最新の合成画像を生成する。
すなわち、合成部３３は、特徴量算出部５１、ピーク算出部５２、及び、画像合成部５３を有する。
特徴量算出部５１は、位置合わせ部３３からの合成画像及び撮影画像のそれぞれの画素について、フォーカスが合っている（インフォーカスになっている）程度を表す特徴量（以下、合焦特徴量ともいう）を算出し、ピーク算出部５２に供給する。
ピーク算出部５２は、合成画像及び撮影画像のそれぞれの同一の位置の画素の合焦特徴量のピークを算出する。すなわち、ピーク算出部５２は、合成画像及び撮影画像のそれぞれの同一の位置の画素の合焦特徴量のうちの大きい方の合焦特徴量を検出し、その検出結果（以下、ピーク検出結果ともいう）を、画像合成部５３に供給する。
画像合成部５３は、ピーク算出部５２からのピーク検出結果に応じて、位置合わせ部３２からの合成画像と撮影画像とを合成することにより、最新の合成画像を生成する。
画像合成部５３で得られた（最新の）合成画像は、フレームバッファ３１に供給されるとともに、必要に応じて、表示装置１３（図１）に出力される。
駆動制御部３４は、光学系２２を駆動することにより、フォーカス位置を移動させる。
制御部３５は、信号処理装置１２全体を制御する。
＜撮影画像の撮影、及び、合成画像の生成の概要＞
図３は、撮影部１１での撮影画像の撮影、及び、信号処理装置１２での合成画像の生成の概要を説明する図である。
図３では、撮影部１１において、例えば、120Hzのフレームレートで、撮影画像（のフレーム）F1,F2,F3,...が撮影されている。
また、図３では、撮影画像を撮影するときのフォーカス位置が、フレームごとに、フォーカス位置pos1,pos2,pos3,pos4の4個の位置に、周期的に移動されている。
ここで、フォーカス位置pos1,pos2,pos3,pos4は、異なっており、図３では、式pos1<pos2<pos3<pos4で表される関係を有する。
撮影部１１では、上述のように、フォーカス位置を、フォーカス位置pos1,pos2,pos3,pos4に、周期的に変えながら、撮影画像F1,F2,F3,...が撮影されている。
その結果、撮影画像F1は、フォーカス位置pos1の画像（フォーカス位置pos1にフォーカスがあった画像）に、撮影画像F2は、フォーカス位置pos2の画像に、撮影画像F3は、フォーカス位置pos3の画像に、撮影画像F4は、フォーカス位置pos4の画像に、それぞれなっている。
そして、撮影画像F5は、フォーカス位置pos1の画像になっており、以下、以降の撮影画像も同様に、フォーカス位置が周期的に異なる画像になっている。
信号処理装置１２では、原理的には、フォーカス位置pos1,pos2,pos3,pos4の4フレームの撮影画像等の、フォーカス位置が異なる複数の撮影画像を合成することにより、ディープフォーカスの合成画像を生成する。
フォーカス位置pos1,pos2,pos3,pos4の撮影画像等の、フォーカス位置が異なる複数の撮影画像を合成して、ディープフォーカスの合成画像を生成するEDoF(Extended Depth of Field)の方法としては、例えば、第１の合成方法や第２の合成方法を採用することができる。
第１の合成方法では、フォーカス位置pos1ないしpos4の撮影画像のうちの最新の撮影画像であるフォーカス位置pos4の撮影画像に対して、他のフォーカス位置pos1ないしpos3の撮影画像それぞれの位置合わせが行われる。
そして、位置合わせ後のフォーカス位置pos1ないしpos4の撮影画像の各画素について、合焦特徴量が最大（ピーク）のフォーカス位置の撮影画像の画素が、合成画像の画素として選択され、そのような画素で構成される合成画像が生成される。
第２の合成方法では、例えば、最初に撮影されたフォーカス位置pos1の撮影画像F1が、そのまま、合成画像とされる。そして、その合成画像（直前の合成画像）と、次に撮影されたフォーカス位置pos2の撮影画像F2とが合成される。
すなわち、最新の撮影画像であるフォーカス位置pos2の撮影画像F2に対して、直前の合成画像の位置合わせが行われる。
そして、位置合わせ後のフォーカス位置pos2の撮影画像F2及び合成画像の各画素について、合焦特徴量が最大（大きい方）の撮影画像F2又は合成画像の画素が、最新の合成画像C1の画素として選択され、そのような画素で構成される最新の合成画像C1が生成される。
フォーカス位置pos2の撮影画像F2の次に撮影されたフォーカス位置pos3の撮影画像F3については、合成画像C1が、直前の合成画像C1となり、その合成画像C1と、フォーカス位置pos3の撮影画像F3（最新の撮影画像）とが、同様に合成され、最新の合成画像C2が生成される。
フォーカス位置pos3の撮影画像F3の次に撮影されたフォーカス位置pos4の撮影画像F4については、合成画像C2が、直前の合成画像C2となり、その合成画像C2と、フォーカス位置pos4の撮影画像F4とが、同様に合成され、最新の合成画像C3が生成される。
以下、同様に、第２の合成方法では、直前の合成画像と、最新の撮影画像とが合成されることにより、最新の合成画像が生成される。
フォーカス位置pos1ないしpos4の撮影画像を、第１の合成方法で合成することにより得られる合成画像と、第２の合成方法で得られる合成画像C3とは、いずれも、フォーカス位置pos1からフォーカス位置pos4までを被写界深度に含むディープフォーカスの画像になっている。
また、第１及び第２の合成方法のいずれであっても、合成画像は、フォーカス位置pos1ないしpos4の撮影画像が撮影されてから得ることができる。
但し、第１の合成方法では、フォーカス位置pos1ないしpos4の撮影画像の4フレームの画像が、合成画像を生成する合成処理（位置合わせ部３２で行われる位置合わせの処理、及び、合成部３３で行われる合成の処理）の対象となる。
一方、第２の合成方法では、直前の合成画像及び最新の撮影画像の2フレームの画像が、合成処理の対象となる。
したがって、第１及び第２の合成方法については、得られる合成画像の被写界深度に差はないが、合成画像の生成に、3フレーム以上の撮影画像が用いられる場合には、第２の合成方法の方が、第１の合成方法よりも、合成処理を、短時間で行うことができる。
以上のように、第２の合成方法によれば、合成処理を短時間で行うことができるので、ディープフォーカスの画像である合成画像を、低遅延、かつ、高フレームレートで得ることができる。
したがって、前述したように、医療機器において、施術等を行う医者等のユーザに、画像を提供する場合には、医療という分野の性質上、低遅延であること、及び、高フレームレートであることが要求されるが、第２の合成方法によれば、ディープフォーカスの画像を、低遅延、かつ、高フレームレートで提供することができる。その結果、被写体の観察性（被写体の観察しやすさ）や、被写体に対する施術のしやすさ等を向上させることができる。
さらに、第２の合成方法によれば、撮影部１１のフォーカス駆動が低速で、時間を要する場合であっても、短時間で合成処理を行い、ディープフォーカスの画像を迅速に得ることが可能となる。
なお、図３に示したように、撮影部１１において、フォーカス位置を、フォーカス位置pos1,pos2,pos3,pos4に、周期的に変えながら、120Hzのフレームレートで、撮影画像を撮影する場合には、信号処理装置１２において、フォーカス位置pos1,pos2,pos3,pos4の4フレームの撮影画像が撮影されるごとに、その4フレームの撮影画像を合成した1フレームの合成画像を生成することができる。この場合、1のフォーカス位置の撮影画像の（ほぼ）4倍の被写界深度の合成画像であって、30Hzのフレームレートの合成画像を得ることができる。
また、図３に示したように、撮影部１１において、フォーカス位置を、フォーカス位置pos1,pos2,pos3,pos4に、周期的に変えながら、120Hzのフレームレートで、撮影画像を撮影する場合には、信号処理装置１２において、最新の撮影画像が撮影されるごとに、その最新の撮影画像を含む過去4フレームの撮影画像を合成した1フレームの合成画像を生成することができる。この場合、1のフォーカス位置の撮影画像の（ほぼ）4倍の被写界深度の合成画像であって、120Hzのフレームレートの合成画像を得ることができる。
ここで、図１の医療用観察システムでは、第１及び第２の合成方法のいずれをも採用することができるが、以下では、第１及び第２の合成方法のうちの、例えば、第２の合成方法を例として、説明を行う。
＜位置合わせ部３２及び合成部３３の処理＞
図４は、図２の位置合わせ部３２及び合成部３３の処理の例を説明する図である。
図３で説明したように、撮影部１１は、フォーカス位置を変えながら、撮影画像を撮影する。
図４では、被写体obj1とobj2とが映る撮影画像が、時刻t0，t1，t2に撮影されている。
時刻t0ないしt2それぞれの撮影画像では、フォーカス位置が異なっており、そのため、時刻t0の撮影画像では、被写体obj1は、インフォーカスになっており、被写体obj2は、ピンぼけ（アウトフォーカス）になっている。また、時刻t1及びt2の撮影画像では、被写体obj1は、ピンぼけになっており、被写体obj2は、インフォーカスになっている。
ここで、説明を簡単にするため、図４では、時刻t0の撮影画像を、直前の合成画像とするとともに、時刻t1の撮影画像を、最新の撮影画像として、位置合わせ部３２及び合成部３３の処理を説明する。
位置合わせ部３２では、最新の撮影画像としての時刻t1の撮影画像に対して、直前の合成画像としての時刻t0の撮影画像の位置を合わせる位置合わせが行われる。
位置合わせは、時刻t0及びt1の撮影画像のそれぞれに映る同一の被写体どうしが、極力重なり合うように行われる。
すなわち、位置合わせ部３２では、時刻t0及びt1の撮影画像のそれぞれに映る同一の被写体obj1どうしと、被写体obj2どうしとが、それぞれ、極力重なり合うように、画角調整部４１が、例えば、合成画像としての時刻t1の撮影画像の画角を調整する。
画角の調整では、最新の撮影画像としての時刻t1の撮影画像と、直前の合成画像としての時刻t0の撮影画像との相関が極めて高いことを前提として、時刻t0及びt1の撮影画像どうしの相関を表す相関値としての、例えば、相互相関や、画素値の差分絶対値の総和が、時刻t0の撮影画像の画角を微変更しながら求められる。
そして、時刻t0及びt1の撮影画像どうしの相関値を最も高くする画角が求められ、そのような画角に、時刻t0の撮影画像の画角が調整される（時刻t0の撮影画像が、拡大又は縮小される）。
ここで、撮影画像の撮影は、フォーカス位置を変えながら行われるため、ある撮影画像と、次に撮影される画像とでは、フォーカス位置が異なることにより、画角が僅かに変化することがある。画角の調整は、その画角の変化を補正するために行われる。
以上のような画角の調整の後、位置合わせ部３２では、動きぼけ除去部４２が、最新の撮影画像としての時刻t1の撮影画像に生じている動きぼけを除去する。
動きぼけを除去する方法としては、任意の方法を採用することができる。例えば、動きぼけを生じさせるぼけフィルタとして、ブラーカーネルを想定することができる場合には、ブラーカーネルのデコンボリューションによって、動きぼけの除去を行うことができる。
なお、動きぼけ除去部４２での動きぼけの除去の処理は、スキップすることができる。すなわち、例えば、動きぼけの除去を、ブラーカーネルのデコンボリューションによって行う場合に、ぼけフィルタとして、ブラーカーネルを想定することができないときには、動きぼけの除去の処理は、スキップすることができる。
また、ここでは、最新の撮影画像に対してだけ、動きぼけの除去を行うこととしたが、直前の合成画像に対しても、動きぼけの除去を行うことができる。但し、撮影画像が、そのまま、直前の合成画像とされる場合を除き、直前の合成画像は、動きぼけの除去が行われた撮影画像と、直前の合成画像の前に得られた合成画像とを合成することにより得られるので、動きぼけが既に除去されている。したがって、撮影画像が、そのまま、直前の合成画像とされる場合を除いて、直前の合成画像に対しては、動きぼけの除去を行う必要はない。
位置合わせ部３２では、その後、被写体位置合わせ部４３において、最新の撮影画像としての時刻t1の撮影画像に映る被写体の位置に、直前の合成画像としての時刻t0の撮影画像に映る被写体の位置を合わせる位置合わせが行われる。
被写体位置合わせ部４３の位置合わせは、最新の撮影画像としての時刻t1の撮影画像と、直前の合成画像としての時刻t0の撮影画像とのそれぞれの被写界深度が、あまり異なっていない（大きな差がない）ことを前提として、すなわち、最新の撮影画像としての時刻t1の撮影画像と、直前の合成画像としての時刻t0の撮影画像とに、同一の被写体が、インフォーカスで映っていることを前提として行われる。
被写体位置合わせ部４３の位置合わせでは、最新の撮影画像としての時刻t1の撮影画像と、直前の合成画像としての時刻t0の撮影画像との間の動きを検出する動き検出が、例えば、画素単位で行われる。
動き検出は、例えば、任意の方法で行うことができる。例えば、動き検出は、ブロックマッチングや、特徴点ベースのLKT(Kanade Lucas Tomasi)法等によって行うことができる。
被写体位置合わせ部４３の位置合わせでは、動き検出により、画素単位で動きベクトルが検出された後、直前の合成画像としての時刻t0の撮影画像の１点又は複数の点から最新の撮影画像としての時刻t1の撮影画像の１点又は複数の点への動きを表す１又は複数の代表ベクトルが、画素単位の動きベクトルを用いて求められる。
そして、代表ベクトルで表される動きにマッチする射影変換を実現する射影変換行列が算出され、その射影変換行列にしたがって、直前の合成画像としての時刻t0の撮影画像が射影変換されることにより、最新の撮影画像としての時刻t1の撮影画像に対して、直前の合成画像としての時刻t0の撮影画像の位置を合わせる位置合わせが行われる。
以上のような位置合わせ後の直前の合成画像としての時刻t0の撮影画像と、最新の撮影画像としての時刻t1の撮影画像とは、位置合わせ部３２から合成部３３に供給され、合成される。
すなわち、合成部３３では、特徴量算出部５１が、最新の撮影画像としての時刻t1の撮影画像と、直前の合成画像としての時刻t0の撮影画像とのそれぞれの画素について、インフォーカスになっている程度を表す合焦特徴量を算出し、その合焦特徴量を画素値とする特徴量画像を、ピーク算出部５２に供給する。
合焦特徴量としては、例えば、インフォーカスの画素に対して大きな値になり、ぼけている画素に対して小さな値になる特徴量を採用することができる。そのような合焦特徴量としては、例えば、ラプラシアン等がある。
ピーク算出部５２は、最新の撮影画像としての時刻t1の撮影画像と、直前の合成画像としての時刻t0の撮影画像とのそれぞれの同一の位置の画素の合焦特徴量のピークを、特徴量算出部５１からの特徴量画像を参照して算出（検出）する。
図４では、最新の撮影画像としての時刻t1の撮影画像において被写体obj1が映るある画素p1と、直前の合成画像としての時刻t0の撮影画像において被写体obj1が映る、画素p1と同一位置の画素p0とについては、インフォーカスの被写体obj1が映る画素p0の合焦特徴量が、ピンぼけの被写体obj1が映る画素p1の特徴量より大きくなっている。そのため、画素p0の合焦特徴量が、同一位置の画素p0及びp1の合焦特徴量のピークとして検出され、その検出結果であるピーク検出結果が、ピーク算出部５２から画像合成部５３に供給される。
画像合成部５３は、ピーク算出部５２からのピーク検出結果に応じて、最新の撮影画像としての時刻t1の撮影画像と、直前の合成画像としての時刻t0の撮影画像とを合成することで、最新の合成画像を生成する。
すなわち、画像合成部５３は、最新の撮影画像としての時刻t1の撮影画像と、直前の合成画像としての時刻t0の撮影画像とのそれぞれの同一の位置の画素のうちの、ピーク検出結果として検出された合焦特徴量が大きい方の画素、つまり、よりインフォーカスの被写体が映っている画素を、最新の合成画像の画素として選択することで、最新の合成画像を生成する。
合成部３３では、以上のように、位置合わせ部３２において、位置合わせが動き検出によって行われた最新の撮影画像と直前の合成画像とが合成される。したがって、最新の撮影画像及び直前の合成画像に、ある程度の動きがある被写体が映っている場合でも、その動きに追従して、ディープフォーカスの最新の合成画像を生成することができる。
図５は、撮影部１１において、フォーカス位置を変えながら撮影される撮影画像を説明する図である。
図５では、被写体obj1，obj2，obj3が、実空間に配置されており、それらの被写体obj1ないしobj3が、フォーカス位置を変えながら撮影されている。
なお、被写体obj1，obj2，obj3は、撮影部１１側から見て、その順で、奥に向かって配置されている。
また、被写体obj1ないしobj3の撮影において、フォーカス位置は、（撮影部１１側から見て、）手前側から奥側に移動されている。
図５において、撮影画像F#N及びF#N+1は、隣接するフレームの撮影画像であり、撮影画像F#Nが撮影され、その後、撮影画像F#N+1が撮影されている。
撮影画像F#Nが撮影されたときの被写界深度には、最も手前の被写体obj1と、手前から2番目の被写体obj2とが入っているが、最も奥の被写体obj3は入っていない。そのため、撮影画像F#Nでは、被写体obj1及びobj2がインフォーカスで映っているが、被写体obj3はピンぼけになっている。
一方、撮影画像F#N+1が撮影されたときの被写界深度には、手前から2番目の被写体obj2と、最も奥の被写体obj3とが入っているが、最も手前の被写体obj1は入っていない。そのため、撮影画像F#N+1では、被写体obj2及びobj3がインフォーカスで映っているが、被写体obj1はピンぼけになっている。
したがって、撮影画像F#N及びF#N+1には、いずれも、被写体obj2がインフォーカスで映っている。
フォーカス位置の移動は、以上のように、隣接するフレームの撮影画像F#N及びF#N+1において、1以上の被写体（図５では、被写体obj2）がインフォーカスで映るように、すなわち、隣接するフレームの撮影画像F#N及びF#N+1の被写界深度それぞれの一部が重なるように行われる。
＜医療用観察システムの第１の動作例＞
図６は、図１の医療用観察システムの第１の動作例を説明するフローチャートである。
すなわち、図６は、信号処理装置１２が図２に示したように構成される場合の医療用観察システムの動作例を示している。
ステップＳ１１において、制御部３５は、フォーカス位置の目標値を、初期値としての、例えば、フォーカス位置の移動可能範囲の最小値に設定し、処理は、ステップＳ１２に進む。
ステップＳ１２では、制御部３５は、駆動制御部３４を制御することにより、フォーカス位置を、目標値に移動させ、処理は、ステップＳ１３に進む。
ステップＳ１３では、撮影部１１は、フォーカス位置が目標値になっている状態で、撮影画像を撮影し、フレームバッファ３１に供給して、処理は、ステップＳ１４に進む。
ステップＳ１４では、フレームバッファ３１は、撮影部１１からの撮影画像を、注目する注目画像として記憶し、処理は、ステップＳ１５に進む。
ステップＳ１５では、位置合わせ部３２は、フレームバッファ３１に記憶された最新の撮影画像である注目画像と、同じくフレームバッファ３１に記憶された直前の合成画像との位置合わせを、図４で説明したように行う。さらに、ステップＳ１５では、位置合わせ部３２は、位置合わせ後の注目画像と直前の合成画像とを、合成部３３に供給して、処理は、ステップＳ１６に進む。
ここで、フレームバッファ３１に記憶された合成画像は、所定のタイミングでリセット、すなわち、フレームバッファ３１から削除される。
合成画像のリセットは、例えば、撮影の開始時に行われる。
したがって、撮影の開始時においては、合成画像がリセットされるので、合成画像は、フレームバッファ３１に記憶されていない。
なお、合成画像のリセットは、その他、例えば、ステップＳ１１で、フォーカス位置の目標値が初期値に設定されるときに行うことができる。また、例えば、撮影画像から大きな動きが検出された場合等の、ディープフォーカスの合成画像の生成に適さない撮影画像が撮影された場合、その他の、撮影画像の合成（による合成画像の生成）を制限すべき合成制限条件が満たされる場合に、合成画像のリセットを行うことができる。
合成画像がフレームバッファ３１に記憶されていない場合、ステップＳ１５及びＳ１６の処理は、スキップされるとともに、注目画像が、合成画像としてフレームメモリ３１に記憶される。
ステップＳ１６では、合成部３３は、図４で説明したように、位置合わせ後の注目画像及び直前の合成画像のそれぞれの画素について、合焦特徴量を算出し、その合焦特徴量に応じて、注目画像及び直前の合成画像を合成することにより、最新の合成画像を生成する。
すなわち、合成部３３は、合焦特徴量に応じて、注目画像及び直前の合成画像の画素のうちのよりフォーカスが合っている画素を、最新の合成画像の画素として選択することで、最新の合成画像を生成する。
合成部３３は、最新の合成画像を、フレームメモリ３１に供給して、直前の合成画像に上書きする形で記憶させ、処理は、ステップＳ１６からステップＳ１７に進む。
ここで、以上のようにして、フレームメモリ３１に記憶された最新の合成画像が、次回行われるステップＳ１５において、直前の合成画像として用いられる。
ステップＳ１７では、制御部３５は、フォーカス位置の目標値が、フォーカス位置の移動可能範囲の最大値になっているかどうかを判定する。
ステップＳ１７において、目標値が、フォーカス位置の移動可能範囲の最大値ではないと判定された場合、すなわち、目標値が、フォーカス位置の移動可能範囲の最大値未満である場合、処理は、ステップＳ１８に進む。
ステップＳ１８では、制御部３５は、フォーカス位置の目標値を、現在の値から、所定値だけ増加させ、処理は、ステップＳ１２に戻る。
ステップＳ１２では、上述したように、制御部３５は、駆動制御部３４を制御することにより、フォーカス位置を、目標値に移動させる。そして、以下、同様の処理が繰り返され、これにより、フォーカス位置を変えながら、撮影画像が撮影され、最新の撮影画像と直前の合成画像とが合成されていく。
一方、ステップＳ１７において、目標値が、フォーカス位置の移動可能範囲の最大値であると判定された場合、すなわち、フォーカス位置を、移動可能範囲に亘って移動させながらの、複数の撮影画像の撮影が完了した場合、処理は、ステップＳ１９に進む。
ステップＳ１９では、合成部３３は、最新の合成画像を、表示装置１３（図１）に出力して表示させ、処理は、ステップＳ１１に戻る。
第１の動作例では、フォーカス位置を、移動可能範囲に亘って移動させながら、複数の撮影画像が撮影され、その複数の撮影画像のすべてを用いた合成画像が生成されてから、その合成画像が、表示装置１３に出力されて表示される。
したがって、第１の動作例では、表示装置１３に表示される合成画像のフレームレートは、撮影部１１で撮影される撮影画像のフレームレートよりも、合成画像の生成に用いられる撮影画像のフレーム数に対応する分だけ低下する。
＜医療用観察システムの第２の動作例＞
図７は、図１の医療用観察システムの第２の動作例を説明するフローチャートである。
すなわち、図７は、信号処理装置１２が図２に示したように構成される場合の医療用観察システムの他の動作例を示している。
第２の動作例では、ステップＳ２１ないしＳ２６において、図６の第１の動作例のステップＳ１１ないしＳ１６とそれぞれ同様の処理が行われる。
そして、ステップＳ２６において、合成部３３が、最新の合成画像を生成し、その最新の合成画像を、フレームメモリ３１に供給して、直前の合成画像に上書きする形で記憶させた後は、処理は、ステップＳ２７に進む。
ステップＳ２７では、合成部３３は、図６の第１の動作例のステップＳ１９と同様に、最新の合成画像を、表示装置１３（図１）に出力して表示させ、処理は、ステップＳ２８に進む。
ステップＳ２８及びＳ２９では、図６の第１の動作例のステップＳ１７及びＳ１８とそれぞれ同様の処理が行われる。
上述したように、図６の第１の動作例では、フォーカス位置を、移動可能範囲に亘って移動させながら、複数の撮影画像が撮影され、その複数の撮影画像のすべてを用いた合成画像が生成されてから、その合成画像が、表示装置１３に出力されて表示される。
一方、図７の第２の動作例は、フォーカス位置を、移動可能範囲に亘って移動させながら、複数の撮影画像が撮影される点では、第１の動作例と共通する。
但し、第２の動作例では、第１の動作例のステップＳ１６に対応するステップＳ２６において、最新の撮影画像（注目画像）を用いた最新の合成画像が生成されるごとに、直後のステップＳ２７において、その最新の合成画像が、表示装置１３に出力されて表示される。
したがって、第２の動作例では、表示装置１３に表示される合成画像のフレームレートは、撮影部１１で撮影される撮影画像のフレームレートに一致する。
なお、図６の第１の動作例のように、フォーカス位置を、移動可能範囲に亘って移動させながら撮影された複数の撮影画像のすべてを用いた合成画像が生成されてから、その合成画像を、表示装置１３に出力するか、又は、図７の第２の動作例のように、最新の撮影画像を用いた最新の合成画像が生成されるごとに、その最新の合成画像を、表示装置１３に出力するかは、例えば、ユーザの操作に応じて選択することができる。
以下では、第１及び第２の動作例のうちの、例えば、第１の動作例のように、フォーカス位置を、移動可能範囲に亘って移動させながら撮影された複数の撮影画像のすべてを用いた合成画像が生成されてから、その合成画像を、表示装置１３に出力する場合を例として、説明を行う。
＜医療用観察システムの第３の動作例＞
図８は、図１の医療用観察システムの第３の動作例を説明するフローチャートである。
すなわち、図８は、信号処理装置１２が図２に示したように構成される場合の医療用観察システムの、さらに他の動作例を示している。
第３の動作例では、ステップＳ３１ないしＳ３８において、図６の第１の動作例のステップＳ１１ないしＳ１８とそれぞれ同様の処理が行われる。
ステップＳ３７において、制御部３５は、第１の動作例の対応するステップＳ１７と同様に、フォーカス位置の目標値が、フォーカス位置の移動可能範囲の最大値になっているかどうかを判定する。
そして、ステップＳ３７において、目標値が、フォーカス位置の移動可能範囲の最大値であると判定された場合、処理は、ステップＳ３９に進む。
ステップＳ３９では、制御部３５は、撮影画像の合成（による合成画像の生成）を制限すべき合成制限条件が満たされるかどうかを判定する。
ここで、合成制限条件としては、例えば、ディープフォーカスの合成画像の生成に適さない撮影画像が撮影された場合や、ユーザがディープフォーカスの画像を必要としていない場合等を採用することができる。
ディープフォーカスの合成画像の生成に適さない撮影画像が撮影された場合としては、例えば、ステップＳ３５の、注目画像及び直前の合成画像の位置合わせで行われる、注目画像及び直前の合成画像の画角の調整において、その画角の調整の信頼性が閾値以下である場合がある。
画角の調整では、図４で説明したように、注目画像（最新の撮影画像としての時刻t1の撮影画像）と、直前の合成画像（直前の合成画像としての時刻t0の撮影画像）との相関値を最も高くする画角が求められ、そのような画角に、直前の合成画像の画角が調整される。
画角の調整の信頼性としては、例えば、直前の合成画像の画角が調整されるときの、注目画像と直前の合成画像との相関値を採用することができる。
また、ディープフォーカスの合成画像の生成に適さない撮影画像が撮影された場合としては、例えば、ステップＳ３６の、注目画像及び直前の合成画像の合成で行われる、注目画像及び直前の合成画像の動き検出において、その動き検出の信頼性が閾値以下である場合がある。
動き検出の信頼性としては、例えば、動き検出としてのブロックマッチングで動きベクトルの検出に用いられる、ブロックどうしの類似性を評価する評価値としての、例えば、SAD(Sum of Absolute Difference)等に反比例する値を採用することができる。
ディープフォーカスの合成画像の生成に適さない撮影画像が撮影された場合としては、その他、例えば、ステップＳ３６の、注目画像及び直前の合成画像の合成で行われる、注目画像及び直前の合成画像の動き検出において検出される動きの大きさが閾値以上である場合がある。
例えば、ユーザが、撮影部１１を操作して、パンやズーム等を、意図的に行った場合にや、フォーカス位置の移動速度に対して、被写体の動きが大きい場合等においては、注目画像及び直前の合成画像に映る被写体の位置合わせが困難となり、合成画像に大きな動きぼけが生じるおそれがある。
注目画像及び直前の合成画像の動き検出において検出される動きの大きさが閾値以上であることを、合成制限条件とすることにより、上述のような、大きな動きぼけが生じた合成画像が生成されることを防止することができる。
ユーザがディープフォーカスの画像を必要としていない場合としては、例えば、撮影画像に、施術を施す人体の術部等の生体とともに、その術部に処置を施す鉗子等の処置具が映っている場合であって、その処置具が、ユーザ（処置具を操作する術者）によって、意図的に動かされている場合（例えば、処置具を、術部に向かって移動させている場合等）がある。
処置具が動いているかどうかは、例えば、撮影画像に、処置具が映っていることを、画像認識により認識し、その処置具の動き検出を行うことで認識することができる。
また、処置具が動いているかどうかは、例えば、ユーザが処置具を扱っているときにオン状態に操作されるボタン（図示せず）の状態に基づいて認識することができる。
ユーザがディープフォーカスの画像を必要としていない場合としては、その他、例えば、ユーザがディープフォーカスの画像を必要でないときに操作されるボタン（図示せず）が操作されている場合がある。
ステップＳ３９において、合成制限条件が満たされると判定された場合、処理は、ステップＳ４０に進む。
ステップＳ４０では、合成部３３は、最新の合成画像の生成に用いられた複数の撮影画像のうちの１つの撮影画像、すなわち、例えば、中央にフォーカスがあっている１つ（１フレーム）の撮影画像を、フレームバッファ３１から、位置合わせ部３２を介して読み出す。
そして、合成部３３は、フレームバッファ３１から読み出した、中央にフォーカスがあっている撮影画像を、最新の合成画像に選択し、処理は、ステップＳ４０からステップＳ４１に進む。
一方、ステップＳ３９において、合成制限条件が満たされないと判定された場合、処理は、ステップＳ４０をスキップして、ステップＳ４１に進む。
ステップＳ４１では、合成部３３は、図６の第１の動作例のステップＳ１９と同様に、最新の合成画像を、表示装置１３（図１）に出力して表示させ、処理は、ステップＳ３１に戻る。
図８の第３の動作例では、合成制限条件が満たされない場合には、フォーカス位置を変えながら撮影された複数の撮影画像が合成された合成画像が、表示装置１３に出力されて表示されるが、合成制限条件が満たされる場合には、フォーカス位置を変えながら撮影された複数の撮影画像が合成された合成画像の出力が制限され、その複数の撮影画像のうちの１つの撮影画像が、表示装置１３に出力されて表示される。
したがって、例えば、ユーザが、意図的に、処置具を、術部に向けて、大きく動かしており、特に、EDoFが必要であると思っていない場合等において、フォーカス位置を変えながら撮影された複数の撮影画像が合成された合成画像が表示装置１３に表示されることを防止することができる。
また、例えば、撮影部１１が大きく振られること等に起因して、動きが大きな複数の撮影画像が撮影された場合に、そのような動きの大きな複数の撮影画像が合成されることで、大きな動きぼけが生じた画像が表示装置１３に表示されることを防止することができる。
一方、医療機器である医療用観察システムには、その性質上、表示装置１３に表示される画像が途切れることを極力防止して、必要とされるフレームレートで、表示装置１３に画像を表示し続けることが要求される。
図３の第３の動作例では、合成制限条件が満たされる場合、すなわち、例えば、撮影部１１が大きく振られること等に起因して、大きな動きぼけが生じた合成画像が生成された場合には、そのような大きな動きぼけが生じた合成画像に代えて、中央にフォーカスがあっている撮影画像が、表示装置１３に表示される。
したがって、大きな動きぼけが生じた合成画像が表示されることを防止するとともに、表示装置１３に表示される画像が途切れることを防止することができる。
＜信号処理装置１２の第２の構成例＞
図９は、図１の信号処理装置１２の第２の構成例を示すブロック図である。
なお、図中、図２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図９の信号処理装置１２は、フレームバッファ３１ないし制御部３５、並びに、奥行き推定部６１、範囲設定部６２、及び、範囲記憶部６３を有する。
したがって、図９の信号処理装置１２は、フレームバッファ３１ないし制御部３５を有する点で、図２の場合と共通する。
但し、図９の信号処理装置１２は、奥行き推定部６１、範囲設定部６２、及び、範囲記憶部６３が新たに設けられている点で、図２の場合と相違する。
奥行き推定部６１は、撮影部１１で撮影された撮影画像に映る被写体の奥行きを推定し、その奥行きを表す奥行き情報を登録したデプスマップを、範囲設定部６２に供給する。
ここで、奥行きを推定する方法としては、例えば、撮影部１１が3D画像を撮影することができる、いわゆる3Dカメラである場合には、撮影部１１で撮影される3D画像を構成するL画像とR画像との視差から、被写体の奥行きを求める方法がある。
また、奥行きを推定する方法としては、例えば、レーザ等を用いてToF(Time of flight)を計測する方法や、テクスチャードライトのように特定のパターンを被写体に照射して奥行を求める方法がある。さらに、奥行きを推定する方法としては、図１の医療用観察システムがAF(Auto Focus)の機能を有する場合には、そのAFによって制御される光学系２２の状態に基づいて、被写体の奥行きを求める方法がある。
範囲設定部６２は、奥行き推定部６１からのデプスマップを、必要に応じて用い、例えば、ユーザの操作に応じて、フォーカス位置を移動する範囲（以下、フォーカス移動範囲ともいう）を設定し、範囲記憶部６３に供給する。
範囲記憶部６３は、範囲設定部６２からのフォーカス移動範囲を記憶する。
ここで、図２の信号処理装置１２では、駆動制御部３４が、フォーカス位置を、フォーカス位置の移動可能範囲に亘って（フォーカス位置の移動可能範囲の最小値から最大値まで）移動させるが、図９の信号処理装置１２は、駆動制御部３４は、範囲記憶部６３に記憶されたフォーカス移動範囲に亘って移動させる。
したがって、図９では、撮影部１１において、ユーザの操作に応じて設定されたフォーカス移動範囲内で、フォーカス位置を変えながら、撮影画像が撮影される。
図１０は、範囲設定部６２でのフォーカス移動範囲の設定の例を説明する図である。
図１０では、図５と同様に、被写体obj1，obj2，obj3が、実空間に、その順で、奥に向かって配置されている。
そして、図１０では、被写体obj1ないしobj3のうちの、奥側の２つの被写体obj2及びobj3の位置がフォーカス位置に含まれるように、フォーカス移動範囲が設定されている。
フォーカス位置の移動可能範囲に、被写体obj1ないしobj3の位置が含まれることとすると、フォーカス移動範囲が、フォーカス位置の移動可能範囲に設定されている場合には、合成画像として、被写体obj1ないしobj3のすべてがインフォーカスになっている画像が生成される。
一方、フォーカス移動範囲が、図１０に示すように、被写体obj1ないしobj3のうちの、２つの被写体obj2及びobj3の位置が含まれるように設定されている場合には、合成画像として、被写体obj1ないしobj3のうちの、２つの被写体obj2及びobj3がインフォーカスになっている画像が生成される。
以上のように、ユーザの操作に応じてフォーカス移動範囲を設定することにより、合成画像の生成に用いる撮影画像を撮影するときのフォーカス位置を制限することができる。このフォーカス位置の制限によって、合成画像の生成に用いる撮影画像のフレーム数を少なくすることができ、その結果、表示装置１３に表示される合成画像が生成される間隔が短縮され、合成画像のフレームレートを、高フレームレートにすることができる。
＜医療用観察システムの第４の動作例＞
図１１は、図１の医療用観察システムの第４の動作例を説明するフローチャートである。
すなわち、図１１は、信号処理装置１２が図９に示したように構成される場合の医療用観察システムの動作例を示している。
第４の動作例では、ステップＳ５１において、奥行き推定部６１が、奥行き推定を行い、被写体の奥行き情報を登録したデプスマップを生成して、範囲設定部６２に供給し、処理は、ステップＳ５２進む。
ステップＳ５２では、範囲設定部６２は、例えば、ユーザの操作を待って、その操作に応じて、フォーカス位置を移動するフォーカス移動範囲を設定し、範囲記憶部６３に供給して、処理は、ステップＳ５３に進む。
ここで、ユーザは、図示せぬタッチパネル等を操作することによって、フォーカス移動範囲を指定することができる。
ユーザは、例えば、フォーカス移動範囲の最小値及び最大値としての絶対距離を、mm(millimeter)単位等で入力することにより、フォーカス移動範囲を指定することができる。また、ユーザは、例えば、AFによって決定されるフォーカス位置（合焦位置）を中心とする奥行き方向の前後の幅を入力することにより、フォーカス移動範囲を指定することができる。
その他、ユーザは、例えば、撮影部１１で撮影された撮影画像に映る被写体を指定することにより、フォーカス移動範囲を指定することができる。
この場合、範囲設定部６２は、奥行き推定部６１で得られたデプスマップを用いて、フォーカス移動範囲を設定する。
すなわち、例えば、ユーザが、表示装置１３に表示された画像に映る被写体を、ユーザが指定すると、範囲設定部６２は、デプスマップを参照して、ユーザが指定した被写体が存在する奥行き方向の範囲を認識する。そして、範囲設定部６２は、ユーザが指定した被写体が存在する奥行き方向の範囲を、フォーカス移動範囲に設定する。
ユーザが複数の被写体を指定した場合には、範囲設定部６２は、その複数の被写体の最も手前の位置と、最も奥の位置との間を、フォーカス移動範囲に設定する。
なお、フォーカス移動範囲は、フォーカス位置を移動することができる範囲内（移動可能範囲内）で設定される。
また、範囲設定部６２が、フォーカス移動範囲の設定にデプスマップを用いない場合には、図９の信号処理装置１２は、奥行き推定部６１を設けずに構成することができる。
ステップＳ５３では、範囲記憶部６３は、範囲設定部６２からのフォーカス移動範囲を記憶する。
ここで、範囲記憶部６３に記憶されるフォーカス移動範囲は、ユーザによる、フォーカス移動範囲を指定する操作に応じて、その操作が行われるごとに更新される。
ステップＳ５３の後、処理は、ステップＳ６１に進み、以下、フォーカス位置を、範囲記憶部６３に記憶されたフォーカス移動範囲に亘って移動させながら、撮影画像が撮影され、合成画像が生成される。
すなわち、ステップＳ６１において、制御部３５は、フォーカス位置の目標値を、初期値としての、例えば、範囲記憶部６３に記憶されたフォーカス移動範囲の最小値に設定し、処理は、ステップＳ６２に進む。
ステップＳ６２ないしＳ６６では、図６の第１の動作例のステップＳ１２ないしＳ１６とそれぞれ同様の処理が行われる。
そして、処理は、ステップＳ６６からステップＳ６７に進み、制御部３５は、フォーカス位置の目標値が、範囲記憶部６４に記憶されたフォーカス移動範囲の最大値になっているかどうかを判定する。
ステップＳ６７において、目標値が、フォーカス移動範囲の最大値ではないと判定された場合、すなわち、目標値が、フォーカス移動範囲の最大値未満である場合、処理は、ステップＳ６８に進む。
ステップＳ６８では、制御部３５は、図６の第１の動作例のステップＳ１８と同様に、フォーカス位置の目標値を、現在の値から、所定値だけ増加させ、処理は、ステップＳ６２に戻り、以下、同様の処理が繰り返される。
これにより、フォーカス位置を、ユーザの操作に応じて設定されたフォーカス移動範囲に亘って変えながら、撮影画像が撮影され、合成画像が生成されていく。
一方、ステップＳ６７において、目標値が、フォーカス移動範囲の最大値であると判定された場合、すなわち、フォーカス位置を、フォーカス移動範囲に亘って移動させながらの、複数の撮影画像の撮影が完了した場合、処理は、ステップＳ６９に進む。
ステップＳ６９では、合成部３３は、図６の第１の動作例のステップＳ１９と同様に、最新の合成画像を、表示装置１３（図１）に出力して表示させ、処理は、ステップＳ６１に戻る。
以上のように、第４の動作例では、フォーカス位置を、ユーザの操作に応じて設定されたフォーカス移動範囲に亘って移動させながら、複数の撮影画像が撮影され、その複数の撮影画像を用いて、合成画像が生成される。
したがって、ユーザが意図した（所望する）奥行きの範囲にある被写体のみがインフォーカスに映った合成画像を表示することができる。
また、ユーザの操作に応じて設定されたフォーカス移動範囲が、フォーカス位置の移動可能範囲よりも狭い場合には、フォーカス位置を移動する時間が短くなるので、表示装置１３に表示される合成画像のフレームレートを、高フレームレートにすることが可能となる。
＜信号処理装置１２の第３の構成例＞
図１２は、図１の信号処理装置１２の第３の構成例を示すブロック図である。
なお、図中、図２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１２の信号処理装置１２は、フレームバッファ３１ないし制御部３５、並びに、評価値算出部７１、AF制御部７２、バッファ７３、及び、ピーク検出部７４を有する。
したがって、図１２の信号処理装置１２は、フレームバッファ３１ないし制御部３５を有する点で、図２の場合と共通する。
但し、図１２の信号処理装置１２は、評価値算出部７１、AF制御部７２、バッファ７３、及び、ピーク検出部７４が新たに設けられている点で、図２の場合と相違する。
図１２の信号処理装置１２は、AFの機能を有している。
すなわち、評価値算出部７１は、フレームバッファ３１に記憶された（最新の）撮影画像について、フォーカスを評価するフォーカス評価値を算出する。
フォーカス評価値としては、例えば、撮影画像のコントラストの高さを表す物理量を採用することができる。この場合、コントラスト方式のAFが行われることになる。
評価値算出部７１は、フォーカス評価値を算出する撮影画像の範囲を画定するAF枠を、あらかじめ決められた位置、すなわち、例えば、撮影画像の中央部に設定する。そして、評価値算出部７１は、AF枠内の撮影画像を用いて、フォーカス評価値を算出して、AF制御部７２、及び、バッファ７３に供給する。
AF制御部７２は、評価値算出部７１からのフォーカス評価値に応じて、AFの制御を行う。
すなわち、AF制御部７２は、フォーカス評価値が大になるように、フォーカス位置を移動するように、フォーカス位置の移動量（方向を含む）を決定し、その移動量だけ、フォーカス位置を移動するように、駆動制御部３４を制御する。
バッファ７３は、評価値算出部７１からのフォーカス評価値を記憶する。バッファ７３は、例えば、2N+1段のFIFO(First In First Out)メモリ等で構成することができ、この場合、バッファ７３では、最新の2N+1フレーム分のフォーカス評価値を記憶することができる。
ピーク検出部７４は、バッファ７３に記憶されたフォーカス評価値から、ピーク、すなわち、極大値（最大値を含む）である極大評価値を検出し、その極大評価値の検出結果を、制御部３５に供給する。
図１３は、フォーカス位置と、フォーカス評価値との関係の例を示す図である。
図１３では、コントラスト方式のAFによって、フォーカス位置が、位置P1,P2,P3,P4,P5,P6の順で移動し、最終的に、フォーカス評価値が最大値になる合焦位置P6に移動している。
すなわち、コントラスト方式のAFでは、フォーカス位置が合焦位置P6付近に移動されるまでは、フォーカス評価値が大になるように、フォーカス位置が移動される。そして、フォーカス位置が合焦位置P6付近に到達すると、合焦位置P6を検出するために、合焦位置P6を跨ぐように（合焦位置P6の前後を行き来するように）、フォーカス位置が移動される。
図１３では、フォーカス位置が、まず、図中、右方向に向かって、位置P1,P2,P3に、順次移動されている。位置P1及びP2では増加していたフォーカス評価値が、位置P3では減少するため、フォーカス位置は、位置P3から、逆方向の左方向に向かって、位置P4に移動されている。その後、フォーカス位置は、位置P4から、再び、右方向に向かって、位置P5に移動され、さらに、位置P5から、再び、左方向に向かって移動され、合焦位置P6に到達している。
以上のように、コントラスト方式のAFでは、フォーカス位置が、合焦位置P6付近で、合焦位置P6を跨ぐように移動されるために、合焦位置P6に移動されるまでに時間を要する。
図１２の信号処理装置１２では、フォーカス評価値から、フォーカス評価値のピーク、つまり、（最大値とは限らない）極大評価値を検出し、その極大評価値が得られるフォーカス位置であるピーク位置を含む所定の範囲のフォーカス位置で撮影された複数の撮影画像を、合成画像の生成に用いる合成対象画像として、合成画像を生成する。
ここで、図１３では、位置P1及びP2で増加していたフォーカス評価値が、位置P3で減少するため、位置P2で得られるフォーカス評価値が極大評価値であること、ひいては、位置P2がピーク位置であることが検出される。
図１２の信号処理装置１２では、極大評価値が検出されると、AFとしてのフォーカス位置の移動が停止される。さらに、極大評価値が検出された位置P2であるピーク位置P2を含む所定の範囲Rが、合成対象画像となる撮影画像のフォーカス位置の範囲である合成対象フォーカス範囲Rに設定される。
そして、合成対象フォーカス範囲Rのフォーカス位置で撮影された撮影画像を、合成対象画像として、合成画像が生成される。
なお、所定の範囲Rは、フォーカス位置の移動可能範囲で設定される。
以上のように、合成画像の生成を、いわば、AFの機能と連動させ、フォーカス評価値のピーク位置を含む所定の範囲Rのフォーカス位置で撮影された複数の撮影画像を合成対象画像として、合成画像を生成する場合には、AFの機能によって、フォーカス位置が合焦位置P6に移動される前までに撮影された撮影画像を用いて、ディープフォーカスの合成画像を得ることができる。
したがって、AFでは、フォーカス位置を、合焦位置P6付近にまで移動すれば良く、合焦位置P6にまで移動する必要がないので、実質的に、AFを高速化することができる。
さらに、合成画像の生成にあたり、撮影部１１が撮影している実空間に存在する被写体の位置からかけ離れているフォーカス位置で、撮影画像が撮影されることが抑制される。すなわち、どの被写体にもフォーカスがあっていない撮影画像が撮影されることが抑制される。その結果、合成画像の生成を高速化することができ、ひいては、合成画像のフレームレートを、高フレームレートにすることができる。
＜医療用観察システムの第５の動作例＞
図１４は、図１の医療用観察システムの第５の動作例を説明するフローチャートである。
すなわち、図１４は、信号処理装置１２が図１２に示したように構成される場合の医療用観察システムの動作例を示している。
ステップＳ７１において、撮影部１１は、撮影画像を撮影し、フレームバッファ３１に供給して、処理は、ステップＳ７２に進む。
ステップＳ７２では、フレームバッファ３１は、撮影部１１からの撮影画像を記憶し、処理は、ステップＳ７３に進む。
ステップＳ７３では、評価値算出部７１は、フレームバッファ３１に記憶された（最新の）撮影画像について、その撮影画像のうちの、あらかじめ決められた位置に設定されたAF枠内の画像を用いて、フォーカス評価値を算出し、AF制御部７２、及び、バッファ７３に供給して、処理は、ステップＳ７４に進む。
ステップＳ７４では、バッファ７３は、評価値算出部７１からのフォーカス評価値を記憶し、処理は、ステップＳ７５に進む。
ステップＳ７５では、ピーク検出部７４は、バッファ７３に記憶されたフォーカス評価値からの、極大評価値の検出を実行し、極大評価値を検出することができたかどうかを判定する。
ステップＳ７５において、極大評価値を検出することができなかったと判定された場合、処理は、ステップＳ７６に進む。ステップＳ７６では、合成部３３は、フレームバッファ３１から、位置合わせ部３２を介して、最新の撮影画像を読み出し、その最新の撮影画像を、最新の合成画像として、表示装置１３に出力して、処理は、ステップＳ７７に進む。ここで、ステップＳ７６は、スキップすることができる。
ステップＳ７７では、AF制御部７２は、評価値算出部７１からのフォーカス評価値に応じて、フォーカス評価値が大になるように、フォーカス位置を移動する移動量を決定し、処理は、ステップＳ７８に進む。
ステップＳ７８では、AF制御部７２は、ステップＳ７７で決定された移動量だけ、フォーカス位置を移動するように、駆動制御部３４を制御し、これにより、フォーカス位置が、ステップＳ７７で決定された移動量だけ移動される。
その後、処理は、ステップＳ７８からステップＳ７１に戻り、以下、ステップＳ７５において、極大評価値が検出されたと判定されるまで、ステップＳ７１ないしＳ７８の処理が繰り返される。
そして、ステップＳ７５において、極大評価値が検出されたと判定されたと判定された場合、処理は、ステップＳ８０に進む。
ステップＳ８０では、制御部３５は、極大評価値が検出されたフォーカス位置であるピーク位置を中心とするフォーカス位置の所定の範囲Rを、合成対象画像となる撮影画像のフォーカス位置の範囲である合成対象フォーカス範囲Rに設定する。
さらに、制御部３５は、合成対象フォーカス範囲R内のフォーカス位置で撮影された撮影画像の中から、ピーク位置の前後それぞれのN個のフォーカス位置で撮影された2Nフレームの撮影画像と、ピーク位置のフォーカス位置で撮影された1フレームの撮影画像との、合計で、2N+1フレームの撮影画像を、合成対象画像として特定する。
なお、合成対象フォーカス範囲R内のフォーカス位置で撮影された撮影画像において、ピーク位置の前又は後のフォーカス位置で撮影された撮影画像が、Nフレームに満たない場合には、例えば、合成対象フォーカス範囲R内のフォーカス位置で撮影された撮影画像のうちの、ピーク位置の前又は後のフォーカス位置で撮影された撮影画像のすべてを、合成対象画像とすることができる。
あるいは、合成対象フォーカス範囲R内で、フォーカス位置を移動しながら、ピック位置の前及び後のフォーカス位置で撮影された撮影画像が、それぞれNフレームになるように、撮影画像を撮影することができる。
ステップＳ８０において、以上のように、合成対象画像が特定された後、処理は、ステップＳ８１に進む。
ここで、図１４の第５の動作例では、ステップＳ８０において、合成対象画像が特定されたときに、フレームバッファ３１に記憶された合成画像のリセットを行うことができる。
ステップＳ８１では、位置合わせ部３２は、フレームバッファ３１に記憶された、合成対象画像となっている撮影画像の中から、まだ、注目画像として選択されていない撮影画像の１つを注目画像として選択し、処理は、ステップＳ８２に進む。
ステップＳ８２では、位置合わせ部３２は、図６の第１の動作例のステップＳ１５と同様に、注目画像と、フレームバッファ３１に記憶された直前の合成画像との位置合わせを行い、位置合わせ後の注目画像と直前の合成画像とを、合成部３３に供給して、処理は、ステップＳ８３に進む。
ここで、図６の場合と同様に、合成画像がフレームバッファ３１に記憶されていない場合、ステップＳ８２及びＳ８３の処理は、スキップされるとともに、注目画像が、合成画像としてフレームメモリ３１に記憶される。
ステップＳ８３では、合成部３３は、図６の第１の動作例のステップＳ１６と同様に、位置合わせ後の注目画像及び直前の合成画像のそれぞれの画素について、合焦特徴量を算出し、その合焦特徴量に応じて、注目画像及び直前の合成画像を合成することにより、最新の合成画像を生成する。
さらに、合成部３３は、最新の合成画像を、フレームメモリ３１に供給して、直前の合成画像に上書きする形で記憶させ、処理は、ステップＳ８３からステップＳ８４に進む。
ステップＳ８４では、位置合わせ部３２は、合成対象画像のすべてを、注目画像に選択したかどうかを判定する。
ステップＳ８４において、まだ、合成対象画像のすべてを、注目画像に選択していないと判定された場合、処理は、ステップＳ８１に戻り、以下、同様の処理が繰り返される。
また、ステップＳ８４において、合成対象画像のすべてを、注目画像に選択したと判定された場合、すなわち、合成対象画像のすべてを用いた合成画像が、最新の合成画像として生成された場合、処理は、ステップＳ８５に進む。
ステップＳ８５では、合成部３３は、最新の合成画像を、表示装置１３に出力して表示させ、処理は、ステップＳ７１に戻る。
なお、図１４では、AFの機能としてのステップＳ７１ないしＳ７８において、極大評価値が検出されるまで、すなわち、ピーク位置が検出されるまで、フォーカス位置を移動させることとしたが、AFの機能としては、その他、例えば、フォーカス評価値の最大値が検出されるまで、すなわち、合焦位置が検出されるまで、フォーカス位置を移動することができる。
この場合、AFの機能において、合焦位置で撮影された撮影画像と、合焦位置の前後それぞれの複数のフォーカス位置で撮影された撮影画像とを、合成対象画像として、合成画像を生成することができる。
＜信号処理装置１２の第４の構成例＞
図１５は、図１の信号処理装置１２の第４の構成例を示すブロック図である。
なお、図中、図１２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１５の信号処理装置１２は、フレームバッファ３１ないし制御部３５、及び、評価値算出部７１ないしピーク検出部７４、並びに、AF枠設定部８１を有する。
したがって、図１５の信号処理装置１２は、フレームバッファ３１ないし制御部３５、及び、評価値算出部７１ないしピーク検出部７４、を有する点で、図１２の場合と共通する。
但し、図１５の信号処理装置１２は、AF枠設定部８１が新たに設けられている点で、図１２の場合と相違する。
図１５の信号処理装置１２は、図１２の場合と同様に、AFの機能を有している。
但し、図１２では、AF枠が、例えば、撮影画像の中央部等の、あらかじめ決められた位置に設定されるが、図１５の信号処理装置では、撮影画像の、ユーザが指定する位置に、AF枠を設定することができる。
すなわち、AF枠設定部８１は、AFモードに応じて、AF枠を設定し、評価値算出部７１に供給する。
評価値算出部７１は、AF枠設定部８１からのAF枠内の撮影画像を用いて、フォーカス評価値を算出する。
ここで、AFモードには、通常モードと、指定モードとがある。
AFモードは、例えば、ユーザの操作にしたがって、通常モード又は指定モードに設定される。
通常モードでは、AF枠設定部８１は、デフォルトの位置、すなわち、例えば、撮影画像の中央部等のあらかじめ決められた位置にAF枠を設定する。
指定モードでは、AF枠設定部８１は、ユーザの操作に応じて、撮影画像上の、ユーザが指定する位置に、AF枠を設定する。
例えば、ユーザが、撮影画像上の端の位置を指定した場合、AF枠設定部８１は、その端の位置に、AF枠を設定する。
＜AF枠設定の処理＞
図１６は、図１５の信号処理装置１２で行われるAF枠の設定の処理の例を説明するフローチャートである。
ステップＳ９１において、AF枠設定部８１は、ユーザが、AFモードを選択する選択操作を行ったかどうかを判定する。
ステップＳ９１において、ユーザが、AFモードを選択する選択操作を行ったと判定された場合、処理は、ステップＳ９２に進み、AF枠設定部８１は、ユーザによる選択操作にしたがって、AFモードを、通常モード又は指定モードに設定（変更）し、処理は、ステップＳ９３に進む。
また、ステップＳ９１において、ユーザが、AFモードを選択する選択操作を行っていないと判定された場合、処理は、ステップＳ９２をスキップして、ステップＳ９３に進む。
ステップＳ９３では、AF枠設定部８１は、（現在の）AFモードを判定する。
ステップＳ９３において、AFモードが、通常モードであると判定された場合、処理は、ステップＳ９４に進み、AF枠設定部８１は、デフォルトの位置としての、例えば、撮影画像の中央部に、AF枠を設定し、処理は、ステップＳ９１に戻る。
また、ステップＳ９３において、AFモードが、指定モードであると判定された場合、処理は、ステップＳ９５に進み、ユーザが、AF枠を指定する指定操作を行うのを待って、その指定操作によって指定される撮影画像上の位置に、AF枠を設定して、処理は、ステップＳ９１に戻る。
ここで、指定操作は、例えば、表示装置１３に表示された撮影画像上の位置をタッチすることにより行うことができる。
なお、本技術は、人体を撮影した画像の他、人体以外の生体を撮影した画像に適用することができる。
また、本技術は、生体以外の被写体を撮影した画像に適用することができる。
さらに、本技術は、医療機器以外の、撮影機能を有する任意の装置、すなわち、例えば、ディジタルカメラや、車載のイメージセンサ、農作物の監視やセキュリティのための監視カメラ、工業用の内視鏡（ファイバスコープ）システム等に適用することができる。
また、本技術は、可視光を撮影する装置で撮影された画像の他、可視光でない光（電磁波）を撮影する装置で撮影された画像に適用することができる。
＜本技術を適用したコンピュータの説明＞
次に、上述した信号処理装置１２の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図１７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下のような構成をとることができる。
＜１＞
フォーカス位置を変えながら、生体を撮影することにより得られる複数の撮影画像を合成し、合成画像を生成する合成部であって、直前に得られた合成画像の画素、及び、最新の撮影画像の画素のうちの、フォーカスが合っている画素を選択することにより、前記直前に得られた合成画像と、前記最新の撮影画像とを合成し、最新の合成画像を生成する合成部を備える
医療用画像処理装置。
＜２＞
合成を制限すべき合成制限条件が満たされる場合、前記合成部は、１の撮影画像を、前記合成画像として出力する
＜１＞に記載の医療用画像処理装置。
＜３＞
前記合成制限条件は、前記撮影画像に、前記生体とともに映る処置具が動いていることである
＜２＞に記載の医療用画像処理装置。
＜４＞
前記合成画像と前記撮影画像との位置合わせを行う位置合わせ部をさらに備え、
前記合成部は、位置合わせ後の前記合成画像と前記撮影画像とを合成する
＜２＞又は＜３＞に記載の医療用画像処理装置。
＜５＞
前記位置合わせ部は、前記合成画像及び前記撮影画像について、画角を調整し、画角の調整後の前記合成画像と前記撮影画像との位置合わせを行う
＜４＞に記載の医療用画像処理装置。
＜６＞
前記合成制限条件は、前記合成画像及び前記撮影画像の画角の調整の信頼性が閾値以下であることである
＜５＞に記載の医療用画像処理装置。
＜７＞
前記位置合わせ部は、前記合成画像及び前記撮影画像について、動きを検出し、動きの検出結果に基づいて、前記位置合わせを行う
＜４＞ないし＜６＞のいずれかに記載の医療用画像処理装置。
＜８＞
前記合成制限条件は、前記動きの検出の信頼性が閾値以下であることである
＜７＞に記載の医療用画像処理装置。
＜９＞
前記撮影画像を撮影する撮影部が、ユーザの操作に応じた範囲内で、前記フォーカス位置を変えながら、前記撮影画像を撮影する
＜１＞ないし＜８＞のいずれかに記載の医療用画像処理装置。
＜１０＞
前記合成部は、AF(Auto Focus)に用いられる評価値のピークが得られるフォーカス位置であるピーク位置を含む所定の範囲のフォーカス位置で撮影された複数の撮影画像を合成する
＜１＞ないし＜８＞のいずれかに記載の医療用画像処理装置。
＜１１＞
前記撮影画像を撮影する撮影部が、3D(Dimensional)の撮影画像を撮影する
＜１＞ないし＜１０＞のいずれかに記載の医療用画像処理装置。
＜１２＞
フォーカス位置を変えながら、生体を撮影することにより得られる複数の撮影画像を合成し、合成画像を生成する合成処理であって、直前に得られた合成画像の画素、及び、最新の撮影画像の画素のうちの、フォーカスが合っている画素を選択することにより、前記直前に得られた合成画像と、前記最新の撮影画像とを合成し、最新の合成画像を生成する合成処理を行う
医療用画像処理方法。
＜１３＞
フォーカス位置を変えながら、生体を撮影する撮影部と、
前記撮影部により撮影された複数の撮影画像を合成し、合成画像を生成する合成部であって、直前に得られた合成画像の画素、及び、最新の撮影画像の画素のうちの、フォーカスが合っている画素を選択することにより、前記直前に得られた合成画像と、前記最新の撮影画像とを合成し、最新の合成画像を生成する合成部と
を備える医療用観察システム。
１１ 撮影部， １２ 信号処理装置， １３ 表示装置， ２１ 光源， ２２ 光学系， ２３ イメージセンサ， ３１ フレームバッファ， ３２ 位置合わせ部， ３３ 合成部， ３４ 駆動制御部， ３５ 制御部， ４１ 画角調整部， ４２ 動きぼけ除去部， ４３ 被写体位置合わせ部， ５１ 特徴量算出部， ５２ ピーク算出部， ５３ 画像合成部， ６１ 奥行き推定部， ６２ 範囲設定部， ６３ 範囲記憶部， ７１ 評価値算出部， ７２ AF制御部， ７３ バッファ， ７４ ピーク検出部， ８１ AF枠設定部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体

Claims (13)

  1. フォーカス位置を変えながら、生体を撮影することにより得られる複数の撮影画像を合成し、合成画像を生成する合成部であって、直前に得られた合成画像の画素、及び、最新の撮影画像の画素のうちの、フォーカスが合っている画素を選択することにより、前記直前に得られた合成画像と、前記最新の撮影画像とを合成し、最新の合成画像を生成する合成部を備える
    医療用画像処理装置。
  2. 合成を制限すべき合成制限条件が満たされる場合、前記合成部は、１の撮影画像を、前記合成画像として出力する
    請求項１に記載の医療用画像処理装置。
  3. 前記合成制限条件は、前記撮影画像に、前記生体とともに映る処置具が動いていることである
    請求項２に記載の医療用画像処理装置。
  4. 前記合成画像と前記撮影画像との位置合わせを行う位置合わせ部をさらに備え、
    前記合成部は、位置合わせ後の前記合成画像と前記撮影画像とを合成する
    請求項２に記載の医療用画像処理装置。
  5. 前記位置合わせ部は、前記合成画像及び前記撮影画像について、画角を調整し、画角の調整後の前記合成画像と前記撮影画像との位置合わせを行う
    請求項４に記載の医療用画像処理装置。
  6. 前記合成制限条件は、前記合成画像及び前記撮影画像の画角の調整の信頼性が閾値以下であることである
    請求項５に記載の医療用画像処理装置。
  7. 前記位置合わせ部は、前記合成画像及び前記撮影画像について、動きを検出し、動きの検出結果に基づいて、前記位置合わせを行う
    請求項４に記載の医療用画像処理装置。
  8. 前記合成制限条件は、前記動きの検出の信頼性が閾値以下であることである
    請求項７に記載の医療用画像処理装置。
  9. 前記撮影画像を撮影する撮影部が、ユーザの操作に応じた範囲内で、前記フォーカス位置を変えながら、前記撮影画像を撮影する
    請求項１に記載の医療用画像処理装置。
  10. 前記合成部は、AF(Auto Focus)に用いられる評価値のピークが得られるフォーカス位置であるピーク位置を含む所定の範囲のフォーカス位置で撮影された複数の撮影画像を合成する
    請求項１に記載の医療用画像処理装置。
  11. 前記撮影画像を撮影する撮影部が、3D(Dimensional)の撮影画像を撮影する
    請求項１に記載の医療用画像処理装置。
  12. フォーカス位置を変えながら、生体を撮影することにより得られる複数の撮影画像を合成し、合成画像を生成する合成処理であって、直前に得られた合成画像の画素、及び、最新の撮影画像の画素のうちの、フォーカスが合っている画素を選択することにより、前記直前に得られた合成画像と、前記最新の撮影画像とを合成し、最新の合成画像を生成する合成処理を行う
    医療用画像処理方法。
  13. フォーカス位置を変えながら、生体を撮影する撮影部と、
    前記撮影部により撮影された複数の撮影画像を合成し、合成画像を生成する合成部であって、直前に得られた合成画像の画素、及び、最新の撮影画像の画素のうちの、フォーカスが合っている画素を選択することにより、前記直前に得られた合成画像と、前記最新の撮影画像とを合成し、最新の合成画像を生成する合成部と
    を備える医療用観察システム。
JP2015124005A 2015-06-19 2015-06-19 医療用画像処理装置、医療用画像処理方法、及び、医療用観察システム Expired - Fee Related JP6750194B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2015124005A JP6750194B2 (ja) 2015-06-19 2015-06-19 医療用画像処理装置、医療用画像処理方法、及び、医療用観察システム
PCT/JP2016/002696 WO2016203727A1 (en) 2015-06-19 2016-06-03 Medical image processing apparatus, medical image processing method, and medical observation system
US15/559,602 US10371933B2 (en) 2015-06-19 2016-06-03 Medical image processing apparatus, medical image processing method, and medical observation system
EP16733716.1A EP3311215A1 (en) 2015-06-19 2016-06-03 Medical image processing apparatus, medical image processing method, and medical observation system
CN201680034321.0A CN107735713B (zh) 2015-06-19 2016-06-03 医疗图像处理装置、医疗图像处理方法及医疗观察系统
US16/446,630 US10928622B2 (en) 2015-06-19 2019-06-20 Medical image processing apparatus, medical image processing method, and medical observation system
US17/168,187 US11835702B2 (en) 2015-06-19 2021-02-05 Medical image processing apparatus, medical image processing method, and medical observation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015124005A JP6750194B2 (ja) 2015-06-19 2015-06-19 医療用画像処理装置、医療用画像処理方法、及び、医療用観察システム

Publications (3)

Publication Number Publication Date
JP2017006330A true JP2017006330A (ja) 2017-01-12
JP2017006330A5 JP2017006330A5 (ja) 2018-07-26
JP6750194B2 JP6750194B2 (ja) 2020-09-02

Family

ID=56292787

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015124005A Expired - Fee Related JP6750194B2 (ja) 2015-06-19 2015-06-19 医療用画像処理装置、医療用画像処理方法、及び、医療用観察システム

Country Status (5)

Country Link
US (3) US10371933B2 (ja)
EP (1) EP3311215A1 (ja)
JP (1) JP6750194B2 (ja)
CN (1) CN107735713B (ja)
WO (1) WO2016203727A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020026383A1 (ja) * 2018-08-01 2020-02-06 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
US11061215B2 (en) 2017-04-27 2021-07-13 Olympus Corporation Microscope system
WO2021193927A2 (en) 2020-03-27 2021-09-30 Sony Group Corporation Medical observation system, apparatus, control method, and imaging apparatus
WO2022014366A1 (ja) 2020-07-17 2022-01-20 ソニーグループ株式会社 内視鏡システム、内視鏡制御方法、およびプログラム
US11272092B2 (en) 2018-05-17 2022-03-08 Olympus Corporation Imaging device, endoscope apparatus, and operating method of imaging device
KR20220114864A (ko) * 2021-02-09 2022-08-17 (주)유아이엠디 슬라이드 표본의 고배율 이미지 획득방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
JP6736670B2 (ja) * 2016-06-21 2020-08-05 オリンパス株式会社 内視鏡システム
JP6752685B2 (ja) * 2016-10-28 2020-09-09 キヤノン株式会社 撮像装置、撮像方法およびプログラム
US20180205928A1 (en) * 2017-01-18 2018-07-19 Jerry L. Conway, Sr. Multi-camera stereoscopic dynamic imaging systems and methods of capturing stereoscopic dynamic images
US10638030B1 (en) * 2017-01-31 2020-04-28 Southern Methodist University Angular focus stacking
US10764498B2 (en) * 2017-03-22 2020-09-01 Canon Kabushiki Kaisha Image processing apparatus, method of controlling the same, and storage medium
JP7013677B2 (ja) * 2017-05-01 2022-02-01 ソニーグループ株式会社 医用画像処理装置、医用画像処理装置の作動方法、及び、内視鏡システム
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
JP2021097254A (ja) * 2018-03-23 2021-06-24 ソニーグループ株式会社 信号処理装置、信号処理方法、撮像装置および医療用撮像装置
WO2019191143A1 (en) 2018-03-28 2019-10-03 Auris Health, Inc. Systems and methods for displaying estimated location of instrument
JP2019204009A (ja) * 2018-05-24 2019-11-28 オリンパス株式会社 顕微鏡システム
US10898275B2 (en) 2018-05-31 2021-01-26 Auris Health, Inc. Image-based airway analysis and mapping
KR20220058569A (ko) 2019-08-30 2022-05-09 아우리스 헬스, 인코포레이티드 위치 센서의 가중치-기반 정합을 위한 시스템 및 방법
WO2021038495A1 (en) 2019-08-30 2021-03-04 Auris Health, Inc. Instrument image reliability systems and methods
EP3879328A1 (en) * 2020-03-11 2021-09-15 Leica Instruments (Singapore) Pte. Ltd. Systems, methods and computer programs for a microscope and microscope system
JP2022038252A (ja) * 2020-08-26 2022-03-10 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002082805A1 (fr) * 2001-03-30 2002-10-17 National Institute Of Advanced Industrial Science And Technology Camera de microscope omnifocale en temps reel
JP2005099736A (ja) * 2003-08-26 2005-04-14 Sony Corp オートフォーカス制御方法、オートフォーカス制御装置および画像処理装置
JP2014232166A (ja) * 2013-05-28 2014-12-11 オリンパス株式会社 観察装置
WO2016067425A1 (ja) * 2014-10-30 2016-05-06 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3429755B2 (ja) * 1990-04-27 2003-07-22 株式会社日立製作所 撮像装置の被写界深度制御装置
EP0799550B1 (en) * 1995-10-25 2000-08-09 Koninklijke Philips Electronics N.V. Segmented picture coding method and system, and corresponding decoding method and system
JPH11177873A (ja) * 1997-12-16 1999-07-02 Denso Corp 高速合焦電子カメラ
JP4393016B2 (ja) * 2000-06-30 2010-01-06 株式会社日立メディコ 画像診断支援装置
CN1480000A (zh) * 2000-10-12 2004-03-03 ���ŷ� 基于数字光线处理的3d投影系统与方法
JP4444488B2 (ja) * 2000-12-08 2010-03-31 キヤノン株式会社 レンズ及び撮像システム
GB2385481B (en) 2002-02-13 2004-01-07 Fairfield Imaging Ltd Microscopy imaging system and method
US7756357B2 (en) * 2003-07-01 2010-07-13 Olympus Corporation Microscope system for obtaining high and low magnification images
JP4218446B2 (ja) * 2003-07-03 2009-02-04 株式会社ニコン 電子カメラ
US7372985B2 (en) * 2003-08-15 2008-05-13 Massachusetts Institute Of Technology Systems and methods for volumetric tissue scanning microscopy
GB0406730D0 (en) * 2004-03-25 2004-04-28 1 Ltd Focussing method
US7534205B2 (en) * 2006-02-27 2009-05-19 Microvision, Inc. Methods and apparatuses for selecting and displaying an image with the best focus
WO2008128161A2 (en) * 2007-04-13 2008-10-23 University Of Florida Research Foundation Inc. Identification of cardiac specific myosin light chain kinase
JP4678603B2 (ja) * 2007-04-20 2011-04-27 富士フイルム株式会社 撮像装置及び撮像方法
JP5047318B2 (ja) * 2010-03-05 2012-10-10 株式会社日立ハイテクノロジーズ 電子顕微鏡画像と光学画像を重ねて表示する方法
JP5551957B2 (ja) * 2010-03-31 2014-07-16 富士フイルム株式会社 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム
US9392960B2 (en) * 2010-06-24 2016-07-19 Uc-Care Ltd. Focused prostate cancer treatment system and method
JP5818458B2 (ja) * 2011-02-25 2015-11-18 キヤノン株式会社 画像処理装置、撮影システム、画像処理方法及びプログラム
JP5197785B2 (ja) * 2011-03-30 2013-05-15 キヤノン株式会社 画像処理装置、撮像システム、画像処理システム
JP5640155B2 (ja) * 2011-09-30 2014-12-10 富士フイルム株式会社 立体画像撮像装置及びその合焦状態確認用画像表示方法
JP2014071207A (ja) * 2012-09-28 2014-04-21 Canon Inc 画像処理装置、撮像システム、画像処理システム
WO2014083574A2 (en) 2012-11-30 2014-06-05 Larsen & Toubro Limited A method and system for extended depth of field calculation for microscopic images
JP6248412B2 (ja) * 2013-05-13 2017-12-20 ソニー株式会社 撮像装置、撮像方法、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002082805A1 (fr) * 2001-03-30 2002-10-17 National Institute Of Advanced Industrial Science And Technology Camera de microscope omnifocale en temps reel
JP2005099736A (ja) * 2003-08-26 2005-04-14 Sony Corp オートフォーカス制御方法、オートフォーカス制御装置および画像処理装置
JP2014232166A (ja) * 2013-05-28 2014-12-11 オリンパス株式会社 観察装置
WO2016067425A1 (ja) * 2014-10-30 2016-05-06 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11061215B2 (en) 2017-04-27 2021-07-13 Olympus Corporation Microscope system
US11272092B2 (en) 2018-05-17 2022-03-08 Olympus Corporation Imaging device, endoscope apparatus, and operating method of imaging device
WO2020026383A1 (ja) * 2018-08-01 2020-02-06 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
JPWO2020026383A1 (ja) * 2018-08-01 2021-05-13 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
WO2021193927A2 (en) 2020-03-27 2021-09-30 Sony Group Corporation Medical observation system, apparatus, control method, and imaging apparatus
WO2022014366A1 (ja) 2020-07-17 2022-01-20 ソニーグループ株式会社 内視鏡システム、内視鏡制御方法、およびプログラム
KR20220114864A (ko) * 2021-02-09 2022-08-17 (주)유아이엠디 슬라이드 표본의 고배율 이미지 획득방법
KR102576041B1 (ko) * 2021-02-09 2023-09-07 (주)유아이엠디 슬라이드 표본의 고배율 이미지 획득방법

Also Published As

Publication number Publication date
CN107735713B (zh) 2021-02-02
JP6750194B2 (ja) 2020-09-02
EP3311215A1 (en) 2018-04-25
US10371933B2 (en) 2019-08-06
WO2016203727A1 (en) 2016-12-22
US11835702B2 (en) 2023-12-05
US10928622B2 (en) 2021-02-23
CN107735713A (zh) 2018-02-23
US20180067296A1 (en) 2018-03-08
US20190302442A1 (en) 2019-10-03
US20210157118A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
JP6750194B2 (ja) 医療用画像処理装置、医療用画像処理方法、及び、医療用観察システム
JP7003238B2 (ja) 画像処理方法、装置、及び、デバイス
JP6347675B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
CN109565551B (zh) 对齐于参考帧合成图像
JP4582423B2 (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP4678603B2 (ja) 撮像装置及び撮像方法
KR20170135855A (ko) 패닝 샷들의 자동 생성
JP2020528622A (ja) 画像処理方法、装置および機器
JP2014168227A (ja) 画像処理装置、撮像装置、画像処理方法
JP2014014076A (ja) ３ｄ深度情報に基づいたイメージぼかし
JP6800797B2 (ja) 撮像装置、画像処理装置、撮像装置の制御方法およびプログラム
JP5187035B2 (ja) 撮像装置および画像処理装置、並びに画像処理プログラム
JP5713885B2 (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
JP2016024489A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2006067521A (ja) 画像処理装置と方法、および画像撮像装置と方法
JP2016009998A (ja) 撮像装置、撮像方法及びプログラム
JP5144724B2 (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP2012195797A (ja) パンフォーカス画像生成装置
JP2011066827A (ja) 画像処理装置、画像処理方法及びプログラム
JP2021128537A (ja) 画像処理装置および画像処理方法、プログラム並びに記憶媒体
US10198617B2 (en) Image-acquisition apparatus
JP2020136774A (ja) 動きベクトルを検出する画像処理装置およびその制御方法ならびにプログラム
JP2019083580A (ja) 画像処理装置、画像処理方法、プログラム
JP2020009099A (ja) 画像処理装置、画像処理方法、及びプログラム
EP4366323A1 (en) Method and apparatus with hyperlapse video generation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180612

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200727

R151 Written notification of patent or utility model registration

Ref document number: 6750194

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees