JP2023134456A - マルチコアファイバイメージング - Google Patents
マルチコアファイバイメージング Download PDFInfo
- Publication number
- JP2023134456A JP2023134456A JP2023099751A JP2023099751A JP2023134456A JP 2023134456 A JP2023134456 A JP 2023134456A JP 2023099751 A JP2023099751 A JP 2023099751A JP 2023099751 A JP2023099751 A JP 2023099751A JP 2023134456 A JP2023134456 A JP 2023134456A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- pixels
- images
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 67
- 239000000835 fiber Substances 0.000 title abstract description 77
- 238000000034 method Methods 0.000 claims abstract description 134
- 230000000875 corresponding effect Effects 0.000 claims abstract description 32
- 230000002596 correlated effect Effects 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 82
- 230000008569 process Effects 0.000 claims description 27
- 238000009826 distribution Methods 0.000 claims description 22
- 239000013307 optical fiber Substances 0.000 claims description 9
- 238000005315 distribution function Methods 0.000 claims description 6
- 230000000644 propagated effect Effects 0.000 claims description 3
- 238000001839 endoscopy Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 13
- 239000000523 sample Substances 0.000 description 13
- 238000013459 approach Methods 0.000 description 12
- 239000011324 bead Substances 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000008878 coupling Effects 0.000 description 8
- 238000010168 coupling process Methods 0.000 description 8
- 238000005859 coupling reaction Methods 0.000 description 8
- 239000004744 fabric Substances 0.000 description 8
- 238000012935 Averaging Methods 0.000 description 6
- 238000005253 cladding Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000005452 bending Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- WDVSHHCDHLJJJR-UHFFFAOYSA-N Proflavine Chemical compound C1=CC(N)=CC2=NC3=CC(N)=CC=C3C=C21 WDVSHHCDHLJJJR-UHFFFAOYSA-N 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 229960000286 proflavine Drugs 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- NCGICGYLBXGBGN-UHFFFAOYSA-N 3-morpholin-4-yl-1-oxa-3-azonia-2-azanidacyclopent-3-en-5-imine;hydrochloride Chemical compound Cl.[N-]1OC(=N)C=[N+]1N1CCOCC1 NCGICGYLBXGBGN-UHFFFAOYSA-N 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000003850 cellular structure Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000295 emission spectrum Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 229910021478 group 5 element Inorganic materials 0.000 description 1
- 229910021476 group 6 element Inorganic materials 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011089 mechanical engineering Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012014 optical coherence tomography Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000005086 pumping Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/04—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres
- G02B6/06—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images
- G02B6/065—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images with dynamic image improvement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00165—Optical arrangements with light-conductive means, e.g. fibre optics
- A61B1/00167—Details of optical fibre bundles, e.g. shape or fibre distribution
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00194—Optical arrangements adapted for three-dimensional imaging
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/02—Optical fibres with cladding with or without a coating
- G02B6/02042—Multicore optical fibres
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/04—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres
- G02B6/06—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Optics & Photonics (AREA)
- Surgery (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Astronomy & Astrophysics (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
- Microscoopes, Condenser (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Studio Devices (AREA)
Abstract
Description
複数の画素を含むデジタル画像であって、その中にそれぞれが導波路コアに対応し複数の画素を含む複数の領域を含み、さらに上記導波路コア間の間隙空間に対応する画素を含むデジタル画像を受け取ること、
第1の空間的配置における対応するコアで受けた光と少なくとも部分的に相関する各領域内の第1の画素サブセットであって、領域内の全ての画素よりも少ない画素を含む第1の画素サブセットを定めること、及び
上記領域の第1の画素サブセットから第1の画像を生成すること、を含む方法を提供する。
各領域について、第1のサブセットの上記画素の平均画素値を求め、上記第1の画素サブセット内の少なくとも1つの画素の画素値として上記平均画素値を割り当てることを含む。方法は、好ましくは上記少なくとも1つの画素でない画素の画素値を生成することを含む。
ある実施形態では、平均画素値は上記第1の画素サブセット内の1つの画素に割り当てられる。最も好ましくは、平均画素値は画像内の導波路コアの中心を表す所定の位置にある画素に割り当てられる。平均画素値はまた、上記導波路コア中心を表す上記所定の位置又はその周辺にある一群の画素の全ての画素に割り当てることができる。
上記少なくとも1つの画素(例えば、中心画素又は中心に位置する画素群)でない画素の画素値を生成することを含む。好ましくは、上記少なくとも1つの画素でない画素の画素値を生成することは、
上記少なくとも1つの画素を中心とする画素値分布関数に従って画素値を割り当てること、又は
隣接領域の上記少なくとも1つの画素間に補間することによって画素値を割り当てること、のいずれか1つを含む。
上記受け取ったデジタル画像から第2の画像を生成すること、及び
第2の画像を第1の画像と合成して最終画像を生成することを含むことができる。
領域内の全ての画素よりも少ない画素を含み、第1の画素サブセットと異なる第2の画素サブセットを各領域内に定めること、及び
上記領域の第2の画素サブセットから第2の画像を生成すること、によって実行することができる。
各領域について、第2のサブセットの上記画素の平均画素値を求めること、及び上記第2の画素サブセットの少なくとも1つの画素の画素値として上記平均画素値を割り当てることができる。第2の画像を生成することは、
第2の画素サブセット内の少なくとも1つの画素でない画素の画素値を生成することを含むことができる。
各領域内の上記少なくとも1つの画素を中心とする画素値分布関数に従って画素値を割り当てること、又は
隣接領域の第2のサブセットの画素値間に補間することによって画素値を割り当てること、のいずれか1つを含むことができる。
対応する別の空間的配置における対応するコアで受けた光と少なくとも部分的に相関する各領域内の少なくとも1つの別の画素サブセットであって、領域内の全ての画素よりも少ない画素を含む別の画素サブセットを定めること、
上記受け取ったデジタル画像から少なくとも1つの対応する別の画像を生成すること、及び
重み付けに従って第1の画像と上記少なくとも1つの別の画像を合成して最終画像を生成すること、を含むことができる。少なくとも1つの別の画像は第2の画像を含むことができる。
第1の空間的配置における対応するコアで受けた光と少なくとも部分的に相関する各領域内の第1の画素サブセットであって、領域内の全ての画素よりも少ない画素を含む第1の画素サブセットを定めること、
各領域について、第1のサブセットの上記画素の平均画素値を求め、上記第1の画素サブセットの少なくとも1つの画素の画素値として上記平均画素値を割り当てること、及び
上記少なくとも1つの画素でない画素の画素値を生成すること、
によって、改善された被写界深度を有する第1の画像を生成することを含む方法が開示されている。
各第1の領域の上記少なくとも1つの画素を中心とする画素値分布関数に従って画素値を割り当てること、又は
隣接領域の第1のサブセットの画素値間に補間することによって画素値を割り当てること、のいずれか1つを含むことができる。
第2の画像を第1の画像と合成して、改善された被写界深度を有する最終画像を生成すること、をさらに含むことができ、
第2の画像は、
領域内の全ての画素よりも少ない画素を含み、第1の画素サブセットと異なる第2の画素サブセットを各領域内に定めること、及び
上記領域の第2の画素サブセットから第2の画像を生成すること、によって生成される。
第1のメンバー画像が第1の被写界深度を有し、第2のメンバー画像が第2の被写界深度を有し、上記第1のメンバー画像及び前記第2のメンバー画像が同じ焦点位置を有する1対の画像を取得すること、
1対の画像から差分画像を生成すること、
上記差分画像から光照射野近似を計算すること、を含む方法を提供する。
第1のメンバー画像が第1の被写界深度を有し、第2のメンバー画像が第2の被写界深度を有し、上記第1のメンバー画像及び第2のメンバー画像が同じ焦点位置を有する1対の画像を取得すること、
本開示の上記態様を具体化する方法を使用して光照射野近似を決定すること、
光照射野近似に従って画像を処理して最終画像を生成すること、を含む方法が開示される。
異なる焦点位置を有する画像を再構成すること、
受け取った画像と異なる視点を有する画像を再構成すること、
画像の3D視点を再構成すること、
の任意の1つ以上を含むことができる。
複数の画素を含み、それぞれが導波路コアに対応し複数の画素を含む複数の領域を含むデジタル画像を受け取ること、
上記領域のそれぞれにわたって画像強度パターンを処理して、領域の光照射野角度次元測度を決定すること、
角度次元測度を各領域に含まれる1つ以上の画素に適用して、修正された画像データの1つ以上のセットを生成すること、
修正された画像データの1つ以上のセットを使用して1つ以上の画像を生成すること、を含む方法が提供される。
近位端から遠位端まで延在するマルチコア光ファイバ(MOF)と、
MOFの遠位端にあるシーンを照明するための光源と、
MOFに沿って伝搬した光の画像を取り込むようにMOFの近位端に対して配置された撮像装置と、
撮像装置が取り込んだ画像を受け取るように構成されたデータ処理システムであって、本明細書に開示された態様のいずれかを具体化する方法を実行させる命令を実行するように構成されたデータ処理システムと、を備えることができる。
異なる焦点距離で画像を生成すること、
異なる視点から画像を生成すること、
空間的に分離された視点を持つ2つの画像を合成することによって立体画像を生成すること、
画像内の物体までの距離を測定すること
などのプロセスで使用することができる。
動作原理
光ファイババンドルを用いて撮像された点光源、ファイバファセットからの距離zを考慮する。光線がファイババンドルの中心線からの位置x,yにおいてファイバファセットと角度θを成し、θx及びθyはそれぞれyz平面及びxz平面からの光線の傾斜角である。
これを示すために、ファイババンドルの近位端で受け取られる軸方向距離z=26μmにおける蛍光ビーズの生の出力画像を図15aに示す(スケールバー5μm)。ファイバモードの放射対称性パターンは、モード結合効率と入力光線角θとの関係から目に見える。この研究で使用されたファイババンドルは、外径が750μmであり、平均中心間間隔が3.2μm、平均コア半径a=1μm、及び開口数(NA)が0.39の最大30,000個の実質的に円形のコアを含む。
平均して、このファイババンドルの各コアは、λ=550nm(24)でおよそ(2πaNA/λ)2/2≒10個のモードをサポートする。
本明細書の他の部分で考察したように、画像データの後処理はファイバの開口数(NA)のデジタル操作を可能にする。このことは、より大きい入射角で優先的に励起される高次モードが低次モードよりも多くのコア/クラッド境界近くのエネルギーを担持するという事実に頼る。光は光線角度が大きくなるにつれて各コアのエッジ方向に効果的に向けられる。(各コアの周辺近くの光を選択的に取り除く)本発明の実施形態のデジタル開口フィルタリングアプローチによって、合成的に制限されたNAが達成される。これは図15、特に図15c及び図15dに示されている。
入力光の全配向は、コアのモードの方位角縮退が原因でこの観察のみから確認することはできない。これに対処するため、LMIが適用される。LMIでは、2つの像面間のエネルギーの保存を記述する連続方程式を用いて、画像Iの所与の点における(光照射野モーメントベクトル
従来のLMI(方程式6)は、焦点位置が異なる1対の入力画像を必要とする。しかしながら、細かい焦点制御はほとんどの内視顕微鏡で利用することができず、たとえできたとしても伝統的なLMIはシングルショットではない。その代わり、焦点位置が同じで収集開口が異なる画像対で使用できるように方程式4を修正することが必要である。
イメージングモデル
裸のファイバファセットから距離zにある点光源を考慮すると、この光源は、ファイバファセット上に結像レンズがないために焦点がずれている。したがって、出力ファセットから見た点光源の見かけのサイズは、ファイバの受光角(すなわちNA)が大きくなるにつれて大きくなる。ファイバNAがコアマスキングによって大(全)開口(図15bの右側に示す領域)から小開口(図15bの左側に示す領域)へと計算によって小さくなると、点広がり関数(PSF)の幅も被写界深度が大きくなるために小さくなる。
図15bでは、右及び左の円はそれぞれ大(全)開口画像及び小開口画像の例示的な平均化領域を示す。大開口画像は、各コアの全体領域を平均化し、次に線形補間によって残りのエリア(間隙領域)を埋めることによって作成される。小開口画像は、図の左側に示すように、より小さい領域の平均をとることによって同様に作成される。
図15c及び図15dは、それぞれ補間後の蛍光ビーズの小開口画像(I0)及び大開口画像(αI1)を示している。スケーリング定数αは2つの画像の全強度が等しくなるように選ばれる。小開口及び大開口のPSF(半値全幅、FWHM)は、それぞれ図15c及び図15dに示されており、すなわちFWHM=9.3及びFWHM=13.8である。図15eは、これらの画像間の差を示し、矢印は有効光照射野モーメントベクトル場
システムのPSFは、tanθ(30)に比例する幅を有する2Dガウス分布としてモデル化されており、θはファイバにより収集された(取込後に計算によって調整される)最大光線角度である。
図16aは、視差の定量化、すなわちh=75、100及び150μmについてのビーズ深度zの関数としての蛍光ビーズの重心移動(視差)を表す。特に図は、シミュレート結果及び理論的結果とともに、ファイバファセットから1~101μmにある蛍光ビーズの実験的に測定された
図から分かるように、シミュレーション及び理論はいずれも、h値の範囲について実験データとの非常に良好な一致を示す(各h値について、2つの曲線はそれぞれ、方程式8に基づいた理論的重心移動及びシミュレートされた重心移動を示す)。理論曲線は、既知の物理量(z,tanθ)及び再構成量(u,v,h)を使用し、フィッティングパラメータを使用しない。
図16bは、蛍光ビーズの横移動をビーズ深度の関数として、つまり増加する深度における蛍光ビーズの極左視点画像及び極右視点画像を示し(色表示が赤―シアンステレオ眼鏡で視認可能な3Dイメージングを可能にする。赤は図では濃い灰色(左)で表され、シアンは図では薄い灰色(右)で表される。スケールバー25μm)、一方、図16cは、エピポーラ平面内の異なる深度における点光源の特徴のある斜線、すなわち、各ビーズ深度についての光照射野の中心yvスライス(x=0,u=0)を示す(スケールバー25μm)。
Claims (25)
- 多様な導波路を介して撮像装置が受けた光から画像を生成する方法であって、前記方法が、
複数の画素を含むデジタル画像であって、その中にそれぞれが導波路コアに対応し、複数の画素を含む複数の領域を含み、さらに前記導波路コア間の間隙空間に対応する画素を含むデジタル画像を受け取ること、
第1の空間的配置における対応するコアで受けた光と少なくとも部分的に相関する各領域内の第1の画素サブセットであって、領域内の全ての画素よりも少ない画素を含む第1の画素サブセットを定めること、及び
前記領域の前記第1の画素サブセットから第1の画像を生成すること、を含む方法。 - 前記第1の画像を生成することが、
各領域について、前記第1のサブセットの前記画素の平均画素値を求め、前記第1の画素サブセット内の少なくとも1つの画素の画素値として前記平均画素値を割り当てることを含む、請求項1に記載の方法。 - 前記第1の画像を生成することが、
前記少なくとも1つの画素でない画素の画素値を生成することを含む、請求項1又は請求項2に記載の方法。 - 前記平均画素値が、前記画像内の前記導波路コアの中心を表す所定の位置にある画素に割り当てられる、請求項2又は請求項3に記載の方法。
- 前記少なくとも1つの画素でない画素の画素値を生成することが、
前記少なくとも1つの画素を中心とする画素値分布関数に従って画素値を割り当てること、又は
隣接領域の前記少なくとも1つの画素間に補間することによって画素値を割り当てること、のいずれか1つを含む、請求項2から4のいずれか一項に記載の方法。 - 前記第1の画素サブセットが、前記領域の中心から所定の半径内の全ての画素を含む、請求項1から5のいずれか一項に記載の方法。
- 前記受け取ったデジタル画像から第2の画像を生成すること、及び
前記第2の画像を前記第1の画像と合成して最終画像を生成すること、をさらに含む、請求項1から6のいずれか一項に記載の方法。 - 前記第2の画像が、
領域内の全ての画素よりも少ない画素を含み、前記第1の画素サブセットと異なる第2の画素サブセットを各領域内に定めること、及び
前記領域の前記第2の画素サブセットから前記第2の画像を生成すること、によって生成される、請求項7に記載の方法。 - 前記第2の画像を前記第1の画像と合成することが、必要に応じて一方又は両方の画像の輝度をスケーリングすること、及び前記第2の画像を前記第1の画像から減算することを含む、請求項7又は請求項8に記載の方法。
- 前記第1の画像が、前記第2の画像よりも大きい有効被写界深度を有する、請求項7から9のいずれか一項に記載の方法。
- 前記第1の画像の生成が、第1の角度範囲内で前記導波路で受けた光線の選択に偏っており、前記第2の画像の生成が、第2の角度範囲内で前記導波路で受けた光線の選択に偏っている、請求項7から10のいずれか一項に記載の方法。
- 前記第2の角度範囲が前記第1の角度範囲よりも広い、請求項11に記載の方法。
- 多様な導波路を介して撮像装置が受けた光から生成された1対の画像に対応する、画像処理に用いられる光照射野近似を決定する方法であって、前記方法が、
第1のメンバー画像が第1の被写界深度を有し、第2のメンバー画像が第2の被写界深度を有し、前記第1のメンバー画像及び第2のメンバー画像が同じ焦点位置を有する1対の画像を取得すること、
前記1対の画像から差分画像を生成すること、
前記差分画像から光照射野近似を計算すること、を含む方法。 - 前記光照射野近似を計算するプロセスが、平均光線配向に関する光伝搬の仮定角度分布を使用することを含む、請求項13に記載の方法。
- 前記第2のメンバー画像が、請求項1から6のいずれか一項に記載の方法を用いて取得される、請求項13又は請求項14に記載の方法。
- 前記第1のメンバー画像が、請求項1から6のいずれか一項に記載の方法を用いて取得され、前記第1のメンバー画像及び第2のメンバー画像が、各領域内の異なる第1の画素サブセットを使用する、請求項15に記載の方法。
- 前記第1のメンバー画像が、前記第2のメンバー画像と同じデジタル画像から取得され、前記導波路コアに対応する前記デジタル画像の領域内の実質的に全ての画素から生成される、請求項15に記載の方法。
- マルチコア光ファイバ(MOF)を介して取り込まれたデジタル画像の見かけの被写界深度を改善する方法であって、前記デジタル画像が複数の画素を含み、前記デジタル画像が、その中にそれぞれが前記MOFのコアに対応し、複数の画素を含む複数の領域を含み、さらに前記導波路コア間の間隙空間に対応する画素を含み、前記方法が、
第1の空間的配置における対応するコアで受けた光と少なくとも部分的に相関する各領域内の第1の画素サブセットであって、領域内の全ての画素よりも少ない画素を含む第1の画素サブセットを定めること、
各領域について、前記第1のサブセットの前記画素の平均画素値を求め、前記第1の画素サブセットの少なくとも1つの画素の画素値として前記平均画素値を割り当てること、及び
前記少なくとも1つの画素でない画素の画素値を生成すること、
によって、改善された被写界深度を有する第1の画像を生成することを含む方法。 - 前記第1の画素サブセット内の前記少なくとも1つの画素でない画素の画素値を生成することが、
各第1の領域の前記少なくとも1つの画素を中心とする画素値分布関数に従って画素値を割り当てること、又は
隣接領域の前記第1のサブセットの画素値間に補間することによって画素値を割り当てること、のいずれか1つを含む、請求項18に記載の方法。 - 前記受け取ったデジタル画像から第2の画像を生成すること、及び
前記第2の画像を前記第1の画像と合成して、改善された被写界深度を有する最終画像を生成すること、をさらに含み、
前記第2の画像が、
領域内の全ての画素よりも少ない画素を含み、前記第1の画素サブセットと異なる第2の画素サブセットを各領域内に定めること、及び
前記領域の前記第2の画素サブセットから前記第2の画像を生成すること、によって生成される、請求項18又は請求項19に記載の方法。 - 画像を生成する方法であって、
第1のメンバー画像が第1の被写界深度を有し、第2のメンバー画像が第2の被写界深度を有し、前記第1のメンバー画像及び第2のメンバー画像が同じ焦点位置を有する1対の画像を取得すること、
請求項13から17のいずれか一項に記載の光照射野近似を決定すること、
前記光照射野近似に従って画像を処理して最終画像を生成すること、を含む方法。 - 多様な導波路を介して撮像装置が受けた光から1つ以上の画像を生成する方法であって、前記光が前記多様な導波路に入射する光照射野から生成され、前記方法が、
複数の画素を含み、それぞれが導波路コアに対応し複数の画素を含む複数の領域を含むデジタル画像を受け取ること、
前記領域のそれぞれにわたって画像強度パターンを処理して、その領域の光照射野角度次元測度を決定すること、
前記角度次元測度を各領域に含まれる1つ以上の画素に適用して、修正された画像データの1つ以上のセットを生成すること、
前記修正された画像データの1つ以上のセットを使用して1つ以上の画像を生成すること、を含む方法。 - 近位端から遠位端まで延在するマルチコア光ファイバ(MOF)と、
前記MOFの前記遠位端にあるシーンを照明するための光源と、
前記MOFに沿って伝搬した光の画像を取り込むように前記MOFの前記近位端に対して配置された撮像装置と、
前記撮像装置が取り込んだ画像を受け取るように構成されたデータ処理システムであって、請求項1から22のいずれか一項に記載の方法を実行させる命令を実行するように構成されたデータ処理システムと、を備えたイメージングシステム。 - 前記MOFが内視鏡を備える、請求項23に記載のイメージングシステム。
- 少なくとも1つの処理ユニットと、前記少なくとも1つの処理ユニットにより実行される命令を記憶するための少なくとも1つのメモリとを備え、前記命令が請求項1から21のいずれか一項に記載の方法を実行するように実行される、画像処理システム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
AU2018900267 | 2018-01-29 | ||
AU2018900267A AU2018900267A0 (en) | 2018-01-29 | Multicore fiber imaging | |
PCT/AU2019/050055 WO2019144194A1 (en) | 2018-01-29 | 2019-01-25 | Multicore fiber imaging |
JP2020541380A JP2021511871A (ja) | 2018-01-29 | 2019-01-25 | マルチコアファイバイメージング |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020541380A Division JP2021511871A (ja) | 2018-01-29 | 2019-01-25 | マルチコアファイバイメージング |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023134456A true JP2023134456A (ja) | 2023-09-27 |
Family
ID=67395176
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020541380A Pending JP2021511871A (ja) | 2018-01-29 | 2019-01-25 | マルチコアファイバイメージング |
JP2023099751A Pending JP2023134456A (ja) | 2018-01-29 | 2023-06-19 | マルチコアファイバイメージング |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020541380A Pending JP2021511871A (ja) | 2018-01-29 | 2019-01-25 | マルチコアファイバイメージング |
Country Status (6)
Country | Link |
---|---|
US (2) | US11684240B2 (ja) |
EP (2) | EP4379655A2 (ja) |
JP (2) | JP2021511871A (ja) |
AU (1) | AU2019210705A1 (ja) |
CA (1) | CA3091038A1 (ja) |
WO (1) | WO2019144194A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114488511A (zh) * | 2021-12-23 | 2022-05-13 | 南京大学 | 一种基于深度测量辅助成像的拓展景深光纤内窥成像方法 |
FR3142878A1 (fr) * | 2022-12-08 | 2024-06-14 | Axess Vision Technology | Système d’imagerie pour système endoscopique médical supprimant le nid d’abeilles dans les images des fibres optiques multicoeurs |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04138127A (ja) * | 1990-09-28 | 1992-05-12 | Olympus Optical Co Ltd | 内視鏡網目画像軽減装置 |
JP3786997B2 (ja) * | 1996-02-13 | 2006-06-21 | テルモ株式会社 | 画像処理装置 |
US5751340A (en) * | 1996-08-21 | 1998-05-12 | Karl Storz Gmbh & Co. | Method and apparatus for reducing the inherently dark grid pattern from the video display of images from fiber optic bundles |
JP2002328311A (ja) | 2001-04-27 | 2002-11-15 | Matsushita Electric Ind Co Ltd | イメージファイバ撮像装置 |
US8811769B1 (en) * | 2012-02-28 | 2014-08-19 | Lytro, Inc. | Extended depth of field and variable center of perspective in light-field processing |
JP5951293B2 (ja) * | 2012-03-14 | 2016-07-13 | 日立Geニュークリア・エナジー株式会社 | 画像処理方法および装置 |
US10565734B2 (en) * | 2015-04-15 | 2020-02-18 | Google Llc | Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline |
US11328446B2 (en) | 2015-04-15 | 2022-05-10 | Google Llc | Combining light-field data with active depth data for depth map generation |
TWI594628B (zh) * | 2016-04-15 | 2017-08-01 | 財團法人金屬工業研究發展中心 | 光場攝像裝置 |
-
2019
- 2019-01-25 WO PCT/AU2019/050055 patent/WO2019144194A1/en unknown
- 2019-01-25 EP EP24157875.6A patent/EP4379655A2/en active Pending
- 2019-01-25 US US16/965,513 patent/US11684240B2/en active Active
- 2019-01-25 AU AU2019210705A patent/AU2019210705A1/en active Pending
- 2019-01-25 CA CA3091038A patent/CA3091038A1/en active Pending
- 2019-01-25 EP EP19743938.3A patent/EP3745941B1/en active Active
- 2019-01-25 JP JP2020541380A patent/JP2021511871A/ja active Pending
-
2023
- 2023-05-12 US US18/316,476 patent/US20240081615A1/en active Pending
- 2023-06-19 JP JP2023099751A patent/JP2023134456A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2021511871A (ja) | 2021-05-13 |
EP4379655A2 (en) | 2024-06-05 |
WO2019144194A1 (en) | 2019-08-01 |
US20210048660A1 (en) | 2021-02-18 |
AU2019210705A1 (en) | 2020-09-03 |
EP3745941A1 (en) | 2020-12-09 |
US11684240B2 (en) | 2023-06-27 |
EP3745941B1 (en) | 2024-03-13 |
US20240081615A1 (en) | 2024-03-14 |
CA3091038A1 (en) | 2019-08-01 |
EP3745941A4 (en) | 2022-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023134456A (ja) | マルチコアファイバイメージング | |
US9952422B2 (en) | Enhancing the resolution of three dimensional video images formed using a light field microscope | |
EP3942518B1 (en) | Systems and methods for image processing | |
JP6752212B2 (ja) | 画像システムとその使用方法 | |
US20080137059A1 (en) | Method And System For Optical Imaging And Ranging | |
US20070268592A1 (en) | Method and system for correcting optical aberrations, including widefield imaging applications | |
JP6112872B2 (ja) | 撮像システム、画像処理方法、および撮像装置 | |
CN103959040A (zh) | 在智能手机上附接光学相干断层成像系统 | |
US20190028641A1 (en) | Systems and methods for high resolution imaging using a bundle of optical fibers | |
AU2018352821B2 (en) | Image reconstruction method, device and microscopic imaging device | |
US20220381695A1 (en) | Focus scan type imaging device for imaging target object in sample that induces aberration | |
WO2020258434A1 (zh) | 一种基于tie的相位成像方法、装置及可读存储介质 | |
Li et al. | Self-measurements of point-spread function for remote sensing optical imaging instruments | |
EP3830628B1 (en) | Device and process for capturing microscopic plenoptic images with turbulence attenuation | |
Hughes | Inline holographic microscopy through fiber imaging bundles | |
WO2019246478A1 (en) | Systems and methods for interferometric multifocus microscopy | |
US20230073901A1 (en) | Systems and methods for performing multiple-wavelength quantitative phase imaging (qpi) | |
Zhao et al. | Removal of parasitic image due to metal specularity based on digital micromirror device camera | |
CN103487928A (zh) | 散焦量估计方法、成像装置和透明部件 | |
Baktash et al. | Computational imaging using ultrasonically-sculpted virtual lenses | |
Zhai et al. | Single-shot fast 3D imaging through scattering media using structured illumination | |
EP4160294A1 (en) | Optical aberration correction program and optical wavefront estimation program | |
Oliveira | Light manipulation and optical imaging through complex media | |
WO2023223322A1 (en) | Single viewpoint tomography system using point spread functions of tilted pseudo-nondiffracting beams | |
Jiang et al. | Optimization of single-beam multiple-intensity reconstruction technique: Select an appropriate diffraction distance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230718 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230807 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240606 |