CN117671101A - 图像处理装置、图像处理方法和存储介质 - Google Patents

图像处理装置、图像处理方法和存储介质 Download PDF

Info

Publication number
CN117671101A
CN117671101A CN202310572382.4A CN202310572382A CN117671101A CN 117671101 A CN117671101 A CN 117671101A CN 202310572382 A CN202310572382 A CN 202310572382A CN 117671101 A CN117671101 A CN 117671101A
Authority
CN
China
Prior art keywords
information
image
size
images
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310572382.4A
Other languages
English (en)
Inventor
堀内一仁
松永拓也
三由贵史
福西宗宪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Publication of CN117671101A publication Critical patent/CN117671101A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/00052—Display arrangement positioned at proximal end of the endoscope body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00174—Optical arrangements characterised by the viewing angles
    • A61B1/00179—Optical arrangements characterised by the viewing angles for off-axis viewing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00174—Optical arrangements characterised by the viewing angles
    • A61B1/00181—Optical arrangements characterised by the viewing angles for multiple fixed viewing angles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0623—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for off-axis illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0625—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for multiple fixed illumination angles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本发明提供图像处理装置、图像处理方法和存储介质。图像处理装置具备处理器。处理器构成为，使用由内窥镜取得的时间序列的多个图像来重建具有相对尺寸的被摄体的3维信息，根据多个图像各自的对焦信息来计算用于将3维信息的相对尺寸转换为绝对尺寸的比例信息，使用比例信息将相对尺寸转换为绝对尺寸，输出具有绝对尺寸的3维信息。

Description

图像处理装置、图像处理方法和存储介质
技术领域
本发明涉及图像处理装置、图像处理方法和存储介质。
背景技术
以往，已知具有计测被摄体的尺寸的功能的内窥镜(例如，参照专利文献1)。在内窥镜检查或内窥镜治疗中，推荐根据息肉的尺寸来切换内窥镜息肉切除术、EMR/ESD等手术方法，在手术方法的判断中尺寸计测是有效的。作为计测尺寸的单元，例如使用立体光学系统或激光。在专利文献1中，向被摄体照射激光，基于形成有激光的光斑的被摄体的图像来生成并显示用于计测被摄体的尺寸的标记。
另一方面，近年来，根据使用单眼光学系统取得的图像来生成被摄体的3维信息的技术的开发正在进行(例如，参照非专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2020-124541号公报
非专利文献
非专利文献1：Tinghui Zhou，et.al，“Unsupervised Learning of Depth andEgo-Motion from Video”，2017IEEE Conference on Computer Vision and PatternRecognition
发明内容
发明所要解决的课题
在专利文献1的情况下，需要将照射计测用的激光的激光器模块设置于内窥镜。这样，为了计测被摄体的尺寸，需要立体光学系统或激光器模块等特别的设备，无法使用在通常的检查或治疗中使用的一般的单眼内窥镜来计测被摄体的尺寸。
非专利文献1所公开的使用单眼内窥镜的3维重建只不过是对相对的3维形状进行重建，无法取得被摄体的绝对尺寸。
在3维重建中，通过将如标尺那样的已知尺寸的物体与被摄体一起拍摄，比较物体和被摄体的大小，能够估计被摄体的尺寸。但是，在该情况下，需要用于使物体映入图像内的特殊的作业。另外，在观察生物体内的内窥镜的情况下，难以将已知尺寸的物体配置于被摄体。
本发明是鉴于上述情况而完成的，其目的在于提供一种能够根据由一般的单眼内窥镜取得的图像来计测被摄体的绝对尺寸的图像处理装置、图像处理方法以及非暂时性的存储介质。
用于解决课题的手段
本发明的一个方式是一种图像处理装置，由内窥镜取得的时间序列的多个图像与该多个图像各自的对焦信息一起输入到该图像处理装置，其中，该图像处理装置具有处理器，该处理器构成为：使用所述多个图像重建具有相对尺寸的被摄体的3维信息，根据所述对焦信息计算用于将所述3维信息的所述相对尺寸转换为绝对尺寸的比例信息，使用所述比例信息将所述相对尺寸转换为绝对尺寸，输出具有该绝对尺寸的3维信息。
本发明的另一方式是一种图像处理方法，其中，使用由内窥镜取得的时间序列的多个图像来重建具有相对尺寸的被摄体的3维信息，根据所述多个图像各自的对焦信息来计算用于将所述3维信息的所述相对尺寸转换为绝对尺寸的比例信息，使用所述比例信息将所述相对尺寸转换为绝对尺寸，输出具有该绝对尺寸的3维信息。
本发明的另一方式是一种计算机可读取的非暂时性的存储介质，其存储图像处理程序，其中，该图像处理程序使计算机执行如下处理：使用由内窥镜取得的时间序列的多个图像来重建具有相对尺寸的被摄体的3维信息；基于所述多个图像各自的对焦信息来计算用于将所述3维信息的所述相对尺寸转换为绝对尺寸的比例信息；使用所述比例信息将所述相对尺寸转换为绝对尺寸；以及输出具有该绝对尺寸的3维信息。
附图说明
图1是本发明的一个实施方式的内窥镜系统的整体结构图。
图2是内窥镜系统的功能框图。
图3A是示出像面相位差像素的一个结构例的图。
图3B是说明聚焦的程度与像面相位差像素的一对输出之间的关系的图。
图4A是说明图像内的测定区域的图。
图4B是示出根据图像组生成的相对3维信息的一例的图。
图4C是说明与测定区域对应的对应区域的图。
图5是示出聚焦状态下的被摄体距离与AF透镜的位置之间的相关关系的图。
图6A是说明聚焦状态下的物体与像的几何学关系的图。
图6B是示出物体距离短时的AF透镜的位置的图。
图6C是示出物体距离长时的AF透镜的位置的图。
图7A是内窥镜系统的动作的流程图。
图7B是比例估计例程的流程图。
图8是具备EDOF摄像部的内窥镜系统的功能框图。
图9是示出EDOF摄像部的一个结构例的图。
图10是说明近点图像和远点图像内的测定区域的图。
附图标记说明
1图像处理装置
1A 处理器
1B 存储介质
1C 图像处理程序
2 内窥镜
5a 物镜
5b 自动对焦透镜
6a 摄像元件
6b 像面相位差像素
63 EDOF光学系统
A1、A2、A3 图像
M 3维信息
P(1)、P(2)……测定区域
Q(1)、Q(2)……对应区域
具体实施方式
以下，参照附图对本发明的一实施方式的图像处理装置、图像处理方法以及存储介质进行说明。
图1示出具备本实施方式的图像处理装置1的内窥镜系统100。内窥镜系统100具备内窥镜2、内窥镜处理器3、图像处理装置1以及显示装置4。
内窥镜2是具有物镜5a的单眼内窥镜。内窥镜2具备摄像光学系统5和摄像部6。
摄像光学系统5具有物镜5a和致动器(省略图示)，物镜5a具有能够沿着其光轴移动的自动对焦(AF)透镜5b。致动器根据来自内窥镜处理器3的对焦控制信息使AF透镜5b移动，由此自动控制物镜5a的焦点的位置。
摄像部6具有摄像元件6a。摄像元件6a对由物镜5a形成的被摄体的光学像进行摄像，生成被摄体的图像信号。
摄像元件6a也可以具有检测相位差的多个像面相位差像素6b。相位差相当于在物镜5a的焦点未对准被摄体的非聚焦状态下产生的被摄体的2个像的位置偏移量。像面相位差像素6b是排列在摄像面上的像素的至少一部分。
图3A示出像面相位差像素6b的一个结构例。各像面相位差像素6b具有1个微透镜6c和将透过微透镜6c的光转换为电信号的一对光电转换部6d、6e，一对光电转换部6d、6e接收不同的光束。图3B示出聚焦的程度与像面相位差像素6b的输出out1、out2的关系。在物镜5a的焦点对准被摄体的聚焦状态下，2个光电转换部6d、6e的输出out1、out2相互一致。在作为非聚焦状态的前模糊以及后模糊中，2个光电转换部6d、6e的输出out1、out2相互不同。更具体而言，在前模糊及后模糊中，示出2个光电转换部6d、6e的输出out1、out2相互不同的情况。相位差是从多个第一光电转换部6d得到的图像信号的像与从多个第二光电转换部6e得到的图像信号的像之间的位置偏移量。
如图4A所示，摄像部6具有多个测定区域P(1)、P(2)、P(3)、……。摄像部6计算多个测定区域P(1)、P(2)、P(3)、……各自的聚焦的程度，将聚焦的程度与图像信号一起输出到内窥镜处理器3。另外，多个测定区域P(1)、P(2)、P(3)、……被设定在各图像A1、A2、A3、……内，用小区域或点表示。
在摄像元件6a不具有像面相位差像素6b的情况下，物镜5a的焦点以对比度方式被自动控制。在该情况下，聚焦的程度是图像信号的对比度。对比度在聚焦状态下最高，随着焦点从被摄体偏移而降低。
在摄像元件6a具有像面相位差像素6b的情况下，物镜5a的焦点以像面相位差方式被自动控制。在该情况下，聚焦的程度是由像面相位差像素6b检测出的相位差。相位差在聚焦状态下为零，随着焦点从被摄体的偏移变大而变大。
内窥镜处理器3具备光源部7、图像生成部8、控制部9以及存储介质10。
光源部7具有发出用于对被摄体进行照明的照明光的光源，向内窥镜2供给照明光。
图像生成部8根据从摄像部6输入到内窥镜处理器3的图像信号生成2维图像。图像生成部8也可以根据需要对图像实施颜色校正处理以及伽马校正处理等处理。
控制部9具有处理器，在存储介质10中存储有用于控制部9控制光源部7和摄像光学系统5的控制程序。
控制部9以对比度方式或像面相位差方式自动控制物镜5a的焦点。具体而言，在对比度方式的情况下，控制部9根据对比度生成对焦控制信息，并将对焦控制信息发送到摄像光学系统5。在像面相位差方式的情况下，控制部9根据相位差生成对焦控制信息，将对焦控制信息发送到摄像光学系统5。例如，对焦控制信息包含脉冲信号，致动器响应于脉冲信号而使AF透镜5b步进移动。由此，AF透镜5b自动地移动到焦点对准被摄体的位置。
控制部9将由图像生成部8生成的图像与对焦信息一起从内窥镜处理器3输出到图像处理装置1。因此，时间序列的多个图像A1、A2、A3、……与该多个图像A1、A2、A3、……各自的对焦信息一起输入到图像处理装置1。对焦信息是与物镜5a和被摄体之间的距离有关的信息，具体而言，包括对焦控制信息和聚焦的程度(即对比度或相位差)，该对焦控制信息包括AF透镜5b的位置。
图像处理装置1具备中央运算处理装置那样的处理器1A和存储介质1B。
存储介质1B是计算机可读取的非暂时性的存储介质，例如是公知的磁盘、光盘或闪存等。存储介质1B存储有用于使处理器1A执行后述的图像处理方法的图像处理程序1C。
处理器1A通过执行图像处理程序1C，根据图像A1、A2、A3、……执行具有绝对尺寸的被摄体的3维(3D)信息的生成和被摄体的尺寸的计测。
显示装置4显示从图像处理装置1输入的2维图像A1、A2、A3、……。显示装置4还可以显示内窥镜2的设定等其他信息。显示装置4可以显示3D信息，也可以显示根据3D信息计测出的被摄体的尺寸的信息。
接着，对图像处理装置1进行详细说明。
如图1以及图2所示，图像处理装置1具有3维(3D)重建部11、比例估计部12、比例转换部13、计测部14以及图像组保存部15。3D重建部11、比例估计部12、比例转换部13和计测部14作为处理器1A的功能来实现。
图像组保存部15由任意的存储器构成。如上所述，从内窥镜处理器3向图像处理装置1输入时间序列的多个图像A1、A2、A3、……。图像组保存部15将由图像A1、A2、A3、……构成的图像组与图像A1、A2、A3、……各自的对焦信息相关联地至少暂时保存。
3D重建部11从图像组保存部15读出图像组，根据图像组生成被摄体的3D信息M。如图4B所示，3D信息M是被摄体的3D模型，具有被摄体的相对尺寸。以下，将具有相对尺寸的3D信息也称为相对3D信息。
例如，3D重建部11通过Depth CNN(depth prediction convolution neuralnetwork)以及Pose CNN(pose estimation convolution neural network)，估计与图像尺寸对应的深度信息(深度图)、照相机的外部矩阵以及内部参数等，使用这些信息，运算与深度图的各像素对应的3维点，由此生成相对3D信息M。在3D重建中利用被摄体的特征点的情况下，3D重建部11也可以使用通过机器学习取得并预先保存在学习信息保存部20中的学习信息。
比例估计部12从图像组保存部15读取图像组和对焦信息，并且基于图像组和对焦信息计算比例信息。比例信息是用于将相对3D信息M的相对尺寸转换为绝对尺寸的信息。
具体地，如图2所示，比例估计部12包括透镜位置计算部16、被摄体距离计算部17、绝对尺寸计算部18和比例信息计算部19。
如图4A所示，在用于3D信息的重建的全部图像A1、A2、A3、……内设定多个测定区域P(1)、P(2)、P(3)、……。各测定区域P(i)(i＝1、2、……、n)具有作为聚焦的程度的对比度或相位差的信息。透镜位置计算部16针对各测定区域P(i)，根据对焦控制信息和聚焦的程度，计算焦点对准测定区域P(i)的AF透镜5b的位置。
在焦点对准测定区域P(i)时，焦点对准测定区域P(i)的AF透镜5b的位置与取得根据对焦控制信息计算出的图像时的AF透镜5b的位置相等。当焦点未对准测定区域P(i)时，焦点对准测定区域P(i)的AF透镜5b的位置从取得图像时的AF透镜5b的位置偏移。AF透镜5b的偏移量根据对比度或相位差来计算。
被摄体距离计算部17根据由透镜位置计算部16计算出的AF透镜5b的位置，计算各图像Aj(j＝1、2、3、……)内的多个测定区域P(i)各自的被摄体距离dt(i)。被摄体距离dt(i)是从物镜5a到被摄体的沿着光轴的方向的实际距离(绝对距离)。如图5所示，在AF透镜5b的位置与被摄体的对焦距离dt(i)之间存在规定的相关关系。基于这样的规定的相关关系，被摄体距离计算部17计算各测定区域P(i)的被摄体距离dt(i)。
相对3D信息M具有被摄体的各位置的相对深度的信息(所谓的深度图)。因此，关于各测定区域P(i)，已知作为绝对距离的被摄体距离dt(i)和在相对3D信息M中与被摄体距离dt(i)对应的相对距离。绝对尺寸计算部18基于相对距离和被摄体距离dt(i)，计算在相对3D信息M中与各测定区域P(i)对应的区域的绝对尺寸。
图6A至图6C说明被摄体的绝对尺寸的计算方法。
图6A示出作为被摄体的物体O与通过物镜5a形成的物体O的像I之间的关系。a是物镜5a与物体O之间的物体距离(被摄体距离)，b是物镜5a与摄像面6f之间的像距离。为了在摄像元件6a的摄像面6f上形成物体O的像，AF透镜5b根据物体距离而移动。具体而言，AF透镜5b在物体距离a短时向物体O侧移动(参照图6B)，在物体距离a长时向像I侧移动(参照图6C)。在聚焦状态下，透镜的公式(a)成立。f是物镜5a的焦距。
1/f＝1/a+1/b...(a)
根据式(a)和表示拍摄倍率M的式(b)，导出式(c)。L1是物体O的大小，L2是摄像面6f上的像I的大小。
M＝b/a＝L2/L1...(b)
M＝f/(a-f)...(c)
焦距f是物镜5a的设计值，因此通过取得物体距离a，根据式(c)计算拍摄倍率M。拍摄倍率M也可以通过取得物体距离a而根据式(b)来计算。
如图5所示，在聚焦状态下，在物体距离a与AF透镜5b的位置之间存在规定的相关关系。因此，基于该相关关系，根据AF透镜5b的位置计算物体距离a。相关关系例如以表数据的形式预先存储于存储介质1B。
接着，根据像素数和像素尺寸计算图像内的像I的大小L2。像素尺寸是1个像素的大小。具体而言，通过将像素尺寸与像I的像素数相乘来计算大小L2。
接着，使用拍摄倍率M和大小L2，根据式(b)计算物体O的大小L1。
如图4C所示，比例信息计算部19计算在相对3D信息M中与多个测定区域P(1)、P(2)、P(3)、……分别对应的多个对应区域Q(1)、Q(2)、Q(3)、……的相对距离ds(1)、ds(2)、ds(3)、……。具体而言，对应区域Q(i)是在相对3D信息M中从与图像Aj相同的视点观察到的与图像Aj对应的图像Bi内的区域。相对距离ds(i)是在相对3D信息M的坐标系中从作为视点的照相机位置Pc到对应区域Q(i)的沿着光轴的方向的距离。
接着，比例信息计算部19计算使被摄体距离dt(i)与使用比例信息从相对距离ds(i)转换的绝对距离的差分之和最小化的比例信息。具体而言，比例信息计算部19根据下式(1)计算系数α作为比例信息。
在此，n是在1个图像Aj内设定的测定区域P(i)的数量，argβmin(f(β))是返回使f(β)最小的β的值的函数。
比例转换部13使用比例信息，将测定区域P(i)以外的其他区域的相对尺寸转换为绝对尺寸。具体而言，如下式(2)所示，比例转换部13通过对其他区域的相对尺寸ds乘以系数α，来计算其他区域的绝对尺寸dt。
dt＝α×ds...(2)
通过以这种方式计算测定区域P(i)和其它区域的绝对尺寸，生成具有被摄体的绝对尺寸的3D信息。以下，将具有绝对尺寸的3D信息也称为绝对3D信息。
计测部14在图像处理装置1的计测功能的执行中，执行绝对3D信息中的被摄体的尺寸的计测。由计测部14计测的尺寸是被摄体的实际尺寸(绝对尺寸)。
计测功能也可以基于由用户输入到图像处理装置1或内窥镜处理器3的指示来执行。在该情况下，计测部14也可以计测多个点间的长度。例如，用户能够使用任意的输入设备，在显示于显示装置4的2维图像上或者3D信息上指定多个点。
计测功能也可以当在图像A1、A2、A3、……内检测到规定的被摄体时自动地执行。在该情况下，计测部14也可以计测规定的被摄体的尺寸。
计测出的被摄体的尺寸的信息与2维图像A1、A2、A3、……或绝对3D信息重叠，由此生成重叠图像，重叠图像从输出部21输出到显示装置4。也可以将表示绝对尺寸的带标尺的绝对3D信息从输出部21输出到显示装置4。
接着，对内窥镜系统100的动作进行说明。
如图7A所示，在内窥镜系统100启动后，取得包含对焦控制信息的光学信息(步骤S1)，通过摄像部6对被摄体进行摄像(步骤S2)，通过图像生成部8生成被摄体的图像(步骤S3)，将图像与对焦信息一起输入到图像处理装置1。
接着，确认是否执行计测功能(步骤S4)。
在不执行计测功能的情况下(步骤S4的“否”)，在步骤S3中生成的2维图像从内窥镜处理器3经由图像处理装置1发送到显示装置4，2维图像显示于显示装置4(步骤S5)。
在执行计测功能的情况下(步骤S4的“是”)，执行用于计测被摄体的绝对尺寸的处理(步骤S11～S15)。步骤S11～S15相当于由图像处理装置1执行的图像处理方法。
图像处理装置1将输入的图像和对焦信息暂时保存在图像组保存部15中。在3D信息的生成所需的图像组被蓄积于图像组保存部15之后，通过3D重建部11，使用图像组重建被摄体的相对3D信息M(步骤S11)。
接着，比例估计部12基于对焦信息和图像组计算比例信息(步骤S12)。
具体而言，如图7B所示，通过透镜位置计算部16，针对在相对3D信息M的生成中使用的全部图像A1、A2、A3、……内的多个测定区域P(1)、P(2)、P(3)、……，分别基于对焦控制信息以及聚焦的程度来计算AF透镜5b的位置(步骤S121)。
接着，基于AF透镜5b的位置计算各测定区域P(i)的被摄体距离dt(i)(步骤S122)，基于被摄体距离计算各测定区域P(i)的绝对尺寸。接着，计算在相对3D信息M中与测定区域P(i)对应的对应区域Q(i)的相对距离ds(i)(步骤S123)，并且基于被摄体距离dt(i)和相对距离ds(i)计算比例信息(步骤S124)。具体而言，根据式(1)计算比例系数α。
接着，通过比例转换部13，使用比例信息将相对3D信息M的相对尺寸转换为绝对尺寸(步骤S13)。具体而言，如式(2)所示，通过对相对3D信息M中的其他区域内的各位置的相对尺寸乘以系数α来扩大或缩小3D信息，生成绝对3D信息。
接着，通过计测部14，在绝对3D信息下计测被摄体的实际尺寸(步骤S14)。接着，通过将计测出的尺寸的信息重叠于2维图像或3D信息来生成重叠图像(步骤S15)。重叠图像从输出部21发送至显示装置4，并显示于显示装置4(步骤S5)。
反复进行步骤S1～S5、S11～S15，直到向内窥镜系统100输入结束的指示为止(步骤S6)。
这样，根据本实施方式，使用2维图像的对焦信息来计算用于将相对3D信息M的相对尺寸转换为绝对尺寸的比例信息。对焦信息是从一般的单眼内窥镜2和内窥镜处理器3获得的信息。因此，不需要特别的设备和作业，就能够根据由一般的单眼内窥镜2取得的2维图像来计测被摄体的绝对尺寸。
在本实施方式中，也可以是，内窥镜2具有扩大景深的EDOF(Extended DepthofField：扩展景深)功能，图像处理装置1根据宽聚焦图像生成3D信息。EDOF是获得具有与物镜5a的景深相比被扩大的景深的宽聚焦图像的技术。
图8是内窥镜2代替摄像部6而具有EDOF摄像部61的内窥镜系统100的框图。EDOF摄像部61通过EDOF光学系统同时取得焦点的位置在光轴方向上不同的多个图像信号。
图9示出EDOF摄像部61的一个结构。附图标记2a是将从光源部7供给的照明光朝向被摄体射出的照明光学系统。EDOF摄像部61具有摄像元件62和EDOF光学系统63。EDOF光学系统63具有1/4λ相位板63a和分束器63b，摄像元件62具有2个受光区域62a、62b。
来自被摄体S的光通过物镜5a和1/4λ相位板63a，入射到分束器63b。分束器63b通过偏振将来自被摄体S的光分割为2个光，对2个光赋予光路长度差。一方的光在一方的受光区域62a成像，另一方的光在另一方的受光区域62b成像。摄像元件62同时拍摄2个受光区域62a、62b的像，由此，生成焦点对准近点的近点图像信号和焦点对准远点的远点图像信号。符号63c是将在分束器63b反射的一方的光向受光区域62a反射的反射镜。
EDOF摄像部61的具体结构并不限定于上述结构，也可以是其他结构。
从内窥镜处理器3向图像处理装置1输入时间序列的多对近点图像和远点图像构成的图像组。图像组保存部15将近点图像和远点图像与对焦信息分别关联起来进行保存。
处理器1A还具备图像合成部22。图像合成部22通过合成近点图像和远点图像来生成宽聚焦图像。
3D重建部11使用时间序列的多个宽聚焦图像来重建相对3D信息。
如图10所示，在近点图像内设定多个测定区域P1(1)、P1(2)、……，在远点图像内设定多个测定区域P2(1)、P2(2)、……。图10示出宽聚焦图像中的测定区域P1(i)和P2(i)。
透镜位置计算部16针对各测定区域P1(i)计算AF透镜5b的位置，被摄体距离计算部17计算各测定区域P1(i)的被摄体距离dt1(i)。比例信息计算部19计算与测定区域P1(i)对应的对应区域的相对距离ds1(i)，使用距离dt1(i)、ds1(i)根据式(1)计算系数α1。
同样地，透镜位置计算部16针对各测定区域P2(i)计算AF透镜5b的位置，被摄体距离计算部17计算各测定区域P2(i)的被摄体距离dt2(i)。比例信息计算部19计算与测定区域P2(i)对应的对应区域的相对距离ds2(i)，使用距离dt2(i)、ds2(i)根据式(1)计算系数α2。
因此，能够得到关于近点以及远点的2个系数α1、α2，近点的系数α1以及远点的系数α2能够相互不同。
比例信息计算部19基于近点以及远点这2个系数α来补充其他焦点处的系数。因此，针对每个被摄体距离计算系数α。
比例转换部13使用对应的被摄体距离的系数来对其他区域的相对尺寸进行转换。
这样，通过使用EDOF内窥镜2，能够针对每个被摄体距离得到比例信息α1、α2，能够更准确地计算测定区域P1(i)、P2(i)以外的其他区域的比例系数。由此，能够更准确地计算其他区域的被摄体的绝对尺寸。
在本实施方式中，物镜5a具有AF透镜5b，但也可以取而代之，物镜5a不具有AF透镜5b，而物镜5a的焦距固定。
在该情况下，对焦信息包含相位差，不需要基于对焦控制信息计算AF透镜5b的位置。被摄体距离计算部17根据物镜5a的焦距和相位差来计算测定区域P(i)的被摄体距离。
以上，参照附图对本发明的实施方式进行了详述，但具体的结构不限于上述实施方式，也包含不脱离本发明的主旨的范围的设计变更等。另外，在上述的实施方式以及变形例中示出的构成要素能够适当地组合而构成。

Claims (10)

1.一种图像处理装置，由内窥镜取得的时间序列的多个图像与该多个图像各自的对焦信息一起输入到该图像处理装置，其中，
该图像处理装置具有处理器，
该处理器构成为：
使用所述多个图像重建具有相对尺寸的被摄体的3维信息，
根据所述对焦信息计算用于将所述3维信息的所述相对尺寸转换为绝对尺寸的比例信息，
使用所述比例信息将所述相对尺寸转换为绝对尺寸，
输出具有该绝对尺寸的3维信息。
2.根据权利要求1所述的图像处理装置，其中，
计算所述比例信息的处理包括如下处理：
基于与所述图像内的1个以上的测定区域分别对应的所述对焦信息来计算该1个以上的测定区域的绝对尺寸；以及
基于所述1个以上的测定区域的绝对尺寸来计算所述比例信息，
所述处理器使用所述比例信息将所述3维信息中的所述1个以上的测定区域以外的其他区域的相对尺寸转换为绝对尺寸。
3.根据权利要求2所述的图像处理装置，其中，
计算所述比例信息的处理包括如下处理：
基于所述对焦信息计算所述图像内的多个所述测定区域的被摄体距离；
计算具有所述相对尺寸的所述3维信息中的相对距离，该相对距离是与所述多个测定区域分别对应的多个对应区域距照相机位置的相对距离；以及
计算使所述被摄体距离与使用所述比例信息从所述相对距离转换得到的绝对距离的差分之和最小化的所述比例信息。
4.根据权利要求3所述的图像处理装置，其中，
所述比例信息是根据下式(1)计算出的系数α，
所述处理器根据dt＝α×ds的关系将所述相对尺寸转换为所述绝对尺寸，
这里，
dt(i)是所述测定区域的所述被摄体距离，
ds(i)是所述对应区域的所述相对距离，
n是1个所述图像内的所述测定区域的数量，
argβmin(f(β))是返回使f(β)最小的β的值的函数，
ds是所述3维信息的相对尺寸，
dt是所述3维信息的绝对尺寸。
5.根据权利要求1所述的图像处理装置，其中，
所述多个图像是通过物镜由摄像元件取得的，所述物镜具有自动对焦透镜，
所述对焦信息包含所述图像的对比度，
计算所述比例信息的处理包括如下处理：
基于所述图像的对比度计算所述自动对焦透镜的位置；
基于该自动对焦透镜的位置计算被摄体距离；以及
基于该被摄体距离计算所述比例信息。
6.根据权利要求1所述的图像处理装置，其中，
所述多个图像是通过物镜由摄像元件取得的，所述物镜具有自动对焦透镜，所述摄像元件具有相位差像素，
所述对焦信息包含利用所述相位差像素检测的相位差，
计算所述比例信息的处理包括如下处理：
基于所述相位差计算自动对焦透镜的位置；
基于该自动对焦透镜的位置计算被摄体距离；以及
基于该被摄体距离计算所述比例信息。
7.根据权利要求1所述的图像处理装置，其中，
所述多个图像是通过物镜由摄像元件取得的，所述物镜具有固定的焦距，所述摄像元件具有相位差像素，
所述对焦信息是利用所述相位差像素检测的相位差，
计算所述比例信息的处理包括如下处理：
基于所述相位差和所述焦距来计算被摄体距离；以及
基于该被摄体距离来计算所述比例信息。
8.根据权利要求1所述的图像处理装置，其中，
所述多个图像是多组图像，各组图像由通过EDOF光学系统被同时拍摄且焦点的位置在光轴方向上相互不同的至少2个图像构成，
所述处理器使用所述至少2个图像来计算所述比例信息。
9.一种图像处理方法，其中，
使用由内窥镜取得的时间序列的多个图像来重建具有相对尺寸的被摄体的3维信息，
根据所述多个图像各自的对焦信息来计算用于将所述3维信息的所述相对尺寸转换为绝对尺寸的比例信息，
使用所述比例信息将所述相对尺寸转换为绝对尺寸，
输出具有该绝对尺寸的3维信息。
10.一种计算机可读取的非暂时性的存储介质，其存储图像处理程序，其中，
该图像处理程序使计算机执行如下处理：
使用由内窥镜取得的时间序列的多个图像来重建具有相对尺寸的被摄体的3维信息；
基于所述多个图像各自的对焦信息来计算用于将所述3维信息的所述相对尺寸转换为绝对尺寸的比例信息；
使用所述比例信息将所述相对尺寸转换为绝对尺寸；以及
输出具有该绝对尺寸的3维信息。
CN202310572382.4A 2022-09-06 2023-05-19 图像处理装置、图像处理方法和存储介质 Pending CN117671101A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/903,135 2022-09-06
US17/903,135 US20240078694A1 (en) 2022-09-06 2022-09-06 Image processing apparatus, image processing method, and recording medium

Publications (1)

Publication Number Publication Date
CN117671101A true CN117671101A (zh) 2024-03-08

Family

ID=90061012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310572382.4A Pending CN117671101A (zh) 2022-09-06 2023-05-19 图像处理装置、图像处理方法和存储介质

Country Status (3)

Country Link
US (1) US20240078694A1 (zh)
JP (1) JP2024037129A (zh)
CN (1) CN117671101A (zh)

Also Published As

Publication number Publication date
JP2024037129A (ja) 2024-03-18
US20240078694A1 (en) 2024-03-07

Similar Documents

Publication Publication Date Title
JP2013165475A (ja) 撮影画像の補助情報を生成する撮像装置、画像処理装置、及び画像処理方法
JP2011069965A (ja) 撮像装置、画像表示方法、及び画像表示プログラムが記録された記録媒体
JP6758287B2 (ja) 制御装置及び医療用撮像システム
JP2015194706A5 (zh)
JP6323184B2 (ja) 画像処理装置、画像処理方法、並びにプログラム
JP2014158258A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2010213038A (ja) 撮像装置
JP2010057619A (ja) 立体画像撮影表示システム
JP6736670B2 (ja) 内視鏡システム
JP2013044844A (ja) 画像処理装置および画像処理方法
CN113302541A (zh) 用于捕获任意平面之间的全光图像的过程和装置
JP6659100B2 (ja) 撮像装置
JP6671915B2 (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
JP2014048329A (ja) 撮像装置
JP2019168479A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2018195985A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
CN117671101A (zh) 图像处理装置、图像处理方法和存储介质
JP2019129374A (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体及び撮像装置
JP2014194502A (ja) 撮像装置および撮像システム
JP7207296B2 (ja) 撮像装置とフォーカス制御方法およびフォーカス判定方法
JP2017223879A (ja) 焦点検出装置、フォーカス制御装置、撮像装置、焦点検出方法および焦点検出プログラム
JP2009284071A (ja) 画像解析装置および撮像装置
JP6639208B2 (ja) 撮像装置及びその制御方法
JP2009081522A (ja) 撮像装置
CN117670971A (zh) 图像处理装置、图像处理方法和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination