CN107529969A - 图像处理装置、图像判别系统以及内窥镜系统 - Google Patents

图像处理装置、图像判别系统以及内窥镜系统 Download PDF

Info

Publication number
CN107529969A
CN107529969A CN201680021353.7A CN201680021353A CN107529969A CN 107529969 A CN107529969 A CN 107529969A CN 201680021353 A CN201680021353 A CN 201680021353A CN 107529969 A CN107529969 A CN 107529969A
Authority
CN
China
Prior art keywords
image
subject
depth
pixel
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680021353.7A
Other languages
English (en)
Other versions
CN107529969B (zh
Inventor
佐藤大介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN107529969A publication Critical patent/CN107529969A/zh
Application granted granted Critical
Publication of CN107529969B publication Critical patent/CN107529969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00025—Operational features of endoscopes characterised by power management
    • A61B1/00027—Operational features of endoscopes characterised by power management characterised by power supply
    • A61B1/00032—Operational features of endoscopes characterised by power management characterised by power supply internally powered
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

提供一种图像处理装置，针对通过拍摄生物体内而获取到的图像，能够通过简单的运算处理高精度地进行在图像内是否包含被摄体处于特定状态的区域的判别。一种图像处理装置，基于从摄像部输出的表示被摄体的像的图像数据和表示至被摄体的距离的测距数据来进行图像处理，该图像处理装置具备：深度图像制作部(337)，其基于测距数据来计算从摄像部至被摄体的深度；被摄体距离计算部(336)，其基于图像数据来计算摄像部与被摄体之间的被摄体距离；差计算部(338)，其计算由深度图像制作部(337)计算出的深度与由被摄体距离计算部(336)计算出的被摄体距离之差；以及判别部(339)，其基于由差计算部(338)计算出的差来判别映现出被摄体的图像中是否包含被摄体的表面处于特定状态的区域。

Description

图像处理装置、图像判别系统以及内窥镜系统
技术领域
本发明涉及一种基于通过拍摄生物体内而获取到的数据来进行图像处理的图像处理装置、图像判别系统以及内窥镜系统。
背景技术
已知如下一种技术：针对通过使用内窥镜、胶囊型内窥镜等医用观察装置拍摄生物体内而获取到的图像群，提取映现出如病变等异常部那样被摄体处于特定状态的区域的图像或者识别异常的种类。
在通过使用了医用观察装置的一次的检查来获取大量的图像的情况下，观察所有的图像对于医生而言负担大。另外，在通过图像处理来自动识别异常的种类时，如果将所有的图像设为处理对象，则对图像处理装置的负荷非常高。因此，在医生进行详细的观察或进行异常的种类的自动识别处理之前，作为预处理，针对通过检查获取到的各图像，进行是否为医生应详细地观察的图像或者是否为应实施异常的识别处理的图像之类的判别的技术是非常有用的。
例如，在专利文献1中公开了如下一种技术：将管腔内图像的像素值的梯度变化模型化，基于构成管腔内图像的各像素的像素值与根据被模型化的像素值的梯度变化而决定的各像素的估计像素值之差，来从管腔内图像中检测异常部的候补区域。
专利文献1：日本特开2009-297450号公报
发明内容
发明要解决的问题
在上述专利文献1的情况下，必须预先将像素值的梯度变化模型化并进行准备，从而运算处理烦杂。然而，作为用于提取医生应详细地观察的图像或应实施自动识别处理的图像的预处理，期望一种能够通过尽可能简单的运算处理来高精度地进行判别的处理。
本发明是鉴于上述情形而完成的，其目的在于提供一种针对通过拍摄生物体内而获取到的图像能够通过简单的运算处理来高精度地进行在图像内是否包含被摄体处于特定状态的区域的判别的图像处理装置、图像判别系统以及内窥镜系统。
用于解决问题的方案
为了解决上述的问题而实现目的，本发明所涉及的图像处理装置基于从摄像部输出的表示被摄体的像的图像数据和表示至所述被摄体的距离的测距数据来进行图像处理，其中，该摄像部具有：照明部，其产生对所述被摄体进行照射的照明光；聚光光学系统，其会聚由所述被摄体反射的所述照明光；以及图像传感器，其接收由该聚光光学系统会聚的所述照明光，基于该照明光来输出所述图像数据并且输出所述测距数据，所述图像处理装置的特征在于，具备：深度计算部，其基于所述测距数据来计算从所述聚光光学系统至所述被摄体的深度；被摄体距离计算部，其基于所述图像数据来计算所述聚光光学系统与所述被摄体之间的被摄体距离；差计算部，其计算由所述深度计算部计算出的所述深度与由所述被摄体距离计算部计算出的所述被摄体距离之差；以及判别部，其基于由所述差计算部计算出的所述差，来判别在映现出所述被摄体的图像中是否包含所述被摄体的表面处于特定状态的区域。
上述图像处理装置的特征在于，所述深度计算部计算至用于构成所述图像的多个像素所映现出的被摄体上的多个点的深度，在用于构成所述图像的多个像素中，所述被摄体距离计算部至少计算至由所述深度计算部计算出所述深度的所述被摄体上的多个点的被摄体距离，所述差计算部在由所述深度计算部计算出的多个深度与由所述被摄体距离计算部计算出的多个被摄体距离之间，计算至相同的点的距离彼此间的差值，所述判别部基于由所述差计算部计算出的多个差值的统计值来进行判别。
上述图像处理装置的特征在于，所述判别部通过将所述多个差值中的出现率为峰值的差值与阈值进行比较来进行所述判别。
上述图像处理装置的特征在于，还具备识别部，该识别部针对被所述判别部判别为包含处于所述特定状态的区域的图像，实施识别所述特定状态的种类的识别处理。
上述图像处理装置的特征在于，所述被摄体是生物体的粘膜，所述特定状态是从所述粘膜正常的状态发生变化后的异常的状态。
本发明所涉及的图像判别系统的特征在于，具备所述图像处理装置以及所述摄像部。
上述图像判别系统的特征在于，所述图像传感器具备：多个摄像用像素，所述多个摄像用像素接收所述照明光来输出表示所述被摄体的像的电信号；多个测距用像素，所述多个测距用像素接收所述照明光来输出包含与至所述被摄体的距离有关的信息的电信号；以及信号处理电路，其基于从所述多个摄像用像素的各个摄像用像素输出的所述电信号来输出所述图像数据，并且基于从所述多个测距用像素的各个测距用像素输出的所述电信号来输出所述测距数据。
本发明所涉及的内窥镜系统的特征在于，具备：所述图像处理装置；以及胶囊型内窥镜，其在呈胶囊形状的壳体中收容有所述摄像部。
本发明所涉及的内窥镜系统的特征在于，具备：所述图像处理装置；以及视频观测器，其在向被检体插入的插入部的前端部设置有所述摄像部。
发明的效果
根据本发明，基于依赖于被摄体表面的反射特性的图像数据来计算被摄体距离，并且基于不依赖于被摄体表面的反射特性的测距数据来计算至被摄体的深度，并计算被摄体距离与被摄体之差，因此能够以数值的方式掌握被摄体表面的反射特性的变化。因而，针对通过拍摄生物体内而获取到的图像，能够通过简单的运算处理高精度地进行在图像内是否包含被摄体处于特定状态的区域的判别。
附图说明
图1是示出本发明的实施方式1所涉及的图像判别系统的结构例的示意图。
图2是示出图1所示的图像传感器的受光面的示意图。
图3是示出图1所示的图像判别部的结构的框图。
图4是用于说明被摄体距离的测定原理的示意图。
图5是示出图像整体为正常的粘膜区域的情况下的被摄体距离图像和深度图像的示意图。
图6是图5所示的被摄体距离图像与深度图像之间的差值的直方图。
图7是示出图像整体为异常区域的情况下的被摄体距离图像和深度图像的示意图。
图8是图7所示的被摄体距离图像与深度图像之间的差值的直方图。
图9是示出在图像的一部分包含异常区域的情况下的被摄体距离图像和深度图像的示意图。
图10是图9所示的被摄体距离图像与深度图像之间的差值的直方图。
图11是示出本发明的实施方式2所涉及的图像判别系统的结构例的示意图。
图12是用于说明图11所示的运算部的动作的示意图。
图13是示出本发明的实施方式3所涉及的内窥镜系统的结构例的示意图。
图14是示出图13所示的胶囊型内窥镜的内部构造的一例的示意图。
图15是示出本发明的实施方式4所涉及的内窥镜系统的结构例的示意图。
具体实施方式
下面，参照附图来说明本发明的实施方式所涉及的图像处理装置、图像判别系统以及内窥镜系统。在以下的说明中，各附图只不过是以能够理解本发明的内容的程度概要性地示出了形状、大小以及位置关系。因而，本发明并不仅限定于各附图例示出的形状、大小以及位置关系。此外，在附图的记载中，对相同的部分标注相同的附图标记。
(实施方式1)
图1是示出本发明的实施方式1所涉及的图像判别系统的结构例的示意图。本实施方式1所涉及的图像判别系统1能够应用于被导入到生物体内进行摄像的内窥镜系统等，是判别在通过拍摄粘膜等被摄体而获取到的图像中是否包含被摄体处于特定状态的区域(以下也称为特定区域)的系统。作为内窥镜系统，可以是具备在插入部的前端部设置有摄像部的视频观测器的一般的内窥镜系统，也可以是将内置摄像部和无线通信部的胶囊型内窥镜导入到生物体内并使该胶囊型内窥镜执行摄像的胶囊型内窥镜系统。
在此，特定区域是指从作为被摄体的生物体的粘膜正常的状态发生了变化而变为异常的状态的区域(异常区域)，具体地说，包含发生了出血、肿疡、溃疡等病变的病变区域、被估计为有可能病变的候补区域等。或者，也可以将映现出残渣的残渣区域、映现出泡的泡区域、映现出夹具等在对生物体的处置中使用的处置器具的处置器具区域等、映现出除粘膜以外的被摄体的区域作为特定区域来进行判别。并且，也可以是，将正常的粘膜区域作为特定区域来判别处理对象的图像是否为仅由正常的粘膜区域构成的图像。
如图1所示，图像判别系统1具备：摄像部2，其通过拍摄被摄体S来生成图像数据后输出该图像数据，并且通过对至被摄体S的距离进行实测来生成测距数据后输出该测距数据；以及图像处理装置3，其获取从摄像部2输出的图像数据和测距数据，基于图像数据来制作被摄体S的图像，并且基于图像数据和测距数据来判别在图像内是否包含特定区域。
摄像部2具备聚光透镜等聚光光学系统22、图像传感器23以及产生对被摄体S进行照明的照明光的一个以上的照明部21。
照明部21包含LED(Light Emitting Diode：发光二极管)等发光元件和用于驱动该发光元件的驱动电路，照明部21产生白色光或特定频带的照明光并向被摄体S照射该照明光。
图像传感器23是能够获取表示被摄体S的视觉信息的图像数据和表示至被摄体S的深度的测距数据的传感器，具有接收从照明部21射出并由被摄体S反射后由聚光光学系统22会聚的照明光(即，反射光)的受光面23a。在本实施方式1中，作为图像传感器23，使用像面相位差AF用的传感器。
图2是用于说明图像传感器23的结构的示意图。如图2所示，图像传感器23具备排列在受光面23a上的多个摄像用像素23b和测距用像素23c以及对从这些像素输出的电信号进行处理的信号处理电路23d。在受光面23a上，多个摄像用像素23b被配置成矩阵状，多个测距用像素23c以置换该矩阵的一部分的方式配置。在图2中，对测距用像素23c的位置标注“×”记号来与摄像用像素23b进行区分。
各摄像用像素23b具有在光电二极管等光电转换部上将R(红色)、G(绿色)、B(蓝色)中的任一颜色的滤色器与微透镜层叠的构造，产生与入射到光电转换部的光的光量相应的电荷。摄像用像素23b根据各自具有的滤色器的颜色而以拜耳阵列等规定的排列顺序排列。信号处理电路23d通过将由各摄像用像素23b产生的电荷转换为电压信号并进一步转换为数字信号，来将该数字信号作为图像数据输出。
各测距用像素23c具有以下构造：在同一平面上并行地配置两个光电转换部，并且以在这些光电转换部上跨过的方式配置一个微透镜。入射到微透镜的光以与向微透镜入射的入射位置相应的分配量向两个光电转换部入射。两个光电转换部各自产生与入射的光的光量相应的电荷。信号处理电路23d将在各测距用像素23c的两个光电转换部中分别产生的电荷转换为电压信号，基于这些电压信号之间的相位差(与距离有关的信息)来生成表示从摄像部2至被摄体S的距离(深度)的测距数据并输出该测距数据。
图像处理装置3具备：数据获取部31，其获取从摄像部2输出的图像数据和测距数据；存储部32，其存储由数据获取部31获取到的图像数据和测距数据以及在该图像处理装置3中使用的各种程序、参数等；运算部33，其基于图像数据和测距数据来进行各种运算处理；显示部34，其显示被摄体S的图像等；操作输入部35，其用于输入针对该图像处理装置3的各种信息、命令；以及控制部36，其对这些各部进行综合控制。
数据获取部31根据应用该图像判别系统1的内窥镜系统的方式而适当地构成。例如，在将视频观测器插入体内的一般的内窥镜系统的情况下，数据获取部31由取入设置于视频观测器的摄像部2所生成的图像数据和测距数据的接口构成。另外，在胶囊型内窥镜系统的情况下，数据获取部31由经由天线接收从胶囊型内窥镜无线发送的信号的接收部构成。或者，也可以使用便携式的存储介质来与胶囊型内窥镜之间交换图像数据和测距数据，在该情况下，数据获取部31由以装卸自如的方式安装便携式的存储介质来读出所存储的图像数据和测距数据的读取器装置构成。或者，在设置用于保存内窥镜系统中生成的图像数据和测距数据的服务器的情况下，数据获取部31由与服务器连接的通信装置等构成，与服务器之间进行数据通信来获取各种数据。
存储部32由能够更新记录的快闪存储器等ROM(Read Only Memory：只读存储器)、RAM(Random Access Memory：随机存取存储器)之类的各种IC(Integrated Circuit：集成电路)存储器、内置或用数据通信端子连接的硬盘或者CD-ROM(Compact Disc Read OnlyMemory：压缩光盘只读存储器)等信息存储装置、以及针对该信息存储装置的信息的写入读取装置等构成。存储部32保存用于使图像处理装置3进行动作并使图像处理装置3执行各种功能的程序、执行该程序中使用的数据、例如由数据获取部31获取到的图像数据和测距数据、各种参数等。
作为存储部32所存储的参数的具体例，能够列举运算部33所执行的运算中使用的作为被摄体S的生物体的反射特性、即粘膜表面的反射率。存储部32也可以存储多个与胃粘膜、大肠粘膜之类的观察对象的被摄体的种类相应的反射率来作为参数。
运算部33使用CPU(Central Processing Unit：中央处理单元)等通用处理器、ASIC(Application Specific Integrated Circuit：专用集成电路)等执行特定功能的各种运算电路等的专用处理器构成。在运算部33是通用处理器的情况下，通过读入存储部32所存储的各种运算程序来执行运算处理。另外，在运算部33是专用处理器的情况下，既可以由处理器单独执行各种运算处理，也可以通过使用存储部32所存储的各种数据等来由处理器与存储部32协作或结合地执行运算处理。
具体地说，运算部33具备：图像处理部33a，其通过对图像数据实施白平衡处理、去马赛克、伽马转换、平滑化(噪声去除等)等规定的图像处理来生成显示用的图像；以及图像判别部33b，其基于图像数据和测距数据来判别在图像处理部33a所生成的图像中是否包含异常区域等特定区域。在后面叙述图像判别部33b的详细的结构和动作。
显示部34包含液晶、有机EL(Electro Luminescence：电致发光)等的各种显示器，显示由图像处理部33a生成的图像、由图像判别部33b计算出的距离等的信息。
控制部36使用CPU等通用处理器、ASIC等执行特定功能的各种运算电路等的专用处理器来构成。在控制部36是通用处理器的情况下，通过读入存储部32所存储的控制程序来进行向构成图像处理装置3的各部的指示、数据的传输等，对图像处理装置3整体的动作进行综合控制。另外，在控制部36是专用处理器的情况下，既可以由处理器单独执行各种处理，也可以通过使用存储部32所存储的各种数据等来由处理器与存储部32协作或结合地执行各种处理。
图3是示出图像判别部33b的详细的结构的框图。如图3所示，图像判别部33b具备亮度图像制作部331、像面照度计算部332、物体表面亮度计算部333、照射照度计算部334、照射距离计算部335、被摄体距离计算部336、深度图像制作部(深度计算部)337、差计算部338以及判别部339。
亮度图像制作部331基于从存储部32读出的图像数据，来制作将被摄体S的图像的亮度作为各像素的像素值的亮度图像。
像面照度计算部332基于由亮度图像制作部331制作出的亮度图像，来计算图像传感器23的像面的照度。
物体表面亮度计算部333基于由像面照度计算部332计算出的像面的照度，来计算被摄体S的表面的亮度。
照射照度计算部334基于由物体表面亮度计算部333计算出的物体表面的亮度，来计算被照射到被摄体S的照明光的照射照度。
照射距离计算部335基于由照射照度计算部334计算出的照明光的照射照度，来计算从聚光光学系统22至被摄体S的照射距离。
被摄体距离计算部336计算被摄体距离，并制作将所计算出的被摄体距离作为各像素的像素值的被摄体距离图像，该被摄体距离是将由照射距离计算部335计算出的照射距离投影到聚光光学系统22的光轴ZL上所得到的距离。
深度图像制作部337基于从存储部32读出的测距数据来生成深度图像，该深度图像是将与由图像处理部33a制作的图像内的各像素位置对应的被摄体S上的点与聚光光学系统22之间的深度作为各像素的像素值的图像。此外，如上述的那样，测距用像素23c稀疏地配置于受光面23a。关于没有配置测距用像素23c的像素位置，深度图像制作部337既可以事先设为空(Null)值，也可以使用从配置在附近的测距用像素23c输出的测距数据通过插值运算来计算深度。
差计算部338计算由被摄体距离计算部336制作出的被摄体距离图像与由深度图像制作部337制作出的深度图像之差。即，求出两个图像之间相同的像素彼此间的被摄体距离与深度的差值。
判别部339基于由差计算部338计算出的差值的统计值来判别在映现出被摄体S的图像中是否包含特定区域。
接着，参照图1～图10来详细地说明本实施方式1中的图像的判别方法。图4是示出摄像部2内的各部与被摄体S之间的位置和角度的关系的示意图。
首先，图像判别系统1通过使照明部21发光来向被摄体S照射照明光L1。由此，由被摄体S反射回的照明光(反射光)被聚光光学系统22会聚后向图像传感器23的受光面23a入射。图像传感器23基于从配置于受光面23a的摄像用像素23b和测距用像素23c(参照图2)输出的输出信号，来输出各摄像用像素23b的位置的图像数据，并且输出各测距用像素23c的位置的测距数据。图像处理装置3的数据获取部31取入这些图像数据和测距数据并将这些数据存储到存储部32。
如图3所示，图像判别部33b从存储部32取入图像数据和测距数据，将图像数据输入到亮度图像制作部331，并且将测距数据输入到深度图像制作部337。
亮度图像制作部331基于被输入的图像数据来制作将被摄体S的图像的亮度作为像素值的亮度图像。在此，如图2所示，在图像传感器23的受光面23a稀疏地配置测距用像素23c，因此在配置有测距用像素23c的像素位置没有获取图像数据。因此，亮度图像制作部331使用基于从位于测距用像素23c的附近的摄像用像素23b输出的输出值的图像数据，通过插值来计算该测距用像素23c的位置的亮度。
接着，像面照度计算部332基于由亮度图像制作部331制作出的亮度图像，来计算作为聚光光学系统22的像面的受光面23a上的关注像素A处的照度(像面照度)Ef[lx]。在此，像面照度是指在将聚光光学系统22作为照明系统时通过了该聚光光学系统22的反射光L2向图像传感器23入射时的照度。
使用系数K、曝光时间t以及从受光面23a上的关注像素A的位置的摄像用像素23b(参照图2)输出的输出值Vout，通过下式(1)来给出像面照度Ef。系数K是各摄像用像素23b处的光的吸收系数、从电荷向电压转换的转换系数、考虑到AD转换、放大器等电路中的增益或损耗等的总的系数，是根据图像传感器23的技术要求预先设定的。此外，关于各测距用像素23c的位置的像面照度Ef，通过使用从该测距用像素23c的附近的摄像用像素23b输出的输出值Vout的插值来计算。
[数1]
接着，物体表面亮度计算部333基于像面照度Ef来计算作为被摄体S的表面的亮度的物体表面亮度LS[cd/m2]。使用像面照度Ef、聚光光学系统22的口径D、焦距b以及强度透过率T(h)，通过下式(2)来给出物体表面亮度LS。
[数2]
接着，照射照度计算部334基于物体表面亮度LS来计算对被摄体S进行照射的照明光L1的照射照度E0[lx]。照明光L1由于在被摄体S的关注点P处发生反射而衰减与被摄体S的表面的反射率R0相应的量。因而，能够使用物体表面亮度LS和被摄体S的反射率R0通过下式(3)来反算照射照度E0。
[数3]
在此，反射率R0是根据被摄体S的表面性状决定的值，被预先存储于存储部32中。在存储部32根据被摄体的种类而存储有多个反射率R0的情况下，照射照度计算部334选择与从操作输入部35(参照图1)输入的信号相应的反射率R0来使用。
这样计算出的照射照度E0是从照明部21射出的照明光L1到达被摄体S的关注点P而产生的照射照度。在此期间，从照明部21射出的照明光L1衰减与至关注点P的照射距离dL相应的量。因而，在照明部21的亮度LLED与关注点P处的照射照度E0之间，下式(4)的关系成立。
[数4]
在式(4)中，符号SLED表示被从照明部21放射照明光L1的区域的表面积。另外，符号EmSPE是照明光L1的分光特性系数。
因而，通过下式(5)来给出照射距离dL[m]。
[数5]
接着，被摄体距离计算部336使用视场角φ，通过下式(6)来计算将照射距离dL投影到光轴ZL上所得到的被摄体距离dS。
dS＝dL·cosφ…(6)
在此，当将照明光L1的放射方向与照明部21的光轴ZE之间所呈的角度设为放射角θE时，严格来说，被摄体距离dS为照射距离dL的cosθE。然而，在摄像部2所具备的照明部21与聚光光学系统22之间的距离比被摄体距离dS短的情况下，能够使放射角θE近似为视场角φ。
如以下那样计算视场角φ。提取受光面23a上的与由亮度图像制作部331制作出的亮度图像内的关注像素对应的像素A(参照图4)，使用图像传感器23的像素数(像素)和传感器尺寸dsen(mm)来将该像素A的坐标值从像素换算为距离(mm)。然后，使用被换算为距离的像素A的坐标值来计算从聚光光学系统22的光轴ZL至像素A的距离、即像高dA。然后，根据聚光光学系统22与受光面23a之间的距离(设计值)d0和像高dA，通过下式(7)来计算视场角φ。
φ＝tan-1(dA/d0)…(7)
像面照度计算部332～被摄体距离计算部336针对受光面23a上的各像素进行这种被摄体距离ds的计算处理，来制作将被摄体距离ds作为各像素的像素值的被摄体距离图像。
另一方面，深度图像制作部337基于被输入的测距数据，制作将从聚光光学系统22至被摄体S的深度dS’(参照图4)作为各像素的像素值且与受光面23a整体对应的尺寸的深度图像。在此，如图2所示，在图像传感器23的受光面23a只稀疏地配置了测距用像素23c。因此，深度图像制作部337针对深度图像内的与测距用像素23c的位置对应的像素，使用基于从测距用像素23c输出的输出值的测距数据来决定像素值。另外，关于除此以外的像素的像素值，既可以设为Null值，也可以使用周边像素的值通过插值运算来决定。
差计算部338获取由被摄体距离计算部336制作出的被摄体距离图像和由深度图像制作部337制作出的深度图像，计算在这些图像之间位置所对应的像素之间的像素值、即被摄体距离ds与深度ds’之间的差值。此时，针对在深度图像中像素值为Null值的像素，也可以不进行差运算。
判别部339基于由差计算部338计算出的差值的出现率，来判别在基于被输入到图像判别部33b的图像数据制作的图像中是否包含异常区域等特定区域。具体地说，制作差值的直方图，通过将差值的最频值与阈值进行比较，来进行上述判别。以下，对该判别方法详细地进行说明。
图5是示出图像整体为正常的粘膜区域的情况下的被摄体距离图像和深度图像的示意图。另外，图6是图5所示的被摄体距离图像与深度图像之间的差值的直方图。
在该情况下，构成被摄体距离图像M1的各像素的位置的被摄体距离ds(x，y)与构成深度图像M2的各像素的位置的深度ds’(x，y)之间的差值如图6所示那样大致一样。这表示对被摄体距离ds(x，y)的计算结果施加影响的被摄体S表面的反射率在整个图像中大致均一。
图7是示出图像整体为异常区域的情况下的被摄体距离图像和深度图像的示意图。另外，图8是图7所示的被摄体距离图像与深度图像之间的差值的直方图。
在该情况下，构成被摄体距离图像M3的各像素的位置的被摄体距离ds(x，y)与构成深度图像M4的各像素的位置的深度ds’(x，y)之间的差值如图8所示那样大致一样。这表示被摄体S表面的反射率大致均一。但是，直方图的峰值处的差值(最频值)成为与正常的粘膜区域的情况(参照图6)下的峰值处的差值不同的值。这是由于被摄体S表面的粘膜正常的情况下的反射率与被摄体S表面的粘膜异常的情况下的反射率不同。
因此，通过将在被摄体距离ds(x，y)与深度ds’(x，y)之间的差值的直方图中成为峰值的差值与阈值Th进行比较，能够判别该图像为正常的粘膜区域还是为异常区域。例如，在图6和图8的情况下，在峰值处的差值小于阈值Th的情况下，能够判别为正常的粘膜区域，在峰值处的差值为阈值Th以上的情况下，能够判别为异常区域。
图9是示出在图像的一部分中包含异常区域的情况下的被摄体距离图像和深度图像的示意图。另外，图10是图9所示的被摄体距离图像与深度图像之间的差值的直方图。
在该情况下，构成被摄体距离图像M5的各像素的位置的被摄体距离ds(x，y)与构成深度图像M6的各像素的位置的深度ds’(x，y)之间的差值如图10所示那样偏差大。这表示对被摄体距离ds(x，y)的计算结果施加影响的被摄体S表面的反射率不均一。也就是说，意味着在被摄体S存在反射率不同的多个部分。
详细地说，在被摄体距离图像M5内的正常的粘膜区域a1与深度图像M6内的正常的粘膜区域a2之间，差值的峰值出现在接近图6所示的峰值的位置。另一方面，在被摄体距离图像M5内的异常区域b1与深度图像M6内的异常区域b2之间，差值的峰值出现在接近图8的峰值的位置。
判别部339通过像这样将直方图的峰值处的差值与阈值进行比较，来判别判别对象的图像是由正常的粘膜区域构成的图像还是由异常区域构成的图像、或者是否为一部分包含异常区域的图像。该判别中使用的阈值使用样本的图像来计算，预先保存于存储部32中并调出即可。
此外，基于差值的直方图的判别方法不限定于上述的方法，例如也可以基于差值的方差、平均、标准偏差、中央值、峰值的半值宽度等的统计值来进行判别。另外，也可以通过分等级地设定多个阈值来对异常区域的种类进行分类。
图像判别部33b输出判别部339的判别结果，将该判别结果与由图像处理部33a制作出的显示用的图像相关联地存储于存储部32。具体地说，对显示用的图像附加表示是整体为正常的粘膜区域的图像、或是整体为异常区域的图像、或者是一部分包含异常区域的图像的意思的标识。或者，也可以将由正常的粘膜区域构成的图像和至少一部分包含异常区域的图像存储于互不相同的存储区域。也可以只将至少一部分包含异常区域的图像另外作为备份来保存。
另外，在将显示用的图像显示于显示部34时，也可以通过对至少一部分包含异常区域的图像显示警告等与正常的粘膜区域的图像不同的方法进行显示。之后，针对从摄像部2获取到的数据的处理结束。
如以上所说明的那样，根据本实施方式1，基于依赖于被摄体S的表面的反射特性的图像数据来计算被摄体距离，并且基于不依赖于被摄体S的表面的反射特性的测距数据来计算至被摄体S的深度，并计算两者之间的差值，因此能够以数值的方式掌握被摄体S的表面性状的变化。因而，通过将该差值的统计值与阈值进行比较，不进行烦杂的处理就能够高精度地进行图像是否包含特定区域的判别。
此外，在本实施方式1所涉及的图像判别系统中，在使摄像部2的摄像方向朝向管腔延伸的方向进行了拍摄的情况下，有时在被摄体距离图像和深度图像的制作处理中发生错误。这是由于反射光几乎不从管腔延伸的方向返回。因此，优选的是，将拍摄管腔延伸的方向所得到的图像预先从处理对象中排除。能够通过公知的技术来判断是否为拍摄管腔延伸的方向所得到的图像。作为一例，在由亮度图像制作部331制作出的亮度图像中，在亮度值为规定值以下的区域在图像整体中占规定比例以上的情况下，能够判断为拍摄管腔延伸的方向所得到的图像。
(变形例1)
在上述实施方式1中，作为在照射照度计算部334计算照射照度时使用的被摄体S的反射率R0，使用了生物体的正常的粘膜的反射率，但是也可以使用特定的病变部(例如发生了出血的部分)的反射率。在该情况下，在判别部339中，能够判别处理对象的图像是否包含特定的病变区域。
(变形例2)
在上述实施方式1中，将判别部339所使用的阈值设为了固定值，但是也可以基于由差计算部338计算出的差值的直方图来使阈值适应性地变化。例如图10所示的那样，在差值的直方图中出现两个峰值的情况下，将两个峰值之间的值设定为阈值。
在此，在利用内窥镜对生物体进行检查的情况下，生物体的粘膜的反射率严格来说根据各个生物体的不同而不同。另外，还有时根据照明光的波长等条件不同而对在粘膜发生反射的照明光的影响不同。因此，通过适应性地设定阈值，能够使针对通过一次内窥镜检查获取到的多个图像的判别精度提高。
(变形例3)
在上述实施方式1中，作为图像传感器23，使用了将多个摄像用像素23b和多个测距用像素23c配置在同一受光面23a上的像面相位差AF用的传感器，但是图像传感器23的结构并不限定于此。例如，也可以将CMOS或CCD等一般的摄像元件与TOF方式的测距用传感器组合来使用。
(实施方式2)
接着，对本发明的实施方式2进行说明。图11是示出本发明的实施方式2所涉及的图像判别系统的结构例的示意图。如图11所示，本实施方式2所涉及的图像判别系统4具备图像处理装置5，来代替图1所示的图像处理装置3。此外，摄像部2的结构和动作与实施方式1相同。
图像处理装置5具备运算部51，相对于图1所示的运算部33，该运算部51还具备识别部51a。图像处理装置5的除运算部51以外的各部的结构和动作以及运算部51所具备的图像处理部33a和图像判别部33b的动作与实施方式1相同。
识别部51a从被图像判别部33b判别为至少一部分包含异常区域的图像的图像中提取异常区域，实施识别所提取出的异常区域的种类的识别处理。作为由识别部51a执行的异常区域的提取处理和识别处理，能够应用公知的各种处理。例如，针对由图像处理部33a制作出的显示用的图像，计算构成图像的各像素的颜色特征量、或从图像中提取边缘计算形状特征量、或根据傅里叶谱计算纹理特征量，来计算各种特征量，根据预先制作出的识别基准来对这些特征量进行分类。
接着，对运算部51的动作进行说明。图12是用于说明运算部51的动作的示意图。当运算部51从存储部32获取到图像数据和测距数据时，图像处理部33a使用图像数据来依次制作显示用的图像m1～m5。
接着，图像判别部33b判别图像m1～m5中的各个图像是由正常的粘膜区域构成的图像还是至少一部分包含异常区域的图像。该图像判别处理的详细内容与实施方式1相同。
在通过上述图像判别处理而判别为例如图像m1和m2为由正常的粘膜区域构成的图像的情况下，运算部51对图像m1和m2附加表示是由正常的粘膜区域构成的图像的意思的标识，并存储到存储部32的规定的存储区域中。
另外，在通过上述图像判别处理而判别为例如图像m3～m5是至少一部分包含异常区域的图像的情况下，识别部51a从这些图像m3～m5中的各个图像中提取异常区域，执行用于识别所提取出的异常区域的种类的识别处理。
在通过该识别处理而识别为图像m3所包含的异常区域的种类(例如异常A)与图像m4和m5所包含的异常区域的种类(例如异常B)不同的情况下，运算部51对这些图像m3～m5附加表示所识别出的异常区域的种类的标识，并存储到与各个种类相应的规定的存储区域中。
如以上所说明的那样，根据本实施方式2，只针对被判别为包含异常区域的图像的图像，实施提取异常区域来识别异常区域的种类这样的高度的图像处理，因此能够抑制对图像处理装置的负荷并且能够高效地得到针对需要的图像的识别结果。
(实施方式3)
接着，对本发明的实施方式3进行说明。图13是示出本发明的实施方式3所涉及的内窥镜系统的结构的示意图。如图13所示，本实施方式3所涉及的内窥镜系统6具备：胶囊型内窥镜61，其被导入到患者等被检体60内来进行摄像，生成并无线发送图像信号；接收装置63，其经由佩戴于被检体60的接收天线单元62来接收从胶囊型内窥镜61无线发送的图像信号；以及图像处理装置3。图像处理装置3的结构和动作与实施方式1相同(参照图1)，从接收装置63获取图像数据后实施规定的图像处理，并显示被检体60内的图像。或者，也可以应用实施方式2中的图像处理装置5，来代替图像处理装置3。
图14是示出胶囊型内窥镜61的结构例的示意图。胶囊型内窥镜61在通过经口摄取等而被导入到被检体60内之后在消化管内部移动并最终被排出到被检体60的外部。在此期间，胶囊型内窥镜61一边随着蠕动运动而在脏器(消化管)内部移动，一边对被检体60内进行拍摄来依次生成并无线发送图像信号。
如图14所示，胶囊型内窥镜61具备收容摄像部2的胶囊型壳体611，该摄像部2包含照明部21、聚光光学系统22以及图像传感器23。胶囊型壳体611是形成为易于被导入到被检体60的脏器内部的大小的外壳。另外，在胶囊型壳体611内设置有：控制部615，其控制胶囊型内窥镜61的各构成部；无线通信部616，其将被控制部615处理后的信号无线发送到胶囊型内窥镜61的外部；以及电源部617，其向胶囊型内窥镜61的各构成部供给电力。
胶囊型壳体611由筒状壳体612和圆顶状壳体613、614构成，通过用圆顶状壳体613、614堵塞该筒状壳体612的两侧开口端来实现该胶囊型壳体611。筒状壳体612和圆顶状壳体614是对可见光而言大致不透明的有色的壳体。另一方面，圆顶状壳体613是对可见光等规定波长频带的光而言透明的呈圆顶形状的光学构件。这种胶囊型壳体611在内部液密性地包含摄像部2、控制部615、无线通信部616以及电源部617。
控制部615控制胶囊型内窥镜61内的各构成部的动作，并且控制这些构成部之间的信号的输入输出。详细地说，控制部615对摄像部2所具备的图像传感器23的摄像帧频进行控制，并且使照明部21与该摄像帧频同步地发光。另外，控制部615对从图像传感器23输出的图像信号实施规定的信号处理，并使无线通信部616无线发送实施该规定的信号处理后的图像信号。
无线通信部616从控制部615获取图像信号，对该图像信号实施调制处理等来生成无线信号，并将该无线信号发送到接收装置63。
电源部617是纽扣型电池、电容器等蓄电部，向胶囊型内窥镜61的各构成部(摄像部2、控制部615以及无线通信部616)供给电力。
再次参照图13，接收天线单元62具有多个(在图13中是八个)接收天线62a。各接收天线62a例如使用环形天线实现，被配置在被检体60的体外表面上的规定位置(例如，与作为胶囊型内窥镜61的通过区域的被检体60内的各脏器对应的位置)。
接收装置63经由这些接收天线62a接收从胶囊型内窥镜61无线发送的图像信号，在对接收到的图像信号实施规定的处理之后将图像信号及其关联信息存储到内置的存储器中。也可以对接收装置63设置显示从胶囊型内窥镜61无线发送的图像信号的接收状态的显示部、用于操作接收装置63的操作按钮等输入部。通过在与图像处理装置3相连接的托架64上放置接收装置63，接收装置63中存储的图像信号被传输到图像处理装置3。
(实施方式4)
接着，对本发明的实施方式4进行说明。图15是示出本发明的实施方式4所涉及的内窥镜系统的结构的示意图。如图15所示，本实施方式4所涉及的内窥镜系统7具备：内窥镜71，其被插入到被检体的体内来进行摄像，生成并输出图像；光源装置72，其产生从内窥镜71的前端射出的照明光；以及图像处理装置3。图像处理装置3的结构和动作与实施方式1相同(参照图1)，获取由内窥镜71生成的图像数据后实施各种图像处理，并将被检体内的图像显示于显示部34。或者，也可以应用实施方式2中的图像处理装置5，来代替图像处理装置3。
内窥镜71具备：插入部73，其具有挠性且呈细长形状；操作部74，其连接于插入部73的基端侧，用于接收各种操作信号的输入；以及通用线缆75，其从操作部74向与插入部73延伸的方向不同的方向延伸，内置与图像处理装置3和光源装置72连接的各种线缆。
插入部73具有前端部731、由多个弯曲件构成的弯曲自如的弯曲部732、以及连接于弯曲部732的基端侧且具有挠性的长条状的挠性针管733。在该插入部73的前端部731设置摄像部2(参照图1)，该摄像部2具备：照明部21，其利用由光源装置72产生的照明光来照射被检体内；聚光光学系统22，其会聚在被检体内反射回的照明光；以及图像传感器23。
在操作部74与前端部731之间连接有将用于与图像处理装置3之间进行电信号的发送接收的多个信号线进行捆束而成的集合线缆以及用于传播光的光导件。多个信号线中包含用于将摄像元件所输出的图像信号传送到图像处理装置3的信号线和用于将图像处理装置3所输出的控制信号传送到摄像元件的信号线等。
操作部74设置有使弯曲部732向上下方向和左右方向弯曲的弯曲旋钮、用于插入活检针、生物体钳子、激光手术刀以及检查探针等处置器具的处置器具插入部、以及用于向图像处理装置3和光源装置72等周边设备输入操作指示信号的多个开关。
通用线缆75中至少内置有光导件和集合线缆。另外，在通用线缆75的与同操作部74相连的一侧不同的一侧的端部设置有：连接器部76，其相对于光源装置72装卸自如；以及电连接器部78，其经由呈螺旋状的螺旋线缆77而与连接器部76电连接，且相对于图像处理装置3装卸自如。从摄像元件输出的图像信号经由螺旋线缆77和电连接器部78而被输入到图像处理装置3。
以上所说明的本发明的实施方式1～4只不过是用于实施本发明的例子，本发明并不限定于这些实施方式。另外，本发明通过将上述实施方式1～4中公开的多个构成要素适当地进行组合，能够生成各种发明。根据上述记载显而易见的是，本发明能够根据规格等进行各种变形，并且在本发明的范围内能够具有其它各种实施方式。
附图标记说明
1、4：图像判别系统；2：摄像部；3、5：图像处理装置；6、7：内窥镜系统；21：照明部；22：聚光光学系统；23：图像传感器；23a：受光面；23b：摄像用像素；23c：测距用像素；23d：信号处理电路；31：数据获取部；32：存储部；33、51：运算部；33a：图像处理部；33b：图像判别部；34：显示部；35：操作输入部；36：控制部；51a：识别部；60：被检体；61：胶囊型内窥镜；62：接收天线单元；62a：接收天线；63：接收装置；64：托架；71：内窥镜；72：光源装置；73：插入部；74：操作部；75：通用线缆；76：连接器部；77：螺旋线缆；78：电连接器部；331：亮度图像制作部；332：像面照度计算部；333：物体表面亮度计算部；334：照射照度计算部；335：照射距离计算部；336：被摄体距离计算部；337：深度图像制作部；338：差计算部；339：判别部；611：胶囊型壳体；612：筒状壳体；613、614：圆顶状壳体；615：控制部；616：无线通信部；617：电源部；731：前端部；732：弯曲部；733：挠性针管。

Claims (9)

1.一种图像处理装置，基于从摄像部输出的表示被摄体的像的图像数据和表示至所述被摄体的距离的测距数据来进行图像处理，其中，该摄像部具有：照明部，其产生对所述被摄体进行照射的照明光；聚光光学系统，其会聚由所述被摄体反射的所述照明光；以及图像传感器，其接收由该聚光光学系统会聚的所述照明光，基于该照明光来输出所述图像数据并且输出所述测距数据，所述图像处理装置的特征在于，具备：
深度计算部，其基于所述测距数据来计算从所述摄像部至所述被摄体的深度；
被摄体距离计算部，其基于所述图像数据来计算所述摄像部与所述被摄体之间的被摄体距离；
差计算部，其计算由所述深度计算部计算出的所述深度与由所述被摄体距离计算部计算出的所述被摄体距离之差；以及
判别部，其基于由所述差计算部计算出的所述差，来判别在映现出所述被摄体的图像中是否包含所述被摄体的表面处于特定状态的区域。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述深度计算部计算至用于构成所述图像的多个像素所映现出的被摄体上的多个点的深度，
在用于构成所述图像的多个像素中，所述被摄体距离计算部至少计算至由所述深度计算部计算出所述深度的所述被摄体上的多个点的被摄体距离，
所述差计算部在由所述深度计算部计算出的多个深度与由所述被摄体距离计算部计算出的多个被摄体距离之间，计算至相同的点的距离彼此间的差值，
所述判别部基于由所述差计算部计算出的多个差值的统计值来进行判别。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述判别部通过将所述多个差值中的出现率为峰值的差值与阈值进行比较，来进行所述判别。
4.根据权利要求1所述的图像处理装置，其特征在于，
还具备识别部，该识别部针对被所述判别部判别为包含处于所述特定状态的区域的图像，实施识别所述特定状态的种类的识别处理。
5.根据权利要求4所述的图像处理装置，其特征在于，
所述被摄体是生物体的粘膜，
所述特定状态是从所述粘膜正常的状态发生变化后的异常的状态。
6.一种图像判别系统，其特征在于，具备：
根据权利要求1所述的图像处理装置；以及
所述摄像部。
7.根据权利要求6所述的图像判别系统，其特征在于，
所述图像传感器具备：
多个摄像用像素，所述多个摄像用像素接收所述照明光来输出表示所述被摄体的像的电信号；
多个测距用像素，所述多个测距用像素接收所述照明光来输出包含与至所述被摄体的距离有关的信息的电信号；以及
信号处理电路，其基于从所述多个摄像用像素的各个摄像用像素输出的所述电信号来输出所述图像数据，并且基于从所述多个测距用像素的各个测距用像素输出的所述电信号来输出所述测距数据。
8.一种内窥镜系统，其特征在于，具备：
根据权利要求1所述的图像处理装置；以及
胶囊型内窥镜，其在呈胶囊形状的壳体中收容有所述摄像部。
9.一种内窥镜系统，其特征在于，具备：
根据权利要求1所述的图像处理装置；以及
视频观测器，其在向被检体插入的插入部的前端部设置有所述摄像部。
CN201680021353.7A 2015-07-03 2016-02-16 图像处理装置以及内窥镜系统 Active CN107529969B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-134725 2015-07-03
JP2015134725 2015-07-03
PCT/JP2016/054452 WO2017006574A1 (ja) 2015-07-03 2016-02-16 画像処理装置、画像判別システム、及び内視鏡システム

Publications (2)

Publication Number Publication Date
CN107529969A true CN107529969A (zh) 2018-01-02
CN107529969B CN107529969B (zh) 2019-04-23

Family

ID=57684991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680021353.7A Active CN107529969B (zh) 2015-07-03 2016-02-16 图像处理装置以及内窥镜系统

Country Status (5)

Country Link
US (1) US20180047165A1 (zh)
EP (1) EP3318176A4 (zh)
JP (1) JP6177458B2 (zh)
CN (1) CN107529969B (zh)
WO (1) WO2017006574A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109171616A (zh) * 2018-08-07 2019-01-11 重庆金山医疗器械有限公司 获得被测物内部3d形状的系统及方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3070779B1 (fr) * 2017-09-01 2019-09-13 Teledyne E2V Semiconductors Sas Procede d'acquisition d'image par un capteur d'image de type cmos pour la reconnaissance de code lisible optiquement
JP7051408B2 (ja) 2017-12-07 2022-04-11 ソニー・オリンパスメディカルソリューションズ株式会社 医療用内視鏡装置、および医療用観察システム
JP7015385B2 (ja) * 2018-05-15 2022-02-02 富士フイルム株式会社 内視鏡画像処理装置、内視鏡装置の作動方法、及びプログラム
EP3824621A4 (en) 2018-07-19 2022-04-27 Activ Surgical, Inc. SYSTEMS AND METHODS FOR MULTIMODAL DETECTION OF DEPTH IN VISION SYSTEMS FOR AUTOMATED SURGICAL ROBOTS
WO2020090002A1 (ja) * 2018-10-30 2020-05-07 オリンパス株式会社 内視鏡システム及び内視鏡システムに用いる画像処理装置及び画像処理方法
CN109934276B (zh) * 2019-03-05 2020-11-17 安翰科技(武汉)股份有限公司 基于迁移学习的胶囊内窥镜图像分类系统及方法
JP2022526626A (ja) 2019-04-08 2022-05-25 アクティブ サージカル， インコーポレイテッド 医療撮像のためのシステムおよび方法
CN110335318B (zh) * 2019-04-28 2022-02-11 安翰科技(武汉)股份有限公司 一种基于摄像系统的消化道内物体测量方法
CN114599263A (zh) 2019-08-21 2022-06-07 艾科缇弗外科公司 用于医疗成像的系统和方法
WO2022123919A1 (ja) * 2020-12-11 2022-06-16 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002065585A (ja) * 2000-08-24 2002-03-05 Fuji Photo Film Co Ltd 内視鏡装置
JP2009204991A (ja) * 2008-02-28 2009-09-10 Funai Electric Co Ltd 複眼撮像装置
CN102065744A (zh) * 2008-06-17 2011-05-18 奥林巴斯株式会社 图像处理装置、图像处理程序及图像处理方法
CN103607946A (zh) * 2011-01-20 2014-02-26 埃纳威医疗有限公司 估计物体的位置和取向的系统和方法
CN104717422A (zh) * 2013-12-17 2015-06-17 奥林巴斯映像株式会社 显示设备以及显示方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5190944B2 (ja) * 2008-06-26 2013-04-24 富士フイルム株式会社 内視鏡装置および内視鏡装置の作動方法
JP5980555B2 (ja) * 2012-04-23 2016-08-31 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6265588B2 (ja) * 2012-06-12 2018-01-24 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002065585A (ja) * 2000-08-24 2002-03-05 Fuji Photo Film Co Ltd 内視鏡装置
JP2009204991A (ja) * 2008-02-28 2009-09-10 Funai Electric Co Ltd 複眼撮像装置
CN102065744A (zh) * 2008-06-17 2011-05-18 奥林巴斯株式会社 图像处理装置、图像处理程序及图像处理方法
CN103607946A (zh) * 2011-01-20 2014-02-26 埃纳威医疗有限公司 估计物体的位置和取向的系统和方法
CN104717422A (zh) * 2013-12-17 2015-06-17 奥林巴斯映像株式会社 显示设备以及显示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109171616A (zh) * 2018-08-07 2019-01-11 重庆金山医疗器械有限公司 获得被测物内部3d形状的系统及方法

Also Published As

Publication number Publication date
EP3318176A1 (en) 2018-05-09
JP6177458B2 (ja) 2017-08-09
WO2017006574A1 (ja) 2017-01-12
CN107529969B (zh) 2019-04-23
JPWO2017006574A1 (ja) 2017-07-06
EP3318176A4 (en) 2019-03-27
US20180047165A1 (en) 2018-02-15

Similar Documents

Publication Publication Date Title
CN107529969B (zh) 图像处理装置以及内窥镜系统
CN107072498B (zh) 图像处理装置、胶囊型内窥镜系统以及内窥镜系统
US7995798B2 (en) Device, system and method for estimating the size of an object in a body lumen
CN106999019B (zh) 图像处理装置、图像处理方法、记录介质以及内窥镜装置
CN101317757B (zh) 生物信息获取设备及其方法
CN102197982B (zh) 电子内视镜系统
CN109310301A (zh) 电子内窥镜用处理器以及电子内窥镜系统
CN105531720B (zh) 用于体内对象的大小估计的系统和方法
CN112351724B (zh) 电子内窥镜系统
JP6454489B2 (ja) 観察システム
JP5594711B2 (ja) 生体内画像コントラストを強化するための方法
CN107105987B (zh) 图像处理装置及其工作方法、记录介质和内窥镜装置
US9412054B1 (en) Device and method for determining a size of in-vivo objects
US11957299B2 (en) Endoscope image processing apparatus, endoscope image processing method, and program
US20210201080A1 (en) Learning data creation apparatus, method, program, and medical image recognition apparatus
CN106535736A (zh) 图像处理装置、图像处理方法以及图像处理程序
CN114569047B (zh) 胶囊内窥镜、摄像系统的测距方法和装置
CN109152520A (zh) 图像信号处理装置、图像信号处理方法以及图像信号处理程序
CN109328319A (zh) 胶囊相机的透镜对准方法和设备
CN109788891A (zh) 内窥镜镜体、内窥镜处理器和内窥镜用适配器
CN103561627B (zh) 图像处理装置
CN106488735A (zh) 图像处理装置、图像处理方法以及图像处理程序
WO2021044590A1 (ja) 内視鏡システム、処理システム、内視鏡システムの作動方法及び画像処理プログラム
CN106308835A (zh) 手持式光学、伽马探测器一体化成像系统和方法
KR20120012191A (ko) 객체간 알지비 색상차이를 최대화하는 내시경용 엘이디 최적 조명장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant