CN110573054A - 医学图像处理设备、医学图像处理方法以及内诊镜系统 - Google Patents

医学图像处理设备、医学图像处理方法以及内诊镜系统 Download PDF

Info

Publication number
CN110573054A
CN110573054A CN201880027822.5A CN201880027822A CN110573054A CN 110573054 A CN110573054 A CN 110573054A CN 201880027822 A CN201880027822 A CN 201880027822A CN 110573054 A CN110573054 A CN 110573054A
Authority
CN
China
Prior art keywords
image
processing
circuit
image processing
switching control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880027822.5A
Other languages
English (en)
Other versions
CN110573054B (zh
Inventor
山根真人
平山智之
杉江雄生
中野毅人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110573054A publication Critical patent/CN110573054A/zh
Application granted granted Critical
Publication of CN110573054B publication Critical patent/CN110573054B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Abstract

一种手术内诊镜系统包括被配置为生成医学图像数据的手术内诊镜和图像处理设备。图像处理设备包括：切换控制电路，接收通过手术内诊镜生成的医学图像数据并且被配置为执行分配和聚合；多个图形处理电路，被配置为对经由切换控制电路的分配所接收的医学图像数据执行图像处理；中央处理电路，经由切换控制电路连接至切换电路和多个图形处理电路；以及存储器电路，由中央处理电路管理。由切换控制电路对由多个图形处理电路执行图像数据的图像处理的结果进行聚合，并且在将结果输出至存储器电路之前，该结果的聚合与由中央处理电路管理的存储器电路无关。

Description

医学图像处理设备、医学图像处理方法以及内诊镜系统
技术领域
本技术涉及一种医学图像处理设备、医学图像处理方法、以及内诊镜系统，并且具体地，涉及一种例如能够实现更低等待时间的医学图像处理设备、医学图像处理方法、以及内诊镜系统。
背景技术
对于通过内诊镜拾取并且用于医疗应用的医学图像，因为医生在观察医学图像的同时执行医疗操作等，所以要求以较低的等待时间执行从图像拾取到显示的处理。
例如，已经提出了一种图像处理设备，其中，将图像划分成在水平方向上排列的多个区域，并且使用多个GPU(图形处理单元)执行并行处理，以分别对多个区域进行处理，从而实现较低的等待时间(例如，参考专利文献1)。
[引用列表]
[专利文献]
[专利文献1]WO 2015/163171
发明内容
技术问题
近年来，在用于拾取图像的图像传感器的性能改善的同时，通过内诊镜等拾取的医学图像变成诸如所谓的4K图像或8K图像等多个像素的图像(高像素)。如专利文献1中描述的，为了执行图像拾取的处理，从而以较低的等待时间进行该多个像素的医学图像的显示，使用多个GPU的并行处理是有效的。
然而，专利文献1中描述的图像处理设备是基于PC(个人电脑)架构而配置的，并且将通过多个GPU处理之前的医学图像或通过多个GPU处理之后的医学图像传输至并且存储在由CPU(中央处理单元)管理的存储器中。
相应地，即使通过GPU执行的处理的速度增加，GPU与由CPU管理的存储器之间的医学图像的传输至少也会产生所需的时间段作为等待时间。
鉴于上述所述这种情形而提出本技术并且本技术使得可以以更低的等待时间执行拾取到显示医学图像的处理。
[问题的解决方案]
一种手术内诊镜系统包括：手术内诊镜，生成医学图像数据；和图像处理设备，具有：切换控制电路，接收由手术内诊镜生成的医学图像数据并且执行分配和聚合；多个图形处理电路，对经由切换控制电路的分配接收的医学图像数据执行图像处理；中央处理电路，经由切换控制电路连接至切换电路和多个图形处理电路；以及存储器电路，由中央处理电路管理；
其中，由切换控制电路对由多个图形处理电路执行图像数据的图像处理的结果进行聚合；并且其中，在经由中央处理电路将结果输出至存储器电路之前，结果的聚合与由中央处理电路管理的存储器电路无关。
一种图像处理设备包括：切换控制电路，执行分配和聚合；多个图形处理电路，对经由切换控制电路的分配接收的图像数据执行图像处理；中央处理电路，经由切换控制电路连接至切换电路和多个图形处理电路；以及存储器电路，由中央处理电路管理；其中，由切换控制电路对由多个图形处理电路执行图像数据的图像处理的结果进行聚合；并且其中，在经由中央处理电路将结果输出至存储器电路之前，执行与由中央处理电路管理的存储器电路无关的结果的聚合。
一种图像处理方法包括：使用多个图形处理电路对通过手术内诊镜或显微镜生成并且经由切换控制电路的分配接收的医学图像数据执行图像处理；并且由切换控制电路对由多个图形处理电路执行图像数据的图像处理的结果进行聚合；其中，在经由中央处理电路将结果输出至存储器之前，执行与由中央处理电路管理的存储器无关的结果的聚合，中央处理电路经由切换控制电路连接至切换电路和多个图形处理电路。
[发明的有利效果]
利用本技术，能够实现更低的等待时间。
应注意，此处描述的效果不一定必须受限制，而是可以是此处描述的任意一种效果。
附图说明
[图1]图1是描述应用了本技术的内诊镜手术系统的环境的配置的实施例的示图。
[图2]图2是描述CCU 201的第一配置例的框图。
[图3]图3是示出由CCU 201执行医学图像的图像稳定化(处理)的概况的示图。
[图4]图4是示出包括由CCU 201执行医学图像的图像稳定化的图像处理的实施例的概况的流程图。
[图5]图5是示出图像处理开始时、当执行其中未获知医学图像的必要区域的图像处理时并行处理的效率显著下降的示图。
[图6]图6是示出当对处理目标图像执行包括图像稳定化的图像处理时的分配聚合的实施例的示图。
[图7]图7是示出当通过CPU 303执行分配聚合时的CCU 201的第一配置例的处理的实施例的流程图。
[图8]图8是描述CCU 201的第二配置例的框图。
[图9]图9是描述分配聚合单元312的配置例的框图。
[图10]图10是描述GPU 315i的配置例的框图。
[图11]图11是示出CCU 201的第二配置例的处理的实施例的流程图。
[图12]图12是示出CCU 201的第一配置例和CCU 201的第二配置例的处理的时刻的实施例的示图。
[图13]图13是描述当通过CCU 201的第二配置例执行处理时的数据流的第一实施例的示图。
[图14]图14是描述当通过CCU 201的第二配置例执行处理时的数据流的第二实施例的示图。
[图15]图15是描述当通过CCU 201的第二配置例执行处理时的数据流的第三实施例的示图。
[图16]图16是描述由CCU 201处理作为处理目标的目标图像的实施例的示图。
[图17]图17是描述分配聚合单元312的另一配置例的框图。
[图18]图18是描述CCU 201的第三配置例的框图。
[图19]图19是描述能够应用本技术的计算机的实施方式的配置例的框图。
具体实施方式
<应用本技术的内诊镜手术系统的实施方式>
图1是描述应用本技术的内诊镜手术系统的实施方式的配置例的示图。
在图1中，示出了其中操作人员131(医生)使用内诊镜手术系统10对病床133上的患者132进行手术的方式。如图1中描述的，内诊镜手术系统10由内诊镜100、诸如充气管111和能量治疗工具112等手术工具110、支撑内诊镜100的支撑臂设备120、以及携带用于内诊镜手术的各种设备的手推车200配置。
内诊镜100由镜筒101、连接至镜筒101的近端的摄像机头102配置，镜筒101的具有预定长度的一部分从其远端插入到患者132的内腔中。在所描述的实施例中，尽管描述了被配置成具有刚性镜筒101的所谓刚性镜子的内诊镜100，然而，内诊镜100可以另行配置成具有柔性镜筒的所谓柔性镜子。
在镜筒101的远端，设置了要安装物镜的开口。光源设备203连接至内诊镜100，以使得通过在镜筒101的内部延伸的光导将由光源设备203产生的光导向至镜筒101的远端，并且通过物镜使光照射向患者132的内腔中的观察目标。应注意，内诊镜100可以是直视镜、透视镜、或侧视镜。
在摄像机头102的内部，光学系统和图像传感器(图像拾取元件)被设置成使得来自观察目标的反射光(观察光)通过光学系统汇聚在图像传感器上。通过图像传感器对观察光进行光电转换，以生成与观察光对应的电信号，即，与观察图像对应的图像信号。将图像信号作为RAW数据发送至摄像机控制单元(CCU：摄像机控制单元)201。
应注意，通过由摄像机头102(的图像传感器)生成的图像信号，即，通过图像的拾取，能够拾取诸如4K图像或8K图像等多个像素的医学图像。
CCU 201由CPU(中央处理单元)、GPU(图形处理单元)等配置并且全面控制内诊镜100和显示设备202的操作。此外，CCU 201从摄像机头102接收图像信号(图像数据)并且执行各种图像处理，以显示与图像信号对应的医学图像，诸如图像信号的显影处理(去马赛克处理)等。
换言之，CCU 201用作处理通过内诊镜100(的摄像机头102)拾取的医学图像的医学图像处理装置。
显示设备202在CCU 201的控制下显示与图像信号对应的医学图像，通过CCU 201执行医学图像的图像处理。
光源设备203由诸如LED(发光二极管)等光源配置，并且当拾取诸如手术部位等观察目标的图像时，光源设备203将照射光提供至内诊镜100。
输入设备204是内诊镜手术系统10的输入接口。用户能够通过输入设备204执行各种各样的信息、指令、或类似输入到内诊镜手术系统10的输入。例如，用户输入指令来改变内诊镜100的图像拾取条件(照射光的类型、放大倍率、焦距等)。
治疗工具控制设备205控制能量治疗工具112的驱动，以切除血管等的组织、切口、封口。充气设备206通过充气管111将气体传送至患者132的内腔中，以使内腔充气，从而确保内诊镜100的视野并且确保操作人员(用户)的工作空间。记录仪207是能够将与手术有关的各种信息记录其中的设备。打印机208是能够通过诸如文本、图像、图形等各种形式打印与手术有关的各种各样的信息的设备。
应注意，拾取手术部位的图像时将照射光提供至内诊镜100的光源设备203能够由例如LED配置的白色光源、激光光源、或其组合配置。如果白色光源由RGB(红色、绿色、以及蓝色)激光光源的组合配置，则能够以高准确度控制每种颜色(每个波长)的输出强度和输出时刻。因此，光源设备203能够执行图像的白平衡的调整。此外，在这种情况下，通过对手术部位分时地照射来自相应RGB激光光源的激光束并且控制摄像机头102的图像传感器的驱动与激光束的照射时刻同步，可以分时地拾取与相应的R、G、以及B颜色对应的图像。如果执行如刚刚描述的图像传感器的驱动的这种控制，则即使图像传感器中未设置滤色器，也能够获得彩色图像。
此外，光源设备203的驱动可以被控制为使得在每隔预定的时间段之后改变待输出的光的强度。通过控制摄像机头102的图像传感器的驱动与光的强度的变化的各个时刻同步来分时获取图像并且对图像进行合成，从而能够产生免于所谓的暗黑和过度曝光的高动态范围的图像。
此外，光源设备203可以被配置为使得其能够提供适合于特殊光观察的预定波段的光。在特殊光观察中，通过下列操作执行所谓的窄带宽光观察(窄带成像)，例如，利用人体组织对光的吸收的波长依赖性，照射与普通观察时的照射光(即，白光)相比较而言的窄带的光，从而以高对比度拾取诸如黏膜表面层的血管等预定组织的图像。可替代地，在特殊光观察中，可以执行荧光观察，通过荧光观察从由激发光的照射产生的荧光光中获得图像。在荧光观察中，通过对人体组织照射激发光可以观察到来自人体组织的荧光(自发荧光观察)，以通过将诸如吲哚菁绿(ICG)等试剂局部注射到人体组织中并且然后对人体组织等照射与试剂的荧光光波长对应的激发光而获得荧光图像。光源设备203能够被配置为能提供适合于如上所述该特殊光观察的窄带光和/或激发光。
<CCU 201的第一配置例>
图2是描述图1中的CCU 201的第一配置例的框图。
参考图2，CCU 201基于PC架构而配置并且包括摄像机输入/输出I/F(接口)301、PCI(外围组件互连)开关302、CPU(中央处理单元(中央处理电路))303、及存储器304、以及多个(例如，三个)GPU 3051、GPU 3052、以及GPU 3053(图形处理电路)。例如，PCI开关302可以是切换控制电路中的一个电路。
摄像机输入/输出I/F 301是用于将医学图像交换至图1中的摄像机头102或显示设备202并且从图1中的摄像机头102或显示设备202交换医学图像的I/F、并且将通过内诊镜100拾取且从摄像机头102提供的医学图像(的图像数据)提供至PCI开关302、并且将从PCI开关302提供的医学图像提供至显示设备202。
PCI开关302通过总线连接至摄像机输入/输出I/F 301、CPU 303、以及GPU 3051至3053。PCI开关302根据PCI的总线标准在摄像机输入/输出I/F 301、CPU 303、以及GPU 305i之间转继医学图像或其他数据的交换。
相应地，摄像机输入/输出I/F 301、PCI开关302、CPU 303、以及GPU 3051至3053具有PCI的内置I/F作为用于连接至总线的总线I/F。
CPU 303根据预定程序控制整个CCU 201。例如，CPU 303管理存储器304(存储器电路)，以使得其将从PCI开关302提供的医学图像存储在存储器304中，并且读取医学图像并且将存储在存储器304中的医学图像提供至PCI开关302。应注意，通过CPU 303运行的程序能够被提前安装在存储器304中，能够从未描述的记录介质安装到存储器304中，能够从网点下载并且安装到存储器304等中。
存储器304在CPU 303的管理下存储医学图像和其他数据。应注意，在图2中，尽管执行从存储器304读取医学图像和将医学图像写入存储器304的操作，然而，就以较低的等待时间执行医学图像的显示的图像拾取处理而言，希望采用一种高速存储器作为存储器304。此外，能够通过DMA(直接存储器存取)来执行从存储器304读取医学图像或其他数据以及将医学图像或其他数据写入到存储器304。尽管在不涉及CPU 303的情况下，能够执行从存储器304读取数据以及将数据写入存储器304，然而，存储器304仍是由CPU 303管理的存储器。
GPU 305i(在图2中，i＝1、2、3)是对从PCI开关302提供的医学图像执行图像处理的图像处理单元的实施例、并且将经过图像处理之后的医学图像提供至PCI开关302。
此处，在图2中，尽管CCU 201中设置了三个GPU 3051至3053，然而，GPU的数目并不局限于三个。具体地，CCU 201中能够设置复数2个或4个或多个GPU。
在通过诸如上述所述等方式配置的CCU 201中，摄像机输入/输出I/F 301通过PCI开关302将从摄像机头102提供的医学图像输出至CPU 303，并且CPU 303将从摄像机输入/输出I/F 301输出的医学图像存储在存储器304中。
此外，CPU 303根据需要读取存储在存储器304中的全部或部分医学图像，并且通过PCI开关302将医学图像提供至GPU 305i。
GPU 305i对通过PCI开关302提供的医学图像执行图像处理，并且通过PCI开关302将生成的医学图像输出至CPU 303。
CPU 303将从GPU 305i输出的医学图像存储在存储器304中。
根据需要，重复将存储在存储器304中的医学图像提供至GPU 305i、通过GPU 305i对医学图像的图像处理、以及将从GPU 305i输出的经过图像处理之后的医学图像到存储器304的存储。
然后，在通过GPU 305i执行所有必要的图像处理并将经过图像处理之后的医学图像存储在存储器304中之后，CPU 303读取存储在存储器304中的医学图像并且通过PCI开关302将医学图像提供至摄像机输入/输出I/F 301。
在执行所有必要的图像处理之后，摄像机输入/输出I/F 301将从CPU 303提供的医学图像提供至显示设备202。
<由CCU 201执行的图像处理的实施例>
图3是示出图像稳定化(处理)作为由CCU 201执行医学图像的图像处理的实施例的概况的示图。
在图像稳定化中，使医学图像上出现的手术部位等的图像拾取对象(图像)发生畸变，以消除图像阴影。在图3中，由于医学图像因图像稳定化而发生畸变，医学图像上出现的图像拾取对象在顺时针方向上旋转预定的角度，并且此外，在向左方向上平行地平移预定的距离。
如果诸如医生或医师等用户在保持内诊镜100在手中的同时执行图像拾取，则由于内诊镜100发生震动的事实，通过内诊镜100拾取的医学图像变成模糊图像，并且可能在显示设备202上显示如刚刚描述的该模糊医学图像。通过图像稳定化，能够抑制医学图像上出现的图像拾取对象发生模糊并且能够显示用户易于看到的医学图像。
应注意，例如，通过仿射变换能够执行医学图像的畸变作为图像稳定化。
图4是示出包括由CCU 201执行医学图像的图像稳定化的图像处理的实施例的概况的流程图。
在步骤S11，GPU 305i对通过内诊镜100拾取的医学图像执行显影处理并且，处理进行至步骤S12。
在步骤S12，GPU 305i对经过显影处理之后的医学图像执行检测处理并且处理进行至步骤S13和S14。此处，在医学图像的检测处理中，检测医学图像的每一个或多个像素的移动量及其他特征量。通过PCI开关302将由于检测处理(检测结果)产生的移动量等从GPU305i提供至CPU 303。
在步骤S13，GPU 305i对经过检测处理之后的医学图像执行诸如降噪等图像质量提高处理。
在步骤S14，CPU 303响应于来自GPU 305i的检测结果对整个医学图像(整个屏幕图像)的移动进行评估并且响应于所评估的移动执行参数生成处理，以生成作为图像稳定化的用于对医学图像进行畸变的畸变参数。例如，在参数生成处理中，生成用于执行仿射变换作为图像稳定化的矩阵的元素作为畸变参数。CPU 303通过PCI开关302将畸变参数提供至GPU 305i。
应注意，此处，尽管通过CPU 303执行步骤S14中的参数生成处理，然而，参数生成处理并非通过CPU 303执行，而是通过GPU 305i执行。
在步骤S13和S14之后，处理进行至步骤S15，在步骤S15，GPU 305i通过根据从CPU303提供的畸变参数执行用于使经过图像质量提高处理之后的医学图像发生畸变的畸变处理而执行图像稳定化。
将经过图像稳定化之后的医学图像从摄像机输入/输出I/F 301提供至显示设备202，并且在显示设备202上显示经过图像稳定化之后的医学图像。
应注意，在步骤S14中的畸变处理之前的任意时刻，诸如，紧接着步骤S11中的显影处理之前或紧接着步骤S13中的图像质量提高处理之后，能够执行步骤S12中的检测处理。此外，在步骤S15中的畸变处理之后，能够执行步骤S13中的图像质量提高处理。
顺便提及，在图2中，因为CCU 201包括多个(即，三个)GPU 3051至3053，所以通过使用三个GPU 3051至3053的并行(分配)处理能够执行医学图像的图像处理。通过并行处理执行医学图像的图像处理，能够以较低的等待时间执行从图像拾取至医学图像的显示的处理。
例如，简言之，如果将医学图像等分成与GPU 3051至3053的数目相等的区域的数目，即，等分成在水平方向上并排的三个区域并且一个GPU 305i负责每一个区域(的图像)的图像处理，则与其中单个GPU负责未被划分的完整医学图像的图像处理的可替代情况相比较，能够将图像处理所需的时间段大致减少至三分之一。
然而，在对医学图像执行其中类似畸变(处理)的图像处理开始时未获知医学图像的必要区域(范围)的图像处理作为图像稳定化的情况下，并行处理的效率有时会大大下降。
图5是示出当进行其中未获知医学图像的必要区域的图像处理时(图像处理开始时)并行处理的效率明显下降的示图。
此处，在下列描述中，例如，作为对医学图像执行的图像处理，采用包括图像稳定化的图像处理。此外，例如，通过将医学图像的一幅图片(帧)设置为处理目标的处理目标图像来执行图像处理。此外，在下列描述中，分别将GPU 3051、GPU 3052、以及GPU 3053也称为GPU#1、GPU#2、以及GPU#3。
应注意，对医学图像执行的图像处理并不局限于包括图像稳定化的图像处理。
现在，例如，如图5中描述的，假设将作为处理目标图像的一张图片的医学图像等分成与要执行并行处理的GPU#1至GPU#3的数目相等的区域的数目，即，等分成在水平方向上并排的三个区域A1、A2、以及A3，并且将经过图像稳定化之后的处理目标图像的区域A#i设置为GPU#i的负责区域A#i，GPU#i负责该负责区域A#i的图像Q#i的输出(此处，i＝1、2、3)。
此处，如果GPU#i执行其中畸变量不是零的畸变作为图像稳定化，则图像稳定化之前的处理目标图像的负责区域A#i的图像P#i与经过图像稳定化之后的处理目标图像的负责区域A#i的图像Q#i彼此不一致。
GPU#i通过根据畸变参数使图像稳定化之前的处理目标图像发生畸变而生成经过图像稳定化之后的处理目标图像的负责区域A#i的图像Q#i，以输出负责区域A#i的图像Q#i。
当生成负责区域A#i的图像Q#i时，则在图像稳定化之前根据处理目标图像中的畸变参数变成畸变目标的目标区域是当目标区域根据畸变参数发生畸变时变成负责区域A#i的、并且在确定(生成)畸变参数之前是未知的区域。
在上述所述图4中，因为与经过显影处理和检测处理之后的图像质量提高处理并行执行畸变参数的生成，所以在最坏的情况下，在显影处理、检测处理、以及图像质量提高处理之后确定畸变参数。
相应地，在显影处理、检测处理、以及图像质量提高处理结束之前，根据畸变参数变成畸变目标的畸变参数和目标区域是未知的。
另一方面，尽管GPU#i具有内置存储器并且将图像适当地存储在内置存储器中来执行图像处理，然而，内置于GPU#1至GPU#3中的存储器彼此独立，并且不执行GPU#1、GPU#2、以及GPU#3之间的数据的(直接)交换。
因此，对于每个GPU#i，必须具有在图像稳定化之前从处理目标图像中存储在内置存储器中的、根据畸变参数变成畸变目标的目标区域的图像。
因为目标区域是在显影处理、检测处理、以及图像质量提高处理结束之前是未知的，所以每个GPU#i必须具有存储在内置存储器中的图像稳定化之前的整个处理目标图像，以使得无论图像稳定化之前的处理目标图像中的哪个区域变成目标区域，其能够对此进行处理。
因此，如图5中描述的，GPU#1至GPU#3中的每个至少必须单独并且彼此独立地负责处理目标图像的整个区域A的图像P的显影处理和图像质量提高处理(通过GPU#1至GPU#3中的一个可以执行处理目标图像的整个区域A的图像P的检测处理)。
因此，GPU#1至GPU#3i中的每个开始对同一处理目标图像执行显影处理和图像质量提高处理，并且并行处理的效率明显下降。
此外，在因为受限制等而根据畸变参数获知发生畸变的最大量的情况下，必须将图像稳定化之前的处理目标图像内的从0至已知最大量的畸变所需的区域中的图像存储在内置存储器中，并且执行显影处理和图像质量提高处理。相应地，并行处理的效率同样明显下降。
作为用于抑制当进行其中类似畸变的图像处理开始时未获知处理目标图像的必要区域的图像处理作为上述所述图像稳定化时并行处理的效率明显下降的方法，这样的方法是可用的，即，其中，执行分配聚合，其中，将处理目标图像的必要部分分配至执行并行处理的GPU#i并且对经过GPU#i的图像处理的处理目标区域(的负责区域A#i的图像)进行聚合。
<分配聚合>
图6是示出当对处理目标图像执行包括上面参考图4描述的图像稳定化的图像处理时的分配聚合的实施例的示图。
此处，为了简化下面的描述，例如，如图5中描述的，假设将处理目标图像等分成与执行并行处理的GPU#1至GPU#3的数目相等的区域的数据，即，等分成在水平方向上并排的三个区域A1、A2、以及A3，并且将经过图像稳定化之后的处理目标图像的区域A#i设置成负责区域A#i，GPU#i负责该负责区域A#i的图像Q#i的输出。
应注意，当将处理目标图像进行等分时，负责区域A1、A2、以及A3并不局限于相等大小的区域。换言之，例如，作为负责区域A1、A2、以及A3，能够采用不同大小的区域。此外，例如，作为负责区域A1、A2、以及A3，能够采用彼此部分重叠的区域。
将处理目标图像的区域A#i的图像P#i分配给负责区域A#i的GPU#i。其负责区域A#i是被分配图像的区域A#i的GPU#i执行显影处理、检测处理、以及图像质量提高处理，作为对负责区域A#i的图像P#i的第一图像处理。
此外，每个GPU#i将负责区域A#i的图像P#i的检测处理的检测结果提供至CPU303，并且CPU 303使用来自GPU#i的检测结果生成畸变参数，并且将畸变参数提供至GPU#i。
将经过GPU#i的第一图像处理之后的负责区域A#i的图像作为处理目标图像的整个区域A的图像P进行聚合，并且将经过聚合之后的整个区域A的图像P分配至GPU#i。
每个GPU#i基于来自CPU 303的畸变参数指定在第一图像处理之后进行聚合的处理目标图像的整个区域A的图像P内的负责区域A#i的图像稳定化之后生成图像Q#i所必需的区域的图像作为发生畸变的目标区域的图像。此外，每个GPU#i根据从CPU 303提供的畸变参数执行用于使目标区域的图像发生畸变的畸变处理作为第二图像处理，以确定仅针对负责区域A#i进行图像稳定化之后的图像Q#i。
将经过第二图像处理之后的GPU#i的负责区域A#i的图像Q#i作为处理目标图像的整个区域A的图像进行聚合，并且将经过聚合之后的整个区域A的图像作为经过图像稳定化之后的畸变图像从CCU 201输出至显示设备202。
如上所述，当执行分配聚合时，每个GPU#i通过将负责区域A#i的图像P#i设置为目标可以执行显影处理、检测处理、以及图像质量提高处理，作为第一图像处理，并且通过在负责区域A#i的图像稳定化之后将生成图像Q#i所必需的区域的图像作为发生畸变的目标区域的图像可以执行畸变处理作为第二图像处理。因此，能够抑制上面参考图5描述的GPU#1至GPU#3的并行处理的效率的这种明显下降。
应注意，在图2的CCU 201的第一配置例中，通过CPU 303执行上面参考图6描述的分配聚合。
<当通过CPU 303执行分配聚合时的CCU 201的处理>
图7是示出当通过CPU 303执行分配聚合时的图2中的CCU 201的第一配置例的处理的实施例的流程图。
应注意，如上面参考图2描述的，在图7中，假设执行显影处理、检测处理、以及图像质量提高处理作为第一图像处理并且执行畸变处理作为第二图像处理。
将通过内诊镜100拾取的医学图像提供至摄像机输入/输出I/F 301，并且摄像机输入/输出I/F 301将来自内诊镜100的医学图像输出至PCI开关302。
在步骤S21中，CPU 303通过PCI开关302和CPU 303将从摄像机输入/输出I/F 301输出的医学图像传输至存储器304，以存储在存储器304中，并且CPU 303将存储在存储器304中的医学图像的一张图片设置为处理目标图像。
在步骤S22中，CPU 303通过CPU 303和PCI开关302将存储在存储器304中的处理目标图像内各个GPU#i所负责的负责区域A#i的图像(P#i)从存储器304传输至GPU#i，以将负责区域A#i(的图像)分配至GPU#i。
在步骤S23中，每个GPU#i通过将负责区域A#i的图像设置为目标执行显影处理、检测处理、以及图像质量提高处理作为第一图像处理，并且将经过第一图像处理之后的负责区域A#i的图像输出至PCI开关302。此外，每个GPU#i通过PCI开关302将检测处理的检测结果提供至CPU 303。CPU 303响应于每个GPU#i的检测结果生成畸变所使用的畸变参数作为图像稳定化并且通过PCI开关302将畸变参数提供至GPU#i。
在步骤S24中，CPU 303通过PCI开关302和CPU 303将从GPU#i输出的图像、经过第一图像处理之后的负责区域A#i的图像传输至存储器304，以存储在存储器304中，由此将经过GPU#i的第一图像处理之后的负责区域A#i的图像聚合成处理目标图像的整个区域A的图像。
在步骤S25中，CPU 303通过CPU 303和PCI开关302将存储在存储器304中的图像、经过聚合之后的处理目标图像的整个区域A的图像传输至GPU#i，以将整个区域A的图像分配至GPU#i。
在步骤S26中，每个GPU#i将从CPU 303分配的处理目标图像的整个区域A的图像(P)的、变成经过畸变处理之后的负责区域A#i的图像的部分设置为发生畸变的目标区域的图像。此外，将每个GPU#i根据来自CPU 303的畸变参数执行用于使目标区域的图像发生畸变的畸变处理作为第二图像处理，以确定经过图像稳定化之后的图像Q#i，并且每个GPU#i仅将负责区域A#i的图像Q#i输出至PCI开关302。
在步骤S27中，CPU 303通过PCI开关302和CPU 303将从GPU#i输出的图像、经过负责区域A#i的图像稳定化之后的图像(Q#i)传输至存储器304，以存储在存储器304中，由此将经过GPU#i的图像稳定化之后的负责区域A#i的图像聚合成经过图像稳定化之后的处理目标图像的整个区域A的图像。
在步骤S28中，CPU 303通过CPU 303和PCI开关302将存储在存储器304中的图像、经过图像稳定化之后的处理目标图像的整个区域A的图像从存储器304传输至摄像机输入/输出I/F 301。
将被传输至摄像机输入/输出I/F 301的经过图像稳定化之后的处理目标图像从摄像机输入/输出I/F 301提供至PCI开关302。
顺便提及，在图2的CCU 201的第一配置例中，当执行分配聚合时，CPU 303将变成分配或聚合的目标的图像传输至由CPU 303管理的存储器304，以存储在存储器304中。
因此，即使提高GPU#i的处理速度，用于将成为分配或聚合的目标的图像至存储器304的传输(到存储器304的传输和来自存储器304的传输)所需的时间段至少显示为从图像拾取至医学图像显示的处理引起的等待时间。
因此，下面描述了能够以更低的等待时间执行从图像拾取至医学图像的显示的处理的CCU 201。
<CCU 201的第二配置例>
图8是描述图1中的CCU 201中的第二配置例的框图。
参考图8，CCU 201基于与图2中的情况相似的PC架构而配置并且包括摄像机输入/输出I/F 311、分配聚合单元312(切换控制电路)、CPU 313、及存储器314、以及多个(例如，三个)GPU 3151、GPU 3152、以及GPU 3153(图形处理电路)。
摄像机输入/输出I/F 311是用于与摄像机头102或图1中的显示设备202交换医学图像的，并且将由内诊镜100拾取的并且将从摄像机头102提供的医学图像(的图像数据)提供至分配聚合单元312、并且将从分配聚合单元312提供的医学图像进一步提供至显示设备202。
分配聚合单元312通过总线连接至摄像机输入/输出I/F 311、CPU 313、以及GPU3151至3153。分配聚合单元312是能够以比诸如PCI的传输速度等预定传输速度更高的速度执行数据传输的高速总线接口中的一种。例如，分配聚合单元312根据例如PCIe(PCI快速)标准在摄像机输入/输出I/F 311、CPU 313、以及GPU 315i之间转继医学图像或其他数据的交换。
相应地，摄像机输入/输出I/F 311、分配聚合单元312、CPU 313、以及GPU 3151至3153具有PCIe的内置I/F作为用于连接至总线的总线I/F。摄像机输入/输出I/F 311、CPU313、以及GPU 315i分别与图2中具有PCI的I/F作为总线I/F的摄像机输入/输出I/F 301、CPU 303、以及GPU 305i不同之处在于，其中内置PCIe的高速I/F作为总线I/F。
在图8中，因为采用上述所述在速度上比PCI更高的PCIe的总线I/F，所以能够实现通过速度提高而减少等待时间。
此外，分配聚合单元312在不涉及由CPU 313管理的存储器314(存储器电路)的情况下执行图像的分配聚合。此外，分配聚合单元312独立于CPU 313执行图像的分配聚合。具体地，分配聚合单元312对从GPU 3151至3153输出的医学图像进行聚合并且在不涉及存储器314的情况下将医学图像分配至相应的GPU 3151至3153。
此外，分配聚合单元312将从摄像机输入/输出I/F 311输出的医学图像分配至相应的GPU 3151至3153，并且在不涉及存储器314的情况下将经过聚合之后的医学图像提供至摄像机输入/输出I/F 311。
如上所述，如同图2中的情况，在图8中，CPU 313(303)不执行分配聚合，而是与CPU313不同的分配聚合单元312执行分配聚合。
CPU 313根据预定程序控制整个CCU 201。例如，CPU 313控制分配聚合单元312的分配聚合。通过CPU 313运行的程序能够被提前安装到存储器314中、能够从未描述的记录介质安装到存储器314中、能够从网点下载并且安装到存储器314等中。
存储器314在CPU 313的管理下存储所必需的数据。应注意，在图8中，不执行从存储器314到医学图像的读取和写入及从医学图像到存储器314的读取和写入。相应地，如同图2中的存储器304，就以较低的等待时间执行从图像拾取至医学图像的显示的处理的角度而言，不需要采用高速存储器作为存储器314。换言之，作为存储器314，可以采用例如在速度上比图2中的存储器304更低的存储器。
GPU 315i(在图8中，i＝1、2、3)是对从分配聚合单元312提供的医学图像执行图像处理的图像处理单元的实施例并且将经过图像处理之后的医学图像提供至分配聚合单元312。
此处，在图8中，尽管CCU 201中设置了三个GPU 3151至3153，然而，GPU的数目并不局限于三个。具体地，CCU 201中能够设置复数2个或4个或多个GPU。
在以诸如上述所述方式配置的CCU 201中，摄像机输入/输出I/F 311将从摄像机头102提供的医学图像输出至分配聚合单元312。分配聚合单元312将从摄像机输入/输出I/F 311输出的医学图像分配至GPU 315i。
GPU 315i对通过分配聚合单元312分配的医学图像执行图像处理并且将产生的医学图像输出至分配聚合单元312。
分配聚合单元312对从GPU 315i输出的医学图像进行聚合并且将经过聚合之后的图像输出至摄像机输入/输出I/F 311或将经过聚合之后的图像分配至GPU 315i。
当分配聚合单元312将经过聚合之后的图像分配至GPU 315i时，根据需要重复从GPU 315i输出的、经过图像处理之后的医学图像的分配和聚合。
然后，在通过GPU 315i执行所有必要的图像处理并且将经过图像处理之后的医学图像从GPU 315i输出至分配聚合单元312之后，分配聚合单元312对从GPU 315i输出的医学图像进行聚合并且将经过聚合之后的图像输出至摄像机输入/输出I/F 311。
摄像机输入/输出I/F 311将从分配聚合单元312输出的、经过聚合之后的医学图像提供至显示设备202。
<分配聚合单元312的配置例>
图9是描述图8中的分配聚合单元312的配置例的框图。
参考图9，分配聚合单元312包括PCIe I/F 321、聚合单元322、分配单元323、以及控制单元324、并且由例如FPGA(场可编程门阵列)配置。
PCIe I/F 321执行与摄像机输入/输出I/F 311或GPU 315i之间的医学图像或其他数据的交换。然后，PCIe I/F 321将从摄像机输入/输出I/F 311输出的医学图像提供至分配单元323并且将从聚合单元322输出的医学图像提供至摄像机输入/输出I/F 311。此外，PCIe I/F 321将从GPU 315i输出的医学图像提供至聚合单元322，并且将从分配单元323输出的医学图像提供至GPU 315i。
聚合单元322对通过PCIe I/F 321从GPU 315i提供的医学图像进行聚合并且将经过聚合之后的医学图像提供至分配单元323。此外，聚合单元322通过PCIe I/F 321将经过聚合之后的医学图像提供至摄像机输入/输出I/F 311。
分配单元323通过PCIe I/F 321将通过PCIe I/F 321从摄像机输入/输出I/F 311提供的医学图像或从聚合单元322提供的、经过聚合之后的医学图像分配至GPU 315i。
控制单元324通过在CPU 313的控制下控制由聚合单元322执行的聚合和由分配单元323执行的分配而控制医学图像的图像处理的数据流。
<GPU 315i的配置例>
图10是描述图8中的GPU 315i的配置例的框图。
参考图10，GPU 315i包括PCIe I/F 331、处理器332、以及存储器333。
PCIe I/F 331根据PCIe的标准执行从医学图像或其他数据到分配聚合单元312的交换及从分配聚合单元312到医学图像或其他数据的交换。然后，PCIe I/F 331将从分配聚合单元312输出(分配)的医学图像提供至处理器332或存储器333并且将由处理器332执行处理之后的医学图像或存储在存储器333中的医学图像输出至分配聚合单元312。
处理器332通过运行用于预定图像处理的程序而执行预定的图像处理。存储器333存储处理器332的操作所必需的数据。
<CCU 201的处理>
图11是示出图8中的CCU 201的第二配置例的处理的实施例的流程图。
具体地，图11描述了当对医学图像执行包括图像稳定化的图像处理时的图8中的CCU 201的第二配置例的处理的实施例。
此处，如上所述，针对医学图像执行的图像处理并不局限于包括图像稳定化的图像处理。
此外，在下列描述中，分别将GPU 3151、GPU 3152、以及GPU 3153称为GPU#1、GPU#2、以及GPU#3。
此外，还是在下列描述中，如上面参考图5描述的，假设将作为处理目标图像的一张图片的医学图像等分成与执行并行处理的GPU#1至GPU#3的数目相等的区域的数目，即，在水平方向上并排的三个区域A1、A2、以及A3并且将经过图像稳定化之后的处理目标图像的区域A#i设置为GPU#i的负责区域A#i，GPU#i负责该负责区域A#i的图像Q#i的输出。
应注意，如上面参考图6描述的，当将处理目标图像进行等分时，负责区域A1、A2、以及A3并不局限于相等大小的区域。换言之，例如，作为负责区域A1、A2、以及A3，能够采用不同大小的区域或彼此部分重叠的区域。
将通过内诊镜100拾取的医学图像提供至摄像机输入/输出I/F 311，并且摄像机输入/输出I/F 311将来自内诊镜100的医学图像输出至分配聚合单元312。
在步骤S41中，分配聚合单元41将从摄像机输入/输出I/F 311输出的医学图像的一张图片设置为处理目标图像。此外，分配聚合单元312将处理目标图像内的GPU#i所负责的负责区域A#i的图像(P#i)分配至GPU#i。
在步骤S42中，每个GPU#i通过设置负责区域A#i的图像而执行显影处理、检测处理、以及图像质量提高处理作为第一图像处理并且将经过第一图像处理之后的负责区域A#i的图像输出至分配聚合单元312。此外，GPU#i通过分配聚合单元312将负责区域A#i的图像的检测处理的检测结果提供至CPU 313。CPU 313响应GPU#i的检测结果生成发生畸变所使用的畸变参数作为图像稳定化并且通过分配聚合单元312将畸变参数提供至GPU#i。
在步骤S43中，分配聚合单元312将从GPU#i输出的图像、经过第一图像处理的负责区域A#i的图像聚合成处理目标图像的整个区域A的图像。此外，分配聚合单元312将经过聚合之后的处理目标图像的整个区域A的图像分配至GPU#i。
在步骤S44中，每个GPU#i将从分配聚合单元312分配的处理目标图像的整个区域A的图像(P)、变成经过畸变处理之后的负责区域A#i的图像的部分设置成发生畸变的目标区域的图像。此外，每个GPU#i根据CPU 313的畸变参数执行用于使目标区域的图像发生畸变的畸变处理作为第二图像处理，以确定仅针对负责区域A#i进行图像稳定化之后的图像Q#i，并且每个GPU#i将图像Q#i输出至分配聚合单元312。
在步骤S45中，分配聚合单元312将从GPU#i输出的图像、经过图像稳定化之后的负责区域A#i的图像(Q#i)聚合成经过图像稳定化之后的处理目标图像的整个区域A的图像。然后，分配聚合单元312将经过聚合之后的图像(即，经过图像稳定化之后的处理目标图像的整个区域A的图像)传输至摄像机输入/输出I/F 311。
将从分配聚合单元312传输至摄像机输入/输出I/F 311的经过图像稳定化之后的处理目标图像从摄像机输入/输出I/F 311提供至显示设备202。
如此，在图8的CCU 201的第二配置例中，分配聚合单元312在不涉及由CPU 313管理的存储器314的情况下执行分配聚合。因此，消除了存储器314(304)的传输时间段，并且能够以减少的等待时间执行从拾取至医学图像的显示的处理。
<处理时刻>
图12是示出图2中的CCU 201的第一配置例和图8中的CCU 201的第二配置例的处理时刻的实施例的示图。
此处，在CCU 201的第一配置例和第二配置例中，假设在预定的单位时间段内执行上面参考图7和图11的流程图描述的一个步骤。
此外，关于医学图像的帧，假设按照自设置成0的初始值起的升序应用整数作为帧数。
图12描述了图7和图11的流程图中的相应步骤与医学图像的帧数(即，在步骤中对其执行处理的处理目标图像)之间的关系。
如图12中描述的，在CCU 201的第一配置例中，对于由f(f＝0、1、2、...)表示其帧数的帧，自步骤S21中的处理开始之后至步骤S28中的处理结束的时间段是8个单位时间段。相反，在CCU 201的第二配置例中，对于由f表示其帧数的帧，自步骤S41中的处理开始之后至步骤S45中的处理结束的时间段是减少了不涉及到存储器314(304)的传输的量的5个单位时间段。
相应地，通过CCU 201的第二配置例，能够实现比CCU 201的第一配置例减少了3(＝8-5)个单位时间段的等待时间。
<数据流的控制>
图13是描述当通过图8中的CCU 201的第二配置例执行处理时的数据流的第一实施例的示图。
具体地，图13描述了当根据图11中的流程图通过CCU 201的第二配置例执行处理时的数据流。
在图13的数据流的第一实施例中，将从摄像机输入/输出I/F 311输出的处理目标图像分配至三个GPU#1至#3中的每个GPU，在GPU#1至#3的每个GPU中，对被分配的处理目标图像执行图像处理。然后，将经过图像处理之后的处理目标图像从GPU#1至#3中的每个GPU输出至分配聚合单元312。
分配聚合单元312对从GPU#1至#3输出的经过图像处理之后的处理目标图像进行聚合，并且将经过聚合之后的处理目标图像分配至GPU#1至#3中的每个GPU。GPU#1至#3对被分配的处理目标图像单独执行图像处理，并且将经过图像处理之后的处理目标图像输出至分配聚合单元312。
分配聚合单元312对从相应的GPU#1至#3输出的经过图像处理之后的处理目标图像进行聚合，并且将经过聚合之后的处理目标图像输出至摄像机输入/输出I/F 311。
在图13的数据流的第一实施例中，尽管单独执行分配和聚合两次，然而，分配和聚合的次数并不局限于两次，而是可以是一次或三次或多次。
此外，在图13的数据流的第一实施例中，在第一次分配和第二次分配中，将处理目标图像分配至三个GPU#1至#3中的全部GPU。然而，作为分配目的地的GPU，可以采用三个GPU#1至#3中的任意一个或多个GPU。此外，在第一次分配与第二次分配之间，可以改变作为分配目的地被采用的一个或多个GPU。
图14是描述当通过图8中的CCU 201的第二配置例执行处理时的数据流的第二实施例的示图。
同样，如图14中的数据流的第一实施例的情况，在图14的数据流的第二实施例中，单独执行分配和聚合两次。
然而，在图14中，在第一次分配时，分配目的地是三个GPU#1至#3之中的两个GPU#1和#2，并且在第二次分配时，分配目的地是三个GPU#1至#3。相应地，针对两个GPU#1和#2的输出执行第一次聚合，并且针对三个GPU#1至#3的输出执行第二次聚合。
图15是描述当通过图8中的CCU 201的第二配置例执行处理时的数据流的第三实施例的示图。
在图15的数据流的第三实施例中，单独执行分配和聚合三次。第一次至第三次分配中的每次单独分配的一个分配目的地是GPU#1至#3中的一个GPU，并且针对GPU#1至#3中的一个GPU单独执行第一次至第三次聚合中的每次聚合。在图15中，因为每次针对一个GPU#i的输出执行聚合，所以经过聚合之后的图像与聚合目标的一个GPU#i的输出相等，并且在聚合时，例如，聚合目标的一个GPU#i的输出变得如同聚合之后的图像。
在分配聚合单元312中(图9)，控制单元324在CPU 313的控制下控制成为通过分配单元323进行分配的分配目的地的GPU、成为通过聚合单元322进行聚合的目标的GPU(的输出)、以及通过聚合单元322进行聚合并且通过分配单元323进行分配的次数。因此，通过动态地改变由CCU 201执行的医学图像的图像处理的数据流，能够易于实现图13至图15中描述的数据流及其他数据流。
<处理目标图像>
图16是描述成为CCU 201的处理目标的处理目标图像的实施例的示图。
例如，CCU 201能够确定一张图片的整个医学图像作为图16中描述的处理目标图像。
此外，CCU 201能够确定通过例如将一张图片的医学图像垂直地划分成两个图像而获得的各个图像P11和P12作为处理目标图像。
此外，CCU 201能够确定通过例如将一张图片的医学图像垂直地划分成四个图像而获得的各个图像P21、P22、P23、以及P24作为处理目标图像。
此外，CCU 201能够确定通过将一张图片的医学图像垂直地划分成任意数目的图像而获得的各个图像作为处理目标图像。
然后，CCU 201能够将处理目标图像划分成在水平方向上并排的多个区域，数目为与GPU#1至#3的最大数目相等的三个。由此，在CCU 201中，GPU#1至#3能够通过并行处理对相应的区域执行图像处理。
<分配聚合单元312的不同配置例>
图17是描述图8中的分配聚合单元312的另一配置例的框图。
应注意，在图17中，以类似的参考标号表示与图9中的部分对应的部分，并且在下列描述中，适当地省去其描述。
图17中的分配聚合单元312包括PCIe I/F 321、聚合单元322、分配单元323、控制单元324、以及HW(硬件)信号处理单元341、并且由例如FPGA配置。
相应地，图17中的分配聚合单元312与图9中的情况的共同之处在于其包括从PCIeI/F 321至控制单元324的部件。然而，图17中的分配聚合单元312与图9中的情况的不同之处在于重新设置了HW信号处理单元341。
HW信号处理单元341对从聚合单元322输出的处理目标图像(医学图像)执行预定的信号处理并且将经过预定信号处理之后的处理目标图像输出至HW信号处理单元341。
相应地，在图17中，HW信号处理单元341执行从HW信号处理单元341输出的处理目标图像的分配。
作为由HW信号处理单元341执行的预定信号处理，能够采用任意的信号处理。例如，能够采用由GPU#i执行的图像处理的一部分作为由HW信号处理单元341执行的预定信号处理。
因为分配聚合单元312包括HW信号处理单元341，以使得HW信号处理单元341负责由CCU 201执行的信号处理的一部分，所以可以实现由CCU 201执行的图像处理的加速并且实现等待时间的进一步减少。
应注意，HW信号处理单元341能够根据需要原样输出从聚合单元322输出的处理目标图像，而无需HW信号处理单元341特别地执行信号处理。通过控制单元324能够控制HW信号处理单元341是否执行信号处理(图17)，并且通过控制单元324的控制能够控制由CCU201执行的图像处理的数据流。
此外，HW信号处理单元341能够对从分配单元323输出的处理目标图像执行信号处理并且将经过信号处理之后的处理目标图像提供至GPU#i。
<CCU 201的第三配置例>
图18是描述图1中的CCU 201的第三配置例的框图。
应注意，在图18中，以类似的参考标号表示与图8中的部分对应的部分，并且在下列描述中，适当地省去其描述。
同样，如同图8中的情况，参考图18，CCU 201基于PC架构而配置并且包括摄像机输入/输出I/F 311、分配聚合单元312、CPU 313、存储器314、GPU 3151、GPU 3152、及GPU 3153、以及多个(例如，两个)HW信号处理单元3511和3512。
相应地，图18中的CCU 201与图8中的情况的共同之处在于其包括从摄像机输入/输出I/F 311至GPU 3153的部件。然而，图18中的CCU 201与图8中的情况的不同之处在于其重新设置了HW信号处理单元3511和3512。
在图18中，分配聚合单元312根据需要将经过聚合之后的处理目标图像提供至HW信号处理单元351j。
HW信号处理单元351j(在图18中，j＝1、2)对作为从分配聚合单元312提供的处理目标图像的医学图像执行预定的信号处理并且将经过预定的信号处理之后的处理目标图像提供至分配聚合单元312。相应地，在处理目标图像进行聚合之后、但在经过聚合之后的处理目标图像进行分配之前，HW信号处理单元351j对经过聚合之后的处理目标图像执行预定的信号处理。
HW信号处理单元351j能够由排他性地用于执行例如FPGA及其他明确的信号处理的硬件配置并且能够以较高的速度执行预定的信号处理。在这种情况下，可以减少的等待时间实现通过CCU 201运行的图像处理的加速。
此处，在图18中，尽管CCU 201包括两个HW信号处理单元3511和3512，然而，HW信号处理单元351j的数目并不局限于两个。具体地，CCU 201中可以设置诸如一个、两个、或四个、或多个HW信号处理单元351j等任意数目的HW信号处理单元351j。
此外，作为由HW信号处理单元351j执行的预定信号处理，能够采用任意的信号处理。例如，能够采用由GPU#i执行的信号处理的一部分作为由HW信号处理单元351j执行的预定信号处理。
此外，分配聚合单元312能够在控制单元324的控制下将经过聚合之后的处理目标图像输出至HW信号处理单元351j或通过处理目标图像的分配输出处理目标图像的一部分(图9或图17)。
与图17中的HW信号处理单元341相似，例如，如果分配聚合单元312(图17)将经过聚合单元322的聚合之后的处理目标图像输出至HW信号处理单元351j并且确定从HW信号处理单元351j输出的经过信号处理之后的处理目标图像作为由分配单元323分配至GPU#i的目标，则在处理目标图像进行聚合之后、但在经过聚合之后的处理目标图像进行分配之前，HW信号处理单元351j对经过聚合之后的处理目标图像执行预定的信号处理。
在分配聚合单元312中，通过控制单元324能够控制处理目标图像至HW信号处理单元351j的输出(提供)(图9和图17)，并且通过控制单元324的控制能够控制由CCU 201执行的图像处理的数据流。
应注意，本技术不仅能够应用于内诊镜手术系统，而且还能够应用于处理医学图像的电子显微镜及任意设备。此外，本技术不仅能够应用于处理医学图像的设备，而且还能够应用于处理任意图像的设备。
<能够应用本技术的计算机的描述>
图19是描述能够应用本技术的计算机的实施方式的配置例的框图。
计算机具有内置其中的CPU 402，并且输入/输出接口410通过总线401连接至CPU402。
如果由用户操作输入单元407而通过输入/输出接口410对CPU 402输入指令，则CPU 402根据指令运行存储在ROM(只读存储器)403中的程序。可替代地，CPU 402将存储在硬盘405中的程序加载到RAM(随机访问存储器)404中并且运行程序。
因此，CPU 402执行预定的处理。然后，根据需要，CPU 402通过例如输入/输出接口410致使从输出单元406输出处理结果、从通信单元408发送处理结果、将处理结果记录在硬盘等中。
应注意，输入单元407由键盘、鼠标、麦克风等配置。同时，输出单元406由LCD(液晶显示器)、扬声器等配置。
此外，能够将由CPU 402运行的程序提前记录在作为内置于计算机中的记录介质的硬盘405或ROM 403中。
此外，能够将程序存储(记录)在可移除记录介质411中。能够将诸如刚刚描述的可移除记录介质411设置为封装软件。此处，例如，作为可移除记录介质411，软盘、CD-ROM(压密盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、磁盘、以及半导体存储器是可用的。
此外，除将程序从诸如上述所述可移除记录介质411安装到计算机中之外，通过通信网络或广播网络能够将程序下载到计算机中并且安装到内置于计算机的硬盘405中。具体地，例如，能够通过用于数字卫星广播的人造卫星的无线通信将程序从下载网点传输至计算机或通过诸如LAN(局域网)等网络经由有线通信将程序传输至计算机。
在图19的计算机中，摄像机输入/输出I/F 311、分配聚合单元312、及GPU 315i、以及必要的HW信号处理单元351j被设置为用作CCU 201。
此处，计算机根据程序执行的处理不一定必须根据流程图中描述的顺序按照时间顺序执行。换言之，计算机根据程序执行的处理包括并行或单独运行的处理(例如，并行处理或目标处理)。
此外，可以通过单个计算机(处理器)处理程序或由多个计算机通过分配方式处理程序。此外，可以将程序传输至远程计算机并且通过远程计算机运行程序。
此外，在本说明书中，术语“系统”用于表示多个组成元件(装置、模块(零件)等)的集合并且所有组成元件是否容纳在同一外壳中是无关紧要的。相应地，容纳在独立外壳中并且通过网络配置系统连接至彼此的多个设备、以及包括容纳在单独外壳中的多个模块的一个设备配置成系统。
可以将CPU定义为具有N1个内核和N1*M1个线程，其中，M1＝1～3，“内核”是处理电路，并且“线程”是信息的最小单位。
可以将GPU定义为具有N2个内核和N2*M2个线程，其中，M2＝100～并且N2>10*N1(即，GPU具有至少10倍以上的CPU内核)。此外，GPU可以是有效实现诸如2D、3D图形操作和/或数字视频有关功能等图形操作的专用图形处理器。GPU可以包括执行图形操作(例如，光刻机功能、多边形/3D渲染、像素阴影、纹理映射、以及顶点阴影)的专用可编程硬件。GPU可以从帧缓冲器中获取数据并且将像素混合在一起而使得图像返回至帧缓冲器中进行显示。GPU还可以控制帧缓冲器并且允许使用帧缓冲器来刷新显示。GPU可以代替耦合至GPU的CPU执行图形处理任务，以通过显示控制器将光栅图形图像输出至显示装置。尽管CPU由针对连续串行处理进行优化的少数内核构成，然而，GPU具有由针对多个任务的同时处理进行设计的数百个或更多的更小、高效的内核构成的并行架构，由此对数据的多个集合执行并行操作。
能够将FPGA定义成逻辑电路，例如，由通过诸如VHDL和Verilog HDL等IEEE标准化的硬件设计所专用的语言形成的逻辑。FPGA具有电路信息，并且通过电路信息确定关于FPGA中的输入信号的信号处理的内容。
应注意，本技术的实施方式并不局限于上述所述实施方式，并且在不背离本技术的主题的情况下，能够通过各种方式进行更改。
例如，本技术能够采用集群计算机的配置，其中，共享一种功能并且由多个设备通过网络进行协作处理。
此外，不仅能够通过一个设备运行、而且还能够通过多个设备共享并且运行参考上述所述流程图描述的相应步骤。
此外，如果一个步骤中包括多个处理，则可以通过单个设备运行或通过多个设备共享并且运行该一个步骤中包括的多个处理。
此外，此处描述的效果是示例性的并且由此不受限制，并且可能涉及其他效果。
应注意，本技术能够采用下列配置。
<1>一种医学图像处理设备，包括：
多个图像处理单元，被配置为对医学图像执行图像处理；和
分配聚合单元，被配置为对从多个图像处理单元中的每个图像处理单元输出的医学图像进行聚合并且在不涉及由CPU(中央处理单元)管理的存储器的情况下将医学图像分配至多个图像处理单元中的每个图像处理单元。
<2>根据<1>所述的医学图像处理设备，其中，
分配聚合单元将从医学图像的输入/输出I/F(接口)输出的医学图像进一步分配至多个图像处理单元中的每个图像处理单元并且将聚合之后的医学图像提供至输入/输出I/F。
<3>根据<1>或<2>所述的医学图像处理设备，进一步包括：
控制单元，被配置为控制分配聚合单元对医学图像的分配和聚合，以对医学图像的图像处理的数据流进行控制。
<4>根据<1>至<3>中任一项所述的医学图像处理设备，进一步包括：
信号处理单元，被配置为在对医学图像进行聚合之后、但对医学图像进行分配之前对医学图像执行给定的信号处理。
<5>根据<4>所述的医学图像处理设备，其中，分配聚合单元包括：
聚合单元，被配置为执行医学图像的聚合；
信号处理单元，被配置为对从聚合单元输出的医学图像执行给定的信号处理；以及
分配单元，被配置为对从信号处理单元输出的医学图像进行分配。
<6>根据<1>至<5>中任一项所述的医学图像处理设备，其中，
图像处理单元由GPU(图形处理单元)配置。
<7>根据<1>至<6>中任一项所述的医学图像处理设备，其中，
分配聚合单元由FPGA(场可编程门阵列)配置。
<8>根据<1>至<7>中任一项所述的医学图像处理设备，其中，
图像处理单元和分配聚合单元通过允许以比给定传输速度更高的速度进行数据传输的总线I/F(接口)连接至彼此。
<9>根据<8>所述的医学图像处理设备，其中，
总线I/F是PCIe(外围组件快速互连)的I/F。
<10>一种医学图像处理方法，包括：
对从执行医学图像的图像处理的多个图像处理单元中的每个图像处理单元输出的医学图像进行聚合，并且在不涉及由CPU(中央处理单元)管理的存储器的情况下，将医学图像分配至多个图像处理单元中的每个图像处理单元。
<11>一种内诊镜系统，包括：
内诊镜，被配置为拾取医学图像；和
医学图像处理设备，被配置为对医学图像进行处理；并且
医学图像处理设备包括：
多个图像处理单元，被配置为对医学图像执行图像处理；和
分配聚合单元，被配置为对从多个图像处理单元中的每个图像处理单元输出的医学图像进行聚合，并且在不涉及由CPU(中央处理单元)管理的存储器的情况下，将医学图像分配至多个图像处理单元中的每个图像处理单元。
<12>一种手术内诊镜系统，包括：
手术内诊镜，被配置为生成医学图像数据；和
图像处理设备，包括：
切换控制电路，接收由手术内诊镜生成的医学图像数据并且被配置为执行分配和聚合；
多个图形处理电路，被配置为对经由切换控制电路的分配接收的医学图像数据执行图像处理；
中央处理电路，经由切换控制电路连接至切换电路和多个图形处理电路；以及
存储器电路，由中央处理电路管理；
其中，由切换控制电路对由多个图形处理电路执行图像数据的图像处理的结果进行聚合；并且
其中，在经由中央处理电路将结果输出至存储器电路之前，结果的聚合与由中央处理电路管理的存储器电路无关。
<13>根据<12>所述的手术内诊镜系统，其中，由多个图形处理电路对图像数据执行的图像处理包括由多个图形处理电路中的至少两个图形处理电路基于切换控制电路的指令执行的不同的图像处理。
<14>根据<12>和<13>中任一项所述的手术内诊镜系统，其中，多个图形处理电路对医学图像数据执行第一图像处理和第二图像处理，
其中，在第一图像处理中，多个图形处理电路分别对医学图像数据的不同区域执行图像处理。
<15>根据<12>至<14>中任一项所述的手术内诊镜系统，其中，在第一图像处理之前，切换控制电路将医学图像数据分配至多个图形处理电路、对第一图像处理的结果进行聚合、并且将聚合数据输出至存储器电路。
<16>根据<12>至<15>中任一项所述的手术内诊镜系统，其中，第一图像处理包括由下列项构成的组中的至少一项：显影处理、检测处理、以及图像质量提高处理。
<17>根据<12>至<16>中任一项所述的手术内诊镜系统，其中，中央处理电路基于第一图像处理的结果生成畸变参数。
<18>根据<12>至<17>中任一项所述的手术内诊镜系统，其中，在第二图像处理中，多个图形处理电路基于畸变参数执行图像处理。
<19>根据<12>至<18>中任一项所述的手术内诊镜系统，其中，切换控制电路将整个区域图像作为聚合数据分配至多个图形处理电路，
多个图形处理电路基于畸变参数对完整图像的目标区域执行第二图像处理；并且
其中，通过畸变参数确定目标区域。
<20>根据<12>至<19>中任一项所述的手术内诊镜系统，其中，手术内诊镜经由相机I/O接口连接至切换控制电路。
<21>根据<12>至<20>中任一项所述的手术内诊镜系统，其中，切换控制电路是FPGA。
<22>根据<12>至<21>中任一项所述的手术内诊镜系统，其中，多个图形处理电路是GPU。
<23>根据<12>至<22>中任一项所述的手术内诊镜系统，其中，切换控制电路从存储器电路接收医学图像数据。
<24>根据<14>至<23>中任一项所述的手术内诊镜系统，其中，第二图像处理包括用于图像稳定化的仿射变换。
<25>根据<12>至<24>中任一项所述的手术内诊镜系统，其中，之后，将由切换控制电路进行聚合的、由多个图形处理电路对图像数据执行图像处理的结果重新分配至多个图形处理电路。
<26>根据<12>至<25>中任一项所述的手术内诊镜系统，其中，在对图像数据进行重新分配之后，使用从中央处理电路接收并且基于聚合之前从多个图形处理电路发送至中央处理电路的信息生成的参数执行由多个图形处理电路执行的处理。
<27>一种图像处理设备，包括：
切换控制电路，被配置为执行分配和聚合；
多个图形处理电路，被配置为对经由切换控制电路的分配接收的图像数据执行图像处理；
中央处理电路，经由切换控制电路连接至切换电路和多个图形处理电路；以及
存储器电路，由中央处理电路管理；
其中，由切换控制电路对由多个图形处理电路执行图像数据的图像处理的结果进行聚合；并且
其中，在经由中央处理电路将结果输出至存储器电路之前，执行与由中央处理电路管理的存储器电路无关的结果的聚合。
<28>根据<27>所述的图像处理设备，其中，由多个图形处理电路对图像数据执行的图像处理包括由多个图形处理电路中的至少两个图形处理电路基于切换控制电路的指令执行的不同的图像处理。
<29>根据<27>所述的图像处理设备，其中，图像数据是通过手术内诊镜或显微镜生成的医学图像数据。
<30>一种图像处理方法，包括：
使用多个图形处理电路对由手术内诊镜或显微镜生成并且经由切换控制电路的分配接收的医学图像数据执行图像处理；并且
由切换控制电路对由多个图形处理电路执行图像数据的图像处理的结果进行聚合；
其中，在经由中央处理电路将结果输出至存储器之前，执行与由中央处理电路管理的存储器无关的结果的聚合，中央处理电路经由切换控制电路连接至切换电路和多个图形处理电路。
<31>根据<30>所述的图像处理设备，其中，由多个图形处理电路对图像数据执行的图像处理包括由多个图形处理电路中的至少两个图形处理电路基于切换控制电路的指令执行的不同的图像处理。
[参考标号列表]
10 内诊镜
100 内诊镜
101 镜筒
102 摄像机头
110 手术工具
111 充气管
112 能量治疗工具
120 支撑臂设备
131 操作人员
132 患者
133 病床
200 手推车
201 CCU
202 显示设备
203 光源设备
204 输入设备
205 治疗工具控制设备
206 充气设备
207 记录仪
208 打印机
301 摄像机输入/输出I/F
302 PCI开关
303 CPU
304 存储器
3051至3053 GPU
311 摄像机输入/输出I/F
312 分配聚合单元
313 CPU
314 存储器y
3151至3153 GPU
321 PCIe I/F
322 聚合单元
323 分配单元
324 控制单元
331 PCIe I/F
332 处理器
333 存储器
341,3511,3512 HW信号处理单元
401 总线
402 CPU
403 ROM
404 RAM
405 硬盘
406输出单元
407 输入单元
408 通信单元
409 驱动
410 输入/输出接口
411 可移除记录介质。

Claims (20)

1.一种手术内诊镜系统，包括：
手术内诊镜，被配置为生成医学图像数据；和
图像处理设备，包括：
切换控制电路，接收由所述手术内诊镜生成的所述医学图像数据并且被配置为执行分配和聚合；
多个图形处理电路，被配置为对经由来自所述切换控制电路的分配所接收的所述医学图像数据执行图像处理；
中央处理电路，经由所述切换控制电路连接至切换电路和所述多个图形处理电路；以及
存储器电路，由所述中央处理电路管理；
其中，由所述切换控制电路将由所述多个图形处理电路对所述图像数据执行的图像处理的结果进行聚合；并且
其中，在经由所述中央处理电路将所述结果输出至所述存储器电路之前，所述结果的聚合与由所述中央处理电路管理的所述存储器电路无关。
2.根据权利要求1所述的手术内诊镜系统，其中，由所述多个图形处理电路对所述图像数据执行的所述图像处理包括由所述多个图形处理电路中的至少两个图形处理电路基于来自所述切换控制电路的指令执行的不同的图像处理。
3.根据权利要求2所述的手术内诊镜系统，其中，所述多个图形处理电路对所述医学图像数据执行第一图像处理和第二图像处理，
其中，在所述第一图像处理中，所述多个图形处理电路分别对所述医学图像数据的不同区域执行图像处理。
4.根据权利要求3所述的手术内诊镜系统，其中，所述切换控制电路在所述第一图像处理之前将所述医学图像数据分配至所述多个图形处理电路、对所述第一图像处理的结果进行聚合、并且将聚合数据输出至所述存储器电路。
5.根据权利要求4所述的手术内诊镜系统，其中，所述第一图像处理包括由下列项构成的组中的至少一项：显影处理、检测处理、以及图像质量提高处理。
6.根据权利要求5所述的手术内诊镜系统，其中，所述中央处理电路基于所述第一图像处理的结果生成畸变参数。
7.根据权利要求6所述的手术内诊镜系统，其中，在所述第二图像处理中，所述多个图形处理电路基于所述畸变参数执行所述图像处理。
8.根据权利要求7所述的手术内诊镜系统，其中，所述切换控制电路将完整的区域图像作为所述聚合数据分配至所述多个图形处理电路，
所述多个图形处理电路基于所述畸变参数对完整图像的目标区域执行所述第二图像处理；并且
其中，通过所述畸变参数确定所述目标区域。
9.根据权利要求1所述的手术内诊镜系统，其中，所述手术内诊镜经由相机I/O接口连接至所述切换控制电路。
10.根据权利要求1所述的手术内诊镜系统，其中，所述切换控制电路是FPGA。
11.根据权利要求1所述的手术内诊镜系统，其中，所述多个图形处理电路是GPU。
12.根据权利要求1所述的手术内诊镜系统，其中，所述切换控制电路从所述存储器电路接收所述医学图像数据。
13.根据权利要求3所述的手术内诊镜系统，其中，所述第二图像处理包括用于图像稳定化的仿射变换。
14.根据权利要求1所述的手术内诊镜系统，其中，随后将由所述切换控制电路聚合的、来自由所述多个图形处理电路对所述图像数据执行的所述图像处理的结果重新分配至所述多个图形处理电路。
15.根据权利要求14所述的手术内诊镜系统，其中，在所述图像数据的所述重新分配之后，使用从所述中央处理电路接收的并基于所述聚合之前从所述多个图形处理电路发送至所述中央处理电路的信息生成的参数来执行由所述多个图形处理电路执行的处理。
16.一种图像处理设备，包括：
切换控制电路，被配置为执行分配和聚合；
多个图形处理电路，被配置为对经由来自所述切换控制电路的分配所接收的图像数据执行图像处理；
中央处理电路，经由所述切换控制电路连接至切换电路和所述多个图形处理电路；以及
存储器电路，由所述中央处理电路管理；
其中，由所述切换控制电路将由所述多个图形处理电路对所述图像数据执行的所述图像处理的结果进行聚合；并且
其中，在经由所述中央处理电路将所述结果输出至所述存储器电路之前，所述结果的聚合与由所述中央处理电路管理的所述存储器电路无关。
17.根据权利要求16所述的图像处理设备，其中，由所述多个图形处理电路对所述图像数据执行的所述图像处理包括由所述多个图形处理电路中的至少两个图形处理电路基于来自所述切换控制电路的指令执行的不同的图像处理。
18.根据权利要求16所述的图像处理设备，其中，所述图像数据是由手术内诊镜或显微镜生成的医学图像数据。
19.一种图像处理方法，包括：
使用多个图形处理电路对由手术内诊镜或显微镜生成的且经由切换控制电路的分配接收的医学图像数据执行图像处理；并且
通过所述切换控制电路将由所述多个图形处理电路对所述图像数据执行的所述图像处理的结果进行聚合；
其中，在经由中央处理电路将所述结果输出至存储器之前，在与由所述中央处理电路管理的所述存储器无关的情况下执行所述结果的聚合，所述中央处理电路经由所述切换控制电路连接至切换电路和所述多个图形处理电路。
20.根据权利要求19所述的图像处理设备，其中，由所述多个图形处理电路对所述图像数据执行的所述图像处理包括由所述多个图形处理电路中的至少两个图形处理电路基于来自所述切换控制电路的指令执行的不同的图像处理。
CN201880027822.5A 2017-05-01 2018-04-17 医学图像处理设备、医学图像处理方法以及内诊镜系统 Active CN110573054B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-091329 2017-05-01
JP2017091329A JP7013677B2 (ja) 2017-05-01 2017-05-01 医用画像処理装置、医用画像処理装置の作動方法、及び、内視鏡システム
PCT/JP2018/015811 WO2018203473A1 (en) 2017-05-01 2018-04-17 Medical image processing apparatus, medical image processing method and endoscope system

Publications (2)

Publication Number Publication Date
CN110573054A true CN110573054A (zh) 2019-12-13
CN110573054B CN110573054B (zh) 2022-06-10

Family

ID=62116522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880027822.5A Active CN110573054B (zh) 2017-05-01 2018-04-17 医学图像处理设备、医学图像处理方法以及内诊镜系统

Country Status (5)

Country Link
US (1) US20210106206A1 (zh)
EP (1) EP3618685B1 (zh)
JP (1) JP7013677B2 (zh)
CN (1) CN110573054B (zh)
WO (1) WO2018203473A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10868950B2 (en) * 2018-12-12 2020-12-15 Karl Storz Imaging, Inc. Systems and methods for operating video medical scopes using a virtual camera control unit
CN114269222A (zh) * 2019-08-28 2022-04-01 索尼奥林巴斯医疗解决方案公司 医疗图像处理设备和医疗观察系统
WO2021150921A1 (en) 2020-01-22 2021-07-29 Photonic Medical Inc Open view, multi-modal, calibrated digital loupe with depth sensing
CN112995515B (zh) * 2021-03-05 2023-04-07 浙江大华技术股份有限公司 数据处理方法及装置、存储介质、电子装置
US20230101254A1 (en) * 2021-09-30 2023-03-30 Hyperreal Digital Inc. Creation and use of digital humans
CN117593437A (zh) * 2024-01-18 2024-02-23 华伦医疗用品(深圳)有限公司 基于gpu的内窥镜实时图像处理方法及系统

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1153526A (ja) * 1997-08-08 1999-02-26 Fujitsu Ltd 画像処理装置
US20010005449A1 (en) * 1999-12-27 2001-06-28 Eiki Obara Multichannel image compression device and its method
US20050041031A1 (en) * 2003-08-18 2005-02-24 Nvidia Corporation Adaptive load balancing in a multi-processor graphics processing system
TW200713118A (en) * 2005-09-27 2007-04-01 Aten Int Co Ltd Digital image data process apparatus
EP1769728A2 (en) * 2005-09-29 2007-04-04 Fujinon Corporation Electronic endoscope system
US20110141261A1 (en) * 2009-12-16 2011-06-16 Sony Corporation Image processing system, image processing apparatus, image pickup apparatus, method, and computer-readable medium
US20120002033A1 (en) * 2010-07-01 2012-01-05 Sony Corporation Microscope control device, image management server, image processing method, program, and image management system
US20120177119A1 (en) * 2011-01-07 2012-07-12 Sony Corporation Faster motion estimation in an avc software encoder using general purpose graphic process units (gpgpu)
US20130250091A1 (en) * 2012-03-23 2013-09-26 Canon Kabushiki Kaisha Image processing apparatus, image processing system, image processing method, and program
US20130258358A1 (en) * 2012-03-29 2013-10-03 Canon Kabushiki Kaisha Gpu-based rip architecture
CN103561629A (zh) * 2011-05-27 2014-02-05 奥林巴斯株式会社 内窥镜装置
CN104203073A (zh) * 2012-10-18 2014-12-10 奥林巴斯医疗株式会社 图像处理装置和图像处理方法
WO2015151447A1 (en) * 2014-03-31 2015-10-08 Sony Corporation Surgical control device, control method, and imaging control system
WO2015163171A1 (ja) * 2014-04-24 2015-10-29 ソニー株式会社 画像処理装置および方法、並びに手術システム
US20160125565A1 (en) * 2014-11-04 2016-05-05 Kabushiki Kaisha Toshiba Asynchronous method and apparatus to support real-time processing and data movement
US20160307339A1 (en) * 2015-04-15 2016-10-20 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer readable storage medium
US20160358299A1 (en) * 2015-06-02 2016-12-08 Robert M. Toth Apparatus and method using subdivided swapchains for improved virtual reality implementations
WO2016203727A1 (en) * 2015-06-19 2016-12-22 Sony Corporation Medical image processing apparatus, medical image processing method, and medical observation system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2014280960A1 (en) * 2014-12-24 2016-07-14 Canon Kabushiki Kaisha Method, apparatus and system for rendering an image
JP2017034587A (ja) * 2015-08-05 2017-02-09 ソニー株式会社 信号処理装置および信号処理方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1153526A (ja) * 1997-08-08 1999-02-26 Fujitsu Ltd 画像処理装置
US20010005449A1 (en) * 1999-12-27 2001-06-28 Eiki Obara Multichannel image compression device and its method
US20050041031A1 (en) * 2003-08-18 2005-02-24 Nvidia Corporation Adaptive load balancing in a multi-processor graphics processing system
JP2007503059A (ja) * 2003-08-18 2007-02-15 エヌビディア・コーポレーション マルチプロセッサ・グラフィックス処理システムの適応型負荷分散
TW200713118A (en) * 2005-09-27 2007-04-01 Aten Int Co Ltd Digital image data process apparatus
EP1769728A2 (en) * 2005-09-29 2007-04-04 Fujinon Corporation Electronic endoscope system
US20110141261A1 (en) * 2009-12-16 2011-06-16 Sony Corporation Image processing system, image processing apparatus, image pickup apparatus, method, and computer-readable medium
US20120002033A1 (en) * 2010-07-01 2012-01-05 Sony Corporation Microscope control device, image management server, image processing method, program, and image management system
US20120177119A1 (en) * 2011-01-07 2012-07-12 Sony Corporation Faster motion estimation in an avc software encoder using general purpose graphic process units (gpgpu)
CN103561629A (zh) * 2011-05-27 2014-02-05 奥林巴斯株式会社 内窥镜装置
US20130250091A1 (en) * 2012-03-23 2013-09-26 Canon Kabushiki Kaisha Image processing apparatus, image processing system, image processing method, and program
US20130258358A1 (en) * 2012-03-29 2013-10-03 Canon Kabushiki Kaisha Gpu-based rip architecture
CN104203073A (zh) * 2012-10-18 2014-12-10 奥林巴斯医疗株式会社 图像处理装置和图像处理方法
WO2015151447A1 (en) * 2014-03-31 2015-10-08 Sony Corporation Surgical control device, control method, and imaging control system
WO2015163171A1 (ja) * 2014-04-24 2015-10-29 ソニー株式会社 画像処理装置および方法、並びに手術システム
CN106233719A (zh) * 2014-04-24 2016-12-14 索尼公司 图像处理设备和方法以及外科手术系统
US20160125565A1 (en) * 2014-11-04 2016-05-05 Kabushiki Kaisha Toshiba Asynchronous method and apparatus to support real-time processing and data movement
US20160307339A1 (en) * 2015-04-15 2016-10-20 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer readable storage medium
US20160358299A1 (en) * 2015-06-02 2016-12-08 Robert M. Toth Apparatus and method using subdivided swapchains for improved virtual reality implementations
WO2016203727A1 (en) * 2015-06-19 2016-12-22 Sony Corporation Medical image processing apparatus, medical image processing method, and medical observation system

Also Published As

Publication number Publication date
WO2018203473A1 (en) 2018-11-08
EP3618685B1 (en) 2021-06-16
US20210106206A1 (en) 2021-04-15
JP2018187032A (ja) 2018-11-29
EP3618685A1 (en) 2020-03-11
JP7013677B2 (ja) 2022-02-01
CN110573054B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN110573054B (zh) 医学图像处理设备、医学图像处理方法以及内诊镜系统
US10791308B2 (en) Endoscopic image enhancement using contrast limited adaptive histogram equalization (CLAHE) implemented in a processor
JP2022009679A (ja) 非白色光の一般的な照明装置を含む手術システム
JP6284937B2 (ja) 光が不十分な環境におけるＹＣｂＣｒパルス照明システム
US10799087B2 (en) Endoscope system, operation method for endoscope system, and program for balancing conflicting effects in endoscopic imaging
EP3571662B1 (en) Video signal processing apparatus, video signal processing method, and program for dynamic range compression
US11302439B2 (en) Medical image processing apparatus, medical image processing method, and computing device
US20190269299A1 (en) Endoscope image processing devices
US11510549B2 (en) Medical image processing apparatus and medical observation system
JP2021531883A (ja) 手術室における分散型画像処理システム
US20180144453A1 (en) Medical signal processing apparatus and medical observation system
JP7066454B2 (ja) 医療用観察装置
US10901199B2 (en) Endoscope system having variable focal length lens that switches between two or more values
JP7140113B2 (ja) 内視鏡
CN108881877B (zh) 显示处理装置及其显示处理方法以及显示装置
US20200129044A1 (en) Medical observation apparatus and medical observation system
JP2010051372A (ja) 内視鏡のプロセッサ装置及び内視鏡画像のマスク処理方法
JP2020141853A (ja) 画像処理装置、画像処理方法およびプログラム
US11615514B2 (en) Medical image processing apparatus and medical observation system
US20220287551A1 (en) Medical image processing apparatus and medical observation system
US10918269B2 (en) Medical light source apparatus and medical observation system
JP7235532B2 (ja) 医療用画像処理装置、画像処理方法およびプログラム
WO2019244246A1 (ja) 撮像装置、内視鏡装置及び撮像装置の作動方法
Alexander Using Xilinx FPGAs to Solve Endoscope System Architecture Challenges

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant