CN108292427A - 手术控制设备、手术控制方法、程序和手术系统 - Google Patents

手术控制设备、手术控制方法、程序和手术系统 Download PDF

Info

Publication number
CN108292427A
CN108292427A CN201680069348.3A CN201680069348A CN108292427A CN 108292427 A CN108292427 A CN 108292427A CN 201680069348 A CN201680069348 A CN 201680069348A CN 108292427 A CN108292427 A CN 108292427A
Authority
CN
China
Prior art keywords
image
medical
images
circuit
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680069348.3A
Other languages
English (en)
Inventor
高桥健治
深沢健太郎
白木寿
白木寿一
山根真人
上森丈士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108292427A publication Critical patent/CN108292427A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/015Control of fluid supply or evacuation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

一种医疗系统包括医疗成像装置和电路,该电路从医疗成像装置获得多个第一图像,每个第一图像具有不同的相位,将多个第一图像中的每一个组合多次以生成多个第二图像,其中,在组合多个第一图像多次中的每一次中,在组合中使用不同的候选处理,并且从多个第二图像中选择一个图像作为用于显示的输出图像,所选择的一个图像比多个第一图像中的任一个质量更高。

Description

手术控制设备、手术控制方法、程序和手术系统
技术领域
本发明涉及一种手术控制设备、一种手术控制方法、一种程序以及一种手术系统,尤其涉及一种手术控制设备、一种手术控制方法、一种程序以及一种手术系统,其可以充分提高由像素移位生成的高分辨率图像的质量。
<相关申请的交叉引用>
本申请要求于2015年12月1日提交的日本优先权专利申请JP2015-234744的权益,其全部内容通过引用结合于此。
背景技术
近来,在医疗现场,过去进行用内窥镜拍摄手术视野的图像的同时进行手术的内窥镜手术,而不是进行剖腹手术。
另一方面,构想了执行返回处理,其中,通过使用拍摄具有不同相位的多个图像的这种像素移位技术,来生成高分辨率图像。然而,由于随时间变化,图像的相位可能会偏离理想值。在这种情况下,要生成的高分辨率图像的质量可能恶化。
有鉴于此,构想了通过检测相位与理想值的偏离量并且在考虑检测到的偏离量的同时生成高分辨率图像来提高高分辨率图像的质量(例如,参见专利文献1和2)。
引文列表
专利文献
PTL 1:国际公开WO 2006/064751
PTL 2:日本专利申请公开第2013-88676号
发明内容
技术问题
然而,在专利文献1和2中,在移位的理想值的偏离量的检测精度较低的情况下,高分辨率图像的质量没有充分提高。
鉴于如上所述的情况,已经构成了本公开,并且使得可以充分提高由像素移位生成的高分辨率图像的质量。
解决问题的方法
根据本公开的实施方式,提供了一种医疗系统,包括:医疗成像装置;以及电路,该电路被配置成:从医疗成像装置获得多个第一图像,每个第一图像具有不同的相位,将所述多个第一图像中的每一个组合多次,以生成多个第二图像,其中,在组合多个第一图像多次中的每一次中,在组合中使用不同的候选处理,并且从所述多个第二图像中选择一个图像,作为用于显示的输出图像,其中,所选择的一个图像比所述多个第一图像中的任一个质量更高。
根据本公开的实施方式,提供了一种医疗图像处理设备,包括:电路,其从医疗成像装置获得多个第一图像,每个第一图像具有不同的相位,将所述多个第一图像中的每一个组合多次,以生成多个第二图像,其中,在组合多个第一图像多次中的每一次中,在组合中使用不同的候选处理,并且从所述多个第二图像中选择一个图像,作为用于显示的输出图像,其中,所选择的一个图像比所述多个第一图像中的任一个质量更高。
根据本公开的实施方式,提供了一种医疗系统,包括:医疗成像装置;以及电路,其从医疗成像装置获得与多个第一图像相关联的数据,每个第一图像具有不同的相位,处理与所述多个第一图像中的每一个相关联的数据多次,以生成多个第二图像,其中,在处理与所述多个第一图像相关联的数据多次中的每一次中,在处理中使用不同的候选处理,并且从所述多个第二图像中选择一个图像,作为用于显示的输出图像,其中,所选择的一个图像比所述多个第一图像中的任一个质量更高。
根据本公开的实施方式,提供了一种医疗图像处理方法,包括:从医疗成像装置获得多个第一图像,每个第一图像具有不同的相位,将所述多个第一图像中的每一个组合多次,以生成多个第二图像,其中,在组合多个第一图像多次中的每一次中,在组合中使用不同的候选处理,并且从所述多个第二图像中选择一个图像,作为用于显示的输出图像,其中,所选择的一个图像比所述多个第一图像中的任一个质量更高。
本发明的有益效果
根据本公开的至少一个实施方式,通过对手术图像拾取设备拍摄的具有不同相位的多个图像执行多种处理,获得分辨率高于多个图像的多个高分辨率图像,并且基于所生成的多个高分辨率图像,来选择多种处理中的一个。
根据本公开的至少一个实施方式,可以执行图像处理。此外,根据本公开的第一和第二实施方式,可以充分提高由像素移位生成的高分辨率图像的质量。
应该注意的是,在本文公开的效果不一定是有限的,并且可以获得在本公开中描述的任何效果。
附图说明
[图1]图1是示出应用本公开的内窥镜手术系统的第一实施方式的配置示例的示图;
[图2]图2是示出优化系统的构成例的示图;
[图3]图3是示出图表的图案的示例的示图;
[图4]图4是示出图表的图案的示例的示图;
[图5]图5是示出图表的图案的示例的示图;
[图6]图6是示出CCU的硬件的配置示例的框图;
[图7]图7是示出返回控制处理单元的功能配置的示例的框图;
[图8]图8是用于说明红色图像拾取表面、绿色图像拾取表面和蓝色图像拾取表面的相位的示图;
[图9]图9是用于说明高分辨率图像的红色分量的返回处理的示图;
[图10]图10是用于说明最佳返回处理选择的示图;
[图11]图11是用于说明返回控制处理的流程图;
[图12]图12是用于说明第二实施方式中的红色图像拾取表面、绿色图像拾取表面和蓝色图像拾取表面的相位的示图;
[图13]图13是用于说明第三实施方式中的像素移位的示图。
具体实施方式
在下文中,将描述用于执行本公开的模式(在下文中,称为实施方式)。应该注意的是,将按照以下顺序进行描述。
1、第一实施方式:内窥镜手术系统(图1至图11)
2、第二实施方式:内窥镜手术系统(图12)
3、第三实施方式:内窥镜手术系统(图13)
<第一实施方式>
(内窥镜手术系统的第一实施方式的配置示例)
内窥镜手术系统10设置有手推车18,在手推车上安装有显示设备11、相机控制单元(CCU)12、光源设备13、治疗仪设备14、气腹设备15、记录器16以及打印机17。此外,内窥镜手术系统10具有内窥镜(腹腔镜)19、能量治疗仪20、提取器21、套管针22至25、脚踏开关26以及病床27。例如,内窥镜手术系统10布置在手术室内,并且辅助操作者对躺在病床27上的患者的腹部31中包含的患部进行内窥镜手术。
具体地,内窥镜手术系统10的显示设备11由安装型2D显示器、头戴式显示器等配置。显示设备11显示从CCU 12提供的图像等。
CCU 12经由相机线缆与内窥镜19连接。应该注意的是,CCU 12可以与内窥镜19无线连接。CCU 12基于从脚踏开关26提供的操作信号执行各种处理。
此外,CCU 12经由相机线缆接收由于内窥镜19的像素移位而获得的具有不同相位的三个HD(高清晰度)图像。CCU 12具有操作按钮(未示出)。在内窥镜手术系统10中使用CCU12的情况下,操作者等操作由CCU12保持的操作按钮(未示出),并将CCU 12的操作模式设置为正常模式。
在操作模式是正常模式的情况下,CCU 12通过预定的返回处理利用所接收的HD图像来生成4k分辨率图像。然后,CCU 12将所生成的4k分辨率图像(在下文中称为高分辨率图像)提供给显示设备11。该4k分辨率是指大约4000(例如,3860或4096)的水平分辨率。当需要时,CCU 12将高分辨率图像提供给记录器16或打印机17。
光源设备13经由光导线缆与内窥镜19连接。光源设备13将各种波长的光切换并发射到内窥镜19。
治疗仪设备14是高频输出设备,并且经由线缆与能量治疗仪20和脚踏开关26连接。治疗仪设备14根据从脚踏开关26提供的操作信号,向能量治疗仪20输出高频电流。
气腹设备15设置有送气机构和吸气机构,并且通过作为附接到腹部31的腹壁的开口仪器的套管针24的孔,将空气发送到腹部31的内部或从腹部31的内部吸入空气。
记录器16记录从CCU 12提供的图像。打印机17打印从CCU提供的图像。
内窥镜19(手术图像拾取设备)由图像拾取单元和光学系统(例如,照明透镜)构成。内窥镜19插入到腹部31的内部,以从附接到腹部31的腹壁的套管针22的孔中进行手术。内窥镜19的照明透镜将从光源设备13发射的光应用于腹部31的内部。
图像拾取单元是具有相对红光、绿光和蓝光有灵敏度的三个图像拾取表面的三板型图像拾取单元。应该注意的是,在下文中,对红光、绿光和蓝光具有灵敏度的图像拾取表面分别被称为红色图像拾取表面、绿色图像拾取表面和蓝色图像拾取表面。绿色图像拾取表面的相位与红色图像拾取表面和蓝色图像拾取表面的相位不同。
图像拾取单元同时对绿色图像拾取表面、红色图像拾取表面和蓝色图像拾取表面进行图像拍摄,结果,执行像素移位。因此,图像拾取单元获得腹部31内部的绿色HD图像以及其的具有与之不同的相位的红色和蓝色HD图像。内窥镜19经由相机线缆将由此获得的三个HD图像提供给CCU 12。
能量治疗仪20由电手术刀等配置成。能量治疗仪20从附接到腹部31的腹壁的套管针23的孔插入到腹部31的内部。能量治疗仪20利用从治疗仪设备14提供的高频电流中生成的电热,使腹部31的内部改变性质或进行切割。
提取器21从附接到腹部31的腹壁的套管针25的孔插入到腹部31的内部。提取器21保持腹部31的内部。内窥镜19、能量治疗仪20以及提取器21由操作者、助手、内窥镜操作人员、机器人等保持。
脚踏开关26通过操作者、助手等的脚接收操作。脚踏开关26将表示接收到的操作的操作信号提供给CCU 12或者治疗仪设备14。
通过使用如上所述配置的内窥镜手术系统10,操作者可以切除腹部31中的患部,而不进行腹壁被切开以打开腹腔的这种剖腹手术。
在如上所述的内窥镜手术系统10中,由于随着时间的变化、在灭菌处理时的热量等,在一些情况下由像素移位获得的图像的相位可能偏离理想值。在这种情况下,通过在相位是理想值的情况下最佳的返回处理,可能无法生成具有高质量的高分辨率图像。因此,操作者等必须定期优化返回处理。
(优化系统的配置示例)
图2是示出用于在图1所示的CCU 12中优化返回处理的优化系统的配置示例的示图。
图2所示的优化系统40(手术系统)由CCU 12、内窥镜19、夹具41和图表42构成。
当执行返回处理的优化时,操作者等将保持图表42的夹具41附接到与CCU 12连接的内窥镜19。然后,操作者等操作CCU 12的操作按钮(未示出),从而将操作模式设置为优化模式。
夹具41固定内窥镜19和图表42之间的位置关系。
内窥镜19以图表42为对象进行像素移位。具体地,来自图表42的光穿过内窥镜19的光学系统的透镜51,被棱镜52分离成红色分量、绿色分量和蓝色分量。在图像拾取单元的红色图像拾取表面53上收集分离的红色分量,并且红色图像拾取表面53获得红色的HD图像(在下文中,称为红色图像)。类似地,在绿色图像拾取表面54上收集绿色分量,并且绿色图像拾取表面54获得具有与红色图像不同的相位的绿色HD图像(在下文中,称为绿色图像)。此外,在蓝色图像拾取表面55上收集蓝色分量,并且蓝色图像拾取表面55获得具有与红色图像相同的相位的蓝色HD图像(在下文中,称为蓝色图像)。内窥镜19经由相机线缆等将红色图像、绿色图像和蓝色图像传输到CCU 12。
在操作模式是优化模式的情况下,CCU 12使用从内窥镜19传输的红色图像、绿色图像和蓝色图像,以通过多种返回处理来生成高分辨率图像。基于由多种返回处理生成的高分辨率图像和作为图表42的理想高分辨率图像的参考图像,CCU 12从多种返回处理中选择一个,作为最佳返回处理。在正常模式下执行所选择的最佳返回处理。
(图表的设计实例)
图3至图5是示出图表42的图案的示例的示图。
图表42的图案可以是如图3所示的晶格线61,或者可以是如图4所示以不同间隔布置的垂直线62。另外,如图5所示,图表42的图案可以是垂直线72和水平线73,垂直线72以比红色图像拾取表面、绿色图像拾取表面和蓝色图像拾取表面的至少一个像素的尺寸71的水平长度更长的间隔设置,水平线73以比其垂直长度更长的间隔设置。
在图表42的图案如图5所示的情况下,夹具41以使得红色图像拾取表面53的4×4像素的图像拾取区域81包括图表42上的垂直线72和水平线73的边界的方式来固定图表42和内窥镜19。
应该注意的是,图表42的图案不限于图3到图5所示的图案,并且可以是任何图案,只要由CCU 12生成的高分辨率图像受到与红色图像、绿色图像和蓝色图像的相位的理想值的偏离量的影响。另外,操作者等可以使夹具41按顺序保持多个图表42。
(CCU的硬件的配置示例)
图6是示出CCU 12的硬件的配置示例的框图。
在CCU 12中,中央处理单元(CPU)201、只读存储器(ROM)202和随机存取存储器(RAM)203经由总线204彼此连接。
输入和输出接口205还连接到总线204。输入单元206、输出单元207、存储单元208、通信单元209和驱动器210连接到输入和输出接口205。
输入单元206包括操作按钮、键盘、鼠标、麦克风等。输出单元207包括显示器、扬声器等。存储单元208包括硬盘、非易失性存储器等。通信单元209包括网络接口等。通信单元209与显示设备11、内窥镜19、记录器16、打印机17和脚踏开关26进行通信。驱动器210驱动可移除介质211,诸如磁盘、光盘、磁光盘和半导体存储器。
在如上所述配置的CCU 12中,例如,CPU 201通过输入和输出接口205和总线204将存储在存储单元208中的程序加载到RAM 203中并执行该程序,结果,执行返回控制处理等。返回控制处理是指根据操作模式执行返回处理的优化或执行返回处理的处理。
例如,由CCU 12(CPU 201)执行的程序可以作为封装介质等记录在可移除介质211中并且被提供。此外,可以经由诸如局域网、互联网和数字卫星广播的有线或无线传输介质来提供程序。
在CCU 12中,通过经由输入和输出接口205将可移除介质211加载到驱动器210,程序可以被安装到存储单元208中。此外,经由有线或无线传输介质,程序可以由通信单元209接收并且安装到存储单元208中。另外,程序可以预先安装到ROM 202或存储单元208中。
应该注意的是,由CCU 12执行的程序可以是按照本说明书中的描述顺序以时间序列为基础执行处理的程序,或者可以是并行地或者在必要时(例如,当调用时)执行处理的程序。
(CCU的功能配置示例)
图7是示出执行由图6所示的CCU 12实现的返回控制处理的返回控制处理单元的功能配置示例的框图。
图7所示的返回控制处理单元230由设置单元231、接收单元232、生成单元233、选择单元234、保持单元235、警告单元236以及传输单元237构成。设置单元231、生成单元233和选择单元234例如由图6所示的CPU 201实现,并且接收单元232和传输单元237例如由通信单元实现。此外,保持单元235例如由存储单元208实现,并且警告单元236例如由输出单元207实现。
返回控制处理单元230的设置单元231根据由操作者等进行的输入单元206的操作将操作模式设置为正常模式或优化模式。具体地,在内窥镜手术系统10中使用CCU 12时,操作者等操作输入单元206,以给出设置为正常模式的指示,并且设置单元231根据该指示将操作模式设置为正常模式。
另一方面,当在优化系统40中使用CCU 12时,操作者等操作输入单元206,以给出设置为优化模式的指示,并且设置单元231根据该指示将操作模式设置为优化模式。设置单元231将设置的操作模式提供给生成单元233。
接收单元232接收从内窥镜19传输的红色图像、绿色图像和蓝色图像,并将图像提供给生成单元233。
在从设置单元231提供的操作模式是正常模式的情况下,生成单元233读取处理指定信息,以指定来自保持单元235的返回处理。然后,生成单元233通过基于所读取的处理指定信息而指定的返回处理,通过使用从接收单元232提供的红色图像、绿色图像和蓝色图像而生成高分辨率图像。生成单元233将生成的高分辨率图像提供给传输单元237。
另一方面,在从设置单元231提供的操作模式是优化模式的情况下,生成单元233通过作为返回处理的候选的多种返回处理,通过使用从接收单元232提供的红色图像、绿色图像和蓝色图像而生成高分辨率图像。返回处理候选例如是在与红色图像、绿色图像和蓝色图像的相位的理想值的偏离量是预定值的情况下的最佳的返回处理。生成单元233将多个生成的高分辨率图像与在生成高分辨率图像时的返回处理候选的处理指定信息相关联,并将与该信息相关联的图像提供给选择单元234。
选择单元234从保持单元235读取参考图像。选择单元234获得从生成单元233提供的多个高分辨率图像中的每一个与参考图像之间的差值。选择单元234从返回处理候选中选择对应于与参考图像具有最小差值的高分辨率图像的返回处理候选,作为最佳返回处理。选择单元234将最佳返回处理的处理指定信息提供给保持单元235。
此外,选择单元234识别与对应于最佳返回处理的红色图像、绿色图像和蓝色图像的相位的理想值的偏离量。在识别的偏离量超过阈值的情况下,选择单元234确定需要更换内窥镜19,并且指示警告单元236发出警告。
保持单元235保持从选择单元234提供的处理指定信息。此外,保持单元235保持参考图像。基于来自选择单元234的指示,警告单元236输出催促更换内窥镜19的警告。具体地,警告单元236例如根据来自选择单元234的指示,控制输出单元207的显示器(显示单元),并且使催促更换内窥镜19的警告屏幕显示在显示器上。应该注意的是,输出警告的方法不限于显示警告屏幕,并且可以是点亮输出单元207的警告灯,从输出单元207的扬声器输出警告声音等,诸如此类。
传输单元237将从设置单元231提供的高分辨率图像传输到显示设备11。此外,传输单元237在需要时将高分辨率图像传输到记录器16或打印机17。
(关于内窥镜的图像拾取表面的相位的描述)
图8是用于说明内窥镜19的红色图像拾取表面53、绿色图像拾取表面54以及蓝色图像拾取表面55的相位的示图。
如图8A所示,内窥镜19的图像拾取单元具有红色图像拾取表面53、绿色图像拾取表面54和蓝色图像拾取表面55。
此外,如图8B所示,绿色图像拾取表面54的相位和红色图像拾取表面53的相位在水平和垂直方向上彼此偏离1/2个像素。红色图像拾取表面53的相位和蓝色图像拾取表面55的相位彼此一致。因此,从HD红色、绿色和蓝色图像中,可以生成4k高分辨率图像,在4k高分辨率图像的水平和垂直方向的每个方向上的分辨率是HD的两倍。
(关于高分辨率图像的红色分量的返回处理的描述)
图9是用于说明高分辨率图像的红色分量的返回处理的示图。
在图9中,没有阴影的实线圆圈表示与高分辨率图像中的红色图像(蓝色图像)的像素位于相同位置的像素,并且带阴影的实线圆圈表示与绿色图像的像素位于相同位置的像素。此外,虚线圆圈表示其位置与高分辨率图像中的红色图像、绿色图像和蓝色图像的像素不同的像素(以下称为新像素)。
例如,可以基于像素与红色分量R'的像素之间的位置关系,使用在像素周围的红色图像的像素,从以下表达式(1)中获得在高分辨率图像中与绿色图像的像素位于相同位置的像素的红色分量R'。
R'=((R11*α+R22*(1-α))+(R12*β+R21*(1-β)))/2...(1)
表达式(1)中的R11、R12、R21和R22分别是对应于红色分量R'的像素的左上、右上、右下和左下红色图像像素。α和β是根据与红色图像、绿色图像和蓝色图像的相位的理想值的偏离量在0和1之间(包括0和1)变化的参数。在与红色图像、绿色图像和蓝色图像的相位的理想值的偏离量为0的情况下,即,红色图像、绿色图像和蓝色图像的相位是理想值,α和β都是0.5。
因此,从其中α和β不同的表达式(1)获得红色分量R'的处理被认为是高分辨率图像的红色分量R'的返回处理的候选。作为与高分辨率图像的红色分量R'的返回处理的候选对应的α和β的值的组合的(α,β)的示例包括(0.5,0.5)、(0.4,0.5)、(0.5,0.4)、(0.6,0.5)等。
应该注意的是,也可以从具有根据与红色图像、绿色图像和蓝色图像的相位的理想值的偏离量而变化的参数的表达式中,获得由虚线圆圈所表示的新像素的红色分量,尽管省略了其详细描述。因此,从具有不同参数的表达式获得红色分量的处理被认为是高分辨率图像的新像素的红色分量的返回处理的候选。因为蓝色图像的相位与红色图像的相位相同,所以高分辨率图像的所有像素的蓝色分量的返回处理的候选与红色分量的返回处理的候选相同。
此外,也可以从具有根据与红色图像、绿色图像和蓝色图像的相位的理想值的偏离量而变化的参数的表达式中获得高分辨率图像的所有像素的绿色分量。因此,从具有不同参数的表达式获得绿色分量的处理被认为是高分辨率图像的所有像素的绿色分量的返回处理的候选。
针对与红色图像、绿色图像和蓝色图像的相位的理想值的每一个偏离量,编译高分辨率图像的红色分量、绿色分量和蓝色分量的返回处理候选,并且该返回处理候选被认为是返回处理的候选。
(关于最佳返回处理的选择的描述)
图10是用于说明由图7所示的选择单元234进行的最佳返回处理的选择的示图。
如图10所示,向选择单元234提供参考图像高分辨率图像。选择单元234从以下表达式(2)针对每个返回处理候选获得参考图像与高分辨率图像之间的红色分量的差值。
Errn=Σ(|R(i,j)-Rn'(i,j)|)...(2)
在表达式(2)中,Errn表示由第n(n=1,2,...,N)个返回处理候选生成的高分辨率图像与参考图像之间的红色分量的差值。此外,R(i,j)表示在参考图像的位置(i,j)处的像素的红色分量,并且Rn'(i,j)表示在由第n个返回处理候选生成的高分辨率图像的位置(i,j)处的像素的红色分量。
根据表达式(2),差值Errn是高分辨率图像与参考图像之间的像素的红色分量的差值的绝对和。
选择单元234还以与参考图像与高分辨率图像之间的红色分量的差值相同的方式获得绿色分量和蓝色分量的差值。选择单元234针对每个返回处理候选添加红色分量、绿色分量和蓝色分量的差值,并将相加值设置为参考图像与高分辨率图像之间的差值。
选择单元234选择参考图像与高分辨率图像之间的差值最小的这样的返回处理候选,作为最佳返回处理。
(关于CCU的处理的描述)
图11是用于说明由图7中所示的返回控制处理单元230进行的返回控制处理的流程图。例如,当图像从内窥镜19传输到CCU 12时,开始返回控制处理。
在图11所示的步骤S11中,返回控制处理单元230的接收单元232接收从内窥镜19传输的红色图像、绿色图像和蓝色图像,并将这些图像提供给接收单元232。
在步骤S12中,生成单元233确定从设置单元231提供的操作模式是否是优化模式。
当在步骤S12中确定操作模式是优化模式时,在步骤S13中,生成单元233使用从接收单元232提供的红色图像、绿色图像和蓝色图像来通过每个返回处理候选生成高分辨率图像。生成单元233将多个生成的高分辨率图像与在生成高分辨率图像时的返回处理候选的处理指定信息彼此关联,并将关联的图像和信息提供给选择单元234。
在步骤S14中,选择单元234从保持单元235读取参考图像。在步骤S15中,选择单元234获得从生成单元233提供的多个高分辨率图像与参考图像之间的差值。在步骤S16中,选择单元234从返回处理候选中选择对应于与参考图像具有最小差值的高分辨率图像的返回处理候选,作为最佳返回处理。
在步骤S17中,选择单元234将最佳返回处理的处理指定信息提供给保持单元235,并使保持单元保持(更新)该信息。结果,直到步骤S17的下一个处理之前,在稍后描述的步骤S22的处理中,执行由处理指定信息指定的返回处理。
在步骤S18中,选择单元234识别与对应于最佳返回处理的红色图像、绿色图像和蓝色图像的相位的理想值的偏离量。在步骤S19中,选择单元234确定所识别的偏离量是否超过阈值。当在步骤S19中确定偏离量超过阈值时,选择单元234确定需要更换内窥镜19并指示警告单元236发出警告。
然后,在步骤S20中,警告单元236输出催促更换内窥镜19的警告,并且处理进入步骤S24。
另一方面,当在步骤S12中确定操作模式不是优化模式时,即,当操作模式是正常模式时,处理进入步骤S21。在步骤S21中,生成单元233从保持单元235读取处理指定信息。
在步骤S22中,通过由读取的处理指定信息指定的返回处理,生成单元233使用从接收单元232提供的红色图像、绿色图像和蓝色图像,从而生成高分辨率图像。生成单元233将生成的高分辨率图像提供给传输单元237。
在步骤S23中,传输单元237将从设置单元231提供的高分辨率图像传输到显示设备11等,并且处理进入步骤S24。
在步骤S24中,返回控制处理单元230确定返回控制处理是否终止。例如,在内窥镜19结束图像拍摄或者切断CCU 12的电源的情况下,返回控制处理单元230确定返回控制处理终止。
当在步骤S24中确定返回控制处理没有终止时,处理返回到步骤S11,并且直到确定返回控制处理终止之前,重复执行该处理。
另一方面,当在步骤S24中确定返回控制处理终止时,处理终止。
如上所述,CCU 12使用红色图像、绿色图像和蓝色图像,从而通过多种返回处理候选来生成高分辨率图像,并且基于高分辨率图像从多种返回处理中选择最佳的一个返回处理。因此,CCU 12通过所选择的最佳返回处理来生成高分辨率图像,结果,可以充分提高高分辨率图像的质量,即使红色图像拾取表面53、绿色图像拾取表面54和蓝色图像拾取表面55的相位偏离理想值。
此外,返回处理候选是从使用与红色图像拾取表面53、绿色图像拾取表面54和蓝色图像拾取表面55的相位的理想值的偏离量对应的参数的表达式中生成高分辨率图像的处理。因此,CCU 12可以识别与最佳返回处理的偏离量。结果,在偏离量超过阈值的情况下,可以给出催促操作者等更换内窥镜19的警告。
此外,在优化返回处理时,图表42与内窥镜19之间的位置关系由夹具41固定,并且因此,可以提高优化的精度。
<第二实施方式>
(关于第二实施方式中的内窥镜的图像拾取表面的相位的描述)
应用本公开的内窥镜手术系统和优化系统的第二实施方式的配置与图1和图2所示的配置的主要不同之处在于,内窥镜19的红色图像拾取表面53和蓝色图像拾取表面55具有不同的相位。因此,在下文中,将仅给出关于内窥镜19的红色图像拾取表面53、绿色图像拾取表面54以及蓝色图像拾取表面55的相位的描述。
图12是用于说明第二实施方式中的内窥镜19的红色图像拾取表面53、绿色图像拾取表面54和蓝色图像拾取表面55的示图。
在图12所示的配置中,与图8相同的部分用相同的附图标记表示。将适当省略重叠的描述。
如图12所示,在第二实施方式中,绿色图像拾取表面54的相位和红色图像拾取表面53的相位在垂直方向上彼此偏离1/2个像素。此外,绿色图像拾取表面54的相位和蓝色图像拾取表面55的相位在水平方向上彼此偏离1/2个像素。结果,从HD红色图像、绿色图像和蓝色图像,可以生成4k高分辨率图像,在4k高分辨率图像的水平方向和垂直方向的每个方向上的分辨率是HD的两倍。
第二实施方式中的返回处理候选与第一实施方式中的返回处理候选不同,而是其是如与第一实施方式类似的方式,从具有根据与红色图像、绿色图像和蓝色图像的相位的理想值的偏离量而变化的参数的表达式中生成高分辨率图像的处理。
<第三实施方式>
(关于第三实施方式中的像素移位的描述)
应用本公开的内窥镜手术系统和优化系统的第三实施方式的配置与图1和图2中所示的配置的主要不同之处在于,内窥镜19的图像拾取表面的数量为一,并且通过在改变图像拾取表面的位置的同时多次拍摄图像来进行像素移位。因此,在下文中,将仅描述像素移位。
图13是用于说明第三实施方式中的像素移位的示图。
在图13中,将对由内窥镜19的图像拾取表面保持的像素中的2×2个像素中的像素移位进行描述。在图13中,圆圈表示内窥镜19的图像拾取表面的2×2像素的位置,并且圆圈中的“R”、“G”和“B”分别表示像素对于红光、绿光和蓝光具有灵敏度。此外,圆圈中的数字表示在该位置执行了多少次图像拍摄。在图13所示的示例中,执行了四次图像拍摄,并且图像拾取表面的颜色设置是拜耳设置。
在图13A所示的示例中,在由图案化的圆圈表示的位置处,以2×2像素进行第一次图像拍摄。随后,内窥镜19的图像拾取表面在图中向右(在行方向上)移动一个像素,并且在由2表示的圆圈所指示的位置处,以2×2个像素执行第二次图像拍摄。
然后,内窥镜19的图像拾取表面在图中的左下倾斜方向上移动一个像素,在由3表示的圆圈所指示的位置处,以2×2像素执行第三次图像拍摄。最后,内窥镜19的图像拾取表面在图中向右移动一个像素,并且在由4表示的圆圈所指示的位置处,以2×2像素执行第四次图像拍摄。如上所述,执行其中拍摄具有不同相位的四个HD图像的像素移位。
另一方面,在图13B所示的示例中,在由图案化的圆圈表示的位置处,以2×2像素执行第一次图像拍摄。随后,内窥镜19的图像拾取表面在图中向右移动两个像素,并且在由2表示的圆圈所指示的位置处,以2×2个像素执行第二次图像拍摄。
然后,内窥镜19的图像拾取表面在图中的左下倾斜方向上移动两个像素,在由3表示的圆圈所指示的位置处,以2×2像素执行第三次图像拍摄。最后,内窥镜19的图像拾取表面在图中向右移动两个像素,并且在由4表示的圆圈所指示的位置处,以2×2像素执行第四次图像拍摄。如上所述,执行其中拍摄具有不同相位的四个HD图像的像素移位。
第三实施方式中的返回处理候选与第一实施方式中的返回处理候选不同,但是与第一实施方式中一样,是从具有根据与红色图像、绿色图像和蓝色图像的相位的理想值的偏离量而变化的参数的表达式中生成高分辨率图像的处理。
应该注意的是,第三实施方式中的像素移位不限于图13所示的示例,并且例如图像拍摄次数不限于四次。
上述一系列处理可以通过硬件来执行。
此外,在本说明书中,系统是指多个部件(设备、模块(部件)等)的集合,并且所有部件是否在相同的壳体中没有差别。因此,存储在不同壳体中且经由网络连接的多个设备和具有存储在一个壳体中的多个模块的一个设备都是该系统。
本说明书中描述的效果仅仅是示例,并不受限制,并且可以发挥其他效果。
此外,本公开的实施方式不限于上述实施方式,并且可以在不脱离本公开的主旨的情况下进行各种修改。
例如,由内窥镜19拍摄的图像的分辨率不限于HD,并且高分辨率图像的分辨率不限于4k。例如,高分辨率图像的分辨率可以设置为高于4k分辨率,例如8k分辨率。
此外,可以基于高分辨率图像与参考图像之间的一个分量的差值,而不是基于其间的红色分量、绿色分量和蓝色分量的所有差值的总和,来选择最佳返回处理。此外,可以针对每种颜色选择最佳返回处理。
此外,在第一和第二实施方式中,内窥镜19的图像拾取表面的数量不限于三个。例如,内窥镜19可以具有由一个红色图像拾取表面、两个绿色图像拾取表面和一个蓝色图像拾取表面构成的四板型图像拾取单元。
除了内窥镜之外,本公开还可以应用于通过使用由执行像素移位的图像拾取设备(例如,视频显微镜)获得的图像来执行返回处理的图像处理设备。
应该注意,本公开可以采取以下配置。
(1)一种医疗系统,包括:
医疗成像装置;以及
电路,该电路被配置成:
从医疗成像装置获得多个第一图像,每个第一图像具有不同的相位,
将多个第一图像中的每一个组合多次,以生成多个第二图像,其中,在组合多个第一图像多次中的每一次中,在组合中使用不同的候选处理,并且
从多个第二图像中选择一个图像作为用于显示的输出图像,
其中,所选择的一个图像比多个第一图像中的任一个质量更高。
(2)根据(1)所述的医疗系统,其中,多个第一图像中的每一个对应于不同的颜色。
(3)根据(1)到(2)所述的医疗系统,其中,电路被配置为基于参考图像从多个第二图像中选择一个图像,作为输出图像。
(4)根据(1)到(3)所述的医疗系统,其中,电路被配置为基于多个第二图像中的哪一个与参考图像最相似来从多个第二图像中选择一个图像,作为输出图像。
(5)根据(1)到(4)所述的医疗系统,其中,电路还被配置为将所选择的一个图像与参考图像进行比较,以获得与参考图像的偏离量。
(6)根据(1)到(5)所述的医疗系统,其中,电路还被配置为当偏离量超过预定阈值时,输出警告。
(7)根据(1)到(6)所述的医疗系统,其中,医疗成像装置包括三个图像传感器。
(8)根据(1)到(7)所述的医疗系统,其中,多个第二图像是其上具有图案的图表的各个图像。
(9)根据(1)到(8)所述的医疗系统,其中,图表经由夹具耦接到医疗成像装置。
(10)根据(1)到(9)所述的医疗系统,其中,所选择的一个图像具有比多个第一图像的任何分辨率更高的分辨率。
(11)根据(1)到(10)所述的医疗系统,其中,所选择的一个图像具有大于4K的分辨率。
(12)一种医疗图像处理设备,包括:
电路,该电路被配置成:
从医疗成像装置获得多个第一图像,每个第一图像具有不同的相位,
将多个第一图像中的每一个组合多次,以生成多个第二图像,其中,在组合多个第一图像多次中的每一次中,在组合中使用不同的候选处理,并且
从多个第二图像中选择一个图像作为用于显示的输出图像,
其中,所选择的一个图像比多个第一图像中的任一个质量更高。
(13)根据(12)所述的医疗图像处理设备,其中,多个第一图像中的每一个对应于不同的颜色。
(14)根据(12)到(13)所述的医疗图像处理设备,其中,电路被配置为基于参考图像从多个第二图像中选择一个图像,作为输出图像。
(15)根据(12)到(14)所述的医疗图像处理设备,其中,电路被配置为基于多个第二图像中的哪一个与参考图像最相似来从多个第二图像中选择一个图像,作为输出图像。
(16)根据(15)所述的医疗图像处理设备,其中,电路还被配置为将所选择的一个图像与参考图像进行比较,以获得与参考图像的偏离量。
(17)根据(16)所述的医疗图像处理设备,电路还被配置为当偏离量超过预定阈值时,输出警告。
(18)根据(12)到(17)所述的医疗图像处理设备,医疗成像装置包括三个图像传感器。
(19)根据(12)到(18)所述的医疗图像处理设备,其中,多个第二图像是其上具有图案的图表的各个图像。
(20)根据(19)所述的医疗图像处理设备,其中,图表经由夹具耦接到医疗成像装置。
(21)根据(12)到(20)所述的医疗图像处理设备,其中,所选择的一个图像具有比多个第一图像的任何分辨率更高的分辨率。
(22)根据(12)到(21)所述的医疗图像处理设备,其中,多个第二图像中的每一个是具有大于4K分辨率的高质量图像。
(23)一种医疗系统,包括:
医疗成像装置;以及
电路,该电路被配置成:
从医疗成像装置获得与多个第一图像相关联的数据,每个第一图像具有不同的相位,
处理与多个第一图像中的每一个相关联的数据多次,以生成多个第二图像,其中,在处理与多个第一图像相关联的数据多次中的每一次中,在处理中使用不同的候选处理,并且
从多个第二图像中选择一个图像作为用于显示的输出图像,
其中,所选择的一个图像比多个第一图像中的任一个质量更高。
(24)一种医疗图像处理方法,包括:
从医疗成像装置获得多个第一图像,每个第一图像具有不同的相位,
将多个第一图像中的每一个组合多次以生成多个第二图像,其中,在组合多个第一图像多次中的每一次中,在组合中使用不同的候选处理,并且
从多个第二图像中选择一个图像作为用于显示的输出图像,
其中,所选择的一个图像比多个第一图像中的任一个质量更高。
(1A)一种手术控制设备,包括:
生成单元,被配置为针对手术图像拾取设备拍摄的具有不同相位的多个图像,执行多种处理,从而生成分辨率高于多个图像的多个高分辨率图像;以及
选择单元,被配置为基于由生成单元生成的多个高分辨率图像来选择多种处理中的一个。
(2A)根据(1A)所述的手术控制设备,其中,
生成单元通过执行由选择单元针对多个图像选择的处理来生成分辨率高于多个图像的高分辨率图像。
(3A)根据(1A)或(2A)所述的手术控制设备,其中,
选择单元基于由生成单元生成的相应多个高分辨率图像与参考图像之间的差值来选择多种处理中的一个。
(4A)根据(1A)所述的手术控制设备,其中,
手术图像拾取设备拍摄具有包括作为对象的图表的多个图像。
(5A)根据(4A)所述的手术控制设备,其中,
选择单元基于包括作为对象的图表的相应多个高分辨率图像与图表的理想高分辨率图像之间的差值来选择多种处理中的一个。
(6A)根据(4A)或(5A)所述的手术控制设备,其中,
手术图像拾取设备拍摄在图表与手术图像拾取设备之间的位置关系由夹具固定的多个图像。
(7A)根据(4A)至(6A)中任一项所述的手术控制设备,其中,
图表具有包括晶格线的图案。
(8A)根据(4A)至(6a)中任一项所述的手术控制设备,其中,
图表具有包括以不同间隔布置的垂直线的图案。
(9A)根据(4A)至(6A)中任一项所述的手术控制设备,其中,
图表具有包括垂直线和水平线的图案,垂直线以比手术图像拾取设备的至少一个图像拾取表面的像素的水平长度更长的间隔布置,并且水平线以比该像素的垂直长度更长的间隔布置。
(10A)根据(1A)至(9A)中任一项所述的手术控制设备,还包括:
警告单元,被配置为基于与由选择单元选择的处理对应的相位的理想值的偏离量来输出警告。
(11A)根据(10A)所述的手术控制设备,其中,
警告单元以基于偏离量在显示单元上显示用于催促更换手术图像拾取设备的警告的方式来控制显示单元。
(12A)根据(1A)至(11A)中任一项所述的手术控制设备,其中,
手术图像拾取设备:具有多个图像拾取表面,多个图像拾取表面具有相对于彼此不同的颜色的光具有灵敏度的不同相位;并且同时对多个图像拾取表面执行图像拍摄,从而拍摄多个图像。
(13A)根据(1A)至(11A)中任一项所述的手术控制设备,其中,
手术图像拾取设备具有一个图像拾取表面,在改变图像拾取表面的位置的同时,多次执行图像拍摄,从而拍摄多个图像。
(14A)根据(1A)至(13A)中任一项所述的手术控制设备,其中,
多个高分辨率图像是分辨率为至少4k分辨率的图像。
(15A)一种手术控制方法,包括:
由手术控制设备针对由手术图像拾取设备拍摄的具有不同相位的多个图像执行多种处理,从而生成分辨率高于多个图像的多个高分辨率图像;并且
基于由手术控制设备在生成步骤中生成的多个高分辨率图像来选择多种处理中的一个。
(16A)一种程序,用于使计算机用作
生成单元,被配置为针对由手术图像拾取设备拍摄的具有不同相位的多个图像执行多种处理,从而生成分辨率高于多个图像的多个高分辨率图像;以及
选择单元,被配置为基于由生成单元生成的多个高分辨率图像来选择多种处理中的一个。
(17A)一种手术系统,包括:
手术图像拾取设备,被配置为拍摄具有不同相位的多个图像;
图表,当通过使用由手术图像拾取设备拍摄的多个图像来选择生成分辨率高于该多个图像的高分辨率图像的处理时,由手术图像拾取设备拍摄图表的图像;以及
夹具,被配置为固定手术图像拾取设备与图表之间的位置关系。
本领域的技术人员应该理解,可以根据设计要求和其他因素发生各种修改、组合、子组合和变更,只要它们在所附权利要求或其等同物的范围内。
附图标记列表
12 CCU
19内窥镜
40优化系统
41夹具
42图表
53红色图像拾取表面
54绿色图像拾取表面
55蓝色图像拾取表面
61线
62、72垂直线
73水平线
207输出单元
233生成单元
234选择单元
236警告单元。

Claims (24)

1.一种医疗系统,包括:
医疗成像装置;以及
电路,所述电路被配置成:
从所述医疗成像装置获得多个第一图像,每个第一图像具有不同的相位,
将所述多个第一图像中的每一个组合多次,以生成多个第二图像,其中,在组合所述多个第一图像多次中的每一次中,在组合中使用不同的候选处理,并且
从所述多个第二图像中选择一个图像作为用于显示的输出图像,
其中,所选择的一个图像比所述多个第一图像中的任一个质量更高。
2.根据权利要求1所述的医疗系统,其中,所述多个第一图像中的每一个对应于不同的颜色。
3.根据权利要求1所述的医疗系统,其中,所述电路被配置为基于参考图像从所述多个第二图像中选择所述一个图像,作为所述输出图像。
4.根据权利要求3所述的医疗系统,其中,所述电路被配置为基于所述多个第二图像中的哪一个与所述参考图像最相似来从所述多个第二图像中选择所述一个图像,作为所述输出图像。
5.根据权利要求4所述的医疗系统,其中,所述电路还被配置为将所选择的一个图像与所述参考图像进行比较,以获得与所述参考图像的偏离量。
6.根据权利要求5所述的医疗系统,其中,所述电路还被配置为当所述偏离量超过预定阈值时,输出警告。
7.根据权利要求1所述的医疗系统,其中,所述医疗成像装置包括三个图像传感器。
8.根据权利要求1所述的医疗系统,其中,所述多个第二图像是其上具有图案的图表的各个图像。
9.根据权利要求8所述的医疗系统,其中,所述图表经由夹具耦接到所述医疗成像装置。
10.根据权利要求1所述的医疗系统,其中,所选择的一个图像具有比所述多个第一图像的任何分辨率更高的分辨率。
11.根据权利要求1所述的医疗系统,其中,所选择的一个图像具有大于4K的分辨率。
12.一种医疗图像处理设备,包括:
电路,所述电路被配置成:
从医疗成像装置获得多个第一图像,每个第一图像具有不同的相位,
将所述多个第一图像中的每一个组合多次,以生成多个第二图像,其中,在组合所述多个第一图像多次中的每一次中,在组合中使用不同的候选处理,并且
从所述多个第二图像中选择一个图像作为用于显示的输出图像,
其中,所选择的一个图像比所述多个第一图像中的任一个质量更高。
13.根据权利要求12所述的医疗图像处理设备,其中,所述多个第一图像中的每一个对应于不同的颜色。
14.根据权利要求12所述的医疗图像处理设备,其中,所述电路被配置为基于参考图像从所述多个第二图像中选择所述一个图像,作为所述输出图像。
15.根据权利要求14所述的医疗图像处理设备,其中,所述电路被配置为基于所述多个第二图像中的哪一个与所述参考图像最相似来从所述多个第二图像中选择所述一个图像,作为所述输出图像。
16.根据权利要求15所述的医疗图像处理设备,其中,所述电路还被配置为将所选择的一个图像与所述参考图像进行比较,以获得与所述参考图像的偏离量。
17.根据权利要求16所述的医疗图像处理设备,其中,所述电路还被配置为当所述偏离量超过预定阈值时,输出警告。
18.根据权利要求12所述的医疗图像处理设备,其中,所述医疗成像装置包括三个图像传感器。
19.根据权利要求12所述的医疗图像处理设备,其中,所述多个第二图像是其上具有图案的图表的各个图像。
20.根据权利要求19所述的医疗图像处理设备,其中,所述图表经由夹具耦接到所述医疗成像装置。
21.根据权利要求12所述的医疗图像处理设备,其中,所选择的一个图像具有比所述多个第一图像的任何分辨率更高的分辨率。
22.根据权利要求12所述的医疗图像处理设备,其中,所述多个第二图像中的每一个是具有大于4K的分辨率的高质量图像。
23.一种医疗系统,包括:
医疗成像装置;以及
电路,所述电路被配置成:
从所述医疗成像装置获得与多个第一图像相关联的数据,每个第一图像具有不同的相位,
处理与所述多个第一图像中的每一个相关联的数据多次,以生成多个第二图像,其中,在处理与所述多个第一图像相关联的数据多次中的每一次中,在处理中使用不同的候选处理,并且
从所述多个第二图像中选择一个图像作为用于显示的输出图像,
其中,所选择的一个图像比所述多个第一图像中的任一个质量更高。
24.一种医疗图像处理方法,包括:
从医疗成像装置获得多个第一图像,每个第一图像具有不同的相位,
将所述多个第一图像中的每一个组合多次以生成多个第二图像,其中,在组合所述多个第一图像多次中的每一次中,在组合中使用不同的候选处理,并且
从所述多个第二图像中选择一个图像作为用于显示的输出图像,
其中,所选择的一个图像比所述多个第一图像中的任一个质量更高。
CN201680069348.3A 2015-12-01 2016-11-21 手术控制设备、手术控制方法、程序和手术系统 Pending CN108292427A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-234744 2015-12-01
JP2015234744A JP2017099616A (ja) 2015-12-01 2015-12-01 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
PCT/JP2016/084380 WO2017094535A1 (en) 2015-12-01 2016-11-21 Surgery control apparatus, surgery control method, program, and surgery system

Publications (1)

Publication Number Publication Date
CN108292427A true CN108292427A (zh) 2018-07-17

Family

ID=57708695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680069348.3A Pending CN108292427A (zh) 2015-12-01 2016-11-21 手术控制设备、手术控制方法、程序和手术系统

Country Status (5)

Country Link
US (1) US11127116B2 (zh)
EP (1) EP3384460B1 (zh)
JP (1) JP2017099616A (zh)
CN (1) CN108292427A (zh)
WO (1) WO2017094535A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11921238B2 (en) * 2018-05-18 2024-03-05 The Charles Stark Draper Laboratory, Inc. Convolved augmented range LIDAR nominal area
WO2020080450A1 (ja) * 2018-10-18 2020-04-23 カイロス株式会社 内視鏡装置および内視鏡システム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5541653A (en) * 1993-07-27 1996-07-30 Sri International Method and appartus for increasing resolution of digital color images using correlated decoding
JP2003032538A (ja) * 2001-07-16 2003-01-31 Canon Inc 撮像装置
JP2005115789A (ja) * 2003-10-09 2005-04-28 Nec Corp 画像読取り装置、及び、画像読取り方法
WO2007029443A1 (ja) * 2005-09-09 2007-03-15 Matsushita Electric Industrial Co., Ltd. 画像処理方法、画像記録方法、画像処理装置および画像ファイルフォーマット
CN101754028A (zh) * 2008-12-22 2010-06-23 华晶科技股份有限公司 提高影像分辨率的方法
US20100283847A1 (en) * 2007-10-03 2010-11-11 Kabushiki Kaisha Toshiba Visual inspection apparatus and visual inspection method
US20110150331A1 (en) * 2005-01-19 2011-06-23 U.S. Government As Represented By The Secretary Of The Army System and Method for Super-Resolution Imaging from a Sequence of Color Filter Array (CFA) Low-Resolution Images
CN104103054A (zh) * 2013-04-15 2014-10-15 欧姆龙株式会社 图像处理装置及其控制方法
CN104379058A (zh) * 2012-06-28 2015-02-25 杜克大学 用于高分辨率mri合并复用灵敏度编码(muse)的多重拍摄扫描协议
US20150281570A1 (en) * 2014-03-27 2015-10-01 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program

Family Cites Families (419)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54102826A (en) * 1978-01-30 1979-08-13 Sony Corp Color camera
US4357624A (en) * 1979-05-15 1982-11-02 Combined Logic Company Interactive video production system
JPH03139084A (ja) * 1989-10-24 1991-06-13 Victor Co Of Japan Ltd 固体カラー撮像装置
US6002518A (en) * 1990-06-11 1999-12-14 Reveo, Inc. Phase-retardation based system for stereoscopic viewing micropolarized spatially-multiplexed images substantially free of visual-channel cross-talk and asymmetric image distortion
JPH0724422B2 (ja) * 1990-09-12 1995-03-15 池上通信機株式会社 カラーテレビカメラの輝度信号作成回路
JP2936760B2 (ja) * 1991-02-25 1999-08-23 ソニー株式会社 カラーテレビジョンカメラ装置
JPH04284087A (ja) * 1991-03-13 1992-10-08 Canon Inc 電子スチルカメラ
JP3271070B2 (ja) * 1991-06-28 2002-04-02 ソニー株式会社 固体イメージセンサ
US6205259B1 (en) * 1992-04-09 2001-03-20 Olympus Optical Co., Ltd. Image processing apparatus
US5343311A (en) * 1992-04-14 1994-08-30 Electronics For Imaging, Inc. Indexed processing of color image data
US5418564A (en) * 1992-09-04 1995-05-23 Asashi Kogaku Kogyo Kabushiki Kaisha Dual-type imaging device having multiple light sensitive elements
US5398066A (en) * 1993-07-27 1995-03-14 Sri International Method and apparatus for compression and decompression of digital color images
US5640206A (en) * 1994-05-31 1997-06-17 Victor Company Of Japan, Ltd. Imaging apparatus including offset pixels for generating vertical high frequency component
JPH0851635A (ja) * 1994-08-05 1996-02-20 Sony Corp 撮像装置
JPH09233483A (ja) * 1996-02-22 1997-09-05 Sony Corp ディジタルカラー映像信号の伝送方法及び装置
JP3609525B2 (ja) * 1996-03-18 2005-01-12 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置
WO1997043613A1 (en) * 1996-05-10 1997-11-20 Applied Science Fiction, Inc. Luminance-priority color sensor
JP3778229B2 (ja) * 1996-05-13 2006-05-24 富士ゼロックス株式会社 画像処理装置、画像処理方法、および画像処理システム
US6956973B1 (en) * 1997-09-30 2005-10-18 Texas Instruments Incorporated Image compression
US6126599A (en) * 1998-10-01 2000-10-03 Atl Ultrasound, Inc. Ultrasonic diagnostic imaging system with real time spatial compounding processor
US6048316A (en) * 1998-10-16 2000-04-11 Acuson Corporation Medical diagnostic ultrasonic imaging system and method for displaying composite fundamental and harmonic images
US7837624B1 (en) * 1998-11-20 2010-11-23 Siemens Medical Solutions Usa, Inc. Medical diagnostic ultrasound imaging methods for extended field of view
US6101238A (en) * 1998-11-25 2000-08-08 Siemens Corporate Research, Inc. System for generating a compound x-ray image for diagnosis
US8944070B2 (en) * 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
US9572519B2 (en) * 1999-05-18 2017-02-21 Mediguide Ltd. Method and apparatus for invasive device tracking using organ timing signal generated from MPS sensors
US6442289B1 (en) * 1999-06-30 2002-08-27 Koninklijke Philips Electronics N.V. Extended field of view ultrasonic diagnostic imaging
US6795585B1 (en) * 1999-07-16 2004-09-21 Eastman Kodak Company Representing digital images in a plurality of image processing states
US6466618B1 (en) * 1999-11-19 2002-10-15 Sharp Laboratories Of America, Inc. Resolution improvement for multiple images
US7340676B2 (en) * 2000-12-29 2008-03-04 Eastman Kodak Company System and method for automatic layout of images in digital albums
CN1312939C (zh) * 2001-01-25 2007-04-25 株式会社尼康 图像处理方法、图像处理程序、图像处理装置
JP2002247593A (ja) * 2001-02-16 2002-08-30 Olympus Optical Co Ltd 画像処理装置
US7533336B2 (en) * 2001-03-01 2009-05-12 International Business Machines Corporation Method and apparatus for facilitating construction of e-commerce web pages having featured products and the like
KR100446235B1 (ko) * 2001-05-07 2004-08-30 엘지전자 주식회사 다중 후보를 이용한 움직임 벡터 병합 탐색 방법
US7020352B2 (en) * 2001-05-25 2006-03-28 Seiko Epson Corporation Photo extraction techniques
JP3882585B2 (ja) * 2001-11-07 2007-02-21 富士ゼロックス株式会社 画像処理装置およびプログラム
US7127125B2 (en) * 2002-01-04 2006-10-24 Warner Bros. Entertainment Inc. Registration of separations
US6747648B2 (en) * 2002-01-18 2004-06-08 Eastman Kodak Company Website on the internet for automated interactive display of images
US7120297B2 (en) * 2002-04-25 2006-10-10 Microsoft Corporation Segmented layered image system
US6983080B2 (en) * 2002-07-19 2006-01-03 Agilent Technologies, Inc. Resolution and image quality improvements for small image sensors
US7619638B2 (en) * 2002-11-06 2009-11-17 Vista Print Technologies Limited Custom composite image system and method
US7454069B2 (en) * 2002-11-20 2008-11-18 Ricoh Company, Ltd. Image processing apparatus, image compressing apparatus, image decompressing apparatus, image processing method, image compressing method, image decompressing method, information processing apparatus, information processing method, program and recording medium
US7097311B2 (en) * 2003-04-19 2006-08-29 University Of Kentucky Research Foundation Super-resolution overlay in multi-projector displays
US8264576B2 (en) * 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US20050007468A1 (en) * 2003-07-10 2005-01-13 Stavely Donald J. Templates for guiding user in use of digital camera
JP4461937B2 (ja) * 2003-09-30 2010-05-12 セイコーエプソン株式会社 低解像度の複数の画像に基づく高解像度の画像の生成
WO2005041562A1 (ja) * 2003-10-22 2005-05-06 Matsushita Electric Industrial Co., Ltd. 撮像装置とその製造方法、携帯機器、及び撮像素子とその製造方法
US7689909B1 (en) * 2003-11-26 2010-03-30 Szuszczewicz Edward P System and method for generating photo collages and photo album pages
JP4235539B2 (ja) * 2003-12-01 2009-03-11 独立行政法人科学技術振興機構 画像構成装置及び画像構成方法
GB2411532B (en) * 2004-02-11 2010-04-28 British Broadcasting Corp Position determination
US7617449B2 (en) * 2004-05-28 2009-11-10 Microsoft Corporation Method and system for mapping content between a starting template and a target template
JP4810807B2 (ja) * 2004-07-30 2011-11-09 ソニー株式会社 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
US9924887B2 (en) * 2004-08-30 2018-03-27 Toshiba Medical Systems Corporation Medical image display apparatus
WO2006039320A1 (en) * 2004-09-29 2006-04-13 Warner Bros. Entertainment Inc. Correction of blotches in component images
US20080037906A1 (en) * 2004-10-13 2008-02-14 Matsushita Electric Industrial Co., Ltd. Image Pickup Device
KR100680471B1 (ko) * 2004-11-24 2007-02-08 매그나칩 반도체 유한회사 보색 컬러 필터를 채택한 SoC 카메라 시스템
US20060114479A1 (en) * 2004-11-26 2006-06-01 Sozotek, Inc. Accelerated image enhancement
JP4699995B2 (ja) * 2004-12-16 2011-06-15 パナソニック株式会社 複眼撮像装置及び撮像方法
US7412107B2 (en) * 2004-12-17 2008-08-12 The Regents Of The University Of California, Santa Cruz System and method for robust multi-frame demosaicing and color super-resolution
US8577184B2 (en) * 2005-01-19 2013-11-05 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
US7856154B2 (en) * 2005-01-19 2010-12-21 The United States Of America As Represented By The Secretary Of The Army System and method of super-resolution imaging from a sequence of translated and rotated low-resolution images
US7602997B2 (en) * 2005-01-19 2009-10-13 The United States Of America As Represented By The Secretary Of The Army Method of super-resolving images
EP1874192B1 (en) * 2005-04-14 2017-06-07 Verasonics, Inc. Ultrasound imaging system with pixel oriented processing
JP2006311314A (ja) * 2005-04-28 2006-11-09 Matsushita Electric Ind Co Ltd 色分離処理方法および色分離処理回路
US7760956B2 (en) * 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
US10341558B2 (en) * 2005-06-03 2019-07-02 Craig P. Mowry System and apparatus for increasing quality and efficiency of film capture and methods of use thereof
US7770799B2 (en) * 2005-06-03 2010-08-10 Hand Held Products, Inc. Optical reader having reduced specular reflection read failures
JP4800104B2 (ja) * 2005-06-13 2011-10-26 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
US7710458B2 (en) * 2005-06-17 2010-05-04 Casio Computer Co., Ltd. Image pick-up apparatus with a shake reducing function
JP4267598B2 (ja) * 2005-07-11 2009-05-27 ザイオソフト株式会社 画像融合処理方法、画像融合処理プログラム、画像融合処理装置
GB0514715D0 (en) * 2005-07-18 2005-08-24 Isis Innovation Combination of images
WO2007013250A1 (ja) * 2005-07-26 2007-02-01 Matsushita Electric Industrial Co., Ltd. 複眼方式の撮像装置
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US20070047834A1 (en) * 2005-08-31 2007-03-01 International Business Machines Corporation Method and apparatus for visual background subtraction with one or more preprocessing modules
US7575171B2 (en) * 2005-09-01 2009-08-18 Zvi Haim Lev System and method for reliable content access using a cellular/wireless device with imaging capabilities
DK2024899T3 (en) * 2005-09-05 2016-02-15 Alpvision S A Means of use of the material surface microstructure as a unique identifier
EP1958006B1 (en) * 2005-11-10 2011-05-11 Microsoft Corporation Discover biological features using composite images
US8303505B2 (en) * 2005-12-02 2012-11-06 Abbott Cardiovascular Systems Inc. Methods and apparatuses for image guided medical procedures
EP1965350A1 (en) * 2005-12-21 2008-09-03 Nikon Corporation Image combining method, image combining program, image combining device, template extracting method, and template extracting program
JP4657934B2 (ja) * 2006-01-23 2011-03-23 富士フイルム株式会社 顔検出方法および装置並びにプログラム
US7822288B2 (en) * 2006-01-25 2010-10-26 Shell & Slate Software Corporation Method and system for improved processing of image data
US7979790B2 (en) * 2006-02-28 2011-07-12 Microsoft Corporation Combining and displaying multimedia content
JP4600315B2 (ja) * 2006-03-01 2010-12-15 ソニー株式会社 カメラ装置の制御方法及びこれを用いたカメラ装置
DE102006043894B3 (de) * 2006-09-19 2007-10-04 Siemens Ag Detailtiefenstufen-Einstellung mehrdimensionaler Bilddaten mit einem Client/Server-basierten Bildrenderingsystem
JP4864632B2 (ja) * 2006-10-12 2012-02-01 株式会社リコー 画像入力装置、画像入力方法、個人認証装置及び電子機器
GB2444533B (en) * 2006-12-06 2011-05-04 Sony Uk Ltd A method and an apparatus for generating image content
US20080165843A1 (en) * 2007-01-03 2008-07-10 Human Monitoring Ltd. Architecture for image compression in a video hardware
JP4915859B2 (ja) * 2007-03-26 2012-04-11 船井電機株式会社 物体の距離導出装置
JP2008242658A (ja) * 2007-03-26 2008-10-09 Funai Electric Co Ltd 立体物体の撮像装置
BRPI0809662A2 (pt) * 2007-04-11 2014-10-14 Red Com Inc Câmaras de vídeo e métodos de gravação de vídeo de movimento com câmara e de processamento de imagens
US8237830B2 (en) * 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
US7609060B2 (en) * 2007-04-20 2009-10-27 Albert Einstein College Of Medicine Of Yeshiva University Non iterative shimming in magnetic resonance imaging in the presence of high LIPID levels
JP2008268557A (ja) * 2007-04-20 2008-11-06 Sony Corp 画像生成装置及び方法、プログラム、並びに記録媒体
US8068700B2 (en) * 2007-05-28 2011-11-29 Sanyo Electric Co., Ltd. Image processing apparatus, image processing method, and electronic appliance
US9576302B2 (en) * 2007-05-31 2017-02-21 Aditall Llc. System and method for dynamic generation of video content
DE102007026595A1 (de) * 2007-06-08 2008-12-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Kompensation von Farbverschiebungen in faseroptischen Abbildungssystemen
JP5000395B2 (ja) * 2007-06-26 2012-08-15 オリンパス株式会社 撮像表示方法および撮像表示装置
WO2009002157A1 (en) * 2007-06-27 2008-12-31 I-Optics B.V. Ophthalmic apparatus and method for increasing the resolution of aliased ophthalmic images
JP2009111691A (ja) * 2007-10-30 2009-05-21 Hitachi Ltd 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
JP2009110391A (ja) * 2007-10-31 2009-05-21 Canon Inc 情報処理装置および制御方法および制御プログラム
EP2063392A1 (en) * 2007-11-24 2009-05-27 Barco NV Image processing of medical images
CN101889452B (zh) * 2007-12-04 2012-08-22 松下电器产业株式会社 图像生成装置及图像生成方法
JP2009147730A (ja) * 2007-12-14 2009-07-02 Fujifilm Corp 動画生成装置、動画撮影装置、動画生成方法及びプログラム
US8315480B2 (en) * 2007-12-28 2012-11-20 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program to execute the image processing method
JP5173536B2 (ja) * 2008-04-02 2013-04-03 シャープ株式会社 撮像装置及び光軸制御方法
US8055101B2 (en) * 2008-04-29 2011-11-08 Adobe Systems Incorporated Subpixel registration
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2009146388A1 (en) * 2008-05-28 2009-12-03 The Trustees Of Columbia University In The City Of New York Voxel-based methods for assessing subjects using positron emission tomography
US9117133B2 (en) * 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
DE112009001652T5 (de) * 2008-07-08 2012-01-12 Chiaro Technologies, Inc. Mehrkanal-Erfassung
US10373174B2 (en) * 2008-08-08 2019-08-06 LocalScene LLC System and method for online content delivery
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
WO2010027080A1 (ja) * 2008-09-08 2010-03-11 ソニー株式会社 画像処理装置および方法、撮像装置、並びにプログラム
US8553093B2 (en) * 2008-09-30 2013-10-08 Sony Corporation Method and apparatus for super-resolution imaging using digital imaging devices
KR101531709B1 (ko) * 2008-10-17 2015-07-06 삼성전자 주식회사 고감도 컬러 영상을 제공하기 위한 영상 처리 장치 및 방법
US8436909B2 (en) * 2008-10-21 2013-05-07 Stmicroelectronics S.R.L. Compound camera sensor and related method of processing digital images
US8601385B2 (en) * 2008-11-25 2013-12-03 General Electric Company Zero pixel travel systems and methods of use
JP4650560B2 (ja) * 2008-11-27 2011-03-16 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
US8200023B2 (en) * 2008-12-12 2012-06-12 Xerox Corporation Method and system for processing photo product templates
US20100157352A1 (en) * 2008-12-19 2010-06-24 Morales Javier A Method and system for creating visual representation of wysiwyg finishing instructions for specialty photo media
US20100165088A1 (en) * 2008-12-29 2010-07-01 Intromedic Apparatus and Method for Displaying Capsule Endoscope Image, and Record Media Storing Program for Carrying out that Method
US8495074B2 (en) * 2008-12-30 2013-07-23 Apple Inc. Effects application based on object clustering
US8621357B2 (en) * 2008-12-30 2013-12-31 Apple Inc. Light table for editing digital media
US20100169784A1 (en) * 2008-12-30 2010-07-01 Apple Inc. Slide Show Effects Style
US8832555B2 (en) * 2008-12-30 2014-09-09 Apple Inc. Framework for slideshow object
US8626322B2 (en) * 2008-12-30 2014-01-07 Apple Inc. Multimedia display based on audio and visual complexity
US9152292B2 (en) * 2009-02-05 2015-10-06 Hewlett-Packard Development Company, L.P. Image collage authoring
CN102365641A (zh) * 2009-03-26 2012-02-29 皇家飞利浦电子股份有限公司 基于诊断信息自动检索报告模板的系统
US8570396B2 (en) * 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
JP5405187B2 (ja) * 2009-05-08 2014-02-05 株式会社東芝 X線コンピュータ断層撮影装置
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
WO2010143100A1 (en) * 2009-06-10 2010-12-16 Koninklijke Philips Electronics N.V. Visualization apparatus for visualizing an image data set
US8406515B2 (en) * 2009-06-24 2013-03-26 Hewlett-Packard Development Company, L.P. Method for automatically cropping digital images
JP5589585B2 (ja) * 2009-07-07 2014-09-17 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5515507B2 (ja) * 2009-08-18 2014-06-11 ソニー株式会社 表示装置及び表示方法
US8699565B2 (en) * 2009-08-27 2014-04-15 Hewlett-Packard Development Company, L.P. Method and system for mixed-resolution low-complexity information coding and a corresponding method and system for decoding coded information
JP5486364B2 (ja) * 2009-09-17 2014-05-07 富士フイルム株式会社 読影レポート作成装置および方法並びにプログラム
US8712120B1 (en) * 2009-09-28 2014-04-29 Dr Systems, Inc. Rules-based approach to transferring and/or viewing medical images
US8330827B2 (en) * 2009-11-19 2012-12-11 Eastman Kodak Company Increasing image resolution using combined differential image
JP5561027B2 (ja) * 2009-11-30 2014-07-30 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
JP5556164B2 (ja) * 2009-12-17 2014-07-23 株式会社島津製作所 測定データ分析処理装置及びプログラム
EP2518995B1 (en) * 2009-12-24 2018-08-22 Sharp Kabushiki Kaisha Multocular image pickup apparatus and multocular image pickup method
US20110157609A1 (en) * 2009-12-31 2011-06-30 David Brady Systems and methods for processing online and print material
US8565554B2 (en) * 2010-01-09 2013-10-22 Microsoft Corporation Resizing of digital images
JP5366855B2 (ja) * 2010-02-16 2013-12-11 富士フイルム株式会社 画像処理方法及び装置並びにプログラム
US20110221764A1 (en) * 2010-03-12 2011-09-15 Microsoft Corporation Laying out and cropping images in pre-defined layouts
US8929627B2 (en) * 2010-03-31 2015-01-06 Hitachi Medical Corporation Examination information display device and method
US20130093781A1 (en) * 2010-03-31 2013-04-18 Hitachi Medical Corporation Examination information display device and method
US8861822B2 (en) * 2010-04-07 2014-10-14 Fujifilm Sonosite, Inc. Systems and methods for enhanced imaging of objects within an image
EP2386998B1 (en) * 2010-05-14 2018-07-11 Honda Research Institute Europe GmbH A Two-Stage Correlation Method for Correspondence Search
US20110292258A1 (en) * 2010-05-28 2011-12-01 C2Cure, Inc. Two sensor imaging systems
JP6039156B2 (ja) * 2010-06-08 2016-12-07 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US8526691B2 (en) * 2010-06-09 2013-09-03 Siemens Aktiengesellschaft System and method for passive medical device navigation under real-time MRI guidance
JP5691082B2 (ja) * 2010-06-29 2015-04-01 国立大学法人京都工芸繊維大学 偏光イメージング装置および偏光イメージング方法
CN102906782B (zh) * 2010-06-30 2016-03-02 松下知识产权经营株式会社 立体图像处理装置及立体图像处理方法
JP5686673B2 (ja) * 2010-07-22 2015-03-18 富士フイルム株式会社 画像処理装置、画像処理方法およびプログラム
US8345132B2 (en) * 2010-07-23 2013-01-01 Omnivision Technologies, Inc. Image sensor with dual element color filter array and three channel color output
US8749694B2 (en) * 2010-08-27 2014-06-10 Adobe Systems Incorporated Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
US20140147013A1 (en) * 2010-10-11 2014-05-29 The Regents Of The University Of Colorado, A Body Corporate Direct echo particle image velocimetry flow vector mapping on ultrasound dicom images
US9643184B2 (en) * 2010-10-26 2017-05-09 California Institute Of Technology e-Petri dishes, devices, and systems having a light detector for sampling a sequence of sub-pixel shifted projection images
US9569664B2 (en) * 2010-10-26 2017-02-14 California Institute Of Technology Methods for rapid distinction between debris and growing cells
WO2012057804A1 (en) * 2010-10-30 2012-05-03 Hewlett-Packard Development Company, L.P. Optimizing hyper parameters of probabilistic model for mixed text-and-graphics layout template
US8462221B2 (en) * 2010-11-03 2013-06-11 Eastman Kodak Company Method for producing high dynamic range images
US9137503B2 (en) * 2010-11-03 2015-09-15 Sony Corporation Lens and color filter arrangement, super-resolution camera system and method
US9262444B2 (en) * 2010-11-24 2016-02-16 General Electric Company Systems and methods for applying series level operations and comparing images using a thumbnail navigator
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
AU2010257231B2 (en) * 2010-12-15 2014-03-06 Canon Kabushiki Kaisha Collaborative image capture
JP2012142827A (ja) * 2011-01-05 2012-07-26 Sony Corp 画像処理装置および画像処理方法
US8693750B2 (en) * 2011-01-14 2014-04-08 Siemens Aktiengesellschaft Method and system for automatic detection of spinal bone lesions in 3D medical image data
KR101125765B1 (ko) * 2011-01-24 2012-03-27 중앙대학교 산학협력단 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치 및 방법
US20120198384A1 (en) * 2011-01-28 2012-08-02 Konica Minolta Laboratory U.S.A., Inc. Graphical user interface presenting a unified view of a main document image and thumbnail images
US8698885B2 (en) * 2011-02-14 2014-04-15 Intuitive Surgical Operations, Inc. Methods and apparatus for demosaicing images with highly correlated color channels
US8839110B2 (en) * 2011-02-16 2014-09-16 Apple Inc. Rate conform operation for a media-editing application
US9412414B2 (en) * 2011-02-16 2016-08-09 Apple Inc. Spatial conform operation for a media-editing application
JP2012185808A (ja) * 2011-02-17 2012-09-27 Panasonic Corp 画像処理装置、画像処理方法、及びコンピュータプログラム、並びに撮像装置
US10359361B2 (en) * 2011-02-18 2019-07-23 The General Hospital Corporation Laser speckle micro-rheology in characterization of biomechanical properties of tissues
JP2012186593A (ja) * 2011-03-04 2012-09-27 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9058611B2 (en) * 2011-03-17 2015-06-16 Xerox Corporation System and method for advertising using image search and classification
US20120281126A1 (en) * 2011-04-11 2012-11-08 Fossum Eric R Digital integration sensor
JP5687553B2 (ja) * 2011-04-25 2015-03-18 オリンパス株式会社 画像合成装置、画像合成方法及び画像合成プログラム
US20120294514A1 (en) * 2011-05-19 2012-11-22 Xerox Corporation Techniques to enable automated workflows for the creation of user-customized photobooks
US9635274B2 (en) * 2011-06-15 2017-04-25 Microsoft Technology Licensing, Llc High resolution multispectral image capture
CN103650486B (zh) * 2011-07-08 2016-03-02 奥林巴斯株式会社 摄像装置和图像生成方法
JP5932035B2 (ja) * 2011-08-04 2016-06-08 グーグル インコーポレイテッド 検索結果を伴う知識パネルを提供すること
US9129183B2 (en) * 2011-09-28 2015-09-08 Pelican Imaging Corporation Systems and methods for encoding light field image files
JP5865667B2 (ja) 2011-10-19 2016-02-17 株式会社キーエンス 拡大観察装置
US20130145241A1 (en) * 2011-12-04 2013-06-06 Ahmed Salama Automated augmentation of text, web and physical environments using multimedia content
EP2800384A4 (en) * 2011-12-27 2015-06-03 Fujifilm Corp COLOR IMAGING ELEMENT
US9277198B2 (en) * 2012-01-31 2016-03-01 Newblue, Inc. Systems and methods for media personalization using templates
CN104106095A (zh) * 2012-02-10 2014-10-15 皇家飞利浦有限公司 临床驱动的图像融合
WO2013121458A1 (ja) * 2012-02-16 2013-08-22 古野電気株式会社 情報表示装置及び情報表示方法
WO2013137280A1 (ja) * 2012-03-12 2013-09-19 株式会社 東芝 レポート作成支援装置及びレポート閲覧装置
JP5844187B2 (ja) * 2012-03-23 2016-01-13 富士フイルム株式会社 画像解析装置および方法並びにプログラム
US20160119639A1 (en) * 2012-04-20 2016-04-28 Sony Corporation Image processing apparatus and image processing method
WO2013171173A1 (en) * 2012-05-14 2013-11-21 Luca Rossato Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
CA2817554A1 (en) * 2012-06-01 2013-12-01 Atiq Hashmi Mobile content management system
US9083935B2 (en) * 2012-06-15 2015-07-14 Microsoft Technology Licensing, Llc Combining multiple images in bracketed photography
EP2677734A3 (en) * 2012-06-18 2016-01-13 Sony Mobile Communications AB Array camera imaging system and method
JP2014028124A (ja) * 2012-06-27 2014-02-13 Toshiba Corp 医用画像処理装置及びx線診断装置
US9341859B2 (en) * 2012-07-06 2016-05-17 Innolux Corporation 3D image based alignment method
JP2014027526A (ja) * 2012-07-27 2014-02-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9087289B2 (en) * 2012-08-21 2015-07-21 Canon Kabushiki Kaisha Image processing method and apparatus for printing monochrome or color images on a medium
US9183475B2 (en) * 2012-08-21 2015-11-10 Canon Kabushiki Kaisha Image processing method and apparatus configured for printing a plurality of monochrome images having different parameters
EP3869797B1 (en) * 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US20140055632A1 (en) * 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
CN104737206A (zh) * 2012-10-24 2015-06-24 三菱电机株式会社 图像描绘装置、图像描绘方法以及导航装置
JP2015535348A (ja) * 2012-10-30 2015-12-10 カリフォルニア インスティチュート オブ テクノロジー フーリエ・タイコグラフィー撮像システム、装置、及び方法
US20140136962A1 (en) * 2012-11-12 2014-05-15 Vistaprint Technologies Limited Method and System for Detecting and Removing Printer Control Marks from Rasterized Image for Placement in Image Container of Document Template
TWI525382B (zh) * 2012-11-21 2016-03-11 豪威科技股份有限公司 包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法
JP2014106289A (ja) * 2012-11-26 2014-06-09 Sony Corp 表示装置、電子機器及び表示装置の駆動方法
US20150310613A1 (en) * 2012-12-07 2015-10-29 Canon Kabushiki Kaisha Image generating apparatus and image generating method
WO2014091519A1 (ja) * 2012-12-11 2014-06-19 ViewSend ICT株式会社 医療支援システムおよびその方法
US20150178786A1 (en) * 2012-12-25 2015-06-25 Catharina A.J. Claessens Pictollage: Image-Based Contextual Advertising Through Programmatically Composed Collages
US9364191B2 (en) * 2013-02-11 2016-06-14 University Of Rochester Method and apparatus of spectral differential phase-contrast cone-beam CT and hybrid cone-beam CT
KR102048793B1 (ko) * 2013-02-12 2019-11-26 지고 코포레이션 표면 컬러를 이용한 표면 토포그래피 간섭측정계
US9215433B2 (en) * 2014-02-11 2015-12-15 Duelight Llc Systems and methods for digital photography
US9521384B2 (en) * 2013-02-14 2016-12-13 Red.Com, Inc. Green average subtraction in image data
WO2014127535A1 (en) * 2013-02-22 2014-08-28 Google Inc. Systems and methods for automated content generation
WO2014141647A1 (ja) * 2013-03-13 2014-09-18 ソニー株式会社 情報処理装置、情報処理方法、および情報処理プログラム
WO2014159779A1 (en) * 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9224362B2 (en) * 2013-03-14 2015-12-29 Microsoft Technology Licensing, Llc Monochromatic edge geometry reconstruction through achromatic guidance
US9497429B2 (en) * 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
TWI620445B (zh) * 2013-03-25 2018-04-01 Sony Corp 攝像元件及電子機器
US9135292B1 (en) * 2013-04-08 2015-09-15 Google Inc. Selecting a template for a content item
JP6173751B2 (ja) * 2013-04-09 2017-08-02 東芝メディカルシステムズ株式会社 医用画像処理装置、x線診断装置及び医用画像処理プログラム
US20140331124A1 (en) * 2013-05-02 2014-11-06 Locu, Inc. Method for maintaining common data across multiple platforms
US10282075B2 (en) * 2013-06-24 2019-05-07 Microsoft Technology Licensing, Llc Automatic presentation of slide design suggestions
RU2015107755A (ru) * 2013-07-12 2016-09-27 Сони Корпорейшн Устройство обработки изображений и способ обработки изображений
GB201313681D0 (en) * 2013-07-31 2014-01-08 Mbda Uk Ltd Image processing
GB201313680D0 (en) * 2013-07-31 2014-01-08 Mbda Uk Ltd Image processing
GB201313682D0 (en) * 2013-07-31 2013-12-18 Mbda Uk Ltd Method and apparatus for tracking an object
US9223773B2 (en) * 2013-08-08 2015-12-29 Palatir Technologies Inc. Template system for custom document generation
US9247136B2 (en) * 2013-08-21 2016-01-26 Xerox Corporation Automatic mobile photo capture using video analysis
US9013611B1 (en) * 2013-09-06 2015-04-21 Xilinx, Inc. Method and device for generating a digital image based upon a selected set of chrominance groups
WO2015047246A1 (en) * 2013-09-25 2015-04-02 Intel Corporation Dynamic product placement in media content
US10423713B1 (en) * 2013-10-15 2019-09-24 Google Llc System and method for updating a master slide of a presentation
US9544562B2 (en) * 2013-10-17 2017-01-10 Northrop Grumman Systems Corporation Converting an image from a dual-band sensor to a visible color image
JP6049202B2 (ja) * 2013-10-25 2016-12-21 富士フイルム株式会社 画像処理装置、方法、及びプログラム
WO2015064402A1 (ja) * 2013-11-01 2015-05-07 ソニー株式会社 画像処理装置および方法
WO2015064403A1 (ja) * 2013-11-01 2015-05-07 ソニー株式会社 画像処理装置および方法
JP6160448B2 (ja) * 2013-11-05 2017-07-12 ソニー株式会社 撮像装置および撮像装置の制御方法
US9264592B2 (en) * 2013-11-07 2016-02-16 Pelican Imaging Corporation Array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) * 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9147095B2 (en) * 2013-11-22 2015-09-29 Ncr Corporation Optical code scanner optimized for reading 2D optical codes
GB2523531A (en) * 2013-11-29 2015-09-02 Siemens Medical Solutions Arrangements for viewing clinical images
US20170301094A1 (en) * 2013-12-09 2017-10-19 Koninklijke Philips N.V. Image compounding based on image information
EP3084722B1 (en) * 2013-12-17 2020-04-22 Koninklijke Philips N.V. Model-based segmentation of an anatomical structure
US20150169207A1 (en) * 2013-12-18 2015-06-18 Dropbox, Inc. Systems and methods for generating personalized account reconfiguration interfaces
CN103745439B (zh) * 2013-12-31 2018-10-02 华为技术有限公司 图像放大方法以及装置
US20150206169A1 (en) * 2014-01-17 2015-07-23 Google Inc. Systems and methods for extracting and generating images for display content
US20150206300A1 (en) * 2014-01-21 2015-07-23 Agency For Science, Technology And Research Method and apparatus for extraction and quantification of hematoma from a brain scan such as computed tomography data
CN105792756B (zh) * 2014-01-24 2019-01-15 奥林巴斯株式会社 超声波观测装置以及超声波观测装置的动作方法
EP3108448B1 (en) * 2014-02-21 2019-05-15 Ventana Medical Systems, Inc. Group sparsity model for image unmixing
CN103810685B (zh) * 2014-02-25 2016-05-25 清华大学深圳研究生院 一种深度图的超分辨率处理方法
US20150242374A1 (en) * 2014-02-27 2015-08-27 Styla GmbH Automatic layout technology
US10503948B2 (en) * 2014-03-06 2019-12-10 Qualcomm Incorporated Multi-spectral ultrasonic imaging
US20150260509A1 (en) * 2014-03-11 2015-09-17 Jonathan Kofman Three dimensional (3d) imaging by a mobile communication device
JP2015192238A (ja) * 2014-03-27 2015-11-02 キヤノン株式会社 画像データ生成装置および画像データ生成方法
JP5788551B1 (ja) * 2014-03-27 2015-09-30 オリンパス株式会社 画像処理装置および画像処理方法
US10555788B2 (en) * 2014-03-28 2020-02-11 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
US10350009B2 (en) * 2014-03-28 2019-07-16 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging and printing of surgical implants
KR102397254B1 (ko) * 2014-03-28 2022-05-12 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술 장면의 정량적인 3차원 영상
KR20160138502A (ko) * 2014-03-28 2016-12-05 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 정량적인 3차원 모델의 3차원 영상과의 정렬
EP3125807B1 (en) * 2014-03-28 2022-05-04 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging of surgical scenes from multiport perspectives
CN106165392B (zh) * 2014-03-31 2019-01-22 富士胶片株式会社 图像处理装置、摄影装置以及图像处理方法
WO2015155807A1 (ja) * 2014-04-09 2015-10-15 パナソニック株式会社 情報端末の制御方法及びプログラム
CA2944829C (en) * 2014-05-23 2022-10-25 Ting Chen Systems and methods for detection of biological structures and/or patterns in images
AU2015265811B2 (en) * 2014-05-30 2020-04-30 Providence Health & Services - Oregon An image processing method and system for analyzing a multi-channel image obtained from a biological tissue sample being stained by multiple stains
EP3055831B1 (en) * 2014-06-10 2019-11-20 Ramot at Tel-Aviv University Ltd. Method and system for processing an image
JP6362094B2 (ja) * 2014-06-17 2018-07-25 キヤノン株式会社 印刷検品装置、印刷検品方法及びプログラム
US9551616B2 (en) * 2014-06-18 2017-01-24 Innopix, Inc. Spectral imaging system for remote and noninvasive detection of target substances using spectral filter arrays and image capture arrays
JP2016015430A (ja) * 2014-07-03 2016-01-28 ソニー株式会社 固体撮像素子および電子機器
US10871745B2 (en) * 2014-08-01 2020-12-22 The Regents Of The University Of California Device and method for iterative phase recovery based on pixel super-resolved on-chip holography
EP2982415A1 (en) * 2014-08-04 2016-02-10 Université de Strasbourg Method for estimating the spatial distribution of the hazardousness of radiation doses
US9344639B2 (en) * 2014-08-12 2016-05-17 Google Technology Holdings LLC High dynamic range array camera
US9779491B2 (en) * 2014-08-15 2017-10-03 Nikon Corporation Algorithm and device for image processing
WO2016034655A2 (en) * 2014-09-03 2016-03-10 Ventana Medical Systems, Inc. Systems and methods for generating fields of view
US10402460B1 (en) * 2014-09-08 2019-09-03 Amazon Technologies, Inc. Contextual card generation and delivery
JP6033821B2 (ja) * 2014-09-12 2016-11-30 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
US9654700B2 (en) * 2014-09-16 2017-05-16 Google Technology Holdings LLC Computational camera using fusion of image sensors
WO2016042811A1 (ja) * 2014-09-19 2016-03-24 オリンパス株式会社 医療用観察システム
US10250871B2 (en) * 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
KR102310976B1 (ko) * 2014-10-27 2021-10-12 삼성메디슨 주식회사 초음파 진단 장치, 그에 따른 초음파 진단 방법 및 그에 따른 컴퓨터 판독 가능한 저장매체
US9626760B2 (en) * 2014-10-30 2017-04-18 PathPartner Technology Consulting Pvt. Ltd. System and method to align and merge differently exposed digital images to create a HDR (High Dynamic Range) image
CA2965431C (en) * 2014-12-03 2023-05-16 Ventana Medical Systems, Inc. Computational pathology systems and methods for early-stage cancer prognosis
JP6394338B2 (ja) * 2014-12-04 2018-09-26 ソニー株式会社 画像処理装置、画像処理方法、及び撮像システム
EP3882851B1 (en) * 2014-12-30 2023-01-18 Ventana Medical Systems, Inc. Method for co-expression analysis
CN104484659B (zh) * 2014-12-30 2018-08-07 南京巨鲨显示科技有限公司 一种对医学彩色和灰阶图像自动识别及校准的方法
WO2016109585A1 (en) * 2014-12-31 2016-07-07 Flir Systems, Inc. Image enhancement with fusion
US10818073B2 (en) * 2015-03-10 2020-10-27 Wisconsin Alumni Research Foundation System and method for time-resolved, three-dimensional angiography with flow information
US9536045B1 (en) * 2015-03-16 2017-01-03 D.R. Systems, Inc. Dynamic digital image compression based on digital image characteristics
US10614285B2 (en) * 2015-03-18 2020-04-07 Proscia Inc. Computing technologies for image operations
CN107431839B (zh) * 2015-04-13 2020-12-04 株式会社半导体能源研究所 译码器、接收器及电子设备
JP6746359B2 (ja) * 2015-05-08 2020-08-26 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
KR102302674B1 (ko) * 2015-05-13 2021-09-16 삼성전자주식회사 영상신호 제공장치 및 영상신호 제공방법
WO2016189949A1 (ja) * 2015-05-22 2016-12-01 オリンパス株式会社 医療システム
EP3304415B1 (en) * 2015-05-26 2023-09-13 Ventana Medical Systems, Inc. Method and system for assessing stain quality for in-situ hybridization and immunohistochemistry
JPWO2016194177A1 (ja) * 2015-06-03 2018-06-14 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理方法
JP6503907B2 (ja) * 2015-06-12 2019-04-24 リコーイメージング株式会社 撮影装置、撮影制御装置、撮影制御方法、及び撮影制御プログラム
JP6545013B2 (ja) * 2015-06-17 2019-07-17 キヤノン株式会社 画像形成方法、画像形成装置、および画像形成プログラム
CN107736010A (zh) * 2015-06-24 2018-02-23 奥林巴斯株式会社 图像处理装置、摄像装置、图像处理方法、图像处理程序和存储介质
US20170032527A1 (en) * 2015-07-31 2017-02-02 Iwk Health Centre Method and system for head digitization and co-registration of medical imaging data
JP6461742B2 (ja) * 2015-07-31 2019-01-30 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP2017034656A (ja) * 2015-08-04 2017-02-09 ソニー・オリンパスメディカルソリューションズ株式会社 医療用撮像装置、医療用画像取得システム及び内視鏡装置
WO2017023210A1 (en) * 2015-08-06 2017-02-09 Heptagon Micro Optics Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
US10169374B2 (en) * 2015-08-21 2019-01-01 Adobe Systems Incorporated Image searches using image frame context
WO2017035505A1 (en) * 2015-08-27 2017-03-02 The Regents Of The University Of Colorado, A Body Corporate Data driven methods for deriving amplitude-based motion characterizations in pet imaging
WO2017036921A1 (en) * 2015-09-02 2017-03-09 Ventana Medical Systems, Inc. Image processing systems and methods for displaying multiple images of a biological specimen
US10073861B2 (en) * 2015-09-03 2018-09-11 Disney Enterprises, Inc. Story albums
US9743133B2 (en) * 2015-09-15 2017-08-22 Echostar Technologies L.L.C. Apparatus, systems and methods for satellite system fast channel change
US9654711B2 (en) * 2015-09-17 2017-05-16 Sony Semiconductor Solutions Corporation Power reduction for image sensor with raw image scaler
JP6758747B2 (ja) * 2015-09-18 2020-09-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
US10419788B2 (en) * 2015-09-30 2019-09-17 Nathan Dhilan Arimilli Creation of virtual cameras for viewing real-time events
WO2017064807A1 (ja) * 2015-10-16 2017-04-20 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
CN106912199B (zh) * 2015-10-20 2018-07-10 奥林巴斯株式会社 摄像装置、图像取得方法以及存储介质
KR102477518B1 (ko) * 2015-10-23 2022-12-15 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체 장치 및 전자 기기
JP6640530B2 (ja) * 2015-10-30 2020-02-05 キヤノンメディカルシステムズ株式会社 磁気共鳴イメージング装置、医用画像処理装置及び画像処理方法
CN108348143B (zh) * 2015-10-30 2020-11-03 索尼公司 信息处理装置、信息处理方法和内窥镜系统
CN108353153B (zh) * 2015-11-10 2020-10-23 索尼公司 图像处理装置和图像处理方法
US20170140250A1 (en) * 2015-11-13 2017-05-18 Microsoft Technology Licensing, Llc Content file image analysis
US10645258B2 (en) * 2015-11-17 2020-05-05 Sony Corporation Multi-camera system, method of controlling a multi-camera system, and camera
WO2017085092A1 (en) * 2015-11-17 2017-05-26 Koninklijke Philips N.V. Data and scanner spec guided smart filtering for low dose and/or high resolution pet imaging
JP2017097645A (ja) * 2015-11-25 2017-06-01 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2017108211A (ja) * 2015-12-07 2017-06-15 ソニー株式会社 撮像装置、撮像制御方法、および、プログラム
US20170178395A1 (en) * 2015-12-16 2017-06-22 Google Inc. Light field rendering of an image using variable computational complexity
JP6566865B2 (ja) * 2015-12-28 2019-08-28 Kddi株式会社 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
KR102617041B1 (ko) * 2015-12-28 2023-12-26 가부시키가이샤 한도오따이 에네루기 켄큐쇼 장치, 텔레비전 시스템, 및 전자 기기
KR20170086977A (ko) * 2016-01-19 2017-07-27 삼성전자주식회사 영상 데이터 처리 방법 및 장치
JP6688088B2 (ja) * 2016-01-19 2020-04-28 キヤノン株式会社 情報処理装置およびその制御方法
JP6533991B2 (ja) * 2016-02-16 2019-06-26 東芝エネルギーシステムズ株式会社 医用画像処理装置、方法、プログラム及び放射線治療装置
JP6296365B2 (ja) * 2016-02-29 2018-03-20 パナソニックIpマネジメント株式会社 手術内視鏡用カメラコントロールユニット
US9928575B2 (en) * 2016-03-01 2018-03-27 Sony Corporation Method and system for processing a multi-channel image
WO2017149932A1 (ja) * 2016-03-03 2017-09-08 ソニー株式会社 医療用画像処理装置、システム、方法及びプログラム
JP6865395B2 (ja) * 2016-03-10 2021-04-28 パナソニックIpマネジメント株式会社 撮像装置
WO2017154628A1 (ja) * 2016-03-11 2017-09-14 ソニー株式会社 画像処理装置および方法
US10664748B2 (en) * 2016-03-18 2020-05-26 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and system using the same
US10417749B2 (en) * 2016-03-22 2019-09-17 Algolux Inc. Method and system for edge denoising of a digital image
US10228434B2 (en) * 2016-05-03 2019-03-12 The General Hospital Corporation Multi-shot echo planar imaging using reordered segments and RF excitation pulse phase and slice profiles matched across interleaves
US10838192B2 (en) * 2016-05-10 2020-11-17 The Regents Of The University Of California Method and device for high-resolution color imaging using merged images from holographic and lens-based devices
DE102016208647A1 (de) * 2016-05-19 2017-11-23 Siemens Healthcare Gmbh Verfahren und Vorrichtung zur Überwachung einer Brustuntersuchung
EP3246812A1 (en) * 2016-05-20 2017-11-22 OCE Holding B.V. Roll to roll printing method
US11137462B2 (en) * 2016-06-10 2021-10-05 Board Of Trustees Of Michigan State University System and method for quantifying cell numbers in magnetic resonance imaging (MRI)
CN109690444A (zh) * 2016-06-15 2019-04-26 寇平公司 与移动通信设备一起使用的免提耳机
JPWO2018020558A1 (ja) * 2016-07-25 2019-05-09 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
CN107647880B (zh) * 2016-07-26 2021-01-19 东芝医疗系统株式会社 医用图像处理装置以及医用图像处理方法
US9875552B1 (en) * 2016-07-26 2018-01-23 Teradici Corporation Content independent method of motion determination using sparse matrices
KR101865126B1 (ko) * 2016-08-04 2018-06-08 광주과학기술원 촬상장치, 촬상방법, 거리측정장치, 및 거리측정방법
JP6697680B2 (ja) * 2016-08-17 2020-05-27 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
US10121513B2 (en) * 2016-08-30 2018-11-06 International Business Machines Corporation Dynamic image content overlaying
CN114449163A (zh) * 2016-09-01 2022-05-06 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
JP6743604B2 (ja) * 2016-09-12 2020-08-19 ソニー株式会社 マルチカメラシステム、カメラ、カメラの処理方法、確認装置および確認装置の処理方法
JP6662745B2 (ja) * 2016-10-04 2020-03-11 株式会社ソニー・インタラクティブエンタテインメント 撮影装置、情報処理システム、および偏光画像処理方法
JP6704828B2 (ja) * 2016-10-07 2020-06-03 キヤノン株式会社 制御装置、制御方法、制御システム及びプログラム
WO2018069785A1 (en) * 2016-10-12 2018-04-19 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and system using the same
US10558029B2 (en) * 2016-10-27 2020-02-11 Scopio Labs Ltd. System for image reconstruction using a known pattern
JP6780447B2 (ja) * 2016-11-02 2020-11-04 コニカミノルタ株式会社 超音波診断装置及び画像形成方法
WO2018085694A1 (en) * 2016-11-04 2018-05-11 Intuitive Surgical Operations, Inc. Reconfigurable display in computer-assisted tele-operated surgery
TWI624804B (zh) * 2016-11-07 2018-05-21 盾心科技股份有限公司 利用超解析重建法生成高解析度影像的方法與系統
US20180137602A1 (en) * 2016-11-14 2018-05-17 Google Inc. Low resolution rgb rendering for efficient transmission
US10262387B2 (en) * 2016-11-14 2019-04-16 Google Llc Early sub-pixel rendering
CN109937568B (zh) * 2016-11-17 2021-03-09 索尼公司 图像处理装置和图像处理方法
AU2016266019A1 (en) * 2016-11-30 2018-06-14 Canon Kabushiki Kaisha Image registration method
JP2018098641A (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、プログラム、および電子機器
US10692259B2 (en) * 2016-12-15 2020-06-23 Adobe Inc. Automatic creation of media collages
JP6789810B2 (ja) * 2016-12-28 2020-11-25 キヤノン株式会社 画像処理方法、画像処理装置、および、撮像装置
US10713801B2 (en) * 2017-01-06 2020-07-14 Accuray Incorporated Image registration of treatment planning image, intrafraction 3D image, and intrafraction 2D x-ray image
US10057538B2 (en) * 2017-01-16 2018-08-21 Gopro, Inc. Apparatus and methods for the selection of one or more frame interpolation techniques
EP3352454B1 (en) * 2017-01-19 2019-01-02 Axis AB Method for fixed pattern noise reduction and use of such method
US20180206820A1 (en) * 2017-01-26 2018-07-26 Carestream Health, Inc. Ultrasound apparatus and method
JP6890991B2 (ja) * 2017-01-31 2021-06-18 キヤノン株式会社 画像処理装置、制御方法及びプログラム
CN111988587B (zh) * 2017-02-10 2023-02-07 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法
CN108419061B (zh) * 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 基于多光谱的图像融合设备、方法及图像传感器
US10282630B2 (en) * 2017-03-08 2019-05-07 Raytheon Company Multi-channel compressive sensing-based object recognition
JP6732214B2 (ja) * 2017-03-10 2020-07-29 オムロン株式会社 画像処理装置、画像処理方法、テンプレート作成装置、物体認識処理装置及びプログラム
US10489887B2 (en) * 2017-04-10 2019-11-26 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
JP6467455B2 (ja) * 2017-04-18 2019-02-13 キヤノン株式会社 撮像装置、その制御方法、プログラム及び記録媒体
US10776904B2 (en) * 2017-05-03 2020-09-15 Samsung Electronics Co., Ltd. Method and apparatus for processing image
US10453193B2 (en) * 2017-05-05 2019-10-22 General Electric Company Methods and system for shading a two-dimensional ultrasound image
US10596391B2 (en) * 2017-05-11 2020-03-24 Elekta, Inc. Systems and methods of accounting for shape change during radiotherapy
US10275130B2 (en) * 2017-05-12 2019-04-30 General Electric Company Facilitating transitioning between viewing native 2D and reconstructed 3D medical images
US10715727B2 (en) * 2017-05-16 2020-07-14 Apple Inc. Synthetic long exposure image with optional enhancement using a guide image
US20180357750A1 (en) * 2017-06-07 2018-12-13 Mediatek Inc. Demosaicking for multi-cell image sensor
US11154196B2 (en) * 2017-06-20 2021-10-26 Siemens Healthcare Gmbh Deep-learnt tissue deformation for medical imaging
WO2018234209A1 (en) * 2017-06-22 2018-12-27 Koninklijke Philips N.V. METHODS AND SYSTEM FOR GENERATING COMPOSITE ULTRASONIC IMAGE
WO2019008692A1 (ja) * 2017-07-05 2019-01-10 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
WO2019008693A1 (ja) * 2017-07-05 2019-01-10 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
US10650505B2 (en) * 2017-07-12 2020-05-12 Tata Consultancy Services Limited Method and system for generating high resolution image by fusing low resolution images
CN107292291B (zh) * 2017-07-19 2020-04-03 北京智芯原动科技有限公司 一种车辆识别方法和系统
CN111052173B (zh) * 2017-07-31 2023-08-22 巴斯德研究所 用于改进从单分子定位显微术获取的衍射受限图像重构密集超分辨率图像的方法、设备和计算机程序
US10535119B2 (en) * 2017-08-11 2020-01-14 Intermap Technologies Inc. Method and apparatus for enhancing 3D model resolution
AU2017225023A1 (en) * 2017-09-05 2019-03-21 Canon Kabushiki Kaisha System and method for determining a camera pose
US10839577B2 (en) * 2017-09-08 2020-11-17 Apple Inc. Creating augmented reality self-portraits using machine learning
US10514335B2 (en) * 2017-09-08 2019-12-24 Arizona Board Of Regents On Behalf Of The University Of Arizona Systems and methods for optical spectrometer calibration
JP6975004B2 (ja) * 2017-10-03 2021-12-01 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、および医療用観察システム
JP7102121B2 (ja) * 2017-10-06 2022-07-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN109712691B (zh) * 2017-10-25 2021-07-23 商之器科技股份有限公司 转换行动装置显示器成医疗影像显示用系统及方法
US10452920B2 (en) * 2017-10-31 2019-10-22 Google Llc Systems and methods for generating a summary storyboard from a plurality of image frames
KR20190049197A (ko) * 2017-11-01 2019-05-09 한국전자통신연구원 고해상도 영상을 이용한 업샘플링 및 rgb 합성 방법, 및 이를 수행하는 장치
JP7051373B2 (ja) * 2017-11-02 2022-04-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
CN107783304B (zh) * 2017-11-08 2020-04-28 京东方科技集团股份有限公司 显示装置和显示装置的驱动方法
CN111164959B (zh) * 2017-11-10 2021-08-03 奥林巴斯株式会社 图像处理装置、图像处理方法以及记录介质
JP7051408B2 (ja) * 2017-12-07 2022-04-11 ソニー・オリンパスメディカルソリューションズ株式会社 医療用内視鏡装置、および医療用観察システム
US10764495B2 (en) * 2017-12-14 2020-09-01 Ricoh Company, Ltd. Image processing apparatus, image processing method, storage medium, system, and electronic apparatus
US10748247B2 (en) * 2017-12-26 2020-08-18 Facebook, Inc. Computing high-resolution depth images using machine learning techniques
KR20200104379A (ko) * 2017-12-27 2020-09-03 에티컨, 엘엘씨 광 결핍 환경에서의 초분광 이미징
US10830855B2 (en) * 2018-03-28 2020-11-10 University Of Virginia Patent Foundation Free-breathing cine DENSE imaging
US11636598B2 (en) * 2018-03-30 2023-04-25 Shimadzu Corporation Imaging data processing apparatus and imaging data processing program to perform image alignment by deforming images such that imaged observation target sites coincide
KR102077215B1 (ko) * 2018-04-06 2020-02-13 경희대학교 산학협력단 국부 이진 패턴 분류 및 선형 매핑을 이용한 초해상화 방법
EP3785640A4 (en) * 2018-04-27 2021-04-07 FUJIFILM Corporation ULTRASONIC SYSTEM AND ULTRASOUND SYSTEM CONTROL PROCESS
US10841488B2 (en) * 2018-08-03 2020-11-17 Qualcomm Incorporated Combined monochrome and chromatic camera sensor
JP6981940B2 (ja) * 2018-08-29 2021-12-17 富士フイルム株式会社 画像診断支援装置、方法及びプログラム
US10685230B2 (en) * 2018-09-06 2020-06-16 National Central University Method of top-of-atmosphere reflectance-based spatiotemporal image fusion using aerosol optical depth
US10902254B2 (en) * 2018-09-26 2021-01-26 Salesforce.Com, Inc. Converting a captured image of a layout to a structured document template
JP2020061080A (ja) * 2018-10-12 2020-04-16 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
JP6943830B2 (ja) * 2018-10-19 2021-10-06 ファナック株式会社 制御装置、通信端末、及び制御システム
JP7249766B2 (ja) * 2018-12-14 2023-03-31 キヤノン株式会社 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
US20210059644A1 (en) * 2019-04-16 2021-03-04 Shenzhen Mindray Bio-Medical Electronics Co., Ltd. Retrospective multimodal high frame rate imaging
US11398011B2 (en) * 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system
US11720999B2 (en) * 2019-10-11 2023-08-08 Kayrros Method, device and non-transitory computer-readable storage medium for increasing the resolution and dynamic range of a sequence of respective top view images of a same terrestrial location

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5541653A (en) * 1993-07-27 1996-07-30 Sri International Method and appartus for increasing resolution of digital color images using correlated decoding
JP2003032538A (ja) * 2001-07-16 2003-01-31 Canon Inc 撮像装置
JP2005115789A (ja) * 2003-10-09 2005-04-28 Nec Corp 画像読取り装置、及び、画像読取り方法
US20110150331A1 (en) * 2005-01-19 2011-06-23 U.S. Government As Represented By The Secretary Of The Army System and Method for Super-Resolution Imaging from a Sequence of Color Filter Array (CFA) Low-Resolution Images
WO2007029443A1 (ja) * 2005-09-09 2007-03-15 Matsushita Electric Industrial Co., Ltd. 画像処理方法、画像記録方法、画像処理装置および画像ファイルフォーマット
US20100283847A1 (en) * 2007-10-03 2010-11-11 Kabushiki Kaisha Toshiba Visual inspection apparatus and visual inspection method
CN101754028A (zh) * 2008-12-22 2010-06-23 华晶科技股份有限公司 提高影像分辨率的方法
CN104379058A (zh) * 2012-06-28 2015-02-25 杜克大学 用于高分辨率mri合并复用灵敏度编码(muse)的多重拍摄扫描协议
CN104103054A (zh) * 2013-04-15 2014-10-15 欧姆龙株式会社 图像处理装置及其控制方法
US20140307971A1 (en) * 2013-04-15 2014-10-16 Omron Corporation Image processing apparatus, method of controlling image processing apparatus, and non-transitory computer-readable recording medium
JP2014206926A (ja) * 2013-04-15 2014-10-30 オムロン株式会社 画像処理装置、画像処理装置の制御方法、画像処理プログラムおよびその記録媒体
US20150281570A1 (en) * 2014-03-27 2015-10-01 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program

Also Published As

Publication number Publication date
JP2017099616A (ja) 2017-06-08
US11127116B2 (en) 2021-09-21
WO2017094535A1 (en) 2017-06-08
EP3384460B1 (en) 2020-09-09
US20180268523A1 (en) 2018-09-20
EP3384460A1 (en) 2018-10-10

Similar Documents

Publication Publication Date Title
US8216129B2 (en) Image display apparatus, endoscope system using the same, and image display method
JP6104493B1 (ja) 撮像システム
JP6072372B2 (ja) 内視鏡システム
JP6401800B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
CN106455927A (zh) 内窥镜系统
WO2020008834A1 (ja) 画像処理装置、方法及び内視鏡システム
JPWO2017104192A1 (ja) 医用観察システム
CN114207735A (zh) 手术支持系统、手术支持方法、信息处理装置和信息处理程序
CN108292427A (zh) 手术控制设备、手术控制方法、程序和手术系统
JP2022069464A (ja) コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法
CN109565565A (zh) 信息处理装置、信息处理方法和信息处理程序
EP3641296A1 (en) Image processing device, image processing method, and image capture system
WO2018088237A1 (ja) 画像処理装置および設定方法、並びにプログラム
JP2009039243A (ja) 内視鏡観察装置
JP7444163B2 (ja) 撮像装置、撮像方法、及びプログラム
WO2021181564A1 (ja) 処理システム、画像処理方法及び学習方法
WO2015194204A1 (ja) 内視鏡装置
WO2018105592A1 (en) Image processing apparatus, image processing method, and optical member
US11910105B2 (en) Video processing using a blended tone curve characteristic
US20200214539A1 (en) Endoscope
WO2018088238A1 (ja) 画像処理装置および制御方法、並びにプログラム
WO2018088236A1 (ja) 画像処理装置および方法、並びにプログラム
US20240013392A1 (en) Processor device, medical image processing device, medical image processing system, and endoscope system
JP7391113B2 (ja) 学習用医療画像データ作成装置、学習用医療画像データ作成方法及びプログラム
WO2023007896A1 (ja) 内視鏡システム、プロセッサ装置及びその作動方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20230113