CN114651439B - 信息处理系统、内窥镜系统、信息存储介质及信息处理方法 - Google Patents

信息处理系统、内窥镜系统、信息存储介质及信息处理方法 Download PDF

Info

Publication number
CN114651439B
CN114651439B CN201980101970.1A CN201980101970A CN114651439B CN 114651439 B CN114651439 B CN 114651439B CN 201980101970 A CN201980101970 A CN 201980101970A CN 114651439 B CN114651439 B CN 114651439B
Authority
CN
China
Prior art keywords
image
resolution
processing
imaging system
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980101970.1A
Other languages
English (en)
Other versions
CN114651439A (zh
Inventor
菊地直
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN114651439A publication Critical patent/CN114651439A/zh
Application granted granted Critical
Publication of CN114651439B publication Critical patent/CN114651439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G06T5/60—
    • G06T5/70—
    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

信息处理系统(100)包括存储部(2)、处理部(3)和输入部(1)。已学习模型(20)被学习为将低分辨率学习用图像(40)分辨率复原为高分辨率学习用图像(30)。高分辨率学习用图像(30)是由第一摄像系统拍摄规定被摄体的高分辨率的图像。低分辨率学习用图像(40)是通过对高分辨率学习用图像(30)进行低分辨率化处理(S304)而生成的。低分辨率化处理(S304)是生成犹如由第二摄像系统拍摄规定被摄体那样的低分辨率的图像的处理，包括模拟第二摄像系统的光学系统的分辨率特性的光学系统模拟处理。处理部(3)使用已学习模型(20)，将处理对象图像(10)分辨率复原为由第一摄像系统拍摄时的分辨率(S200)。

Description

信息处理系统、内窥镜系统、信息存储介质及信息处理方法
技术领域
本发明涉及信息处理系统、内窥镜系统、信息存储介质及信息处理方法等。
背景技术
已知有通过图像处理从由低分辨率摄像元件拍摄的输入图像生成犹如由高分辨率摄像元件拍摄的高分辨率图像的超解像技术。在专利文献1中公开了使用通过深度学习得到的已学习模型对输入图像进行超解像的技术。在学习阶段中，将实际由高分辨率摄像元件拍摄的高分辨率图像作为教师数据，通过单纯地缩小该高分辨率图像，生成与推导时的输入图像相当的低分辨率图像。将低分辨率图像输入学习模型，基于由学习模型输出的输出图像和作为教师数据的高分辨率图像进行深度学习。
现有技术文献
专利文献
专利文献1：日本专利第6236731号公报
发明内容
发明所要解决的课题
如上所述，在专利文献1中，通过单纯地缩小高分辨率图像来生成低分辨率图像。该低分辨率图像与实际由低分辨率摄像元件拍摄的图像的性质不同。具体而言，由于未考虑光学系统等原因，在通过单纯缩小而生成的低分辨率图像和由低分辨率摄像元件拍摄的图像中，分辨率感不同。这样，通过单纯缩小而生成的低分辨率图像无法准确地再现与推导时的输入图像相当的分辨率感，因此在使用该低分辨率图像而进行了学习的已学习模型中，存在无法从由低分辨率摄像元件拍摄的输入图像高精度地复原高分辨率图像这样的课题。
用于解决课题的手段
本发明的一个方式涉及信息处理系统，所述信息处理系统包括：存储部，其存储已学习模型；处理部；以及输入部，其将由进行分辨率比第一摄像系统低的摄像的第二摄像系统所拍摄的处理对象图像输入到所述处理部，所述已学习模型是被学习为将低分辨率学习用图像分辨率复原为高分辨率学习用图像的已学习模型，所述高分辨率学习用图像是由所述第一摄像系统拍摄规定被摄体的高分辨率的图像，所述低分辨率学习用图像是通过对所述高分辨率学习用图像进行低分辨率化处理而生成的，所述低分辨率化处理是生成犹如由所述第二摄像系统拍摄所述规定被摄体那样的低分辨率的图像的处理，包括对所述第二摄像系统的光学系统的分辨率特性进行模拟的光学系统模拟处理，所述处理部使用所述已学习模型，将所述处理对象图像分辨率复原为由所述第一摄像系统拍摄时的分辨率。
并且，本发明的其他方式涉及一种内窥镜系统，该内窥镜系统包含：处理器单元，其具有上述所记载的信息处理系统；以及内窥镜镜体，其与所述处理器单元连接，拍摄所述处理对象图像并发送到所述输入部。
另外，本发明的另一其他方式涉及一种已学习模型，该已学习模型使计算机发挥功能，将由进行分辨率比第一摄像系统低的拍摄的第二摄像系统拍摄的处理对象图像分辨率复原为由所述第一摄像系统拍摄时的分辨率，所述已学习模型被学习为将低分辨率学习用图像分辨率复原为高分辨率学习用图像，所述高分辨率学习用图像是由所述第一摄像系统拍摄规定被摄体的高分辨率的图像，所述低分辨率学习用图像是通过对所述高分辨率学习用图像进行低分辨率化处理而生成的，所述低分辨率化处理是生成犹如由所述第二摄像系统拍摄所述规定被摄体那样的低分辨率的图像的处理，包括对所述第二摄像系统的光学系统的分辨率特性进行模拟的光学系统模拟处理。
另外，本发明的又一方式涉及存储有上述所记载的已学习模型的信息存储介质。
另外，本发明的另一方式涉及一种信息处理方法，该信息处理方法使用已学习模型进行分辨率复原，将所述已学习模型学习为将低分辨率学习用图像分辨率复原为高分辨率学习用图像，所述高分辨率学习用图像是由所述第一摄像系统拍摄规定被摄体的高分辨率的图像，所述低分辨率学习用图像是通过对所述高分辨率学习用图像进行低分辨率化处理而生成的，所述低分辨率化处理是生成犹如由所述第二摄像系统拍摄所述规定被摄体那样的低分辨率的图像的处理，包括对所述第二摄像系统的光学系统的分辨率特性进行模拟的光学系统模拟处理，使用所述已学习模型，将由进行分辨率比所述第一摄像系统低的拍摄的所述第二摄像系统所拍摄的处理对象图像分辨率复原为由所述第一摄像系统拍摄时的分辨率。
附图说明
图1是第一实施方式中的信息处理系统的结构例和模型生成处理的处理流程。
图2是分辨率复原处理的处理流程。
图3是模型生成处理的处理流程。
图4是低分辨率化处理的处理流程。
图5是第二实施方式中的信息处理系统的结构例和模型生成处理的处理流程。
图6是模型生成处理的处理流程。
图7是第二实施方式的变形例中的信息处理系统的结构例和模型生成处理的处理流程。
图8是模型生成处理的处理流程。
图9是第三实施方式中的信息处理系统的结构例和模型生成处理的处理流程。
图10是摄像信息检测处理以及分辨率复原处理的处理流程。
图11是第四实施方式中的内窥镜系统的结构例和模型生成处理的处理流程。
图12是摄像信息检测处理以及分辨率复原处理的处理流程。
图13是第一变形例中的信息处理系统的结构例以及模型生成处理的处理流程。
图14是补色型摄像元件的例子。
图15是混合型摄像元件的例子。
图16是第六变形例中的信息处理系统的结构例以及模型生成处理的处理流程。
图17是学习装置的结构例。
图18是内窥镜系统的第一结构例。
图19是内窥镜系统的第二结构例。
图20是第一方法的模糊处理的处理流程。
图21是第二方法的模糊处理的处理流程。
具体实施方式
以下，对本实施方式进行说明。另外，以下所说明的本实施方式并不是对权利要求书中所记载的本发明的内容进行不当限定。另外，在本实施方式中说明的全部结构不一定是本发明的必要构成要件。例如，以下以将信息处理系统应用于医疗用内窥镜的情况为例进行说明，但不限于此，能够将本发明的信息处理系统应用于各种摄影系统或影像显示系统。例如，本发明的信息处理系统可以应用于静态照相机、摄像机、电视接收机、显微镜或工业内窥镜。
1.第一实施方式
如上所述，在使用了机器学习的超解像中，若无法生成适当的低分辨率图像，则存在超解像的精度降低这样的课题。关于该课题，以内窥镜系统为例进行说明。
内窥镜具有探头直径越小则越能够对患者进行微创的检查的优点。探头直径小的内窥镜的一例是经鼻内窥镜。另一方面，探头直径越小，成像器的尺寸越小，因此分辨率降低。因此，考虑使用作为图像处理的一种的超解像技术来提高经鼻内窥镜的分辨率，生成犹如利用探头直径大的内窥镜所拍摄的那样的图像。
如上述的专利文献1那样，近年来，在从低分辨率彩色图像生成高分辨率彩色图像的超解像技术中，能够通过使用了深度学习的方法进行高精度的处理。在深度学习中，为了决定分辨率复原的参数，需要高分辨率图像和低分辨率图像的组合。由于分别拍摄并获得高分辨率图像和低分辨率图像在量上和质上是困难的，因此大多使用通过双三次法等方法单纯缩小高分辨率图像来生成低分辨率图像的方法。
即使在对内窥镜图像应用超解像的情况下，要不存在位置偏差地大量地拍摄体腔内的高分辨率图像和低分辨率图像也是困难的，因此需要进行根据高分辨率图像生成低分辨率图像的处理。但是，在使用双三次法等的图像缩小处理中，由于未考虑实际拍摄内窥镜图像的摄像系统，因此通过图像缩小处理得到的低分辨率图像的分辨率感与内窥镜图像的分辨率感不同。因此，存在无法从由小型成像器那样的低分辨率的成像器拍摄的图像复原高精度的超解析图像这样的课题。
图1是第一实施方式中的信息处理系统100的结构例和模型生成处理S300的处理流程。信息处理系统100包括：输入部1，其将处理对象图像10输入到处理部3；存储部2，其存储已学习模型20；以及处理部3，其进行分辨率复原处理。另外，也将输入部1、存储部2、处理部3分别称为输入装置、存储装置、处理装置。
信息处理系统100是进行使用了已学习模型20的推导的系统。本实施方式中的推导是从处理对象图像10对高分辨率图像进行分辨率复原的处理。已学习模型20通过模型生成处理S300而生成，并保存于存储部2。模型生成处理S300例如由与信息处理系统100不同的学习装置执行。或者，信息处理系统100也可以在学习阶段执行模型生成处理S300，在推导阶段进行使用已学习模型20的推导。在该情况下，信息处理系统100兼作为学习装置，例如处理部3执行学习处理。
首先，说明信息处理系统100的结构，之后说明推导处理的流程以及学习处理的流程。
输入部1例如是从摄像系统接收图像数据的图像数据接口、或者从存储装置(storage)读出图像数据的存储装置接口、或者从信息处理系统100的外部接收图像数据的通信接口等。输入部1将所取得的图像数据作为处理对象图像10输入到处理部3。在输入部1取得动态图像的情况下，将动态图像的帧图像作为处理对象图像10输入到处理部3。
存储部2是存储装置，例如是半导体存储器、或者硬盘驱动器、光盘驱动器等。在存储部2中预先存储有通过模型生成处理S300生成的已学习模型20。或者，也可以从服务器等外部装置经由网络向信息处理系统100输入已学习模型20，存储部2存储该已学习模型20。
处理部3使用存储于存储部2的已学习模型20，对处理对象图像10进行分辨率复原处理S200，由此从处理对象图像10复原高分辨率图像。复原后的高分辨率图像是映现与处理对象图像10相同的被摄体的图像，是分辨率比处理对象图像10高的图像。分辨率是表示在该图像中映现的被摄体被细微地解像到哪种程度的指标。分辨率例如依赖于图像的像素数、摄像所使用的光学系统的性能、摄像所使用的摄像元件的形式、以及对图像实施的图像处理的内容等。
将成为分辨率复原的目标的分辨率的摄像系统设为第一摄像系统。处理对象图像10由分辨率比第一摄像系统低的第二摄像系统拍摄。从处理对象图像10复原的高分辨率图像相当于由第一摄像系统拍摄与处理对象图像10相同的被摄体而获得的图像。摄像系统包括使被摄体成像的光学系统和对由光学系统成像的被摄体进行摄像的摄像元件。摄像元件也称为成像器。作为摄像元件，例如能够采用单色、拜耳型、补色型等各种形式。例如，第一摄像系统是具有粗径的镜体的第一内窥镜的摄像系统，第二摄像系统是具有直径比第一内窥镜的镜体的直径小的镜体的第二内窥镜的摄像系统。
构成处理部3的硬件例如是CPU等通用处理器。在该情况下，存储部2将记述有推导算法的程序和在该推导算法中使用的参数存储为已学习模型20。或者，处理部3也可以是推导算法被硬件化的专用处理器。专用处理器例如是ASIC(Application SpecificIntegrated Circuit：专用集成电路)或FPGA(Field Programmable Gate Array：现场可编程门阵列)等。在该情况下，存储部2将推导算法所使用的参数存储为已学习模型20。
推导算法可以应用神经网络。神经网络中的节点间连接的权重系数为参数。神经网络包括：输入层，被输入图像数据；中间层，对通过输入层输入的数据进行运算处理；以及输出层，基于从中间层输出的运算结果输出图像数据。作为用于分辨率复原处理S200的神经网络，优选CNN(Convolutional Neural Network：卷积神经网络)。但是，不限于CNN，能够采用各种AI(Artificial Intelligence：人工智能)技术。
图2表示分辨率复原处理S200的处理流程。
在步骤S201中，处理部3从输入部1读入处理对象图像10。在步骤S202中，处理部3从存储部2读入用于分辨率复原的已学习模型20。然后，在步骤S203中，使用在步骤S202中取得的已学习模型20对在步骤S201中取得的处理对象图像10进行分辨率复原处理，生成高分辨率图像。另外，S201和S202的顺序也可以调换。
图3表示模型生成处理S300的处理流程。学习装置包括执行模型生成处理S300的处理部。以下，将该处理部称为学习处理部。
在步骤S301中，学习处理部读入高分辨率学习用图像30。高分辨率学习用图像30是由上述的第一摄像系统拍摄的图像。在步骤S302、S303中，学习处理部读入在生成低分辨率学习用图像40时使用的光学系统信息50和摄像元件信息60。光学系统信息50是与第一摄像系统和第二摄像系统所具有的光学系统的分辨率相关的信息。摄像元件信息60是与第一摄像系统和第二摄像系统所具有的摄像元件的分辨率相关的信息。
在步骤S304中，学习处理部使用在步骤S302中取得的光学系统信息和在步骤S303中取得的摄像元件信息中的至少一方，对在步骤S301中取得的高分辨率学习用图像30进行低分辨率化处理，生成低分辨率学习用图像40。低分辨率学习用图像40相当于由第二摄像系统拍摄与高分辨率学习用图像30相同的被摄体而获得的图像，像素数与推导中的处理对象图像10相同。
在步骤S305中，学习处理部使用在步骤S301中取得的高分辨率学习用图像30和在步骤S304中取得的低分辨率学习用图像40，进行针对学习模型的分辨率复原学习处理。学习处理部使用多个高分辨率学习用图像30反复执行步骤S301～S305的学习处理，将该学习后的学习模型作为已学习模型20输出。学习处理中使用的学习模型的算法与推导中使用的已学习模型20相同。具体而言，学习模型是CNN，学习处理部计算CNN的各层的权重值和偏置值，并将这些值保存为已学习模型20。
另外，作为神经网络中的机器学习的算法，能够采用公知的各种学习算法。例如，能够采用使用误差反向传播法的有教师学习算法。
图4示出低分辨率化处理S304的处理流程。在图4中，学习处理部使用光学系统信息50和摄像元件信息60，从高分辨率学习用图像30生成低分辨率学习用图像40。
在步骤S401中，学习处理部取得获得高分辨率学习用图像30时的光学系统信息50和在低分辨率学习用图像40中使用的光学系统信息50。在此，光学系统信息50是指光学系统的焦距、光圈。学习处理部取得这些条件的情况下的PSF(Point Spread Function：点扩散函数)或OTF(Optical Transfer Function：光学传递函数)。即，学习处理部获取第一摄像系统的点扩散函数和第二摄像系统的点扩散函数，或者获取第一摄像系统的光学传递函数和第二摄像系统的光学传递函数。
在步骤S402中，学习处理部使用高分辨率学习用图像30的像素数、低分辨率学习用图像40的像素数以及摄像方式等信息，设定低分辨率学习用图像40相对于高分辨率学习用图像30的缩小倍率。例如，在高分辨率学习用图像30是640×480[像素]、低分辨率学习用图像40是320×240[像素]的情况下，缩小倍率纵横都是1/2。另外，S401和S402的顺序也可以调换。
在步骤S403中，学习处理部使用在步骤S401中计算出的光学系统信息对高分辨率学习用图像30附加模糊。例如，与取得了高分辨率学习用图像30的第一摄像系统的光学系统相比，与低分辨率学习用图像40对应的第二摄像系统的光学系统的性能较差。通常，为了防止混叠(Aliasing)等，使用双三次等滤波器事先进行去除图像的高频带的处理。由此，缩小后的图像的频带比缩小前的图像小，但仅通过该处理无法再现光学系统不同的情况下的频带的差异。因此，为了补偿光学系统的差异而对图像附加模糊。学习处理部通过使用在步骤S401中获取的第一摄像系统和第二摄像系统的PSF或者第一摄像系统和第二摄像系统的OTF来进行补偿，以使高分辨率学习图像的模糊与由第二摄像系统拍摄的图像的模糊相似。稍后将描述模糊处理的细节。
在步骤S404中，学习处理部针对在步骤S403中生成的图像，进行基于在步骤S402中计算出的缩小倍率的缩小处理。例如，学习处理部进行双三次或双线性等缩小处理。学习处理部将缩小处理后的图像作为低分辨率学习用图像40，执行步骤S305的分辨率复原学习处理。另外，步骤S403的模糊处理和步骤S404的缩小处理的顺序也可以相反。即，学习处理部也可以通过对高分辨率学习用图像30进行缩小处理，并对该缩小处理后的图像进行模糊处理，来生成低分辨率学习用图像40。
根据本实施方式，已学习模型20被学习为将低分辨率学习用图像40分辨率复原为高分辨率学习用图像30。高分辨率学习用图像30是由第一摄像系统拍摄规定被摄体而得到的高分辨率的图像。通过对高分辨率学习用图像30进行低分辨率化处理，生成低分辨率学习用图像40。低分辨率化处理是生成犹如由第二摄像系统拍摄规定被摄体那样的低分辨率的图像的处理。如在图4的S401～S403中说明的那样，低分辨率化处理包括模拟第二摄像系统的光学系统的分辨率特性的光学系统模拟处理。光学系统模拟处理例如是为了补偿第一摄像系统的光学系统的PSF与第二摄像系统的光学系统的PSF的差异，针对高分辨率学习用图像30，对PSF进行卷积运算的处理。
这样，能够从由第二摄像系统拍摄的处理对象图像10高精度地分辨率复原犹如由第一摄像系统拍摄那样的图像。即，在从高分辨率学习用图像30低分辨率化为低分辨率学习用图像40时，考虑光学系统的分辨率特性，因此能够生成具有与由第一摄像系统拍摄的处理对象图像10同等的分辨率的低分辨率学习用图像40。通过使用该低分辨率学习用图像40来学习复原参数，能够实现高性能的超解像处理。
将描述步骤S403中的模糊处理。在此，作为模糊处理的一例，说明第一、第二方法。
图20表示第一方法的模糊处理的处理流程。如步骤S410所示，学习处理部使用高分辨率的第一摄像系统和低分辨率的第二摄像系统的PSF对高分辨率学习用图像30附加模糊。PSF是表示针对光学系统的单位脉冲响应的函数，即表示光学系统成像点光源时的像分布的函数。如步骤S404所示，学习处理部对在步骤S410中得到的图像进行缩小处理，将其结果作为低分辨率学习用图像40输出。
对步骤S410的详细情况进行说明。学习处理部如步骤S411所示，针对高分辨率学习用图像30，对第一摄像系统的PSF进行反卷积，如步骤S412所示，针对高分辨率学习用图像30，对第二摄像系统的PSF进行卷积。具体而言，学习处理部通过下式(1)附加模糊。在下式(1)中，h1、h2分别是在步骤S401中取得的第一摄像系统的光学系统的PSF、第二摄像系统的光学系统的PSF，f是高分辨率学习用图像30，g是附加了模糊的图像，n是噪声项。*表示卷积运算。另外，也可以省略噪声项n。
[数式1]
图21表示第二方法的模糊处理的处理流程。如步骤S420所示，学习处理部使用高分辨率的第一摄像系统和低分辨率的第二摄像系统的光学系统的OTF对高分辨率学习用图像30附加模糊。OTF是表示针对光学系统的单位脉冲频率响应的函数，即表示光学系统成像点光源时的像分布的频率特性的函数。如步骤S404所示，学习处理部对在步骤S420中得到的图像进行缩小处理，将其结果作为低分辨率学习用图像40输出。
对步骤S420的详细情况进行说明。学习处理部读取第一摄像系统的光学系统和第二摄像系统的光学系统各自的OTF作为图1中的光学系统信息50。如图21的步骤S421所示，学习处理部通过对高分辨率学习用图像进行FFT(Fast Fourier Transform：快速傅里叶变换)来求出高分辨率学习用图像30的频率特性。在步骤S422和S423中，学习处理部计算高分辨率学习图像30的频率特性除以第一摄像系统的OTF以及乘以第二摄像系统的OTF的结果。在步骤S424中，学习处理部对作为计算结果的频率特性执行逆FFT。
根据本实施方式，通过使用OTF进行模糊处理，能够实现与使用PSF的第一方法实质上同样的运算。具体而言，如下式(2)所示，OTF与PSF处于傅立叶变换的关系。即，OTF的频率响应与实际空间中的光学系统的单位脉冲响应(PSF)一致。因此，通过执行图21的步骤S420中所示的使用OTF的模糊处理，可以获得与图20的步骤S410中所示的使用PSF的模糊处理实质上相同的结果。
[数式2]
OTF(fx，fy)＝∫∫PSF(x，y)e-i2π(fx×x+fy×y)dxdy…(2)
另外，在上述的实施方式中，使用PSF、OTF这样的传递函数来模拟第二摄像系统的光学系统的分辨率特性，但不限于此，也可以通过使用基于已知的光学系统的设计值的计算、机器学习来模拟第二摄像系统的光学系统的分辨率特性。
2.第二实施方式
在第二实施方式中，第二摄像系统包含同时式摄像元件，进行考虑了该摄像元件的形式的低分辨率化处理。具体而言，利用具有拜耳排列的摄像元件拍摄处理对象图像，通过去马赛克处理进行考虑了分辨率降低的低分辨率化处理。以下，以拜耳型摄像元件为例进行说明，但同时式摄像元件并不限定于拜耳型摄像元件。此外，对于与第一实施方式相同的结构以及处理，省略说明。
图5是第二实施方式中的信息处理系统100的结构例和模型生成处理S600的处理流程。信息处理系统100的结构和分辨率复原处理与图1和图2所示的第一实施方式中的结构和分辨率复原处理相同。
图6表示模型生成处理S600的处理流程。步骤S601～S603与第一实施方式的步骤S301～S303相同。
步骤S604～S606对应于图5的步骤S610所示的低分辨率化处理。步骤S604的缩小及模糊处理与图4所示的第一实施方式的步骤S401～S404对应。即，在步骤S604中，学习处理部使用光学系统信息对高分辨率学习用图像30附加模糊，使用摄像元件信息对该附加了模糊的图像进行缩小处理。缩小处理后的图像是在各像素中存在RGB像素值的低分辨率彩色图像41。
在步骤S605中，学习处理部对在步骤S604中生成的低分辨率彩色图像41进行马赛克配置处理。即，学习处理部使用在步骤S603中取得的摄像元件信息60，对低分辨率彩色图像41的像素值以拜耳状进行马赛克配置，从而生成低分辨率拜耳图像42。对低分辨率拜耳图像42的各像素分配RGB中的任意1色。例如，以低分辨率拜耳图像42的R像素为例，从与该R像素相同位置的低分辨率彩色图像41的像素中提取R像素值，将该R像素值分配给低分辨率拜耳图像42的R像素。低分辨率拜耳图像42的G和B像素也同样。
在步骤S606中，学习处理部通过对马赛克的低分辨率拜耳图像42执行去马赛克处理来再次对低分辨率拜耳图像42进行彩色化。该去马赛克处理后的图像成为低分辨率学习用图像40。例如，作为去马赛克处理，能够采用使用颜色相关的插值或双线性插值等现有处理。在已知生成处理对象图像10时的去马赛克处理的情况下，在步骤S606中，优选进行与该去马赛克处理同样的处理。
在步骤S607中，与第一实施方式的步骤S305同样地，使用在步骤S601中取得的高分辨率学习用图像30和在步骤S606中取得的低分辨率学习用图像40进行分辨率复原学习处理，生成已学习模型20。
根据本实施方式，第一摄像系统包含第一摄像方式的第一摄像元件。第二摄像系统包含像素数比第一摄像元件低且与第一摄像方式不同的第二摄像方式的第二摄像元件。低分辨率化处理S610还包括模拟第二摄像方式的摄像方式模拟处理。摄像方式模拟处理模拟从由第二摄像元件取得的图像信号而生成处理对象图像10时的图像处理。例如，如图5和图6所示，是马赛克配置处理S605和去马赛克处理S606。
从由摄像元件取得的图像信号而生成彩色图像时的图像处理根据摄像方式而不同。该图像处理对彩色图像的分辨率产生影响。根据本实施方式，通过在低分辨率化处理S610中进行摄像方式模拟处理，能够在低分辨率学习用图像40中再现处理对象图像10的分辨率感。由此，能够实现高性能的超解像。
另外，在本实施方式中，低分辨率化处理S610是对第一摄像方式的高分辨率学习用图像30进行缩小处理，并对缩小处理后的图像41进行摄像方式模拟处理的处理。摄像方式模拟处理是如下的处理：从缩小处理后的图像41而生成第二摄像方式的图像42(S605)，对所生成的第二摄像方式的图像42实施与生成处理对象图像10时的图像处理相同的图像处理(S606)，由此生成低分辨率学习用图像40。
这样，在从高分辨率学习用图像30暂时生成了第二摄像方式的图像42之后，对该图像42实施与生成处理对象图像10时的图像处理相同的图像处理。由此，能够模拟从由第二摄像元件取得的图像信号而生成处理对象图像10时的图像处理。
此外，在本实施方式中，第一摄像系统在依次照射多个波段的光的情况下，在照射各波段的光的时机通过单色摄像元件进行摄像，由此取得多个图像。高分辨率学习用图像30是合成了多个图像的面顺序式图像。第二摄像系统使用具有颜色相互不同的多个像素且对各像素分配了1个颜色的同时式摄像元件，取得对各像素分配了1个颜色的拜耳图像。低分辨率化处理S610是进行减少面顺序式图像(30)的像素数的缩小处理，并对缩小处理后的图像41进行摄像方式模拟处理的处理。在摄像方式模拟处理中，从缩小处理后的图像41构成低分辨率拜耳图像42(S605)。该低分辨率拜耳图像42相当于由第二摄像系统获取的拜耳图像。接着，在摄像方式模拟处理中，通过对低分辨拜耳图像42进行去马赛克处理(S606)来生成低分辨率学习用图像40。
具体而言，第二摄像元件具有分光灵敏度特性不同的多种像素。高分辨率学习用图像30是通过对使用单色摄像元件依次照射拍摄多个波段的光而取得的基于所述多个波段的光的摄像信号进行合成而生成的面顺序式图像。低分辨率学习用图像40是对由具有分光灵敏度不同的多种像素的同时式摄像元件构成的第二摄像系统拍摄的图像进行模拟而得到的图像。低分辨率化处理S610是如下处理：在模拟第二摄像方式时，基于由与同时式摄像元件具有的各像素的位置对应的位置的单色摄像元件的像素所取得的基于多个波段的光的信号中的、基于至少1个波段的光的信号，生成该各像素的信号，然后进行去马赛克处理(S606)，生成低分辨率学习用图像40。
这样，在第一摄像系统为面顺序方式、第二摄像系统为同时方式的情况下，在低分辨率化处理中，能够模拟作为第二摄像方式的同时方式。同时方式中的去马赛克处理对处理对象图像10的分辨率产生影响。根据本实施方式，通过在摄像方式模拟处理中进行去马赛克处理，能够在低分辨率学习用图像40中再现处理对象图像10的分辨率感。由此，能够实现高性能的超解像。
对第二实施方式的变形例进行说明。在变形例中，除了第二实施方式的学习处理之外，还基于降噪处理进行考虑了分辨率降低的低分辨率化处理。此外，对于与第一、第二实施方式相同的结构以及处理省略说明。
图7是第二实施方式的变形例中的信息处理系统100的结构例和模型生成处理S800的处理流程。信息处理系统100的结构和分辨率复原处理与图1和图2所示的第一实施方式中的结构和分辨率复原处理相同。
图8表示模型生成处理S800的处理流程。步骤S810的低分辨率化处理包括步骤S804～S807。步骤S801～S805与第二实施方式的步骤S601～S605相同。
在步骤S806中，学习处理部对在步骤S805中生成的马赛克状的低分辨率拜耳图像42执行降噪处理。例如，可以采用对拜耳图像的已知的降噪处理。在步骤S807中，学习处理部与第二实施方式的步骤S606同样地，通过对降噪处理后的图像进行去马赛克处理来生成低分辨率学习用图像40。在步骤S808中，与第一实施方式的步骤S305同样地，使用在步骤S801中取得的高分辨率学习用图像30和在步骤S807中取得的低分辨率学习用图像40进行分辨率复原学习处理，生成已学习模型20。
根据本实施方式，摄像方法模拟处理还包括针对低分辨率拜耳图像42的降噪处理(S806)。
降噪处理对处理对象图像10的分辨率产生影响。根据本实施方式，通过在摄像方式模拟处理中进行降噪处理，能够在低分辨率学习用图像40中再现处理对象图像10的分辨率感。由此，能够实现高性能的超解像。
3.第三实施方式
在第三实施方式中，检测拍摄了处理对象图像的摄像系统的种类，进行与该检测结果对应的分辨率复原。以下，以摄像方式根据摄像系统的种类而不同的情况为例进行说明，但并不限定于此，只要处理对象图像的分辨率根据摄像系统的种类而不同即可。例如，根据摄像系统的种类，像素数、光学系统等也可以不同。此外，对于与第一、第二实施方式相同的结构以及处理省略说明。
图9是第三实施方式中的信息处理系统100的结构例和模型生成处理S300、S600的处理流程。输入部1的结构和处理与第一实施方式相同。另外，模型生成处理S300、S600与第一、第二实施方式相同。
存储部2存储第一已学习模型21和第二已学习模型22。第一已学习模型21通过在第一实施方式中说明的模型生成处理S300来生成。第二已学习模型22通过在第二实施方式中说明的模型生成处理S600来生成。
处理部3进行检测摄像方式的摄像信息检测处理S250和使用该检测结果进行分辨率复原的分辨率复原处理S200。图10表示摄像信息检测处理S250以及分辨率复原处理S200的处理流程。
在步骤S1001中，处理部3从输入部1读入处理对象图像10。在步骤S1002中，处理部3从处理对象图像10中检测摄像信息，根据该摄像信息判断摄像方式。摄像信息例如是处理对象图像10的颜色分布、基于面顺序式的边缘部的颜色偏差量、或者像素数等图像信息。摄像方式是面顺序方式或同时方式。在以面顺序方式拍摄处理对象图像10时，处理对象图像10具有与面顺序方式对应的摄像信息，在以同时方式拍摄处理对象图像10时，处理对象图像10具有与同时方式对应的摄像信息。
对摄像方式进行补充说明。另外，以下以拍摄RGB的白色图像的情况为例进行说明。在面顺序方式中，光源依次发出R光、G光以及B光。摄像系统具有单色摄像元件，在光源发出R光的时机拍摄R图像，在光源发出G光的时机拍摄G图像，在光源发出B光的时机拍摄B图像。通过合成这3色的图像来生成彩色图像。在同时方式中，光源发出白色光。白色光例如具有覆盖可见光区域的连续光谱。摄像系统具有拜耳型摄像元件，拍摄拜耳排列的图像。通过对该拜耳排列的图像进行去马赛克处理而生成彩色图像。
对摄像信息进行补充说明。首先，对颜色分布进行说明。如上所述，在面顺序方式和同时方式中光源不同。因此，例如生物体的红色等图像的色调被不同地映现。处理部3通过使用色相等来判断图像的色调，从而判断摄像方式。接着，对边缘部的颜色偏差量进行说明。如上所述，在面顺序方式中，RGB的摄像时机不同，因此在RGB中被摄体位置偏移。处理部3使用匹配处理等检测边缘部的颜色偏差量，在该颜色偏差量大于规定值的情况下，判断为摄像方式是面顺序方式。接着，对像素数进行说明。如上所述，在面顺序方式和同时方式中摄像元件不同，因此有时摄像图像的像素数不同。处理部3根据处理对象图像10的像素数来判断摄像方式。
在步骤S1003中，处理部3从存储部2读出与在步骤S1002中判断出的摄像方式对应的已学习模型。即，处理部3在判断为摄像方式是面顺序方式时，从存储部2读出第一已学习模型21，在判断为摄像方式是同时方式时，从存储部2读出第二已学习模型22。
在步骤S1004中，处理部3使用在步骤S1003中取得的已学习模型对在步骤S1001中取得的处理对象图像10进行分辨率复原处理，生成高分辨率图像。
根据本实施方式，存储部2存储与第二摄像系统对应的已学习模型即第一已学习模型21、和与进行分辨率比第一摄像系统低的摄像的第三摄像系统对应的第二已学习模型22。输入部1将由第二摄像系统拍摄的第一处理对象图像或由第三摄像系统拍摄的第二处理对象图像作为处理对象图像10输入到处理部3。处理部3使用第一已学习模型21进行针对第一处理对象图像的分辨率复原，使用第二已学习模型22进行针对第二处理对象图像的分辨率复原。
这样，选择与拍摄了处理对象图像10的摄像系统对应的已学习模型。由此，能够实现与多个摄像系统对应的高性能的超解像。即，根据各摄像系统选择具有适当的复原参数的已学习模型，因此能够与摄像系统无关地实现高性能的超解像。
另外，在本实施方式中，处理部3从处理对象图像10中检测拍摄了处理对象图像10的摄像系统的种类。处理部3在基于检测结果判断为输入了第一处理对象图像时，选择第一已学习模型21，在基于检测结果判断为输入了第二处理对象图像时，选择第二已学习模型22。
这样，能够根据处理对象图像10判断摄像系统的种类，选择与该摄像系统的种类对应的已学习模型。
4.第四实施方式
在第四实施方式中，将信息处理系统用于内窥镜系统。内窥镜系统能够装卸各种内窥镜镜体。在第四实施方式中，根据安装于内窥镜系统中的内窥镜镜体进行分辨率复原。具体而言，检测内窥镜镜体的摄像系统的种类，进行与该检测结果对应的分辨率复原。以下，以摄像方式根据摄像系统的种类而不同的情况为例进行说明，但并不限定于此，只要处理对象图像的分辨率根据摄像系统的种类而不同即可。例如，根据摄像系统的种类，像素数、光学系统等也可以不同。另外，对于与第一～第三实施方式相同的结构以及处理省略说明。
图11是第四实施方式中的内窥镜系统200的结构例和模型生成处理S300、S600的处理流程。内窥镜系统200包括处理器单元4和与处理器单元4连接的内窥镜镜体5。处理器单元4包括输入部1、存储部2和处理部3。输入部1与第一实施方式相同，存储部2与第三实施方式相同，模型生成处理S300、S600与第一、第二实施方式相同。
处理部3进行检测与处理器单元4连接的内窥镜镜体5的摄像方式的摄像信息检测处理S260和使用该检测结果进行分辨率复原的分辨率复原处理S200。图12示出摄像信息检测处理S260以及分辨率复原处理S200的处理流程。
在步骤S1201中，处理部3从输入部1读入处理对象图像10。在步骤S1202中，处理部3检测内窥镜镜体5的ID。ID中包含内窥镜镜体5具有的摄像系统的光学系统信息和摄像方式信息。在步骤S1203中，处理部3从存储部2读入与在步骤S1202中检测出的ID对应的已学习模型。即，在ID表示面顺序方式的情况下，处理部3从存储部2读出第一已学习模型21，在ID表示同时方式的情况下，处理部3从存储部2读出第二已学习模型22。在步骤S1204中，处理部3使用在步骤S1203中取得的已学习模型对在步骤S1201中取得的处理对象图像10进行分辨率复原处理，生成高分辨率图像。
根据本实施方式，处理部3检测与处理器单元4连接的内窥镜镜体5的ID信息。处理部3在根据ID信息判断为内窥镜镜体5包含第二摄像系统时，选择第一已学习模型21，在根据ID信息判断为内窥镜镜体5包含第三摄像系统时，选择第二已学习模型22。
这样，选择与内窥镜镜体的ID信息对应的已学习模型。由此，能够实现与多种内窥镜镜体对应的高性能的超解像。即，根据各种内窥镜镜体选择具有适当的复原参数的已学习模型，因此能够与内窥镜镜体的种类无关地实现高性能的超解像。
5.变形例
以下，对各种变形实施例进行说明。
对第一变形例进行说明。在第一～第四实施方式中，低分辨率化处理使用了光学系统信息和摄像元件信息中的至少一方，但也可以进一步使用光源的信息。在第一变形例中，根据拍摄处理对象图像时的光源来切换低分辨率化处理。具体而言，光源根据观察方式而不同，因此与光源对应的切换也可以说是与观察方式对应的切换。
观察方式也被称为观察模式。作为观察方式，例如有使用白色照明光的WLI(WhiteLight Imaging：白色光成像)、使用不是白色光的特殊光的特殊光观察等。以下，以特殊光观察是使用2个窄带光的NBI(Narrow Band Imaging：窄带成像)的情况为例进行说明。2个窄带光是蓝色的波段所包含的窄带光和绿色的波段所包含的窄带光。在WLI和NBI中，根据摄像元件输出的图像信号生成彩色图像时的图像处理不同。例如，去马赛克处理的内容或图像处理中的参数不同。
图13是第一变形例中的信息处理系统100的结构例以及模型生成处理S500的处理流程。
在模型生成处理S500的低分辨率化处理S510中，学习处理部取得观察方式信息70，根据该观察方式信息70切换处理。观察方式信息70是表示拍摄处理对象图像10时的观察方式的信息。在观察方式信息70表示WLI的情况下，学习处理部选择WLI用处理S511，在观察方式信息表示NBI的情况下，学习处理部选择NBI用处理S512。WLI用处理S511以及NBI用处理S512是将高分辨率学习用图像30低分辨率化为低分辨率学习用图像40的处理。例如，WLI用处理S511在去马赛克处理中使用G图像对R图像以及B图像进行插值。另一方面，NBI用处理S512在去马赛克处理中分别独立地对G图像和B图像进行插值。
根据第一变形例，通过与第一摄像系统进行拍摄时使用的光源对应的图像处理而生成处理对象图像10。低分辨率化处理S510包括与光源对应的图像处理(S511、S512)。
这样，能够与观察方式无关地实现高性能的超解像处理。即，由于图像处理根据观察方式而不同，因此处理对象图像的分辨率也发生变化。根据第一变形例，通过根据观察方式切换图像处理，能够生成与处理对象图像的分辨率感同等的低分辨率学习用图像。由此，能够提高超解像的精度。
对第二变形例进行说明。在第二实施方式中，将拜耳图像设为低分辨率学习用图像的图像处理是去马赛克处理、或者是去马赛克处理及降噪处理，但图像处理不限于此。将拜耳图像设为低分辨率学习用图像的图像处理也可以包含缺陷像素的校正或边缘强调处理等各种图像处理。
对第三变形例进行说明。在第一实施方式中，为了生成反映了光学系统信息的低分辨率学习用图像，使用2个光学系统的PSF或OTF对图像附加了模糊，但模糊附加的方法不限于此。也可以使用利用第一摄像系统的光学系统所拍摄的图像和利用第二摄像系统的光学系统所拍摄的图像，实验性地决定对图像附加的模糊量。具体而言，生成多个通过高斯等对模糊进行近似的2维滤波器。多个2维滤波器对相互不同的模糊量进行近似。对使用第一摄像系统的光学系统所拍摄的图像生成多个2维滤波器，将得到的多个图像与使用第二摄像系统的光学系统所拍摄的图像进行比较。基于该比较结果，选择对最佳的模糊量进行近似的2维滤波器。
根据第三变形例，能够简单地进行反映了光学系统信息的低分辨率化处理。即，即使在不知道摄像系统的PSF或OTF的情况下，也能够通过高斯等的2维滤波器来近似光学系统的分辨率特性。
对第四变形例进行说明。在第二实施方式中，说明了同时式摄像元件是拜耳型摄像元件的例子，但同时式摄像元件不限于此，也可以是具有任意的颜色排列的摄像元件。例如，同时式摄像元件可以具有图14所示的补色排列，或者也可以具有图15所示的原色像素和补色像素混合存在的排列。在图14的补色型摄像元件中，在2×2像素的单元内配置青色(Cy)像素、品红色(Mg)像素、黄色(Ye)像素以及绿色(G)像素，重复配置该单元。在图15的混合型摄像元件中，在2×2像素的单元内配置红色(R)像素、绿色(G)像素、蓝色(B)像素以及青色(Cy)像素，重复配置该单元。
如果考虑第四变形例，则同时式摄像元件例如是如下的结构。例如，同时式摄像元件也可以具有设置有Cy、Mg、Ye、G的滤色器的Cy像素、Mg像素、Ye像素、G像素这4色的像素中的至少2色的像素。或者，同时式摄像元件也可以具有由设置了Cy、Mg、Ye、G的滤色器的Cy像素、Mg像素、Ye像素、G像素这4色的像素构成的补色系排列。或者，同时式摄像元件也可以具有设置有R、G、B这3色的滤色器的R像素、G像素、B像素这3色的像素中的至少2色的像素。或者，同时式摄像元件也可以具有拜耳排列。
对第五变形例进行说明。在第三实施方式中，从处理对象图像中检测出表示摄像系统的种类的摄像信息，但检测摄像信息的方法不限于此。例如，在用户预先掌握了处理对象图像的摄像信息的情况下，用户也可以将该信息输入到信息处理系统100。
对第六变形例进行说明。在第二实施方式中，通过对以面顺序式拍摄的高分辨率学习用图像进行马赛克配置来生成低分辨率拜耳图像。假设低分辨率拜耳图像是以同时式拍摄的图像。如上所述，在面顺序式中会产生颜色偏差，但在同时式中不会产生颜色偏差，因此从超解像精度的观点出发，不希望从颜色偏差多的场景的图像生成低分辨率拜耳图像。
图16是第六变形例中的信息处理系统100的结构例以及模型生成处理S700的处理流程。信息处理系统100的结构和操作与第二实施方式中的相同。
在模型生成处理S700中，学习处理部对高分辨率学习用图像30进行颜色偏差判定处理S710。学习处理部对颜色偏差量小于规定值的高分辨率学习用图像30进行低分辨率化处理S610，生成低分辨率学习用图像40。在颜色偏差判定处理S710中，例如将图像的饱和部周边等的着色量与规定的阈值进行比较。
根据第六变形例，第一摄像系统在依次照射多个波段的光的情况下，在照射各波段的光的时机通过单色摄像元件进行拍摄，由此取得多个图像。高分辨率学习用图像30是合成了多个图像的面顺序式图像。已学习模型20是使用面顺序式图像中的颜色偏差量为预先设定的阈值以下的面顺序式图像(30)来学习的。
这样，能够仅使用颜色偏差少的场景来进行分辨率复原的学习。由此，能够在抑制颜色偏差的影响的同时，对由同时式的低分辨率摄像元件拍摄的图像也实现高性能的超解像处理。
对第七变形例进行说明。在第一实施方式中，通过对高分辨率学习用图像30进行低分辨率化处理而输出了低分辨率学习用图像40，但也可以除了对高分辨率学习用图像30进行低分辨率化处理之外还进行已知的灰度(Grayscale)化处理，输出单色的低分辨率学习用图像。
通过使用单色的低分辨率学习用图像进行分辨率复原学习处理，即使由第二摄像系统拍摄的处理对象图像10是单色，已学习模型不仅能够对处理对象图像10进行分辨率复原，还能够再现处理对象图像10的被摄体的实际的色调。
6.学习装置、内窥镜系统
图17是执行上述的模型生成处理的学习装置350的结构例。学习装置350包括处理部351、存储部352、操作部353和显示部354。例如，学习装置350是PC或服务器等信息处理装置。处理部351是CPU等处理器。处理部351进行针对学习模型的机器学习而生成已学习模型。存储部352是半导体存储器或硬盘驱动器等存储装置。操作部353是鼠标或触摸面板、键盘等各种操作输入装置。显示部354是液晶显示器等显示装置。此外，学习装置350也可以是通过网络连接的多个信息处理装置进行并行处理的云系统。或者，图1等的信息处理系统100也可以兼作为学习装置。在该情况下，处理部3、存储部2分别兼作为学习装置350的处理部351、存储部352。
学习装置350生成的已学习模型存储于信息处理系统100的存储部2中。此外，已学习模型也可以保存在作为能够由计算机读取的介质的信息存储介质中。信息存储介质例如能够通过光盘、存储卡、HDD或者半导体存储器等来实现。半导体存储器例如是ROM。信息处理系统100读出存储在信息存储介质中的程序和数据，并基于该程序和数据进行本实施方式的各种处理。即，在信息存储介质中存储有用于使计算机执行本实施方式的已学习模型的程序和参数。计算机是具备输入装置以及处理部、存储部、输出部的装置。程序是用于使计算机执行已学习模型的推导算法的程序。参数是推导算法中使用的参数，例如是神经网络中的节点间连接的权重系数。作为信息记录介质，能够设想DVD、CD等光盘、光磁盘、硬盘、非易失性存储器、RAM等存储器等能够由计算机读取的各种记录介质。
图18是包含信息处理系统100的内窥镜系统200的第一结构例。内窥镜系统200包括处理器单元4、内窥镜镜体5、操作部230和显示部240。
在内窥镜镜体5的前端部设置有摄像装置，其前端部插入到体腔内。摄像装置是上述的第二摄像系统。摄像装置拍摄腹腔内的图像，将其摄像数据从内窥镜镜体5发送到处理器单元4。
处理器单元4是进行内窥镜系统200中的各种处理的装置。例如，处理器单元4进行内窥镜系统200的控制和图像处理等。处理器单元4包括信息处理系统100、存储装置(storage)部211、控制部212和输出部213。
控制部212控制内窥镜系统200的各部。例如，根据从操作部230输入的信息，进行内窥镜系统200的模式切换、变焦动作、显示切换等。操作部230是用于供用户操作内窥镜系统200的装置。例如，操作部230是按钮、或者拨盘、脚踏开关、触摸面板等。另外，省略了控制部212与各部的连接的图示。
存储装置部211记录内窥镜镜体5拍摄的图像。存储装置部211例如是半导体存储器、硬盘驱动器或光学驱动器等。
信息处理系统100包括摄像数据接收部110、存储装置接口120、处理部3和存储部2。摄像数据接收部110接收来自内窥镜镜体5的摄像数据。摄像数据接收部110例如是与内窥镜镜体5的线缆连接的连接器或接收摄像数据的接口电路等。存储装置接口120是用于访问存储装置部211的接口。存储装置接口120将摄像数据接收部110接收到的图像数据记录在存储装置部211中。在再现所记录的图像数据时，存储装置接口120从存储装置部211读出图像数据，将该图像数据发送到处理部3。处理部3将来自摄像数据接收部110或存储装置接口120的图像数据作为处理对象图像进行分辨率复原处理。处理部3输出复原后的高分辨率图像。
第一～第四实施方式中的输入部1在图18中与摄像数据接收部110或存储装置接口120对应。
输出部213是控制向显示部240的图像显示的显示控制器，使从处理部3输出的高分辨率图像显示于显示部240。显示部240是显示从输出部213输出的图像的监视器，例如是液晶显示器或有机EL显示器等显示装置。
另外，内窥镜系统200能够包含未图示的光源。光源产生照明光。内窥镜镜体5包含：光导，其将光源生成的照明光引导至镜体前端部；以及照明透镜，其使被引导的照明光扩散。
图19是包含信息处理系统100的内窥镜系统200的第二结构例。内窥镜系统200包括信息处理系统100、处理器单元4、内窥镜镜体5、操作部230和显示部240。
在图19中，信息处理系统100设置在处理器单元4的外部。信息处理系统100和处理器单元4例如可以通过USB等设备间通信来连接，或者也可以通过LAN或WAN等网络通信来连接。信息处理系统100由1个或多个信息处理装置构成。在信息处理系统100由多个信息处理装置构成的情况下，信息处理系统100也可以是经由网络连接的多个PC或者多个服务器等进行并行处理的云系统。
处理器单元4包括摄像数据接收部110、处理部214、外部接口215、控制部212和输出部213。处理部214将摄像数据接收部110接收到的图像数据经由外部接口215发送到信息处理系统100。信息处理系统100对接收到的图像数据进行超解像处理而生成高分辨率图像。外部接口215接收从信息处理系统100发送的高分辨率图像，并将该高分辨率图像输出到处理部214。处理部214将高分辨率图像输出到输出部213，输出部213使高分辨率图像显示于显示部240。
信息处理系统100包括外部接口130、处理部3、存储部2、存储装置接口120和存储装置部211。外部接口130接收从处理器单元4发送的图像数据。存储装置接口120和存储装置部211与第一结构例相同。处理部3将来自外部接口130或存储装置接口120的图像数据作为处理对象图像进行分辨率复原处理。处理部3将复原后的高分辨率图像输出至外部接口130，外部接口130将高分辨率图像发送至处理器单元4。
第一～第四实施方式中的输入部1在图19中与外部接口130或存储接口120对应。
以上，对应用了本发明的实施方式及其变形例进行了说明，但本发明并不是由各实施方式及其变形例直接限定，在实施阶段，能够在不脱离发明的主旨的范围内对构成要素进行变形而具体化。另外，通过适当组合上述的各实施方式、变形例所公开的多个构成要素，能够形成各种发明。例如，也可以从各实施方式、变形例所记载的全部构成要素中删除几个构成要素。进而，也可以适当组合在不同的实施方式、变形例中说明的构成要素。这样，在不脱离发明的主旨的范围内能够进行各种变形、应用。另外，在说明书或附图中，至少一次与更广义或同义的不同用语一起记载的用语在说明书或附图的任何位置都能够置换为该不同用语。
标号说明
1输入部、2存储部、3处理部、4处理器单元、5内窥镜镜体、10处理对象图像、20已学习模型、21第一已学习模型、22第二已学习模型、30高分辨率学习用图像、40低分辨率学习用图像、41低分辨率彩色图像、42低分辨率拜耳图像、50光学系统信息、60摄像元件信息、70观察方式信息、100信息处理系统、110摄像数据接收部、120存储装置接口、130外部接口、200内窥镜系统、211存储装置部、212控制部、213输出部、214处理部、215外部接口、230操作部、240显示部、350学习装置、351处理部、352存储部、353操作部、354显示部

Claims (17)

1.一种信息处理系统，其特征在于，所述信息处理系统包括：
存储部，其存储已学习模型；
处理部；以及
输入部，其将由包括第二摄像元件的第二摄像系统所拍摄的处理对象图像输入到所述处理部，其中该第二摄像元件的像素数比包括第一摄像方式的第一摄像元件的第一摄像系统的像素数低且该第二摄像元件的摄像方式是与所述第一摄像方式不同的第二摄像方式，
所述已学习模型是被学习为将低分辨率学习用图像分辨率复原为高分辨率学习用图像的已学习模型，
所述高分辨率学习用图像是由所述第一摄像系统拍摄规定被摄体的高分辨率的图像，
所述低分辨率学习用图像是通过对所述高分辨率学习用图像进行低分辨率化处理而生成的，
所述低分辨率化处理是生成犹如由所述第二摄像系统拍摄所述规定被摄体那样的低分辨率的图像的处理、以及对所述第二摄像方式进行模拟的摄像方式模拟处理，包括对所述第二摄像系统的光学系统的分辨率特性进行模拟的光学系统模拟处理，
所述处理部使用所述已学习模型，将所述处理对象图像分辨率复原为由所述第一摄像系统拍摄时的分辨率。
2.根据权利要求1所述的信息处理系统，其特征在于，
所述低分辨率化处理在所述光学系统模拟处理中，基于所述第二摄像系统的传递函数来模拟所述分辨率特性。
3.根据权利要求2所述的信息处理系统，其特征在于，
在所述低分辨率化处理中，通过对所述高分辨率学习用图像进行所述第一摄像系统的点扩散函数的反卷积运算以及所述第二摄像系统的点扩散函数的卷积运算，来模拟所述分辨率特性。
4.根据权利要求2所述的信息处理系统，其特征在于，
在所述低分辨率化处理中，对所述高分辨率学习用图像进行傅立叶变换，将作为所述傅立叶变换的结果的所述高分辨率学习用图像的频率特性除以所述第一摄像系统的光学传递函数以及乘以所述第二摄像系统的光学传递函数，对计算出的频率特性进行傅立叶逆变换，从而模拟所述分辨率特性。
5.根据权利要求1所述的信息处理系统，其特征在于，
所述第二摄像元件是内窥镜的摄像元件。
6.根据权利要求1所述的信息处理系统，其特征在于，
所述处理对象图像是通过对所述第二摄像方式的图像进行图像处理而生成的图像，
所述低分辨率化处理是对所述第一摄像方式的所述高分辨率学习用图像进行缩小处理，并对缩小处理后的图像进行所述摄像方式模拟处理的处理，
所述摄像方式模拟处理是如下的处理：从所述缩小处理后的图像生成所述第二摄像方式的图像，对所生成的所述第二摄像方式的图像实施与所述图像处理相同的图像处理，由此生成所述低分辨率学习用图像。
7.根据权利要求1所述的信息处理系统，其特征在于，
在依次照射多个波段的光的情况下，所述第一摄像系统在照射各波段的光的时机通过单色摄像元件进行拍摄，从而取得多个图像，
所述高分辨率学习用图像是合成了所述多个图像的面顺序式图像，
所述第二摄像系统使用同时式摄像元件取得马赛克图像，其中该同时式摄像元件是具有颜色相互不同的多个像素且对各像素分配1个颜色的摄像元件，该马赛克图像是对各像素分配1个颜色的图像，
所述低分辨率化处理是如下的处理：进行减少所述面顺序式图像的像素数的缩小处理，并对缩小处理后的图像进行所述摄像方式模拟处理，
所述摄像方式模拟处理是如下的处理：根据所述缩小处理后的图像构成所述马赛克图像，通过对所述马赛克图像进行去马赛克处理来生成所述低分辨率学习用图像。
8.根据权利要求7所述的信息处理系统，其特征在于，
所述摄像方式模拟处理还包括针对所述马赛克图像的降噪处理。
9.根据权利要求1所述的信息处理系统，其特征在于，
所述处理对象图像是通过与所述第一摄像系统进行拍摄时使用的光源对应的图像处理而生成的，
所述低分辨率化处理包括与所述光源对应的所述图像处理。
10.根据权利要求1所述的信息处理系统，其特征在于，
在依次照射多个波段的光的情况下，所述第一摄像系统在照射各波段的光的时机通过单色摄像元件进行拍摄，从而取得多个图像，
所述高分辨率学习用图像是合成了所述多个图像的面顺序式图像，
所述已学习模型使用所述面顺序式图像中的颜色偏差量为预先设定的阈值以下的所述面顺序式图像来进行学习。
11.根据权利要求1所述的信息处理系统，其特征在于，
所述低分辨率学习用图像是通过对所述高分辨率学习用图像进行所述低分辨率化处理和灰度化处理而生成的。
12.根据权利要求1所述的信息处理系统，其特征在于，
所述存储部存储第一已学习模型和第二已学习模型，其中该第一已学习模型是与所述第二摄像系统对应的所述已学习模型，该第二已学习模型是与进行分辨率比所述第一摄像系统低的拍摄的第三摄像系统对应的模型，
所述输入部将由所述第二摄像系统拍摄的第一处理对象图像或由所述第三摄像系统拍摄的第二处理对象图像作为所述处理对象图像输入到所述处理部，
所述处理部使用所述第一已学习模型来进行针对所述第一处理对象图像的所述分辨率复原，使用所述第二已学习模型来进行针对所述第二处理对象图像的所述分辨率复原。
13.根据权利要求12所述的信息处理系统，其特征在于，
所述处理部从所述处理对象图像中检测拍摄了所述处理对象图像的摄像系统的种类，在基于检测结果判断为输入了所述第一处理对象图像时，选择所述第一已学习模型，在基于所述检测结果判断为输入了所述第二处理对象图像时，选择所述第二已学习模型。
14.一种内窥镜系统，其特征在于，所述内窥镜系统包括：
处理器单元，其具有权利要求12所述的信息处理系统；以及
内窥镜镜体，其能够在所述处理器单元上拆装，拍摄所述处理对象图像并发送到所述输入部，
所述处理部检测与所述处理器单元连接的所述内窥镜镜体的ID信息，在根据所述ID信息判断为所述内窥镜镜体包含所述第二摄像系统时，选择所述第一已学习模型，在根据所述ID信息判断为所述内窥镜镜体包含所述第三摄像系统时，选择所述第二已学习模型。
15.一种内窥镜系统，其特征在于，所述内窥镜系统包括：
处理器单元，其具有权利要求1所述的信息处理系统；以及
内窥镜镜体，其与所述处理器单元连接，拍摄所述处理对象图像并发送到所述输入部。
16.一种信息存储介质，其存储有已学习模型，该已学习模型使计算机发挥功能，将由进行分辨率比第一摄像系统低的拍摄的第二摄像系统拍摄的处理对象图像分辨率复原为由所述第一摄像系统拍摄时的分辨率，其特征在于，
所述已学习模型被学习为将低分辨率学习用图像分辨率复原为高分辨率学习用图像，
所述高分辨率学习用图像是由包含第一摄像方式的第一摄像元件的所述第一摄像系统拍摄规定被摄体的高分辨率的图像，
所述低分辨率学习用图像是通过对所述高分辨率学习用图像进行低分辨率化处理而生成的，
所述低分辨率化处理是生成犹如由所述第二摄像系统拍摄所述规定被摄体那样的低分辨率的图像的处理，包括对所述第二摄像系统的光学系统的分辨率特性进行模拟的光学系统模拟处理，其中该第二摄像系统包括像素数低、且摄像方式为与所述第一摄像方式不同的第二摄像方式的第二摄像元件。
17.一种信息处理方法，该信息处理方法使用已学习模型进行分辨率复原，其特征在于，
所述已学习模型被学习为将低分辨率学习用图像分辨率复原为高分辨率学习用图像，
所述高分辨率学习用图像是由包含第一摄像方式的第一摄像元件的第一摄像系统拍摄规定被摄体的高分辨率的图像，
所述低分辨率学习用图像是通过对所述高分辨率学习用图像进行低分辨率化处理而生成的，
所述低分辨率化处理是生成犹如由第二摄像系统拍摄所述规定被摄体那样的低分辨率的图像的处理，包括对所述第二摄像系统的光学系统的分辨率特性进行模拟的光学系统模拟处理，其中该第二摄像系统包括像素数低、且摄像方式为与所述第一摄像方式不同的第二摄像方式的第二摄像元件，
使用所述已学习模型，将由进行分辨率比所述第一摄像系统低的拍摄的所述第二摄像系统所拍摄的处理对象图像分辨率复原为由所述第一摄像系统拍摄时的分辨率。
CN201980101970.1A 2019-11-08 2019-11-08 信息处理系统、内窥镜系统、信息存储介质及信息处理方法 Active CN114651439B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/043806 WO2021090469A1 (ja) 2019-11-08 2019-11-08 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法

Publications (2)

Publication Number Publication Date
CN114651439A CN114651439A (zh) 2022-06-21
CN114651439B true CN114651439B (zh) 2024-03-05

Family

ID=75848306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980101970.1A Active CN114651439B (zh) 2019-11-08 2019-11-08 信息处理系统、内窥镜系统、信息存储介质及信息处理方法

Country Status (4)

Country Link
US (1) US20220253979A1 (zh)
JP (1) JP7303896B2 (zh)
CN (1) CN114651439B (zh)
WO (1) WO2021090469A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022181572A (ja) * 2021-05-26 2022-12-08 キヤノン株式会社 画像処理方法、画像処理装置、プログラム、訓練済み機械学習モデルの製造方法、処理装置、画像処理システム
CN115689896B (zh) * 2023-01-05 2023-06-27 荣耀终端有限公司 图像处理方法和图像处理装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006059504A1 (ja) * 2004-11-30 2006-06-08 Matsushita Electric Industrial Co., Ltd. 画像処理方法、画像処理装置、画像処理プログラムおよび画像ファイルフォーマット
CN101682691A (zh) * 2008-02-06 2010-03-24 松下电器产业株式会社 图像处理装置及图像处理方法
JP2010250774A (ja) * 2009-04-20 2010-11-04 Fujifilm Corp 画像処理装置、画像処理方法およびプログラム
CN102789632A (zh) * 2011-05-19 2012-11-21 索尼公司 学习装置和方法、图像处理装置和方法、程序和记录介质
JP2016092596A (ja) * 2014-11-04 2016-05-23 キヤノン株式会社 撮像装置、画像処理装置及びそれらの制御方法
JP2016100795A (ja) * 2014-11-21 2016-05-30 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2018005841A (ja) * 2016-07-08 2018-01-11 株式会社トプコン 医用画像処理方法及び医用画像処理装置
JP2018195069A (ja) * 2017-05-17 2018-12-06 キヤノン株式会社 画像処理装置および画像処理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006059504A1 (ja) * 2004-11-30 2006-06-08 Matsushita Electric Industrial Co., Ltd. 画像処理方法、画像処理装置、画像処理プログラムおよび画像ファイルフォーマット
CN101682691A (zh) * 2008-02-06 2010-03-24 松下电器产业株式会社 图像处理装置及图像处理方法
JP2010250774A (ja) * 2009-04-20 2010-11-04 Fujifilm Corp 画像処理装置、画像処理方法およびプログラム
CN102789632A (zh) * 2011-05-19 2012-11-21 索尼公司 学习装置和方法、图像处理装置和方法、程序和记录介质
JP2016092596A (ja) * 2014-11-04 2016-05-23 キヤノン株式会社 撮像装置、画像処理装置及びそれらの制御方法
JP2016100795A (ja) * 2014-11-21 2016-05-30 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2018005841A (ja) * 2016-07-08 2018-01-11 株式会社トプコン 医用画像処理方法及び医用画像処理装置
JP2018195069A (ja) * 2017-05-17 2018-12-06 キヤノン株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
WO2021090469A1 (ja) 2021-05-14
JPWO2021090469A1 (zh) 2021-05-14
JP7303896B2 (ja) 2023-07-05
CN114651439A (zh) 2022-06-21
US20220253979A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
US20240029199A1 (en) Efficient Image Demosaicing and Local Contrast Enhancement
CN104619237B (zh) 光不足环境中的ycbcr脉冲调制的照明方案
JP5451782B2 (ja) 画像処理装置および画像処理方法
US10254529B2 (en) Method and apparatus for calibrating image sensor array in microscopic imaging system
JP5235642B2 (ja) 画像処理装置およびその方法
JP2017117462A5 (zh)
KR20190003524A (ko) 컬러 및 모노 이미지들의 쉬프트 및 매칭 융합
JP5006814B2 (ja) 撮像装置
KR20140103171A (ko) 화상 처리장치, 화상 처리 시스템, 화상 처리방법 및 기억매체
JP2009194896A (ja) 画像処理装置及び方法並びに撮像装置
CN114651439B (zh) 信息处理系统、内窥镜系统、信息存储介质及信息处理方法
JP2007243334A (ja) 撮像装置
WO2023226218A1 (zh) 轴对称光学成像并行仿真方法及装置
JP2015122634A (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
Song et al. Real-scene reflection removal with raw-rgb image pairs
JP2006014315A (ja) カラー画像記録再生システム及び表色ベクトルデータ生成方法
JP2012003454A (ja) 画像処理装置、撮像装置および画像処理プログラム
US11663708B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JPWO2021090469A5 (zh)
JP2006262062A (ja) 画像処理装置および画像処理プログラム
JP2007049301A (ja) 画像処理装置及び画像処理方法
JP2011114576A (ja) 撮像装置、撮像方法、及びプログラム
JP2004056640A (ja) 補色系単板式カラーディジタルカメラにおける撮像画像の補間方法、その補間装置及びそれを備えたディジタルカメラ
WO2019012647A1 (ja) 画像処理装置、画像処理方法およびプログラム記憶媒体
WO2024053046A1 (ja) 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant