CN105391931A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN105391931A
CN105391931A CN201510430185.4A CN201510430185A CN105391931A CN 105391931 A CN105391931 A CN 105391931A CN 201510430185 A CN201510430185 A CN 201510430185A CN 105391931 A CN105391931 A CN 105391931A
Authority
CN
China
Prior art keywords
image
filter
image information
light
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510430185.4A
Other languages
English (en)
Inventor
泽田好秀
足立安比古
佐藤太一
本村秀人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN105391931A publication Critical patent/CN105391931A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及图像处理装置和图像处理方法，所述图像处理装置包括：分割部(106)，其基于多个第1图像信息和多个第2图像信息来生成多个第3图像信息；决定部(107)，其基于与检验标本相关的信息来决定所述多个第3图像信息所使用的滤波器；和处理部(108)，其使用所述决定出的滤波器对所述多个第3图像信息分别进行解卷积处理，所述检验标本接受从第1方向照射的第1照明光而输出第1变换光，拍摄元件接受所述第1变换光而输出所述多个第1图像信息，所述检验标本接受从第2方向照射的第2照明光而输出第2变换光，所述拍摄元件接受所述第2变换光而输出所述多个第2图像信息。

Description

图像处理装置和图像处理方法
技术领域
本公开涉及图像处理装置和图像处理方法。
背景技术
以往，在取得高分辨率图像时，利用多张图像实施解卷积(deconvolution)处理。解卷积处理是用于从测定信号(计测出的图像信号)恢复原信号(原图像信号)的处理。此时，为了实施适当的解卷积，必须设定取决于PSF(pointspreadfunction：点扩散函数)这样的向拍摄元件入射光的方式的滤波器。
例如，专利文献1提出了利用量子点、荧光微球来求出PSF。另外，专利文献2、3、4提出了准备多种滤波器而从其中选择适当的滤波器的方法。
现有技术文献
专利文献1：日本特开2006-140885号公报
专利文献2：日本特开2008-85697号公报
专利文献3：日本特开2008-11491号公报
专利文献4：日本特开2008-211678号公报
专利文献5：日本特开2012-023498号公报
专利文献6：日本特开2008-172321号公报
发明内容
准确地求出PSF是很困难的。另外，由于PSF的大小与拍摄倍率成比例，所以PSF的测定误差与拍摄倍率成比例地增加，图像的画质劣化。
本公开的非限定性而例示性的一个技术方案是不需要PSF的计测而能够取得高分辨率图像的图像处理装置。从本说明书及附图中可知晓本公开的一个技术方案的附加的益处及优点。该益处和/或优点可以单独地由本说明书及附图所公开的各种实施方式及特征而得到，无需为了获得一个以上益处和/或优点而实施所有的实施方式及特征。
本公开的一个技术方案所涉及的图像处理装置包括：分割部，其基于多个第1图像信息和多个第2图像信息来生成多个第3图像信息，所述多个第3图像信息各自包括所述多个第1图像信息中的一个第1图像信息和所述多个第2图像信息中的一个第2图像信息；决定部，其基于与检验标本相关的信息来决定所述多个第3图像信息所使用的滤波器；以及处理部，其使用所述决定出的滤波器对所述多个第3图像信息分别进行解卷积处理，所述检验标本接受从第1方向照射的第1照明光而输出第1变换光，拍摄元件接受所述第1变换光而输出所述多个第1图像信息，所述检验标本接受从第2方向照射的第2照明光而输出第2变换光，所述拍摄元件接受所述第2变换光而输出所述多个第2图像信息，所述第1照明光和所述第2照明光从同一光源出射或者从不同光源出射，在从所述同一光源到所述拍摄元件的光路或者从所述不同光源到所述拍摄元件的光路上不存在合焦光学系统。
这些总括性或者具体的技术方案可以由系统、方法、集成电路、计算机程序或者计算机可读取的记录介质来实现，也可以由装置、系统、方法、集成电路、计算机程序以及计算机可读取的记录介质的任意的组合来实现。计算机可读取的记录介质例如包括CD-ROM(CompactDisc-ReadOnlyMemory)等非易失性的记录介质。
根据本公开，能够考虑与病理检验标本的种类、部位相应的差异而提供分辨率高的图像。
附图说明
图1是表示实施方式1的图像处理装置的构成的框图。
图2是表示以往的显微镜用标本制作方法的图。
图3是表示基于CIS方式的显微镜用标本制作方法的图。
图4是说明显微镜用标本201的侧面构造的图。
图5是说明CIS方式显微镜用标本301的侧面构造的图。
图6是为了以电方式接收拍摄元件302的拍摄图像而在拍摄元件302上连接了封装件601时的侧面图。
图7表示利用CIS方式显微镜用标本301而用数字图像表示拍摄对象的构成例。
图8表示控制照明部109而从染色检验标本的正上方用光照射染色检验标本的例子。
图9表示从拍摄元件的正上方利用透镜照射作为平行光的照明光802的例子。
图10表示拍摄对象的哪个区域反映在图像上。
图11表示制作3倍放大率的放大图像的方法。
图12表示使光源在X方向上移动而用照明光照射染色切片的例子。
图13表示使光源在Y方向上移动而用照明光照射染色切片的例子。
图14表示使光源在X与Y方向的等分线上移动而用照明光照射染色切片的例子。
图15表示用于取得3倍放大率的高分辨率图像的放大图像1501的取得方法。
图16表示用于进行将拍摄对象和拍摄对象在各部位的差异考虑在内的解卷积处理的步骤。
图17A表示分割开的大小为w×h的小区域1700a～1700y的例子。
图17B表示小区域的处理顺序的例子。
图17C表示小区域的处理顺序的例子。
图17D表示小区域的处理顺序的例子。
图18表示滤波器的编号的例子。
图19示意性表示位置(i，j)的像素的像素值“ui，j”是如何生成的。
图20表示实施3倍放大率时的代表性的滤波器值的设定方法。
图21表示实施方式2的图像处理装置200的框图。
图22表示滤波器存储部所保存的滤波器集合的序号的变更例。
图23表示滤波器集合2203的各评价值2301。
图24表示实施方式3的图像处理装置300的框图。
图25表示实施方式4的图像处理装置400的框图。
图26表示实施方式4的图像处理装置400的流程图。
图27是表示实施方式1～4涉及的图像处理装置的硬件构成的框图。
图28表示将图像处理装置100作为图像处理系统100a实现的构成例。
附图标记说明
100、200、300、400图像处理装置
101、2701图像取得装置
102存储装置
103图像处理电路
104显示装置
105输入接口
106分割部
107滤波器决定部
108运算部
109照明部
110照度调整部
111设置部
112第一图像取得部
113第一图像部
114拍摄元件信息部
115滤波器存储部
116参数部
117、2714接口
401、801、1201、1301、1401光源
402、802、1202、1302、1402照明光
具体实施方式
以下，参照附图来说明本公开的图像处理装置、图像处理方法以及计算机程序的实施方式。
(成为本公开的基础的见解)
医疗领域中的诊断业务的目的是病名的确定和病状的把握。根据病名或病状来决定治疗方案。为了确定病名或病状，从病变部切取检验标本而进行在细胞等级下观察状态的病理诊断。在病理诊断中，通过将所切取的检验标本切片成能够用显微镜观察的厚度来制作标本。此时，检验标本被切片成能够透过光的厚度(例如4μm左右)而染色。并且，标本隔着显微镜用数码相机或扫描仪进行拍摄，作为数字图像被保存及参照。
在上述那样使诊断用图像数字化时重要的是被保存及参照的图像数据的分辨率。例如，考虑病理医生想要根据图像来评价细胞形状的情况。此时，如果在所取得的图像的分辨率下无法判断细胞的形状，则无法实施适当的诊断。因此，出示给病理医生的图像必须是高分辨率图像。
为了取得高分辨率图像，通常实施解卷积这种处理。解卷积是指下式这样的逆变换处理。
【式1】
X＝D-1*U
其中，式1中的“*”表示卷积运算，向量X表示图像大小为x1×y1的高分辨率图像。另外，向量U是放大图像。放大图像是利用多张图像大小为x2×y2(其中，x2<x1，y2<y1)的低分辨率图像而生成的。向量U是图像大小为x1×y1的图像。向量D表示解卷积时所适用的滤波器。
从式1可知，通过解卷积而得到的高分辨率图像取决于滤波器D的设计方式。因此，为了输出使用者满意的高分辨率图像，该滤波器的设计很重要。
作为例子，考虑病理医生进行细胞学诊断的情况。通常，对于细胞学诊断而言，很多情况下需要比组织学诊断高的高倍率下的观察。因此，细胞学诊断用的图像如果只是组织学诊断用的图像程度的倍率，则有可能无法实施适当的诊断。另一方面，如果在组织学诊断中出示与细胞学诊断同等程度的高分辨率图像，那么使用者会满意。但是，图像的分辨率的增加关系到图像大小，对存储介质的负荷会增加。另外，越提高分辨率，解卷积处理所需要的时间就越长，到出示给使用者为止的时间也就越长。因此，必须根据诊断来适当地决定分辨率。
在解卷积处理中，图像的分辨率主要取决于滤波器D的大小。例如，考虑式2和式3的滤波器。此外，在实际实施解卷积时，以使滤波器的值的合计值成为1的方式实施标准化。
【式2】
【式3】
上述两个滤波器表示大小不同的高斯滤波器，利用滤波器D2实施解卷积，能够输出分辨率更高的图像。也即，如果能够根据拍摄对象来变更滤波器的大小，则能够实施适当的解卷积。
另外，将大小与式2相同但各值不同的滤波器示出在下式中。
【式4】
对于解卷积处理，不仅是滤波器的大小导致结果不同，也可能由于各值的不同而导致结果不同。因此，通过式2和式4得到的结果不同。
对于这样的滤波器的值，已知PSF、拍摄元件的开口率会造成影响。但是实际上，病理检验标本本身的差异也会带来影响。例如，即使是相同的诊断用的图像，有无染色或染色方法的不同、检验标本的厚度或水分量、用于与玻璃粘结的封固剂的量等也会不同。它们的差异成为原因，即使在同一诊断用的图像中，也可能会存在能够实施适当的解卷积的部分和无法实施适当的解卷积的部分。变更滤波器的各值也对应于对这样的不同实施适当的处理。
除此以外，病理检验标本有无染色、染色方法的不同、检验标本的厚度、水分量、染色情况、封固剂的量、种类等在各检验标本的各部位也可能会不同。因此，为了对病理医生(使用者)出示适当的高分辨率图像，必须按各检验标本的各部位来设定适当的滤波器。
在此，对本公开所涉及的图像处理装置和专利文献5以及专利文献6所涉及的各公开之间的不同之处进行说明。本公开所涉及的图像处理装置在从照明部109到设置于设置部111上的拍摄元件为止的照明光的光路上没有用于合焦的光学系统，通过所谓的CIS(ContactImageSensing：接触式图像传感器)方式构成。另一方面，专利文献5以及专利文献6所涉及的各公开在到拍摄元件为止的光路上都具有用于合焦的光学系统。并且，专利文献5以及专利文献6所涉及的各公开都基于光学系统来设定滤波器。因此，在专利文献5以及专利文献6中，没有认识到需要根据病理检验标本有无染色、染色方法的不同、检验标本的厚度、水分量、染色情况、封固剂的量、种类等来选定适当的滤波器这一课题，无法提供将病理检验标本的种类和病理检验标本在各部位的差异考虑在内的图像信息处理的结果、即高分辨率图像。
基于以上的考察，想到了以下的发明的各技术方案。
本公开的一技术方案所涉及的图像处理装置包括：分割部，其基于多个第1图像信息和多个第2图像信息来生成多个第3图像信息，所述多个第3图像信息各自包括所述多个第1图像信息中的一个第1图像信息和所述多个第2图像信息中的一个第2图像信息；决定部，其基于与检验标本相关的信息来决定所述多个第3图像信息所使用的滤波器；以及处理部，其使用所述决定出的滤波器对所述多个第3图像信息分别进行解卷积处理，所述检验标本接受从第1方向照射的第1照明光而输出第1变换光，拍摄元件接受所述第1变换光而输出所述多个第1图像信息，所述检验标本接受从第2方向照射的第2照明光而输出第2变换光，所述拍摄元件接受所述第2变换光而输出所述多个第2图像信息，所述第1照明光和所述第2照明光从同一光源出射或者从不同光源出射，在从所述同一光源到所述拍摄元件的光路或者从所述不同光源到所述拍摄元件的光路上不存在合焦光学系统。
与所述检验标本相关的信息包括所述检验标本的种类，所述种类可以包括组织学诊断、细胞学诊断、无染色。
所述图像处理装置还包括对所述使用的滤波器的使用频度进行计数的计数器电路，可以基于所述使用频度来决定要使用的滤波器的候选顺序。
第1图像包括所述多个第1图像信息，第2图像包括所述多个第2图像信息，可以基于所述第1图像的图像特征量来决定所述种类。
所述图像处理装置按所述检验标本的各个种类而预先保持表示所述检验标本的图像所包含的特征量的识别参数，可以利用所述多个第1图像信息的图像特征量和所述识别参数来识别所述检验标本的种类。
所述处理部可以对所述多个第3图像信息各自分别使用多个种类的滤波器进行所述解卷积处理，输出所述多个种类的滤波器各自的结果。
所述图像处理装置还可以包括：显示装置，其显示所述多个种类的滤波器各自的结果；和输入装置，其受理所述多个种类的滤波器各自的结果之一的选择。
所述存储装置保持有目标图像，所述图像处理电路可以利用所述目标图像的图像数据对所述结果图像的图像数据进行校正。
本公开的一个技术方案所涉及的图像处理装置具备：接口，其取得所给的病理检验标本的多个图像的数据，所述多个图像是使用在从所述照明部到拍摄元件为止的照明光的光路上没有用于合焦的光学系统的图像取得装置改变所述照明光的照射方向而拍摄到的图像；存储装置，其存储包括用于解卷积处理的多个滤波器的滤波器信息；以及图像处理电路，其将基于从使用者输入的与所述病理检验标本相关的信息而决定的、所述滤波器信息所包含的所述多个滤波器中的一个滤波器，在基于所述多个图像而构筑的、像素数更多的放大图像中的小区域中使用来进行所述解卷积处理，并输出结果。
根据该构成，能够提供一种不需要PSF的计测而将病理检验标本的种类和病理检验标本在各部位的差异考虑在内的图像信息处理的结果、即高分辨率图像。
另外，所述病理检验标本可以包括组织学诊断、细胞学诊断、无染色的类别。根据该构成，能够按病理医生利用的各个病理检验标本来出示适当的高分辨率图像。
另外，所述图像处理装置可以具有：投票部，其进行由所述滤波器决定部决定出的滤波器是何种滤波器的投票；和反馈机构，其使用该投票结果来进行所述滤波器存储部内所保存的序号和滤波器信息的变更。根据该构成，能够进行滤波器存储部内的滤波器信息的最佳化。
另外，所述图像处理装置可以具有：特征算出部，其根据由所述输入部选择出的图像来算出特征量；和识别部，其使用由所述特征算出部算出的特征量来识别检验标本的种类。根据该构成，能够进行病理检验标本的种类的自动选择，因此即使使用者不输出病理检验标本的种类和/或倍率也能够输出高分辨率图像。
另外，所述图像处理装置还可以具有显示部，该显示部具有将由最佳的滤波器得到的解卷积结果以外也出示给使用者来让使用者选择图像的功能。根据该构成，在滤波器的决定不适当的情况下也能够应对。
另外，所述显示部可以具有如下功能：事先设定好目标图像，为了表现与该目标图像接近的色调，从参数部读入参数来进行图像信息处理的结果的校正。根据该构成，对于拍摄环境不同的图像，也能够显示色调相似的高分辨率图像。
另外，所述显示部可以具有如下功能：将由所述滤波器决定部决定出的滤波器信息和由所述输出部输出的图像信息处理的结果进行关联而存储，所述输入部将与图像信息处理的结果关联的滤波器信息分别作为输入，所述滤波器决定部使用与由所述输入部输入的滤波器信息不同的滤波器信息来实施处理。根据该构成，使用者能够进行被显示的高分辨率图像的修正。
以下，参照附图来详细说明本公开的例示的实施方式。
(实施方式1)
在本实施方式中，对如下的图像处理装置进行说明，在上述图像处理装置中，用来自正上方以及斜方的光照射病理检验标本，在取得了来自各个方向的图像之后，选择拍摄对象，将图像分割成小区域，从拍摄对象出现的区域开始依次决定滤波器，利用所决定出的滤波器来实施各小区域的解卷积处理。
图1是表示实施方式1的图像处理装置的构成的框图。
图像处理装置100具有图像取得装置101、存储装置102、图像处理电路103、显示装置104。图像处理电路103具有输入接口105、分割部106、滤波器决定部107、运算部108，不需要求出PSF，按拍摄对象的各部位来决定适当的滤波器，提供高分辨率图像。
<图像取得装置101>
图像取得装置101具有照明部109、照度调整部110、设置部111、第一图像取得部112。
设置部111是用于设置病理检验标本并固定的台座。
照明部109具备光源，从多个光源位置用照明光照射病理检验标本。也可以仅设置一个光源，每次拍摄时改变该光源的位置来用照明光照射病理检验标本。或者，也可以设置位置不同的多个光源，每次拍摄时用来自不同光源的照明光照射病理检验标本。
照度调整部110执行对照明部109的照度进行调整的控制。
第一图像取得部112对放置于设置部的病理检验标本进行拍摄，取得表示其图像的影像信号。
在图像取得装置101中，照度调整部110调整光源的照度，同时照明部109从正上方以及斜方对病理检验标本分别照射照明光。并且，第一图像取得部112按各光源的照射来拍摄设置于设置部111的病理检验标本，将由拍摄元件得到的与入射光的强度对应的电信号转换成数字信号而生成数字图像。
第一图像取得部112将所拍摄到的图像数据发送给存储装置102。存储装置102经由接口117取得病理检验标本的多个图像的数据。接口117例如是有线和/或无线的通信电路、连接端子。只要能够从图像取得装置101接收图像的数据即可。存储装置102将经由接口117接收到的病理检验标本的多个图像的数据存储在第一图像部113中。
除第一图像部113以外，存储装置102还具有拍摄元件信息部114、滤波器存储部115、参数部116。它们分别是存储在存储装置102中的一批信息。
拍摄元件信息部114保持有与正使用的拍摄元件相关的信息、例如拍摄元件的开口率的信息。
滤波器存储部115保持有解卷积所使用的滤波器信息。在滤波器存储部115中存储有：(1)病理检验标本信息或倍率、(2)按拍摄元件的各信息而大小和/或值不同的多个滤波器。病理检验标本信息例如可以是对组织学诊断用检验标本、细胞学诊断用检验标本或未进行染色的检验标本等的病理检验标本的种类进行确定的信息。
参数部116保持有与后述的小区域的大小相关的信息(例如，横向的像素值的个数为w个，纵向的像素值的个数为h个)、目标图像的像素数据的平均和离散的信息。参数部116可以根据病理检验标本信息(例如，对组织学诊断用检验标本、细胞学诊断用检验标本或未进行染色的检验标本等的病理检验标本的种类进行确定的信息)来保持与小区域的大小、小区域的分割边界相关的信息。
图像取得装置101典型而言是具备与第一图像取得部112对应的拍摄元件的拍摄装置。该拍摄装置可以说具备与照明部109对应的照明装置、与照度调整部110对应的计算机以及与设置部111对应的设置台。
此外，在本说明书中，图像处理装置100以包括图像取得装置101以及显示装置104来进行说明，但这是一例。图像取得装置101以及显示装置104并不是图像处理装置100必需的构成要素。
例如，设想图像处理装置100不具有图像取得装置101的情况。存储装置102只要能够直接或间接地接收从图像取得装置101输出的图像数据即可。后者的例子可以是：将图像取得装置101拍摄到的图像数据存储于未图示的存储装置，图像处理装置100从该存储装置接收图像数据。此时，图像处理装置100的接口117作为有线/无线的通信接口、存储卡接口等而实现。
另外，设想图像处理装置100不具有显示装置104的情况。运算部108将所生成的高分辨率图像的图像数据经由向其他的存储装置、通信网络发送的有线/无线的通信接口、存储卡接口等而输出。
在本实施方式中，对于设置部111采用CIS(ContactImageSensing)方式。该方式是将病理检验标本直接放置于拍摄元件的表面来进行拍摄的方式。本方式不使用由透镜进行的像的放大，拍摄元件的像素大小决定放大率即图像分辨率。即，图像大小越小则分辨率越高，能够详细地拍摄微观构造。
图2和图3分别表示以往方式和CIS方式。图2是制作以往方式的显微镜用标本201的方式，图3是CIS方式。
在图2所示的以往方式中，将薄切的病理切片202载置于载玻片203，连同载玻片203一起浸于染色液204而染色。染色液附着于病理切片202而得到染色切片205。为了切片的保护和固定而载置封固剂206并安装盖玻片207，完成显微镜用标本201。
另一方面，在图3所示的CIS方式显微镜用标本301中，取代盖玻片207而安装拍摄元件302。
图4是说明显微镜用标本201的侧面构造的图。在载玻片203上设置染色切片205，进一步在之上设置盖玻片207，通过封固剂206将它们固定。在将显微镜用标本201置于光学显微镜来观察的情况下，将光源401设置于显微镜用标本201的下部，光源401出射照明光402。照明光402透过载玻片203、染色切片205、封固剂206、盖玻片207向显微镜的物镜403入射。
另一方面，图5是说明CIS方式显微镜用标本301的侧面构造的图。CIS方式显微镜用标本301取代盖玻片207而具有拍摄元件302。因此，如图5所示，照明光402穿过载玻片203、染色切片205、封固剂206而到达拍摄元件302。拍摄元件302输出与染色切片205的浓度相应的信号，得到染色切片205的像。
图6是为了以电方式接收拍摄元件302的拍摄图像而在拍摄元件302上连接了封装件601时的侧面图。拍摄元件302与封装件601直接连接，使用TSV(ThoughSiliconVia：硅通孔)结构而电连接。
进而，图7表示利用CIS方式显微镜用标本301用数字图像来表示拍摄对象的构成例。如图7所示，封装件601经由电极701连接于插槽702，插槽702与电路基板703连接。电路基板703连接于控制用PC704，在显示器705上显示作为染色切片205的拍摄图像的染色切片图像706。
接着，说明利用了能够改变照明方向的照明部109和使用CIS方式的设置部111的高分辨率图像的取得方法。首先，说明光学显微镜与像素间距的关系。
一般而言，光学显微镜的分辨率由两点分辨率来定义。两个点光源的分辨率δ根据瑞利基准而如下式进行定义。
【式5】
其中，“λ”是光的波长，“NA”是物镜的数值孔径。因此，在例如物镜的倍率为10倍并将“NA”设为0.25的情况下，在波长555nm时对式5进行计算，得到分辨率δ为1.35μm。因此，在拍摄元件302的像素间距为1.35μm的情况下，通过物镜换算，能够表达为放大率相当于10倍。
假设想要在通过物镜换算而相当于20倍的放大率下取得生物体标本图像的情况下，只要使像素间距进一步减半即可。但是，对于拍摄元件的像素构造的微细化，有时由于成本提高等问题而无法选择。
因此，从多个照射角度对部分开口的拍摄元件照射照明光，拍摄多个比像素大小小的区域，将它们进行合成来提高放大率。该方法由于没有如显微镜那样利用透镜，所以不需要求出基于光学系统离焦的PSF，与利用了以往的光学系统的显微镜相比，能够更准确地实施解卷积。
以下，作为具体例，将拍摄元件302的开口率假设为25％，说明用于切换照明部109的照射角度来拍摄3倍放大率的图像的第一图像的取得方法。在此所说的“3倍放大率”是指在以第一图像为基准时某图像的纵和横的大小分别成为第一图像的纵和横的大小的3倍，反过来说分辨率成为三分之一。以下，将第一图像称为“低分辨率图像”，将根据图像信息处理的结果而得到的图像(上述的“某图像”)称为“高分辨率图像”。
首先，为了便于说明，从用于2倍放大率的图像的、低分辨率图像的取得方法开始进行说明。
图8表示控制照明部109来从染色检验标本的正上方用光照射染色检验标本的例子。光源801从CIS方式显微镜用标本301的正上方用照明光802照射染色检验标本。光源801设置在相对于CIS方式显微镜用标本301的大小而言足够远的位置。因此，照明光802能够视作平行光。在此重要的是入射到检验标本的光为平行光。因此，也可以在CIS方式显微镜用标本301与光源801之间插入透镜901来获得平行光802。图9表示从拍摄元件的正上方利用透镜照射平行光802的例子。根据该构成，能够使CIS方式显微镜用标本301与光源801的距离靠近。此外，关于图8的以下的说明也能够同样适用于图9，因此省略参照图9的说明。
拍摄元件302具备半导体基板803、光电二极管(PD)804、布线层805、覆盖布线层805的遮光层806、覆盖半导体基板803的光入射侧面的透明层807。透过了染色切片205的照明光802中的入射到光电二极管804的部分成为光电二极管804的光电转换的对象，作为图像信号而取得。在图8中，透过了区域808、区域809、区域810的光与照明光802中的入射到光电二极管804的部分相当。区域808的浓度决定位于正下方的光电二极管804的信号电平，同样，区域809的浓度决定位于正下方的光电二极管804的信号电平，区域810的浓度决定位于正下方的光电二极管804的信号电平。
另一方面，入射到遮光层806的部分不成为光电二极管804的光电转换的对象，不反映于拍摄元件302输出的图像信号。在图8中，透过了区域811、812的光是照明光802中的入射到遮光层806的部分。
在图8中，光电二极管804和遮光层806的大小设为了相同。拍摄元件302是面状的区域传感器。因此，入射到光电二极管804的照明光不是透过了检验标本的全部光，而成为透过了在检验标本的纵向和横向上分散的区域的光。图10表示拍摄对象的哪个区域反映在图像上。由于区域808、区域809、区域810位于光电二极管804的正上方，所以透过了这些区域的光入射到光电二极管804。各区域的浓度决定光电二极管的输出信号电平，决定低分辨率图像的各像素的像素值。
另一方面，区域811、区域812位于遮光层806的正上方，不反映于低分辨率图像的像素值。也即是，当着眼于图10的区域1001时，照明光802向光电二极管804入射的区域仅为809，位于横向的区域812、位于下方的区域814、位于斜下方的区域817因遮光层806而遮住了照明光802。通过拍摄元件302具有遮光膜806，能够拍摄像素大小的1/4的区域。
图11表示制作3倍放大率的放大图像的方法。如图11的左列的最上部所示，使光源801点亮而拍摄的低分辨率图像1101成为接受入射到区域808、809、810的光而生成的图像。除了低分辨率图像1101之外，还能够利用其他的低分辨率图像1102～1104来得到放大图像1105。得到其他的低分辨率图像1102～1104以及放大图像1105的方法将在后面进行说明。
接着，参照图12对使光源在X轴方向上移动来拍摄低分辨率图像的方法进行说明。图12表示使光源在X方向上移动来用照明光照射染色切片的例子。此外，该图示出了使照明光从染色切片的右侧进行照射的情况。
光源1201用来自右斜方向的照明光1202来照射CIS方式显微镜用标本301。此时，从光源1201向CIS方式显微镜用标本301入射的照明光1202是平行光。
透过了染色切片205的照明光1202中的入射到光电二极管804的部分成为光电二极管804的光电转换的对象，作为图像信号而取得。具体而言，透过了区域811、区域812的光是照明光1202中的入射到光电二极管804的部分。区域811的浓度决定位于左斜下方的光电二极管804的信号电平，同样，区域812的浓度决定位于左斜下方的光电二极管804的信号电平。
另一方面，入射到遮光层806的部分不成为光电二极管804的光电转换的对象，不反映于拍摄元件302输出的图像信号。在图12中，具体而言，透过了区域808、区域809、区域810的光是照明光1202中的入射到遮光层806的部分。
因此，向光电二极管804入射的照明光成为透过了在检验标本的纵向和横向上分散的区域的光。即，区域811、区域812由于在左斜下方有光电二极管804，所以透过了这些区域的光向光电二极管804入射。各区域的浓度决定光电二极管的输出信号电平，决定低分辨率图像的各像素的像素值。
另一方面，透过了区域808、区域809、区域810的光进入遮光层806，不反映于低分辨率图像的像素值。也即是，当着眼于图10的区域1001时，照明光1202向光电二极管804入射的区域仅是812，位于横向的区域809、位于下方的区域817、位于斜下方的区域814因遮光层806而遮住了照明光1202。通过拍摄元件302具有遮光膜806，能够拍摄像素大小的1/4的区域。
因此，如图11的左列从上数第2个所示，使光源1201点亮而拍摄的低分辨率图像1102成为接受入射到区域811、区域812的光而生成的图像。
图13表示使光源在Y方向上移动来用照明光照射染色切片的例子。另外，图14表示使光源在X与Y方向的等分线上移动来用照明光照射染色切片的例子。通过使光源如图13所示在Y轴方向上移动、如图14所示在X轴与Y轴的等分线方向上移动，分别能够拍摄像素大小的1/4的区域。当着眼于区域1001(图10)时，通过使光源在Y轴方向上移动而能够拍摄的区域为区域814，通过使光源在X轴与Y轴的等分线方向上移动而能够拍摄的区域为区域817。因此，用来自图13所示在Y轴方向上移动的光源1301的照明光1302照射CIS方式显微镜用标本301而得到的低分辨率图像1103成为拍摄了区域814而得到的图像。另外同样，用来自图14所示在X轴与Y轴的等分线方向上移动的光源1401的照明光1402照射CIS方式显微镜用标本301而得到的低分辨率图像1104成为拍摄了区域817而得到的图像。此外，在沿Y轴方向、X轴与Y轴的等分线方向移动的情况下，照明光1302和照明光1402也设为平行光。
通过将如以上那样拍摄到的各图像考虑光源的移动方向而排列，如图11所示，能够取得仅图像大小(像素数)与2倍放大率的高分辨率图像相同的放大图像1105。
接着，参照图15，示出取得高分辨率图像的方法。图15表示用于取得3倍放大率的高分辨率图像的放大图像1501的取得方法。为了取得3倍放大率的放大图像1501，与2倍放大率时同样，需要来自多个方向的光的照射。具体而言，如图15所示，需要通过来自9个方向的光的照射来取得9张低分辨率图像。
图15的低分辨率图像1502表示在用来自正上方的照明光照射了检验标本时得到的低分辨率图像。低分辨率图像1503以及低分辨率图像1504表示在使光源仅在X轴方向上移动了不同的距离时所取得的低分辨率图像。低分辨率图像1505以及低分辨率图像1506表示在使光源仅在Y轴方向上移动了不同的距离时所取得的低分辨率图像。低分辨率图像1507表示使光源在X轴方向上移动与低分辨率图像1503时相同的距离、且在Y轴方向上移动与低分辨率图像1505时相同的距离而拍摄得到的低分辨率图像。低分辨率图像1508表示使光源在X轴方向上移动与低分辨率图像1504时相同的距离、且在Y轴方向上移动与低分辨率图像1505时相同的距离而拍摄得到的低分辨率图像。低分辨率图像1509表示使光源在X轴方向上移动与低分辨率图像1503时相同的距离、且在Y轴方向上移动与低分辨率图像1506时相同的距离而拍摄得到的低分辨率图像。低分辨率图像1510表示使光源在X轴方向上移动与低分辨率图像1504时相同的距离、且在Y轴方向上移动与低分辨率图像1505时相同的距离而拍摄得到的低分辨率图像。
因此，为了取得与n倍的高分辨率图像相同的图像大小的放大图像，至少需要从n2个方向的不同位置用照明光照射病理检验标本来进行拍摄。
<图像处理电路103>
输入接口105接受使用者输入的包含倍率信息的与病理检验标本相关的信息(确定病理检验标本的信息)，从第一图像部113取得与该信息对应的多个图像。
分割部106基于所取得的多个图像来生成放大图像，进行将所生成的放大图像分割成小区域的处理。另外，从第一图像部提取病理图像。此外，分割处理即可以是按照文字来分割一张图像并保持于存储器的处理，也可以是在每次进行后述的解卷积处理时按预先确定的数据量来读出图像数据的一部分的处理。在前者的情况下，分割部106进行将图像数据分割成预先确定的大小的多个小区域的图像数据的处理。在后者的情况下，分割部106进行确定应该读出的图像数据的一部分的大小并命令读出的处理。
滤波器决定部107基于由输入接口105接受的病理检验标本的图像的信息(选择信息)和拍摄元件信息来从滤波器存储部115取得用于解卷积的滤波器信息。病理检验标本的图像的信息可以是确定所述检验标本的种类(例如，组织学诊断、细胞学诊断、无染色)的信息。拍摄元件信息可以是确定拍摄元件的开口率的信息。
运算部108利用由所述滤波器决定部107决定出的滤波器信息来进行解卷积运算，输出其结果。
以下，使用图16来说明利用放大图像并考虑了拍摄对象在各部位的差异的解卷积方法。
图16表示用于进行将拍摄对象和拍摄对象在各部位的差异考虑在内的解卷积处理的步骤。
首先，在步骤S100中，使用者利用后述的输入装置(键盘等)输入病理检验标本的信息。此时，病理检验标本除了组织学诊断用检验标本和细胞学诊断用检验标本之外还包括未进行染色的检验标本(培养细胞)。此外，事先输入病理检验标本的信息是因为所需倍率根据诊断用途而不同。既可以根据诊断用途来预先设定所需倍率，也可以让使用者直接输入。
接着，在步骤S101中，图像处理电路103经由输入接口105从拍摄元件信息部114读入包含正使用的拍摄元件的开口率的信息在内的拍摄元件信息。进而，图像处理电路103在步骤S102中经由输入接口105从第一图像部113读入n2张低分辨率图像。
接着，对分割部106、滤波器决定部107以及运算部108的处理进行说明。
首先，在步骤S103中，分割部106根据n2张低分辨率图像来取得放大图像。例如，各低分辨率图像具有x2×y2个像素值(横x2个，纵y2个)，放大图像具有n2×x2×y2个像素值。
然后，在步骤S104中，分割部106将放大图像分割成小区域，并分配序号。将放大图像如何分割成小区域即小区域的大小、小区域的分割边界的决定等，可以根据病理检验标本的种类即组织学诊断、细胞学诊断、无染色等来决定。分割部106也可以参照与根据参数部116保持的病理检验标本信息(例如，组织学诊断用检验标本、细胞学诊断用检验标本或未进行染色的检验标本)而决定的小区域的大小、小区域的分割边界相关的信息来将放大图像分割成小区域。图17A表示放大图像被分割成小区域1700a～1700y且各小区域具有w×h个像素值的例子。在本例中，n·x2＝5w，n·y2＝5h。分割部106基于与从参数部116读入的小区域的大小相关的信息来进行该处理。此外，各小区域可以允许相邻的小区域和像素值的重复。由此，与相邻的小区域之间的处理结果获得相关性，能够抑制输出仅一部分小区域不同的处理结果。
接着，在步骤S105中，分割部106决定从哪个小区域开始依次执行处理的计划。例如图17B表示小区域的处理顺序的例子。如图17B所示提取检验标本图像的中心1701，从该处按箭头1702的顺序来实施。此时，在不包含检验标本的小区域中，不实施之后的处理。此外，包含检验标本的小区域的图像以及不包含检验标本的小区域的图像能够通过基于像素值的阈值处理来区分。但是，提取检验标本图像的方法并不限定于本实施方式，能够利用任意的方法。例如，可以接受使用者的手动选择作为选择信息，也可以利用基于梯度强度的阈值处理、图割(graphcut)、区域扩展法、主动轮廓线法(snakes)、水平集方法(levelsetmethod)这样的区域提取法。
另外，关于计划的决定方法，除了如图17B所示提取检验标本图像以外，也能够按任意的顺序来设定。例如，图17C以及图17D表示检验标本图像的提取方法的例子。分割部106既可以如图17C所示从左上的小区域开始依次提取检验标本图像，也可以如图17D所示跳过一个小区域来提取检验标本图像并在之间使用附近的结果进行插值。
以上是分割部106的处理。
接着，在步骤S106中，滤波器决定部107按照通过步骤S105决定的计划对小区域进行编号，选择第i个小区域。
然后，在步骤S107中，滤波器决定部107根据病理检验标本信息或者倍率和拍摄元件的信息从滤波器存储部115中选择在解卷积时实施的第j个滤波器。然后，在步骤S108中，滤波器决定部107进行计算来判断是否满足评价值。在不满足评价值的情况下(否)，滤波器决定部107使j＝j+1而转移到步骤S107，进行第j个滤波器的选择。另外，在满足了评价值的情况下(是)，处理转移到步骤S109。
在本实施方式中，滤波器决定部107使用式6来算出评价值，在该值低于一定值的情况下判定为满足了评价值。
【式6】
E＝(U-D*X)2
此时，向量U表示放大图像，向量X表示高分辨率图像。另外，“*”表示卷积运算。此外，评价值并非仅限定于此，例如，也可以利用检验标本区域的边缘的绝对值的总和。此时，采用检验标本区域的边缘的绝对值的总和为一定值以上的滤波器。由此，能够选择使检验标本区域的边缘得到强调的滤波器。
另外，作为解卷积处理，如式7所示采用在使用了维纳(Wiener)滤波器的频率区域中的运算。
【式7】
H(X)＝H(D)-1H(U)
其中，“H(·)”表示向频率区域的转换。将“H(D)-1”示出在式8中。
【式8】
H(D)-1＝H(D)/(H(D)2+Γ)
其中，“Γ”(伽马)是表示SN比(信号噪声比)的参数。
此外，在本实施方式中，作为解卷积处理，利用了在使用了维纳滤波器的频率区域中的运算，但解卷积处理并不限定于此，能够使用任意的处理方法。例如，作为解卷积处理，也能够利用式9的更新式来求出高分辨率图像的图像数据xi，j。
【式9】
其中，“xt i，j”表示第t次重复运算时的第(i，j)个高分辨率图像的图像数据，“ρ”表示更新时的参数。此外，该式通过将式6以“xi，j”进行微分而得到。另外，考虑图像中的噪声，也能够利用将在式6上加上L2准则或L1准则而得到的式进行微分而得到的更新式。
此外，在滤波器存储部115中，按病理检验标本信息或者按倍率和拍摄元件的信息而存储有大小和/或值不同的多个种类的滤波器，使代表性的滤波器的序号最小，对其他的滤波器集合自动进行编号。图18表示滤波器的编号的例子。第一个下划线前的数值1801是利用该滤波器时的倍率，第一个下划线后的数值1802是拍摄元件的开口率，第二个下划线后的数值1803是决定了倍率和开口率时所决定的滤波器集合中的各滤波器的序号。在本实施方式中，对于各个倍率、开口率时的代表性的滤波器，将第二个下划线后的数值设为0。根据以上所述，图18的数值是指利用了25％开口的拍摄元件的3倍放大用的代表性的滤波器。
以下，作为例子考虑想要取得3倍放大率的图像时的代表性的滤波器的值。首先，滤波器的大小设定成与放大率相同的值。由此得到3×3的滤波器。
接着，研究滤波器的各值。滤波器的各值基于拍摄元件的开口率信息而设定。作为具体例，考虑利用图19在开口率为25％时实施3倍放大。图19示意性表示位置(i，j)的像素的像素值ui，j是如何生成的。位置(i，j)的像素的像素值是图17A所示的小区域所包含的一个像素值中的、光源设置在正上方而取得的像素值。此外，以下，为了简单而使用将光源的位置设置在正上方的情况来进行说明，但要注意以下的内容不是限定光源位置的内容。图19中示出了遮光层1901和PD1902。此外，由于考虑3倍放大，所以注意图19中的区域被9等分。此时，当在拍摄元件的正上方设置光源来取得图像时，所得到的像素值ui，j成为高分辨率图像的区域1900a、1900b、1900c、1900d、1900e、1900f、1900g、1900h、1900i的图像数据的加权总和。作为式如下。
【式10】
其中，“wk”表示权重，该权重表示检验标本区域1900k(k＝a，b，c，d，e，f，g，h，i)的高分辨率图像的图像数据以何种程度反映在像素值ui，j中，“xk i，j”表示检验标本区域1900k的高分辨率图像的图像数据。实施3倍放大是进行式10的加权总和的逆变换来求出高分辨率图像的图像数据“xk i，j”。因此，为了设定滤波器的值，设定权重“wk”即可。如前所述，权重“wk”表示检验标本区域1900k的信息以何种程度反映在位置(i，j)的像素的像素值“ui，j”中。因此，能够根据开口率和放大率的关系，如式11所示来设定代表性的滤波器的例子。
【式11】
图20表示实施3倍放大率时的代表性的滤波器值的设定方法。式11的“wa”表示将图20中的小区域2000e的面积设为1时的小区域2000a的面积的比率。“wb”表示小区域2000b的面积比率。“wc”表示小区域2000c的面积比率。“wd”表示小区域2000d的面积比率，“we”表示小区域2000e的面积比率，“wf”表示小区域2000f的面积比率，“wg”表示小区域2000g的面积比率，“wh”表示小区域2000h的面积比率，“wi”表示小区域2000i的面积比率。
以上，说明了代表性的滤波器的设计方法。
接着，说明以代表性的滤波器为基准的考虑了差异的滤波器。在此所述的差异例如是指检验标本的厚度或水分量、封固剂的量或种类、式11中所示的面积比率在各部位的不同。此时，检验标本的厚度或水分量、封固剂的量或种类的不同，与所得到的图像的离焦情况相关。在本实施方式中，作为表示离焦情况的函数，如使12所示利用高斯滤波器。
【式12】
其中，“σ2”是表示离散的参数，“D(i，j)”表示第i行第j列的滤波器的值。另外，高斯滤波器的滤波器大小无需设定为与放大率相同，例如在实施3倍放大时可以将高斯滤波器的滤波器大小设定成5×5。
当使用式11和式12将面积比率的不同以3×3的矩阵形式排列而得到的矩阵设为“Δ”时，能够例如式13所示提供考虑了差异的滤波器Dv。此外，“Δ”的各值通过随机数和/或白噪声等来提供，大小设定为与式11的滤波器大小相同。
【式13】
Dv＝Dg*(W+Δ)
因此，滤波器存储部115所存储的滤波器成为参数“σ2”和“Dg”的滤波器大小、“Δ”的各值按倍率、开口率而各自不同的滤波器。此外，在检验标本的厚度一定且水分量、封固剂、光向检验标本的照射方式被准确控制的情况下，可以通过代表性的滤波器来实施解卷积处理。
然后，在步骤S109中确认是否对全部小区域结束了滤波器选择，在结束的情况下(是)转移到步骤S110，在未结束的情况下(否)，使i＝i+1而转移到步骤S106，再次进行第i个小区域的选择。
以上是由滤波器决定部107实施的处理。
在对全部小区域结束了选择的情况下，运算部108利用在步骤S110中按各小区域决定出的滤波器来生成高分辨率图像，输出该图像数据。
以上是由运算部108实施的处理。另外，显示装置104将所取得的高分辨率图像出示给使用者。此时，由所决定出的滤波器得到的解卷积结果以外也出示给使用者，让使用者选择图像。由此，在滤波器的决定不适当的情况下也能够应对。
另外，在出示给使用者时，为了符合在显微镜下观察时的色调，进行高分辨率图像的图像数据的标准化。高分辨率图像的图像数据的标准化如下：事先取得在显微镜下进行了观察的图像，将其设为目标图像，为了接近该目标图像而按下式对各高分辨率图像的图像数据进行校正。
【式14】
其中，“μ”和“σ”分别表示校正前的高分辨率图像的图像数据的检验标本图像的平均和离散，“μ杠”(在“μ”之上有“-”；以下记为“μ-”等。)和“σ杠”(在“σ”之上有“-”；以下记为“σ-”等。)分别表示目标图像的图像数据的平均和离散。目标图像的图像数据的平均和离散保存在参数部116中，在显示装置104中通过从参数部116读入各参数信息来实施校正。由此，例如对于在由照度调整部110进行的调整不同的情况等在不同的拍摄环境下取得的图像，也能够出示相同色调的高分辨率图像。另外，在显示装置104中，除了上述的校正以外，也可以进行色阶校正(γ校正)、YC分离处理等的校正。
如上所述，根据本实施方式，不需要PSF的计测，能够出示将拍摄对象的种类和拍摄对象在各部位的差异考虑在内的高分辨率图像。
另外，在滤波器存储部115中，具有大小和/或值按各个拍摄对象而不同的滤波器，能够按各个拍摄对象而适用不同的滤波器。在本实施方式中，作为拍摄对象，包括组织学诊断、细胞学诊断、无染色的类别。因此，例如对于组织学诊断而言出示2倍放大用的图像、对于细胞学诊断而言出示3倍放大用的图像，能够按病理医生利用的检验标本的各个种类来出示适当的高分辨率图像。
另外，显示装置104具有将除了由最佳的滤波器得到的解卷积结果以外也出示给使用者，让使用者选择图像的功能，因此在滤波器的决定不适当的情况下也能够应对。
另外，显示装置104具有为了得到与目标图像相似的色调而进行校正的功能，因此对于在不同的拍摄环境下取得的图像，也能够出示色调相近的高分辨率图像。
在上述的说明中，作为显示装置104进行高分辨率图像的图像数据的标准化处理(校正处理)而进行了说明，但这是一例。也可以是图像处理电路103进行校正处理。特别是在显示装置104不是图像处理装置100的构成要素而是外接显示器的情况下，不需要使显示装置104进行校正处理，图像处理电路103进行校正处理而使显示装置显示即可。
(实施方式2)
本实施方式的图像处理装置与实施方式1的图像处理装置的不同之处在于具有如下机构：通过对滤波器存储部115所保存的滤波器集合分配的序号反馈由滤波器决定部107得到的结果，从而变更滤波器存储部115中的序号。
图21表示本实施方式的图像处理装置200的框图。以下，利用该框图来说明本实施方式。此外，在图21中，对与图1同样的构成要素标注相同的附图标记，省略详细的说明。
在本实施方式中，对滤波器存储部115所保存的各滤波器保存序号，并且对滤波器利用数进行计数并保存。计数通过计数器电路2101来进行。
计数器电路2101首先从滤波器存储部115读入滤波器信息。然后，计数器电路2101从其中选择由滤波器决定部107决定了进行利用的滤波器序号，根据决定了利用的小区域的个数对该滤波器的使用频度进行计数。例如计数器电路2101按以下方式对已使用的各滤波器的使用频度进行计数，上述方式是：已在3个小区域进行了利用的滤波器为3点，已在10个小区域进行了利用的滤波器为10点。并且，计数器电路2101使用该结果进行滤波器序号的变更，将变更结果反馈给滤波器存储部115。更具体地进行说明，计数器电路2101按使用频度从高到低的顺序调换滤波器，按照该顺序对滤波器序号进行重新编号。计数器电路2101按照该结果来改写滤波器存储部115所存储的滤波器序号。此时，使计数个数多的滤波器的顺序靠前，使计数个数少的滤波器的顺序靠后。由此，使用频度高的滤波器的候选排列在前面，使用频度低的滤波器的候选排列在后面。在本说明书中，将根据各滤波器的使用频度来改写滤波器序号也表达为“进行反馈”。
图22表示滤波器存储部所保存的滤波器集合的序号的变更例。滤波器集合2201表示在新图像的各小区域已被利用的滤波器集合的序号和计数个数。滤波器集合2202是滤波器存储部115内已保存的滤波器集合的序号和计数个数。而且，滤波器集合2203是在对新图像实施后基于计数个数而更新后的反馈给滤波器存储部115的滤波器集合的序号和计数个数。根据该图可知：最先实施的滤波器从滤波器A变更为滤波器D。由此，图像处理装置从下次开始按不同的顺序来执行滤波器处理。
另外，计数器电路2101在反馈时对各滤波器利用式15来计算评价值T。并且，也可以具有在评价值T低于某一定值α的情况下删除该滤波器而添加新的滤波器的功能。
【式15】
在式15中，“Vi”表示第i个滤波器的计数个数，“V1”表示计数个数的最大值。
以下，作为例子考虑将一定值α设定为0.1的情况。图23表示滤波器集合2203的各评价值2301。根据评价值2301，能够确认滤波器H的评价值比一定值0.1小。此时，在本实施方式中，计数器电路2101将滤波器H删除，新添加滤波器I并改写滤波器存储部115的滤波器信息。此时，计数器电路2101如式16所示来设定滤波器I的计数个数“V”。
【式16】
V＝(int)(αV1+δ)
其中，“δ”表示随机数，(int)(·)表示小数点后的四舍五入。根据以上所述，滤波器I的计数个数达到9个，改变了顺序的滤波器集合2302被反馈给滤波器存储部115。
根据本实施方式，能够进行滤波器存储部115内所保存的滤波器信息的最佳化。
另外，病理检验标本的差异容易根据检验标本制作者的本领、设备的喜好等而产生。当利用本实施方式时，能够逐次学习这样的特征，按使用者、设备来定制滤波器存储部115。因此，根据本实施方式，能够出示与使用者、设备相适合的高分辨率图像。
(实施方式3)
本实施方式的图像处理装置与实施方式1的图像处理装置的不同之处在于：进行病理检验标本的种类的自动选择。由此，不需要使用者的手动输入而能够实施高分辨率处理。
图24表示本实施方式的图像处理装置300的框图。在图24中，对与图1和图21同样的构成要素标注相同的附图标记，省略详细的说明。
在本实施方式中，首先，图像处理电路103经由输入接口105从第一图像部113读入n2张低分辨率图像。特征算出部2401从一张低分辨率图像算出图像特征量。不利用放大图像而利用低分辨率图像的理由是因为用于判定拍摄对象的特征量不利用放大图像也能够算出。除此以外，因为从低分辨率图像算出特征量与从放大图像来算出特征量相比处理时间更快。
作为图像特征量，利用RGB颜色直方图。这是因为：病理检验标本被进行染色，其染色方法根据组织学诊断、细胞学诊断等诊断用途而各种各样，因此认为颜色信息对于对象识别而言很重要。但是，RGB颜色直方图是图像特征量的一例而非限定于此，能够使用任意的图像特征量。例如，不仅利用颜色或者替代利用颜色，为了将检验标本的局部形状的不同组合进特征量中而利用特征袋(bagoffeatures)。或者，也可以使用深度学习(deeplearning)从大量的图像数据中学习特征量本身。
接着，利用由特征算出部2401算出的特征量，识别部2402实施拍摄对象的判定。作为判定的方法，在本实施方式中利用SVM(supportvectormachine：支持向量机)。知识数据库部2403中保存有通过SVM事先学习得到的识别参数。识别参数例如根据组织学诊断、细胞学诊断等目的(种类)而预先算出多个种类的染色的病理检验标本的图像特征量。另外，预先算出无染色的病理检验标本的图像特征量。知识数据库部2403将这些图像特征量作为知识参数而保持。识别部2402为了进行拍摄对象的判定而读入该识别参数，使用SVM的方法对从一张低分辨率图像算出的图像特征量依照识别参数而接近哪个种类的病理检验标本进行判定。由此，图像处理装置300能够判断成为了拍摄对象的病理检验标本的种类。
另外，与图像特征量同样，判定方法也不限定于本实施方式，能够使用任意的方法。例如，也能够利用k最近邻算法、逻辑回归。
根据本实施方式，能够进行拍摄对象的自动选择。由此，使用者不输入拍摄对象和/或倍率也能够输出高分辨率图像。
(实施方式4)
本实施方式的图像处理装置与实施方式1的图像处理装置的不同之处在于如下两点：具有一并存储与显示装置104所显示的图像信息处理的结果对应的滤波器信息的功能；具有在输入接口105读入与高分辨率图像对应的滤波器信息，并对使用者选择出的区域按不同的滤波器信息来进行解卷积处理的功能。由此，能够对输入到输入接口105的高分辨率图像进行修正。
图25以及图26分别表示本实施方式的图像处理装置400的框图以及流程图。以下，利用图25以及图26来说明本实施方式。此外，在图25制作，对与图1、图21、图24同样的构成要素标注相同的附图标记，省略详细的说明。同样，在图26中，对与图16同样的构成要素标注相同的附图标记，省略详细的说明。
在本实施方式中，在结果保持部2501中一并存储有由显示装置104显示的高分辨率图像和与其对应的滤波器信息。作为高分辨率图像与滤波器信息的关联，例如能够通过一并存储小区域的开始位置、小区域的大小和选择出的滤波器序号来实现。
在步骤S201中，输入接口105从结果保持部2501一并取得高分辨率图像和与其对应的滤波器信息。然后，在步骤S202中，输入接口105取得对使用者从高分辨率图像中选择出的图像中的一部分区域进行确定的信息。在以下的处理中，仅以该选择出的区域为对象来进行处理。
以上是在本实施方式中图像处理电路103用输入接口105实施的处理。
接着，在步骤S203中，滤波器决定部107为了输出与以前的处理结果不同的结果，判定是否为事先读入的滤波器。对于第j个滤波器，在与结果保持部2501所保持的滤波器相同的情况下(是)，使j＝j+1，处理转移到步骤S107。另外，在与结果保持部2501所保持的滤波器不同的情况下(否)，处理转移到步骤S108。
以上是在本实施方式中由滤波器决定部107新添加的处理。
最后，在步骤S204中，运算部108进行高分辨率图像和滤波器信息的修正。作为修正方法，在高分辨率图像上进行本次处理结果的题记、滤波器信息的变更点的补记。
以上是在本实施方式中由运算部108新添加的处理。
根据本实施方式，使用者能够修正处理结果，能够出示适合于病理诊断的图像。
以上，说明了本公开的实施方式所涉及的图像处理装置等。上述的构成是一例，本公开并不限定于此。
例如，图像处理装置100、200、300、400都也能够利用计算机来实现。
图27是表示实施方式1～4的图像处理装置的硬件构成的框图。为了便于说明，以实施方式1的图像处理装置100为例进行说明。
图像处理装置100包括图像取得装置2701、计算机2702、键盘2703、鼠标2704、显示器2705和光盘装置2706。
图像取得装置2701从正上方以及斜方照射照明光而取得各照明光的方向的图像。键盘2703以及鼠标2704分别是受理来自用户的指示的输入装置，将所受理到的指示提供给计算机2702。显示器2705出示计算机2702的运算结果等信息。
光盘装置2706例如从由CD-ROM(CompactDisc-ReadOnlyMemory：只读光盘)2707代表的、作为计算机可读取的存储介质的光盘中读取数据而发送到计算机2702。例如在CD-ROM2707中可以记录有记述了与上述的各实施方式相关的流程图所表示的步骤的计算机程序。光盘装置2706从CD-ROM2707读取这样的计算机程序而发送到计算机2702。计算机2702的CPU2709将该计算机程序在RAM2711中展开并执行。
此外，图像处理装置100的计算机2702具有通信调制解调器2708，也能够通过计算机网络接收上述的计算机程序。
计算机2702包括CPU(CentralProcessingUnit：中央处理单元)2709、ROM(ReadOnlyMemory：只读存储器)2710、RAM(RandomAccessMemory：随机读取存储器)2711、硬盘驱动器2712、通信调制解调器2708、总线2713和接口2714。
CPU2709执行经由光盘装置2706或通信调制解调器2708读取的程序。ROM2710存储计算机2702的工作所需的程序和数据。RAM2711存储程序执行时的参数等数据。硬盘驱动器2712使硬盘存储程序、数据等。通信调制解调器2708经由计算机网络与其他的计算机进行通信。总线2713将CPU2709、ROM2710、RAM2711、硬盘驱动器2712、通信调制解调器2708、显示器2705、键盘2703、鼠标2704以及光盘装置2706相互连接。接口2714是用于在与其他的设备(例如图像取得装置2701)之间授受信息的有线和/或无线的通信电路、连接端子。
此外，与计算机2702连接的键盘2703、鼠标2704以及光盘装置2706，例如在显示器为触摸面板的情况或利用通信调制解调器的情况下也可以拆下。另外，也可以取代硬盘驱动器2712或者与其一起设置被称为固态硬盘(SSD)的半导体存储装置。
进而，图像处理装置100的构成要素的一部分也可以由一个系统LSI(LargeScaleIntegration：大规模集成电路)构成。系统LSI是将多个构成部集中在一个芯片上而制造出的超多功能LSI，具体是包括微处理器、ROM和/或RAM等而构成的计算机系统。在ROM和/或RAM中存储有计算机程序。微处理器按照计算机程序进行工作，由此系统LSI实现该功能。此外，也可以在系统LSI上搭载SSD等。
而且，另外，构成上述的各装置的构成要素的一部分或全部可以设为由能够在各装置上装卸的IC卡或单体模块构成。IC卡或模块是由微处理器、ROM、RAM等构成的计算机系统。IC卡或模块也可以包含上述的超多功能LSI。微处理器按照计算机程序进行工作，由此IC卡或模块实现该功能。该IC卡或该模块也可以具有防篡改性。
另外，本公开也可以是上述所示的方法。另外，也可以包括由计算机实现这些方法的计算机程序，还可以包括由所述计算机程序形成的数字信号。
而且，本公开可以包括在计算机可读取的非暂时性的(non-transitory)存储介质例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)Disc)、半导体存储器等中存储有上述计算机程序或上述数字信号的器件。另外，也可以包括在这些非暂时性的存储介质中记录的上述数字信号。
另外，本公开也可以设为经由电力通信电路、无线或有线通信电路、以因特网为代表的网络、数据放送等传输上述计算机程序或上述数字信号的器件。
另外，也可以通过将上述程序或上述数字信号记录在上述非暂时性的存储介质中而输送，或者通过将上述程序或上述数字信号经由上述网络等而输送，由此通过独立的其他的计算机系统来实施。
图28表示将图像处理装置100作为图像处理系统100a而实现的构成例。取代图27所示的计算机2702的构成例，在图28中，可以另行构建数据服务器2801，使该数据服务器2801保持应该保存在存储装置102(图1)等中的数据，与图像取得装置2701连接的计算机2702经由上述网络等读出该信息。另外，从数据服务器2801读出信息的与图像取得装置2701连接的计算机2702不必是一台，也可以是多台。
而且，也可以将上述实施方式以及上述变形例分别进行组合。
应该认为，本次公开的实施方式在所有方面都是例示性而非制限性的。本公开的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等是一例，并非限定本公开之意。另外，实施方式中的构成要素中的没有记载在表示最上位概念的独立权利要求中的构成要素，是作为任意的构成要素而说明的。本公开的范围不是由上述的说明而是由权利要求的范围来表示，包括与权利要求的范围等同的意思以及范围内的所有变更。
根据本公开，能够取得将病理检验标本的种类和病理检验标本在各部位的差异考虑在内的高分辨率图像。因此，本公开能够在根据病理检查标本取得数字图像的图像处理装置等中利用。

Claims (10)

1.一种图像处理装置，包括：
分割部，其基于多个第1图像信息和多个第2图像信息来生成多个第3图像信息，所述多个第3图像信息各自包括所述多个第1图像信息中的一个第1图像信息和所述多个第2图像信息中的一个第2图像信息；
决定部，其基于与检验标本相关的信息来决定所述多个第3图像信息所使用的滤波器；以及
处理部，其使用所述决定出的滤波器对所述多个第3图像信息分别进行解卷积处理，
所述检验标本接受从第1方向照射的第1照明光而输出第1变换光，
拍摄元件接受所述第1变换光而输出所述多个第1图像信息，
所述检验标本接受从第2方向照射的第2照明光而输出第2变换光，
所述拍摄元件接受所述第2变换光而输出所述多个第2图像信息，
所述第1照明光和所述第2照明光从同一光源出射或者从不同光源出射，
在从所述同一光源到所述拍摄元件的光路或者从所述不同光源到所述拍摄元件的光路上不存在合焦光学系统。
2.根据权利要求1所述的图像处理装置，
与所述检验标本相关的信息包括所述检验标本的种类，
所述种类包括组织学诊断、细胞学诊断、无染色。
3.根据权利要求1或2所述的图像处理装置，
还包括对所述使用的滤波器的使用频度进行计数的计数器电路，
基于所述使用频度来决定要使用的滤波器的候选顺序。
4.根据权利要求2所述的图像处理装置，
第1图像包括所述多个第1图像信息，第2图像包括所述多个第2图像信息，
基于所述第1图像的图像特征量来决定所述种类。
5.根据权利要求4所述的图像处理装置，
所述图像处理装置按所述检验标本的各个种类而预先保持表示所述检验标本的图像所包含的特征量的识别参数，利用所述多个第1图像信息的图像特征量和所述识别参数来识别所述检验标本的种类。
6.根据权利要求1～5中任一项所述的图像处理装置，
所述处理部对所述多个第3图像信息各自分别使用多个种类的滤波器进行所述解卷积处理，输出所述多个种类的滤波器各自的结果。
7.根据权利要求6所述的图像处理装置，还包括：
显示装置，其显示所述多个种类的滤波器各自的结果；和
输入装置，其受理所述多个种类的滤波器各自的结果之一的选择。
8.根据权利要求1～7中任一项所述的图像处理装置，
存储装置保持有目标图像，
所述图像处理电路利用所述目标图像的图像数据对结果图像的图像数据进行校正。
9.一种图像处理方法，包括：
基于多个第1图像信息和多个第2图像信息来生成多个第3图像信息的步骤，所述多个第3图像信息各自包括所述多个第1图像信息中的一个第1图像信息和所述多个第2图像信息中的一个第2图像信息；
基于与检验标本相关的信息来决定所述多个第3图像信息所使用的滤波器的步骤；以及
使用所述决定出的滤波器对所述多个第3图像信息分别进行解卷积处理的步骤，
所述检验标本接受从第1方向照射的第1照明光而输出第1变换光，
拍摄元件接受第1变换光而输出所述多个第1图像信息，
所述检验标本接受从第2方向照射的第2照明光而输出第2变换光，
所述拍摄元件接受第2变换光而输出所述多个第2图像信息，
所述第1照明光和所述第2照明光从同一光源出射或者从不同光源出射，
在从所述同一光源到所述拍摄元件的光路或者从所述不同光源到所述拍摄元件的光路上不存在合焦光学系统。
10.一种图像处理装置，具备：
接口，其取得所给的病理检验标本的多个图像的数据，所述多个图像是使用在从所述照明部到拍摄元件为止的照明光的光路上没有用于合焦的光学系统的图像取得装置改变所述照明光的照射方向而拍摄到的图像；
存储装置，其存储包括用于解卷积处理的多个滤波器的滤波器信息；以及
图像处理电路，其将基于从使用者输入的与所述病理检验标本相关的信息而决定的、所述滤波器信息所包含的所述多个滤波器中的一个滤波器，在基于所述多个图像而构筑的、像素数更多的放大图像中的小区域中使用来进行所述解卷积处理，并输出结果。
CN201510430185.4A 2014-08-28 2015-07-21 图像处理装置和图像处理方法 Pending CN105391931A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014173707 2014-08-28
JP2014-173707 2014-08-28

Publications (1)

Publication Number Publication Date
CN105391931A true CN105391931A (zh) 2016-03-09

Family

ID=53785523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510430185.4A Pending CN105391931A (zh) 2014-08-28 2015-07-21 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (1) US9990709B2 (zh)
EP (1) EP2991337B1 (zh)
JP (1) JP2016052116A (zh)
CN (1) CN105391931A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557768A (zh) * 2016-11-25 2017-04-05 北京小米移动软件有限公司 对图片中的文字进行识别的方法及装置
CN111935404A (zh) * 2020-08-14 2020-11-13 腾讯科技（深圳）有限公司 微距成像系统、方法和装置
CN112955932A (zh) * 2018-10-31 2021-06-11 捷客斯金属株式会社 电子/电气设备部件屑的组成解析装置、电子/电气设备部件屑的处理装置及电子/电气设备部件屑的处理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016052116A (ja) * 2014-08-28 2016-04-11 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法およびコンピュータプログラム
US10664676B2 (en) * 2017-06-12 2020-05-26 Will Semiconductor (Shanghai) Co. Ltd. Systems and methods for reducing unwanted reflections in display systems incorporating an under display biometric sensor
CN114697584B (zh) * 2020-12-31 2023-12-26 杭州海康威视数字技术股份有限公司 一种图像处理系统及图像处理方法
KR102717662B1 (ko) * 2021-07-02 2024-10-15 주식회사 뷰웍스 스테레오 영상을 이용한 고심도 영상 생성 방법 및 장치, 고심도 영상 생성 모델 학습 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008211678A (ja) * 2007-02-27 2008-09-11 Kyocera Corp 撮像装置およびその方法
CN102313982A (zh) * 2010-07-02 2012-01-11 索尼公司 显微镜及区域确定方法
CN103649720A (zh) * 2011-05-06 2014-03-19 生物梅里埃公司 生物成像方法和系统
US20140118529A1 (en) * 2012-10-30 2014-05-01 California Institute Of Technology Fourier Ptychographic Imaging Systems, Devices, and Methods

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7065236B2 (en) * 2001-09-19 2006-06-20 Tripath Imaging, Inc. Method for quantitative video-microscopy and associated system and computer software program product
US7133547B2 (en) * 2002-01-24 2006-11-07 Tripath Imaging, Inc. Method for quantitative video-microscopy and associated system and computer software program product
JP4363095B2 (ja) * 2003-07-01 2009-11-11 コニカミノルタエムジー株式会社 医用画像処理装置及び医用画像処理システム
JP4311668B2 (ja) * 2004-11-15 2009-08-12 オリンパス株式会社 撮像装置と撮像システムおよび画像の撮影方法
JP2008011491A (ja) 2006-05-30 2008-01-17 Kyocera Corp カメラシステム、監視カメラ、および撮像方法
JP4749985B2 (ja) 2006-09-28 2011-08-17 京セラ株式会社 撮像装置、並びにその製造装置および製造方法
JP2008172321A (ja) * 2007-01-09 2008-07-24 Olympus Imaging Corp 電気的画像回復処理を行う撮像装置
US8422767B2 (en) * 2007-04-23 2013-04-16 Gabor Ligeti Method and apparatus for transforming signal data
DE102009022157B4 (de) * 2008-08-08 2011-09-01 Leica Biosystems Nussloch Gmbh Verfahren zum Herstellen von Dünnschnitten einer Probe mittels einer Bilderkennung
US8682051B2 (en) * 2008-11-26 2014-03-25 General Electric Company Smoothing of dynamic data sets
JP5677770B2 (ja) * 2009-06-25 2015-02-25 オリンパス株式会社 医療診断支援装置、バーチャル顕微鏡システムおよび標本支持部材
JP2011139204A (ja) * 2009-12-28 2011-07-14 Fujifilm Corp 画像処理装置および方法ならびにこれを用いた撮像装置
JP5633218B2 (ja) 2010-07-13 2014-12-03 富士通株式会社 画像処理装置、画像処理プログラム
EP2681757B1 (en) * 2011-03-03 2021-06-30 California Institute of Technology Imaging system and method of generating a sub-pixel resolution image
KR20140132821A (ko) * 2013-05-07 2014-11-19 삼성전자주식회사 영상 처리 유닛, 초음파 영상 장치 및 영상 생성 방법
JP2016530567A (ja) * 2013-08-22 2016-09-29 カリフォルニア インスティチュート オブ テクノロジー 可変照明フーリエタイコグラフィー撮像装置、システム、及び方法
JP2016052116A (ja) * 2014-08-28 2016-04-11 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法およびコンピュータプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008211678A (ja) * 2007-02-27 2008-09-11 Kyocera Corp 撮像装置およびその方法
CN102313982A (zh) * 2010-07-02 2012-01-11 索尼公司 显微镜及区域确定方法
CN103649720A (zh) * 2011-05-06 2014-03-19 生物梅里埃公司 生物成像方法和系统
US20140118529A1 (en) * 2012-10-30 2014-05-01 California Institute Of Technology Fourier Ptychographic Imaging Systems, Devices, and Methods

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALON GREENBAUM ET AL.: "Increased space-bandwidth product in pixel super-resolved lensfree on-chip microscopy", 《SCIENTIFIC REPORTS》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557768A (zh) * 2016-11-25 2017-04-05 北京小米移动软件有限公司 对图片中的文字进行识别的方法及装置
CN106557768B (zh) * 2016-11-25 2021-07-06 北京小米移动软件有限公司 对图片中的文字进行识别的方法及装置
CN112955932A (zh) * 2018-10-31 2021-06-11 捷客斯金属株式会社 电子/电气设备部件屑的组成解析装置、电子/电气设备部件屑的处理装置及电子/电气设备部件屑的处理方法
CN112955932B (zh) * 2018-10-31 2024-01-12 捷客斯金属株式会社 电子/电气设备部件屑的组成解析装置、电子/电气设备部件屑的处理装置及电子/电气设备部件屑的处理方法
CN111935404A (zh) * 2020-08-14 2020-11-13 腾讯科技（深圳）有限公司 微距成像系统、方法和装置
CN111935404B (zh) * 2020-08-14 2021-10-15 腾讯科技（深圳）有限公司 微距成像系统、方法和装置

Also Published As

Publication number Publication date
EP2991337A1 (en) 2016-03-02
US20160063696A1 (en) 2016-03-03
EP2991337B1 (en) 2017-12-06
JP2016052116A (ja) 2016-04-11
US9990709B2 (en) 2018-06-05

Similar Documents

Publication Publication Date Title
CN105391931A (zh) 图像处理装置和图像处理方法
JP7422825B2 (ja) 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測
US11074692B2 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
US8486704B2 (en) Methods of chromogen separation-based image analysis
US11436718B2 (en) Image analysis method, image analysis apparatus, program, learned deep layer learning algorithm manufacturing method and learned deep layer learning algorithm
KR102084535B1 (ko) 결함 검사 장치, 결함 검사 방법
WO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
US20150186755A1 (en) Systems and Methods for Object Identification
JP2015123047A (ja) 画像処理装置及びプログラム
US20180128734A1 (en) Image processing apparatus, image processing method, and image processing program
JP2019503012A (ja) ３次元顕微鏡画像の区分化のためのシステムおよび方法
JP2015125098A (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160309

WD01 Invention patent application deemed withdrawn after publication