CN107850586B - 图像解析装置、图像解析方法、图像解析系统、以及存储介质 - Google Patents

图像解析装置、图像解析方法、图像解析系统、以及存储介质 Download PDF

Info

Publication number
CN107850586B
CN107850586B CN201680041412.7A CN201680041412A CN107850586B CN 107850586 B CN107850586 B CN 107850586B CN 201680041412 A CN201680041412 A CN 201680041412A CN 107850586 B CN107850586 B CN 107850586B
Authority
CN
China
Prior art keywords
mentioned
image
output information
cut zone
image analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680041412.7A
Other languages
English (en)
Other versions
CN107850586A (zh
Inventor
河口直正
中根和昭
泷山晃弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osaka University NUC
Original Assignee
Osaka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osaka University NUC filed Critical Osaka University NUC
Publication of CN107850586A publication Critical patent/CN107850586A/zh
Application granted granted Critical
Publication of CN107850586B publication Critical patent/CN107850586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Molecular Biology (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明客观并且适当地评价组织的组成部分间的关系。具备：贝蒂数计算部(42)，对于拍摄组织得到的一个拍摄图像，改变二值化的基准值来生成多个二值化图像，并计算该二值化图像的每一个所包含的孔的数量；函数确定部(43)，确定出表征二值化的基准值与孔的数量的对应关系的特征数；以及输出信息生成部(44)，生成与特征数对应的输出信息。

Description

图像解析装置、图像解析方法、图像解析系统、以及存储介质
技术领域
本发明涉及对拍摄组织得到的图像进行解析，并输出用于判定组织的构成的信息的图像解析装置以及图像解析方法。
背景技术
病理诊断提供用于决定治疗方针的重要信息。在病理诊断中，为了避免产生诊断错误，而优选应用双重检查系统。该双重检查系统是指除了基于病理医生A的诊断以外也进行基于病理医生B的诊断，并基于两者的发现决定病理诊断的结果的系统。但是，目前，除了一部分发达国家外，进行病理诊断的病理医生的绝对数量不足。另外，病理医生不均匀地分布在大都市地区等的医院，许多医院没有专职的病理医生。因此，不仅在日本，就是在世界范围内，始终确保多位病理医生来迅速地实施病理诊断也不容易。此外，据说在日本，病理医生1人在1年进行的病理诊断中观察的组织载玻片的片数平均约1万片，每个病理医生的负担也在增长。鉴于这种现状，希望开发通过计算机技术代替病理医生在病理诊断中担当的角色从而辅助病理诊断的技术。
病理医生需要基于在病理诊断中通过显微镜观察得到的组织/细胞的形态学发现作出客观的判断。但是，因为可能存在仅从形态学发现来看难以正确地分类、区别的病变，所以有可能产生病变被忽视等病理诊断的错误。另外，在基于病理医生的经验的主观判断的病理诊断的情况下，存在每个病理医生的诊断结果不同的可能性，导致病理诊断的可靠性降低。要求支援病理诊断的技术，其能够不会产生诊断错误并且能够提供客观的诊断基准。
为了使用计算机技术对病理诊断所使用的组织载玻片等的图像进行解析，而提出了导入拓扑学的思维。作为辅助病理诊断的技术的例子，专利文献1公开了基于病理图像提取出癌病变部的图像解析装置。专利文献1所记载的图像解析装置通过对每个区域计算病理图像中的单位面积量的同调，来判断各区域是否是关注区域(例如，包括癌病变部的区域)。
另外，非专利文献1记载有应用持续同调(persistent homology)的概念对拍摄肝脏得到的图像进行解析，对肝脏的病变进行分类的方法。
现有技术文献
专利文献
专利文献1：WO2010/087112号(2010年8月5日公开)
非专利文献
非专利文献1：Aaron Adcock et al.，“Classification of Hepatic Lesionsusing the Matching Metric”，Computer Vision and Image Understanding,Vol.121,p.36-42，2014.适当地评价构成组织的组成部分间的关系对于了解该组织的物理性质以及结构并判定该组织的组成很重要。
例如，在生物体组织的情况下，若举出对生物体组织中产生的癌的诊断有效的图像解析的情况为例，则伴随某组织产生的癌细胞异常增殖，细胞的形状变形，组织所具有的原始结构丧失，向癌细胞无秩序分布的状态推移。在病理诊断中，基于与这样的组织/细胞的形态相关的病理医生的发现规定了癌的“分化度”。
在国际疾病分类，肿瘤学第3版(ICD-O-3)中，将结肠癌根据其分化度记载为“(高·中·低)分化癌”的情况下，作为“腺癌”，采用了形态学编码“8140/3”。而且，癌(腺瘤)的“分化度”在例如腺癌的情况下，通过在8140/3的后面标注表示分化度的数字1～3来规定。此外，与以往相同，按正常→腺癌(高分化)→腺癌(中分化)→腺癌(低分化)的顺序，表示丧失了组织细胞所具有的特征的状态。
腺癌(高分化)：8140/31
腺癌(中分化)：8140/32
腺癌(低分化)：8140/33。
病理诊断包含有癌的分化度的辨别。了解组织的物理性质、结构并判定其结构重要的情况并不局限于判定生物体组织的癌的情况，在各种组织中都相同。
发明内容
本发明的目的是为了解决上述的问题点而完成的，其目的在于提供能够生成用于适当地评价构成组织的组成部分间的关系的信息的图像解析装置等。
本发明的图像解析装置为了解决上述的课题，而具备：二值化部，对于拍摄组织得到的一个拍摄图像，通过改变二值化的基准值进行多次的二值化处理，来生成多个二值化图像；空间数计算部，对于上述二值化部生成的多个二值化图像的每一个，计算孔形状的区域的数量；确定部，确定出表征上述多个二值化的基准值与上述孔形状的区域的数量的对应关系的特征数；以及输出信息生成部，生成与上述确定部确定出的上述特征数对应的输出信息。
另外，本发明的图像解析方法是为了解决上述的课题，而对拍摄组织得到的拍摄图像进行解析的图像解析装置中的图像解析方法，包括：二值化工序，对于一个上述拍摄图像，通过改变二值化的基准值进行多次的二值化处理，来生成多个二值化图像；空间数计算工序，对于通过上述二值化工序生成的多个二值化图像的每一个，计算孔形状的区域的数量；确定工序，确定出表征上述多个二值化的基准值与上述孔形状的区域的数量的对应关系的特征数；以及输出信息生成工序，生成与通过上述确定工序确定出的上述特征数对应的输出信息。
发明效果
本发明起到通过对组织的图像进行解析，能够客观并且适当地评价该组织的组成部分间的关系不同这样的效果。
附图说明
图1是表示本发明的实施例1的图像解析装置的构成的一个例子的框图。
图2是对能够应用于本发明的图像解析装置的1维贝蒂数进行说明的图。
图3是表示本发明的实施例1的图像解析装置中的处理的流程的一个例子的流程图。
图4是表示本发明的实施例1的图像解析装置中的生成二值化图像的处理的流程的一个例子的流程图。
图5的(a)是原始组织图像(B像素值的最大值为171)，图5的(b)、(c)、(d)是表示使用B像素值的最大值分别乘以1、0.7、0.5得到的值来二值化的组织图像的一个例子的图。
图6是表示通过图像解析装置解析后的结果的一个例子的图。
图7是表示通过图像解析装置解析后的结果的一个例子的图。
图8是表示通过图像解析装置解析后的结果的一个例子的图。
图9是表示近似表达式的二次系数a的正/负的比例的图表。
图10的(a)示出使用二次函数式作为近似表达式的情况下的近似表达式的一个例子，图10的(b)是标示了具有近似表达式的二次系数的对数和表示近似表达式的轴的位置的b作为坐标的点的分布图。
图11是表示判定用图像的一个例子的图。
图12是表示本发明的实施例2的图像解析装置的构成的一个例子的框图。
图13是表示包括本发明的图像解析装置的图像解析系统的构成例的示意图。
图14的(a)是表示酸性条件下凝胶化的硅凝胶的分子构造的图，图14的(b)是使用透射式电子显微镜拍摄酸性条件下凝胶化的硅凝胶得到的图像，图14的(c)是表示碱性条件下凝胶化的硅凝胶的分子构造的图，图14的(d)是使用透射式电子显微镜拍摄碱性条件下凝胶化的硅凝胶得到的图像。
图15的(a)～(g)是改变二值化的基准值对图14的(b)的图像进行二值化得到的二值化图像。
图16的(a)～(g)是改变二值化的基准值对图14的(d)的图像进行二值化得到的二值化图像。
图17是表示对硅凝胶的构成进行解析的结果的一个例子的图。
具体实施方式
以下，使用图1～10对本发明的一个实施方式进行说明。
(本发明的技术思想)
首先，以下对本发明的技术思想进行说明。本发明的目的在于，通过对拍摄组织得到的拍摄图像进行解析，来输出用于辨别该拍摄图像中的癌的分化度的信息。
本发明的发明人调查拍摄组织标本得到的拍摄图像，详细地比较和研究了伴随癌化的癌细胞的大小、形状、或者各细胞的位置关系。其结果，发现了能够对于包含癌的组织所拍摄的组织图像，改变二值化的基准值进行多次的二值化处理，并基于改变的二值化的基准值与使用该基准值二值化的图像所包含的组织的像所示出的1维贝蒂数的关系，辨别癌的分化度。
此外，本发明的图像解析装置1能够应用于生物体组织、矿物组织、以及树脂产品的组织等各种类型的组织的组成的分析。“组织”是指多种组成部分以规定的模式集合成的结构单位。成为本发明的解析对象的组织也可以是由细胞等的集合构成的生物体组织、由晶粒等的集合构成的矿物组织、以及由硅等树脂材料的集合构成的树脂产品的组织等。
以下，举出输出用于辨别生物体组织产生的癌的分化度的信息的图像解析装置1为例进行说明，但本发明的解析对象并不局限于生物体组织。
＜癌的分化度＞
伴随某组织产生的癌细胞异常增殖，细胞的形状变形，组织所具有的原始结构丧失，向癌细胞无秩序分布的状态推移。在病理诊断中，基于这样的组织细胞的形态学的发现规定了癌的“分化度”。
生物体组织作为组成部分包括具有特定的形态以及功能的细胞等。组织通过组成部分相互合作，来发挥该组织所具有的功能。因此，正常部分的组成部分彼此具有较强的联系以发挥组织的功能。
另一方面，在组织在肿瘤化/癌化的部位中，由于杂质的存在增加，或者细胞异常增加，因而组成部分间的关系的强度比正常部分弱。并且，若组织的癌化发展，则成为组织的结构丧失的所谓的脱分化的状态(低分化、中分化)。
＜用于量化组成部分间的关系的数学表达＞
为了量化组织的组成部分间的关系，本发明的发明人尝试了应用同调的概念，尤其是持续同调。所谓同调是指代数地置换图形的形态上的性质，使图形的结合等的解析变得容易的一个数学领域。本发明的发明人在同调的概念中也着眼于1维贝蒂数的利用。
表示组成部分的接触的数学概念亦即同调的概念在病理图像中，若设定适当的二值化的基准值(也称为二值化参数)，则能够根据被二值化的图像计算每单位面积的1维贝蒂数，从而评价该组织的组成部分彼此的接触的程度。
所谓贝蒂数是与图形(组成部分)的形状无关而仅与图形的接触和分离相关的拓扑建议数，在q维单纯同调群是有限生成时，该q维单纯同调群被分成自由可换群与有限可换群的直和。将该自由可换群的等级称为贝蒂数。在二维的情况下，0维贝蒂数是连结成分的数量，1维贝蒂数是该连结成分成为外缘包围起来的空间(孔形状的区域)的数量，即连结成分中存在的“孔”的数量。
＜1维贝蒂数＞
1维贝蒂数在数学上定义如以下。通常，对于连接有限数量的线段而形成的图形(1维复合体)K，即使从图形K去除适当的r个的不包含两端的1维单体(线段)，图形K的连结成分的个数也不增加，但在从K去除任意的(r+1)个的不包含两端的1维单体(线段)的情况下，K的连结成分的个数增加一个时，图形K的1维贝蒂数是r。
使用图2所示的图形对1维贝蒂数进行说明。图2是对能够应用于本发明的图像解析装置1的贝蒂数进行说明的图。在图2所示的图中，环C1和环C2相互相交。该图形所具有的“孔”的数量是3个。另一方面，该图形的1维贝蒂数被计算为3。即，对于某图形计算1维贝蒂数等于对该图形所具有的“孔”的数量进行计数。
〔实施方式1〕
(图像解析装置1的构成)
在此，使用图1对图像解析装置1的构成进行说明。图1是表示本发明的实施例1的图像解析装置1的构成的一个例子的框图。如图示那样，图像解析装置1具备图像获取部2(接收部)、存储部3、图像解析部4(图像解析装置)、显示控制部5、以及一次存储部7。此外，图示出图像解析装置1与单独设置的显示装置6(提示部)连接的例子，但并不局限于此。例如，图像解析装置1既可以是内置显示装置6(提示部)的构成，也可以是通过无线/有线与多个显示装置6连接的构成。
图像获取部2从外部设备8(例如，与显微镜连接的拍摄装置、能够保存图像数据的存储装置等)获取拍摄组织得到的拍摄图像(以下，称为组织图像)，将获取到的组织图像储存到存储部3。上述组织图像是以适当的倍率拍摄组织得到的图像。此外，组织图像的拍摄倍率由本领域技术人员根据成为解析对象的组织适当地设定即可。另外，组织图像既可以是直接拍摄组织得到的图像，也可以是拍摄实施了适当的染色后的组织得到的图像。
对组织进行染色的方法没有特别限定，例如，在生物体组织的情况下，能够使用HE(Hematoxylin-Eosin：苏木精—伊红)染色等。在0HE染色后的组织中，细胞核以及细胞质被染色，所以适合观察构成组织的细胞间的关系。
存储部3存储图像获取部2获取到的组织图像，并且记录图像解析部4执行的(1)各部分的控制程序、(2)OS程序、(3)应用程序、以及(4)执行这些程序时读出的各种数据。存储部3由硬盘、闪速存储器等非易失性的存储装置构成。
一次存储部7被作为用于在执行上述的各种程序的过程中暂时地保持数据的作业区域使用，由RAM(Random Access Memory：随机存取存储器)等易失性的存储装置构成。
显示控制部5通过控制显示装置6，来在显示装置6上显示表示从图像解析部4输出的解析结果的图像(输出信息)等。
显示装置6是显示从图像解析部4输出的输出信息等的显示装置，例如是液晶显示器。此外，也可以是图像解析装置1具备专用的显示装置6的构成。此外，也可以是在显示装置6的显示画面上重叠有触摸传感器，显示装置6能够检测用户对显示面的触摸操作的构成。
(图像解析部4的构成)
图像解析部4通过对图像获取部2获取到的组织图像进行解析，来输出表示该组织图像所包含的癌组织的分化度的信息。该图像解析部4具备二值化部41(分割部)、贝蒂数计算部42(空间数计算部)、函数确定部43(确定部)、以及输出信息生成部44。
二值化部41在组织图像的二值化处理中，将具有大于二值化的基准值的像素值的像素转换为白色的像素，并将具有二值化的基准值以下的像素值的像素转换为黑色的像素。此时，二值化部41针对拍摄组织得到的一个组织图像，通过改变二值化的基准值并进行多次的二值化处理，来生成多个二值化图像。
若对二值化的基准值的决定方法的一个例子进行说明则如以下所述。二值化部41基于关于组织图像所包含的规定的颜色成分的像素值的分布数据(直方图)，将该颜色成分的频率最高(包含最多)的像素值确定为标准像素值。而且，将该标准像素值乘以规定的范围的倍率(例如，0.55～0.72)得到的值决定为二值化的基准值。
二值化部41对于组织图像的灰度图像使用如上述那样决定的多个二值化的基准值来进行二值化处理，生成多个二值化图像。
此外，用于将组织图像二值化的基准值对于检测组织图像所包含的组成部分的外缘，判断组成部分间的关系很重要。因为具有大于二值化的基准值的像素值的像素为白色，具有小于二值化的基准值的像素值的像素为黑色，所以若将二值化的基准值设定得过大，则被二值化的组织图像过度地强调分界线，成为发黑的图像。另一方面，若将二值化的基准值设定得过小，则二值化的组织图像成为分界线少的发白的图像(参照图5)。以后详细描述对于组织图像进行的二值化处理。
另外，二值化部41也可以具备作为将图像获取部2获取到的组织图像分割成规定的大小的分割区域(以下，也存在表示为“分割图像”的情况)的图像分割部(分割部)的功能。或者，也可以图像解析部4是除了二值化部41、贝蒂数计算部42、函数确定部43、以及输出信息生成部44，还具备图像分割部(未图示)的构成。二值化部41也能够对每个分割区域决定使二值化的基准值变化的范围来进行二值化。但是，在比较各分割区域辨别组织图像中的关注区域的情况下，希望共用使二值化的基准值变化的范围来进行全部的分割区域的二值化处理。
贝蒂数计算部42对于二值化部41生成的多个二值化图像计算该二值化图像所包含的由分别具有闭合的外缘的多个组成成分的外缘包围的孔的数量(孔形状的区域的数量)。即，贝蒂数计算部42对于分别包含于多个二值化图像的组织的像计算1维贝蒂数。
上述孔是具有一个以上的组成成分的外缘的至少一部分(在组成成分为一个的情况下，该组成成分的全部外缘)作为其外缘的开口部。换言之，被组成成分的外缘包围的孔被分类为(1)在其内部具有一个组成成分的孔、和(2)被彼此连结的多个组成成分分别具有的外缘包围的孔。
也可以使用现有的程序作为贝蒂数计算部42。能够举出CHomP作为这种程序的一个例子。CHomP是依据GNU(General PublicLicense：通用公共许可证)的免费软件，能够从主页(http://chomp.rutgers.edu/)下载。只要是能够计算关于图像的1维贝蒂数的程序，也可以使用CHomP以外的程序。
函数确定部43确定出表征多个二值化的基准值与孔的数量的对应关系的数值(特征数)。该数值确定出至少一个即可。例如，函数确定部43也可以导出表示近似地示出多个二值化的基准值与孔的数量的关系的函数(近似函数)的表达式，并将该导出的表达式所包含的系数的至少一个确定为特征数。该情况下，函数确定部43计算(确定出)表示近似地示出伴随二值化的基准值的变化的孔的数量的变化的函数的特征的1个或者多个数值(特征数)。这里，作为近似地示出伴随二值化的基准值的变化的孔的数量的变化的函数(近似函数)，也可以是能够用任意的关系表达式表示的函数，例如，也可以是n次函数(n≥1)(包括近似线性以及近似对数)、指数函数(近似乘幂)、以及三角函数等。以下，举出函数确定部43计算近似地示出伴随二值化的基准值的变化的孔的数量的变化的n次函数(n≥1)的表达式(n次表达式)所包含的包括n次系数(特征数)的多个系数的情况为例进行说明。
此外，函数确定部43也可以构成为不导出近似函数就确定出表征多个二值化的基准值与孔的数量的对应关系的多个特征数。例如，为了确定出表征多个二值化的基准值与孔的数量的对应关系的特征数，函数确定部43也可以是应用深层学习(深度学习)等方法的构成。例如，函数确定部43也可以实施使用具有规定的特征(癌的分化度等)的典型的图像(组织图像等)、和与对于该图像使用多个二值化的基准值进行了二值化处理时的二值化的基准值与上述被二值化处理的图像所示出的孔的数量的对应关系对应的特征数的多个组合作为学习数据的深层学习。这里，能够作为学习数据使用的特征数既可以是和上述二值化的基准值与孔的数量的对应关系对应的数量，也可以是例如表示癌(组织)的分化度的任意的数值(例如，高分化度的情况下为1，中分化度的情况下为2，低分化度的情况下为3等)。在采用了这样的深层学习的情况下，函数确定部43能够不导出表示近似地示出二值化的基准值与孔的数量的关系的函数的表达式就确定出适当的特征数。
输出信息生成部44生成与函数确定部43计算出的多个特征数(例如，近似函数的系数)中的至少一个对应的输出信息。作为上述输出信息，例如，举出反映了由分别与函数确定部43计算出的多个系数一一对应的多个坐标轴形成的坐标空间上的具有函数确定部43计算出的多个系数作为坐标的点(称为坐标点)的位置的信息(输出信息)。另外，输出信息生成部44也可以生成示出了分割区域的判定用图像作为输出信息，根据关于拍摄图像中的分割区域的坐标点的位置，使判定用图像中的分割区域的提示方式不同(参照图11(b))。例如，也可以用红色表示包括低分化的癌的分割区域，用橙色表示包括腺瘤的分割区域，用黄色表示包括高分化的癌的分割区域等，将与不包括癌的正常的分割区域的差明确地显示。
此外，输出信息生成部44作为输出信息也可以生成(1)表示上述坐标点的多个数值的组合、(2)示出了上述坐标点的图表(例如，图10的(b)所示的分布图)、(3)表示基于上述坐标点的位置判定出的癌的分化度的信息(文字、数值、颜色信息等)。在存在多个分割区域的情况下，优选这些输出信息包含确定出成为解析对象的分割区域的信息。
(图像解析装置1的处理的流程)
接下来，使用图3对图像解析装置1中的处理的流程的一个例子进行说明。图3是表示图像解析装置1中的处理的流程的一个例子的流程图。这里，作为组织图像已经储存于存储部3来进行说明。另外，这里，示出包括分割组织图像而生成分割区域的处理的例子。
首先，二值化部41从存储部3获取组织图像，通过将获取到的组织图像分割成规定的大小的区域来生成分割区域(S1)。分割区域是将原始的组织图像分割成纵3×横3，纵5×横5等的情况的各区域。
接着，二值化部41使二值化的基准值变化的同时进行二值化处理，从一个组织图像生成多个二值化图像(S2：二值化工序)。此外，后述二值化部41从组织图像生成二值化图像的处理。
图像数据多数使用被称为像素(pixel)的微小的正方形，通过决定该正方形上的光强度来表现各种图形(位图形式)。所谓二值化是指若该光强度大于一定值则为黑(在计算机中识别为1)，若在一定值以下则为白(在计算机中识别为0)。
二值化部41将生成的二值化图像发送至贝蒂数计算部42。
贝蒂数计算部42按接受到的二值化图像所示的分割区域计算1维贝蒂数(S3：空间数计算工序)。贝蒂数计算部42将计算出的1维贝蒂数向函数确定部43输出。
函数确定部43计算表示从贝蒂数计算部42输出的1维贝蒂数与二值化的基准值之间的关系的关系表达式所包含的多个系数(S4：函数确定工序)。函数确定部43将计算出的多个系数与确定分割区域的信息相关联后向输出信息生成部44输出。
输出信息生成部44按每个分割区域确定出具有函数确定部43计算出的多个系数作为坐标的坐标点的坐标空间上的位置，生成与确定出的位置对应的输出信息(例如，上述的判定用图像)(S5：输出信息生成工序)。输出信息生成部44将生成的输出信息输出到显示控制部5。
显示控制部5将从输出信息生成部44输出的输出信息显示在显示装置6上(S6)。
(生成二值化图像的处理的流程)
接下来，使用图4对二值化部41从组织图像生成二值化图像的处理进行说明。图4是表示本发明的实施例1涉及的图像解析装置1中的生成二值化图像的处理的流程的一个例子的流程图。
二值化部41获取组织图像的图像数据所包含的像素的每个颜色成分(例如，RGB)的像素值，决定用于设定二值化的基准值的标准像素值(S11)。例如，在组织图像是拍摄被HE染色的组织的切片得到的图像的情况下，基于RGB的各颜色成分中蓝色(B)的像素值决定标准像素值。以下对该标准像素值的决定方法的具体例子进行说明。
在像素值被HE染色的组织的情况下，细胞核染成蓝色。在着眼于核，对组织图像进行图像解析的情况下，基于B的像素值决定二值化的基准值是适当的。在进行了组织染色的情况下，因为会产生染色不均匀，所以优选将被标准地染色的部分作为基准来决定二值化的基准值。因此，将构成组织图像的B的像素值之中的被以最高的频率包含的B的像素值决定为标准像素值。通过这样决定二值化的基准值，使用染色的程度不同的多个组织的多个拍摄图像的情况下，能够将染色程度标准化。
具体而言，在表示组织图像中的B的像素值与具有该像素值的像素的个数(像素数)之间的关系的分布数据中，确定出上述像素数极大的像素值亦即标准像素值。即，所谓标准像素值是组成组织图像的B的像素值中被以最高的频率包含的像素值。此外，在存在多个出现频率极大的B的像素值的情况下，选择极大值较大的一方的像素值即可。
这里，对基于B的像素值决定二值化的基准值的情况进行了说明，但也可以根据组织图像的颜色成分的分布、染色所使用的色素的色调，确定出RGB的各颜色成分中红色(R)或者绿色(G)的像素值来决定二值化的基准值。
接着，二值化部41将在S11决定的标准像素值乘以规定的范围内的各种倍率得到的值作为二值化的基准值，从该组织图像的灰度图像生成二值化图像(S12)。由此，能够各种改变二值化的基准值并从一个组织图像生成多个二值化图像。此外，为了计算用于从一个组织图像生成多个二值化图像的二值化的基准值而使用的倍率可以根据作为解析对象的组织的组成适当地变更。
但是，若将二值化的基准值设定得过大，则二值化的组织图像过度强调分界线，成为发黑的图像。另一方面，若将二值化的基准值设定得过小，则二值化的组织图像成为分界线少的发白的图像。使用图5对该情况进行说明。
图5的(a)是原始组织图像。在该组织图像中，在B的像素值的分布数据中出现频率最大(极大)的像素值(标准像素值)是171。图5的(b)、(c)、以及(d)是表示使用B的标准像素值分别乘以1、0.7、0.5得到的值作为二值化的基准值被二值化的组织图像的一个例子的图。若直接使用关于B的标准像素值作为二值化的基准值(即，倍率＝1)来进行二值化处理，则如图5的(a)所示，图像变得发黑，且是不适合评价组成部分间的关系的图像。
另一方面，若将倍率设为0.5，则成为图5的(c)所示那样的发白的图像，该情况也是不适合评价组成部分间的关系的图像。图5的(b)是将倍率设为0.7时的图像，但是适合评价组织的组成部分间的关系的图像。在过于发黑或者过于发白的二值化图像中，1维贝蒂数被计算为极端低，表示组成部分间的关系的值不被适当地计算出。
像这样对各种倍率研究了二值化图像的合适与否的结果，可知为了对被HE染色的生物体组织的组织图像进行解析，辨别该组织中的癌的分化度，将乘以关于B的标准像素值的倍率从0.55以上0.72以下的范围内选择即可。
像这样，通过将使二值化的基准值变化的范围限定为优选的范围，能够使图像解析装置1的处理速度提高。
此外，根据组织的种类或染色方法等，可以适当地变更该二值化的基准值的决定方法。确定出标准像素值的颜色成分既可以是B以外的颜色成分，与它相乘的倍率也使用适当的范围的值即可。
此外，二值化部41也可以应用将用于对组织图像进行二值化的二值化的基准值决定为对于全部的像素共用的(固定的)阈值的方法，也可以应用决定为对每个像素可变的阈值的方法。作为将二值化的基准值决定为对于全部的像素共用的(固定的)阈值的方法，例如，公知有以下的(1)～(4)所示的方法。
(1)将二值化对象的图像使用该图像的亮度信息转换成灰度图像后，根据在该灰度图像中的像素值的分布数据中出现频率最大(极大)的像素值(峰值)决定二值化的基准值的方法。
(2)对RGB图像进行H(色调)S(饱和度)V(亮度)转换或者H(色调)L(亮度)S(饱和度)转换，基于V(亮度)、S(饱和度)等的直方图决定二值化的基准值的方法。
(3)不是直接将在像素值的分布数据中出现频率最大(极大)的像素值作为阈值，而是通过对该分布数据的双峰性进行解析，求出分离度最大的解来决定二值化的基准值的方法(例如，大津的阈值)。
(4)以百分比等比率指定二值化对象的图像的欲二值化的区域的像素数占整个图像的比例，决定二值化基准值的方法(例：P平铺法)。
(组织图像的解析例)
接着，使用图6～图8对使用本发明的图像解析装置1对生物体组织的组织图像进行解析的例子进行说明。图6～图8是表示通过图像解析装置1解析后的结果的一个例子的图，图6是正常的组织，图7以及图8是包含癌的组织的解析例。
为了对图6的(a)所示的组织图像进行二值化来生成二值化图像，而将关于B的标准像素值与将0.55～0.72的值每次变更0.01相乘得到的值作为二值化的基准值。使用这样得到的二值化的基准值，根据组织图像的灰度图像生成多个二值化图像，对于各个二值化图像计算出1维贝蒂数。
图6的(a)所示的组织图像的分割区域A以及分割区域B是不包括癌的正常的区域。图6的(b)示出绘制了改变二值化的基准值时的分割区域A以及分割区域B的1维贝蒂数的变化的图表。此外，在图6～图8的(b)中，横轴是乘以关于B的标准像素值的倍率，纵轴是孔的数量(即，1维贝蒂数)。如图6的(b)所示，分割区域A以及分割区域B的相对于倍率的孔的数量均能够使用二次函数(图中的点线)作为近似表达式(近似函数的表达式)来近似。表示近似的程度的相关系数(R2)均比0.99高，表示该近似是非常高精度的近似。
此外，这里对使用二次函数作为近似表达式的例子进行了说明，但并不局限于此，也可以使用3次函数、4次函数等高次函数来近似。另外，也可以通过组织使用1次函数来近似。回归曲线的描绘以及近似表达式的导出使用嵌入Microsoft Excel(注册商标)的算法等任意的软件即可。
接下来，示出包括癌的区域的解析例。图7的(a)所示的组织图像的分割区域C以及分割区域D是包括癌的区域。图7的(b)示出绘制了改变二值化的基准值时的分割区域C以及分割区域D的1维贝蒂数的变化的图表。如图7的(b)所示，分割区域C以及分割区域D的相对于倍率的孔的数量也能够使用二次函数(图中的点线)非常高精度地近似。
另外，图8的(a)所示的组织图像的分割区域E～G是包括癌的区域。图8的(b)示出绘制了改变二值化的基准值时的分割区域E～G的1维贝蒂数的变化的图表。如图8的(b)所示，分割区域E～G的相对于倍率的孔的数量也能够使用二次函数(图中的点线)非常高精度地近似。
(二次系数为负的情况)
这里使用图9对二次函数的二次系数为负的情况进行说明。在很多的组织图像中，二次函数的二次系数为正，但也看到了如分割区域E那样，二次函数的二次系数为负的情况。
图9是表示近似表达式的二次系数的正/负的比例的图表。如图示那样确认了在正常的组织、腺瘤以及高分化的癌中二次系数为负的例子。另一方面，在中分化以及低分化的癌中，除了1个例子，没有二次系数为负的情况。并且，在二次系数为负的低分化的癌的1个例子中，组织图像的状态变差，细胞核被粉碎。即，可知近似表达式的二次系数为负的情况在腺瘤以及高分化的癌中常见，在中分化、低分化的癌中几乎看不到近似表达式的二次系数为负的情况。
(对辨别癌的分化度的应用例)
对使用图像解析装置1对生物体组织的组织图像进行解析，提取出用于辨别癌的分化度的信息的例子进行说明。图10示出在由与近似表达式的多个系数有关的多个坐标轴形成的坐标空间绘制了具有关于被解析的组织图像(或者各分割图像)的近似表达式的多个系数作为坐标的点(坐标点)的图表的一个例子。图10的(a)示出作为近似表达式使用的二次函数的表达式，图10的(b)是绘制了具有近似表达式的二次系数a的对数(Log a)和表示近似表达式的轴的位置的b作为坐标的坐标点的分布图。对数的底既可以是10，也可以是自然数e。此外，这里因为近似表达式的二次系数a的值大所以为了方便使用对数，但也可以不使用对数。
如图10的(b)所示可知，包括中分化以及低分化的癌的图像的坐标点集中分布在纵轴的值以及横轴的值均大的位置。另一方面，在高分化的癌、腺瘤、正常的组织中，坐标点分布在分别具有固有的倾斜度的区域(由图中的椭圆所示的区域)内，其倾斜度呈按高分化的癌、腺瘤、正常的组织的顺序变缓的趋势。
基于该坐标点的分布的趋势，计算表示已计算出该坐标点的组织图像(或者分割图像)中的癌是哪个分化度的癌的指标，并基于该指标生成明示出在癌的判定中医师应该关注的区域的组织图像(判定用图像)作为输出信息。该输出信息是用于辨别癌的分化度的信息。
(判定用图像)
这里，使用图11对判定用图像进行说明。图11是表示判定用图像的一个例子的图。图11的(a)表示解析对象的组织图像，图11的(b)分别表示与该组织图像中的癌的分化度相应地用颜色区分分割图像的判定用图像。
例如，在图11的(b)中，图11的(a)所包含的区域H以及区域I所包含的各分割区域与该分割区域的解析结果(上述坐标点的位置)相应地用颜色区分。例如，也可以用红色表示存在包括低分化的癌的可能性的分割区域，用橙色表示存在包括腺瘤的可能性的分割区域，用黄色表示存在包括高分化的癌的可能性的分割区域。另外，在无法确定出一个分化度的情况(例如，在图10的(b)中，在虚线区域彼此重叠的区域存在坐标点的情况)，也可以通过浓淡度显示分化度。
(二次系数为负的中分化/高分化的癌的辨别)
此外，如上所述，中分化/高分化的癌存在近似表达式的二次系数为负的情况。在近似表达式的二次系数为负的情况下，无法绘制成如图10的(b)所示那样的图表。
因此，在函数确定部43计算出的2次系数是负的情况下，输出信息生成部44也可以基于规定的二值化图像中的孔的数量的实际数量生成输出信息。
具体而言，贝蒂数计算部42对于将关于B的标准像素值乘以0.55～0.72的值得到的值作为二值化的基准值生成的多个二值化图像的每一个计算1维贝蒂数。接下来，函数确定部43计算表示二值化的基准值与孔的数量之间的关系的二次近似表达式所包含的包括二次系数的多个系数。输出信息生成部44在二次系数的符号为正的情况下，比较孔的数量的实际数量与预先决定的辨别基准值，基于比较结果来生成用于辨别癌的分化度的上述那样的判定用图像作为输出信息。
例如，在近似表达式的二次系数为负的情况下，着眼于将标准像素值乘以0.72得到的值作为二值化的基准值生成的二值化图像中的孔的数量的实际数量。例如，在不包括癌的正常的组织中，孔的数量平均为1035，相对于此，在腺瘤中孔的数量增加为平均2550，在高分化的癌中进一步增加到平均6255。正常、腺瘤以及高分化的癌中的孔的数量的实际数量的差异在统计学上是有意义的。
根据该情况可知，在近似表达式的二次系数为负的情况下，能够提供用于基于二值化图像中的孔的数量的实际数量进行癌的分化度的辨别的信息。
〔实施方式2〕
(图像解析装置1a的构成)
接下来，使用图12对图像解析装置1a的构成进行说明。图12是表示本发明的实施例2的图像解析装置1a的构成的一个例子的框图。图像解析装置1a在代替显示控制部5具备解析结果发送部9(发送部)的点上与图像解析装置1不同。解析结果发送部9从输出信息生成部44获取对从外部设备8接收到的图像数据所示的拍摄图像进行了解析的结果，并发送至提示装置10。
此外，外部设备8以及提示装置10的数量也可以是多个。
(图像解析系统)
这里，使用图13对包括图像解析装置1a的图像解析系统100以及100a的构成例进行说明。图13是表示包括本发明涉及的图像解析装置1a的图像解析系统100以及100a的构成例的示意图。图13的(a)示出外部设备8和提示装置10设置于分离的场所的例子，图13的(b)示出提示装置10与外部设备8a连接的例子。
图像解析系统100具有外部设备8、图像解析装置1a、以及提示装置10。外部设备8、图像解析装置1a、以及提示装置10与互联网等的信息通信网络50连接，能够相互地进行数据的接收和发送。
外部设备8既可以是例如具备拍摄组织的功能的显微镜等设备，也可以是集中管理拍摄组织得到的图像的服务器(电子病历服务器、显微镜图像数据服务器等)。
提示装置10是具有对用户提示图像解析的结果的功能的装置即可，例如，提示装置10是具备显示器的显示装置。或者，也可以是医务人员所携带的平板终端等通信终端设备。
拍摄组织得到的拍摄图像的图像数据从外部设备8向图像解析装置1a发送。接收到图像数据的图像解析装置1a的图像解析部4对该图像进行解析，并将输出信息生成部44生成的输出信息从解析结果发送部9发送至提示装置10或者外部设备8。
图像解析系统100a具有外部设备8a、图像解析装置1a、以及提示装置10。外部设备8a以及图像解析装置1a与互联网等信息通信网络50连接，能够相互地进行数据的接收和发送。提示装置10与外部设备8a连接。
即，图像解析装置1a能够从外部设备8接收在远处拍摄到的图像，来进行图像解析，并将作为解析结果的输出信息以及判定用图像的至少任意一方发送至提示装置10以及10a。提示装置10以及10a既可以是与外部设备8连接的装置，也可以是与图像解析装置1a以及外部设备8独立的装置。
〔实施方式3〕
本发明并不局限于生物体组织中的癌的判定，能够应用于其他的组织中的组织的组成的解析。作为该一个例子，在本实施方式中，使用图14～图17对硅凝胶(组织)中的组成的解析例进行说明。
(硅凝胶的组成以及图像)
硅凝胶是包括硅原子(Si)和氧原子(O)作为组成部分的非晶质材料。已知硅凝胶在酸性条件下凝胶化的情况和碱性条件下凝胶化的情况中分子间的键合(关系)的图案(组成)不同。以下，示出使用本发明的图像解析装置1、1a对硅凝胶中的分子间的键合进行了解析的结果的一个例子。
首先，使用图14对硅凝胶的取决于凝胶化条件的分子结构(组成硅凝胶的分子间的键合图案)的差异进行说明。图14的(a)是表示酸性条件下凝胶化的硅凝胶的分子结构的图，图14的(b)是使用透射式电子显微镜拍摄酸性条件下凝胶化的硅凝胶得到的图像(组织图像、拍摄图像)，图14的(c)是表示碱性条件下凝胶化的硅凝胶的分子结构的图，图14的(d)是使用透射式电子显微镜拍摄碱性条件下凝胶化的硅凝胶得到的图像(组织图像、拍摄图像)。此外，在图14的(b)以及(d)所示的图像中，显示为白色的部分表示存在氧原子。这里，在图15的(b)以及(d)的图像中绘制了表示1nm的标尺。拍摄倍率由本领域技术人员与成为解析对象的组织相应地适当设定即可。
图像获取部2从透射式电子显微镜等外部设备8获取拍摄硅凝胶得到的图像。获取到的图像储存于存储部3。
(拍摄硅凝胶得到的图像的二值化)
首先，二值化部41从存储部3读出图15的(b)的图像，根据该图像，生成改变二值化的基准值进行二值化得到的二值化图像。图15是改变二值化的基准值对图14的(b)的图像进行二值化后得到的二值化图像。另外，图16是改变二值化的基准值对图14的(d)的图像进行二值化后得到的二值化图像。
这里，与上述的实施方式不同，硅凝胶的图像不包括RGB等颜色成分。因此，在本实施方式中，二值化部41将规定的像素值决定为二值化的基准值。
在图15以及图16中，示出将图15和图16的(a)200、(b)175、(c)150、(d)125、(e)100、(f)75、(g)50分别设定为二值化的基准值的情况下生成的二值化图像。
图15以及图16所示的多个二值化图像中，图15和图16的(a)所示的二值化图像将二值化的基准值设定得过大，另一方面，图15和图16的(f)以及(g)所示的二值化图像将二值化的基准值设定得过小。
(计算硅凝胶的二值化图像中的孔的数量)
因此，在本实施方式中，贝蒂数计算部42对于图15以及图16的二值化图像(b)～(e)的每一个计算出孔的数量(孔形状的区域的数量)。在图14的(b)以及(d)所示的图像中显示为白色的部分是表示存在氧原子的部分。因此，对于二值化图像计算孔的数量的处理可以说相当于对该二值化图像所包含的区域内的氧原子的数量进行计数的处理、或者调查在该二值化图像所包含的区域内统计分布有多少氧原子的处理。
计算出的孔的数量对于图15的(b)、(c)、(d)、以及(e)分别是59、45、38、29，对于图16的(b)、(c)、(d)、以及(e)分别是162、137、52、6。
(确定对与二值化的基准值的变化对应的孔的数量的变化进行近似的函数)
接下来，函数确定部43计算表示近似地示出伴随二值化的基准值的变化的孔的数量的变化的函数的特征的数值。图17是表示对硅凝胶的组成进行了解析的结果的一个例子的图，是在纵轴上绘制孔的数量，在横轴上绘制二值化的基准值的图表。
如图17所示，对于图15的(b)～(e)、以及图16的(b)～(e)、相对于二值化的基准值的孔的数量的变化均能够使用一次函数(图中的点线)作为近似表达式(近似函数)来近似。在图17中，与图15的(b)～(e)对应的数据的曲线由数据L表示，与图16的(b)～(e)对应的数据的曲线由数据K表示。该情况表示酸性条件以及碱性条件下凝胶化的硅凝胶均以恒定的比例包含有氧原子。此外，表示近似的程度的相关系数(R2)均比0.98高，表示该近似是非常高精度的近似。
函数确定部43计算近似地表示数据L以及数据K的每一个的一次函数的一次系数(特征数)。此外，除了一次函数的一次项的系数以外，函数确定部43也可以还计算常量项的值(特征数)。
表示函数确定部43确定出的一次函数的特征的一次系数(特征数)根据硅凝胶在酸性条件下凝胶化还是在碱性条件下凝胶化而明确地不同。
(硅凝胶的判定)
该情况表示能够基于表示函数确定部43确定出的一次函数的特征的一次系数，辨别硅凝胶的分子间的键合的图案(组成)。
因此，输出信息生成部44生成示出基于表示函数确定部43确定出的一次函数的特征的一次系数判定出的判定结果的输出信息。由此，用户能够基于在显示装置6的画面中提示的输出信息辨别硅凝胶的分子结构。
此外，举出辨别硅凝胶的分子构造的情况为例进行了说明，但并不局限于此。若使用本发明的图像解析装置1、1a，则能够对于任意的组织高精度地评价组成该组织的多个组成部分间的连接(关系)。
〔基于软件的实现例〕
图像解析装置1、1a的控制块(尤其是二值化部41、贝蒂数计算部42、函数确定部43、以及输出信息生成部44)既可以通过形成于集成电路(IC芯片)等的逻辑电路(硬件)实现，也可以使用CPU(Central Processing Unit：中央处理单元)通过软件实现。
在后者的情况下，图像解析装置1、1a具有执行实现各功能的软件亦即程序的命令的CPU、以计算机(或者CPU)可读取的方式记录上述程序以及各种数据的ROM(Read OnlyMemory：只读存储器)或者存储装置(将它们称为“存储介质”)、展开上述程序的RAM(RandomAccess Memory：随机存取存储器)等。而且，通过计算机(或者CPU)从上述存储介质读取上述程序并执行，实现了本发明的目的。作为上述存储介质，能够使用“不是临时的有形的介质”，例如，磁带、光盘、卡、半导体存储器、可编程逻辑电路等。另外，上述程序也可以经由能够传输该程序的任意的传输介质(通信网络或广播波等)供给到上述计算机。此外，本发明也能够以通过电子传输体现上述程序的嵌入载波的数据信号的形态实现。
本发明并不局限于上述的各实施方式，能够在权利要求所示的范围中进行各种变更，适当地组合在不同的实施方式分别公开的技术手段得到的实施方式也包含于本发明的技术范围。
〔总结〕
本发明的方式1的图像解析装置1、1a具备：二值化部41，对于拍摄组织得到的一个拍摄图像，通过改变二值化的基准值进行多次的二值化处理，来生成多个二值化图像；空间数计算部(贝蒂数计算部42)，对于上述二值化部生成的多个二值化图像的每一个计算孔形状的区域的数量；确定部(函数确定部43)，确定出表征上述多个二值化的基准值与上述孔形状的区域的数量之间的对应关系的特征数；以及输出信息生成部44，生成与上述确定部确定出的上述特征数对应的输出信息。
根据该构成，图像解析装置对于通过对于拍摄组织得到的一个拍摄图像改变二值化的基准值进行多次的二值化处理而生成的多个二值化图像的每一个计算孔形状的区域的数量。这里，所谓孔形状的区域是指作为二维平面的拍摄图像中的空间(孔)。作为计算孔形状的区域的数量的处理，也可以进行对于上述多个二值化图像分别求出1维贝蒂数的处理。此外，用于根据图像计算贝蒂数的程序是公知的，使用执行该程序的装置作为空间数计算部即可。
接下来，图像解析装置确定出表征多个二值化的基准值与上述孔形状的区域的数量之间的对应关系的特征数。然后，图像解析装置生成与确定出的上述特征数对应的输出信息。此外，特征数至少确定出一个即可。
因此，能够生成将组成部分间的关系进行数学表达的信息作为输出信息，能够辨别各种组织的组成。此外，这里所说的“组织”是指1种或者多种组成部分以恒定的图案集合成的结构单位，也可以是由细胞等的集合构成的生物体组织、由晶粒等的集合构成的矿物组织、以及由有机硅等树脂材料的分子的集合构成的树脂产品的组织等。
例如，在判定生物体组织中产生的癌的分化度的情况下，构成生物体组织的组成部分间的关系(连接的强度)变化，所以通过将该组成部分间的关系数值化，能够提取出用于辨别癌的分化度的信息。
本发明的方式2的图像解析装置也可以是，在上述方式1中，上述确定部确定出表示近似地示出上述多个二值化的基准值与上述孔形状的区域的数量之间的关系的函数的特征的多个特征数中的至少一个。
即，本方式的图像解析装置也可以具备：二值化部41，对于拍摄组织得到的一个拍摄图像，通过改变二值化的基准值进行多次的二值化处理，来生成多个二值化图像；空间数计算部(贝蒂数计算部42)，对于上述二值化部生成的多个二值化图像的每一个，计算孔形状的区域的数量；函数确定部43，确定出表示近似地示出上述多个二值化的基准值与上述孔形状的区域的数量的关系的函数的特征的多个特征数；以及输出信息生成部44，生成与上述函数确定部确定出的上述多个特征数中的至少一个对应的输出信息。
由此，能够将表示近似地示出多个二值化的基准值与孔形状的区域的数量之间的关系的函数的特征的多个特征数作为表征该多个二值化的基准值与孔形状的区域的数量之间的对应关系的多个特征数利用。
本发明的方式3的图像解析装置也可以是，在上述方式1或者2中，上述输出信息生成部生成与由分别与上述多个特征数一一对应的多个坐标轴规定的坐标空间中的具有上述确定部确定出的多个特征数作为坐标的点(坐标点)的位置对应的输出信息。
由此，能够输出用于高精度地评价组织的组成部分间的关系的信息。
在解析对象是生物体组织的情况下，本发明的发明人发现了存在能够通过上述坐标空间中的上述坐标点的位置来判定该生物体组织中的癌的分化度的可能性。
若如上述那样构成，则能够生成与上述坐标点的位置对应的输出信息，通过将该输出信息提示给病理医生，能够适当地支持病理医生对癌的分化度的判定。
本发明的方式4的图像解析装置也可以是，在上述方式1～3的任一项中，还具备将上述拍摄图像分割为规定的大小的分割区域的分割部(二值化部41)，上述空间数计算部对上述分割部生成的每个分割区域计算上述孔形状的区域的数量，上述确定部对每个上述分割区域确定出上述多个特征数，上述输出信息生成部对每个上述分割区域生成上述输出信息。
根据上述的构成，分割部将组织的拍摄图像分割为规定的大小的分割区域，空间数计算部对每个分割部生成的分割区域计算孔形状的区域的数量。而且，确定部根据对于各分割区域空间数计算部计算出的孔形状的区域的数量对每个分割区域确定出表示函数的特征的多个特征数，输出信息生成部生成与具有对每个分割区域确定出的特征数作为坐标的点的位置对应的输出信息。
因此，与对组织的整个拍摄图像进行解析的情况相比能够提高将组织的组成部分间的关系数值化的精度，并且能够确定出拍摄图像的哪个分割区域是应该关注的区域。
本发明的方式5的图像解析装置也可以是，在上述方式4中，上述输出信息生成部生成包括上述分割区域的判定用图像作为上述输出信息，对于上述拍摄图像中的多个分割区域的每一个，以与上述多个特征数对应的方式生成上述判定用图像中的该分割区域的图像。
由此，能够对用户提示包括为了判定组织的组成所需要的信息并且直观且便利性高的判定用图像。
本发明的方式6的图像解析装置也可以是，在上述方式1～5的任一项中，基于上述拍摄图像所包含的像素的像素值决定上述二值化的基准值。
由此，基于能够更明确地确定出拍摄组织得到的拍摄图像中的组成部分间的关系的像素值，能够确定出生成二值化图像时的二值化的基准值。
此外，在生物体组织的情况下，大多将染色的组织切片化后拍摄。根据组织的染色所使用的色素，能够适当地决定用于生成二值化图像的二值化的基准值。该情况下，也可以将组成拍摄图像的规定的颜色(例如蓝色(B))的像素值中，被以最高的频率包含的B的像素值决定为标准像素值，基于该标准像素值决定二值化的基准值即可。
本发明的方式7的图像解析装置也可以是，在上述方式1～6的任一项中，上述确定部确定出表示上述二值化的基准值与上述孔形状的区域的数量的关系的n次表达式(n≥1)所包含的包括n次系数的多个系数。
在将具有二值化的基准值和孔形状的区域的数量作为坐标的点绘制成图表的情况下，改变二值化的基准值时的孔形状的区域的数量的变化能够用n次函数的表达式近似。即，二值化的基准值与上述孔形状的区域的数量的相关性能够用n次函数的表达式近似的情况较多。
根据上述的构成，确定出包括n次表达式的系数的多个系数。由此，能够基于客观且简便的数学处理提取出二值化的基准值与上述孔形状的区域的数量之间的关系。该情况下，计算出的系数能够被认为是表示函数的特征的多个特征数。
本发明的方式8的图像解析系统包括：上述方式1～7的任一项所述的图像解析装置；外部设备，将上述拍摄图像的图像数据发送到上述图像解析装置；以及提示装置，获取在上述图像解析装置中生成的上述输出信息并提示该输出信息。
由此，能够接收例如使用远处的外部设备拍摄到的拍摄图像，并对该图像进行解析，并且能够将拍摄图像以及输出信息提示给远处的用户。
另外，本发明的方式9的图像解析方法是为了解决上述的课题而对拍摄组织得到的拍摄图像进行解析的图像解析装置1、1a中的图像解析方法，包括：二值化工序(S2)，对于一个上述拍摄图像，通过改变二值化的基准值进行多次的二值化处理，来生成多个二值化图像；空间数计算工序(S3)，对于通过上述二值化工序生成的多个二值化图像的每一个，计算孔形状的区域的数量；确定工序(S4)，确定出表征上述多个二值化的基准值与上述孔形状的区域的数量的对应关系的特征数；以及输出信息生成工序(S5)，生成与通过上述确定工序确定出的上述特征数对应的输出信息。根据该构成，起到与上述方式1相同的效果。
另外，用于使图像解析装置动作的图像解析程序且用于使计算机作为上述各部发挥作用的图像解析程序、以及记录了该图像解析程序的计算机可读取的存储介质也包含于本发明的技术范围。
附图标记说明
1、1a 图像解析装置
2 图像获取部(接收部)
4 图像解析部(图像解析装置)
5 显示控制部
6 显示装置(提示部)
8 外部设备
9 解析结果发送部(发送部)
10 提示装置
41 二值化部(分割部)
42 贝蒂数计算部(空间数计算部)
43 函数确定部(确定部)
44 输出信息生成部
100、100a 图像解析系统
S2 二值化工序
S3 空间数计算工序
S4 确定工序
S5 输出信息生成工序

Claims (18)

1.一种图像解析装置，其特征在于，具备：
二值化部，对于拍摄组织得到的一个拍摄图像，通过改变二值化的基准值进行多次的二值化处理，来生成多个二值化图像；
空间数计算部，对于上述二值化部生成的多个二值化图像的每一个，计算孔形状的区域的数量；
确定部，确定出表征上述多个二值化的基准值与上述孔形状的区域的数量之间的对应关系的特征数；以及
输出信息生成部，生成与上述确定部确定出的上述特征数对应的输出信息。
2.根据权利要求1所述的图像解析装置，其特征在于，
上述确定部确定出表示近似地示出上述多个二值化的基准值与上述孔形状的区域的数量之间的关系的函数的特征的多个特征数中的至少一个。
3.根据权利要求1所述的图像解析装置，其特征在于，
上述输出信息生成部生成与由与上述多个特征数的每一个一一对应的多个坐标轴规定的坐标空间中的具有将上述确定部计算出的多个特征数作为坐标的点的位置对应的输出信息。
4.根据权利要求2所述的图像解析装置，其特征在于，
上述输出信息生成部生成与由与上述多个特征数的每一个一一对应的多个坐标轴规定的坐标空间中的具有将上述确定部计算出的多个特征数作为坐标的点的位置对应的输出信息。
5.根据权利要求1所述的图像解析装置，其特征在于，
还具备将上述拍摄图像分割成规定的大小的分割区域的分割部，
上述空间数计算部对每个上述分割部生成的分割区域计算上述孔形状的区域的数量，
上述确定部对每个上述分割区域计算上述多个特征数，
上述输出信息生成部对每个上述分割区域生成上述输出信息。
6.根据权利要求2所述的图像解析装置，其特征在于，
还具备将上述拍摄图像分割成规定的大小的分割区域的分割部，
上述空间数计算部对每个上述分割部生成的分割区域计算上述孔形状的区域的数量，
上述确定部对每个上述分割区域计算上述多个特征数，
上述输出信息生成部对每个上述分割区域生成上述输出信息。
7.根据权利要求3所述的图像解析装置，其特征在于，
还具备将上述拍摄图像分割成规定的大小的分割区域的分割部，
上述空间数计算部对每个上述分割部生成的分割区域计算上述孔形状的区域的数量，
上述确定部对每个上述分割区域计算上述多个特征数，
上述输出信息生成部对每个上述分割区域生成上述输出信息。
8.根据权利要求4所述的图像解析装置，其特征在于，
还具备将上述拍摄图像分割成规定的大小的分割区域的分割部，
上述空间数计算部对每个上述分割部生成的分割区域计算上述孔形状的区域的数量，
上述确定部对每个上述分割区域计算上述多个特征数，
上述输出信息生成部对每个上述分割区域生成上述输出信息。
9.根据权利要求5所述的图像解析装置，其特征在于，
上述输出信息生成部生成包括上述分割区域的判定用图像作为上述输出信息，
对于上述拍摄图像中的多个分割区域的每一个，以与上述多个特征数对应的方式生成上述判定用图像中的该分割区域的图像。
10.根据权利要求6所述的图像解析装置，其特征在于，
上述输出信息生成部生成包括上述分割区域的判定用图像作为上述输出信息，
对于上述拍摄图像中的多个分割区域的每一个，以与上述多个特征数对应的方式生成上述判定用图像中的该分割区域的图像。
11.根据权利要求7所述的图像解析装置，其特征在于，
上述输出信息生成部生成包括上述分割区域的判定用图像作为上述输出信息，
对于上述拍摄图像中的多个分割区域的每一个，以与上述多个特征数对应的方式生成上述判定用图像中的该分割区域的图像。
12.根据权利要求8所述的图像解析装置，其特征在于，
上述输出信息生成部生成包括上述分割区域的判定用图像作为上述输出信息，
对于上述拍摄图像中的多个分割区域的每一个，以与上述多个特征数对应的方式生成上述判定用图像中的该分割区域的图像。
13.根据权利要求1～12的任一项所述的图像解析装置，其特征在于，
上述二值化部基于上述拍摄图像所包含的像素的像素值决定上述二值化的基准值。
14.根据权利要求1～12的任一项所述的图像解析装置，其特征在于，
上述确定部计算表示上述二值化的基准值与上述孔形状的区域的数量之间的关系的n次表达式所包含的包括n次系数的多个系数，其中，n≥1。
15.根据权利要求13的任一项所述的图像解析装置，其特征在于，
上述确定部计算表示上述二值化的基准值与上述孔形状的区域的数量之间的关系的n次表达式所包含的包括n次系数的多个系数，其中，n≥1。
16.一种图像解析系统，其特征在于，包括：
权利要求1～15的任一项所述的图像解析装置；
外部设备，将上述拍摄图像的图像数据发送至上述图像解析装置；以及
提示装置，获取在上述图像解析装置中生成的上述输出信息，并提示该输出信息。
17.一种图像解析方法，是对拍摄组织得到的拍摄图像进行解析的图像解析装置中的图像解析方法，其特征在于，包括：
二值化工序，对于一个上述拍摄图像，通过改变二值化的基准值进行多次的二值化处理，来生成多个二值化图像；
空间数计算工序，对于通过上述二值化工序生成的多个二值化图像的每一个计算孔形状的区域的数量；
确定工序，确定出表征上述多个二值化的基准值与上述孔形状的区域的数量之间的对应关系的特征数；以及
输出信息生成工序，生成与通过上述确定工序确定出的上述特征数对应的输出信息。
18.一种存储介质，其中的图像解析程序用于使得计算机作为如权利要求1～15中任一项所述的图像解析装置发挥作用，其中，
所述图像解析程序使得所述计算机作为二值化部、空间数计算部、确定部、和输出信息生成部发挥作用。
CN201680041412.7A 2015-07-15 2016-07-07 图像解析装置、图像解析方法、图像解析系统、以及存储介质 Active CN107850586B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-141673 2015-07-15
JP2015141673 2015-07-15
PCT/JP2016/070143 WO2017010397A1 (ja) 2015-07-15 2016-07-07 画像解析装置、画像解析方法、画像解析システム、画像解析プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
CN107850586A CN107850586A (zh) 2018-03-27
CN107850586B true CN107850586B (zh) 2019-11-12

Family

ID=57757363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680041412.7A Active CN107850586B (zh) 2015-07-15 2016-07-07 图像解析装置、图像解析方法、图像解析系统、以及存储介质

Country Status (5)

Country Link
US (1) US10475183B2 (zh)
EP (1) EP3324183B1 (zh)
JP (1) JP6483826B2 (zh)
CN (1) CN107850586B (zh)
WO (1) WO2017010397A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3298524A4 (en) * 2015-05-22 2019-03-20 CSTS Health Care Inc. THERMODYNAMIC MEASUREMENTS RELATING TO PROTEIN-PROTEIN INTERACTION NETWORKS FOR THE TREATMENT OF CANCER
US10846850B2 (en) * 2016-07-25 2020-11-24 The Doshisha Morbidity diagnosis support system, morbidity diagnosis data-generating system, and morbidity diagnosis support method
JP7264486B2 (ja) * 2017-11-24 2023-04-25 国立大学法人大阪大学 画像解析方法、画像解析装置、画像解析システム、画像解析プログラム、記録媒体
JP7040065B2 (ja) * 2018-01-31 2022-03-23 富士通株式会社 検出プログラム、検出方法および検出装置
CN115684569A (zh) 2018-02-15 2023-02-03 国立大学法人新潟大学 超突变型癌的判别系统、程序及方法
JP7071213B2 (ja) * 2018-05-18 2022-05-18 ヤフー株式会社 情報処理装置、情報処理方法、および情報処理プログラム
EP3576096A1 (en) * 2018-05-30 2019-12-04 Koninklijke Philips N.V. Sensitivity analysis for digital pathology
CN109063747A (zh) * 2018-07-16 2018-12-21 武汉大学人民医院（湖北省人民医院） 基于深度学习的肠道病理切片图像识别分析系统及方法
JPWO2020067481A1 (ja) * 2018-09-28 2021-08-30 国立大学法人東北大学 画像解析装置、画像解析システム、画像解析方法、コンピュータプログラム及び非一時的記録媒体
JP7131351B2 (ja) * 2018-12-06 2022-09-06 富士通株式会社 学習方法、学習プログラムおよび学習装置
WO2020195258A1 (ja) * 2019-03-26 2020-10-01 国立大学法人大阪大学 画像解析方法、画像解析プログラム、記録媒体、画像解析装置、画像解析システム
JP2022133479A (ja) * 2019-05-29 2022-09-14 国立大学法人九州大学 予後推定装置及び予後推定方法
JP7324086B2 (ja) * 2019-08-15 2023-08-09 キヤノン株式会社 情報処理装置、情報処理方法
JP7265805B2 (ja) * 2019-12-05 2023-04-27 国立大学法人大阪大学 画像解析方法、画像解析装置、画像解析システム、制御プログラム、記録媒体
KR20220117328A (ko) 2020-01-29 2022-08-23 제이에프이 스틸 가부시키가이샤 금속 조직의 상의 분류 방법, 금속 조직의 상의 분류 장치, 금속 조직의 상의 학습 방법, 금속 조직의 상의 학습 장치, 금속 재료의 재료 특성 예측 방법 및 금속 재료의 재료 특성 예측 장치
WO2021199937A1 (ja) 2020-03-31 2021-10-07 Ｊｆｅスチール株式会社 金属組織の撮影条件決定方法、金属組織の撮影方法、金属組織の相分類方法、金属組織の撮影条件決定装置、金属組織の撮影装置、金属組織の相分類装置、金属材料の材料特性予測方法および金属材料の材料特性予測装置
US20230274428A1 (en) * 2020-10-14 2023-08-31 Genomedia Inc. Information processing system, information processing method, and program
JP7122017B2 (ja) * 2020-12-28 2022-08-19 株式会社APSAM Imaging 画像解析方法、推定装置、推定システム、制御プログラム、記録媒体
JP7414753B2 (ja) 2021-02-16 2024-01-16 株式会社日立製作所 組織画像解析装置及び組織画像解析方法
WO2022176665A1 (ja) * 2021-02-18 2022-08-25 株式会社APSAM Imaging 画像解析方法、画像解析装置、分類装置、分類システム、制御プログラム、記録媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2383569A1 (en) * 2009-01-27 2011-11-02 Osaka University Image analysis apparatus, image analysis method, image analysis program and recording medium
CN103026384A (zh) * 2011-01-20 2013-04-03 松下电器产业株式会社 特征提取装置、特征提取方法、特征提取程序以及图像处理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7991221B1 (en) * 2006-03-06 2011-08-02 Kling Daniel H Data processing system utilizing topological methods to manipulate and categorize n-dimensional datasets
US8103115B2 (en) * 2007-02-26 2012-01-24 Sony Corporation Information processing apparatus, method, and program
JP2010042065A (ja) * 2008-08-08 2010-02-25 Toshiba Corp 医用画像処理装置、処理方法
JP5273734B2 (ja) * 2009-09-15 2013-08-28 国立大学法人宇都宮大学 ボケの抽出方法、位置決め方法及びマイクロマニピュレーションシステム
JP7069581B2 (ja) * 2017-07-07 2022-05-18 富士通株式会社 分析方法、分析装置及び分析プログラム
JP6950504B2 (ja) * 2017-12-08 2021-10-13 富士通株式会社 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2383569A1 (en) * 2009-01-27 2011-11-02 Osaka University Image analysis apparatus, image analysis method, image analysis program and recording medium
CN103026384A (zh) * 2011-01-20 2013-04-03 松下电器产业株式会社 特征提取装置、特征提取方法、特征提取程序以及图像处理装置

Also Published As

Publication number Publication date
EP3324183A4 (en) 2018-05-23
JP6483826B2 (ja) 2019-03-13
JPWO2017010397A1 (ja) 2018-04-19
WO2017010397A1 (ja) 2017-01-19
CN107850586A (zh) 2018-03-27
EP3324183A1 (en) 2018-05-23
EP3324183B1 (en) 2019-03-13
US10475183B2 (en) 2019-11-12
US20180204324A1 (en) 2018-07-19

Similar Documents

Publication Publication Date Title
CN107850586B (zh) 图像解析装置、图像解析方法、图像解析系统、以及存储介质
Olugbara et al. Segmentation of melanoma skin lesion using perceptual color difference saliency with morphological analysis
Wang et al. Automated identification of malignancy in whole-slide pathological images: identification of eyelid malignant melanoma in gigapixel pathological slides using deep learning
Agurto et al. Automatic detection of diabetic retinopathy and age-related macular degeneration in digital fundus images
Jansen et al. Differentiation between benign and malignant breast lesions detected by bilateral dynamic contrast‐enhanced MRI: a sensitivity and specificity study
US20060228015A1 (en) System and method for detection and display of diseases and abnormalities using confidence imaging
US20090190812A1 (en) Pathological tissue image capturing system, pathological tissue image capturing method, and pathological tissue image capturing program
US20150262356A1 (en) Information processing apparatus, information processing system, information processing method, program, and recording medium
CN107066829A (zh) 基于云计算的病理分析系统及方法
US20210133473A1 (en) Learning apparatus and learning method
Figueiredo et al. Computer-assisted bleeding detection in wireless capsule endoscopy images
CN109635871A (zh) 一种基于多特征融合的胶囊内窥镜图像分类方法
JP7450942B2 (ja) 画像解析方法、画像解析プログラム、記録媒体、画像解析装置、画像解析システム
Firmansyah et al. Detection melanoma cancer using ABCD rule based on mobile device
JP2004254742A (ja) 医用画像処理装置及び悪性度の判定方法
CN109584198A (zh) 一种人脸图像质量评价方法、装置及计算机可读存储介质
CN107105988B (zh) 图像处理装置、图像处理方法和记录介质
CN107066779A (zh) 基于生物样本颜色的自助身体参数检查方法及系统
Bochko et al. Lower extremity ulcer image segmentation of visual and near‐infrared imagery
Song et al. New morphological features for grading pancreatic ductal adenocarcinomas
Fraz et al. Evaluation of retinal vessel segmentation methodologies based on combination of vessel centerlines and morphological processing
CN109475277A (zh) 图像处理装置、图像处理装置的控制方法和图像处理装置的控制程序
CN102124471A (zh) 用于增强宫颈成像中的血管图案的方法
Ding et al. Three-dimensional vessel segmentation using a novel combinatory filter framework
Chen et al. Saliency‐Based Bleeding Localization for Wireless Capsule Endoscopy Diagnosis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant