CN113302472B - 生物体试样检测装置 - Google Patents
生物体试样检测装置 Download PDFInfo
- Publication number
- CN113302472B CN113302472B CN202080008151.5A CN202080008151A CN113302472B CN 113302472 B CN113302472 B CN 113302472B CN 202080008151 A CN202080008151 A CN 202080008151A CN 113302472 B CN113302472 B CN 113302472B
- Authority
- CN
- China
- Prior art keywords
- biological sample
- region
- interest
- color
- target region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 176
- 239000012472 biological sample Substances 0.000 title claims abstract description 148
- 238000004458 analytical method Methods 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000000605 extraction Methods 0.000 claims abstract description 47
- 230000008569 process Effects 0.000 claims abstract description 38
- 238000004040 coloring Methods 0.000 claims abstract description 34
- 239000007788 liquid Substances 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 65
- 230000008859 change Effects 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 6
- 239000000523 sample Substances 0.000 abstract description 21
- 230000007423 decrease Effects 0.000 abstract description 3
- 210000002966 serum Anatomy 0.000 description 34
- 238000003384 imaging method Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 26
- 230000007246 mechanism Effects 0.000 description 24
- 239000000284 extract Substances 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000005259 measurement Methods 0.000 description 7
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 6
- 238000012742 biochemical analysis Methods 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 239000008280 blood Substances 0.000 description 4
- 210000001268 chyle Anatomy 0.000 description 4
- 206010018910 Haemolysis Diseases 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008588 hemolysis Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004159 blood analysis Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/251—Colorimeters; Construction thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/00584—Control arrangements for automatic analysers
- G01N35/00722—Communications; Identification
- G01N35/00732—Identification of carriers, materials or components in automatic analysers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Health & Medical Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Automatic Analysis And Handling Materials Therefor (AREA)
Abstract
本发明提供一种不引起着色标签的颜色的误提取导致的颜色提取精度的降低,能够获取分析对象的颜色信息,并进行液量的测定和检体类别的判别的技术。本公开提出一种对在粘贴有着色标签的生物体试样管中收容的生物体试样进行分析的生物体试样检测装置。该生物体试样检测装置执行:基于生物体试样管的彩色图像的颜色信息,判定生物体试样管是否存在着色标签的着色标签有无判定处理;从彩色图像中提取通过着色标签有无判定处理判定为存在的着色标签的标签提取处理;从彩色图像中去除所述着色标签,提取生物体试样中的检测对象区域的检测对象区域提取处理;获取检测对象区域的颜色信息,解析液量和生物体试样的类别的解析处理。
Description
技术领域
本发明涉及对由多个成分构成的生物体试样检测该成分的颜色和量的生物体试样检测装置。
背景技术
以血液检查等临床检查的效率化为目的,提出了使生化分析前的检体检查自动化的技术。在检体检查时,要求进行以往通过目视确认而实施的液量的测定、血清种类(正常、溶血、黄疹、乳糜)等检体状态的判别。
作为这样的检体状态的判别技术,例如,专利文献1公开了对粘贴有标签的生物体试样管内的生物体试样的信息进行检测的检测装置。更详细而言,该检测装置具备:拍摄部,其拍摄生物体试样管;检测对象区域提取部,其从由拍摄部拍摄到的图像中提取检测对象区域;标签提取部,其从由拍摄部拍摄到的图像中提取位于拍摄部的拍摄面侧的标签;以及解析部,其基于由标签提取部提取出的标签的边界位置,确定由检测对象区域提取部提取出的检测对象区域内的所述标签的边界位置,该检测装置根据液量的测定和从检体的图像中提取出的检测对象区域的颜色信息来获取检体类别的信息。
另外,例如,专利文献2公开了一种液体检测装置,其对采血管照射红外光并检测透射光并基于其一次微分值求出标签的边界,推定采血管的血清量。
现有技术文献
专利文献
专利文献1:日本特开2016-8927号公报
专利文献2:日本特开2004-37322号公报
发明内容
发明所要解决的课题
专利文献1所公开的技术涉及通过基于提取出的标签的边界位置来确定提取出的检测对象区域内的标签的边界位置,从而提取检测区域的颜色信息的方式。
但是,在专利文献1中,对于粘贴有与检测对象的颜色类似的着色标签的检体,没有考虑识别着色标签的颜色和检测对象区域的颜色,将着色标签区域和检测对象区域分离,存在由于误提取着色标签的颜色而导致颜色提取精度降低的课题。
另外,根据专利文献2,求出标签的边界来测定血清量,但无法获取分析对象的颜色信息来判别检体类别。
本公开是鉴于这样的状况而完成的,提出了如下技术:不会引起着色标签的颜色的误提取所导致的分析对象区域的提取精度的降低,能够获取分析对象区域的颜色信息,进行检体的液量的测定和检体类别的判别。
用于解决课题的手段
为了解决上述课题,本公开提出一种生物体试样检测装置,其对在粘贴有着色标签的生物体试样管中收容的生物体试样进行分析,具备:拍摄设备,其拍摄生物体试样管的彩色图像并进行输出;存储设备,其储存用于对彩色图像执行预定的图像处理的程序;以及处理器,其从存储设备读入程序并执行预定的图像处理,处理器执行:着色标签有无判定处理,其基于彩色图像的颜色信息,判定生物体试样管是否存在着色标签;标签提取处理,其从彩色图像中提取通过着色标签有无判定处理判定为存在的着色标签;检测对象区域提取处理,其从彩色图像去除所述着色标签,提取生物体试样中的检测对象区域;以及解析处理,其获取检测对象区域的颜色信息,进行生物体试样的液量测定和类别的分类。
根据本说明书的记述、附图,与本公开相关的进一步的特征将变得清楚。另外,本公开的方式通过要素和多种要素的组合和以后的详细的记述和所附的技术方案的方式来实现。
本说明书的记述只不过是典型的例示,需要理解为在任何意义上都不限定本公开的技术方案或应用例。
发明效果
根据本公开,能够在粘贴有着色标签的检体中高精度地检测由多个成分构成的试样的颜色、量。
附图说明
图1是表示本实施方式的生物体试样检测装置100的概要结构例的图。
图2是表示储存在存储器705或存储装置706中的程序在控制器(处理器)704内展开而实现的概要功能的图。
图3是表示图像处理部210的内部结构例的图。
图4是表示着色标签解析部310的内部结构例的图。
图5是用于说明在本实施方式的生物体试样检测装置100中执行的生物体试样分析处理的概要的流程图。
图6是表示生物体试样管202的着色标签203的粘贴位置与拍摄部201的位置关系的图。
图7是用于说明图5的步骤502(图像处理)的详细内容的流程图。
图8是表示关心区域的设定例的图。
图9是表示使用了固定阈值1的解析对象的关心区域的提取的概念的图。
图10是表示解析对象的关心区域与解析对象外的关心区域的差异的图。
图11表示各图像的关心区域中的平均明度值的分布。
图12是表示各图像的关心区域中的色相的分布的图。
图13是表示检测对象区域204提取掩模(血清区域提取掩模)的例子的图。
图14是表示采血管(生物体试样管202)的拍摄方向与血清提取区域面积(检测对象区域204面积)的关系的图。
图15是表示变形例的关心区域的设定例的图。
图16是表示在本实施方式的生物体试样检测装置100中执行的图像处理的变形例的图。
具体实施方式
以下,参照附图对本公开的实施方式进行说明。在附图中,功能上相同的要素有时也以相同的编号显示。此外,附图示出了遵循本公开的原理的具体的实施方式和安装例,但这些是用于理解本公开,决不是用于限定性地解释本公开。
在本实施方式中,本领域技术人员为了实施本公开而充分详细地进行了说明,但需要理解的是,其他的安装、形态也是可能的,能够在不脱离本公开的技术思想的范围和精神的情况下进行结构、构造的变更、多种要素的置换。因此,不能将以后的记述限定于此来进行解释。
另外,在本实施方式中,为了方便起见,在需要时,分割为多个部分或实施方式进行说明,但除了特别明示的情况以外,它们并不是相互无关的,而是一方为另一方的一部分或全部的变形例、详细、补充说明等的关系。在提及要素的数量等(包括个数、数值、量、范围等)的情况下,除了特别明示的情况以及原理上明确限定于特定的数量的情况等之外,并不限定于该特定的数量,可以是特定的数量以上也可以是特定的数量以下。
进而,在以下的实施方式中,其结构要素(也包含要素步骤等)除了特别明示的情况以及原理上明确认为是必须的情况等之外,当然未必是必须的。
同样地,在以下的实施方式中,在提及结构要素等的形状、位置关系等时,除了特别明示的情况以及原理上明确认为并非如此的情况等之外,包括实质上与该形状等近似或者类似的形状等。这同样适用于上述数值和范围。
另外,在用于说明实施方式的所有附图中,原则上对相同的部件标注相同的附图标记,有时省略其重复的说明。
<生物体试样检测装置的装置结构>
图1是表示本实施方式的生物体试样检测装置100的概要结构例的图。如图1所示,生物试样检测装置100具备:拍摄部201、背景板404、光源701a和701b、光源用驱动器702a和702b、生物试样管支架703、控制器704、存储器705、存储装置706、输入输出接口707、数据总线708、把持机构1001、移动机构1002、上下控制驱动器1003、旋转机构1004、旋转控制驱动器1005。
控制器704例如由处理器(CPU、MPU等)构成,读入存储器705或存储装置706中储存的各种程序,将其在内部存储器(未图示)中展开而生成后述的图像处理部和关心区域设定部,在预定的时间(按照后述的流程图(图5等))执行。
输入输出接口707由键盘、触摸面板、麦克风、开关、以及显示装置、打印机、扬声器等构成,用于显示检测出的生物体试样类别、生物体试样量。另外,输入输出接口707接受用于后述的关心区域(ROI)的设定值、数据的传送、生物试样类别和/或生物试样量等的参数的输入。
把持机构1001把持设置于生物体试样管支架703的生物体试样管202。
上下控制驱动器1003通过控制移动机构1002,使把持机构1001在上下方向上移动。
在此,生物试样管支架703由输送线输送,并由停止机构(未图示)等停止。移动机构1002使由把持机构1001把持的生物体试样管202移动至生物体试样管202整体被拍摄部201拍摄的位置。把持机构1001使生物体试样管202向上方移动,由此向生物体试样管202整体照射光源701b的光。更具体而言,设置于生物体试样管支架703的解析对象的生物体试样管202被把持机构1001把持,通过移动机构1002在拍摄部201的视野内移动。此时,上下控制驱动器1003通过控制移动机构1002的移动量来调整生物试样管202的上下位置。在此,拍摄部201需要对生物体试样管202的至少检测对象区域204进行拍摄。因此,上下控制驱动器1003根据生物体试样管202的长度来决定移动机构1002的移动量,由此能够与生物体试样管202的长度无关地对检测对象区域204照射光源701b的光并且使检测对象区域204在拍摄部201的视野内移动来进行拍摄。
旋转控制驱动器1005通过控制旋转机构1004,使由把持机构1001把持的生物试样管202旋转。旋转机构1004通过使由把持机构1001把持的生物体试样管202旋转,从而使粘贴于生物体试样管202的着色标签203与拍摄部201的位置关系变化。而且,旋转机构1004使贴附于生物体试样管202的标签(着色标签)203与拍摄部201的位置关系变化,由此拍摄部201能够对生物体试样管202拍摄一周。
拍摄部201例如由CCD(Charge Coupled Device:电荷耦合器件)图像传感器、CMOS(Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)图像传感器等拍摄器件构成。拍摄部201获取以背景板404为背景被光源701a以及701b照明的生物体试样管202的二维彩色图像,并输入到控制器704(图像处理部210)。在此,利用光源701a以及701b的照明而不是自然光,并利用背景板404,由此即使在例如血清那样检测对象区域204的颜色透明的情况下,也能够降低用于解析而提取的检测对象区域204的颜色的测定间的偏差、外光的影响引起的偏差,提高解析精度。
另外,光源701a和701b例如由白色LED构成,由光源用驱动器702a和702b控制。在此,光源701a和701b的亮度影响生物试样管202的彩色图像的颜色。若光源的亮度偏差,则相同的生物体试样管202的解析结果也会产生偏差。因此,例如,根据对没有颜色褪色的用于校正的夹具进行拍摄而得到的图像、对生物体试样管202的背景图像的颜色进行提取而得到的结果,在测定前进行对光源701a以及701b的光进行调整的校准,由此能够始终在相同的照明下进行测定,具有提高解析精度的效果。
通过以上的结构获取的彩色图像通过控制器704(图像处理部210)被用于后述的图像处理和解析处理,计算(检测)检测对象区域204的颜色和量。存储器705或存储装置706存储有对检测对象区域204的颜色进行解析所需的例如血清的颜色特征量等,检测对象区域204的颜色的信息、解析结果等信息通过数据总线708传递给控制器704,并从输入输出接口707输出(例如,显示在显示装置的显示画面上)。
<在控制器704内实现的功能>
图2是表示存储器705或存储装置706中存储的程序在控制器(处理器)704内展开而实现的概要功能的图。如图2所示,控制器704作为以软件方式实现的功能,具备图像处理部210和关心区域设定部220。
图像处理部210从由拍摄部201获取的多个图像中提取检测对象区域204(例如血清区域),执行检测对象的颜色以及检体类别的确定、溶液量的计算等处理。
关心区域设定部220是实现用户(操作员)能够设定、变更后述的关心区域(ROI:Region Of Interest)的功能的处理部。例如,当用户使用作为输入输出接口707的触摸面板指定ROI的个数、各ROI的拍摄图像内的基准坐标值、区域尺寸、间距等时,关心区域设定部220针对对象的图像设定多个ROI(例如,在生物体试样管202的长边方向和/或短边方向)。或者,在存储器705或存储装置706中存储记述了ROI的个数、各ROI的拍摄图像内的基准坐标值、区域尺寸、间距等的设定文件,通过从程序读入设定文件的信息,能够设定、变更ROI。从对多个图像分别设定的关心区域获取像素的信息(ROI内的像素数、RGB值、色相值、彩度值、明度值等)。另外,关心区域设定部220也可以响应用户(操作者)的输入指示,执行变更关心区域的长边方向和/或短边方向的个数的处理、变更关心区域的大小的处理。
<图像处理部的内部结构>
图3是表示图像处理部210的内部结构例的图。如图3所示,图像处理单元210包括着色标签解析部310、标签提取单元320、检测目标区域提取单元330和分析单元340。关于各处理部的动作的详细内容在后面叙述(图7等),简单地进行说明,分别执行以下的处理。
着色标签解析部310执行着色标签分析处理1和2。关于各自的详细内容将在后面叙述,着色标签解析处理1是从由关心区域设定部220设定的多个关心区域中提取解析对象的关心区域,根据解析对象的关心区域的颜色信息(RGB值、色相值、彩度值、明度值等)判定有无着色标签(例如,在检测对象为血清的情况下,从与血清颜色类似的黄色到红色的色相区域的标签),在存在的情况下,去除生物体试样管202的彩色图像中的着色标签区域,生成用于提取检测对象区域204的掩模(检测对象区域204提取掩模)的处理。另外,着色标签分析处理2例如是提取从黄色到红色的色相区域以外的颜色的标签(例如,蓝色、绿色的标签)的着色标签区域的处理。
标签提取部320使用由着色标签分析部310生成的检测对象区域204提取掩模,执行从生物体试样管202的彩色图像提取着色标签区域的处理。
检测对象区域提取部330使用由着色标签解析部310生成的检测对象区域204提取掩模,执行从生物体试样管202的彩色图像提取检测对象区域204(例如血清区域)的处理。
解析部340进行确定由检测对象区域提取部330提取出的检测对象区域204的颜色并根据该颜色的信息判定生物体试样的类别的处理、和根据由检测对象区域提取部330提取出的检测对象区域204计算生物体试样的液量的处理。
<着色标签解析部的内部结构例>
图4是示出着色标签解析部310的内部结构例的图。如图4所示,着色标签解析部310包括颜色信息获取部410、分析目标关心区域提取部420、颜色分布获取部430、着色标签有无判定部440、动态阈值设置部450和着色标签区域去除部460。虽然关于各处理部的动作的详细内容将在后面叙述(图7等),但是若简单地进行说明,则分别执行以下那样的处理。
颜色信息获取部410执行从拍摄并获取到的图像的数据中获取由关心区域设定部220设定的各关心区域的色相(H:Hue)、彩度(S:Saturation)、以及明度(V:Value)的信息的处理。
分析对象关心区域提取部420执行从由关心区域设定部220设定的多个关心区域中,基于由颜色信息获取部410获取的各关心区域的颜色信息(HSV值),提取分析对象的关心区域(从多个关心区域缩小用于解析的关心区域)的处理。
颜色分布获取部430执行生成由解析对象关心区域提取部420提取出的解析对象的关心区域的颜色分布(例如,参照图11)的处理。
着色标签有无判定部440基于由颜色分布获取部430生成的颜色分布,执行判定是否存在着色标签(例如,预定颜色范围(色相以及明度)所包含的颜色:从黄色到红色等)的处理。另外,着色标签有无判定部440例如在判定为没有从黄色到红色等预定颜色范围所包含的颜色的着色标签的情况下,执行判定有无预定颜色范围以外的着色标签的处理。
动态阈值设定部450例如在判定为存在从黄色到红色等预定颜色范围所包含的颜色的着色标签的情况下,执行根据上述的解析对象的关心区域的颜色分布动态地计算明度的阈值(明度动态阈值)以及色相的阈值(色相动态阈值)的处理。另外,动态阈值设定部450基于分析对象的关心区域的彩度的信息(平均彩度值、最小或最大彩度值),执行动态地设定彩度的阈值(彩度动态阈值)的处理。
着色标签区域去除部460使用由动态阈值设置部450设定的动态阈值来生成检测目标区域204的提取掩模,并且执行从分析目标图像(稍后描述的最佳帧)去除着色标签的处理。
<生物试样分析处理概要>
图5是用于说明本实施方式的生物试样检测装置100所执行的生物试样分析处理的概要的流程图。在以下的说明中,将各步骤的动作主体设为对应的各处理部,但各处理部由存储器705或存储装置706中保存的程序实现,因此也可以将作为该程序的执行主体的控制器(处理器)704作为各步骤的动作主体来替换说明。根据本实施方式的生物体试样分析处理,即使在生物体试样管202上粘贴有着色标签203的情况下,也能够拍摄检测对象区域204,获取二维的彩色图像,在图像处理部210中解析检测对象区域204的颜色和量。另外,在粘贴有着色标签203的生物体试样管202中,避免将与检测对象区域204类似的颜色的着色标签203误提取为检测对象区域204的一部分,具有提高检测对象区域204的颜色和量的解析精度的效果。
(i)步骤501
图像处理部210获取由拍摄部201拍摄到的生物体试样管202的多个彩色图像(包含各图像的各像素的位置信息、HSV值等)。在此,对生物体试样管202的拍摄方法进行说明。图6是表示生物体试样管202的着色标签203的粘贴位置与拍摄部201的位置关系的图。为了根据粘贴有着色标签203的生物体试样管202的彩色图像来解析检测对象区域204的颜色和量,不是如图6中的A那样拍摄条形码部分而得到的彩色图像,而是需要如图6中的B以及图6中的C那样拍摄检测对象区域204从着色标签203的间隙露出的区域而得到的彩色图像。另外,为了对检测对象区域204的颜色和与该检测对象区域204的颜色类似的着色标签203的颜色进行解析,仅提取检测对象区域204的颜色,还需要如图6中的B那样拍摄着色标签区域而得到的彩色图像。因此,通过使生物体试样管202旋转,如相同的生物体试样管202的图6中的B以及图6中的C那样,需要获取对检测对象区域204进行拍摄而得到的彩色图像和对着色标签区域进行拍摄而得到的彩色图像双方。
因此,旋转机构1004和旋转控制驱动器1005根据控制器704的指令控制生物试样管202的旋转,由此一边使生物试样管202旋转一边拍摄多个彩色图像。例如,旋转机构1004使生物体试样管202旋转,通过旋转控制驱动器1005控制旋转的速度或加速度、旋转角度、转速、旋转后的静止时间以及旋转开始的时刻。通过使拍摄部201的图像取入的时刻与旋转后的静止时间以及旋转开始的时刻同步,能够对静止且对焦的状态的生物体试样管202进行拍摄。例如,能够反复进行每10度的旋转动作以及静止动作而获取36张(36帧)静止图像。另外,旋转角度以及旋转的速度或者加速度也可以不固定,例如,也可以使1帧与2帧之间从低速度开始加速,使31帧与32帧之间减速等,以共计32个帧对生物体试样管202的整周进行拍摄。通过以上,能够使生物体试样管202旋转而在检测对象区域204朝向拍摄部201的正面的状态下进行拍摄。另外,在向生物体试样检测装置100投入生物体试样管202时,不需要由用户(操作者)对齐朝向,就能够提高分析效率。
(ii)步骤502
图像处理部210执行着色标签分析部310、标签提取部320以及检测对象区域提取部330中的各图像处理(针对详细内容将予以后述),从在步骤501中获取的彩色图像中提取检测对象区域204。
例如,着色标签分析部310根据所输入的生物体试样管202的彩色图像,检测粘贴于生物体试样管202的着色标签203的颜色。标签提取单元320提取由着色标签解析部310检测到的着色标签。检测对象区域提取部330仅提取检测对象区域204。针对步骤502(图像处理)的详细处理内容将予以后述(参见图7)。
(iii)步骤503
图像处理部210执行解析部340的处理,获取(通过运算求出)在检测对象区域204中获取的检测对象的颜色和量等信息。例如,在存储器705或存储装置706中事先储存与生物体试样的种类对应的颜色信息,通过解析部340对照所获取的颜色信息和预先存储在存储器705等中的颜色信息,由此能够根据检测对象区域204的颜色信息判别生物体试样的种类。例如,在检测对象区域204为血清的情况下,根据血清状态(正常、溶血、黄疹、乳糜)而在血清颜色上具有特征。因此,通过将颜色特征量、分类中使用的颜色空间的范围和阈值储存在存储器705等中,对照由解析部340获取的颜色信息,由此能够判别检体的血清状态。另外,能够根据检测对象区域204的高度方向(彩色图像的铅垂方向)的像素数的信息和生物体试样管202的直径的信息来计算检测对象的溶液量。生物体试样管202的直径例如通过用户使用作为输入输出接口707的触摸面板直接输入所使用的生物体试样管202的型号或生物体试样管202的直径等信息等来获取。
通过在例如生物化学分析前进行这样的检体类别的判别,能够对像异常血清(溶血、黄疹、乳糜)等那样对生物化学分析的精度有影响的检体事先进行标记。另外,通过由解析部340计算检测对象区域204的溶液量,能够事先确认是否能够确保对于分析而言充分的溶液量,在不足的情况下,例如能够进行再采血等应对,具有提高生物化学分析的效率的效果。在此,例如,在如血清颜色的黄色或红色那样粘贴有与检测对象区域204的颜色类似的着色标签203的生物体试样管202的情况下,有可能通过提取着色标签203的颜色并与储存于存储器705等的数据进行对照来误判别检体类别。另外,通过将着色标签203的区域误提取为检测对象区域204,有可能误计算溶液量。因此,通过由着色标签分析部340检测着色标签203,并与检测对象区域204的颜色分离,能够避免由于将着色标签204视为检测对象而导致的检体类别的误判断和溶液量的误计算,能够提高检体类别的判别精度和溶液量的测定精度。
<图像处理的详细内容>
图7是用于说明图5的步骤502(图像处理)的详细内容的流程图。在以下的说明中,将各步骤的动作主体设为对应的各处理部,但各处理部通过存储器705或存储装置706中储存的程序实现,因此也可以将该程序的执行主体即控制器(处理器)704作为各步骤的动作主体来替换说明。
(i)步骤701
关心区域设定部220响应用户对关心区域(ROI)的设定输入或存储在存储器705或存储装置706中的设定文件,对在步骤501中获取的多个彩色图像分别设定关心区域。如上所述,用户的设定输入或设定文件的记述内容例如是ROI的个数、各ROI的拍摄图像内的基准坐标值、区域尺寸(ROI的像素数)、各ROI的间距等信息。根据设定输入的信息,着色标签的检测灵敏度发生变化。首先,通过增加长边方向的个数,能够检测的着色标签的最大长度(长边方向的幅度)变长,通过减小长边方向的ROI的间距,能够缩短能够检测的着色标签的最小长度(长边方向的幅度)。另外,通过增加短边方向的个数而使间距变窄,例如,即使在生物体试样管202旋转时旋转轴不稳定的情况下,也能够检测着色标签,能够减小可检测的着色标签的最小幅度(短边方向的幅度)。这样,关心区域的个数越多则检测灵敏度越高,但若过多则处理速度(吞吐量)降低。因此,根据生物体试样管202的长度,在生物体试样管202的长边方向上设定例如4个至50个,在短边方向上设定例如1个至5个关心区域(例如,也可以在长边方向上设定20个以下,在短边方向上设定3个以下)。另外,通过变更设定值,也能够应对比较短的生物体试样管202。
图8是表示关心区域的设定例的图。在图8中,示出了对所获取的各图像在长边方向上设定4个、在短边方向上设定1个关心区域的例子,但并不限定于此。如图8所示,对在步骤501中获取的各彩色图像设定关心区域。另外,在图8中,示出了例如对包含标签的条形码部分(图8中的A)、着色标签部分(图8中的B)以及检测对象区域204(例如血清区域)的生物体试样部分(图8中的C)设定了关心区域的情形。在本实施方式中,例如,由于使生物体试样管202每次旋转10度而获取36张彩色图像,所以对各图像设定图8中的A~图8中的C所示那样的多个关心区域。
(ii)步骤702
颜色信息获取部410获取在步骤701中设定的各关心区域的至少色相(H:Hue)、彩度(S:Saturation)以及明度(V:Value)的信息。
(iii)步骤703
分析对象关心区域提取部420从存储器705或者存储装置706获取色相(H:Hue)、彩度(S:Saturation)以及明度(V:Value)的固定阈值1,基于该固定阈值,从所设定的多个关心区域提取应作为分析对象的关心区域。固定阈值1例如规定检测对象(例:血清)可取的HSV值的范围(最小值和最大值)(例如,从红色到黄色)。在着色标签的颜色符合检测对象可取的HSV值的范围的情况下(例如,在检测对象为血清且着色标签的颜色为红色或黄色的情况下),执行用于将它们分离的处理(着色标签解析处理1:步骤701至步骤710)。另外,在着色标签的颜色不符合检测对象可取的HSV值的范围的情况下,执行另外提取该着色标签(例如,蓝色或绿色)的处理(着色标签解析处理2:步骤714至步骤716)。
图9是表示使用了固定阈值1的解析对象的关心区域的提取(从多个关心区域缩小解析对象的关心区域)的概念的图。通过对所设定的各关心区域中的各像素的HSV值和固定阈值1进行比较,提取具有固定阈值1的范围内的HSV值的像素,基于提取出的像素数,通过后述的方法从多个关心区域提取解析对象的关心区域。在图9中,示出了在区域901中提取的分析对象的关心区域,示出了在分析中不使用区域901以外的关心区域。通过固定阈值1与构成关心区域的各像素的HSV值的比较,提取区域901的关心区域作为解析对象的关心区域,其结果是,对于与区域901相应的关心区域,提取检测对象(例如,血清)区域、或者将着色标签作为解析对象。另外,区域901以外的区域所包含的关心区域不符合固定阈值1的颜色范围,不成为解析对象。
另外,图10是表示解析对象的关心区域与解析对象外的关心区域的差异的图。在图10中,正方形的各区域表示1个关心区域中的像素。将各像素的HSV值与固定阈值1进行比较的结果是HSV值包含在固定阈值1的范围内的像素用白色表示,处于固定阈值1的范围外的像素用黑色表示。然后,将成为白色(HSV值处于固定阈值1的范围内)的像素的比例为预定值以上(例如,50%至80%以上)的关心区域提取为解析对象。
此外,例如,在检测对象区域204为血清的情况下,作为检测对象区域204可取的颜色范围,能够事先掌握正常血清的黄色、溶血的红色、乳糜的白色且血清可取的颜色的范围并设定阈值。另外,阈值(固定阈值1、固定阈值2、色相动态阈值、明度动态阈值以及彩度动态阈值)可以在RGB颜色空间中设定,也可以在色相、明度、彩度的HSV颜色空间中设定。在HSV颜色区间的阈值的情况下,基于在将彩色图像变换为HSV颜色空间的基础上设定的阈值,提取检测对象区域204的候选区域。另外,该阈值也可以根据生物体试样管202的种类、光源701a以及701b的光量等拍摄环境来变更。
(iv)步骤704
颜色分布获取部430获取在步骤701中设定的各关心区域的色相、明度以及彩度的信息,制作相对于各图像(帧)的各个要素(HSV各自)的分布(颜色分布)。作为例子,图11示出了将一个关心区域设定于各图像的情况下的关心区域中的平均明度值的分布。在一边使生物体试样管202每次以旋转角度10度旋转一边获取生物体试样管202整周的彩色图像的情况下,得到36张彩色图像,因此若将一个关心区域设定为各图像,则获取36个关心区域的明度信息,生成平均明度值的分布。图11中的A表示以固定阈值1提取上述的解析对象的关心区域之前的分布,图11中的B表示以固定阈值1限定解析对象的关心区域之后的分布。另外,图12是表示各图像的关心区域中的色相的分布范围的图。另外,在图12的例子中,示出了以固定阈值1限定色相范围后的分布。
(v)步骤705
着色标签有无判定部440判断分析对象的关心区域是否存在色相差。例如,着色标签有无判定部440参照在步骤704中生成的色相平均值的分布(图12)来确定关心区域的色相的最小值和最大值,判断“色相的最大值-色相的最小值”是否大于预定的阈值(有无色差判断的阈值TH_H)。在判断为存在色相差的情况下(在步骤705中为“是”的情况下:“色相的最大值-色相的最小值”≥TH_H的情况下,判断为存在色相差、且具有由固定阈值1指定的颜色范围内的颜色的着色标签),处理转移到步骤S707。在判断为没有色相差的情况下(在步骤705中为“否”的情况下:“色相的最大值-色相的最小值”<预定的阈值的情况下,判断为没有色相差,不存在由固定阈值1指定的范围的着色标签),处理转移到步骤706。
(vi)步骤706
着色标签有无判定部440判断分析对象的关心区域是否存在明度差。例如,着色标签有无判定部440参照在步骤704中生成的明度平均值的分布(图11中的B:以固定阈值1限定明度区域后的分布)来确定关心区域的明度的最小值以及最大值,判断“明度的最大值-明度的最小值”是否比预定的阈值(明度差有无判断的阈值TH_V)大。在判断为存在明度差的情况下(在步骤706中为“是”的情况下:“明度的最大值-明度的最小值”≥TH_V的情况下,判断为存在具有明度差、且具有由固定阈值1指定的颜色范围内的颜色的着色标签),处理转移到步骤S708。在判断为没有明度差的情况下(在步骤706中为“否”的情况下:“明度的最大值-明度的最小值”<TH_V的情况下,判断为没有明度差、且不存在具有由固定阈值1指定的颜色范围内的颜色的着色标签),处理转移到步骤713。通过步骤713以后的处理(着色标签解析处理2),判断有无具有由固定阈值1指定的颜色范围外的颜色的着色标签(例如,在检测对象为血清的情况下为蓝或绿)。
(vii)步骤707
动态阈值设定部450关于色相,设定与固定阈值1不同的新的阈值。即,在针对多个生物体试样管202获取检体信息的情况下,针对各生物体试样管202动态地设定色相的阈值。新的阈值(动态阈值)例如能够通过(色相最大值+色相最小值)/2、(色相最大值+色相最小值)/2+预定的偏移值来设定。即,在图12中,色相动态阈值是对由关心区域的色相最小值和最大值指定的色相的颜色范围进行分割的值。在此,色相一般由0~180°或0~360°的圆环表示,因此需要决定是相对于固定阈值1将动态阈值设为上限的阈值(将由动态阈值指定的颜色范围设为固定阈值1至动态阈值:区域1),还是将动态阈值设为下限的阈值(将由动态阈值指定的颜色范围设为动态阈值至固定阈值1:区域2),判别检测对象的色相范围和着色标签的色相范围成为哪个区域。作为判别的方法,例如,在检测对象为血清的情况下,首先,提取具有与2个区域各自的色相范围相应的色相的解析对象的关心区域,求出提取出的关心区域的明度平均值。比较求出的明度平均值,利用血清中明度低且着色标签中明度高的倾向,将明度平均值高的区域作为着色标签的色相范围,将明度平均值低的区域作为血清的色相范围等方法。或者,在检测对象区域204的面积与着色标签的面积存在差异,例如当存在着色标签的面积比检测对象区域204的面积小等条件时,存在对具有与2个区域各自的色相范围相符的色相的解析对象的关心区域的个数进行比较,将多的一方作为检测对象区域204等方法等。此外,用户可以使用例如作为输入输出接口707的触摸面板等来输入所使用的着色标签的颜色信息,并且根据所获取的着色标签的颜色信息来确定着色标签的色相范围。另外,在步骤705中判断为没有色相差的情况下,继续使用固定阈值1中包含的色相的阈值。
(viii)步骤708
动态阈值设定部450关于明度,设定与固定阈值1不同的新的阈值。即,在针对多个生物体试样管202获取检体信息的情况下,针对各生物体试样管202动态地设定亮度的阈值。新的阈值(动态阈值)例如能够通过(明度最大值+明度最小值)/2、(明度最大值+明度最小值)/2+预定的偏移值来设定。此外,在步骤706中判断为没有明度差的情况下,继续使用固定阈值1所包含的明度的阈值。
(ix)步骤709
动态阈值设定部450计算解析对象的关心区域中的彩度平均值或彩度最小值等,判断彩度平均值或彩度最小值是否小于与彩度相关的固定阈值1。在彩度平均值或彩度最小值比固定阈值1小的情况下,动态阈值设定部450变更为比固定阈值1小的预先决定的固定阈值TH_S2(例如,能够将血清与分离剂分离的阈值)。在彩度平均值或彩度最小值为固定阈值1以上的情况下,关于彩度直接使用阈值1。
(x)步骤710
着色标签区域去除部460使用在步骤707至709中设置的阈值来制作用于从图像中提取检测目标区域204的掩模(检测目标区域204提取掩模)。该检测对象区域204提取掩模成为用于从所获取的图像中仅提取由动态阈值指定的色相范围内的色相值及明度值比动态明度阈值小、且彩度值为固定阈值TH_S2或固定阈值1以上的像素的掩模。
图13是表示检测对象区域204提取掩模(血清区域提取掩模)的例子的图。图13中的A表示后述的最佳帧的图像。此外,图13中的B示出了不具有着色标签去除功能的掩模,图13中的C示出了具有着色标签去除功能的掩模。图13中的B所示的掩模例如仅是以固定阈值1来限定HSV值可取的范围的掩模。因此,如果将图13中的C的掩模应用于最佳帧的图像,则能够直接提取检测对象区域204。即,在使用颜色空间的阈值提取预先设定的阈值的范围内的颜色作为检测对象区域204的候选区域时,在着色标签区域的颜色在提取检测对象区域204的候选区域的颜色的范围内的情况下(仅使用固定阈值1的情况下),如图13中的B所示,在颜色空间的阈值中提取着色标签区域和检测对象区域204双方,无法识别着色标签区域的颜色和检测对象区域204的颜色而仅提取检测对象区域204。另一方面,如果将图13中的C的掩模应用于最佳帧的图像,则不仅能够解决图13中的B的掩模使用所引起的问题,还能够使用提取出的检测对象区域204的信息来进一步提取着色标签区域。如果能够提取着色标签的区域,则除了利用上述掩模提取检测对象区域204的方法以外,在通过边缘提取等提取检测对象区域204的情况下,也能够从解析对象的图像中事先去除着色标签区域,能够避免因误提取着色标签而导致的检测精度的降低。另外,在根据标签颜色来识别检查项目、检体的种类的情况下,能够通过提取着色标签的颜色来获取这些信息。
(xi)步骤711
标签提取部320选择在步骤501中获取的多个彩色图像中的、检测对象区域204的面积最大的图像作为最佳帧(最佳帧选择处理1)。例如,标签提取部320使用在步骤710中制作的检测对象区域提取掩模,针对多个彩色图像计算去除了着色标签区域后的检测对象区域204的面积,将该面积最大的图像设为最佳帧。图14是表示采血管(生物体试样管202)的拍摄方向与血清提取区域面积(检测对象区域204面积)的关系的图。图14中的A至图14中的F是表示生物体试样管202的拍摄时的朝向(拍摄方向)的图,图14中的G是表示与它们对应的检测对象区域204的面积的图。如图14中的G所示,检测对象区域204的面积根据生物体试样管202的旋转角度而变化(增加),但在不去除着色标签区域的情况下,将着色标签的区域误检测为检测对象区域204,图14中的E的图像被选择为最佳帧(检测对象区域204的面积最大)。另一方面,在去除着色标签区域的情况下,选择图14中的D的图像作为最佳帧。
(xii)步骤712
检测对象区域提取部330对在步骤711中被选择为最佳帧的图像应用在步骤710中生成的检测对象区域204提取掩模,分离检测对象区域204和着色标签区域205,将各个区域的信息存储在存储器705或存储装置706中。
(xiii)步骤713
标签提取部320使用固定阈值1,从所获取的多个彩色图像中选择最佳帧。在步骤706中判断为没有明度差的情况下,在生物体试样管202中不存在具有由固定阈值1预定的范围的颜色(例如,从黄色到红色:与检测对象区域204的颜色类似的颜色)的着色标签。因此,如果应用基于固定阈值1的检测对象区域提取掩模(图13中的B),则能够提取该情况下的检测对象区域204的区域。因此,可以简单地比较由固定阈值1限定的区域的大小,选择面积最大的图像作为最佳帧。
(xiv)步骤714
标签提取部320对在步骤713中选择出的最佳帧的图像应用色相、明度以及彩度各自的固定阈值1,提取检测对象区域候选1。
(xv)步骤715
标签提取部320对在步骤713中选择的最佳帧的图像应用固定阈值2,提取检测对象区域候选2。在此,固定阈值2对于明度以及彩度是与固定阈值1相同的值,对于色相获取全部的值。
(xvi)步骤716
着色标签有无判定部440通过对在步骤714中提取出的检测对象区域候选1和在步骤715中提取出的检测对象区域候选2进行比较,来判断有无着色标签区域,并且在判断为存在着色标签区域的情况下,提取着色标签区域。所提取的着色标签区域的信息被储存在存储器705或存储装置706中。
然后,着色标签区域去除部460从在步骤713中被选择为最佳帧的图像中去除着色标签区域。
(xvii)步骤717
检测对象区域提取部330对在步骤716中去除了着色标签区域的图像执行边缘检测处理等检测对象区域204提取掩模以外的检测对象区域204处理,例如,通过识别各区域的边缘来分离检测对象区域204和分离剂等区域,提取检测对象区域204。
<变形例>
(1)变形例1:图像处理
图15是表示在本实施方式的生物体试样检测装置100中执行的图像处理的变形例的图。在该变形例中,在由用户(操作者)输入了粘贴于生物体试样管202的着色标签的颜色信息的情况下,不执行图7的图像处理,取而代之,根据所输入的颜色信息来执行图像处理A(参照图15中的A)或者图像处理B(参照图15中的B)。
在图15中的A中,步骤511的着色标签分析处理1对应于图7的步骤701至步骤710的处理,步骤512的最佳帧选择处理1对应于图7的步骤711的处理,步骤513的检测目标区域提取处理1对应于图7的步骤712。另一方面在图15中的B中,步骤521中的最佳帧选择处理2对应于图7中的步骤713,步骤522中的着色标签分析处理2对应于图7中的步骤714至步骤716,步骤523中的检测目标区域提取处理2对应于图7中的步骤717。
(2)变形例2:关心区域的设定例
图16是表示变形例的关心区域的设定例的图。如图16A中的A和B所示,用户能够使用输入输出接口707,经由关心区域设定部220,按每个生物体试样管202适当变更关心区域的设定数。另外,在生物体试样管202的长度短的情况下,也能够适当地设定关心区域的设定数(根据生物体试样管202的长度进行调整)。或者,例如也可以预先将生物体试样管较短的情况下的关心区域的设定模式和较长的情况下的设定模式等关心区域的多个设定模式存储于存储器705或存储装置706,响应用户输入的生物体试样管的种类、检查项目等而读出设定模式。
<总结>
(i)本实施方式的生物体试样检测装置执行:着色标签有无判定处理,获取生物体试样管的彩色图像(例如,多帧),基于其颜色信息(色相、明度、彩度),判定生物体试样管是否存在着色标签;标签提取处理,从彩色图像中提取通过着色标签有无判定处理判定为存在的着色标签;检测对象区域提取处理,从彩色图像去除着色标签,提取生物体试样中的检测对象区域;解析处理,获取检测对象区域的颜色信息,解析生物体试样的类别和溶液量。这样,由于识别并去除粘贴于生物体试样管的着色标签,因此能够高精度地分离着色标签和检测对象区域(例如血清区域)来解析检测对象区域所包含的检体。
(ii)进而,本实施方式的生物体试样检测装置执行将颜色信息处于由固定阈值决定的预定的范围内的关心区域提取为解析对象关心区域的解析对象关心区域提取处理,在着色标签有无判定处理中,使用解析对象关心区域的色相或者明度的信息,判定在解析对象关心区域中是否包含着色标签的区域。进而,具体而言,该生物体试样检测装置在着色标签有无判定处理中,获取解析对象关心区域的色相和明度的变化的分布,基于明度或者色相的分布(例如,色相的变化幅度(最大值与最小值的差分值)或者明度的变化幅度(最大值与最小值的差分值))来判定有无着色标签。通过这样,在着色标签区域的颜色和检测对象区域的颜色能够取相同颜色的范围的情况下(着色标签为黄色且检测对象区域(血清区域)为黄色或红色时、着色标签为红色且检测对象区域为黄色或红色时),能够高精度地分离着色标签和检测对象区域。
(iii)本实施方式的生物体试样检测装置执行如下处理:从彩色图像中去除着色标签,针对每个生物体试样管动态地设定用于提取检测对象区域的阈值。更具体而言,该生物体试样检测装置根据解析对象关心区域的色相的变化分布和明度的变化分布,提取色相的最大值和最小值以及明度的最大值以及最小值,并使用这些最大值以及最小值来设定用于提取检测对象区域的色相动态阈值以及明度动态阈值。例如,可以通过计算(最大值+最小值)/2、(最大值+最小值)/2+偏移值来设置动态阈值。另一方面,关于彩度的动态阈值,基于分析对象关心区域的彩度值(平均彩度值、最小彩度值)与彩度所相关的固定阈值1的大小关系(例)来设定。例如,在平均彩度值或最小彩度值小于固定阈值1的情况下,能够设定为预先准备的固定阈值2,且该固定阈值2被设定为小于平均彩度值的、例如能够分离分离剂和血清。在平均彩度值为固定阈值1以上的情况下,直接使用固定阈值1。使用这3个动态阈值,生成提取检测对象区域的掩模(检测对象区域提取掩模)。由于这样动态地设定阈值,所以能够根据着色标签区域的颜色与检测对象区域的颜色的相对关系适当地设定最佳的阈值,能够将两者准确地分离。
(iv)本实施方式的生物体试样检测装置使用检测对象区域提取掩模,计算对多帧的彩色图像去除着色标签区域而得到的检测对象区域的面积,将该面积最大的图像作为最佳帧(参照图14),对该最佳帧的检测对象区域执行解析处理。在本实施方式中,由于不会混淆着色标签和检测对象区域,因此能够选择检测对象区域的面积(彩色图像上的面积)最大的最佳帧(真正的最佳帧)作为解析对象,能够期待得到更准确的解析结果。
(v)本实施方式的功能也能够通过软件的程序代码来实现。在该情况下,将记录有程序代码的存储介质提供给系统或装置,该系统或装置的计算机(或CPU、MPU)读出储存在存储介质中的程序代码。在该情况下,从存储介质读出的程序代码自身实现上述实施方式的功能,该程序代码自身以及存储有该程序代码的存储介质构成本公开。作为用于供给这样的程序代码的存储介质,例如使用软盘、CD-ROM、DVD-ROM、硬盘、光盘、光磁盘、CD-R、磁带、非易失性的存储卡、ROM等。
另外,也可以基于程序代码的指示,由在计算机上运行的OS(操作系统)等进行实际的处理的一部分或全部,通过该处理来实现上述实施方式的功能。此外,在从存储介质读取的程序代码被写入计算机上的存储器中之后,计算机的CPU等可以基于程序代码的指令执行实际处理的一部分或全部,并且可以通过该处理实现上述实施例的功能。
进而,也可以经由网络分发实现实施方式的功能的软件的程序代码,由此将其保存在系统或装置的硬盘或存储器等存储单元或CD-RW、CD-R等存储介质中,在使用时,该系统或装置的计算机(或CPU或MPU)读出并执行保存在该存储单元或该存储介质中的程序代码。
在上述的实施方式中,控制线、信息线示出了被认为在说明上需要的部分,并不一定示出了产品上所有的控制线、信息线。所有的结构也可以相互连接。
附图标记说明
100 生物体试样检测装置;
201 拍摄部;
202 生物试样管;
203 着色标签;
204 检测对象区域;
205 着色标签区域;
404 背景板;
701a、701b 光源;
702a、702b 光源用驱动器;
703 生物试样管支架;
704 控制器;
705 存储器;
706 存储装置;
707 输入输出接口;
708 数据总线;
1001 把持机构;
1002 移动机构;
1003 上下控制驱动器;
1004 旋转机构;
1005 旋转控制驱动器。
Claims (6)
1.一种生物体试样检测装置,其对在粘贴有着色标签的生物体试样管中收容的生物体试样进行分析,其特征在于,
所述生物体试样检测装置具备:
拍摄设备,其拍摄所述生物体试样管的多帧的彩色图像并进行输出;
存储装置,其储存用于对所述彩色图像执行预定的图像处理的程序;以及
处理器,其从所述存储装置读入所述程序,并执行所述预定的图像处理,
所述处理器执行:
颜色信息获取处理,对所述多帧的彩色图像分别设定多个被指定的像素尺寸的关心区域,并获取各关心区域的所述颜色信息即包含明度、色相以及彩度的信息的颜色信息;
解析对象关心区域提取处理,提取所述颜色信息处于由固定阈值确定的预定的范围内的所述关心区域作为解析对象关心区域,
着色标签有无判定处理,获取所述解析对象关心区域的所述色相和所述明度的变化的分布,基于所述解析对象关心区域的所述色相的变化幅度或者所述明度的变化幅度,判定在所述解析对象关心区域中是否包含所述着色标签的区域;
标签提取处理,从所述彩色图像中提取通过所述着色标签有无判定处理判定为存在的所述着色标签;
检测对象区域提取处理,从所述彩色图像中去除所述着色标签,根据所述解析对象关心区域的所述色相的变化分布和所述明度的变化分布,提取所述色相的最大值和最小值以及所述明度的最大值和最小值,设定色相动态阈值或明度动态阈值,基于所述解析对象关心区域的彩度值与彩度所相关的所述固定阈值的关系,设定彩度动态阈值,并且使用所述色相动态阈值、所述明度动态阈值以及所述彩度动态阈值,生成掩模来提取所述生物体试样中的检测对象区域;
解析处理,获取所述检测对象区域的颜色信息,解析所述生物体试样的液量和类别。
2.根据权利要求1所述的生物体试样检测装置,其特征在于,
所述处理器使用所述掩模,针对所述多帧的彩色图像计算去除所述着色标签的区域而得到的所述检测对象区域的面积,将该面积最大的图像作为最佳帧,对该最佳帧执行所述解析处理。
3.根据权利要求1所述的生物体试样检测装置,其特征在于,
所述处理器在所述生物体试样管的长边方向上设定多个所述关心区域。
4.根据权利要求3所述的生物体试样检测装置,其特征在于,
所述处理器在所述生物体试样管的短边方向上设定多个所述关心区域。
5.根据权利要求4所述的生物体试样检测装置,其特征在于,
所述处理器响应所输入的指示,执行变更所述关心区域的所述长边方向和/或短边方向的个数的处理。
6.根据权利要求4所述的生物体试样检测装置,其特征在于,
所述处理器响应所输入的指示,执行变更所述关心区域的大小的处理。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-011216 | 2019-01-25 | ||
JP2019011216A JP7071301B2 (ja) | 2019-01-25 | 2019-01-25 | 生体試料検出装置 |
PCT/JP2020/000904 WO2020153177A1 (ja) | 2019-01-25 | 2020-01-14 | 生体試料検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113302472A CN113302472A (zh) | 2021-08-24 |
CN113302472B true CN113302472B (zh) | 2024-03-08 |
Family
ID=71736028
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080008151.5A Active CN113302472B (zh) | 2019-01-25 | 2020-01-14 | 生物体试样检测装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11971346B2 (zh) |
EP (1) | EP3916375B1 (zh) |
JP (1) | JP7071301B2 (zh) |
CN (1) | CN113302472B (zh) |
WO (1) | WO2020153177A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114339046B (zh) * | 2021-12-30 | 2023-10-03 | 中元汇吉生物技术股份有限公司 | 基于自动旋转试管的图像采集方法、装置、设备及介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09133687A (ja) * | 1995-11-13 | 1997-05-20 | Meiji Denki Kogyo Kk | 採血試験管における血清量測定装置 |
CN101726612A (zh) * | 2008-10-31 | 2010-06-09 | 希森美康株式会社 | 检体处理装置 |
CN102033109A (zh) * | 2009-09-30 | 2011-04-27 | 富士胶片株式会社 | 色谱测量设备 |
CN103033513A (zh) * | 2011-09-28 | 2013-04-10 | 蓝伊精机株式会社 | 检查预处理装置、检查预处理方法、以及试样处理装置 |
JP2013242246A (ja) * | 2012-05-22 | 2013-12-05 | Hitachi High-Technologies Corp | 生体試料の分析装置および生体試料の分析方法 |
JP2015040696A (ja) * | 2013-08-20 | 2015-03-02 | 株式会社日立ハイテクノロジーズ | 検体検査自動化システム |
JP2016008927A (ja) * | 2014-06-25 | 2016-01-18 | 株式会社日立ハイテクノロジーズ | 検出装置および生体試料分析装置 |
CN105637370A (zh) * | 2013-11-12 | 2016-06-01 | 株式会社日立高新技术 | 样本检查自动化系统和生物试样检验模块以及生物试样的检验方法 |
JP2016223914A (ja) * | 2015-05-29 | 2016-12-28 | 株式会社日立ハイテクノロジーズ | 検体前処理方法及び検体前処理装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3733087B2 (ja) | 2002-07-04 | 2006-01-11 | アロカ株式会社 | 検体分析装置 |
JP4269316B2 (ja) * | 2003-10-16 | 2009-05-27 | キリンテクノシステム株式会社 | ラベルの検査装置 |
JP2008168927A (ja) | 2007-01-12 | 2008-07-24 | Yazaki Corp | テープ貼り機構とそれを備えたテープ巻き装置及びテープ巻き方法 |
US8170271B2 (en) * | 2008-06-25 | 2012-05-01 | Jadak Llc | System and method for test tube and cap identification |
US8319823B2 (en) * | 2009-11-03 | 2012-11-27 | Jadak, Llc | System and method for panoramic image stitching |
US8781062B2 (en) * | 2012-06-26 | 2014-07-15 | Analogic Corporation | Dynamic adjustment of X-ray acquisition parameters |
EP2885643B1 (en) * | 2012-08-20 | 2019-02-27 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for ascertaining specimen and/or sample container characteristics while in transit |
CA2903013C (en) * | 2013-03-08 | 2021-05-11 | Siemens Healthcare Diagnostics Inc. | Tube characterization station |
JP6143584B2 (ja) * | 2013-07-04 | 2017-06-07 | 株式会社日立ハイテクノロジーズ | 検出装置および生体試料分析装置 |
JP6927465B2 (ja) * | 2015-02-17 | 2021-09-01 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. | 検体中の妨害因子を分類するためのモデルベース方法及び装置 |
WO2016181466A1 (ja) * | 2015-05-11 | 2016-11-17 | 株式会社安川電機 | 分注システム、コントローラ及び制御方法 |
WO2017132166A1 (en) * | 2016-01-28 | 2017-08-03 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus adapted to quantify a specimen from multiple lateral views |
US11815446B2 (en) * | 2016-01-28 | 2023-11-14 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for characterizing a specimen container and specimen |
CN108770364A (zh) * | 2016-01-28 | 2018-11-06 | 西门子医疗保健诊断公司 | 用于使用多个曝光来对样品容器和/或样品进行成像的方法和装置 |
JP2018096740A (ja) * | 2016-12-09 | 2018-06-21 | 株式会社日立ハイテクノロジーズ | 生体試料分析装置 |
-
2019
- 2019-01-25 JP JP2019011216A patent/JP7071301B2/ja active Active
-
2020
- 2020-01-14 US US17/421,450 patent/US11971346B2/en active Active
- 2020-01-14 CN CN202080008151.5A patent/CN113302472B/zh active Active
- 2020-01-14 WO PCT/JP2020/000904 patent/WO2020153177A1/ja unknown
- 2020-01-14 EP EP20744988.5A patent/EP3916375B1/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09133687A (ja) * | 1995-11-13 | 1997-05-20 | Meiji Denki Kogyo Kk | 採血試験管における血清量測定装置 |
CN101726612A (zh) * | 2008-10-31 | 2010-06-09 | 希森美康株式会社 | 检体处理装置 |
CN102033109A (zh) * | 2009-09-30 | 2011-04-27 | 富士胶片株式会社 | 色谱测量设备 |
CN103033513A (zh) * | 2011-09-28 | 2013-04-10 | 蓝伊精机株式会社 | 检查预处理装置、检查预处理方法、以及试样处理装置 |
JP2013242246A (ja) * | 2012-05-22 | 2013-12-05 | Hitachi High-Technologies Corp | 生体試料の分析装置および生体試料の分析方法 |
JP2015040696A (ja) * | 2013-08-20 | 2015-03-02 | 株式会社日立ハイテクノロジーズ | 検体検査自動化システム |
CN105637370A (zh) * | 2013-11-12 | 2016-06-01 | 株式会社日立高新技术 | 样本检查自动化系统和生物试样检验模块以及生物试样的检验方法 |
JP2016008927A (ja) * | 2014-06-25 | 2016-01-18 | 株式会社日立ハイテクノロジーズ | 検出装置および生体試料分析装置 |
JP2016223914A (ja) * | 2015-05-29 | 2016-12-28 | 株式会社日立ハイテクノロジーズ | 検体前処理方法及び検体前処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7071301B2 (ja) | 2022-05-18 |
EP3916375A4 (en) | 2022-10-26 |
CN113302472A (zh) | 2021-08-24 |
JP2020118596A (ja) | 2020-08-06 |
US20220082492A1 (en) | 2022-03-17 |
US11971346B2 (en) | 2024-04-30 |
EP3916375B1 (en) | 2023-10-18 |
EP3916375A1 (en) | 2021-12-01 |
WO2020153177A1 (ja) | 2020-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4595705B2 (ja) | 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置 | |
US20070172122A1 (en) | Image processing apparatus, image processing method, and program | |
JP4309927B2 (ja) | まぶた検出装置及びプログラム | |
KR102140385B1 (ko) | 골수 판독을 위한 셀존 레이블링 장치 및 이를 포함하는 셀존 검출 시스템 | |
CN110892272B (zh) | 装置、试料的状态的判别方法以及分析系统 | |
JP2018096908A (ja) | 検査装置及び検査方法 | |
CN113302472B (zh) | 生物体试样检测装置 | |
US20230097384A1 (en) | Biological sample analysis device | |
JP2006323779A (ja) | 画像処理方法、画像処理装置 | |
JP2009080004A (ja) | 検査装置 | |
US20210209740A1 (en) | Inspection system, information processing apparatus, and non-transitory computer-readable medium | |
CN110766671B (zh) | 一种基于机器视觉软件的图像处理方法 | |
TWI510776B (zh) | 玻璃氣泡瑕疵檢測處理方法 | |
Zhang et al. | A robust and high-performance white blood cell segmentation algorithm | |
JP7407282B2 (ja) | 管アセンブリタイプを識別する装置および方法 | |
JP2006035505A (ja) | 印刷物の検査方法及び装置 | |
JP2006280456A (ja) | 角膜内皮細胞画像処理装置 | |
CN114339046B (zh) | 基于自动旋转试管的图像采集方法、装置、设备及介质 | |
WO2023276853A1 (ja) | 画像処理装置、方法及び画像処理システム | |
JP7438345B2 (ja) | 診断分析器のモデルを訓練する装置および方法 | |
CN115876785B (zh) | 一种用于产品缺陷检测的视觉识别系统 | |
CN114332059A (zh) | 基于试管图像的血清样本分析方法、装置、设备及介质 | |
JP2024002211A (ja) | 試料状態判定装置、試料状態判定方法及び試料検査装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |