CN117957435A - 图像处理装置及方法 - Google Patents

Abstract

本发明涉及在包括至少一个处理器及存储器的电子装置中执行的图像处理方法，其特征在于，包括如下步骤：获取与包含通过第一荧光物质标记的第一生物分子及未标记的第二生物分子的试样有关的第一未分离图像；获取与包含通过第一荧光物质标记的第一生物分子及通过第二荧光物质标记的第二生物分子的试样有关的第二未分离图像；以及以第一未分离图像及第二未分离图像为基础生成与第二生物分子有关的分离图像。

Description

图像处理装置及方法

技术领域

本发明涉及用于处理图像的技术。

背景技术

对生物试样的荧光成像法为如下方法，可利用荧光物质标记试样所包含的生物分子，拍摄从该荧光物质释放的光来间接观察试样内部的生物物质。当向荧光物质照射光时，荧光物质吸收光并被激发(excitation)之后再次释放(emission)光，在此情况下，将会释放比所吸收的光更长波长的光。例如，荧光物质吸收特定波长范围(例如，350～400nm)的光并释放特定波长范围(例如，400～600nm)的光。在此情况下，激发光谱(excitationspectrum)表示荧光物质在每个波长的激发程度，发射光谱(emission spectrum)为按波长释放的光的强度。

根据现有技术，为了观察试样所包含的多个生物分子，存在发射光谱应尽可能不重叠的限制，由此，可以同时观察的荧光物质的数量受限。

发明内容

(发明所要解决的问题)

本发明提供用于处理图像的技术。

(解决问题所采用的措施)

作为本发明的一实施方式，可提出一种图像处理方法。上述方法为在包括至少一个处理器及至少一个存储器的电子装置中执行的图像处理方法，上述至少一个存储器用于存储通过上述至少一个处理器执行的指令，上述方法可包括如下步骤：获取与包含通过第一荧光物质标记的第一生物分子及未标记的第二生物分子的试样(sample)有关的第一未分离图像；获取与包含通过上述第一荧光物质标记的上述第一生物分子及通过第二荧光物质标记的上述第二生物分子的上述试样有关的第二未分离图像；以及以上述第一未分离图像及上述第二未分离图像为基础生成与上述第二生物分子有关的分离图像。

在一实施例中，上述第一未分离图像及上述第二未分离图像可分别为从上述试样检测相同的特定波长范围的光来拍摄的图像。

在一实施例中，上述第一未分离图像和上述第二未分离图像可分别为以相同的发射滤波器为基础获取的图像，上述发射滤波器使特定波长范围的光通过。

在一实施例中，上述第一荧光物质及上述第二荧光物质可以为相同的荧光物质。

在一实施例中，上述第一荧光物质及上述第二荧光物质可被确定为在上述第一荧光物质的发射(spectrum)光谱内使发射信号的强度达到最大的第一波长值及在上述第二荧光物质的发射光谱内使发射信号的强度达到最大的第二波长值满足规定条件。

在一实施例中，上述规定条件可以为如下条件，满足上述第一波长值与上述第二波长值的差值为预设阈值以下的情况。

在一实施例中，上述规定条件可以为如下条件，满足上述第一波长值及上述第二波长值中的更小波长值与更大波长值的比例为预设临界比例以上的情况。

在一实施例中，上述第二未分离图像可在拍摄与上述试样有关的上述第一未分离图像之后，通过上述第二荧光物质标记上述试样所包含的上述第二生物分子并拍摄上述试样来获取。

在一实施例中，生成上述分离图像的步骤可包括利用解混(Unmixing)矩阵来运算上述第一未分离图像及上述第二未分离图像的步骤。

在一实施例中，上述解混矩阵中所包括的至少一个元素的值能够以学习的人工神经网络模型为基础确定。

在一实施例中，本发明还可包括如下步骤，获取与包含通过上述第一荧光物质标记的上述第一生物分子、通过上述第二荧光物质标记的上述第二生物分子及通过第三荧光物质标记的第三生物分子的上述试样有关的第三未分离图像，上述生成步骤包括进一步以上述第三未分离图像为基础来生成与上述第三生物分子有关的分离图像的步骤，上述第一未分离图像为拍摄包含未标记的上述第二生物分子及未标记的上述第三生物分子的试样来获取的图像，上述第二未分离图像为拍摄包含未标记的上述第三生物分子的试样来获取的图像。

在一实施例中，上述第二未分离图像可在拍摄与上述试样有关的上述第一未分离图像之后，通过上述第二荧光物质标记上述试样所包含的上述第二生物分子并拍摄上述试样来获取，上述第三未分离图像可在拍摄与上述试样有关的上述第二未分离图像之后，通过上述第三荧光物质标记上述试样所包含的上述第三生物分子并拍摄上述试样来获取。

根据本发明的另一实施方式，本发明可提出用于处理图像的电子装置，上述电子装置可包括：至少一个处理器；以及至少一个存储器，用于存储通过上述至少一个处理器执行的指令，上述至少一个处理器获取与包含通过第一荧光物质标记的第一生物分子及未标记的第二生物分子的试样有关的第一未分离图像，获取与包含通过上述第一荧光物质标记的上述第一生物分子及通过第二荧光物质标记的上述第二生物分子的上述试样有关的第二未分离图像，以上述第一未分离图像及上述第二未分离图像为基础生成与上述第二生物分子有关的分离图像。

在一实施例中，上述第一未分离图像及上述第二未分离图像可分别为通过对上述试样检测相同的特定波长范围的光来拍摄的图像。

在一实施例中，上述第一未分离图像和上述第二未分离图像可分别为以相同的发射滤波器为基础获取的图像，上述发射滤波器使特定波长范围的光通过。

在一实施例中，上述第一荧光物质及上述第二荧光物质可以为相同的荧光物质。

在一实施例中，上述第一荧光物质及上述第二荧光物质可被确定为在上述第一荧光物质的发射光谱内使发射信号的强度达到最大的第一波长值及在上述第二荧光物质的发射光谱内使发射信号的强度达到最大的第二波长值满足规定条件。

在一实施例中，上述第二未分离图像可在拍摄与上述试样有关的上述第一未分离图像之后，通过上述第二荧光物质标记上述试样所包含的上述第二生物分子并拍摄上述试样来获取。

在一实施例中，上述电子装置还可包括拍摄部，上述至少一个处理器通过上述拍摄部拍摄包含通过上述第一荧光物质标记的上述第一生物分子及未标记的上述第二生物分子的上述试样来获取上述第一未分离图像，通过上述拍摄部拍摄包含通过上述第一荧光物质标记的上述第一生物分子及通过上述第二荧光物质标记的上述第二生物分子的上述试样来获取上述第二未分离图像。

在一实施例中，上述至少一个处理器能够以在上述第一未分离图像及上述第二未分离图像之间计算的依赖性评价值为基础生成上述分离图像。

在一实施例中，上述依赖性评价值可以为互信息量、KL散度(Kullback-Leiblerdivergence)值、替代熵值或兰德指数(Rand Index)中的至少一个。

在一实施例中，上述至少一个处理器能够以输出值为基础生成上述分离图像，上述输出值由学习的人工神经网络以上述第一未分离图像及上述第二未分离图像为基础计算得出。

根据本发明的另一实施方式，本发明可提出记录用于图像处理的指令的非暂时性计算机可读记录介质。当通过至少一个处理器执行时，记录使得上述至少一个处理器执行工作的指令的非暂时性计算机可读记录介质，上述指令可以使得上述至少一个处理器获取与包含通过第一荧光物质标记的第一生物分子及未标记的第二生物分子的试样有关的第一未分离图像，获取与包含通过上述第一荧光物质标记的上述第一生物分子及通过第二荧光物质标记的上述第二生物分子的上述试样有关的第二未分离图像，以上述第一未分离图像及上述第二未分离图像为基础生成与上述第二生物分子有关的分离图像。

(发明的效果)

本发明的图像处理方法并不需要现有方法所需要的荧光物质非活性或去除过程，由此可以缩短图像处理所需要的时间。

附图说明

图1为示出本发明一实施的包括服务器、用户终端及通信网络的系统的图。

图2为本说明书所记载的内容的一实施例的服务器的框图。

图3为本说明书所记载的内容的一实施例的用户终端的框图。

图4为与在现有的图像处理方法中为了标记生物分子而使用的荧光物质的特性有关的例示图。

图5为概念性示出根据本发明的一实施例从多个未分离图像生成多个分离图像的过程的概念图。

图6为示出根据本发明的一实施例利用解混矩阵来从与试样有关的多个未分离图像生成分别与每个生物分子有关的分离图像的服务器的工作的流程图。

图7为示出根据本发明的一实施例通过不同的方法从多通道图像确定直方图的(Histogram)的例示图。

图8为示出根据本发明的一实施例以多个单通道图像中的每一个所包括的相同位置的像素值确定直方图的服务器的工作的流程图。

图9为示出根据本发明的一实施例以多个单通道图像中的每一个所包括的不同位置的像素值为基础确定直方图的服务器的工作的流程图。

图10为示出根据本发明的另一实施例通过不同的方法从多通道图像确定直方图的例示图。

图11为示出根据本发明的一实施例更新解混矩阵的参数的服务器的工作的流程图。

图12为概念性示出以本发明一实施例的人工神经网络模型为基础评价多个分离图像之间的依赖性的过程的概念图。

图13为概念性示出以本发明另一实施例的人工神经网络模型为基础评价多个分离图像之间的依赖性的过程的概念图。

图14为例示根据本发明的一实施例依次获取多个图像的过程的概念图。

图15为例示性示出根据本发明的一实施例在依次获取的多个未分离图像中从连续的两个未分离图像获取与至少一个生物分子有关的分离图像的方法的概念图。

图16为例示性示出根据本发明的一实施例在依次获取的多个未分离图像中从连续的三个未分离图像获取与至少两个生物分子有关的分离图像的方法的概念图。

图17为示出根据本发明的一实施例以连续的两个未分离图像为基础生成与至少一个生物分子有关的分离图像的服务器的工作的流程图。

图18为例示性示出多个荧光物质所具有的发射光谱及通过特定发射滤波器的波长范围的图。

图19为例示性示出多个荧光物质所具有的发射光谱及在各发射光谱中使信号强度达到最大的波长值的图。

具体实施方式

本文中所记载的多种实施例以用于明确说明本发明的技术思想为目的例示，而并非将其限定在特定实施形态。本发明的技术思想包括本文中所记载的各实施例的多种变更(modifications)、等同技术方案(equivalents)、替代技术方案(alternatives)及从各实施例的全部或一部分选择性地组合的实施例。并且，本发明的技术思想的权利范围并不局限于以下公开的多种实施例或对其的具体说明。

除非另有定义，否则包括技术或科学术语在内的在本文中所使用的术语的含义可以与本发明所属技术领域的普通技术人员一般理解的含义相同。

在本文中所使用的“包括(包含)”、“可包括(包含)”、“具备”、“可具备”、“具有”、“可具有”等表述意味着对象特征(例如，功能、工作或结构要素等)的存在，而并非排除其他追加特征的存在。即，上述表述应被理解为内含有包括其他实施例的可能性的开放型术语(open-ended terms)。

除非在上下文中明确表示，否则在本文中所使用的单数型的表述可包括复数型的含义，这同样适用于发明要求保护范围所记载的单数型的表述。

除非在上下文中明确表示，否则在本文中所使用的“第一”、“第二”或“第一个”、“第二个”等表述在指定多个同种对象的过程中用于区分两个对象，而并不限定对应对象之间的顺序或重要程度。例如，本发明的多个荧光物质分别表述为“第一荧光物质”、“第二荧光物质”，由此可以被相互区分。并且，本发明的多个输入图像可分别表述为“第一输入图像”、“第二输入图像”，由此可以被相互区分。同样，“生物分子”、“分离图像”、“概率分布”等本发明中所使用的术语可通过“第一”、“第二”等表述相互区分。

在本文中所使用的“A、B及C”、“A、B或C”、“A、B及C中的至少一个”或“A、B或C中的至少一个”等表述可分别表示所罗列的项目或罗列的项目的有可能的所有组合。例如，“A或B中的至少一个”均可以是(1)至少一个A、(2)至少一个B、(3)至少一个A及至少一个B。

在本文中所使用的“部”的表述可以是指软件或现场可编程门阵列(FPGA，Field-Programmable Gate Array)、专用集成电路(ASIC，Application Specific IntegratedCircuit)等硬件结构要素。但是，“部”并不局限于硬件及软件。“部”也可以存储在能够访问的存储介质，也可以运行一个或一个以上的处理器。在一实施例中，“部”可包括软件结构要素、面向对象的软件结构要素、类结构要素及前置任务结构要素等结构要素和处理器、函数、属性、过程、子例程、程序代码段、驱动器、固件、微控代码、电路、数据、数据库、数据结构、表、阵列及变量。

在本文中所使用的“以～为基础”等表述用于记述对包括对应表述的语句或文章中所记述的确定、判断的行为或工作产生影响的一个以上的因素，该表述并不排除对相应确定、判断的行为或工作产生影响的追加因素。

在本文中所使用的一个结构要素(例如，第一结构要素)与其他结构要素(例如，第二结构要素)“连接”或“联接”等表现可以为上述一个结构要素直接连接或联接在上述其他结构要素的情况和以新的其他结构要素(例如，第三结构要素)为介质连接或联接的情况。

在本文中所使用的表述“以～方式构成(configured to)”可根据上下文具有“以～方式设定”、“具有～能力”、“以～方式改变”、“以～方式形成”、“可以进行～”等含义。对应表述并不局限于“以硬件的方式特别设计”的含义，例如，以执行特定工作的方式构成的软件可以为通过运行软件来执行该特定工作的常用处理器(generic purpose processor)或者以执行对应特定工作的方式通过编程结构化的特殊目的计算机(special purposecomputer)。

在本发明中，人工智能(artificial intelligence，AI)可以为模拟人类的学习能力、推论能力、感知能力并将通过计算机将其体现的技术，可机器学习、符号逻辑概念。机器学习(machine learning，ML)可以为自身分类或学习所输入的数据特征的算法技术。人工智能技术作为机器学习的算法，可分析输入数据并学习该分析结果，基于该学习结果来进行判断或预测。并且，使用机器学习算法来模拟人类大脑的认知、判断功能的技术也可以被理解为人工智能的范畴。例如，可包括语言理解、视觉理解、推论/预测、知识表现、工作控制的技术领域。

在本发明中，机器学习可以为利用处理数据的经验训练神经网络模型的处理。通过机器学习，计算机软件可以自身提高数据处理能力。神经网络模型建模数据之间的相关关系来构建，该相关关系可通过多个参数表现。可以理解为如下过程为机器学习，人工神经网络模型可从给出的数据提取特征并进行分析来导出数据之间的相关关系，重复这种过程来将神经网络模型的参数最优化。例如，人工神经网络模型可针对以输出输入对给出的数据来学习输入与输出之间的映射(相关关系)。或者，在仅给出输入数据的情况下，人工神经网络模型也可以导出给出的数据之间的规则性来学习其关系。

在本发明中，人工神经网络、人工智能学习模型、机器学习模型或人工神经网络模型可被设计成在计算机上体现人类的大脑结构，可包括模拟人类的神经网络神经元(neuron)来具有加权值的多个网络节点。多个网络节点可模拟神经元通过突触(synapse)收发数据的神经元的突触(synaptic)活动来具有相互之间的连接关系。在人工神经网络中，多个网络节点可位于不同深度的阵列并可根据卷积(convolution)连接关系收发数据。例如，人工神经网络可以为人工神经网络模型(artificial neural network)、卷积神经网络模型(convolution neural network)等。

以下，参照附图，对本发明的多种实施例进行说明。在对附图进行说明的过程中，对相同或实质上等同(substantially equivalent)的结构要素赋予相同的附图标记。并且，以下，在说明多种实施例的过程中，可以省略相同或对应的结构要素重复记述，但这并不意味着对应结构要素包括在该实施例。

图1为示出本发明一实施的包括服务器100、用户终端200及通信网络300的系统的图。可通过服务器100、用户终端200及通信网络300相互收发信息。

服务器100可以为执行本发明的图像处理工作的电子装置。服务器100作为向该有线或无线连接的用户终端200传输信息或传输图像处理结果的电子装置，例如，可以为应用程序服务器、代理服务器、云服务器等。

用户终端200可以为接收图像处理结果的用户终端。例如，用户终端200可以为智能手机、平板电脑(Tablet Computer)、个人计算机(PC、Personal Computer)、移动电话(Mobile Phone)、个人数据助理(PDA，Personal Digital Assistant)、音频播放器、可穿戴装置(Wearable Device)中的至少一个。通信网络300均可包括有线或无线通信网络。

通信网络300可以在服务器100与用户终端200之间交换数据。例如，有线通信网络可包括基于通用串行总线(USB，Universal Serial Bus)、高清多媒体接口(HDMI，HighDefinition Multimedia Interface)、推荐标准232(RS-232、Recommended Standard-232)或普通老式电话服务(POTS，Plain Old Telephone Service))等方式的通信网络。例如，无线通信网络可包括基于增强型移动宽(eMBB，enhanced Mobile Broadband)、超可靠低延时通信(URLLC，Ultra Reliable Low-Latency Communications)、大规模机器类型通信(MMTC，Massive Machine Type Communications)、长期演进(LTE，Long-Term Evolution)、改进的长期演进(LTE-A，LTE Advance)、新无线电(NR，New Radio)、通用移动通信系统(UMTS，Universal Mobile Telecommunications System)、全球移动通信系统(GSM，GlobalSystem for Mobile communications)、码分多址(CDMA，Code Division MultipleAccess)、宽带码分多址(WCDMA，Wideband CDMA)、无线宽带(WiBro，Wireless Broadband)、无线保真(WiFi，Wireless Fidelity)、蓝牙(Bluetooth)、近场通信(NFC，Near FieldCommunication)全球定位系统(GPS，Global Positioning System)或全球导航卫星系统(GNSS，Global Navigation Satellite System)等方式的通信网络。本说明书的通信网络300并不局限于上述实施例，可以不受限制地包括在多个主题或装置之间交换数据的多种通信网络。

在本说明书中的公开内容中，当说明一装置的结构或动作时，术语“装置”用于指定说明对象装置，当从说明对象的观点上观察时，术语“外部装置”可以为用于指定存在于外部的装置。例如，当将服务器100说明成“装置”时，在服务器100的观点上，用户终端200也可以被称为“外部装置”。并且，例如，当将用户终端200说明成“装置”时，在用户终端200的观点上，服务器100可以被称为“外部装置”。即，服务器100及用户终端200可分别根据工作主题的观点，分别被称为“装置”及“外部装置”或者被称为“外部装置”及“装置”。

图2为本说明书所记载的内容的一实施例的服务器100的框图。服务器100可包括至少一个处理器110、通信接口120或存储器130等结构要素。在一个实施例中，服务器100可以省略这些结构要素中的至少一个，或者其他结构要素可以追加在服务器100。在一个实施例中，追加或代替性地(in alternative to)，一部分结构要素可以合并，或者可体现为单个或多个个体。服务器100内部或外部的结构要素中的至少一部分结构要素可通过总线、通用输入/输出(GPIO，General Purpose Input/Output)、串行外设接口(SPI，SerialPeripheral Interface)或移动行业处理器接口(MIPI，Mobile Industry ProcessorInterface)等相互连接并收发数据或信号。

至少一个处理器110可以表述为处理器110。除非上下文中明确表示，否则术语处理器110可以为一个或一个以上处理器的集合。处理器110可以驱动软件(例如，指令、程序等)来控制与处理器110连接的服务器100的至少一个结构要素。并且，处理器110可以执行多种运算、处理、数据生成或加工等工作。并且，处理器110可从存储器130加载数据等或将数据存储在存储器130。

通信接口120可以执行服务器100与其他装置(例如，用户终端200或其他服务器)之间的无线或有线通信。例如，通信接口120可以执行基于eMBB、URLLC、MMTC、LTE、LTE-A、NR、UMTS、GSM、CDMA、WCDMA、WiBro、WiFi、蓝牙、NFC、GPS或GNSS等方式的无线通信。并且，例如，通信接口120可执行基于通用串行总线(USB，Universal Serial Bus)、高清多媒体接口(HDMI，High Definition Multimedia Interface)、推荐标准232(RS-232、RecommendedStandard-232)或普通老式电话服务(POTS，Plain Old Telephone Service))等方式的有线通信。

存储器130可以存储多种数据。存储在存储器130的数据作为可通过服务器100的至少一个结构要素获取、处理或使用的数据，可以包括软件(例如，指令、程序等)。存储器130可包括易失性或非易失性存储器。除非在上下文中明确表示，否则术语存储器130可以是指一个或一个以上的存储器的集合。在本说明书中提及的“存储在存储器130的指令(Instruction)的集合”或“存储在存储器130的程序”等表述用于指定用于控制服务器100的资源的操作系统、应用程序或以使应用程序可使用服务器100的资源的方式在应用程序提供多种功能的中间件等。在一实施例中，当处理器110执行特定运算时，存储器130可通过处理器110执行，并可存储对应于特定运算的指令。

在一实施例中，服务器100可以向外部装置传输基于处理器110运算结果的数据、通过通信接口120接收的数据或存储在存储器130的数据等。外部装置可以为用于表达、显示或输出所接收的数据的装置。

在一实施例中，服务器100还可包括输入部140。输入部140可以为向包括在服务器100的至少一个结构要素传递从外部接收的数据的结构要素。例如，输入部140可包括鼠标、键盘或触摸板中的至少一个。

在一实施例中，服务器100还可包括输出部150。输出部150可以显示(输出)由服务器100处理的信息或者向外部传输(发送)。例如，输出部150可以视觉显示由服务器100处理的信息。输出部150可以显示用户界面(UI，User Interface)信息或图形用户界面(GUI，Graphic User Interface)信息等。在此情况下，输出部150可以包括液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光二极管(OLED)、柔性显示器(FlexibleDisplay)、三维显示器(3D Display)、电子墨水显示器(E-ink Display)中的至少一个。并且，例如，输出部150可以听觉显示由服务器100处理的信息。输出部150可通过音响装置显示基于任意音频文件格式(例如，MP3、FLAC、WAV等)方式的音频数据。在此情况下，输出部150可包括扬声器、头戴式耳机、头戴式电话中的至少一个。并且，例如，输出部150可以向外部的输出装置传输由服务器100处理的信息。输出部150可利用通信接口120向外部的输出装置传输或发送由服务器100处理的信息。输出部150也可以利用单独的输出用通信接口来向外部的输出装置传输或发送由服务器100处理的信息。

在一实施例中，服务器100还可包括拍摄部(未图示)。例如，拍摄部可以为摄像头或具有显微镜装置的摄像头等。处理器110可以控制拍摄部来拍摄对象(例如，试样)的图像，获取所拍摄的图像或者存储在存储器130。或者，当服务器100包括输出部150时，处理器110可控制拍摄部来拍摄对象的图像，并将所拍摄的图像显示在输出部150。在另一实施例中，服务器100可以从外部拍摄装置获取所拍摄的图像。

图3为本说明书所记载的内容的一实施例的用户终端200的框图。用户终端200可包括至少一个处理器210、通信接口220或存储器230。并且，用户终端200还可包括输入部240或输出部250中的至少一个。

处理器210可驱动软件(例如，指令、程序等)来控制与处理器110连接的用户终端200的至少一个结构要素。并且，处理器210可以执行多种运算、处理、数据生成或加工等工作。并且，处理器210可从存储器230加载数据等或将数据存储在存储器230。

通信接口220可以执行用户终端200与其他装置(例如，服务器100或其他用户终端)之间的无线或有线通信。例如，通信接口220可以执行基于eMBB、URLLC、MMTC、LTE、LTE-A、NR、UMTS、GSM、CDMA、WCDMA、WiBro、WiFi、蓝牙、NFC、GPS或GNSS等方式的无线通信。并且，例如，通信接口220可以执行基于USB、HDMI、RS-232或POTS等方式的有线通信。

存储器230可以存储多种数据。存储在存储器230的数据作为可通过用户终端200的至少一个结构要素获取或处理或使用的数据，可以包括软件(例如，指令、程序等)。存储器230可以包括易失性或非易失性存储器。除非在上下文中明确表示，否则术语存储器230可以是指一个或一个以上的存储器的集合。在本说明书中提及的“存储在存储器230的指令(Instruction)的集合”或“存储在存储器230的程序”等表述用于指定用于控制用户终端200的资源的操作系统、应用程序或以使应用程序可使用用户终端200的资源的方式在应用程序提供多种功能的中间件等。在一实施例中，当处理器210执行特定运算时，存储器230可通过处理器210执行，并可存储对应于特定运算的指令。

在一实施例中，用户终端200还可包括输入部240。输入部240可以为向包括在用户终端200的至少一个结构要素传递从外部接收的数据的结构要素。例如，输入部240可包括鼠标、键盘或触摸板中的至少一个。

在一实施例中，用户终端200还可包括输出部250。输出部250可以显示(输出)由用户终端200处理的信息或者向外部传输(发送)。例如，输出部250可以视觉显示由用户终端200处理的信息。输出部250可以显示用户界面(UI，User Interface)信息或图形用户界面(GUI，Graphic User Interface)信息等。在此情况下，输出部250可以包括液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光二极管(OLED)、柔性显示器(FlexibleDisplay)、三维显示器(3D Display)、电子墨水显示器(E-ink Display)中的至少一个。并且，例如，输出部250可以听觉显示由用户终端200处理的信息。输出部250可通过音响装置显示基于任意音频文件格式(例如，MP3、FLAC、WAV等)方式的音频数据。在此情况下，输出部250可包括扬声器、头戴式耳机、头戴式电话中的至少一个。并且，例如，输出部250可以向外部的输出装置传输由用户终端200处理的信息。输出部250可利用通信接口220向外部的输出装置传输或发送由用户终端200处理的信息。输出部250也可以利用单独的输出用通信接口来向外部的输出装置传输或发送由用户终端200处理的信息。

在一实施例中，用户终端200还可包括拍摄部(未图示)。例如，拍摄部可以为摄像头或具有显微镜装置的摄像头等。处理器210可以控制拍摄部来拍摄对象(例如，试样)的图像，获取所拍摄的图像或者存储在存储器230。用户终端200可以将所拍摄的图像显示在输出部250。用户终端200可以向服务器100传输所拍摄的图像。并且，用户终端200也可以从外部的拍摄装置获取所拍摄的图像。

在以下的说明中，为了便于说明而可以省略工作主体，在此情况下，可以理解为每个工作可以通过服务器100执行。只是，本发明的方法也可以通过用户终端200执行，方法中所包括的工作中的一部分由用户终端200执行，剩余一部分可以由服务器100执行。

图4为与在现有的图像处理方法中为了标记生物分子而使用的荧光物质的特性有关的例示图。通常，为了在一个生物试样(Sample)中观察多个生物分子而需要在利用不同的荧光物质标记(labeling)多个生物分子之后，个别获取分别与每个生物分子有关的图像。在本发明中，生物试样可以被简单称为“试样”。例如，与试样所包含的各生物分子有关的图像可向荧光物质照射荧光物质发生反应的特定波长的光，结果，通过发射滤波器对从激发的(excited)荧光物质释放的光进行滤波并拍摄通过发射滤波器的光来获取。在本发明中，“发射滤波器”可以为使特定波长范围的光通过的滤波器(Filter)。

与荧光物质释放的光的发射光谱有关的第一图表401例示性示出多个荧光物质(Alexa 405、Alexa 488、Alexa 546、Alexa 647)的发射光谱。

荧光物质“Alexa 405”可以为在吸收特定波长范围的光之后，释放大致400nm与500nm之间的波长的光的荧光物质。与通过荧光物质“Alexa 405”染色的生物分子有关的图像可以通过第一发射滤波器对从荧光物质“Alexa 405”释放的光进行滤波并拍摄通过第一发射滤波器的波长范围410的光来获取。例如，通过第一发射滤波器的波长范围410可以为470nm以上且520nm以下。

荧光物质“Alexa 488”可以为在吸收特定波长范围的光之后，释放大致500nm与600nm之间的波长的光的荧光物质。在此情况下，与通过荧光物质“Alexa 488”染色的生物分子有关的图像可通过第二发射滤波器对从荧光物质“Alexa 488”释放的光进行滤波并拍摄通过第二发射滤波器的波长范围430的光来获取。例如，第通过二发射滤波器的波长范围430可以为500nm以上且560nm以下。

荧光物质“Alexa 546”可以为在吸收特定波长范围的光之后，释放大致550nm与650nm之间的光的荧光物质。在此情况下，与通过荧光物质“Alexa 546”染色的生物分子有关的图像可通过第三发射滤波器对从荧光物质“Alexa 546”释放的光进行滤波并拍摄通过第三发射滤波器的波长范围450的光来获取。例如，通过第三发射滤波器的波长范围450可以为565nm以上且590nm以下。

荧光物质“Alexa 647”可以为在吸收特定波长范围的光之后，释放大致650nm与750nm之间的光的荧光物质。在此情况下，与通过荧光物质“Alexa 647”染色的生物分子有关的图像可通过第四发射滤波器对从荧光物质“Alexa 647”释放的光进行滤波并拍摄通过第四发射滤波器的波长范围470的光来获取。例如，通过第四发射滤波器的波长范围470可以为660nm以上且740nm以下。

第一图表401所示的各荧光物质为了激发(excitation)而吸收的光的波长范围分别不同。并且，参照第一图表401，与上述各荧光物质的发射光谱有关的具体数值范围仅为用于说明的例示性记载，而并不限定本发明。

在一实施例中，假设在试样包含多个生物分子，分别标记多个生物分子的荧光物质(即，与各生物分子结合的荧光物质)彼此在特定波长的光(例如，350nm以上且400nm以下)下相同地反应。在此情况下，为了获取与试样所包含的多个生物分子有关的图像，通常，防止用于分别标记每个生物分子的荧光物质的发射光谱应彼此完全不重叠或几乎不重叠。这是因为当从不同的荧光物质分别释放的光谱较多重叠时，不同生物分子不会分离，而会包含在同一个图像内。

例如，假设在与图4的荧光物质所释放的光的发射光谱有关的第二图表403中，荧光物质“Alexa 546”释放大致550nm与650nm之间的波长的光，荧光物质“CF 594”释放大致575nm与700nm之间的波长。在这种假设下，两个荧光物质的发射光谱彼此共同包括575nm以上且650nm以下的区间。在此情况下，当为了获取与通过荧光物质“Alexa 546”标记的生物分子有关的图像而利用第三发射滤波器拍摄图像时，通过第三发射滤波器的波长范围的450大致为565nm以上且590nm以下，因此，在拍摄的图像内，可能包括至少一部分通过荧光物质“CF 594”标记的生物分子。具体地，拍摄装置在从荧光物质“Alexa 546”释放的光中获取通过第三发射滤波器的波长范围450的光，由此，在拍摄与通过荧光物质“Alexa 546”标记的生物分子有关的图像的过程中，拍摄装置也可能获取至少一部分从荧光物质“CF 594”释放的光的信号。结果，在与通过荧光物质“Alexa 546”标记的生物分子有关的图像中，可能包括至少一部分通过荧光物质“CF 594”标记的其他生物分子。图4的附图标记451表示拍摄装置利用第三发射滤波器拍摄与通过荧光物质“Alexa 546”标记的生物分子有关的图像时所获取的其他荧光物质(例如，“CF 594”)的光的信号。并且，为了获取与通过荧光物质“CF 594”标记的生物分子有关的图像，当利用使约为610nm以上且630nm以下的波长的光通过的第五发射滤波器来拍摄图像时，在所拍摄的图像中可包括至少一部分通过荧光物质“Alexa546”标记的生物分子。即，在拍摄装置获取在从荧光物质“CF 594”释放的光中通过第五发射滤波器的波长范围490的光来拍摄与通过荧光物质“CF 594”标记的生物分子有关的图像的过程中，可获取从荧光物质“Alexa 546”释放的光的至少一部分信号。结果，与通过荧光物质“CF 594”标记的生物分子有关的图像可包括至少一部分通过荧光物质“Alexa546”标记的其他生物分子。图5的附图标记491指示当拍摄装置利用第五发射滤波器拍摄与通过荧光物质“CF 594”标记的生物分子有关的图像时获取的其他荧光物质(例如，“Alexa546”)的光的信号。

根据如上所述的现有技术，为了观察试样所包含的多个生物分子而存在发射光谱应尽可能不重叠的限制，由此，存在最多只能同时使用4个荧光物质的限制。

图5为概念性示出根据本发明的一实施例从多个未分离图像生成多个分离图像的过程的概念图。

本发明的未分离图像510可包括一个或两个以上的未分离图像。在本发明的多个实施例中，当未分离图像510包括两个以上的未分离图像时，每个未分离图像可以区分并称为第一未分离图像510-1、第二未分离图像510-2、...、第n未分离图像510-n等(n为2以上的自然数)。

未分离图像510可以为通过荧光物质标记试样所包含的生物分子之后，服务器100拍摄试样来获取的图像。如上所述，通过荧光物质对生物试样所包含的生物分子进行染色(即，荧光物质物理或化学结合在生物分子)之后，当向染色的生物试样照射光时，生物试样所包含的荧光物质吸收特定波长范围的光并被激发之后，将会释放特定波长范围的光。在此情况下，可拍摄荧光物质释放的光来获取与生物试样有关的未分离图像510。未分离图像510作为执行本发明的图像处理方法的对象图像，可以与根据本发明的图像处理方法生成的“分离图像530”区分。即，未分离图像510作为尚未执行本发明的图像处理方法的图像，可以为追加显示目标生物分子之外的其他生物分子(例如，通过具有类似发射光谱的其他荧光物质标记的生物分子或之前染色轮中染色的生物分子等)的图像。在本发明中，术语“未分离图像”可以与“输入图像”彼此交换使用。

本发明的分离图像530可包括一个或两个以上的分离图像。在本发明的多个实施例中，当分离图像530包括两个以上的分离图像时，每个分离图像可以被区分并称为第一分离图像530-1、第二分离图像530-2、...、第n分离图像530-n等(n为2以上的自然数)。

分离图像530可以为针对未分离图像510执行本发明的图像处理方法来获取的图像。分离图像530可以为显示目标生物分子的图像。在本发明中，“与特定生物分子有关的分离图像”可以为仅表现对应生物分子的试样。例如，与“A”生物分子有关的分离图像可以为表示试样所包含的“A”生物分子的形状、尺寸、形态或颜色等的图像。分离图像530可以分别与每个生物分子对应生成。

在本发明的多种实施例中，多个未分离图像510-1、510-2、...、510-n或多个分离图像530-1、530-2、...、530-n可分别为具有一个通道的单通道(Single-Channel)图像。单通道图像可以为对每个像素(Pixel)具有单一值(例如，0以上且255以下的整数)的图像。具有对应于单通道图像的未分离图像的各像素的像素值可以为当拍摄部获取光来拍摄未分离图像时，指示从荧光物质释放的光的强度的值。具有对应于单通道图像的分离图像的各像素的像素值可以为本发明的图像处理方法的执行结果，为了表现与特定生物分子有关的图像而指示各像素所具有的光的强度的值。并且，在本发明中，当多个未分离图像(510-1、510-2、...、510-n)或多个分离图像(530-1、530-2、...、530-n)包括在多通道(Multi-Channel)图像时，多通道图像的各通道可分别与多个未分离图像(510-1、510-2、...、510-n)或多个分离图像(530-1、530-2、…、530-n)对应。例如，当将包括3个作为单通道图像的未分离图像的多个未分离图像称为“多通道未分离图像”时，相应多通道未分离图像的各通道可以与多个未分离图像中所包括的各个未分离图像对应。并且，根据本发明，当将个别获取的多个未分离图像或多个分离图像对应在各自的一个通道来显示成多通道未分离图像或多通道分离图像时，多个未分离图像或多个分离图像可以在一个多通道图像上同时显示。例如，当将三个未分离图像分别对应在Red(红色)通道、Green(绿色)通道、Blue(蓝色)通道来显示成具有三个通道的RGB图像时，三个未分离图像可以同时显示在RGB图像上。

本发明的图像处理方法可以从未分离图像510生成分离图像530。

在一实施例中，服务器100可基于用于分离多个未分离图像510-1、510-2、...、510-n的至少一个参数来分离多个未分离图像510-1、510-2、...、510-n，从而生成多个分离图像530-1、530-2、...、530-n。为了说明，当假设多个未分离图像包括两个未分离图像时，以至少一个参数为基础来从多个未分离图像生成的两个分离图像可以如以下数学式1所示。

数学式1

X₁＝Y₁+θ₁₂Y₂

X₂＝θ₂₁Y₁+Y₂

在数学式1中，Y₁和Y₂表示未分离图像，θ₁₂和θ₂₁表示生成分离图像所需要的参数，X₁和X₂表示分离图像。在此情况下，θ₁₂和θ₂₁可以为用于确定各未分离图像的加权值(或贡献率)的参数。处理器110可基于至少一个参数(θ₁₂或θ₂₁)来加权合算(或线性重叠)多个未分离图像，由此可生成多个分离图像。例如，根据数学式1，分离图像X₁可通过线性重叠1倍的Y₁和θ₁₂倍的Y₂的结果生成，分离图像X₂可通过线性重叠θ₂₁倍的Y₁和1倍的Y₂的结果来生成。

在本发明中，“基于至少一个参数来分离多个未分离图像的运算”也可以基于矩阵来表现。在本发明中，上述矩阵也可以为被称“解混矩阵(Unmixing Matrix)”，可包括用于从多个未分离图像生成分别与每个生物分子有关的多个分离图像的至少一个元素。即，解混矩阵可包括确定多个未分离图像之间的线性重叠比例的至少一个元素。当基于矩阵来表现上述数学式1时，可以如以下的数学式2例示。

数学式2

在一实施例中，服务器100可通过如下方法生成，分别从多个未分离图像510-1、510-2、...、510-n减去预设常数(或也被称为“常数偏移量(Constant Offset)”)之后，对像素值减少预设常数的多个未分离图像进行加权来生成多个分离图像530-1、530-2、...、530-n。

数学式3

在数学式3中，θ_b1和θ_b2分别表示与未分离图像Y₁及Y₂对应的常数偏移量。服务器100从未分离图像所包含的每个像素值减去常数偏移量之后，可基于(Y₁-θ_b1)和(Y₂-θ_b2)的加权合算结果来生成每个分离图像。

在上述数学式1至3中说明成多个未分离图像包括两个未分离图像，但这并不限定本发明，多个未分离图像可包括三个以上的未分离图像。

图6为示出根据本发明的一实施例利用解混矩阵来从与试样有关的多个未分离图像生成分别与每个生物分子有关的分离图像的服务器100的工作的流程图。

服务器100可以获取与包含多个生物分子的试样有关的多个未分离图像(步骤S610)。具体地，处理器110可基于服务器100的用户通过输入部140输入多个未分离图像的工作来获取多个未分离图像。并且，处理器110可通过服务器100的拍摄部(未图示)拍摄与试样有关的图像并以此获取多个未分离图像。并且，处理器110可通过通信接口120从外部的装置或用户终端200获取多个未分离图像。例如，多个未分离图像(输入图像)可以表现成如数学式4的矩阵。

数学式4

在数学式4中，Y表示与多个未分离图像(即，多个输入图像)有关的矩阵。多个输入图像可以为在试样的染色过程中对试样进行第n次染色并拍摄后获取的多个未分离图像。在数学式4中，(i^th input img)_j表示第i个输入图像的第j个像素值。在数学式4中，矩阵所具有的行的大小可以与多个输入图像的数量相同。例如，当多个输入图像数量为n个时，矩阵Y所具有的行的大小可以为n。在数学式4中，矩阵所具有的列的大小可以与每个输入图像中所包括的像素的数量相同。例如，输入图像为2维图像，具有1024(横向长度方向的像素数量)×1024(纵向的像素数量)的分辨率，由此，当包括在输入图像的像素的数量为1048576(＝1024×1024)个时，矩阵Y所具有的列的大小可以为1048576。即，当矩阵Y所具有的列的大小为n，行的大小为m时(即，n×m矩阵)，矩阵Y可以为与输入图像包括m个像素的n个输入图像有关的矩阵。

接着，服务器100可利用解混矩阵来从多个未分离图像生成与多个生物分子分别对应的多个分离图像(步骤S620)。本发明的解混矩阵作为四角矩阵，可以为行(Row)和列(Column)的大小相同的正方形矩阵或行和列的大小不同的矩形矩阵。例如，解混矩阵可以如以下的数学式5所示。

数学式5

在数学式5中，α_ij表示解混矩阵的i行j列的元素(或参数)的值。解混矩阵U的列的大小可以与作为矩阵运算对象的未分离图像的数量相同。例如，对n个未分离图像的解混矩阵的列的大小可以与未分离图像的数量相同，为n个。解混矩阵U的行的大小(即，k)可以与解混矩阵U的列的大小n相同或不同。解混矩阵U的行的大小(即，k)可小于或等于解混矩阵U的的列的大小n。

处理器110可利用解混矩阵来运算多个未分离图像来生成多个分离图像。当以基于上述数学式4的未分离图像及基于上述数学式5的解混矩阵为基础时，所生成的多个分离图像可以如以下数学式6所示。

数学式6

在数学式6中，X表示解混矩阵U与对多个未分离图像的矩阵Y矩阵相乘(matrixmultiplication)来获取的矩阵。对多个分离图像的矩阵X所具有的行的大小可以表示所生成的分离图像的数量。对多个分离图像的矩阵X所具有的列的大小可以表示各分离图像中所包括的像素的数量。可以为与对应于各分离图像的特定生物分子有关的图像。在数学式6中，(i^th unmixed img)j表示第i个分离图像的第j个像素值。例如，第一分离图像(Firstunmixed image)表示与试样所包含的生物分子“A”有关的图像，第n分离图像(nth unmixedimage)表示与试样所包含的生物分子“B”有关的图像。

如上所述，处理器110可获取多个未分离图像，利用解混矩阵执行对多个未分离图像的矩阵运算，由此可以生成与多个生物分子分别对应的多个分离图像。

在一实施例中，解混矩阵可以为行和列的大小相同的正方形矩阵(SquareMatrix)。例如，作为正方形矩阵的解混矩阵可以如以下数学式7表示。

数学式7

在数学式7中，解混矩阵U可以为行和列的大小分别为n(n为1以上的自然数)的相同的正方形矩阵。处理器110可基于上述解混矩阵U来执行对n个未分离图像的矩阵运算来获取n个分离图像。

以下，参照图7至图10，对从多通道图像确定直方图或概率分布函数的方法进行说明。

图7为示出根据本发明的一实施例通过不同的方法从多通道图像确定直方图的(Histogram)的例示图。例如，第一图像710可以为包括多个未分离图像的多通道图像。第一图像710的各通道可分别对应于多个未分离图像中的每一个。以下，在本发明中，第一图像710被说明成具有2个通道的多通道图像，这仅是为了方便说明而作的假设，并不限定本发明。例如，第一图像710所包括的第一个图像(或第一图像的第一通道)可以为通过荧光物质“A2”对试样所包含的生物分子“A1”进行染色并拍摄从荧光物质“A2”释放的光的图像(或通道)。并且，例如，第一图像710所包括的第二个图像(或第一图像的第二通道)可以为通过荧光物质“B2”对试样所包含的生物分子“B1”进行染色并拍摄从荧光物质“B2”释放的光的图像(或通道)，或者可以为分别通过荧光物质“A2”及“B2”对试样所包含的生物分子“A1”及“B1”进行染色并均拍摄从荧光物质“A2”及荧光物质“B2”释放的光的图像(或通道)。

处理器110可基于包括多个单通道图像的多通道图像，根据不同的方法确定两个以上的直方图。例如，处理器110可在多个单通道图像内基于相同位置的像素值来确定一个直方图，并且，在相应多个单通道图像内基于不同位置的像素值来确定另一个直方图。例如，如图7所示，第1-1直方图730或第1-2直方图750可分别为针对第一图像710通过不同方法确定的直方图。在一实施例中，第1-1直方图730可以为在第一图像710所包括的多个未分离图像内基于相同位置的像素值确定的直方图，第1-2直方图750可以为在第一图像710所包括的多个未分离图像内基于不同位置的像素值确定的直方图。以下，参照图8及图9，对本发明的多个直方图确定方法进行详细说明。

图8为示出根据本发明的一实施例以多个单通道图像中的每一个所包括的相同位置的像素值确定直方图的服务器100的工作的流程图。图8中，作为包括多个单通道图像的多通道图像的一例示，以图7的第一图像710为例进行说明。

处理器110可以获取多个单通道图像中的每一个所包括的相同位置的像素值(步骤S810)。例如，处理器110可以从第一图像710所包括的第一个图像(第一图像的第一通道)内的第一位置711获取像素值(例如，0.9)。并且，处理器110可从第一图像710所包括的第二个图像(第一图像的第二通道)内的第一位置711获取像素值(例如，0.8)。如上所述，处理器110可以获取多个未分离图像中的每一个所包括的相同位置(即，第一位置)的像素的像素值，上述多个未分离图像包括在第一图像710。

接着，处理器110可基于从每个单通道图像获取的相同位置的像素值来生成通道值顺序对(步骤S820)。通道值顺序对可包括多个元素。例如，第一图像710的通道值顺序对可包括2个元素。例如，第一图像710的通道值顺序对可以表现为(v1，v2)。在此情况下，通道值顺序对(v1，v2)所包括的第一个元素v1可以为第一图像710所包括的第一通道的像素值，第二个元素(即，V2)可以为第一图像710所包括的第二通道的像素值。通道值顺序对所包括的各元素的值是指光的强度，可以为规定区间(例如，0以上且1以下)中所包括的实数(RealNumber)。当从第一图像710的第一通道内的第一位置711获取的像素值为0.9，从第一图像710的第二通道内的第一位置711获取的像素值为0.8时，处理器110可以生成具有(0.9，0.8)值的通道值顺序对。

接着，处理器110可重复执行生成通道值顺序对的工作规定次数来生成多个通道值顺序对(步骤S830)。例如，处理器110可依次重复执行上述步骤S810及S820规定次数来生成与重复次数相应的通道值顺序对。

接着，处理器110可在多个通道值顺序对中确定具有相同值的通道值顺序对的数量(步骤S840)。例如，假设所生成的通道值顺序对为[(0.9，0.8)，(0.8，0.2)，(0.6，0.0)，(0.9，0.8)，(0.9，0.8)，(0.9，0.8)，(0.8，0.2)，(0.6，0.0)，(0.8，0.2)，(0.6，0.0)]。在此情况下，处理器110可以确定4个顺序对(0.9，0.8)、3个顺序对(0.8，0.2)，3个顺序对(0.6，0.0)等具有相同值的通道值顺序对的数量。

接着，处理器110可基于通道值顺序对的数量生成直方图(S850)。在一实施例中，直方图可表现在二维坐标轴上。即，直方图可包括与通道值顺序对的第一元素对应的横轴(x轴)和与通道值顺序对的第二元素对应的纵轴(y轴)。在直方图上每个通道值顺序对所对应的像素可基于相应通道值顺序对的数量而具有不同颜色或不同亮度等。例如，在直方图上每个通道值顺序对所对应的像素随着相应通道值顺序对的数量的增加而可以变得更亮，可表现成从第一颜色(例如，蓝色)更接近于第二颜色(例如，红色)。参照图7，第1-1直方图730可以为处理器110对第一图像710执行上述步骤S810至步骤S850来生成的直方图。并且，通过附图标记731指示的像素作为在第1-1直方图730上具有作为x值的0.3和作为y值的0.2的像素，可以为通道值顺序对(0.3，0.2)所对应的像素。通过附图标记733指示的像素作为在第1-1直方图730上具有作为x值的0.6和作为y值的0.6的像素，可以为通道值顺序对(0.6，0.6)所对应的像素。当假设在从第一图像710生成的通道值顺序对中，具有(0.3，0.2)值的通道值顺序对的数量大于具有(0.6，0.6)值的通道值顺序对的数量时，在第1-1直方图730上，通道值顺序对(0.3，0.2)所对应的像素731能够以比通道值顺序对(0.6，0.6)所对应的像素733更亮的颜色显现。

在另一实施例中，直方图可表现在三维坐标轴上。在此情况下，直方图可包括通道值顺序对所对应的第一元素的第一轴(x轴)、通道值顺序对所对应的第二元素的第二轴(y轴)及通道值顺序对所对应的数量的第三轴(z轴)。

处理器110在执行步骤S850之后，可以追加执行从所生成的直方图确定概率分布函数的工作。以下，在本发明中，“概率分布函数”可以被称为术语“概率分布”。例如，处理器110将根据步骤S850的执行结果生成的直方图标准化来大致确定概率分布。参照图7，从第1-1直方图730确定的概率分布可以为具有与第1-1直方图730类似的数据分布的连续概率分布函数。

图9为示出根据本发明的一实施例以多个单通道图像中的每一个所包括的不同位置的像素值为基础确定直方图的服务器100的工作的流程图。在图9中，作为包括多个单通道图像的多通道图像的一例示，以图7的第一图像710为例进行说明。

处理器110可以获取多个单通道图像中的每一个所包括的不同位置的像素值(步骤S910)。例如，处理器110可从第一图像710所包括的第一个图像(第一图像的第一通道)内的第2-1位置713a获取像素值(例如，0.5)。并且，处理器110可从第一图像710所包括的第一个图像(第一图像的第一通道)内的第2-2位置713b获取像素值(例如，0.1)。第2-1位置713a及第2-2位置713b可以为具有不同坐标值的位置。如上所述，处理器110可以获取多个未分离图像中的每一个所包括的不同位置的像素的像素值，上述多个未分离图像包括在第一图像710。

接着，处理器110可基于从每个单通道图像获取的不同位置的像素值来生成通道值顺序对(步骤S920)。例如，当从第一图像710的第一通道内第2-1位置713a的获取的像素值为0.5，从第一图像710的第二通道内的第2-2位置713b获取的像素值为0.1时，处理器110可以生成具有(0.5，0.1)值的通道值顺序对。

接着，处理器110重复执行生成通道值顺序对的工作(即，步骤S910及步骤S920)规定次数来生成多个通道值顺序对(步骤S930)，在多个通道值顺序中确定具有相同值的通道值顺序对的数量(步骤S940)，而且，基于通道值顺序对的数量来生成直方图(S950)。步骤S930至步骤S950可通过处理器110与上述步骤S830至步骤S850相同或类似地执行，因此，将省略重复内容的说明。图7的第1-2直方图750可以为处理器110对第一图像710执行上述步骤S910至步骤S950来生成的直方图。

处理器110可在执行步骤S950之后，可以追加执行从所生成的直方图确定概率分布函数的工作。例如，处理器110可将根据步骤S950的执行结果生成的直方图标准化来大致确定概率函数。参照图7，从第1-2直方图750确定的概率分布可以为具有与第1-2直方图750类似的数据分布的连续概率分布函数。

如参照图8及图9说明，本发明的服务器100可基于包括多个单通道图像的多通道图像，通过不同的方法确定相应图像的直方图或概率分布。

在本发明中，多个图像之间的“依赖性”或“类似性”作为表示多个图像所包含的信息之间的相关性的术语，可以与随机独立性对比使用。当多个图像彼此具有较高依赖性时，在每个图像中对应于相同位置的像素在像素值之间具有特定的倾向性。例如，在每个图像中，当在对应于相同位置的像素值中的第一个通道的像素值较低时，第二个通道的像素值高的可能性较高，相反，当第一个通道的像素值较高时，第二个通道的像素值高的可能性较高。相反，当多个图像彼此具有较低依赖性时，在每个图像中，即使是对应于相同位置的像素，在相应像素的像素值之间也不会存在特定倾向性。在本发明中，在多个像素值之间“没有特定倾向性”可以为多个像素值彼此不产生影响，与多个像素值的大小有关的大小关系随机(random)确定。并且，在本发明中，“独立性(Independecy)”可以为表示多个图像所包含的信息的独立程度。即，依赖性和独立性为相反的概念，多个图像之间的依赖性越高，独立性越小，依赖性越小，独立性越大。本发明的多个未分离图像可以彼此具有较高的依赖性(dependency)。并且，从多个未分离图像生成的多个分离图像可具有较低的依赖性。

再次参照图7，第一图像710可以为多个通道分别与多个未分离图像所包括的一个未分离图像对应的情况下的多通道图像。如上所述，多个未分离图像彼此可以具有较高的依赖性，每个未分离图像所包括的相同位置的像素可以具有相同或类似大小的像素值。因此，当基于每个未分离图像所包括的相同位置的像素值确定直方图时，通道值顺序对所包括的第一元素的大小和第二元素的大小可大体相同或类似。例如，如基于每个未分离图像所包括的相同位置的像素值生成的第1-1直方图730，第一元素的值和第二元素的值之间可以具有特定相关关系。

在本发明中，基于多个单通道图像中的每一个所包括的相同位置的像素值生成的直方图可以被称为该图像的“结合直方图(Joint Histogram)”。并且，从结合直方图确定的概率分布函数可以被称为“结合概率分布”。例如，第1-1直方图730可以为第一图像710所包括的多个未分离图像的结合直方图。

当在第一图像710所包括的多个未分离图像内，基于不同位置的像素值生成直方图时，通道值顺序对所包括的第一元素的大小与第二元素的大小之间可以没有特定的倾向性。例如，如基于每个未分离图像所包括的不同位置的像素值生成的第1-2直方图750，通道值顺序对所包括的第一元素的值与第二元素的值之间并不具有特定相关关系。

在本发明中，基于多个单通道图像中的每一个所包括的不同位置的像素值生成的直方图可以被称为该图像的“周边直方图(Marginal Histogram)”。并且，从周边直方图确定的概率分布函数可以被称为“周边概率分布”。例如，第1-2直方图750可以为第一图像710所包括的多个未分离图像的直方图。

以下，参照图10，说明在多通道图像所包括的多个通道分别为分离图像的情况下确定的两个以上的直方图。

图10为示出根据本发明的另一实施例通过不同的方法从多通道图像确定直方图的例示图。例如，第二图像1010可以为包括多个分离图像的多通道图像。第二图像1010可以为包括处理器110利用解混矩阵运算多个未分离图像来生成的多个分离图像的多通道图像。以下，在本发明中，说明成第二图像1010为具有2个通道的多通道图像。但这为了方便说明而作的假设，并不限定本发明。例如，第二图像1010所包括的第一个图像(或第二图像的第一通道)可以为试样所包含的生物分子“A1”的图像。并且，例如，第二图像1010所包括的第二个图像(或第二图像的第二通道)可以为试样所包含的生物分子“B1”的图像。

第2-1直方图1030及第2-2直方图1050可以分别为通过与参照图7说明的第1-1直方图730及第1-2直方图750类似的方式与第二图像1010相关地确定的直方图。例如，第2-1直方图1030可以为在第二图像1010所包括的多个单通道图像内，基于相同位置的像素值确定的结合直方图，第2-2直方图1050可以为在第二图像1010所包括的多个单通道图像内，基于不同位置的像素值确定的周边直方图。在多个分离图像中，在对应于相同位置的像素分别具有的像素值之间可以不存在特定倾向性。即，在对彼此具有较低依赖性的多个分离图像确定的直方图有可能不存在特定相关关系。例如，当针对包括多个分离图像的第二图像1010分别生成第2-1直方图1030及第2-2直方图1050时，在所生成的两个直方图中，在通道值顺序对所包括的第一元素的大小与第二元素的大小之间可以不存在特定倾向性。

图11为示出根据本发明的一实施例更新解混矩阵的参数的服务器100的工作的流程图。

处理器110可以获取与包含多个生物分子的试样有关的多个未分离图像(步骤S1110)。处理器110可以利用第一解混矩阵来从多个未分离图像生成与分别每个生物分子对应的多个分离图像(步骤S1120)。步骤S1110或步骤S1120可通过处理器110与在图6中的上述步骤S610或步骤S620相同或类似地执行。

接着，处理器110可基于通过解混矩阵生成的多个分离图像来评价多个分离图像之间的依赖性(步骤S1130)。多个分离图像之间的依赖性可基于通过处理器110执行的特定算法评价，或者处理器110利用人工神经网络模型执行规定运算来评价。并且，处理器110可基于依赖性评价结果来修改解混矩阵的参数，以使多个分离图像之间的依赖性降低(步骤S1140)。

根据本发明的多种实施例，处理器110可基于对多个分离图像生成的直方图来评价多个分离图像之间的依赖性。具体地，处理器110可基于对多个分离图像生成的直方图，根据预设的算法(或数学式)来算出指示多个分离图像之间的依赖性的值(以下，称之为“依赖性评价值”)。

在基于对多个分离图像生成的直方图来评价多个分离图像之间的依赖性的第一实施例中，处理器110可计算多个分离图像之间的互信息量(Mutual Information)来评价依赖性。“互信息量”作为源自信息理论的值，两个变量之间的互信息量可以指示两个变量共享的信息的总量，例如，两个随机变量(two random variables)之间的互信息量可以为0。处理器110可基于以多个分离图像为基础生成的结合直方图或周边直方图来计算互信息量。例如，对两个分离图像的互信息量可以如以下的数学式8所示。

数学式8

在数学式8中，X₁和X₂分别表示不同的分离图像，I(X₁；X₂)表示对两个分离图像计算的互信息量。在数学式8中，右边的表示基于两个分离图像X₁及X₂所包括的相同位置的像素值来确定的结合直方图或结合概率分布。例如，对两个分离图像X₁及X₂的结合直方图或结合概率分布通过由处理器110对两个分离图像X₁及X₂进行上述图8的步骤来生成。在数学式8中，右边的/>表示基于两个分离图像X₁及X₂所包括的不同位置的像素值来确定的周边直方图或周边概率分布。例如，对两个分离图像X₁及X₂的周边直方图或周边概率分布可通过由处理器110对上述两个分离图像X₁及X₂执行上述图9的各步骤来生成。处理器110可计算通过数学式8例示的互信息量来计算多个分离图像之间的依赖性。

在基于对多个分离图像生成的直方图来评价多个分离图像之间的依赖性的第二实施例中，处理器110可计算多个分离图像之间的KL散度(Kullback-Leibler Divergence)值来评价依赖性。“KL散度”为当计算两个不同的概率分布的差异时可使用的函数，其函数值表示两个不同的概率分布的信息熵的差异。KL散度值越大，两个不同的概率分布差异较大且被容易区分。KL散度值可以如以下的数学式9定义。

数学式9

在数学式9中，X表示多个分离图像之间的结合直方图或结合概率分布。例如，对多个分离图像的结合直方图或结合概率分布可通过由处理器110对多个分离图像执行上述图8的各步骤来生成。并且，Y表示多个分离图像之间的周边直方图或周边概率分布。例如，对多个分离图像的周边直方图或周边概率分布可通过由处理器110对多个分离图像执行上述图9的各步骤来生成。处理器110可基于通过数学式9例示的KL散度值来计算多个分离图像之间的依赖性。

在基于对多个分离图像生成的直方图来评价多个分离图像之间的依赖性的第三实施例中，处理器110可计算多个分离图像之间的交叉熵值来评价依赖性。“交叉熵”是指为了区分两个概率分布而需要的平均比特数，该值表示不同的两个概率分布的差异。交叉熵值越大，不同的两个概率分布差越大且容易区分。交叉熵值可以如以下的数学式10定义。

数学式10

H(X，Y)＝E_X[-logY]

在数学式10中，X表示多个分离图像之间的结合直方图或结合概率分布。例如，对多个分离图像的结合直方图或结合概率分布可以通过由处理器110对多个分离图像执行上述图8的各步骤来生成。并且，Y表示多个分离图像之间的周边直方图或周边概率分布。例如，对多个分离图像的周边直方图或周边概率分布可通过由处理器110对多个分离图像执行上述图9的各步骤来生成。处理器110可基于通过数学式10例示的交叉熵值来计算多个分离图像之间的依赖性。

在基于对多个分离图像生成的直方图评价多个分离图像之间的依赖性的第四实施例中，处理器110可计算多个分离图像之间的兰德指数(Rand Index)来评价依赖性。“兰德指数”为表示两个数据集之间的类似度的值。兰德指数越大，不同的两个数据集之间的差异越大且容易区分。例如，当两个数据集(X及Y)分别表现为X＝{X₁，X₂，...，X_i}及Y＝{Y₁，Y₂，...，Y_j}时，两个数据集之间的重叠可以如以下表1所示。

表1

例如，数据集X可以包括多个分离图像之间的结合直方图或结合概率分布的数据，数据集Y可包括多个分离图像之间的周边直方图或周边概率分布的数据。基于这种表1的兰德指数可以如以下数学式11定义。

数学式11

处理器110可基于通过数学式11例示的兰德指数来计算多个分离图像之间的依赖性。

与评价上述依赖性有关的第一实施例至第四实施例为用于具体说明处理器110评价多个分离图像之间的依赖性的方法的例示，并不限定本发明，本发明的处理器110可通过多种方法，基于对多个分离图像生成的直方图来评价依赖性(或类似性)。

本发明的服务器100可基于所计算的依赖性评价结果来修改解混矩阵所包括的至少一个参数。以下，再次参照与上述依赖性评价有关的第一实施例至第四实施例来说明具体的参数修改方法。

在可基于互信息量评价多个分离图像之间的依赖性的上述第一实施例中，处理器110可以向所计算的互信息量变少的方向修改解混矩阵的参数。在本发明中，“向对多个分离图像计算的特定值变小的方向修改解混矩阵的参数”可以为修改作为从多个未分离图像生成多个分离图像的基础的解混矩阵的参数的结果，对根据修改后的解混矩阵生成的多个分离图像计算的特定值变得小于对根据修改前的解混矩阵生成的多个分离图像计算的特定值。以下，“向特定值变小的方向修改解混矩阵的参数”将与“以使特定值变小的方式修改解混矩阵的参数”相互交换使用。处理器110为了向互信息量变小的方向修改解混矩阵的参数，例如，可以使用如以下数学式12的损失函数。数学式12表示基于上述数学式8的一实施例的损失函数。

数学式12

L_X(α)＝I(X₁-α×X₂；X₂)

L_Y(β)＝I(X₁；X₂-β×X₁)

在基于KL散度值评价多个分离图像之间的依赖性的上述第二实施例中，处理器110为了向KL散度值变小的方向修改解混矩阵的参数，例如，可以使用如以下数学式13的损失函数。数学式13表示基于上述数学式9的一实施例的损失函数。

数学式13

L_X(α)＝D_KL(X′||Y)

L_Y(β)＝D_KL(X||Y′)

当假设多个分离图像为两个时，数学式13的X′可以表示在图像(X₁-α×X₂)与图像(X₂)之间确定的结合概率分布，Y′表示在图像(X₁)与图像(X₂-β×X₁)之间确定的周边概率分布。

在基于交叉熵值评价多个分离图像之间的依赖性的上述第三实施例中，处理器110为了向交叉熵值变小的方向修改解混矩阵的参数，例如，可以使用如以下数学式14的损失函数。数学式14表示基于上述数学式10的一实施例的损失函数。

数学式14

L_X(α)＝H(X′，Y)

L_Y(β)＝H(X，Y′)

当假设多个分离图像为两个时，数学式14的X′可以表示在图像(X₁-α×X₂)与图像(X₂)之间确定的结合概率分布，Y′表示在图像(X₁)与图像(X₂-β×X₁)之间确定的周边概率分布。

在基于兰德指数评价多个分离图像之间的依赖性的上述第四实施例中，处理器110为了向兰德指数变小的方向修改解混矩阵的参数，例如，可以使用如以下数学式15的损失函数。数学式15表示基于上述数学式11的一实施例的损失函数。

数学式15

L_X(α)＝ARI(X′，Y′)

L_Y(β)＝ARI(X，′Y′)

当假设多个分离图像为两个时，数学式15的X′可以表示在图像(X₁-α×X₂)与图像(X₂)之间确定的结合概率分布，Y′表示在图像(X₁)与图像(X₂-β×X₁)之间确定的周边概率分布。

处理器110可以确定基于以下的数学式16将上述数学式12至15等多种损失函数最优化的至少一个参数(例如，数学式12至数学式15中的α或β)。

数学式16

如上所述，本发明的服务器100可基于所计算的依赖性评价结果来修改解混矩阵所包括的至少一个参数。

根据本发明的追加的多个实施例，服务器100可基于人工神经网络模型来评价多个分离图像之间的依赖性，基于依赖性评价结果来修改解混矩阵的参数。根据本发明，以下，参照附图，对处理器110可基于人工神经网络模型来修改解混矩阵的参数的方法进行具体说明。

接着，处理器110可以判断是否满足预设临界条件(步骤S1145)。

在一实施例中，预设临界条件可以为根据解混矩阵的更新次数的条件。例如，预设的临界条件为在将解混矩阵修改N(N为1以上的自然数)时满足的条件。在此情况下，处理器110每当更新解混矩阵时对更新次数进行计数，当所计数的更新次数为N次时，可以判断为满足预设临界条件。

在处理器110计算多个分离图像之间的依赖性评价值的一实施例中，预设临界条件可以为根据所计算的依赖性评价值的大小的条件。例如，预设临界条件为在多个分离图像之间计算的依赖性评价值的大小为0.2以下时满足的条件。在此情况下，处理器110执行步骤S1130的结果，当在多个分离图像之间计算的依赖性评价值的大小为0.2以下时，可以判断为满足预设临界条件。

并且，在处理器110基于人工神经网络模型评价依赖性的一实施例中，预设临界条件可以为基于人工神经网络模型的学习次数、输出值的大小或损失值(损失(Loss)值、输出值和真实值之间的误差)中的至少一个的条件。例如，预设的临界条件为在人工神经网络模型的损失值为0.1以下的情况下满足的条件。在此情况下，处理器110可在人工神经网络模型的损失值为0.1以下时判断为满足预设临界条件。

处理器110判断是否满足预设临界条件的结果，当不满足对应条件时，处理器110重复执行上述步骤S1120至步骤S1140，直到满足预设临界条件。

处理器110判断是否满足预设临界条件的结果，当满足对应条件时，处理器110可以终止更新解混矩阵。与更新之前的解混矩阵相比，所更新的解混矩阵为修改至少一个参数的矩阵。

图12为概念性示出以本发明一实施例的人工神经网络模型1250为基础评价多个分离图像1210之间的依赖性的过程的概念图。人工神经网络模型1250可以为接收输入数据并生成用于确定所输入的输入数据种类的输出数据的人工神经网络模型(以下，称之为“分类模型”)。以下，参照图12，为了方便说明而说明成多个分离图像1210包括三个分离图像，但本发明并不局限于此。

处理器110可基于多个分离图像1210来生成输入到人工神经网络模型1250的至少一个输入数据。在一实施例中，处理器110可以从与多个分离图像1210有关的不同的至少两个概率分布中的至少一个概率分布采样(Sampling)数据来生成输入数据。在本发明中，术语“采样”可以为基于特定概率分布中所包括的各元素所具有的概率值来选择或提取规定数量的元素的工作。例如，特定概率分布中所包括的第一元素具有比第二元素高的概率值，当从相应特定概率分布采样一个元素时，选择第一元素的概率可高于选择第二元素的概率。并且，例如，特定概率分布中所包括的所有元素具有相同的概率值，当从相应特定概率分布采样一个元素时，所有元素被选择的概率可以相同。在本发明中，例如，处理器110用于采样数据的一概率分布可以为基于多个分离图像1210中的每一个所包括的不同位置的像素值确定的概率分布(以下，称之为“第一概率分布”)。第一概率分布可以通过由处理器110对多个分离图像1210执行参照图8的上述方法来确定。处理器110可从第一概率分布采样数据来生成一输入数据。并且，例如，处理器110用于采样数据的一概率分布可以为基于多个分离图像1210中的每一个所包括的不同位置的像素值确定的概率分布(以下，称之为“第二概率分布”)。第二概率分布可通过由处理器110对多个分离图像1210执行参照图9的上述方法来确定。处理器110可以从第二概率分布采样数据来生成一输入数据。

在一实施例中，从第一概率分布采样的输入数据1231如以下的数学式17所示。

数学式17

数学式17的左边的x表示从第一概率分布采样的至少一个输入数据。右边的表示与多个分离图像1210的结合概率分布对应的第一概率分布。并且，的X₁、X₂及X₃表示与多个分离图像1210所包括的每个分离图像对应的概率变量，x₁、x₂及x₃表示概率变量X₁、X₂及X₃各自的实现值或像素值。并且，(x_1i，x_2i，x_3i)表示从第一概率分布采样的第i个输入数据(i为1以上且n以下的自然数)，x_1i表示从多个分离图像1210中的第一个分离图像提取的像素值，x_2i表示从多个分离图像1210中的第二个分离图像提取的像素值，x_3i表示从多个分离图像1210中的第三个分离图像提取的像素值。在此情况下，第一概率分布可基于包括在多个分离图像1210中的每一个所包括的相同位置的像素值来确定，因此，(x_1i，x_2i，x_3i)所包括的每个像素值可以为从多个分离图像中的相互对应的相同位置的像素确定的值。上述数学式17为用于具体说明而从第一概率分布采样的输入数据1231的例示性记载，并不限定本发明。

在一实施例中，从第二概率分布采样的输入数据1233可以如以下的数学式18所示。

数学式18

数学式18的左边的x'表示从第二概率分布采样的至少一个输入数据。右边的表示对应于多个分离图像1210的周边概率分布的第二概率分布。并且，/>的X₁、X₂及X₃表示与多个分离图像1210所包括的每个分离图像对应的概率变量，x₁、x₂及x₃表示每个概率变量X₁、X₂及X₃的实现值或像素值。并且，(x_1i'，x_2i'，x_3i')表示从第二概率分布采样的第i个输入数据(i为1以上且n以下的自然数)，x_1i'可以为从多个分离图像1210中的第一个分离图像提取的像素值，x_2i'为从多个分离图像1210中的第二个分离图像提取的像素值，x_3i'为从多个分离图像1210中的第三个分离图像提取的像素值。在此情况下，第二概率分布可基于多个分离图像1210中的每一个所包括的不同位置的像素值来确定，因此，(x_1i'，x_2i'，x_3i')所包括的每个像素值可以为从多个分离图像中的不同位置的像素确定的值。上述数学式18仅为用于具体说明而从第二概率分布采样的输入数据1233的例示，并不限定本发明。

在一实施例中，处理器110可将输入数据输入到分类模型，可基于分类模型的输出数据来确定输入数据的种类。当输入数据为根据针对多个分离图像以不同方式确定的两个概率分布中的一个采样的数据时，分类模型可以生成用于确定作为输入数据的基础的特定概率分布的输出数据。例如，对分类模型的输入数据可以为从第一概率分布采样的输入数据1231或从第二概率分布采样的输入数据1233。在此情况下，分类模型的输出数据可以为确定与，输入数据有关的概率分布的数据。即，当输入数据为从第一概率分布采样的输入数据1231时，分类模型可以输出指示第一概率分布的信息作为与相应输入数据有关的输出数据。并且，当输入数据为从第二概率分布采样的输入数据1233时，分类模型可以输出指示第二概率分布的信息作为与输入数据有关的输出数据。

为了训练作为本发明一实施例的分类模型的人工神经网络模型1150，处理器110可以不同地标记从第一概率分布采样的输入数据1131及从第二概率分布采样的输入数据1133来生成学习数据。例如，处理器110在从第一概率分布采样的输入数据1131标记作为真实值(ground truth)的“1”，在从第二概率分布采样的输入数据1133可以标记作为真实值的“0”。当以如上生成的学习数据为基础训练分类模型时，处理器110可将学习数据所包含的输入数据输入到分类模型，获取通过分类模型输出的输出数据(例如，从0至1之间的实数)，以针对相应输入数据标记的真实值与分类模型的输出数据之间的差异为基础，通过反向传播(Backpropagation)法更新分类模型所包括的至少一个参数，由此可以训练分类模型。

图13为概念性示出以本发明另一实施例的人工神经网络模型1350为基础评价多个分离图像1310之间的依赖性的过程的概念图。人工神经网络模型1350可以为接收多个输入数据并生成用于预测与多个输入数据有关的特定值的输出数据的人工神经网络模型(以下，称之为“预测模型”)。以下，参照图13，为了方便说明，说明成多个分离图像1310包括两个分离图像，但本发明并不局限于此。

处理器110可基于多个分离图像1310来生成输入到人工神经网络模型1350的多个输入数据。处理器110可以生成从基于多个分离图像1310确定的不同概率分布分别采样的多个输入数据。以下，说明成人工神经网络模型1350接收两个输入数据，但这并不限定本发明，本发明的人工神经网络模型1350也可以接收三个以上的输入数据。在一实施例中，处理器110可以从与多个分离图像1310相关的两个不同的概率分布分别采样数据来生成两个输入数据。例如，与多个分离图像1310有关的两个不同的概率分布可以为基于多个分离图像1310中的每一个所包括的相同位置的像素值来确定的概率分布(以下，称之为“第三概率分布”)或基于多个分离图像1310中的每一个所包括的不同位置的像素值来确定的概率分布(以下，称之为“第四概率分布”)。在此情况下，第三概率分布可通过由处理器110针对多个分离图像1310执行参照图8说明的方法来确定，第四概率分布可通过由处理器110针对多个分离图像1310执行参照图9说明的方法来确定。处理器110可从第三概率分布采样输入数据1311，从第四概率分布采样输入数据1333来生成向人工神经网络模型1350输入的多个输入数据。

处理器110可将多个输入数据输入到人工神经网络模型1350，可获取与人工神经网络模型1350预测的多个输入数据有关的特定值。与人工神经网络模型1350所预测的多个输入数据有关的“特定值”可以为接收多个输入数据的人工神经网络模型1350输出的值。

处理器110可基于所获取的特定值来计算与多个分离图像有关的依赖性评价值。如上所述，处理器110基于人工神经网络模型计算的依赖性评价值种类可根据多种实施例确定。以下，为了方便说明，作为基于人工神经网络模型计算依赖性评价值的一例，假设处理器110计算上述“互信息量”。在一实施例中，基于预测模型所预测的特定值计算的多个分离图像之间的互信息量可以如以下数学式19所示。

数学式19

数学式19的左边的I(x；x')表示与基于输入到人工神经网络模型1350的两个输入数据(即，x及x')计算的两个分离图像(即，X₁及X₂)有关的互信息量。在右边的f_φ中，φ表示包括在预测模型的至少一个参数，f_φ作为预测模型的输出数据，表示与两个输入数据有关的特定值。并且，在中，/>表示多个分离图像1310的结合概率分布，/>表示在多个分离图像1310的结合概率分布中，预测模型对两个输入数据(x及x')输出的特定值(f_φ)的期待值。另一方面，/>的/>表示多个分离图像1310中的每一个的周边概率分布的乘积。/>表示基于φ值的变化的括号内的项的上限。如通过本数学式19例示，处理器110可基于预测模型预测的特定值来计算与多个分离图像有关的互信息量。例如，分别与两个输入数据(x及x')对应的第三概率分布和第四概率分布越类似，两个输入数据之间的互信息量(I(x；x'))可具有更大的值。并且，互信息量越大，两个分离图像可以被解释成更为具有依赖性的图像。

为了训练作为如上所述的预测模型的人工神经网络模型1350，处理器110可基于预测模型输出的特定值来计算互信息量，并以将所计算的互信息量最大化的方式训练预测模型。即，当预测模型对从多个分离图像采样的多个输入数据预测特定值时，预测模型中所包括的至少一个参数的值可以被更新成向与多个分离图像有关的互信息量最大化的方向预测特定值。例如，处理器110可对预设的互信息量计算式适用梯度下降法(或梯度上升法)，根据链式法则(Chain Rule)更新包括在预测模型的至少一个参数的值。

本发明的解混矩阵及人工神经网络模型可以相互竞争地进行学习(AdversarialTraining)。在本发明中，两个对象“竞争性地进行学习”可以为两个对象被训练成解决相反的问题(task)，由此包括在每个对象的至少一个参数的值发生改变。

在与本发明的竞争性学习有关的一实施例中，当人工神经网络模型对应于分类模型时，包括在解混矩阵的至少一个元素的值被更新成使得输入到分类模型的第一输入数据和第二输入数据通过相应人工神经网络模型良好地区分，人工神经网络模型所包括的至少一个参数的值可以被更新成使得所输入的第一输入数据和第二输入数据良好地区分。例如，第一输入数据可以为从第一概率分布采样的数据，第二输入数据可以为从第二概率分布采样的数据。如上所述，分类模型可以为从多个分离图像接收从不同地确定的概率分布分别采样的多个输入数据并确定与各输入数据有关的概率分布的人工神经网络模型。并且，解混矩阵可以生成作为生成输入数据的基础的多个分离图像。即，解混矩阵可从多个未分离图像生成多个分离图像，分类模型可以确定从多个分离图像分别采样的输入数据的种类。因此，分类模型训练成使得多个输入数据彼此良好地区分，相反，解混矩阵训练成使得从多个分离图像分别采样的多个输入数据无法通过分类模型良好地区分，由此，分类模型和解混矩阵可以相互竞争性地进行学习。

在一实施例中，当输入到分类模型的两种输入数据通过分类模型良好地区分时，处理器110判断为分类模型的学习不充分，并可以追加执行分类模型的学习。在此情况下，利用解混矩阵来从多个未分离图像生成的多个分离图像可以被判断为彼此具有依赖性。相反，当输入到分类模型的两种输入数据无法通过分类模型良好地区分时，处理器110可判断为分类模型的学习充分并中断分类模型的学习。在此情况下，利用解混矩阵从多个未分离图像生成的多个分离图像可以被判断为彼此独立。

在本发明中，“输入到分类模型的两种输入数据通过分类模型良好地区分”或“输入到分离模型的两种输入数据无法通过分类模型良好地区分”可通过定量或数值判断。例如，当分类模型生成用于确定输入数据等种类的输出数据时，处理器110可利用对规定数量的输入数据标记真实值的测试数据集来评价分类模型的准确度(或可靠性)。具体地，当在测试数据集所包括的输入数据中，对特定数量或特定比例以上的输入数据输出真实值和误差范围内的分类结果时，处理器110可以判断为分类模型的学习充分。或者，当基于进行学习的分类模型的准确度的变化为阈值以下时，可以判断为分类模型的学习充分。用于说明上述分类模型的准确度评价方法仅为用于说明的一例示，而并不限定本发明。

在本发明的与竞争性学习有关的其他实施例中，当人工神经网络模型对应于预测模型时，包括在预测模型的至少一个参数的值可以被更新成向对多个分离图像的依赖性评价值(例如，互信息量、KL散度值、交叉熵值、兰德指数等)最大化的方向预测特定值，包括在解混矩阵的至少一个元素的值可以被更新成向对多个分离图像的依赖性评价值最小化的方向生成多个分离图像。如上所述，预测模型可以为从多个分离图像接收分别基于不同地确定的概率分布采样的多个输入数据并预测与所输入的多个输入数据有关的特定值的人工神经网络模型。并且，解混矩阵可生成作为生成多个输入数据的基础的多个分离图像。即，解混矩阵可从多个未分离图像生成多个分离图像，预测模型接收从多个分离图像中的每一个采样的多个输入数据来预测与多个输入数据有关的特定值。并且，通过预测模型预测的特定值可以是作为算出对多个分离图像的依赖性评价值的基础的值。因此，预测模型向对多个分离图像的依赖性评价值最大化的方向训练，解混矩阵向对多个分离图像的依赖性评价值最小化的方向训练，由此，预测模型和解混矩阵可以彼此竞争性地进行学习。

在一实施例中，当基于预测模型输入的特定值计算的依赖性评价值不大于预设阈值时，处理器110可判断为预测模型的学习不充分并使预测模型追加学习。在此情况下，可以判断为利用解混矩阵从多个未分离图像生成的多个分离图像彼此具有依赖性。相反，当基于预测模型输出的特定值计算的多个分离图像大于预设阈值时，处理器110可判断为预测模型的学习充分并中断预测模型的学习。在此情况下，可以判断为利用解混矩阵从多个未分离图像生成的多个分离图像彼此独立。另一方面，处理器110可基于预测模型学习的次数，例如，学习时期(epoch)的数量等来确定预测模型的学习程度。

根据如上所述的本发明多个实施例，处理器110可对多个分离图像评价依赖性，可基于评价结果来确定解混矩阵的参数。可基于如上确定的解混矩阵，本发明的处理器110从拍摄试样的多个未分离图像生成与试样所包含的每个生物图像的分离图像。

以下，根据本发明内容的一实施例，说明获取多个未分离图像的方法。

参照图4，如上所述，在包含多个生物分子的试样中获取分别与每个生物分子有关的图像的现有方法中，在各生物分子标记的荧光物质的发射光谱应尽可能不重叠，由此存在最多只能同时使用4个荧光物质的限制。并且，使用4个荧光物质来获取与试样所包含的4个生物分子有关的图像之后，后续为了获取与相应试样所包含的其他生物分子有关的图像，在重新标记其他生物分子之前，需要执行去除现有荧光物质的后处理工序。例如，去除荧光物质的后处理过程可包括使荧光物质非活性化的过程或去除通过荧光物质标记的抗体或用于通过荧光物质标记生物分子的物质的过程等。

相反，本发明的图像处理方法无需现有方法所需要的荧光物质非活性或去除过程。由此，在本发明的一实施例中，多个未分离图像可以与现有的方法不同地获取。

本发明一实施例的多个未分离图像可以通过执行2次以上对试样执行染色和拍摄的一个循环来依次生成。并且，本发明的多个未分离图像无需去除荧光物质的后处理工序，可通过执行2次以上执行染色和拍摄的一个循环来依次生成。如上所述，本发明的图像处理方法可在没有去除现有的荧光物质的过程的情况下生成多个分离图像，由此，可以更加迅速且有效地生成与各生物分子有关的分离图像。

图14为例示根据本发明的一实施例依次获取多个图像的过程的概念图。假设图14的试样1400包含N个(N为1以上的自然数)生物分子。在此情况下，当通过第一次染色对试样1400所包含的第一生物分子1401进行染色时，处理器110可通过拍摄部拍摄第一次染色之后的试样1400来获取第一未分离图像1410。在第一未分离图像1410上显示通过第一次染色来被染色的第一生物分子1401，不会显示未被染色的其余生物分子。接着，当通过第二次染色对试样1400所包含的第二生物分子1402进行染色时，处理器110可通过拍摄部拍摄第二次染色之后的试样1400来获取第二未分离图像1420。在第二未分离图像1420上可以显示通过第一次染色来被染色的第一生物分子1401及通过第二次染色被染色的第二生物分子1402，不会显示未被染色的其余生物分子。重复上述过程，当通过第N次染色对试样1400所包含的第N生物分子1403进行染色时，处理器110可通过拍摄部拍摄第N次染色之后的试样1400，由此获取第N未分离图像1430。在第N未分离图像1430可以显示通过第一次染色来被染色的第一生物分子1401、通过第二次染色来被染色的第二生物分子1402…及通过第N次染色来被染色的第N生物分子1403。如上所述，在依次获取多个未分离图像的情况下，与第“i”次染色之后获取的未分离图像相比，在第“i+1”次染色之后获取的未分离图像还可显现一个生物分子。以下，在本发明中，将与第“i”次染色之后获取的未分离图像进行比较时，在第“i+1”次染色之后获取的未分离图像上追加表现的一个生物分子称为“第i+1次染色过程中标记的生物分子”(i为1以上的自然数)。例如，将与图14的第一未分离图像1410相比，在第二未分离图像1420上追加表现的第二生物分子1402可以称为“在第二次染色过程中标记的生物分子”，将与第N-1未分离图像相比，在第N未分离图像1430上追加表现的第N生物分子1403可以称为“在第N次染色过程中标记的生物分子”。

如图14所示，本发明的图像处理方法可基于在依次获取的多个未分离图像中连续的两个以上的未分离图像来生成与特定生物分子有关的分离图像。在本发明中，“连续依次获取的两个以上的未分离图像”或“依次染色试样所包含的多个生物分子来获取的两个以上的未分离图像”等的表述可以为对每个生物分子依次执行包括对生物分子的染色及拍摄的循环来获取的两个以上的未分离图像。例如，连续依次获取的两个未分离图像可包括第i次(i为1以上的自然数)染色之后拍摄的未分离图像及第i+1次染色之后拍摄的未分离图像。并且，例如，连续依次获取的三个未分离图像可包括第i次染色之后拍摄的未分离图像、第i+1次染色后拍摄的未分离图像及第i+2次染色后拍摄的未分离图像。以下，为了方便说明，“连续依次获取的多个未分离图像”和“连续的多个未分离图像”可以彼此交换使用。

图15为例示性示出根据本发明的一实施例在依次获取的多个未分离图像中从连续的两个未分离图像获取与至少一个生物分子有关的分离图像的方法的概念图。本发明的处理器110可对连续的两个分类图像，即，第“i”次染色之后获取的未分离图像及第“i+1”次染色之后获取的未分离图像执行运算，由此可以获取与在第“i+1”次染色过程中标记的生物分子有关的分离图像。

在一实施例中，处理器110可通过第一次染色对试样所包含的生物分子(例如，蛋白质A)进行染色并拍摄试样来获取第一未分离图像1510。并且，处理器110可通过后续的第二次染色对试样所包含的其他生物分子(例如，蛋白质B)进行染色并拍摄试样来获取的＝第二未分离图像1530。并且，处理器110可通过后续的第三次染色来对试样所包含的其他生物分子(例如，蛋白质C)进行染色并拍摄试样来获取第三未分离图像1550。处理器110可基于至少一个参数来执行对连续的两个未分离图像的运算并生成于至少一个生物分子有关的分离图像。例如，处理器110可执行对第一未分离图像1510及第二未分离图像1530的运算，由此获取与在第二次染色过程中标记的生物分子(即，蛋白质B)有关的分离图像1520。并且，处理器110可对第二未分离图像1530及第三未分离图像1550执行运算，由此获取与在第三次染色过程中标记的生物分子(即，蛋白质C)有关的分离图像1540。另一方面，与在第一次染色过程中标记的生物分子(即，蛋白质A)有关的分离图像可以作为第一未分离图像1510获取。

图16为例示性示出根据本发明的一实施例在依次获取的多个未分离图像中从连续的三个未分离图像获取与至少两个生物分子有关的分离图像的方法的概念图。图16所示的第一未分离图像1610、第二未分离图像1630及第三未分离图像1650分别通过与图15的第一未分离图像1510、第二未分离图像1530及第三未分离图像1550相同的方式获取。处理器110可基于至少一个参数来对连续的三个未分离图像执行运算，并生成与至少两个生物分子有关的分离图像。例如，处理器110可同时运算第一未分离图像1610、第二未分离图像1620及第三未分离图像1630，由此获取与在第二次染色过程中标记的生物分子(即，蛋白质B)有关的分离图像1620及与在第三次染色过程中标记的生物分子(即，蛋白质C)有关的分离图像1640。另一方面，与在第一次染色过程中标记的生物分子(即，蛋白质A)有关的分离图像可作为第一未分离图像1610获取。

参照图15或图16说明了可基于连续的两个或三个未分离图像获取与生物分子有关的分离图像的方法，但这并不限制本发明，本发明可基于两个以上的任意数的未分离图像来生成与生物分子有关的分离图像。以下，为了方便说明，对可基于连续的两个未分离图像获取分离图像的方法进行说明。

图17为示出根据本发明的一实施例，以连续的两个未分离图像为基础生成与至少一个生物分子有关的分离图像的服务器100的工作的流程图。

处理器110可以获取与包含通过第一荧光物质标记的第一生物分子及未标记的第二生物分子的试样有关的第一未分离图像(步骤S1710)。在图17中说明的实施例中，第一生物分子可以为在对试样的第i次染色过程(即，第i次染色过程)中通过特定荧光物质标记的生物分子。处理器110可通过拍摄部(未图示)获取与第一生物分子被染色的试样有关的未分离图像，或者从外部装置或用户终端200接收与第一生物分子被染色的试样有关的未分离图像来获取未分离图像。

接着，处理器110可以获取与包含通过第一荧光物质标记的第一生物分子及通过第二荧光物质标记的第二生物分子的试样有关的第二未分离图像(步骤S1720)。在图17中说明的实施例中，第二生物分子可以为在对试样的第i+1次染色过程(即，第i+1次染色过程)中通过特定荧光物质标记的生物分子。即，在步骤S1710中，所获取的第一未分离图像及第二未分离图像可以为连续依次获取的两个图像。换句话说，第一生物分子可以为在第i次染色过程中标记的生物分子，第二生物分子可以为在第i+1次染色过程中标记的生物分子。处理器110可通过拍摄部(未图示)获取与第二生物分子被染色的试样有关的未分离图像，或者从外部装置或用户终端200接收与第二生物分子被染色的试样有关的未分离图像，由此获取未分离图像。

以下，除非在上下文中明确表示，否则第一未分离图像可以为在对特定试样的第i次染色过程中，通过第一荧光物质标记第一生物分子之后拍摄的未分离图像，第二未分离图像可以为在对相同特定试样的第i+1次染色过程中，通过第二荧光物质标记第二生物分子后拍摄的未分离图像。在上述第一未分离图像上显示第一生物分子，而并未显示第二生物分子。并且，在第二未分离图像上可均显示第一生物分子及第二生物分子。

接着，处理器110可基于第一未分离图像及第二未分离图像生成与第二生物分子有关的分离图像(步骤S1730)。在一实施例中，处理器110可利用解混矩阵来运算第一未分离图像及第二未分离图像，基于运算结果来生成与第二生物分子有关的分离图像。并且，解混矩阵所包括的至少一个元素的值可基于训练的人工神经网络模型来确定。与解混矩阵或人工神经网络模型有关的共同说明如上所述，以下，省略重复内容，仅说明不同点。

在一实施例中，对相同试样连续获取的第一未分离图像及第二未分离图像可以为分别从试样检测相同的特定波长范围的光来拍摄的图像。具体地，第一未分离图像可以为检测从包含通过第一荧光物质标记的第一生物分子的试样释放的光中的第一波长范围的光来拍摄的图像，第二未分离图像可以为检测从包含通过第二荧光物质标记的第二生物分子的试样释放的光中的第二波长范围的光来拍摄的图像。在此情况下，当第一波长范围与第二波长范围相同时，第一未分离图像和第二未分离图像可为以通过检测相同的特定波长范围的光来拍摄的图像。在本发明中，术语“特定波长范围的光”可以为具有特定区间的波长的光。例如，特定波长范围的光可以为具有400nm以上且450nm以下的波长的光。为了通过检测特定波长范围的光来拍摄未分离图像，可以调节拍摄部检测的光的波长范围或者向试样照射特定波长范围的光或者在拍摄部与试样之间设置规定图案。

在一实施例中，对相同试样依次获取的第一未分离图像和第二未分离图像可以为分别基于相同的发射滤波器(以下，称之为“第六发射滤波器”)获取的图像。

图18为例示性示出多个荧光物质所具有的发射光谱及通过特定发射滤波器的波长范围的图。如上所述，未分离图像可通过如下方法获取，向荧光物质照射荧光物质发生反应的特定波长的光，通过对应的发射滤波器对从激发的荧光物质释放的光进行滤波并拍摄通过发射滤波器的光来获取。例如，第一未分离图像可以为通过荧光物质“Alexa405”、“CF405S”或“ATTO 390”中的一个标记试样所包含的第一生物分子之后获取的图像，第二未分离图像可以为通过荧光物质“Alexa 405”、“CF405S”或“ATTO 390”中的一个标记试样所包含的第二生物分子后获取的图像。在此情况下，例如，第一未分离图像和第二未分离图像可以为基于相同的第六发射滤波器获取的图像。例如，当通过第六发射滤波器的波长范围1800为如图18所示的虚线区间时，第一未分离图像及第二未分离图像可以通过相同的方式检测通过第六发射滤波器的波长范围1800的光来获取。

根据本发明的一实施例，为了获取第一未分离图像而使用的第一荧光物质和为了获取第二未分离图像而使用的第二荧光物质可以为相同的荧光物质。例如，第一荧光物质及第二荧光物质作为“Alexa 405”、“Alexa 488”、“Alexa 546”、“Alexa 647”、“CF594”、“CF405S”、“ATTO 390”或此外的多种荧光物质中的一种荧光物质，可以为相同的荧光物质。

根据本发明的一实施例，为了获取第一未分离图像而使用的第一荧光物质和为了获取第二未分离图像而使用的第二荧光物质可以为具有类似发射光谱的荧光物质。在本发明中，彼此具有类似发射光谱的两个以上的荧光物质可以表现成“彼此具有类似发射光谱的荧光物质组合”。以下，参照图19，对确定“彼此具有类似发射光谱的荧光物质组合”的方法进行说明。图19为例示性示出多个荧光物质所具有的发射光谱及在各发射光谱中使信号强度达到最大的波长值的图。

处理器110可基于各荧光物质的发射光谱内的信号的强度来确定彼此具有类似发射光谱的荧光物质组合。以下，为了方便说明，假设彼此具有类似发射光谱的荧光物质组合由两个荧光物质构成。

当从两个荧光物质的发射光谱内的发射信号的强度达到最大的波长值满足规定条件(以下，也称之为“荧光物质组合条件”)时，处理器110可以将两个荧光物质确定为彼此具有类似发射光谱的荧光物质组合。具体地，在假设第一未分离图像为通过第一荧光物质标记试样所包含的第一生物分子之后拍摄的图像，第二未分离图像为通过第二荧光物质标记试样所包含的第二生物分子后拍摄的图像的情况下，当在第一荧光物质的发射光谱内的发射信号的强度达到最大的第一波长值及在第二荧光物质的发射光谱内的发射信号的强度达到最大的第二波长值满足规定条件时，第一荧光物质及第二荧光物质可对应于彼此具有类似发射光谱的荧光物质组合。

在与荧光物质组合条件有关的一实施例中，当在第一荧光物质的发射光谱内的发射信号的强度达到最大的第一波长值及在第二荧光物质的发射光谱内的发射信号的强度达到最大的第二波长值为预设阈值以下时，处理器110可以判断为满足荧光物质组合条件。例如，如图19所示，在“Alexa 405”的发射光谱内的发射信号的强度达到最大的波长值(以下，称之为“Alexa 405的最大波长值”)约为420nm，在“CF405S”的发射光谱内的发射信号的强度达到最大的波长值(以下，称之为“CF405S的最大波长值”)可以约为430nm。并且，在“ATTO 390”的发射光谱内的发射信号的强度达到最大的波长值(以下，称之为“ATTO 390的最大波长值”)可以为约为480nm。

在与图19有关的一实施例中，当处理器110所具有的预设阈值为20nm时，Alexa405的最大波长值(例如，420nm)和CF405S的最大波长值(例如，430nm)的差异作为10nm，是预设阈值以下，因此，可以判断为Alexa 405及CF405S满足荧光物质组合条件。相反，Alexa 405的最大波长值和ATTO 390的最大波长值(例如，480nm)的差异作为60nm，并非为预设阈值以下，因此，可以判断为Alexa 405及ATTO 390不满足荧光物质组合条件。同样，CF405S及ATTO390的各自最大波长值的差异为50nm，因此，可以判断为不满足荧光物质组合条件。

在与图19有关的一实施例中，当处理器110所具有的预设阈值为60nm时，Alexa405的最大波长值(例如，420nm)与CF405S的最大波长值(例如，430nm)的差异为10nm，是预设阈值以下，因此，可以判断为Alexa 405及CF405S满足荧光物质组合条件。并且，Alexa405的最大波长值与ATTO 390的最大波长值(例如，480nm)的差异为60nm，是预设阈值以下，因此，可以判断为Alexa 405及ATTO 390满足荧光物质组合条件。同样，CF405S及ATTO 390的各自最大波长值的差异为50nm，因此可以判断为满足荧光物质组合条件。在与荧光物质组合条件有关的另一实施例中，在第一荧光物质的发射光谱内的发射信号的强度达到最大的第一波长值及在第二荧光物质的发射光谱内的发射信号的强度达到最大的第二波长值中，当更大波长值与更小波长的比例为预设临界比例以上时，处理器110可以判断为满足荧光物质组合条件。例如，在处理器110所具有的预设临界比例为0.95时，Alexa 405的最大波长值和CF405S的最大波长值中，更小波长值与更大波长值的比例约为0.977(＝420/430)，是预设临界比例以上，因此，可以判断为Alexa 405及CF405S满足荧光物质组合条件。相反，在Alexa 405的最大波长值和ATTO 390的最大波长值中，更小波长值与更大波长值的比例为0.875(＝420/480)，其小于预设临界比例，因此，可以判断为Alexa 405及ATTO 390不满足荧光物质组合条件。同样，CF405S及ATTO 390的各自最大波长值的比例约为0.896(＝430/480)，其小于预设临界比例，因此可以判断为不满足荧光物质组合条件。

如上所述的预设阈值或预设临界比例的具体数值仅为例示性记载，而并非用于限定本发明，可根据在染色过程中所使用的荧光物质的种类，预设阈值或预设临界比例可以被设定为多种实数值。

根据参照图4说明的现有的图像处理方法，为了针对每个生物分子获取准确的图像，以最大程度防止标记每个生物分子的荧光物质的发射光谱重叠的方式选择荧光物质。相反，根据本发明的图像处理方法，当从多个未分离图像生成多个分离图像时，可以大幅度减少上述现有方法的限制。进而，在依次对试样所包含的多个生物分子进行染色来连续获取未分离图像的过程中，在每次染色时可以使用相同的荧光物质及类似的荧光物质。由此，在本发明中，连续依次获取的多个未分离图像可通过上述多个实施例相同的方法，基于相同或类似的特定波长范围的光来获取，无需发射滤波器的更换、荧光物质的去除等追加过程，与现有方法相比，可以迅速且轻松获取多个未分离图像。

在本说明书的公开内容的追加实施例中，当多个未分离图像为依次对试样所包含的多个生物分子进行染色来获取的图像时，解混矩阵可以为三角矩阵。

与本发明的三角矩阵有关的一实施例中，当多个未分离图像包括两个未分离图像时，作为三角矩阵的解混矩阵可以如以下数学式20所示。

数学式20

数学式20的解混矩阵U所包含的参数α可以为用于多个未分离图像的加权的参数。在数学式20的例示中，两个未分离图像可分别称为在第i次染色过程中对试样所包含的第一生物分子进行染色并拍摄的第一未分离图像Y₁以及在第i+1次染色过程中对包同一试样所包含的第二生物分子进行染色并拍摄的第二未分离图像Y₂(i为1以上的自然数)，处理器110可执行如下运算，利用作为三角矩阵的解混矩阵来加权合算第一未分离图像Y₁及第二未分离图像Y₂并获取与第二生物分子有关的分离图像。例如，处理器110可基于数学式20的解混矩阵U来运算如X₂＝αY₁+Y₂表达的数学式，通过运算的结果获取与第二生物分子有关的分离图像X₂。另一方面，在第一未分离图像Y₁为在对试样的最初染色(即，第一次染色)过程中对试样所包含的第一生物分子进行染色之后获取的图像的情况下，与第一生物分子第一生物分子有关的分离图像X₁可作为第一未分离图像Y₁获取。

在与本发明的三角矩阵有关的其他实施例中，当多个未分离图像包括是三个未分离图像时，作为三角矩阵的解混矩阵可以如以下数学式21所示。

数学式21

数学式21的解混矩阵U所包含的多个参数α、β、γ可分别为用于多个未分离图像的加权的参数。在数学式21的例示中，三个未分离图像可分别称为在第i次染色过程中对试样所包含的第一生物分子进行染色并拍摄的第一未分离图像Y₁、在第i+1次染色过程中对同一试样所包含的的第二生物分子进行染色并拍摄的第二未分离图像Y₂及在第i+1次染色过程中对同一试样所包含的第三生物分子进行染色并拍摄的第三未分离图像Y₃(i为1以上的自然数)。处理器110可执行如下运算，利用作为三角矩阵的解混矩阵来加权合算第一未分离图像Y₁、第二未分离图像Y₂及第三未分离图像Y₃并获取与第二生物分子有关的分离图像和与第三生物分子有关的分离图像。例如，处理器110科技与数学式21的解混矩阵U来运算如X₂＝αY₁+Y₂和X₃＝βY₁+γY₂+Y₃表达的数学式，通过运算结果来获取与第二生物分子有关的分离图像X₂及与第三生物分子有关的分离图像X₃。另一方面，当第一未分离图像Y₁为在对试样的最初染色(即，第一次染色)过程中对试样所包含的第一生物分子进行染色后获取的图像时，与该第一生物分子有关的分离图像X₁可作为第一未分离图像Y₁获取。

基于上述数学式20及数学式21的具体说明中，作为解混矩阵的三角矩阵被记载为下三角矩阵(Lower Triangular Matrix)，但本发明并不局限于此，本发明的三角矩阵也可以为上三角矩阵(Upper Triangular Matrix)。如上所述，在多个未分离图像为依次对试样所包含的多个生物分子进行染色来获取的图像的情况下，本发明的解混矩阵可以为三角矩阵，由此，处理器110可以更迅速地执行矩阵运算，由此可以获取与至少一个生物分子有关的分离图像。

在本说明书中的公开内容的流程图中，依次说明了方法或算法的各步骤，除依次执行之外，各步骤可根据能够随意组合的顺序执行。与本说明书的流程图有关的说明并不排除在方法或算法施加变化或修改，并不意味着任意步骤为必要的或优选的。在一实施例中，至少一部分步骤可以并列、重复或启发性执行。在一实施例中，可以省略至少一部分步骤或可以追加其他步骤。

本说明书公开内容的多种实施例可在设备(Machine)可读取的存储介质(Machine-readable Storage Medium)以软件体现。软件可以为用于体现本说明书的多种实施例的软件。软件可以由本发明所属技术领域的程序员可从本说明书的多种实施例推论。例如，软件可以为包括设备可读取指令(例如，代码或代码段)的程序。设备为可根据从存储介质调用的指令进行工作的装置，例如，可以为计算机。在一实施例中，设备可以为本说明书多种实施例的计算装置。在一实施例中，设备的处理器可执行调用的指令来使得设备的结构要素执行对应于对应指令的功能。在一实施例中，处理器可以为本发明实施例的处理器110、210。存储介质可以为被设备读取的存储数据的所有种类的记录介质(Recording Medium)。例如，存储介质可包括ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等。在一实施例中，存储介质可以为存储器130、230。在一实施例中，存储介质也能够以分散的形态体现在通过网络连接的计算机系统等。软件可分散并存储在计算机系统等并运行。存储介质可以为非暂时性(non-transitory)存储介质。非暂时性存储介质是指与数据半永久或永久存储无关地实际介质(Tangible Medium)，并不包括暂时(transitory)传播的信号(Signal)。

以上，通过多种实施例说明了本说明书公开内容的技术思想，本说明书公开内容的技术思想可以包括能够在本发明所属技术领域的普通技术人员可以理解的范围内进行的多种置换、变形及变更。并且，这种置换、变形及变更也应包括在附加的发明要求保护范围内。

Claims (20)

1.一种图像处理方法，在包括至少一个处理器及至少一个存储器的电子装置中执行，上述至少一个存储器用于存储通过上述至少一个处理器执行的指令，其特征在于，包括如下步骤：

获取与包含通过第一荧光物质标记的第一生物分子及未标记的第二生物分子的试样有关的第一未分离图像；

获取与包含通过上述第一荧光物质标记的上述第一生物分子及通过第二荧光物质标记的上述第二生物分子的上述试样有关的第二未分离图像；以及

以上述第一未分离图像及上述第二未分离图像为基础生成与上述第二生物分子有关的分离图像。

2.根据权利要求1所述的方法，其特征在于，上述第一未分离图像及上述第二未分离图像分别为从上述试样检测相同的特定波长范围的光来拍摄的图像。

3.根据权利要求1所述的方法，其特征在于，

上述第一未分离图像和上述第二未分离图像分别为以相同的发射滤波器为基础获取的图像，

上述发射滤波器使特定波长范围的光通过。

4.根据权利要求1所述的方法，其特征在于，上述第一荧光物质及上述第二荧光物质为相同的荧光物质。

5.根据权利要求1所述的方法，其特征在于，上述第一荧光物质及上述第二荧光物质被确定为在上述第一荧光物质的发射光谱内使发射信号的强度达到最大的第一波长值及在上述第二荧光物质的发射光谱内使发射信号的强度达到最大的第二波长值满足规定条件。

6.根据权利要求5所述的方法，其特征在于，上述规定条件为如下条件，满足上述第一波长值与上述第二波长值的差值为预设阈值以下的情况。

7.根据权利要求5所述的方法，其特征在于，上述规定条件为如下条件，满足上述第一波长值及上述第二波长值中的更小波长值与更大波长值的比例为预设临界比例以上的情况。

8.根据权利要求1所述的方法，其特征在于，上述第二未分离图像是在拍摄与上述试样有关的上述第一未分离图像之后，通过上述第二荧光物质标记上述试样所包含的上述第二生物分子并拍摄上述试样来获取的。

9.根据权利要求1所述的方法，其特征在于，生成上述分离图像的步骤包括利用解混矩阵来运算上述第一未分离图像及上述第二未分离图像的步骤。

10.根据权利要求9所述的方法，其特征在于，上述解混矩阵中所包括的至少一个元素的值以学习的人工神经网络模型为基础确定。

11.根据权利要求1所述的方法，其特征在于，

还包括如下步骤，获取与包含通过上述第一荧光物质标记的上述第一生物分子、通过上述第二荧光物质标记的上述第二生物分子及通过第三荧光物质标记的第三生物分子的上述试样有关的第三未分离图像，

上述生成步骤包括进一步以上述第三未分离图像为基础来生成与上述第三生物分子有关的分离图像的步骤，

上述第一未分离图像为拍摄包含未标记的上述第二生物分子及未标记的上述第三生物分子的试样来获取的图像，

上述第二未分离图像为拍摄包含未标记的上述第三生物分子的试样来获取的图像。

12.根据权利要求11所述的方法，其特征在于，

上述第二未分离图像是在拍摄与上述试样有关的上述第一未分离图像之后，通过上述第二荧光物质标记上述试样所包含的上述第二生物分子并拍摄上述试样来获取的，

上述第三未分离图像是在拍摄与上述试样有关的上述第二未分离图像之后，通过上述第三荧光物质标记上述试样所包含的上述第三生物分子并拍摄上述试样来获取的。

13.一种电子装置，其特征在于，

包括：

至少一个处理器；以及

至少一个存储器，用于存储通过上述至少一个处理器执行的指令，

上述至少一个处理器获取与包含通过第一荧光物质标记的第一生物分子及未标记的第二生物分子的试样有关的第一未分离图像，

获取与包含通过上述第一荧光物质标记的上述第一生物分子及通过第二荧光物质标记的上述第二生物分子的上述试样有关的第二未分离图像，

以上述第一未分离图像及上述第二未分离图像为基础生成与上述第二生物分子有关的分离图像。

14.根据权利要求13所述的电子装置，其特征在于，上述第一未分离图像及上述第二未分离图像分别为通过对上述试样检测相同的特定波长范围的光来拍摄的图像。

15.根据权利要求13所述的电子装置，其特征在于，

上述第一未分离图像和上述第二未分离图像分别为以相同的发射滤波器为基础获取的图像，

上述发射滤波器使特定波长范围的光通过。

16.根据权利要求13所述的方法，其特征在于，上述第一荧光物质及上述第二荧光物质为相同的荧光物质。

17.根据权利要求13所述的电子装置，其特征在于，上述第一荧光物质及上述第二荧光物质被确定为在上述第一荧光物质的发射光谱内使发射信号的强度达到最大的第一波长值及在上述第二荧光物质的发射光谱内使发射信号的强度达到最大的第二波长值满足规定条件。

18.根据权利要求13所述的电子装置，其特征在于，上述第二未分离图像是在拍摄与上述试样有关的上述第一未分离图像之后，通过上述第二荧光物质标记上述试样所包含的上述第二生物分子并拍摄上述试样来获取的。

19.根据权利要求13所述的电子装置，其特征在于，

上述电子装置还包括拍摄部，

上述至少一个处理器通过上述拍摄部拍摄包含通过上述第一荧光物质标记的上述第一生物分子及未标记的上述第二生物分子的上述试样来获取上述第一未分离图像，

通过上述拍摄部拍摄包含通过上述第一荧光物质标记的上述第一生物分子及通过上述第二荧光物质标记的上述第二生物分子的上述试样来获取上述第二未分离图像。

20.一种计算机可读记录介质，当通过至少一个处理器执行时，记录使得上述至少一个处理器执行工作的指令的非暂时性计算机可读记录介质，其特征在于，

上述指令使得上述至少一个处理器获取与包含通过第一荧光物质标记的第一生物分子及未标记的第二生物分子的试样有关的第一未分离图像，

获取与包含通过上述第一荧光物质标记的上述第一生物分子及通过第二荧光物质标记的上述第二生物分子的上述试样有关的第二未分离图像，

以上述第一未分离图像及上述第二未分离图像为基础生成与上述第二生物分子有关的分离图像。