CN104849485A - 基于马尔科夫决策过程模型的生物芯片出错检测方法 - Google Patents

Abstract

本发明提供的基于马尔科夫决策过程模型的生物芯片出错检测方法，包括：根据样本操作构建第一状态和第二状态；通过所述第一状态和所述第二状态构建马尔科夫决策过程模型；通过所述马尔科夫决策过程模型对所述第一状态和所述第二状态中的错误概率进行检测。本发明可以有效地对错误概率进行检测。

Description

基于马尔科夫决策过程模型的生物芯片出错检测方法

技术领域

本发明涉及生物芯片技术，特别是涉及一种基于马尔科夫决策过程模型的生物芯片出错检测方法。

背景技术

生物芯片是一种小型化的生化试验片上系统。一个典型的生物芯片的面积只有几平方厘米。传统生化试验可以分解成对化学试剂的一系列简单操作，诸如样品制备、中间结果检测，试剂混合，分离和转移。这些简单操作都可以在片上完成。因此一个特定的生物芯片能够自动完成整个传统生化试验流程。

微流体控制生物芯片是一类目前流行的生物芯片。在微流体控制生物芯片上，化学试剂的混合，分离等操作由刻蚀在芯片上的微型器件完成。这些微型器件包括加热器、微泵、微阀、微流量控制器等。它们被独立于生物芯片的单片机系统控制，对生化试剂的各种操作得以实现，但是，微流体控制生物芯片的每项操作都有一定概率出错，往往不能将有限的片上光学检测器分配给最需要检测的操作。

发明内容

本发明提供的基于马尔科夫决策过程模型的生物芯片出错检测方法，可以有效地对错误概率进行检测。

根据本发明的一方面，提供一种基于马尔科夫决策过程模型的生物芯片出错检测方法，包括：

根据样本操作构建第一状态和第二状态；通过所述第一状态和所述第二状态构建马尔科夫决策过程模型；通过所述马尔科夫决策过程模型对所述第一状态和所述第二状态中的错误概率进行检测。

本发明实施例提供的基于马尔科夫决策过程模型的生物芯片出错检测方法，根据样本操作构建第一状态和第二状态，通过第一状态和第二状态构建马尔科夫决策过程模型，从而使马尔科夫决策过程模型对第一状态和第二状态中的错误概率进行有效地检测。

附图说明

图1为本发明实施例提供的基于马尔科夫决策过程模型的生物芯片出错检测方法流程图；

图2为本发明实施例提供的马尔科夫决策过程模型的构建方法流程图；

图3为本发明实施例提供的不同策略对应不同收益的示意图；

图4为本发明实施例提供的计算期望收益最大值的示意图。

具体实施方式

马尔可夫决策过程是基于马尔可夫链的一种模型，它由马尔可夫链的另外两种延伸，即隐马尔可夫链和马尔可夫决策过程共同发展而来。它通过观测值来对外部世界进行估计，并且输出相应的最优决策。

一个马尔可夫决策过程的问题可以描述成<S,O,A,T,Ω,R,>。其中，S是表征真实世界中状态的集合，其中的每个元素s∈S表达一种自然状态。例如，天气冷和天气热都可以作为一种状态。然而，以马尔可夫链的性质，状态之间可以以某种概率相互转化。集合O表征对这个自然界状态观测的一种集合。每个元素o∈O表示当前对自然状态的观测值。这种观测通常是有误差的。例如，我们可以用温度计来测量温度，进而确定天气的冷暖。然而，温度计的测量值并非完全准确，而这种误差可以导致最终对状态判断的错误。A是所有决策的一种集合。每个元素a∈A代表一种可行的策略。例如，在室内温度高的时候可以开空调降低室温。每次决策都会对自然状态产生影响，进而影响观测。

在马尔可夫决策过程的模型中，状态，观测和策略是三个最基本的组成部分。而在这些组成部分之间，存在着一些列映射。

在本申请中，仅以基于马尔科夫决策过程模型的生物芯片出错检测方法为例进行描述，但是，本领域的普通技术人员可以理解，本发明提出的错误概率检测方法并不限于基于马尔科夫决策过程模型的生物芯片出错检测方法。

下面结合附图对本发明实施例提供的基于马尔科夫决策过程模型的生物芯片出错检测方法进行详细描述。

图1为本发明实施例提供的基于马尔科夫决策过程模型的生物芯片出错检测方法流程图。

参照图1，在步骤S101，根据样本操作构建第一状态和第二状态。

在步骤S102，通过所述第一状态和所述第二状态构建马尔科夫决策过程模型。

在步骤S103，通过所述马尔科夫决策过程模型对所述第一状态和所述第二状态中的错误概率进行检测。

图2为本发明实施例提供的马尔科夫决策过程模型的构建方法流程图。

参照图2，在步骤S1，遍历决策树对应的子树，所述子树包括多个节点。

在步骤S2，获取所述节点对应的策略。

在步骤S3，根据所述策略、当前自然状态的自信程度、当前自然状态转移到下一自然状态的收益和所述当前自然状态转移到所述下一自然状态的状态转移概率获取当前信用状态和下一信用状态之间的收益。

在步骤S4，根据所述当前信用状态和所述下一信用状态之间的收益、所述当前信用状态和所述下一信用状态之间的转移概率和折扣系数获取期望收益的最大值。

在步骤S5，根据所述期望收益的最大值确定最优策略。

进一步地，所述步骤S3包括：

根据公式(1)计算所述当前信用状态和所述下一信用状态之间的收益：

$\mathrm{\&rho;}(a,b)=\underset{s\&Element;S}{\mathrm{\&Sigma;}}\underset{s^{\&prime;}\&Element;S}{\mathrm{\&Sigma;}}b\left(s\right)R(s^{\&prime;},a,s)T(s^{\&prime;},a,s)---\left(1\right)$

其中，ρ(a,b)为所述当前信用状态和所述下一信用状态之间的收益，b(s)为所述当前自然状态的自信程度，R(s′,a,s)为所述当前自然状态转移到所述下一自然状态的收益，T(s′,a,s)为所述当前自然状态转移到所述下一自然状态的状态转移概率。

进一步地，所述方法还包括：根据公式(2)计算所述当前自然状态转移到所述下一自然状态的状态转移概率：

T(s′,a,s)＝P(s'|s,a)  (2)

其中，T(s′,a,s)为所述当前自然状态转移到所述下一自然状态的状态转移概率，P(s'|s,a)为采用所述策略a，所述当前自然状态转移到所述下一自然状态的概率。

这里，当采用不同策略时，会有不同的T(s′,a,s)。

进一步地，所述方法还包括：根据公式(3)计算所述当前信用状态转移到所述下一信用状态的状态转移概率：

$\mathrm{\&tau;}(b^{\&prime;},a,b)=P\left(b^{\&prime;}\right|a,b)=\underset{o\&Element;O}{\mathrm{\&Sigma;}}P\left(b^{\&prime;}\right|b,a,o)P\left(o\right|a,b)---\left(3\right)$

其中，τ(b′,a,b)为所述当前信用状态转移到所述下一信用状态的状态转移概率，P(b′|b,a,o)为采用所述策略a，观测值为o，所述当前信用状态b到所述下一信用状态b＇的概率，P(o|a,b)为采用所述策略a，所述当前信用状态为b，观测值为o的概率。

这里，当前信用状态b表示决策者对自然状态的判断，当前信用状态b是一个向量。

进一步地，所述步骤S4包括：根据公式(4)计算所述期望收益的最大值：

$\underset{a\&Element;A}{V^{*}\left(b\right)=\max }\{\mathrm{\&rho;}(a,b)+\mathrm{\&gamma;}\underset{b^{\&prime;}\&Element;B}{\mathrm{\&Sigma;}}\mathrm{\&tau;}(b^{\&prime;},a,b)V^{*}\left(b^{\&prime;}\right)\}---\left(4\right)$

其中，V^*(b)为在t时刻所述期望收益的最大值，ρ(a,b)为所述当前信用状态和所述下一信用状态之间的收益，τ(b′,a,b)为所述当前自然状态转移到所述下一自然状态的状态转移概率，V^*(b′)为在t+1时刻所述期望收益的最大值，γ为折扣系数。

这里，期望收益的最大值也可以表示为公式(5)：

$V^{*}\left(b\right)=E\left[\underset{t=0}{\overset{\&infin;}{\mathrm{\&Sigma;}}}{r}_t{\mathrm{\&gamma;}}^t\right]---\left(5\right)$

其中，r_t为第t个时间段的收益，γ为折扣系数。

进一步地，所述方法还包括：根据公式(6)计算所述下一自然状态的自信程度：

$b\left(s^{\&prime;}\right)=P\left(s^{\&prime;}\right|o,a,s)=\frac{\mathrm{\&Omega;}(o,a,s^{\&prime;}){\mathrm{\&Sigma;}}_{s\&Element;S}T(s^{\&prime;},a,s)b\left(s\right)}{P\left(o\right|a,b)}---\left(6\right)$

其中，b(s′)为所述下一自然状态的自信程度，Ω(o,a,s′)为所述下一自然状态的观测概率，T(s′,a,s)为所述当前自然状态转移到所述下一自然状态的状态转移概率，b(s)为所述当前自然状态的自信程度，P(o|a,b)为采用所述策略a，所述当前信用状态为b，所述观测值为o的概率。

这里，当前模型中有两个状态S₀和S₁，b(S₀)＝0.3，b(S₁)＝0.7表示根据决策者的判断，当前系统有0.3的概率处在S₀，0.7的概率处在S₁。根据贝叶斯原理，当采集到新的观测值的时候，信用状态被更新为b(s′)。

进一步地，所述方法还包括：

根据公式(7)计算所述下一自然状态的观测概率：

Ω(o,a,s)＝P(o|s′,a)  (7)

其中，Ω(o,a,s)为所述下一自然状态的观测概率，P(o|s′,a)为采用所述策略a，所述下一自然状态为s，并且所述观测值为o的概率。

图3为本发明实施例提供的不同策略对应不同收益的示意图。

参照图3，在每个子树中包含若干个节点，每个节点对应在此时间段的策略。在不同的时间段，不同的策略对应不同的收益。在t＝4pm时，R2的收益最大；在t＝3pm时，R1的收益最大；在t＝2pm时，R0的收益最大，故最优策略，也就是最优途径为R0-R1-R2-R3。

图4为本发明实施例提供的计算期望收益最大值的示意图。

参照图4，当前模型中有两个状态S₀和S₁，b(S₀)＝0.8，b(S₁)＝0.2表示根据决策者的判断，当前系统有0.8的概率处在S₀，0.2的概率处在S₁。在状态为S₀时，有两个最优途径为R(S₀,a₀)和R(S₁,a₀)；在状态为S₁时，有两个最优途径为R(S₀,a₁)和R(S₁,a₁)，故期望收益的最大值由公式(8)可知：

V^*(b)＝max{0.8R(s_o,a_o)+0.2R(s₁,a₀),0.2R(s₁,a₁)+0.8R(s₀,a₁)}  (8)

通过马尔科夫决策过程可以将外部世界复杂的信息抽象成离散的状态和观测，并用离散的策略加以控制。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种基于马尔科夫决策过程模型的生物芯片出错检测方法，其特征在于，所述方法包括：

根据样本操作构建第一状态和第二状态；

通过所述第一状态和所述第二状态构建马尔科夫决策过程模型；

通过所述马尔科夫决策过程模型对所述第一状态和所述第二状态中的错误概率进行检测。

2.根据权利要求1所述的方法，其特征在于，所述通过所述第一状态和所述第二状态构建马尔科夫决策过程模型包括：

遍历决策树对应的子树，所述子树包括多个节点；

获取所述节点对应的策略；

根据所述策略、当前自然状态的自信程度、当前自然状态转移到下一自然状态的收益和所述当前自然状态转移到所述下一自然状态的状态转移概率获取当前信用状态和下一信用状态之间的收益；

根据所述当前信用状态和所述下一信用状态之间的收益、所述当前信用状态和所述下一信用状态之间的转移概率和折扣系数获取期望收益的最大值；

根据所述期望收益的最大值确定最优策略。

3.根据权利要求2所述的方法，其特征在于，所述根据所述策略、当前自然状态的自信程度、当前自然状态转移到下一自然状态的收益和所述当前自然状态转移到所述下一自然状态的状态转移概率获取当前信用状态和下一信用状态之间的收益包括：

根据下式计算所述当前信用状态和所述下一信用状态之间的收益：

$\mathrm{\&rho;}(a,b)=\underset{s\&Element;S}{\mathrm{\&Sigma;}}\underset{s^{\&prime;}\&Element;S}{\mathrm{\&Sigma;}}b\left(s\right)R(s^{\&prime;},a,s)T(s^{\&prime;},a,s)$

其中，ρ(a,b)为所述当前信用状态和所述下一信用状态之间的收益，b(s)为所述当前自然状态的自信程度，R(s′,a,s)为所述当前自然状态转移到所述下一自然状态的收益，T(s′,a,s)为所述当前自然状态转移到所述下一自然状态的状态转移概率。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：根据下式计算所述当前自然状态转移到所述下一自然状态的状态转移概率：

T(s′,a,s)＝P(s'|s,a)

其中，T(s′,a,s)为所述当前自然状态转移到所述下一自然状态的状态转移概率，P(s'|s,a)为采用所述策略a，所述当前自然状态转移到所述下一自然状态的概率。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：根据下式计算所述当前信用状态转移到所述下一信用状态的状态转移概率：

$\mathrm{\&tau;}(b^{\&prime;}a,b)=P\left(b^{\&prime;}\right|a,b)=\underset{o\&Element;O}{\mathrm{\&Sigma;}}P\left(b^{\&prime;}\right|b,a,o)P\left(o\right|a,b)$

其中，τ(b′,a,b)为所述当前信用状态转移到所述下一信用状态的状态转移概率，P(b′|b,a,o)为采用所述策略a，观测值为o，所述当前信用状态b到所述下一信用状态b＇的概率，P(o|a,b)为采用所述策略a，所述当前信用状态为b，观测值为o的概率。

6.根据权利要求2所述的方法，其特征在于，所述根据所述当前信用状态和所述下一信用状态之间的收益、所述当前信用状态和所述下一信用状态之间的转移概率和折扣系数获取期望收益的最大值包括：

根据下式计算所述期望收益的最大值：

$\underset{a\&Element;A}{V^{*}\left(b\right)=\max }\{\mathrm{\&rho;}(a,b)+\mathrm{\&gamma;}\underset{b^{\&prime;}\&Element;B}{\mathrm{\&Sigma;}}\mathrm{\&tau;}(b^{\&prime;},a,b)V^{*}\left(b^{\&prime;}\right)\}$

其中，V^*(b)为在t时刻所述期望收益的最大值，ρ(a,b)为所述当前信用状态和所述下一信用状态之间的收益，τ(b′,a,b)为所述当前自然状态转移到所述下一自然状态的状态转移概率，V^*(b′)为在t+1时刻所述期望收益的最大值，γ为折扣系数。

7.根据权利要求2所述的方法，其特征在于，所述方法还包括：

根据下式计算所述下一自然状态的自信程度：

$b\left(s^{\&prime;}\right)=P\left(s^{\&prime;}\right|o,a,s)=\frac{\mathrm{\&Omega;}(o,a,s^{\&prime;}){\mathrm{\&Sigma;}}_{s\&Element;S}T(s^{\&prime;},a,s)b\left(s\right)}{P\left(o\right|a,b)}$

其中，b(s′)为所述下一自然状态的自信程度，Ω(o,a,s′)为所述下一自然状态的观测概率，T(s′,a,s)为所述当前自然状态转移到所述下一自然状态的状态转移概率，b(s)为所述当前自然状态的自信程度，P(o|a,b)为采用所述策略a，所述当前信用状态为b，所述观测值为o的概率。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

根据下式计算所述下一自然状态的观测概率：

Ω(o,a,s)＝P(o|s′,a)

其中，Ω(o,a,s)为所述下一自然状态的观测概率，P(o|s′,a)为采用所述策略a，所述下一自然状态为s，并且所述观测值为o的概率。