CN104849485A - 基于马尔科夫决策过程模型的生物芯片出错检测方法 - Google Patents
基于马尔科夫决策过程模型的生物芯片出错检测方法 Download PDFInfo
- Publication number
- CN104849485A CN104849485A CN201510279589.8A CN201510279589A CN104849485A CN 104849485 A CN104849485 A CN 104849485A CN 201510279589 A CN201510279589 A CN 201510279589A CN 104849485 A CN104849485 A CN 104849485A
- Authority
- CN
- China
- Prior art keywords
- state
- nature
- prime
- probability
- status
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本发明提供的基于马尔科夫决策过程模型的生物芯片出错检测方法,包括:根据样本操作构建第一状态和第二状态;通过所述第一状态和所述第二状态构建马尔科夫决策过程模型;通过所述马尔科夫决策过程模型对所述第一状态和所述第二状态中的错误概率进行检测。本发明可以有效地对错误概率进行检测。
Description
技术领域
本发明涉及生物芯片技术,特别是涉及一种基于马尔科夫决策过程模型的生物芯片出错检测方法。
背景技术
生物芯片是一种小型化的生化试验片上系统。一个典型的生物芯片的面积只有几平方厘米。传统生化试验可以分解成对化学试剂的一系列简单操作,诸如样品制备、中间结果检测,试剂混合,分离和转移。这些简单操作都可以在片上完成。因此一个特定的生物芯片能够自动完成整个传统生化试验流程。
微流体控制生物芯片是一类目前流行的生物芯片。在微流体控制生物芯片上,化学试剂的混合,分离等操作由刻蚀在芯片上的微型器件完成。这些微型器件包括加热器、微泵、微阀、微流量控制器等。它们被独立于生物芯片的单片机系统控制,对生化试剂的各种操作得以实现,但是,微流体控制生物芯片的每项操作都有一定概率出错,往往不能将有限的片上光学检测器分配给最需要检测的操作。
发明内容
本发明提供的基于马尔科夫决策过程模型的生物芯片出错检测方法,可以有效地对错误概率进行检测。
根据本发明的一方面,提供一种基于马尔科夫决策过程模型的生物芯片出错检测方法,包括:
根据样本操作构建第一状态和第二状态;通过所述第一状态和所述第二状态构建马尔科夫决策过程模型;通过所述马尔科夫决策过程模型对所述第一状态和所述第二状态中的错误概率进行检测。
本发明实施例提供的基于马尔科夫决策过程模型的生物芯片出错检测方法,根据样本操作构建第一状态和第二状态,通过第一状态和第二状态构建马尔科夫决策过程模型,从而使马尔科夫决策过程模型对第一状态和第二状态中的错误概率进行有效地检测。
附图说明
图1为本发明实施例提供的基于马尔科夫决策过程模型的生物芯片出错检测方法流程图;
图2为本发明实施例提供的马尔科夫决策过程模型的构建方法流程图;
图3为本发明实施例提供的不同策略对应不同收益的示意图;
图4为本发明实施例提供的计算期望收益最大值的示意图。
具体实施方式
马尔可夫决策过程是基于马尔可夫链的一种模型,它由马尔可夫链的另外两种延伸,即隐马尔可夫链和马尔可夫决策过程共同发展而来。它通过观测值来对外部世界进行估计,并且输出相应的最优决策。
一个马尔可夫决策过程的问题可以描述成<S,O,A,T,Ω,R,>。其中,S是表征真实世界中状态的集合,其中的每个元素s∈S表达一种自然状态。例如,天气冷和天气热都可以作为一种状态。然而,以马尔可夫链的性质,状态之间可以以某种概率相互转化。集合O表征对这个自然界状态观测的一种集合。每个元素o∈O表示当前对自然状态的观测值。这种观测通常是有误差的。例如,我们可以用温度计来测量温度,进而确定天气的冷暖。然而,温度计的测量值并非完全准确,而这种误差可以导致最终对状态判断的错误。A是所有决策的一种集合。每个元素a∈A代表一种可行的策略。例如,在室内温度高的时候可以开空调降低室温。每次决策都会对自然状态产生影响,进而影响观测。
在马尔可夫决策过程的模型中,状态,观测和策略是三个最基本的组成部分。而在这些组成部分之间,存在着一些列映射。
在本申请中,仅以基于马尔科夫决策过程模型的生物芯片出错检测方法为例进行描述,但是,本领域的普通技术人员可以理解,本发明提出的错误概率检测方法并不限于基于马尔科夫决策过程模型的生物芯片出错检测方法。
下面结合附图对本发明实施例提供的基于马尔科夫决策过程模型的生物芯片出错检测方法进行详细描述。
图1为本发明实施例提供的基于马尔科夫决策过程模型的生物芯片出错检测方法流程图。
参照图1,在步骤S101,根据样本操作构建第一状态和第二状态。
在步骤S102,通过所述第一状态和所述第二状态构建马尔科夫决策过程模型。
在步骤S103,通过所述马尔科夫决策过程模型对所述第一状态和所述第二状态中的错误概率进行检测。
图2为本发明实施例提供的马尔科夫决策过程模型的构建方法流程图。
参照图2,在步骤S1,遍历决策树对应的子树,所述子树包括多个节点。
在步骤S2,获取所述节点对应的策略。
在步骤S3,根据所述策略、当前自然状态的自信程度、当前自然状态转移到下一自然状态的收益和所述当前自然状态转移到所述下一自然状态的状态转移概率获取当前信用状态和下一信用状态之间的收益。
在步骤S4,根据所述当前信用状态和所述下一信用状态之间的收益、所述当前信用状态和所述下一信用状态之间的转移概率和折扣系数获取期望收益的最大值。
在步骤S5,根据所述期望收益的最大值确定最优策略。
进一步地,所述步骤S3包括:
根据公式(1)计算所述当前信用状态和所述下一信用状态之间的收益:
其中,ρ(a,b)为所述当前信用状态和所述下一信用状态之间的收益,b(s)为所述当前自然状态的自信程度,R(s′,a,s)为所述当前自然状态转移到所述下一自然状态的收益,T(s′,a,s)为所述当前自然状态转移到所述下一自然状态的状态转移概率。
进一步地,所述方法还包括:根据公式(2)计算所述当前自然状态转移到所述下一自然状态的状态转移概率:
T(s′,a,s)=P(s'|s,a) (2)
其中,T(s′,a,s)为所述当前自然状态转移到所述下一自然状态的状态转移概率,P(s'|s,a)为采用所述策略a,所述当前自然状态转移到所述下一自然状态的概率。
这里,当采用不同策略时,会有不同的T(s′,a,s)。
进一步地,所述方法还包括:根据公式(3)计算所述当前信用状态转移到所述下一信用状态的状态转移概率:
其中,τ(b′,a,b)为所述当前信用状态转移到所述下一信用状态的状态转移概率,P(b′|b,a,o)为采用所述策略a,观测值为o,所述当前信用状态b到所述下一信用状态b'的概率,P(o|a,b)为采用所述策略a,所述当前信用状态为b,观测值为o的概率。
这里,当前信用状态b表示决策者对自然状态的判断,当前信用状态b是一个向量。
进一步地,所述步骤S4包括:根据公式(4)计算所述期望收益的最大值:
其中,V*(b)为在t时刻所述期望收益的最大值,ρ(a,b)为所述当前信用状态和所述下一信用状态之间的收益,τ(b′,a,b)为所述当前自然状态转移到所述下一自然状态的状态转移概率,V*(b′)为在t+1时刻所述期望收益的最大值,γ为折扣系数。
这里,期望收益的最大值也可以表示为公式(5):
其中,rt为第t个时间段的收益,γ为折扣系数。
进一步地,所述方法还包括:根据公式(6)计算所述下一自然状态的自信程度:
其中,b(s′)为所述下一自然状态的自信程度,Ω(o,a,s′)为所述下一自然状态的观测概率,T(s′,a,s)为所述当前自然状态转移到所述下一自然状态的状态转移概率,b(s)为所述当前自然状态的自信程度,P(o|a,b)为采用所述策略a,所述当前信用状态为b,所述观测值为o的概率。
这里,当前模型中有两个状态S0和S1,b(S0)=0.3,b(S1)=0.7表示根据决策者的判断,当前系统有0.3的概率处在S0,0.7的概率处在S1。根据贝叶斯原理,当采集到新的观测值的时候,信用状态被更新为b(s′)。
进一步地,所述方法还包括:
根据公式(7)计算所述下一自然状态的观测概率:
Ω(o,a,s)=P(o|s′,a) (7)
其中,Ω(o,a,s)为所述下一自然状态的观测概率,P(o|s′,a)为采用所述策略a,所述下一自然状态为s,并且所述观测值为o的概率。
图3为本发明实施例提供的不同策略对应不同收益的示意图。
参照图3,在每个子树中包含若干个节点,每个节点对应在此时间段的策略。在不同的时间段,不同的策略对应不同的收益。在t=4pm时,R2的收益最大;在t=3pm时,R1的收益最大;在t=2pm时,R0的收益最大,故最优策略,也就是最优途径为R0-R1-R2-R3。
图4为本发明实施例提供的计算期望收益最大值的示意图。
参照图4,当前模型中有两个状态S0和S1,b(S0)=0.8,b(S1)=0.2表示根据决策者的判断,当前系统有0.8的概率处在S0,0.2的概率处在S1。在状态为S0时,有两个最优途径为R(S0,a0)和R(S1,a0);在状态为S1时,有两个最优途径为R(S0,a1)和R(S1,a1),故期望收益的最大值由公式(8)可知:
V*(b)=max{0.8R(so,ao)+0.2R(s1,a0),0.2R(s1,a1)+0.8R(s0,a1)} (8)
通过马尔科夫决策过程可以将外部世界复杂的信息抽象成离散的状态和观测,并用离散的策略加以控制。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.一种基于马尔科夫决策过程模型的生物芯片出错检测方法,其特征在于,所述方法包括:
根据样本操作构建第一状态和第二状态;
通过所述第一状态和所述第二状态构建马尔科夫决策过程模型;
通过所述马尔科夫决策过程模型对所述第一状态和所述第二状态中的错误概率进行检测。
2.根据权利要求1所述的方法,其特征在于,所述通过所述第一状态和所述第二状态构建马尔科夫决策过程模型包括:
遍历决策树对应的子树,所述子树包括多个节点;
获取所述节点对应的策略;
根据所述策略、当前自然状态的自信程度、当前自然状态转移到下一自然状态的收益和所述当前自然状态转移到所述下一自然状态的状态转移概率获取当前信用状态和下一信用状态之间的收益;
根据所述当前信用状态和所述下一信用状态之间的收益、所述当前信用状态和所述下一信用状态之间的转移概率和折扣系数获取期望收益的最大值;
根据所述期望收益的最大值确定最优策略。
3.根据权利要求2所述的方法,其特征在于,所述根据所述策略、当前自然状态的自信程度、当前自然状态转移到下一自然状态的收益和所述当前自然状态转移到所述下一自然状态的状态转移概率获取当前信用状态和下一信用状态之间的收益包括:
根据下式计算所述当前信用状态和所述下一信用状态之间的收益:
其中,ρ(a,b)为所述当前信用状态和所述下一信用状态之间的收益,b(s)为所述当前自然状态的自信程度,R(s′,a,s)为所述当前自然状态转移到所述下一自然状态的收益,T(s′,a,s)为所述当前自然状态转移到所述下一自然状态的状态转移概率。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:根据下式计算所述当前自然状态转移到所述下一自然状态的状态转移概率:
T(s′,a,s)=P(s'|s,a)
其中,T(s′,a,s)为所述当前自然状态转移到所述下一自然状态的状态转移概率,P(s'|s,a)为采用所述策略a,所述当前自然状态转移到所述下一自然状态的概率。
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:根据下式计算所述当前信用状态转移到所述下一信用状态的状态转移概率:
其中,τ(b′,a,b)为所述当前信用状态转移到所述下一信用状态的状态转移概率,P(b′|b,a,o)为采用所述策略a,观测值为o,所述当前信用状态b到所述下一信用状态b'的概率,P(o|a,b)为采用所述策略a,所述当前信用状态为b,观测值为o的概率。
6.根据权利要求2所述的方法,其特征在于,所述根据所述当前信用状态和所述下一信用状态之间的收益、所述当前信用状态和所述下一信用状态之间的转移概率和折扣系数获取期望收益的最大值包括:
根据下式计算所述期望收益的最大值:
其中,V*(b)为在t时刻所述期望收益的最大值,ρ(a,b)为所述当前信用状态和所述下一信用状态之间的收益,τ(b′,a,b)为所述当前自然状态转移到所述下一自然状态的状态转移概率,V*(b′)为在t+1时刻所述期望收益的最大值,γ为折扣系数。
7.根据权利要求2所述的方法,其特征在于,所述方法还包括:
根据下式计算所述下一自然状态的自信程度:
其中,b(s′)为所述下一自然状态的自信程度,Ω(o,a,s′)为所述下一自然状态的观测概率,T(s′,a,s)为所述当前自然状态转移到所述下一自然状态的状态转移概率,b(s)为所述当前自然状态的自信程度,P(o|a,b)为采用所述策略a,所述当前信用状态为b,所述观测值为o的概率。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
根据下式计算所述下一自然状态的观测概率:
Ω(o,a,s)=P(o|s′,a)
其中,Ω(o,a,s)为所述下一自然状态的观测概率,P(o|s′,a)为采用所述策略a,所述下一自然状态为s,并且所述观测值为o的概率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510279589.8A CN104849485A (zh) | 2015-05-27 | 2015-05-27 | 基于马尔科夫决策过程模型的生物芯片出错检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510279589.8A CN104849485A (zh) | 2015-05-27 | 2015-05-27 | 基于马尔科夫决策过程模型的生物芯片出错检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104849485A true CN104849485A (zh) | 2015-08-19 |
Family
ID=53849281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510279589.8A Pending CN104849485A (zh) | 2015-05-27 | 2015-05-27 | 基于马尔科夫决策过程模型的生物芯片出错检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104849485A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109005008A (zh) * | 2017-06-07 | 2018-12-14 | 西门子股份公司 | 保障剩余错误概率的、信道自适应的错误识别码 |
CN112036608A (zh) * | 2020-07-31 | 2020-12-04 | 宁波伟吉电力科技有限公司 | 电力运行管理中的变压器故障检测方法及检测系统 |
-
2015
- 2015-05-27 CN CN201510279589.8A patent/CN104849485A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109005008A (zh) * | 2017-06-07 | 2018-12-14 | 西门子股份公司 | 保障剩余错误概率的、信道自适应的错误识别码 |
CN112036608A (zh) * | 2020-07-31 | 2020-12-04 | 宁波伟吉电力科技有限公司 | 电力运行管理中的变压器故障检测方法及检测系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9292653B2 (en) | High-resolution melting analysis | |
Stigter et al. | A fast algorithm to assess local structural identifiability | |
CN103429997B (zh) | 进行数字测量的方法和系统 | |
Manoj | Droplet digital PCR technology promises new applications and research areas | |
Zheng et al. | Shifted Gamma-Generalized Pareto Distribution model to map the safety continuum and estimate crashes | |
CN109747654B (zh) | 一种面向工况的混合动力汽车控制参数标定方法 | |
WO2020133721A1 (zh) | 一种基于非参数贝叶斯框架的信号交叉口状态估计方法 | |
CN101799888B (zh) | 基于仿生智能蚁群算法的工业软测量方法 | |
CN106203697A (zh) | 一种无人机数据收集过程中的路径规划方法 | |
CN103930886A (zh) | 使用副本的meta 分析进行真实世界误差的计算 | |
CN109543743B (zh) | 一种基于重建预测残差的制冷机组多传感器故障诊断方法 | |
CN104849485A (zh) | 基于马尔科夫决策过程模型的生物芯片出错检测方法 | |
CN101950019B (zh) | 基于属性数据的二次雷达多层级目标识别方法 | |
Varotto et al. | Adaptations in driver behaviour characteristics during control transitions from full-range Adaptive Cruise Control to manual driving: an on-road study | |
Whitesides | Viewpoint on “Dissolvable fluidic time delays for programming multi-step assays in instrument-free paper diagnostics” | |
CN104462022B (zh) | 飞行器动力学系统参数可辨识性分析方法 | |
CN103473416A (zh) | 蛋白质相互作用的模型建立方法和装置 | |
Walsh et al. | A quantification of robustness | |
CN102708277B (zh) | 基于蚁群算法的积雪深度反演设计方法 | |
Spata et al. | Image data analysis in qPCR: A method for smart analysis of DNA amplification | |
Rice | A decision-theoretic formulation of Fisher’s approach to testing | |
US9542526B2 (en) | Method and system for temperature correction in thermal melt analysis | |
Hoijtink et al. | Cognitive diagnostic assessment via Bayesian evaluation of informative diagnostic hypotheses. | |
Xu et al. | Solving minimum constraint removal (MCR) problem using a social-force-model-based ant colony algorithm | |
CN109473142A (zh) | 样本数据集合的构建方法及其遗传出生地预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150819 |