CN105426969A - 一种非完备信息的博弈策略生成方法 - Google Patents

Abstract

本发明涉及一种非完备信息博弈下的策略生成方法，包括以下具体步骤：对手行为建模步骤，即在博弈进行之前，根据该博弈的特定规则，对对手的每一种行为进行建模；行为收集与信息预测步骤，在博弈过程中，记录对手每一次行动的信息，并通过模型将这些信息转化为对手信息的概率分布；根据预测进行胜率计算步骤，根据得到的概率分布，通过蒙特卡洛方法进行模拟得到自己的胜率；最后根据胜率计算每个行动的期望受益，并选择期望受益最高的行动作为最终决策。本发明为非完备信息博弈提供了全新的思路，具有逻辑清晰、实现简单、对手信息和胜率计算准确的优点，可以提高具体情境下的决策能力，最大化决策利益，从而提高工业生产效率。

Description

一种非完备信息的博弈策略生成方法

技术领域

本发明涉及一种完备信息博弈下的策略生成方法，特别涉及具有完美回忆特征的非完备信息博弈的策略生成方法。

背景技术

博弈大致可以分为两种：完备信息下的博弈和非完备信息下的博弈。前者指双方都可以完全获得当前的信息，例如在围棋、象棋和五子棋的对弈过程中，双方对棋盘上的所有棋子分布、对手的动作都可以完全地获得；后者指双方无法获得全盘的信息，例如在大量扑克游戏中(德州扑克、桥牌等)，任何玩家都无法在游戏过程中直接观看其它玩家的手牌。博弈问题的求解是人工智能领域的重要问题。

在完备信息的博弈中，极大极小值算法获得了巨大成功。该算法以当前状态作为根节点构造博弈树，并从当前状态出发，遍历往后若干(k)步内的所有情况。假设对手也是以最优的策略进行博弈，则算法可以得出一条从当前节点(根节点)出发到k步之后的一条路径。算法将这条路径的第一步选作最优策略进行博弈。该算法的最主要局限在于时间复杂度为O(x^k)，是一个指数形式。其中x是每一个状态下，可能的决策数量，k为算法往后推测算的步数。为了降低时间复杂度以及实际等待时间，出现了α-β剪枝、搜索顺序优化、直接进行状态查找匹配、利用对手思考时间计算等优化方法。这些方法有效地提高了算法的运行效率，尤其在一些特殊情况下，例如：1)设计了开局库的象棋博弈程序，可以在开局若干步内直接检索事先存储的开局库并给出最优策略(比如是象棋大师实战的，或者是程序长时间计算得出的着法)；2)经过了搜索顺序优化和α-β剪枝优化的象棋算法，在对方将军时优先搜索应将的着法(应将的着法一般不多)，则可以显著加快得到最优解的速度。

在非完备信息的博弈中，由于无法得知全部的信息，也无法推测我们在进行一步行动之后，对手会以怎样的动作和我们进行对抗。这使得原有的优化算法难以直接应用在非完备信息的博弈中。因此出现了利用机器学习技术学习职业选手的对局的方法。该方法的缺点在于数据量的需求过大。部分博弈游戏的特殊性，并没有过多的文本化的记录信息，甚至不存在职业选手。另一种方法是进行纳什均衡点的搜索。影响该方法普遍使用的最大障碍在于理论非常艰深，实现过于复杂。

发明内容

本发明针对非完备信息的博弈中所存在的对手信息无法确定、决策期望值无法计算的问题，提供了一种根据对手行动推测对手信息，从而计算最终决策期望值的方法，并作出最终决策的方法。

为实现上述目的，本发明可采取下述技术方案：

一种非完备信息博弈的策略生成方法，所述非完备信息的博弈特指具有以下特征的博弈：博弈过程中，对手的行为对自己而言可见；博弈过程中，对手的行为对自己而言可以完美回忆；对手的行为依赖其信息，即对手的行为可以体现对手的信息；包括以下步骤：

步骤一，对手行为建模：在博弈进行之前，根据该博弈的特定规则，对对手的每一种行为建立模型，所述模型用于将对手的行为与对手信息的概率分布进行映射；

步骤二，行为收集与信息预测：在博弈过程中，记录对手每一次行为的信息，并将这些信息与步骤一中的模型进行匹配和映射，得到对手信息的概率分布；

步骤三，胜率计算：根据步骤二中映射得到的概率分布，通过蒙特卡洛方法进行模拟得到自身的胜率；

步骤四，得到行动：根据步骤三中得到的胜率，通过计算期望值得到相应的行动。

进一步的，所述步骤一中的模型以对手的行为作为输入，以对手信息的概率分布作为输出；

具体的，假设对手的信息有k种可能性，记为{a₁,a₂,…,a_k}，对于每一种可能性a_i，i＝1，2，…，k，首先根据对手行为与a_i的匹配程度得到一个匹配值m_i，然后计算每一种可能性的概率值p_i，

p_i＝m_i/(m₁+m₁+…+m_n)

从而得到所有可能性的概率分布，也就是一个k维向量{p₁,p₂,…,p_k}，其中p_i是对手的信息取a_i的概率。如果对手的行为已经不止一次(即博弈进行了多个阶段)，则对手的信息实际上是一个列表，包括了以往的历史行为。这个时候，我们需要将对手信息a_i多次地与对手不同阶段的行为进行匹配，然后将多个匹配值的乘积作为上式中的m_i的值。

进一步的，如果一次博弈包括多次对手行为，则所述步骤二中对手信息包括本次博弈中对手的所有历史行为；所述的所有历史行为组成一个列表，所述列表通过步骤一中的模型映射成一个k维概率分布。该k维概率分布不仅反映了对手本次的行为，也反映了对手的历史行为，从而使概率分布可以更加准确。

进一步的，所述步骤三中，通过蒙特卡洛方法随机选择对手的一个信息，假设为a_i，a_i服从步骤二中产生的概率分布；以a_i作为对手信息(相当于我们已经知道了本来只有对手可见的信息)，并判断博弈的胜负；将蒙特卡洛方法循环若干次，即多次选取a_i，多次比较判断博弈胜负，从而得到博弈的胜率p_win：

p_win＝count_win/count_lose

其中，count_win是获胜的次数；count_lose是失败的次数。

使用蒙特卡洛方法随机选择对手信息的时候，对于任何两个信息a₁和a₂，由于是按照对应的概率分布进行选取(以概率p₁选a₁，概率p₂选a₂)，如果产生的概率分布中p₂>p₁，则我们选取a₂的可能也会大于a₁。

进一步的，所述步骤四中，将步骤三中得到的胜率作为基础进行决策；在非完备信息博弈中，因为无法得知对手的信息，也就无从知道博弈的最终胜负。但本发明的方法通过合理的预测，在得到对手信息的概率分布的前提下，预测比赛的胜率(方便起见，假设该博弈没有平局)。

具体的，假设胜率为p_win，在当前状态下有m种行动可供选择：{action₁,action₂,…action_n}，对于行动action_i，如果博弈胜利的收益为payoff_i,win，失败的收益为payoff_i,lose，则选择收益期望值最高的行动作为最终决策action_result，即：

Action_result＝action_r,使且x∈[0,n]，有E_x≤E_r，

其中，Ex、Er分别是决策action_x和action_r的收益期望；对于任何决策action_i的收益期望Ei，用如下方法计算：

Ei＝p_win×payoff_i,win+(1-p_win)×payoff_i,lose

本发明的非完备信息的博弈策略生成方法，逻辑清晰、实现简单、对手信息和胜率计算准确，实战效果显著。在非完备信息的博弈中，可以准确的推测对手的信息，从而计算自己在选择不同策略时的期望，进而帮助自己进行博弈。本发明为非完备信息博弈提供了全新的思路。无论是在人-机博弈，还是机-机博弈中，均能有效地解决非完备信息博弈中的瓶颈问题：对不可见信息的评估。甚至在对手有意进行欺骗(即对手所选择的行动完全不体现其信息)的情况下，只要本方法与对手博弈足够长的时间，便可以对其行为进行建模。之后如果对手再次采取类似的欺骗手段，本发明仍然可以有效地进行判断。由于现实生活中的大量情况可以抽象成非完全信息博弈(比如工程招投标过程、股市等大量经济活动)，因此该方法在现实活动及工业生产中具有重要的指导意义，可以提高具体情境下的决策能力，最大化决策利益，提高工业生产效率。

附图说明

图1为本发明的非完备信息博弈的策略生成方法的流程示意图。

具体实施方式

本发明提供了一种非完备信息的博弈策略生成方法，包括以下具体步骤：

对手行为建模步骤：在博弈进行之前，根据该博弈的特定规则，对对手的每一种行为进行建模。该模型可以将对手的行为与对手的信息(仅对手可见)的概率分布进行映射。

行为收集与信息预测：在博弈过程中，记录对手每一次行动的信息，并将这些信息与模型进行匹配和映射，得到对手的信息的概率分布；

根据预测进行胜率计算：根据上一步中映射得到的概率分布，通过蒙特卡洛方法进行模拟得到自己的胜率。

根据胜率得到行动：根据上一步中得到的胜率，通过计算期望值得到相应的行动。

于本发明的一个实施例中，对手行为建模步骤中的模型以对手的行为作为输入，以对手信息的概率分布作为输出。例如对手的信息有k中可能性，记为{a₁,a₂,…,a_k}。对手信息的概率分布指的是k维向量{p₁,p₂,…,p_k}，其中p_i是对手的信息取a_i的概率。

于本发明的一个实施例中，如果一次博弈包括多次对手行为，则行为收集与信息预测步骤中的对手信息包括本次博弈中对手的所有历史行为。这些历史行为组成一个列表。该列表通过行为建模步骤中的模型映射成一个k维概率分布。该k维概率分布不仅反映了对手本次的行为，也反映了对手的历史行为，

从而使概率分布可以更加准确。

于本发明的一个实施例中，在胜率计算时，通过蒙特卡洛方法随机选择对手的一个信息，假设为a_i。a_i服从步骤(200)中产生的概率分布。以a_i作为对手信息(相当于我们已经知道了本来只有对手可见的信息)，并判断博弈的胜负。我们将蒙特卡洛方法循环若干次，即多次选取a_i，多次比较判断博弈胜负，便可以得到本次博弈的胜率。

p_win＝count_win/count_lose

其中，count_win是获胜的次数；count_lose是失败的次数。

在使用蒙特卡洛方法随机选择对手信息的时候，对于任何两个信息a₁和a₂，由于是按照对应的概率分布进行选取(以概率p₁选a₁；概率p₂选a₂)，如果产生的概率分布中a₂>a₁，则我们选取a₁的可能也会大于a₁。

于本发明的一个实施例中，所述的行动生成步骤，是将上一步得到的胜率作为基础进行决策。在非完备信息博弈中，因为无法得知对手的信息，也就无从知道博弈的最终胜负。但本方法通过合理的预测，在得到对手信息的概率分布的前提下，预测比赛的胜率(方便起见，假设该博弈没有平局)。假设胜率为p_win。我们在当前状态下有m种行动可供选择：{action₁,action₂,…action_n}。对于行动action_i，如果博弈胜利的收益为payoff_i,win；失败的收益为payoff_i,lose。则我们将选择收益期望值最高的行动作为最终决策action_result，即：

Action_result＝action_r,使且x∈[0,n]，有E_x≤E_r

其中，Ex、Er分别是决策action_x和action_r的收益期望。对于任何决策action_i的期望收益，用如下方法计算：Ei＝p_win×payoff_i,win+(1-p_win)×payoff_i,lose。

下面以德州扑克作为一个非完备信息博弈的实例，对本发明作进一步的详细描述。

实施例1

我们基于以下假设：对手采取更激进的行为(例如加注和再加注)的时候，更有可能拥有好牌(也就是胜率高的牌)；相反，对手行为保守时(例如过牌)，牌力较差的可能性则更大。

如图1所示，首先对对手行为进行建模。我们将对手的行为简化为三种：弃牌/过牌、跟注、加注；将对手的手牌通过平均胜率予以表征。在本例中，对手的手牌就是我们无法得知的信息。我们通过对手的行为来推测对手手牌的概率分布。

1)首先，我们遍历对手所有手牌的可能性。对于任何一种情况(记为a_i)，我们先计算该手牌与对手行为的匹配程度(匹配值m_i)。具体计算方法如下：

对手的每一种行为(弃牌/过牌、跟注、加注)有一个“完美匹配区间”S和一个“基准线”L。如果a_i的胜率落在区间S内，则匹配值为最高值100。如果概率不在区间S内且大于L，则匹配值m_i＝(1-L)/(a_i–L)；若概率不在区间内且小于L，则匹配值m_i＝L/(L–a_i)。

2)接下来，我们计算每一种手牌的概率：

p_i＝m_i/(m₁+m₁+…+m_n)

例如，当前处于翻牌后下注状态。我们已知对手在翻牌前跟注，在翻牌后则进行了过牌(假设我们后行动，可以观察本轮对手的行动)。翻牌的公共牌为我们的手牌为德州扑克中，所有的牌为52张。除去现有的5张，对手的手牌为剩余的47张牌中的2张，一共有C2(47)＝1081种可能。我们对这1081中手牌进行遍历，分别计算其平均胜率。例如对手的手牌为与公共牌组成了一个底对。假如场面上的总玩家数为2。该玩家在不考虑其他因素的情况下，手持在翻牌前的胜率为57.664％，翻牌后的胜率为70.815％。该玩家在翻牌前的操作是跟注。在模型中，跟注的完美匹配区间为[0.5,0.7]，基准线是0.5。因此胜率57.664％属于该区间，所以匹配值为100。翻牌后对手选择过牌，过牌的完美匹配区间为[0,0.5]，基准线是0.4。胜率70.815％不属于该区间且大于基准线，所以匹配值为(1-0.4)/(0.70815–0.4)＝1.95。我们将两次的匹配值的乘积100*1.95＝195作为手牌的匹配值。

以此类推，我们对1081种手牌的匹配值一一进行计算并求和，再将每一种手牌的匹配值除以该求和的值作为该手牌的概率值{p₁,p₂,…,p₁₀₈₁}。

在当前情况下，出现了三张公共牌，由于我们的手牌已知，对手的手牌概率分布{p₁,p₂,…,p₁₀₈₁}也已知。我们使用蒙特卡洛方法，按照这个概率分布选取对手的手牌，再随机生成后续的两张公共牌(转牌与河牌)，以此得出自身与对手的胜负关系。重复10000次，得到胜率p_win。

p_win＝count_win/count_lose

其中，count_win是获胜的次数；count_lose是失败的次数。

假设在当前情况下，我们可能的行为选择有：弃牌、跟注、加注三种。在不考虑后续加注的得失的情况下，如果我们弃牌，收益必然为0；如果我们跟注(所需筹码为bet_call)且获胜则收益为底池pot，如果失败则收益为-bet_call。如果我们加注(bet_raise)且获胜则收益为底池pot(这里还需考虑对手是否跟注，情况更为复杂，我们将其简化)，如果失败则收益为-bet_raise。所以三种可选行为的期望值分别为

E_fold＝0

E_call＝p_win*pot-(1-p_win)*bet_call

E_raise＝p_win*pot-(1-p_win)*bet_raise

我们选择收益期望最高的行为作为最终决策。

Claims (5)

1.一种非完备信息博弈的策略生成方法，所述非完备信息的博弈特指具有以下特征的博弈,博弈过程中，对手的行为对自己而言可见；博弈过程中，对手的行为对自己而言可以完美回忆；对手的行为依赖其信息，即对手的行为可以体现对手的信息；

其特征在于，包括以下步骤：

步骤一，对手行为建模：在博弈进行之前，根据该博弈的特定规则，对对手的每一种行为建立模型，所述模型用于将对手的行为与对手信息的概率分布进行映射；

步骤二，行为收集与信息预测：在博弈过程中，记录对手每一次行为的信息，并将这些信息与步骤一中的模型进行匹配和映射，得到对手信息的概率分布；

步骤三，胜率计算：根据步骤二中映射得到的概率分布，通过蒙特卡洛方法进行模拟得到自身的胜率；

步骤四，得到行动：根据步骤三中得到的胜率，通过计算期望值得到相应的行动。

2.根据权利要求1所述的非完备信息博弈的策略生成方法，其特征在于，所述步骤一中的模型以对手的行为作为输入，以对手信息的概率分布作为输出；

具体的，假设对手的信息有k种可能性，记为{a₁,a₂,…,a_k}，对于每一种可能性a_i，i＝1，2，…，k，首先根据对手行为与a_i的匹配程度得到一个匹配值m_i，然后计算每一种可能性的概率值p_i，

p_i＝m_i/(m₁+m₁+…+m_n)公式一

从而得到所有可能性的概率分布，也就是一个k维向量{p₁,p₂,…,p_k}，其中p_i是对手的信息取a_i的概率。

3.根据权利要求2所述的非完备信息博弈的策略生成方法，其特征在于，当博弈进行了多个阶段，对手的行为不止一次时，对手的信息为包括了以往的历史行为的一个列表，此时，将对手信息a_i多次地与对手不同阶段的行为进行匹配，然后将多个匹配值的乘积作为公式一中的m_i的值。

4.根据权利要求3所述的非完备信息的博弈策略生成方法，其特征在于，所述步骤三中，通过蒙特卡洛方法随机选择对手的一个信息，假设为a_i，其中a_i服从步骤二中产生的概率分布；以a_i作为对手信息，并判断博弈的胜负；将蒙特卡洛方法循环若干次，即多次选取对手的信息，多次比较判断博弈胜负，从而得到博弈的胜率p_win：

p_win＝count_win/count_lose

其中，count_win是获胜的次数；count_lose是失败的次数。

5.根据权利要求4所述的非完备信息博弈策略的生成方法，其特征在于，所述步骤四中，将步骤三中得到的胜率作为基础进行决策；

具体的，假设胜率为p_win，在当前状态下有m种行动可供选择：

{action₁,action₂,…action_n}，对于行动action_i，如果博弈胜利的收益为payoff_i,win，失败的收益为payoff_i,lose，则选择收益期望值最高的行动作为最终决策action_result，即：

Action_result＝action_r,使且x∈[0,n]，有E_x≤E_r

其中，Ex、Er分别是决策action_x和action_r的收益期望；对于任何决策action_i的收益期望Ei，用如下方法计算：

Ei＝p_win×payoff_i,win+(1-p_win)×payoff_i,lose。