CN111582163B

CN111582163B - 一种大规模人群位置变换方案生成方法

Info

Publication number: CN111582163B
Application number: CN202010378953.7A
Authority: CN
Inventors: 黄天羽; 李弋豪; 李立杰; 李鹏; 丁刚毅; 徐元超; 刘奕凡
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2020-05-07
Filing date: 2020-05-07
Publication date: 2020-12-25
Anticipated expiration: 2040-05-07
Also published as: CN111582163A

Abstract

本发明涉及一种大规模人群位置变换方案生成方法，包括以下步骤：S1预先设置人群个体数量NUM；S2根据每幅图像，生成对应的点位，使得每幅图像所有点位数量和等于人群个体数量NUM；S3以两幅点位图间顶点的欧几里得距离为边权建立完全二分图，在完全二分图中通过最小权匹配算法实现顶点间的最优匹配；S4根据匹配结果获得两幅点位图间的每个点位坐标和映射关系，作为人群每个个体的位置变换方案。本发明通过将人群点位变换转换成图形学的顶点和区块映射问题，自动化生成不同人群点位之间的映射关系，从而实现人群点位变换，人群移动距离短，变换路线合理，并且在整个生成过程中不需要手工干预和调整，生成效率高。

Description

一种大规模人群位置变换方案生成方法

技术领域

本发明涉及一种人群位置变换方法，特别涉及一种大规模人群位置变换方案生成方法。

背景技术

对大规模人群的位置及行为规划，例如专业编排导演设计的大型人群表演往往可以用不同时刻对应的不同图像来表示。在实际编排过程中，需要把导演创意的图像转换成演员对应的点位来实现。人群表演的过程实际上就是每个演员在不同点位之间进行变换的过程。

现有的支持大型人群表演的系统主要有北京理工大学的“大型广场文艺表演的虚拟编排原型系统”(丁刚毅等，系统仿真学报，2008年9月)，浙江大学的“团体操虚拟编排与演练原型系统”(纪庆革，学位论文)，哈尔滨工业大学的“大型广场文艺表演虚拟编队系统”(郭妍，学位论文)。这些系统均提到了根据不同图像生成点位，并且以两幅图像点位作为起点和终点进行演员路径生成，进行队形变换的功能，但是对于怎样建立两幅图像各点位的对应关系，也就是每个演员的起点和终点是怎样对应的，均未公开实现细节。

发明内容

本发明的目的在于针对现有技术的不足，提供一种大规模人群位置变换方案生成方法，包括以下步骤：

S1预先设置人群个体数量NUM；

S2根据每幅图像，生成对应的点位，使得每幅图像所有点位数量和等于人群个体数量NUM；

S3以两幅点位图间顶点的欧几里得距离为边权建立完全二分图，在完全二分图中通过最小权匹配算法实现顶点间的最优匹配；

S4根据匹配结果获得两幅点位图间的每个点位坐标和映射关系，作为人群每个个体的位置变换方案。

根据本发明实施例的一种具体实现方式，包括以下步骤：

S1预先设置人群个体数量NUM；

S3对两幅点位图使用相同的方法选取种子进行邻域生长，通过同样的阈值控制生长区域包含个体的数量；

S4对点位图中划分好的区块邻域，以区块中心做为顶点位置，将每幅点位图由区块集合转化为顶点集合；

S5以两幅转化后点位图间顶点的欧几里得距离为边权建立完全二分图，在完全二分图中通过最小权匹配算法实现区块集合间的最优匹配；

S6降低区域生长阈值标准，对所有已匹配的子区块重复步骤S3至步骤S6进行下一层级区块划分，直到每个区块都只包含一个个体；

S7根据匹配结果获得两幅图像间的点位坐标和映射关系，作为人群位置变换方案。

根据本发明实施例的一种具体实现方式，首先对两幅图像进行插值，生成一系列中间图像，并生成每两幅相邻图像的人群位置变换方案。

根据本发明实施例的一种具体实现方式，选取种子进行邻域生长时，在人群连通域从边缘处向中间选取种子进行邻域生长，若邻域生长过程中出现不连通情况则扩大邻域搜索范围。

根据本发明实施例的一种具体实现方式，区块划分的层级数目为2～3层。

根据本发明实施例的一种具体实现方式，根据图像生成对应点位的方法为：

(1)将图像转为二值图像，在二值图像上叠加约束表演个体位置的网格结构，每一个网格对应一个可用的个体位置；

(2)用T_g表示根据网格与待显示图像重合面积占比决定每一个网格中是否排布个体的阈值，T_g取值为(0,1]；

(3)将所有个体在表演过程中需要遵守的约束条件表示为T_g的函数f(T_g)；

(4)将人群排布方案设计问题转换为优化问题min|NUM(f(T_g))-NUM|，NUM(f(T_g))表示阈值为T_g时人群排布个体数量；

(5)通过调节参数T_g实现优化问题求解；

(6)根据求得的最优解，在与待显示图像重合面积占比达到阈值T_g的网格中排布个体，获得人群点位方案。

根据本发明实施例的一种具体实现方式，在生成图像对应点位时，在步骤(2)中，除了参数T_g外，增加参数δ_offset，表示网格与图像之间的二维偏移量；

在步骤(3)中，将所有个体在表演过程中需要遵守的约束条件表示为T_g和δ_offset的函数f(δ_offset,T_g)；

在步骤(4)中，将人群排布方案设计问题转换为优化问题min|NUM(f(δ_offset,T_g))-NUM|，NUM(f(δ_offset,T_g))表示阈值为T_g,偏移量为δ_offset时人群排布个体数量；

在步骤(5)中，通过调节参数T_g和δ_offset实现优化问题求解。

另一方面，本发明还提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述的一种大规模人群位置变换方案生成方法。

另一方面，本发明还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述的一种大规模人群位置变换方案生成方法。

另一方面，本发明还提供了一种计算机程序产品，包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述的一种大规模人群位置变换方案生成方法。

有益效果

本发明提出的一种大规模人群位置变换方案生成方法，通过将人群点位变换转换成图形学的顶点和区块映射问题，自动化生成不同人群点位之间的映射关系，从而实现人群点位变换，人群移动距离短，变换路线合理，并且在整个生成过程中不需要手工干预和调整，生成效率高。

附图说明

图1为本发明实施例一所述方法的流程图；

图2为本发明实施例二所述方法的流程图；

图3为本发明实施例二所述分层匹配方法的示意图；

图4为不同层数映射效果比较图；

图5为图像根据参数T_g生成人群点位的示意图；

图6为图像对应不同参数T_g和δ_offset的人群点位生成结果示意图。

具体实施方式

下面结合附图，具体说明本发明的优选实施方式。

在表演进行的整个过程中，一般来说演员人数是设置好并保持不变的。导演设计的创意图像需要转换成由演员人数构成的点位图。在两幅图像之间的点位变换实际上是要生成一个满射集合，该集合包含了图像1到图像2所有表演个体的对应关系。

建立两幅图像之间的点位对应关系，容易想到的方法就是寻找图像1的每个点位在图像2中距离最近的点，但是这种方法会产生大量的冲突，需要用户通过UI手工交互进行处理。也可以以行或列为单位进行处理，但是对于两幅图像中行或列点位数不同的情况就需要手工单独进行处理。

参见附图1，实施例一实现了本发明所述的一种大规模人群位置变换方案生成方法，附图1是实施例一方法的流程图，包括以下步骤：

S1预先设置人群个体数量NUM；

由于两幅图像生成的点位数目是相同的，实施例一以两幅图像间顶点的欧几里得距离为边权建立完全二分图，在完全二分图中通过最小权匹配算法实现点位之间的最优匹配。例如，Kuhn-Munkres算法(参见论文“Kuhn H W.The Hungarian method for theassignment problem[J].Naval Research Logistics,1955,2(1-2):83-97.”和论文“James Munkres.Algorithms for the Assignment and Transportation Problems[J].Journal of the Society for Industrial&Applied Mathematics,1957,5(1):32-38.”)作为一种最小权匹配算法，非常适用于应用在人群点位映射的应用场景中。

实施例一的方法通过将点位映射关系转换成完全二分图的最小权匹配问题，实现了人群个体位置变换方案的自动生成。该方法的优点是使得完全二分图的所有边权之和最小，也就是所有演员移动距离之和最短。并且该方法可以使用计算机系统采用图形学方法自动处理，不需要手工干预和调整，适用于大型人群表演方案的设计。

但是在具体应用中，实施例一的方法也存在着缺陷。由于只考虑总体移动距离，不能保证对于每个个体来说移动路线的合理性。在实际应用中会出现对于某些表演个体来说移动距离过长或者路线不合理，这不仅会为这些表演个体的训练实施带来困难，还会导致整体人群图案在变换过程中出现路线混乱，影响表演效果。

参见附图2，实施例二实现了一种更加优化的人群表演位置变换方案生成方法，附图2是实施例二方法的流程图，包括以下步骤：

S1预先设置人群个体数量NUM；

实施例二在实施例一的基础上进行了分层级的映射，图3为实施例二所述分层匹配方法的示意图。如图3所示，p_i与p_i+1是两幅需要建立映射关系的点位图，在第一层对两幅点位图按照几何位置与邻域关系进行区块划分，将每幅点位图划分为三个区块。在进行区块划分时，要对两幅点位图使用相同的方法选取种子进行邻域生长，并且通过同样的阈值控制生长区域包含个体的数量，从而使两幅点位图通过区块划分获得相同数目的区块，并且每个区块个体数量相同(对于连通点位图，理论上只有最后一次邻域生长获得的区块人数是可能小于阈值的。这种情况下，两个对应区块进行同一层级划分时获得的最后一次生长后的区块虽然人数都小于阈值，但两个区块的人数依旧是相等的，可以继续递归实现满射的最佳匹配)。将两幅点位图第一层级划分好的三个区块中心点作为顶点建立完全二分图，在完全二分图中通过最小权匹配算法实现区块集合间的最优匹配。在图3的第一层级区块最优匹配中，p_i+1的区块S₁与p_i的区块S₂’匹配，p_i+1的区块S₂与p_i的区块S₁’匹配，p_i+1的区块S₃与p_i的区块S₃’匹配。

由于划分后的区块内同样还包含复数个体，故层级区块划分可以不断进行下去，直到每个区块都只包含一个个体。在图3中，对于p_i+1的区块S₃与p_i的区块S₃’重复步骤S3～步骤S6，也就是在两个区块中再进行第二层级的区块划分并在完全二分图中通过最小权匹配算法实现区块的最优匹配。经过第二层级的匹配过程，p_i+1的第二层级区块S₃ S₁与p_i的第二层级区块S₃’S₂’匹配，p_i+1的第二层级区块S₃ S₂与p_i的第二层级区块S₃’S₃’匹配……。

这个分层级进行区块划分和匹配的过程一直重复进行下去，直到每个区块都只包含一个个体。当每个区块都只包含一个个体，也就得到了每个演员个体在两幅点位图之间的位置对应关系。

实施例二的方法通过分层级进行区块划分和最优匹配，使得系统首先从一个宏观的角度来划分区块并建立区块之间的最优匹配，建立了相对合理的区块映射之后，再细化为区块中每个演员个体的映射。每个演员个体都会在合理的区块中进行位置选择，从而最大程度避免了某些演员个体的路线不合理问题。

分层级进行区块划分和最优匹配的第二个好处是对于有一定相似度的图像，相对合理的区块映射使得点位变换的过程中基本可以保持图像的轮廓清晰，避免图像混乱的局面。这就使得导演和表演设计人员可以通过设计具体图像(即使是差异度很大的图像，也可以通过图像插值生成有一定相似度的中间图像)控制整个变换过程中的人群轮廓。根据本发明实施例的一种具体实现方式，首先对两幅图像进行插值，生成一系列中间图像，并生成每两幅相邻图像的人群位置变换方案。

图4展示了不同层级映射策略下的表演中间过程动态效果。图中从上到下分别是不进行分层，分为两个层级与分为三个层级得到的仿真动态结果。从图中可以看到双层与三层分层结构得到的结果基本相同，没有出现人群轮廓破坏的现象。而无分层结构中由于没有加入足够的约束，导致方框部分个体为了追求Kuhn-Munkres算法的整体消耗最小原则而破坏了人群整体的轮廓，违背了创意设计初衷，影响了表演仿真效果。

根据本发明实施例的一种具体实现方式，选取种子进行邻域生长时，在人群连通域从边缘处向中间选取种子进行邻域生长。对于连通点位图，使用相同的方法选取种子进行邻域生长，并且通过同样的阈值控制生长区域包含个体的数量，可以使两幅点位图通过区块划分获得相同数目的区块，并且对应区块包含同样的个体数量。但是当点位图中存在不连通的情况时，有可能出现区块中个体数量小于阈值，从而使得两幅点位图中对应区块个体数量不一致。作为一种优化的实施方式，选取种子进行邻域生长时，在人群连通域从边缘处向中间选取种子进行邻域生长，若邻域生长过程中出现不连通情况则扩大邻域搜索范围。通过这种方式可以实现对不连通点位图进行相同数目的区块划分，并且对应区块人数一致，从而可以继续递归实现满射的最佳匹配。

根据本发明实施例的一种具体实现方式，区块划分的层级数目为2～3层。图4已经展示了不同层级映射策略下的表演中间过程动态效果，不同层级划分对于后期手工修改率的影响较大。未进行空间划分生成的人群动态关系映射手工修改率较高。但是，过多的层级划分除了会花费更多的计算时间，还可能由于过拟合导致效果变差。双层与三层模型已经可以获得较好的工作效果，因此可以作为优化的层级数目设置。

本发明实施例三还具体给出了一种根据图像生成对应点位的方法，包括以下步骤：

(5)通过调节参数T_g实现优化问题求解；

图5为根据实施例三所述方法生成人群点位的示意图。结合图5，举例说明本发明实施例三的具体实施方式。

如图5所示，待显示图像是白色的圆。在待显示图像上叠加4*4的网格，每一个网格对应一个可用的个体位置。用T_g表示根据网格与待显示图像重合面积占比决定每一个网格中是否排布个体的阈值，T_g取值为(0,1]。例如，T_g＝0.5表示网格与白色圆的重合面积达到网格面积一半的时候，就在网格中排布一个个体；T_g＝1则表示全部网格均位于白色圆中，才在网格中排布一个个体。图5所示为T_g＝0.9的情况，也就是网格与白色圆的重合面积达到网格面积90％的时候，就在网格中排布一个个体。图5中正中心的四个网格与白色圆的重合面积均超过了网格面积的90％，所以可以看到在中心的四个网格中分别排布了一个个体。而边缘的一圈网格与白色圆的重合面积均没有达到阈值，所以没有排布个体。

需要说明的是，网格的形状并不一定是图5所示的方格。约束表演个体位置的网格结构可以是方格、六边形或三角形等多种形状，以满足系统的多样化需求。

设置了参数T_g之后，将所有个体在表演过程中需要遵守的约束条件表示为T_g的函数f(T_g)。当T_g取值变化的时候，对应的人群个体排布方案就会发生变化。由于参加表演的总人数是用户预先设置的，因此可以将人群点位生成问题转换为一个能量优化问题：min|NUM(f(T_g))-NUM|。其中NUM(f(T_g))表示阈值为T_g时人群排布个体数量。

能量优化是一种寻找研究体系能量极小状态的方法，可以处理多维空间函数的优化问题。现阶段已经有很多比较成熟的优化问题求解方法。在min|NUM(f(T_g))-NUM|式中，通过调节参数T_g寻找解决问题的最优化方案，这个最优化方案也就是在约束规则f(T_g)下生成与目标人群个体数相等，形状相同的人群排布方案。由于搜索空间小且结果相对易于收敛，使用最简单的梯度下降法就可以实现能量优化问题求解。

找出最优解，实际上就已经获得了所需的T_g参数的值。只需要在与待显示图像重合面积占比达到阈值T_g的网格中排布个体，就可以获得最终的人群点位方案。

实施例4对实施例3中的点位生成方法进行了进一步优化。根据本发明实施例的一种具体实现方式，在生成图像对应点位时，在步骤(2)中，除了参数T_g外，增加参数δ_offset，表示网格与图像之间的二维偏移量；

在步骤(5)中，通过调节参数T_g和δ_offset实现优化问题求解。

图6为图像对应不同参数T_g和δ_offset的人群点位生成结果示意图。结合图6，举例说明实施例四的具体实施方式。

实施例四与实施例三的区别在于，增加了一个能量优化问题的可调参数δ_offset，表示网格与图像之间的二维偏移量。图6中，左上角的网格对应的δ_offset参数为(0.5,0)，表示网格在X轴上产生了0.5个网格的偏移量。右上角的网格对应的δ_offset参数为(0,0)，表示没有偏移，与图像完全对准。右下角的网格对应的δ_offset参数为(-0.5,0.5)，表示网格在X轴上产生了-0.5个网格的偏移量，在Y轴上产生了0.5个网格的偏移量。

在实施例四中，设置δ_offset每个坐标偏移量的取值范围为[-0.5,0.5]。增加参数δ_offset后，整体网格只是产生了一个很小的偏移量，对人群排布方案结果几乎没有影响，但是与实施例三相比，增加了一个可调参数后，在进行能量优化问题求解时可以扩大候选方案的搜索空间维度，减少由于搜索空间维度低导致的大量局部极小值对搜索过程的影响，提高搜索收敛效率。

至少一个处理器；以及，

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称并不构成对该单元本身的限定。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。