CN101299227A - 基于三维重构的多人游戏系统及方法 - Google Patents

Abstract

本发明公开了基于三维重构的多人游戏系统及方法。系统包括：光源、光栅、鱼眼镜头、三维人体重构单元以及一个以上游戏单元，其中：光源经过光栅投射到各游戏参与者人体上；鱼眼摄像单元，采集各游戏参与者的光栅投影图像，将各游戏参与者的光栅投影图像发送到三维人体重构单元；三维人体重构单元，对接收到的每个光栅投影图像进行重构得到各游戏参与者的三维人体轮廓，从各三维人体轮廓中抽取出人体骨架模型，将各游戏参与者的人体骨架模型发送到该游戏参与者对应的游戏单元；游戏单元利用人体骨架模型驱动游戏人物来进行游戏。本发明使得游戏参与者可以真正参与到与人体动作有关的游戏中，提高了游戏参与者的体验。

Description

基于三维重构的多人游戏系统及方法

技术领域

本发明涉及图像处理技术领域，具体涉及基于三维重构的多人游戏系统及方法。

背景技术

随着计算机游戏业务的发展，游戏业务中的人物形象越来越丰富，人物动作也越来越逼真。有的游戏业务中，玩游戏的人可通过键盘控制某个游戏人物的动作来参与游戏，最常见的是拳击游戏中，游戏参与者可通过键盘控制游戏人物前进、后退以及出左拳、右拳等。通过键盘进行游戏，对游戏参与者来说体验度不够，例如：对拳击游戏来说，游戏参与者更想身临其境，希望自己能够有真正与对手比赛的感觉。目前，还未有该方面的解决方案。

发明内容

本发明提供基于三维(3D)重构的多人游戏系统及方法，以提高游戏参与者的体验。

本发明的技术方案是这样实现的：

一种基于三维重构的多人游戏系统，该系统包括：光源、光栅、鱼眼摄像单元、三维人体重构单元以及一个以上游戏单元，其中：

光源经过光栅投射到各游戏参与者人体上；

鱼眼摄像单元，采集各游戏参与者的光栅投影图像，将各游戏参与者的光栅投影图像发送到三维人体重构单元；

三维人体重构单元，对接收到的每个光栅投影图像进行重构得到各游戏参与者的三维人体轮廓，从各三维人体轮廓中抽取出人体骨架模型，将各游戏参与者的人体骨架模型发送到该游戏参与者对应的游戏单元；

游戏单元，利用接收的人体骨架模型驱动游戏参与者对应的游戏人物进行游戏。

所述光源和鱼眼摄像单元集成在同一装置中；

或者，所述光源、光栅和鱼眼摄像单元集成在同一装置中。

所述光源、光栅和鱼眼摄像单元位于所有游戏参与者的前方。

一种基于三维重构的多人游戏方法，该方法包括：

设置光源和光栅使得光源经过光栅投射到各游戏参与者人体上，鱼眼摄像单元采集各游戏参与者的光栅投影图像，三维人体重构单元对采集到的各游戏参与者的光栅投影图像进行重构得到三维人体轮廓，从各三维人体轮廓抽取人体骨架模型，将各游戏参与者的人体骨架模型发送给该游戏参与者对应的游戏单元，游戏单元利用人体骨架模型驱动游戏参与者对应的游戏人物进行游戏，其中，所述游戏参与者的数目大于1。

所述鱼眼摄像单元采集各游戏参与者的光栅投影图像进一步包括：鱼眼摄像单元对发生了扭曲的光栅投影图像进行矫正。

所述鱼眼摄像单元对发生了扭曲的光栅投影图像进行矫正为：

$\mathrm{dstx}=\frac{R*\sqrt{R^2-{\mathrm{\ρ}}^2}}{\sqrt{{x_0}^2+{y_0}^2}}*\frac{(x_0*x-y_0*y)}{\sqrt{(x^2+y^2)*(R^2-{\mathrm{\ρ}}^2)+{(R^2-\mathrm{\ρ}*x)}^2}},$

$\mathrm{dsty}=\frac{R*\sqrt{R^2-{\mathrm{\ρ}}^2}}{\sqrt{{x_0}^2+{y_0}^2}}*\frac{(x_0*x-y_0*y)}{\sqrt{(x^2+y^2)*(R^2-{\mathrm{\ρ}}^2)+{(R^2-\mathrm{\ρ}*x)}^2}}$

其中，(x₀，y₀)为光栅投影图像上待矫正区域的还原点坐标，(x，y)为光栅投影图像上待矫正区域上任意点的坐标，(dstx，dsty)为对(x，y)矫正后的坐标，R为所述待矫正区域所在扇形的半径， $\mathrm{\ρ}=\sqrt{{x_0}^2+{y_0}^2}.$

预先将所述光源、光栅、鱼眼摄像单元置于所有游戏参与者的前方。

与现有技术相比，本发明通过设置光源和光栅使得光源经过光栅投射到各游戏参与者人体上，鱼眼摄像单元采集各游戏参与者的光栅投影图像，3D人体重构单元对采集到的各游戏参与者的光栅投影图像进行重构得到3D人体轮廓，从各3D人体轮廓抽取人体骨架模型，将各游戏参与者的人体骨架模型发送给该游戏参与者对应的游戏单元，游戏单元利用人体骨架模型驱动游戏参与者对应的游戏人物进行游戏，使得游戏参与者可以真正参与到与人体动作有关的游戏中，提高了游戏参与者的体验。且，本发明可以同时对多个游戏参与者进行3D人体重构，从而可以应用于多人互动的游戏业务中。

附图说明

图1为本发明实施例提供的基于3D重构的多人游戏系统的组成示意图；

图2为本发明实施例提供的基于3D重构的多人游戏系统的俯视图；

图3为本发明实施例提供的基于3D重构的多人游戏系统的侧视图；

图4为本发明实施例提供的基于3D重构的多人游戏方法的流程图；

图5-1为本发明实施例提供的矫正前的光栅投影图像的矫正区域示意图；

图5-2为本发明实施例提供的对光栅投影图像的边缘区域矫正后得到的矩形示意图。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。

本发明的核心思想是：设置光源和光栅使得光源经过光栅投射到多个游戏参与者人体上，采用鱼眼摄像单元采集各游戏参与者的光栅投影图像，对各游戏参与者的光栅投影图像进行重构得到3D人体轮廓，抽取各3D人体轮廓的人体骨架模型，将各人体骨架模型发送给各游戏参与者对应的游戏单元，游戏单元利用人体骨架模型驱动游戏人物进行游戏。

图1为本发明实施例提供的基于3D重构的多人游戏系统的组成示意图，如图1所示，其主要包括：光源11、光栅12、鱼眼摄像单元13、3D人体重构单元14、游戏单元15，且，游戏单元15的数目大于1，其中：

光源11经过光栅12投射到各游戏参与者人体上。

鱼眼摄像单元13：采集各游戏参与者的光栅投影图像，将各游戏参与者的光栅投影图像及该游戏参与者的位置信息发送到3D人体重构单元14。

鱼眼摄像单元13采集到的光栅投影图像通常会发生扭曲，鱼眼摄像单元13具有矫正功能，会将扭曲的光栅投影图像矫正为正常，然后再将矫正后的光栅投影图像发送到3D人体重构单元14。

鱼眼摄像单元13又称广角摄像单元，可采集360度范围内的光栅投影图像。

3D人体重构单元14：接收鱼眼摄像单元13发来的各游戏参与者的光栅投影图像及其位置信息，对各游戏参与者的光栅投影图像进行重构得到各游戏参与者的3D人体轮廓，从3D人体轮廓中抽取出人体骨架模型，根据游戏参与者的位置信息与游戏单元标识的对应关系，将各游戏参与者的人体骨架模型发送到该游戏参与者对应的游戏单元15。

游戏单元15：接收3D人体重构单元14发来的游戏参与者的人体骨架模型，利用该人体骨架模型驱动游戏参与者对应的游戏人物进行游戏。

图2给出了本发明实施例提供的基于3D重构的多人游戏系统的俯视图，如图2所示，鱼眼摄像单元和光源通常集成在同一装置中，光栅位于光源的周围，每个游戏参与者位于光栅的扇形投影区域，以保证能够对所有游戏参与者的正面进行投影；每个游戏参与者对应一个游戏单元，游戏屏幕位于游戏参与者的正对面，如图2中，游戏屏幕1位于游戏参与者1的正对面，游戏屏幕2位于游戏参与者2的正对面，依此类推。

图3给出了本发明实施例提供的基于3D重构的多人游戏系统的侧视图，如图3所示，由光源、光栅、鱼眼摄像单元集成的采集装置位于游戏参与者和游戏屏幕之间。为了能采集到游戏参与者的四肢动作，通常，采集装置位于游戏参与者的前方。

图4为本发明实施例提供的基于3D重构的多人游戏方法的流程图，如图4所示，其具体步骤如下：

步骤401：将光源、光栅、鱼眼摄像单元集成的采集装置置于所有游戏参与者的前方，光源经过光栅投射到各游戏参与者人体上。

游戏参与者的数目大于1。

步骤402：鱼眼摄像单元采集各游戏参与者的光栅投影图像。

步骤403：鱼眼摄像单元对各游戏参与者的光栅投影图像进行矫正，将矫正后的各游戏参与者的光栅投影图像与该游戏参与者的位置信息发送给3D人体重构单元。

鱼眼摄像单元采集的图像的边缘处会被压缩，需要对图像的边缘处进行矫正。矫正方法可采用现有技术。例如：要对图5-1中的LKJI区域进行矫正，矫正后的区域为一如图5-2所示的矩形，矫正公式可为：

$\mathrm{dstx}=\frac{R*\sqrt{R^2-{\mathrm{\ρ}}^2}}{\sqrt{{x_0}^2+{y_0}^2}}*\frac{(x_0*x-y_0*y)}{\sqrt{(x^2+y^2)*(R^2-{\mathrm{\ρ}}^2)+{(R^2-\mathrm{\ρ}*x)}^2}},$

$\mathrm{dsty}=\frac{R*\sqrt{R^2-{\mathrm{\ρ}}^2}}{\sqrt{{x_0}^2+{y_0}^2}}*\frac{(x_0*x-y_0*y)}{\sqrt{(x^2+y^2)*(R^2-{\mathrm{\ρ}}^2)+{(R^2-\mathrm{\ρ}*x)}^2}}$

其中，(x₀，y₀)为还原点坐标，位于LKJI区域中；(x，y)为LKJI区域上的任意点的坐标；(dstx，dsty)位于图5-2所示的矩形中，为对(x，y)矫正后的坐标，R为LKJI区域所在扇形的半径， $\mathrm{\ρ}=\sqrt{{x_0}^2+{y_0}^2}.$

步骤404：3D人体重构单元接收各游戏参与者的位置信息与其光栅投影图像，对各游戏参与者的光栅投影图像进行重构得到各游戏参与者的3D人体轮廓。

这里，对光栅投影图像进行重构得到3D人体轮廓可采用现有的3D重构技术实现。

步骤405：3D人体重构单元从各游戏参与者的3D人体轮廓抽取各游戏参与者的人体骨架模型，根据游戏参与者的位置信息与游戏单元标识的对应关系，将各游戏参与者的人体骨架模型发送给该游戏参与者对应的游戏单元。

这里，从3D人体轮廓抽取人体骨架模型可采用现有技术实现。

通常，一个游戏参与者对应一个游戏单元。

步骤406：游戏单元接收游戏参与者的人体骨架模型，利用该人体骨架模型驱动游戏参与者对应的游戏人物进行游戏。

从上述实施例可以看出，本发明可以对游戏参与者进行3D人体重构，得到游戏参与者的人体骨架模型，这样，游戏单元就可利用游戏参与者的人体骨架模型驱动游戏人物进行游戏，从而，游戏参与者可以真正参与到与人体动作有关的游戏中，提高了游戏参与者的体验。且，本发明可以同时对多个游戏参与者进行3D人体重构，从而可以应用于多人互动的游戏业务中。

以上所述仅为本发明的过程及方法实施例，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1、一种基于三维重构的多人游戏系统，其特征在于，该系统包括：光源、光栅、鱼眼摄像单元、三维人体重构单元以及一个以上游戏单元，其中：

光源经过光栅投射到各游戏参与者人体上；

鱼眼摄像单元，采集各游戏参与者的光栅投影图像，将各游戏参与者的光栅投影图像发送到三维人体重构单元；

三维人体重构单元，对接收到的每个光栅投影图像进行重构得到各游戏参与者的三维人体轮廓，从各三维人体轮廓中抽取出人体骨架模型，将各游戏参与者的人体骨架模型发送到该游戏参与者对应的游戏单元；

游戏单元，利用接收的人体骨架模型驱动游戏参与者对应的游戏人物进行游戏。

2、如权利要求1所述的系统，其特征在于，所述光源和鱼眼摄像单元集成在同一装置中；

或者，所述光源、光栅和鱼眼摄像单元集成在同一装置中。

3、如权利要求1所述的系统，其特征在于，所述光源、光栅和鱼眼摄像单元位于所有游戏参与者的前方。

4、一种基于三维重构的多人游戏方法，其特征在于，该方法包括：

设置光源和光栅使得光源经过光栅投射到各游戏参与者人体上，鱼眼摄像单元采集各游戏参与者的光栅投影图像，三维人体重构单元对采集到的各游戏参与者的光栅投影图像进行重构得到三维人体轮廓，从各三维人体轮廓抽取人体骨架模型，将各游戏参与者的人体骨架模型发送给该游戏参与者对应的游戏单元，游戏单元利用人体骨架模型驱动游戏参与者对应的游戏人物进行游戏，其中，所述游戏参与者的数目大于1。

5、如权利要求4所述的方法，其特征在于，所述鱼眼摄像单元采集各游戏参与者的光栅投影图像进一步包括：鱼眼摄像单元对发生了扭曲的光栅投影图像进行矫正。

6、如权利要求5所述的方法，其特征在于，所述鱼眼摄像单元对发生了扭曲的光栅投影图像进行矫正为：

$\mathrm{dstx}=\frac{R*\sqrt{R^2-{\mathrm{\ρ}}^2}}{\sqrt{{x_0}^2}+{y_0}^2}*\frac{(x_0*x-y_0*y)}{\sqrt{(x^2+y^2)*(R^2-{\mathrm{\ρ}}^2)+{(R^2-\mathrm{\ρ}*x)}^2}},$

$\mathrm{dsty}=\frac{R*\sqrt{R^2-{\mathrm{\ρ}}^2}}{\sqrt{{x_0}^2}+{y_0}^2}*\frac{(x_0*y+y_0*x)}{\sqrt{(x^2+y^2)*(R^2-{\mathrm{\ρ}}^2)+{(R^2-\mathrm{\ρ}*x)}^2}}$

其中，(x₀，y₀)为光栅投影图像上待矫正区域的还原点坐标，(x，y)为光栅投影图像上待矫正区域上任意点的坐标，(dstx，dsty)为对(x，y)矫正后的坐标，R为所述待矫正区域所在扇形的半径， $\mathrm{\ρ}=\sqrt{{x_0}^2+{y_0}^2}.$

7、如权利要求4至6任一所述的方法，其特征在于，预先将所述光源、光栅、鱼眼摄像单元置于所有游戏参与者的前方。

Images