CN116647625A - 一种基于关键点定位的演播室人与虚拟物体的交互方法 - Google Patents

Abstract

本发明公开了一种基于关键点定位的演播室人与虚拟物体的交互方法，包括数字建模部分，包括如下步骤：将传统演播室整体场景进行数字化复刻，建立全局坐标系，坐标系原点可选择演播室的中心点；根据三角定位法求出目标物体的三维坐标，通过云端技术，将数字模型和虚拟物体分发到用户设备上，实现实时交互；虚拟人物通过计算机生成，通过CGI技术将其显示在电视中，主持人可以通过录播接口与虚拟角色进行交互；基于双目的主持人定位，主持人位置确定后，在全局的坐标系下做交互动作。本发明提供的一种基于关键点定位的演播室人与虚拟物体的交互方法具备提高了用户参与度，增强了互动性的优点。

Description

一种基于关键点定位的演播室人与虚拟物体的交互方法

技术领域

本发明涉及虚拟交互领域，尤其涉及一种基于关键点定位的演播室人与虚拟物体的交互方法。

背景技术

现有演播室主持人与虚拟互动物体或人交互方式单一，扩展性不强。一般地，提前规划好点位，到时候会在固定的点位生成虚拟的人物或物体，主持人可跟这些虚拟物体进行对话。交互过程中不能移动，不能有更多的动作。限制了更多创造性的可能。在现有传统演播室中，主持人需要按照预设的位置、摄像角度来进行节目主持，而缺少现场实时交互的方式，导致观众参与度不高。同时，传统演播室的建模也不够精细，无法实现真实感的模拟场景。

发明内容

本发明提供了一种基于关键点定位的演播室人与虚拟物体的交互方法，解决了现有技术中观众参与度不高，传统演播室的建模不够精细，无法实现真实感的模拟场景；具备提高了用户参与度，增强了互动性，数字化建模提高了场景的真实感，局部标定提高了精度的优点。

根据本申请实施例提供的一种基于关键点定位的演播室人与虚拟物体的交互方法，包括数字建模部分，包括如下步骤：

将传统演播室整体场景进行数字化复刻，建立全局坐标系，坐标系原点可选择演播室的中心点；

基于拍摄图片的三维重建技术路线分为以下步骤：

图像采集，首先，需要采集图片，以取得目标物体或场景的不同角度、不同高度、不同光影多个方面的视角；

图像预处理，将采集得到的图片进行预处理，包括裁切、去除噪声、增强对比度，提高三维重建的质量；

特征提取，使用计算机视觉中的特征提取技术，从预处理过的图片中提取出特征点和匹配点，在不同视角的图片中寻找相同的特征点，以便后续的三维重建；

三角剖分，根据提取出的特征点和匹配点，进行三角剖分，建立三维模型表面的三角形网格；

纹理映射，对三维模型进行纹理映射，将采集得到的图片上的纹理将赋予到三维模型的表面，使得三维模型看起来更加真实；

三维重建和渲染，最后，使用三维重建软件对已加入纹理映射的三维模型进行精细的处理和优化，使其贴合度更高，可根据需要对场景添加光效、阴影，实现三维重建结果的呈现；

还包括双目测距部分：在数字模型中放置标靶，通过双目视差计算，确定双目位置，进而确定主持人位置，通过架设两台相机在演播室，实时拍摄主持人的照片，进行双目重建；

在双目视觉测距中，采用描述子匹配技术进行图像匹配，包括如下步骤：首先，在两个图像中提取SIFT描述子，把两个图像的描述子进行匹配，这可以通过计算描述子向量间的欧氏距离，并选择距离最短的作为匹配对，完成匹配后，根据标定的参数得出每个匹配对之间的距离，根据三角定位法求出目标物体的三维坐标。

优选地，还包括虚拟物体生成部分，包括如下步骤：

在数字模型中生成各种虚拟物体，观众可通过手持设备进行实时互动；

生成虚拟物体的步骤包括：

定义坐标系，在建模前需要确定一个基准坐标系，三维建模中通常使用笛卡尔坐标系；建模软件选择，目前市面上有很多不同的三维建模软件可以选择；选择基本形状，可从软件中的预设图形库中选择基本的二维或三维形状，如立方体、球体、棱柱；变换操作，通过平移、旋转、缩放变换操作，可将基本形状按照需要的样式进行变形；定义材质，给物体定义颜色、光泽、反射材质参数，让其更加真实；导出物体，将生成的物体导出为3D模型文件，常见的格式有OBJ和STL。

优选地，还包括局部标定部分，包括如下步骤：

对于特定位置需要更精细的标靶标定，通过局部标定来提高精度；

双目系统是一种计算机视觉技术，可以捕捉到环境中的场景，并通过计算机处理形成深度图像，用于进行3D重建、物体跟踪和定位应用，在进行双目系统的标定时，需要进行以下步骤：

安装相机，首先需要将两个相机安装在一个固定的位置上，保证它们的位置和朝向是精确的；

拍摄标定图像，在环境中选择一些能够包含特定模式的图像，并使用两个相机同时对图像进行拍摄；

表面匹配，标定图像中需要包含特定的模式，例如黑白相间的棋盘模式，可以提供一个较好的表面特征；

计算相机矩阵，在进行了表面匹配之后，通过相机矩阵将双目视图中的像素坐标变换为3D坐标；

矫正双目视图，得到相机矩阵后，可以对双目视图进行校准处理。

优选地，还包括数据存储与分发部分，包括如下步骤，通过云端技术，将数字模型和虚拟物体分发到用户设备上，实现实时交互；

虚拟人物通过计算机生成，通过CGI技术将其显示在电视中，主持人可以通过录播接口与虚拟角色进行交互；

主持人在录播节目中通过后期处理将虚拟人物与主持人本人合成为一个画面，可以让观众有视觉上的冲击和视觉上的错位感；

主持人通过虚拟现实技术，将虚拟人物呈现在现场与主持人近距离接触；

主持人与虚拟人物通过3D立体投影技术实现互动，可以在现场进行呈现。

本申请实施例提供的技术方案可以包括以下有益效果：

本发明提出一种基于关键点定位的演播室人与虚拟物体的交互方法，本发明实现了传统演播室与数字化媒体的有机结合，提高了用户参与度，增强了互动性。数字化建模提高了场景的真实感，局部标定提高了精度，同时数据存储与分发利用云端技术实现了无缝连接。将演播室整体场景复刻为数字模型，并建立全局坐标系，通过标靶标定的方式确定双目位置，通过双目确定主持人位置，可以在任何位置生成虚拟物体并进行交互。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于关键点定位的演播室人与虚拟物体的交互方法的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，本发明提供一种基于关键点定位的演播室人与虚拟物体的交互方法，具体包括以下几个组成部分：

1.数字建模部分：将传统演播室整体场景进行数字化复刻，建立全局坐标系。坐标系原点可选择演播室的中心点即可。

基于拍摄图片的三维重建技术路线主要分为以下几步：

图像采集：首先，需要采集一定数量的图片，以取得目标物体或场景的不同角度、不同高度、不同光影等多个方面的视角。

图像预处理：将采集得到的图片进行预处理，包括裁切、去除噪声、增强对比度等，以提高三维重建的质量。

特征提取：使用计算机视觉中的特征提取技术，从预处理过的图片中提取出特征点和匹配点，在不同视角的图片中寻找相同的特征点，以便后续的三维重建。

三角剖分：根据前面提取出的特征点和匹配点，进行三角剖分，建立三维模型表面的三角形网格。

纹理映射：对三维模型进行纹理映射，将采集得到的图片上的纹理将赋予到三维模型的表面，使得三维模型看起来更加真实。

三维重建和渲染：最后，使用三维重建软件对已加入纹理映射的三维模型进行精细的处理和优化，使其贴合度更高，还可以根据需要对场景添加光效、阴影等，实现三维重建结果的呈现。

2.双目测距部分：在数字模型中放置标靶，通过双目视差计算，确定双目位置，进而确定主持人位置。通过架设两台相机在演播室，实时拍摄主持人的照片，进行双目重建。

双目视觉测距是一种常见的三维视觉重建方法。其基本原理是通过两个摄像机的成像，获取到两个不同的视角的图像，然后通过对这两个图像进行匹配，计算出场景上不同物体点之间的距离。

在双目视觉测距中，图像匹配是一个比较复杂的问题。为了解决这个问题，通常会使用描述子匹配技术。描述子是一种能够表示图像特征的向量，它能够提取出图像中的关键点，并对这些关键点进行描述。透过描述子匹配，我们就可以根据两个不同来源的图像找到相同的关键点，然后计算这些关键点的三维位置。具体步骤如下：首先，我们需要在两个图像中提取SIFT描述子。这可以通过将图像灰度化、应用高斯滤波和计算Laplacian观察来完成。接着，我们需要把两个图像的描述子进行匹配。这可以通过计算描述子向量间的欧氏距离，并选择距离最短的作为匹配对。完成匹配后，我们就可以根据某些标定的参数得出每个匹配对之间的距离，然后根据三角定位法求出目标物体的三维坐标。

3.虚拟物体生成部分：在数字模型中可以生成各种虚拟物体，例如互动游戏、数字画面等，观众可以通过手持设备进行实时互动。

生成虚拟物体是计算机图形学中的一个重要内容。在现代的计算机图形学中，常用的三维建模工具和计算机辅助设计软件提供了各种生成虚拟物体的方法和技术。下面是一个基本的流程和步骤：

定义坐标系：在建模前需要确定一个基准坐标系，三维建模中通常使用笛卡尔坐标系。

建模软件选择：目前市面上有很多不同的三维建模软件可以选择，如Maya、Blender、3DS Max等。

选择基本形状：可从软件中的预设图形库中选择基本的二维或三维形状，如立方体、球体、棱柱等。

变换操作：通过平移、旋转、缩放变换操作，可将基本形状按照需要的样式进行变形。

定义材质：可以给物体定义颜色、光泽、反射等材质参数，让其更加真实。

导出物体：将生成的物体导出为3D模型文件，常见的格式有OBJ和STL。

以上是一个简单的流程和步骤，当然，在实际使用中还有其他更多的技术和方法，如对基本形状进行变形、雕刻、再现等等。总而言之，在计算机图形学中，生成虚拟物体是一个非常有趣和复杂的任务，需要不断地探索和研究。

4.局部标定部分：对于特定位置需要更精细的标靶标定，可以通过局部标定来提高精度。

双目系统是一种计算机视觉技术，可以捕捉到环境中的场景，并通过计算机处理形成深度图像，用于进行3D重建、物体跟踪和定位等应用。在进行双目系统的标定时，需要进行以下步骤：

安装相机：首先需要将两个相机安装在一个固定的位置上，保证它们的位置和朝向是精确的。一般来说，相机需要尽可能的平行，焦距、分辨率等相关参数也需要被调整到合适的状态。

拍摄标定图像：需要在环境中选择一些能够包含特定模式的图像，并使用两个相机同时对图像进行拍摄。在这个过程中，需要控制好相机的参数，尽可能保证两张拍摄的图片在物理上是相近或一致的。

表面匹配：标定图像中需要包含特定的模式，例如黑白相间的棋盘模式，可以提供一个较好的表面特征。在这个模式中，需要检测和计算出相机视图中的每个点的精确位置和距离。

计算相机矩阵：在进行了表面匹配之后，可以通过相机矩阵将双目视图中的像素坐标变换为3D坐标。而这个过程中，相机校准的参数，包括内参和外参,需要使用相应的算法进行求解。例如相机的焦距、主点等。

矫正双目视图：得到相机矩阵后，可以对双目视图进行校准处理。这样可以用来对立体视觉场景中的图像进行深度重建矫正、物体定位等一系列调整。

在以上流程中的每一步都需要仔细控制和调整，尤其是在表面匹配和相机矩阵计算的过程中，需要精确的匹配和计算，才能保证标定的精确性和有效性。

5.数据存储与分发部分：通过云端技术，将数字模型和虚拟物体分发到用户设备上，实现实时交互。

在电视节目中，主持人与虚拟人物交互的方式方法有许多不同的选择。这些方式方法的选择通常取决于电视节目的主题、风格和故事情节等因素。以下是一些常见的方式方法：

一、虚拟人物是通过计算机生成的，通过CGI技术将其显示在电视中。主持人可以通过录播接口与虚拟角色进行交互，例如在实境秀等节目中让其参与互动。

二、主持人在录播节目中通过后期处理将虚拟人物与主持人本人合成为一个画面，可以让观众有视觉上的冲击和视觉上的错位感。

三、主持人通过虚拟现实技术，将虚拟人物呈现在现场与主持人近距离接触，例如类似于互动游戏之类的抢答。

四、主持人与虚拟人物通过3D立体投影技术实现互动，可以在现场进行呈现，跟‘双师课堂’一样，虚拟人物会呈现在主持人身旁，主持人与虚拟人物进行互动

实施方式：本发明可在现有演播室基础上进行改造，将场景数字化复刻，并加入相应的双目测距和虚拟交互技术。本发明也可作为新建演播室的设计标准。该系统可以利用现有的云计算技术进行数据存储和分发。

本申请实施例提供的技术方案可以包括以下有益效果：

本发明提出一种基于关键点定位的演播室人与虚拟物体的交互方法，本发明实现了传统演播室与数字化媒体的有机结合，提高了用户参与度，增强了互动性。数字化建模提高了场景的真实感，局部标定提高了精度，同时数据存储与分发利用云端技术实现了无缝连接。将演播室整体场景复刻为数字模型，并建立全局坐标系，通过标靶标定的方式确定双目位置，通过双目确定主持人位置，可以在任何位置生成虚拟物体并进行交互。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (4)

1.一种基于关键点定位的演播室人与虚拟物体的交互方法，其特征在于，包括数字建模部分，包括如下步骤：

将传统演播室整体场景进行数字化复刻，建立全局坐标系，坐标系原点可选择演播室的中心点；

基于拍摄图片的三维重建技术路线分为以下步骤：

图像采集，首先，需要采集图片，以取得目标物体或场景的不同角度、不同高度、不同光影多个方面的视角；

图像预处理，将采集得到的图片进行预处理，包括裁切、去除噪声、增强对比度，提高三维重建的质量；

特征提取，使用计算机视觉中的特征提取技术，从预处理过的图片中提取出特征点和匹配点，在不同视角的图片中寻找相同的特征点，以便后续的三维重建；

三角剖分，根据提取出的特征点和匹配点，进行三角剖分，建立三维模型表面的三角形网格；

纹理映射，对三维模型进行纹理映射，将采集得到的图片上的纹理将赋予到三维模型的表面，使得三维模型看起来更加真实；

三维重建和渲染，最后，使用三维重建软件对已加入纹理映射的三维模型进行精细的处理和优化，使其贴合度更高，可根据需要对场景添加光效、阴影，实现三维重建结果的呈现；

还包括双目测距部分：在数字模型中放置标靶，通过双目视差计算，确定双目位置，进而确定主持人位置，通过架设两台相机在演播室，实时拍摄主持人的照片，进行双目重建；

在双目视觉测距中，采用描述子匹配技术进行图像匹配，包括如下步骤：首先，在两个图像中提取SIFT描述子，把两个图像的描述子进行匹配，这可以通过计算描述子向量间的欧氏距离，并选择距离最短的作为匹配对，完成匹配后，根据标定的参数得出每个匹配对之间的距离，根据三角定位法求出目标物体的三维坐标。

2.根据权利要求1所述的一种基于关键点定位的演播室人与虚拟物体的交互方法，其特征在于，还包括虚拟物体生成部分，包括如下步骤：

在数字模型中生成各种虚拟物体，观众可通过手持设备进行实时互动；

生成虚拟物体的步骤包括：

定义坐标系，在建模前需要确定一个基准坐标系，三维建模中通常使用笛卡尔坐标系；建模软件选择，目前市面上有很多不同的三维建模软件可以选择；选择基本形状，可从软件中的预设图形库中选择基本的二维或三维形状，如立方体、球体、棱柱；变换操作，通过平移、旋转、缩放变换操作，可将基本形状按照需要的样式进行变形；定义材质，给物体定义颜色、光泽、反射材质参数，让其更加真实；导出物体，将生成的物体导出为3D模型文件，常见的格式有OBJ和STL。

3.根据权利要求2所述的一种基于关键点定位的演播室人与虚拟物体的交互方法，其特征在于，还包括局部标定部分，包括如下步骤：

对于特定位置需要更精细的标靶标定，通过局部标定来提高精度；

双目系统是一种计算机视觉技术，可以捕捉到环境中的场景，并通过计算机处理形成深度图像，用于进行3D重建、物体跟踪和定位应用，在进行双目系统的标定时，需要进行以下步骤：

安装相机，首先需要将两个相机安装在一个固定的位置上，保证它们的位置和朝向是精确的；

拍摄标定图像，在环境中选择一些能够包含特定模式的图像，并使用两个相机同时对图像进行拍摄；

表面匹配，标定图像中需要包含特定的模式，例如黑白相间的棋盘模式，可以提供一个较好的表面特征；

计算相机矩阵，在进行了表面匹配之后，通过相机矩阵将双目视图中的像素坐标变换为3D坐标；

矫正双目视图，得到相机矩阵后，可以对双目视图进行校准处理。

4.根据权利要求1所述的一种基于关键点定位的演播室人与虚拟物体的交互方法，其特征在于，还包括数据存储与分发部分，包括如下步骤，通过云端技术，将数字模型和虚拟物体分发到用户设备上，实现实时交互；

虚拟人物通过计算机生成，通过CGI技术将其显示在电视中，主持人可以通过录播接口与虚拟角色进行交互；

主持人在录播节目中通过后期处理将虚拟人物与主持人本人合成为一个画面，可以让观众有视觉上的冲击和视觉上的错位感；

主持人通过虚拟现实技术，将虚拟人物呈现在现场与主持人近距离接触；

主持人与虚拟人物通过3D立体投影技术实现互动，可以在现场进行呈现。