CN114845148B - 虚拟演播室中主持人对虚拟物体的交互控制方法及装置 - Google Patents
虚拟演播室中主持人对虚拟物体的交互控制方法及装置 Download PDFInfo
- Publication number
- CN114845148B CN114845148B CN202210474150.0A CN202210474150A CN114845148B CN 114845148 B CN114845148 B CN 114845148B CN 202210474150 A CN202210474150 A CN 202210474150A CN 114845148 B CN114845148 B CN 114845148B
- Authority
- CN
- China
- Prior art keywords
- virtual object
- host
- virtual
- graphic mark
- graphic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000003993 interaction Effects 0.000 title claims abstract description 52
- 230000002452 interceptive effect Effects 0.000 claims abstract description 18
- 230000033001 locomotion Effects 0.000 claims abstract description 9
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 6
- 238000009877 rendering Methods 0.000 claims description 42
- 238000004590 computer program Methods 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 10
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000000981 bystander Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
- H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
Abstract
本发明公开了虚拟演播室中主持人对虚拟物体的交互控制方法及装置，方法包括：在虚拟演播室的蓝箱墙面上设置图形标记，获取摄像机从蓝箱中实时拍摄的前景影像，对前景影像中的图形标记进行识别得到图形标记的坐标位置，将前景影像中的主持人影像与虚拟背景进行合成得到节目画面，根据添加指令在节目画面中生成对应虚拟物体及轨迹动画，若任一图形标记内出现手部图像，则将图形标记中虚拟物体与手部图像的位置绑定以使虚拟物体跟随手部运动。本发明属于广播电视的虚拟演播室技术领域，在蓝箱中添加图形标记用于定位虚拟物品的位置并给主持人进行位置指示，根据主持人手的位置实现对虚拟物体的交互控制，大幅提高了对交互控制效果。
Description
技术领域
本发明涉及广播电视的虚拟演播室技术领域，尤其涉及一种虚拟演播室中主持人对虚拟物体的交互控制方法及装置。
背景技术
在虚拟演播室中，主持人位于蓝箱(颜色一般为蓝色或者绿色)中，摄像机拍摄主持人影像作为前景影像输入到色键器中，与渲染服务器渲染生成的虚拟背景在色键器中合成作为最终的节目画面。主持人通过观看位于前方的电视中的合成图像来感知自身与虚拟演播室场景及虚拟物体的位置关系，因此很难实现主持人与虚拟物体的交互，比如抓取并移动虚拟物体，导致节目中交互效果较差。现有的方法是主持人手部佩戴或者抓握一个红外标记装置，通过蓝箱周边安装的红外感应摄像头获取主持人手中的红外标记的坐标，然后把虚拟物体的位置绑定到红外标记的坐标，从而实现主持人抓取和移动虚拟物体的效果。然而现有技术方法中主持人对虚拟物体的交互控制需要主持人携带额外的道具，或者通过旁人给主持人送、取红外标记，导致对虚拟物品的交互实现过程不方便，而且在旁人给主持人送、取红外标记时，录制必须停止，影响了节目录制效果。因此，现有的技术方法存在主持人无法对虚拟物体便捷地进行交互控制的问题。
发明内容
本发明实施例提供了一种虚拟演播室中主持人对虚拟物体的交互控制方法、装置、设备及介质，旨在解决现有技术方法中所存在的主持人无法对虚拟物体便捷地进行交互控制的问题。
第一方面，本发明实施例提供了一种虚拟演播室中主持人对虚拟物体的交互控制方法，所述方法包括：
获取所述摄像机实时拍摄的蓝箱中的主持人及图形标记的前景影像；所述图形标记设置于虚拟演播室的蓝箱墙面上，所述图形标记与所述蓝箱的墙面颜色相同且明暗程度不同；
对所述前景影像中的图形标记进行识别，得到每一所述图形标记的坐标位置；
将所述前景影像中的主持人影像与渲染生成的虚拟背景进行合成得到节目画面；所述节目画面输出至所述显示终端中进行显示以供主持人察看；
若接收到添加指令，在所述节目画面中生成与所述添加指令对应的虚拟物体及对应的轨迹动画；所述虚拟物体在所述节目画面中沿所述轨迹动画运动并运动至与所述虚拟物体对应的图形标记的坐标位置处；
对所述节目画面中任一所述图形标记内是否出现手部图像进行判断；
若所述图形标记内出现手部图像，将所述图形标记中的虚拟物体与所述手部图像的位置进行绑定，以使所述节目画面中的所述虚拟物体随所述手部图像运动。
第二方面，本发明实施例提供了一种虚拟演播室中主持人对虚拟物体的交互控制装置，其包括：
前景影像获取单元，用于获取所述摄像机实时拍摄的蓝箱中的主持人及图形标记的前景影像；所述图形标记设置于虚拟演播室的蓝箱墙面上，所述图形标记与所述蓝箱的墙面颜色相同且明暗程度不同；
图形标记识别单元，用于对所述前景影像中的图形标记进行识别，得到每一所述图形标记的坐标位置；
节目画面合成单元，用于将所述前景影像中的主持人影像与渲染生成的虚拟背景进行合成得到节目画面；所述节目画面输出至所述显示终端中进行显示以供主持人察看；
轨迹动画添加单元，用于若接收到添加指令，在所述节目画面中生成与所述添加指令对应的虚拟物体及对应的轨迹动画；所述虚拟物体在所述节目画面中沿所述轨迹动画运动并运动至与所述虚拟物体对应的图形标记的坐标位置处；
判断单元，用于对所述节目画面中任一所述图形标记内是否出现手部图像进行判断；
绑定单元，用于若所述图形标记内出现手部图像，将所述图形标记中的虚拟物体与所述手部图像的位置进行绑定，以使所述节目画面中的所述虚拟物体随所述手部图像运动。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的虚拟演播室中主持人对虚拟物体的交互控制方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的虚拟演播室中主持人对虚拟物体的交互控制方法。
本发明实施例提供了一种虚拟演播室中主持人对虚拟物体的交互控制方法、装置、设备及介质。在虚拟演播室的蓝箱墙面上设置图形标记，获取摄像机从蓝箱中实时拍摄的前景影像，对前景影像中的图形标记进行识别得到坐标位置，将前景影像中的主持人影像与虚拟背景进行合成得到节目画面，根据添加指令在节目画面中生成对应虚拟物体及轨迹动画，判断节目画面中任一图形标记内是否出现手部图像，若任一图形标记内出现手部图像，则将图形标记中虚拟物体与手部图像的位置绑定以使虚拟物体随主持人手部进行运行。上述方法，在蓝箱中添加图形标记用于定位虚拟物品的位置并给主持人进行位置指示，虚拟物体通过轨迹动画运动到图形标记处，根据主持人手的位置实现对虚拟物体的交互控制，实现虚拟物体跟随手的位置运动的控制效果，大幅提高了主持人对虚拟物体进行交互控制的效果。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的虚拟演播室中主持人对虚拟物体的交互控制方法的流程示意图；
图2为本发明实施例提供的虚拟演播室中主持人对虚拟物体的交互控制方法的应用场景示意图；
图3为本发明实施例提供的虚拟演播室中主持人对虚拟物体的交互控制方法的子流程示意图；
图4为本发明实施例提供的虚拟演播室中主持人对虚拟物体的交互控制方法的另一子流程示意图；
图5为本发明实施例提供的虚拟演播室中主持人对虚拟物体的交互控制方法的另一流程示意图；
图6为本发明实施例提供的虚拟演播室中主持人对虚拟物体的交互控制方法的又一流程示意图；
图7为本发明实施例提供的虚拟演播室中主持人对虚拟物体的交互控制方法的再一流程示意图；
图8为本发明实施例提供的虚拟演播室中主持人对虚拟物体的交互控制装置的示意性框图；
图9为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1及图2，图1为本发明实施例提供的虚拟演播室中主持人对虚拟物体的交互控制方法的流程示意图，图2为本发明实施例提供的虚拟演播室中主持人对虚拟物体的交互控制方法的应用场景示意图；该虚拟演播室中主持人对虚拟物体的交互控制方法应用于渲染服务器10中，该虚拟演播室中主持人对虚拟物体的交互控制方法通过安装于渲染服务器10中的应用软件进行执行；渲染服务器10与摄像机20及显示终端30建立网络连接以实现数据信息的传输，摄像机20即是可进行拍摄得到音像的拍摄设备，显示终端30即是用于对节目画面进行显示的终端设备，如显示器等；渲染服务器10即是用于执行虚拟演播室中主持人对虚拟物体的交互控制方法以实现在节目画面中对虚拟物体进行交互控制并将节目画面输出的服务器端，如企业内部所构建的服务器端，其中，渲染服务器10可将生成的节目画面生成对应的视频板卡、录制到文件或生成网络推流输出的服务器端。如图1所示，该方法包括步骤S110～S160。
S110、获取所述摄像机实时拍摄的蓝箱中的主持人及图形标记的前景影像。
获取所述摄像机实时拍摄的蓝箱中的主持人及图形标记的前景影像。所述图形标记设置于虚拟演播室的蓝箱墙面上，所述图形标记与所述蓝箱的墙面颜色相同且明暗程度不同。具体的，虚拟演播室由特定颜色的墙面搭建，虚拟演播室内的多个墙面也即组成蓝箱，“蓝箱”是视频拍摄的外置场景，蓝箱可以是红、绿、蓝或其他单一颜色。可在蓝色墙面上设置一个或多个图形标记，图形标记的高度要适合主持人的手进行方便触及，图形标记的颜色与蓝箱的墙面颜色相同，但明暗程度不同。图形标记也可采用与蓝箱的墙面同色的细线悬挂在空中。
主持人进入蓝箱中，可通过摄像机实时拍摄蓝箱中的主持人及图形标记，从而得到前景影像，则前景影像中包括图形标记及主持人影像。
具体的，蓝箱墙面上设置有多个图形标记；所述图形标记的形状各不相同。若需要在蓝箱中设置多个图形标记，则可采用不同形状对图形标记进行区分，如三角形、星型，圆形等。
S120、对所述前景影像中的图形标记进行识别，得到每一所述图形标记的坐标位置。
对所述前景影像中的图形标记进行识别，得到每一所述图形标记的坐标位置。可通过渲染服务器配置的图形识别处理单元对前景影像中的图像标记进行识别，也即是识别获取每一图形标记的坐标位置。具体应用过程中，需根据虚拟演播室构建得到3D空间(三维空间)，则图形标记的坐标位置也即图形标记在所构建的3D空间的具体坐标信息。
在一实施例中，如图3所示，步骤S120包括子步骤S121和S122。
S121、根据3D渲染的相机参数及每一所述图形标记的物理尺寸，确定每一所述图形标记在3D空间的几何顶点参数。
渲染服务器中配置有用于进行图像渲染的渲染服务单元，可通过渲染服务单元根据摄像机的投影矩阵实现2D空间与3D空间的映射，从而构建3D渲染的相机参数，其中，相机参数包括摄像机的张角、位置、朝向等参数信息，摄像机拍摄的前景影像即对应呈现为2D空间，虚拟演播室中的主持人及图形标记与摄像机之间的3D位置关系即可构建形成3D空间，可通过相机参数渲染得到虚拟场景，虚拟场景也即形成一个虚拟的3D空间。具体的，相机参数包含摄像机在3D空间内的摄像机的张角、位置、朝向等参数。可先获取前景影像中每一图形标记的物理尺寸，并根据3D渲染的相机参数确定每一图形标记在3D空间的几何顶点参数(也即图形标记外围多个边界点的三维坐标参数)。
S122、获取所述图形标记的几何顶点参数所围成区域的中心坐标作为所述图形标记的坐标位置。
根据图形标记的几何顶点参数即可确定该图形标记所围合形成的区域，获取所围合形成的区域的中心点坐标即可得到该图形标记的坐标位置。根据上述方法即可确定每一图形标记对应的坐标位置。
S130、将所述前景影像中的主持人影像与渲染生成的虚拟背景进行合成得到节目画面。
将所述前景影像中的主持人影像与渲染生成的虚拟背景进行合成得到节目画面，所述节目画面输出至所述显示终端中进行显示以供主持人察看。渲染服务器中还配置有色键单元，可通过抠图方式将摄像机拍摄的前景影像中的主持人影像从蓝背景中扣出，并将主持人影像，将前景与虚拟背景在色键单元中进行渲染合成从而得到节目画面。其中，用户可通过模板制作单元导入各种媒体素材元素并渲染生成虚拟背景图像，媒体素材元素包括图片、视频、flash、网页、流媒体、3D模型、动画、声音等，按照特定的逻辑关系及状态变化需求生成各种媒体素材元素的各种属性连接、属性仿真及组合动画。
主持人可通过察看显示终端中所显示的节目画面，以获取对虚拟物体进行交互控制的实际效果，并对交互动作进行调整。
除此之外，用户还可通过模板制作单元设置参数，即可根据所输入的设置参数设置虚拟背景图像中各媒体元素的显示区域和方式(如开窗或者全屏)，以及主持人与图文元素的合成方式(如画中画、全屏等)，从而生成对应的播放模板，选择任意一个播放模板作为虚拟背景进行使用，图文元素即上述属性连接、属性仿真及组合动画。
S140、若接收到添加指令，在所述节目画面中生成与所述添加指令对应的虚拟物体及对应的轨迹动画。
若接收到添加指令，在所述节目画面中生成与所述添加指令对应的虚拟物体及对应的轨迹动画，其中所述虚拟物体在所述节目画面中沿所述轨迹动画运动并运动至与所述虚拟物体对应的图形标记的坐标位置处。当需要在虚拟场景中设置某个虚拟物体被主持人抓取时，可输入添加指令至渲染服务器中，添加指令包括所添加虚拟物体的物体标识，以及对应图形标记的标识；渲染服务器中配置有每一虚拟物体及与每一虚拟物体对应的物体标识，每一物体标识与一个虚拟物体对应，则渲染服务器可根据对应关系确定与添加指令唯一对应的一个虚拟物体进行添加，图形标记的标识也即与蓝箱中某一图形标记唯一对应的标识信息，可根据图形标记的标识将所添加的虚拟物体添加至相应图形标记的坐标位置处。具体的，渲染服务器根据添加指令在节目画面中生成与添加指令对应的虚拟物体，并生成与所添加的虚拟物体对应的轨迹动画，节目画面中虚拟物体沿所生成的轨迹动画运动并最终停止在与该虚拟物体对应的图形标记的坐标位置处。
S150、对所述节目画面中任一所述图形标记内是否出现手部图像进行判断。
可对节目画面中任一图形标记内是否出现手部图像进行判断，也即是判断主持人的手是否出现在节目画面的图形标记内。
在一实施例中，如图4所示，步骤S150包括子步骤S151、S152和S153。
S151、对所述节目画面中主持人的手部图像进行解析以得到与所述手部图像对应的手部动作信息。
具体的，可对节目画面进行截取，以从节目画面中获取主持人双手的手部图像，并根据主持人双手的手部图像获取主持人双手的移动轨迹作为与手部图像对应的手部动作信息。如，可根据图像匹配算法对节目画面进行匹配，以获取与手部模板相匹配的图像作为手部图像，获取手部图像在节目画面移动过程的2D位置，作为主持人的手部动作信息。
S152、获取所述手部动作信息的手部坐标信息。
可根据3D渲染的相机参数及手部动作信息中主持人手部在节目画面的2D位置，确定主持人手部在3D空间的几何坐标参数，以得到与手部动作信息对应的手部坐标信息。
S153、判断所述手部坐标信息与任一所述图形标记的坐标位置的间距是否不大于预设间距阈值，以判定任一所述图形标记内是否出现手部图像。
可对手部坐标信息与任一图形标记的坐标位置之间的间距进行计算，也即是计算手部的几何坐标参数与图形标记的坐标位置在3D空间内的间距值，判断主持人双手与任一图形标记之间的间距是否不大于预设间距阈值，若主持人任意一只手与任一图形标记之间的间距不大于预设间距阈值，则判定图形标记内出现手部图像；若主持人的双手与任一图形标记之间的间距均大于预设间距阈值，则判定图形标记内均未出现手部图像。在实际应用过程中，主持人可单手伸入图形标记的区域内对一个虚拟物体单独进行交互操作，也可以双手同时伸入两个不同图形标记的区域内同时对两个虚拟物体进行交互操作。本实施例重点体现主持人单手对一个图形标记的区域内对一个虚拟物体单独进行交互操作的过程，并以此为例对方案实施过程进行说明；双手对两个不同虚拟物体同时进行交互操作的过程与之类似，可依据单手对一个虚拟物体单独进行交互操作的过程类推得到。
S160、若所述图形标记内出现手部图像，将所述图形标记中的虚拟物体与所述手部图像的位置进行绑定，以使所述节目画面中的所述虚拟物体随所述手部图像运动。
若图形标记内出现手部图像，则在渲染服务单元中将节目画面所显示的与该图像标记对应虚拟物体与手部图像所处的位置进行绑定，也即是将与手部图像对应的手部坐标信息作为虚拟物体在节目画面中的显示位置。将虚拟物体与手部图像所处位置进行绑定后，即可使节目画面中虚拟物体随手部图像进行运动，此时虚拟物体在3D空间内的位置即与手部坐标信息相一致。
在一实施例中，如图5所示，步骤S160之后还包括步骤S161。
S161、若接收到解绑指令，对绑定的所述虚拟物体与所述手部图像的位置进行解绑。
若接收到解绑指令，对绑定的所述虚拟物体与所述手部图像的位置进行解绑；所述解绑指令由播控端输入。渲染服务器与播控端相连接，播放管理人员可通过播控端输入相应指令至渲染服务器，渲染服务器可通过播控端接收解绑指令。若渲染服务器接收到解绑指令，即可对与手部图像相绑定的虚拟物体与手部图像的位置进行解绑，此时节目画面中虚拟物体即静止于解绑时刻对应的手部图像的位置处。
在一实施例中，如图6所示，步骤S160之后还包括步骤S162和S163。
S162、判断所述手部图像稳定停留的时长是否大于预设时长；S163、若所述手部图像稳定停留的时长大于预设时长，对绑定的所述虚拟物体与所述手部图像的位置进行解绑。
在另一实施例中，还可获取手部图像的手部坐标信息，并根据手部坐标位置判断手部图像稳定停留的时长是否大于预设时长，如，预设时长可配置为1-3秒。若判断得到手部图像稳定停留的时长大于预设时长，则相当于接收到了“解绑指令”，渲染服务器即可对与手部图像相绑定的虚拟物体与手部图像的位置进行解绑，此时节目画面中虚拟物体即静止于解绑时刻对应的手部图像的位置处。若手部图像稳定停留的时长不大于预设时长，则表明主持人需要在节目画面中继续拖动虚拟物体进行运动，无需对与手部图像相绑定的虚拟物体与手部图像的位置进行解绑。
在一实施例中，如图7所示，步骤S160之后还包括步骤S170。
S170、将所述节目画面同步输出到视频板卡、录制到文件或生成网络推流输出。
将所述节目画面同步输出到视频板卡、录制到文件或生成网络推流输出。在具有应用过程中，步骤S170的具体执行顺序可不做限定，生成节目画面后，即可将节目画面进行输出，也即在S130之后的任意步骤的执行过程中，均可执行步骤S170。在将节目画面输出至显示终端进行显示的同时，还可将节目画面同步输出到视频板卡，或者是同步录制生成视频文件，还可以同步生成网络推流输出(如视频直播流)。
在本发明实施例所提供的虚拟演播室中主持人对虚拟物体的交互控制方法中，在虚拟演播室的蓝箱墙面上设置图形标记，获取摄像机从蓝箱中实时拍摄的前景影像，对前景影像中的图形标记进行识别得到坐标位置，将前景影像中的主持人影像与虚拟背景进行合成得到节目画面，根据添加指令在节目画面中生成对应虚拟物体及轨迹动画，判断节目画面中任一图形标记内是否出现手部图像，若任一图形标记内出现手部图像，则将图形标记中虚拟物体与手部图像的位置绑定以使虚拟物体随主持人手部进行运行。上述方法，在蓝箱中添加图形标记用于定位虚拟物品的位置并给主持人进行位置指示，虚拟物体通过轨迹动画运动到图形标记处，根据主持人手的位置实现对虚拟物体的交互控制，实现虚拟物体跟随手的位置运动的控制效果，大幅提高了主持人对虚拟物体进行交互控制的效果。
本发明实施例还提供一种虚拟演播室中主持人对虚拟物体的交互控制装置，该虚拟演播室中主持人对虚拟物体的交互控制装置可配置于渲染服务器中，渲染服务器与摄像机及显示终端建立网络连接以实现数据信息的传输，该虚拟演播室中主持人对虚拟物体的交互控制装置用于执行前述的虚拟演播室中主持人对虚拟物体的交互控制方法的任一实施例。具体地，请参阅图8，图8为本发明实施例提供的虚拟演播室中主持人对虚拟物体的交互控制装置的示意性框图。
如图8所示，虚拟演播室中主持人对虚拟物体的交互控制装置100包括前景影像获取单元110、图形标记识别单元120、节目画面合成单元130、轨迹动画添加单元140、判断单元150和绑定单元160。
前景影像获取单元110，用于获取所述摄像机实时拍摄的蓝箱中的主持人及图形标记的前景影像；所述图形标记设置于虚拟演播室的蓝箱墙面上，所述图形标记与所述蓝箱的墙面颜色相同且明暗程度不同。
图形标记识别单元120，用于对所述前景影像中的图形标记进行识别，得到每一所述图形标记的坐标位置。
节目画面合成单元130，用于将所述前景影像中的主持人影像与渲染生成的虚拟背景进行合成得到节目画面；所述节目画面输出至所述显示终端中进行显示以供主持人察看。
轨迹动画添加单元140，用于若接收到添加指令，在所述节目画面中生成与所述添加指令对应的虚拟物体及对应的轨迹动画；所述虚拟物体在所述节目画面中沿所述轨迹动画运动并运动至与所述虚拟物体对应的图形标记的坐标位置处。
判断单元150，用于对所述节目画面中任一所述图形标记内是否出现手部图像进行判断。
绑定单元160，用于若所述图形标记内出现手部图像，将所述图形标记中的虚拟物体与所述手部图像的位置进行绑定，以使所述节目画面中的所述虚拟物体随所述手部图像运动。
在本发明实施例所提供的虚拟演播室中主持人对虚拟物体的交互控制装置应用上述虚拟演播室中主持人对虚拟物体的交互控制方法，在虚拟演播室的蓝箱墙面上设置图形标记，获取摄像机从蓝箱中实时拍摄的前景影像，对前景影像中的图形标记进行识别得到坐标位置，将前景影像中的主持人影像与虚拟背景进行合成得到节目画面，根据添加指令在节目画面中生成对应虚拟物体及轨迹动画，判断节目画面中任一图形标记内是否出现手部图像，若任一图形标记内出现手部图像，则将图形标记中虚拟物体与手部图像的位置绑定以使虚拟物体随主持人手部进行运行。上述方法，在蓝箱中添加图形标记用于定位虚拟物品的位置并给主持人进行位置指示，虚拟物体通过轨迹动画运动到图形标记处，根据主持人手的位置实现对虚拟物体的交互控制，实现虚拟物体跟随手的位置运动的控制效果，大幅提高了主持人对虚拟物体进行交互控制的效果。
上述虚拟演播室中主持人对虚拟物体的交互控制方法可以实现为计算机程序的形式，该计算机程序可以在如图9所示的计算机设备上运行。
请参阅图9，图9是本发明实施例提供的计算机设备的示意性框图。该计算机设备可以是用于执行虚拟演播室中主持人对虚拟物体的交互控制方法以实现在节目画面中对虚拟物体进行交互控制并将节目画面输出的渲染服务器。
参阅图9，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括存储介质503和内存储器504。
该存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行虚拟演播室中主持人对虚拟物体的交互控制方法，其中，存储介质503可以为易失性的存储介质或非易失性的存储介质。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行虚拟演播室中主持人对虚拟物体的交互控制方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图9中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现上述的虚拟演播室中主持人对虚拟物体的交互控制方法中对应的功能。
本领域技术人员可以理解，图9中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图9所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为易失性或非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现上述的虚拟演播室中主持人对虚拟物体的交互控制方法中所包含的步骤。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种虚拟演播室中主持人对虚拟物体的交互控制方法，其特征在于，所述方法应用于渲染服务器中，所述渲染服务器与摄像机及显示终端建立信号、数据连接以实现数据信息的传输，所述方法包括：
获取所述摄像机实时拍摄的蓝箱中的主持人及图形标记的前景影像；所述图形标记设置于虚拟演播室的蓝箱墙面上，所述图形标记与所述蓝箱的墙面颜色相同且明暗程度不同；
对所述前景影像中的图形标记进行识别，得到每一所述图形标记的坐标位置；
将所述前景影像中的主持人影像与渲染生成的虚拟背景进行合成得到节目画面；所述节目画面输出至所述显示终端中进行显示以供主持人察看；
若接收到添加指令，在所述节目画面中生成与所述添加指令对应的虚拟物体及对应的轨迹动画；所述虚拟物体在所述节目画面中沿所述轨迹动画运动并运动至与所述虚拟物体对应的图形标记的坐标位置处；
对所述节目画面中任一所述图形标记内是否出现手部图像进行判断；
若所述图形标记内出现手部图像，将所述图形标记中的虚拟物体与所述手部图像的位置进行绑定，以使所述节目画面中的所述虚拟物体随所述手部图像运动。
2.根据权利要求1所述的虚拟演播室中主持人对虚拟物体的交互控制方法，其特征在于，所述对所述前景影像中的图形标记进行识别，得到每一所述图形标记的坐标位置，包括：
根据3D渲染的相机参数及每一所述图形标记的物理尺寸，确定每一所述图形标记在3D空间的几何顶点参数；
获取所述图形标记的几何顶点参数所围成区域的中心坐标作为所述图形标记的坐标位置。
3.根据权利要求1或2所述的虚拟演播室中主持人对虚拟物体的交互控制方法，其特征在于，所述蓝箱墙面上设置有多个图形标记；所述图形标记的形状各不相同。
4.根据权利要求1所述的虚拟演播室中主持人对虚拟物体的交互控制方法，其特征在于，所述对所述节目画面中任一所述图形标记内是否出现手部图像进行判断，包括：
对所述节目画面中主持人的手部图像进行解析以得到与所述手部图像对应的手部动作信息；
获取所述手部动作信息的手部坐标信息；
判断所述手部坐标信息与任一所述图形标记的坐标位置的间距是否不大于预设间距阈值，以判定任一所述图形标记内是否出现手部图像。
5.根据权利要求1所述的虚拟演播室中主持人对虚拟物体的交互控制方法，其特征在于，所述将所述图形标记中的虚拟物体与所述手部图像的位置进行绑定，以使所述节目画面中的所述虚拟物体随所述手部图像运动之后，还包括：
若接收到解绑指令，对绑定的所述虚拟物体与所述手部图像的位置进行解绑；所述解绑指令由播控端输入。
6.根据权利要求1所述的虚拟演播室中主持人对虚拟物体的交互控制方法，其特征在于，所述将所述图形标记中的虚拟物体与所述手部图像的位置进行绑定，以使所述节目画面中的所述虚拟物体随所述手部图像运动之后，还包括：
判断所述手部图像稳定停留的时长是否大于预设时长；
若所述手部图像稳定停留的时长大于预设时长，对绑定的所述虚拟物体与所述手部图像的位置进行解绑。
7.根据权利要求5或6所述的虚拟演播室中主持人对虚拟物体的交互控制方法，其特征在于，所述方法还包括：
将所述节目画面同步输出到视频板卡、录制到文件或生成网络推流输出。
8.一种虚拟演播室中主持人对虚拟物体的交互控制装置，其特征在于，所述装置配置于渲染服务器中，所述渲染服务器与摄像机及显示终端建立网络连接以实现数据信息的传输，所述装置包括：
前景影像获取单元，用于获取所述摄像机实时拍摄的蓝箱中的主持人及图形标记的前景影像；所述图形标记设置于虚拟演播室的蓝箱墙面上，所述图形标记与所述蓝箱的墙面颜色相同且明暗程度不同；
图形标记识别单元，用于对所述前景影像中的图形标记进行识别，得到每一所述图形标记的坐标位置；
节目画面合成单元，用于将所述前景影像中的主持人影像与渲染生成的虚拟背景进行合成得到节目画面；所述节目画面输出至所述显示终端中进行显示以供主持人察看；
轨迹动画添加单元，用于若接收到添加指令，在所述节目画面中生成与所述添加指令对应的虚拟物体及对应的轨迹动画；所述虚拟物体在所述节目画面中沿所述轨迹动画运动并运动至与所述虚拟物体对应的图形标记的坐标位置处；
判断单元，用于对所述节目画面中任一所述图形标记内是否出现手部图像进行判断；
绑定单元，用于若所述图形标记内出现手部图像，将所述图形标记中的虚拟物体与所述手部图像的位置进行绑定，以使所述节目画面中的所述虚拟物体随所述手部图像运动。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的虚拟演播室中主持人对虚拟物体的交互控制方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的虚拟演播室中主持人对虚拟物体的交互控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210474150.0A CN114845148B (zh) | 2022-04-29 | 2022-04-29 | 虚拟演播室中主持人对虚拟物体的交互控制方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210474150.0A CN114845148B (zh) | 2022-04-29 | 2022-04-29 | 虚拟演播室中主持人对虚拟物体的交互控制方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114845148A CN114845148A (zh) | 2022-08-02 |
| CN114845148B true CN114845148B (zh) | 2024-05-03 |
Family
ID=82567826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210474150.0A Active CN114845148B (zh) | 2022-04-29 | 2022-04-29 | 虚拟演播室中主持人对虚拟物体的交互控制方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114845148B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6624853B1 (en) * | 1998-03-20 | 2003-09-23 | Nurakhmed Nurislamovich Latypov | Method and system for creating video programs with interaction of an actor with objects of a virtual space and the objects to one another |
| CN101465957A (zh) * | 2008-12-30 | 2009-06-24 | 应旭峰 | 一种虚拟三维场景中实现遥控互动的系统 |
| CN105959595A (zh) * | 2016-05-27 | 2016-09-21 | 西安宏源视讯设备有限责任公司 | 一种虚拟现实实时交互中虚拟对现实自主响应方法 |
| CN109240492A (zh) * | 2018-08-21 | 2019-01-18 | 安徽励图信息科技股份有限公司 | 通过手势识别控制演播室包装和点评系统的方法 |
| CN114327072A (zh) * | 2021-12-31 | 2022-04-12 | 北京德火科技有限责任公司 | 真实人物和mr虚拟环境中虚拟物体的动作触发交互方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110072046B (zh) * | 2018-08-24 | 2020-07-31 | 北京微播视界科技有限公司 | 图像合成方法和装置 |
-
2022
- 2022-04-29 CN CN202210474150.0A patent/CN114845148B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6624853B1 (en) * | 1998-03-20 | 2003-09-23 | Nurakhmed Nurislamovich Latypov | Method and system for creating video programs with interaction of an actor with objects of a virtual space and the objects to one another |
| CN101465957A (zh) * | 2008-12-30 | 2009-06-24 | 应旭峰 | 一种虚拟三维场景中实现遥控互动的系统 |
| CN105959595A (zh) * | 2016-05-27 | 2016-09-21 | 西安宏源视讯设备有限责任公司 | 一种虚拟现实实时交互中虚拟对现实自主响应方法 |
| CN109240492A (zh) * | 2018-08-21 | 2019-01-18 | 安徽励图信息科技股份有限公司 | 通过手势识别控制演播室包装和点评系统的方法 |
| CN114327072A (zh) * | 2021-12-31 | 2022-04-12 | 北京德火科技有限责任公司 | 真实人物和mr虚拟环境中虚拟物体的动作触发交互方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114845148A (zh) | 2022-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10652519B2 (en) | Virtual insertions in 3D video | |
| US9747870B2 (en) | Method, apparatus, and computer-readable medium for superimposing a graphic on a first image generated from cut-out of a second image | |
| US20100153847A1 (en) | User deformation of movie character images | |
| US9363496B2 (en) | Moving image generation device | |
| US11202104B2 (en) | Information processing apparatus, information processing method, and medium | |
| US9747714B2 (en) | Method, device and computer software | |
| KR101713875B1 (ko) | 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템 | |
| CN110720114A (zh) | 图像处理装置、图像处理方法和程序 | |
| WO2019008356A1 (en) | SYSTEM AND METHOD FOR ENHANCING A 3D PRINTED MODEL | |
| JP7459870B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| US11227428B2 (en) | Modification of a live-action video recording using volumetric scene reconstruction to replace a designated region | |
| CN112446939A (zh) | 三维模型动态渲染方法、装置、电子设备及存储介质 | |
| JP2020173529A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP7476375B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US20230353717A1 (en) | Image processing system, image processing method, and storage medium | |
| CN114845148B (zh) | 虚拟演播室中主持人对虚拟物体的交互控制方法及装置 | |
| Han et al. | A real-time augmented-reality system for sports broadcast video enhancement | |
| CN107430841A (zh) | 信息处理设备、信息处理方法、程序以及图像显示系统 | |
| JP2020101847A (ja) | 画像ファイル生成装置及び画像ファイル生成方法、画像生成装置及び画像生成方法、画像生成システム、並びにプログラム | |
| Rajan et al. | A realistic video avatar system for networked virtual environments | |
| US11605171B1 (en) | Method and apparatus for processing reference inputs for video compositing with replacement | |
| CA3141781C (en) | Reconstruction of obscured views of captured imagery using arbitrary captured inputs | |
| JP7182915B2 (ja) | 画像生成装置、画像生成方法、及びプログラム | |
| WO2020149146A1 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| JP2020095465A (ja) | 画像処理装置、画像処理方法、及び、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |