CN111698543A - 基于演唱场景的交互实现方法、介质及系统 - Google Patents

基于演唱场景的交互实现方法、介质及系统 Download PDF

Info

Publication number
CN111698543A
CN111698543A CN202010469104.2A CN202010469104A CN111698543A CN 111698543 A CN111698543 A CN 111698543A CN 202010469104 A CN202010469104 A CN 202010469104A CN 111698543 A CN111698543 A CN 111698543A
Authority
CN
China
Prior art keywords
human body
picture
data information
fusion
singing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010469104.2A
Other languages
English (en)
Other versions
CN111698543B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Yousong Technology Co ltd
Original Assignee
Xiamen Yousong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Yousong Technology Co ltd filed Critical Xiamen Yousong Technology Co ltd
Priority to CN202010469104.2A priority Critical patent/CN111698543B/zh
Publication of CN111698543A publication Critical patent/CN111698543A/zh
Application granted granted Critical
Publication of CN111698543B publication Critical patent/CN111698543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Abstract

本发明公开了一种基于演唱场景的交互实现方法、介质及系统，其中该方法包括：通过摄像头实时获取控制对象的人体影像，并根据人体影像采集对应的人体数据信息，并将人体影像和人体数据信息发送给PC端；PC端根据人体数据信息进行融合处理以生成融合画面，并将融合画面发送给机顶盒；机顶盒根据移动终端的点播指令获取歌词数据信息，并在演唱过程中实时获取麦克风采集的音频信息以生成歌词进度画面，以及对歌词进度画面与融合画面进行组合处理以生成组合画面，并将组合画面发送给显示屏；显示屏对组合画面进行显示，以便实现控制对象与显示屏的虚拟现实交互；能够满足用户的交互需求，而且无需增加成本，大大提高了用户体验。

Description

基于演唱场景的交互实现方法、介质及系统
技术领域
本发明涉及信息处理技术领域，特别涉及一种基于演唱场景的交互实现方法、一种计算机可读存储介质、一种基于演唱场景的交互实现装置。
背景技术
相关技术中，KTV包房的演唱形式较为单一，要么是通过电视屏显示演唱的mv视频，导致演唱者只能进行演唱，无法与电视屏显示的画面本身进行交互，从而导致用户操作感差，要么是需要佩戴虚拟设备才能进行虚拟交互，无形中增加了KTV场所的使用成本，而且大大降低了用户体验。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于演唱场景的交互实现方法，能够满足用户的交互需求，而且无需增加成本，大大提高了用户体验。
本发明的第二个目的在于提出一种计算机可读存储介质。
本发明的第三个目的在于提出一种基于演唱场景的交互实现系统。
为达到上述目的，本发明第一方面实施例提出了一种基于演唱场景的交互实现方法，包括以下步骤：摄像头实时获取控制对象的人体影像，并根据所述人体影像采集对应的人体数据信息，并将所述人体影像和所述人体数据信息发送给PC端；所述PC端根据所述人体数据信息进行融合处理以生成融合画面，并将所述融合画面发送给机顶盒；所述机顶盒根据移动终端的点播指令获取歌词数据信息，并在演唱过程中实时获取麦克风采集的音频信息，以及根据所述实时获取的音频信息在所述歌词数据信息上生成歌词进度画面，以及对所述歌词进度画面与所述融合画面进行组合处理以生成组合画面，并将所述组合画面发送给显示屏；所述显示屏对所述组合画面进行显示，以便实现所述控制对象与所述显示屏的虚拟现实交互。
根据本发明实施例的基于演唱场景的交互实现方法，首先通过摄像头实时获取控制对象的人体影像，并根据人体影像采集对应的人体数据信息，并将人体影像和人体数据信息发送给PC端，接着通过PC端根据人体数据信息进行融合处理以生成融合画面，并将融合画面发送给机顶盒，再接着机顶盒根据移动终端的点播指令获取歌词数据信息，并在演唱过程中实时获取麦克风采集的音频信息，以及根据实时获取的音频信息在歌词数据信息上生成歌词进度画面，以及对歌词进度画面与融合画面进行组合处理以生成组合画面，并将组合画面发送给显示屏，最后通过显示屏对组合画面进行显示，以便实现控制对象与显示屏的虚拟现实交互；从而实现用户直接与电视屏画面进行互动，无需佩戴设备，大大提高了用户体验。
另外，根据本发明上述实施例提出的基于演唱场景的交互实现方法还可以具有如下附加的技术特征：
可选地，所述PC端根据所述人体数据信息进行融合处理以生成融合画面，包括:通过所述PC端生成3D虚拟角色；对所述人体数据信息和所述3D虚拟角色进行融合处理以生成融合画面，以便所述3D虚拟角色同步所述控制对象的运动轨迹。
可选地，所述PC端根据所述人体数据信息进行融合处理以生成融合画面，包括:所述PC端根据所述人体数据信息在所述人体影像的身体点位上增加动效效果以生成融合画面，以便所述人体影像同步所述控制对象的运动轨迹，并使所述动效效果跟随所述人体影像进行移动。
可选地，所述控制对象通过移动终端扫码登录，以便所述机顶盒获取所述控制对象的点歌指令。
可选地，所述机顶盒还根据所述控制对象的音频信息同步显示所述控制对象的演唱分数。
为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有基于演唱场景的交互实现程序，该基于演唱场景的交互实现程序被处理器执行时实现如上述的基于演唱场景的交互实现方法。
根据本发明实施例的计算机可读存储介质，通过存储基于演唱场景的交互实现程序，以便处理器在执行该基于演唱场景的交互实现程序时实现如上述的基于演唱场景的交互实现方法，从而实现演唱者直接与电视屏画面进行互动，无需佩戴设备，大大提高了用户体验。
为达到上述目的，本发明第三方面实施例提出了一种基于演唱场景的交互实现系统，包括摄像头、PC端、机顶盒和显示屏，其中，所述摄像头实时获取控制对象的人体影像，并根据所述人体影像采集对应的人体数据信息，并将所述人体影像和所述人体数据信息发送给PC端；所述PC端根据所述人体数据信息进行融合处理以生成融合画面，并将所述融合画面发送给机顶盒；所述机顶盒根据移动终端的点播指令获取歌词数据信息，并在演唱过程中实时获取麦克风采集的音频信息，以及根据所述实时获取的音频信息在所述歌词数据信息上生成歌词进度画面，以及对所述歌词进度画面与所述融合画面进行组合处理以生成组合画面，并将所述组合画面发送给显示屏；所述显示屏对所述组合画面进行显示，以便实现所述控制对象与所述显示屏的虚拟现实交互。
根据本发明实施例的基于演唱场景的交互实现系统，通过摄像头实时获取控制对象的人体影像，并根据人体影像采集对应的人体数据信息，并将人体影像和人体数据信息发送给PC端；PC端根据人体数据信息进行融合处理以生成融合画面，并将融合画面发送给机顶盒；机顶盒根据移动终端的点播指令获取歌词数据信息，并在演唱过程中实时获取麦克风采集的音频信息，以及根据实时获取的音频信息在歌词数据信息上生成歌词进度画面，以及对歌词进度画面与融合画面进行组合处理以生成组合画面，并将组合画面发送给显示屏；显示屏对组合画面进行显示，以便实现控制对象与显示屏的虚拟现实交互，从而实现用户直接与电视屏画面进行互动，无需佩戴设备，大大提高了用户体验。
另外，根据本发明上述实施例提出的基于演唱场景的交互实现系统还可以具有如下附加的技术特征：
可选地，所述PC端还用于，生成3D虚拟角色，对所述人体数据信息和所述3D虚拟角色进行融合处理以生成融合画面，以便所述3D虚拟角色同步所述控制对象的运动轨迹。
可选地，所述PC端还用于，根据所述人体数据信息在所述人体影像的身体点位上增加动效效果以生成融合画面，以便所述人体影像同步所述控制对象的运动轨迹，并使所述动效效果跟随所述人体影像进行移动。
可选地，所述机顶盒还用于，根据所述控制对象的音频信息同步显示所述控制对象的演唱分数。
附图说明
图1为根据本发明实施例的基于演唱场景的交互实现方法的流程示意图；
图2为根据本发明另一实施例的数据采集及角色展示的流程效果示意图；
图3为根据本发明另一实施例的电视屏的显示效果示意图；
图4为根据本发明实施例的基于演唱场景的交互实现系统的方框示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
图1为根据本发明实施例的虚拟现实交互的实现方法的流程示意图，如图1所示，本发明实施例的虚拟现实交互的实现方法包括以下步骤：
步骤101，摄像头实时获取控制对象的人体影像，并根据人体影像采集对应的人体数据信息，并将人体影像和人体数据信息发送给PC端。
需要说明的是，上述摄像头可为3D摄像头。
作为一个具体实施例，可在KTV的包厢内安装3D摄像头，在演唱过程中实时获取演唱者的人体影像，以及根据演唱者的人体影像采集对应的人体数据信息，并将采集到的人体影像和人体数据信息发送给PC端。
需要说明的是，上述人体数据信息包括演唱者的动作、表情。
步骤102，PC端根据人体数据信息进行融合处理以生成融合画面，并将融合画面发送给机顶盒。
作为一个具体实施例，PC端生成3D虚拟角色；对人体数据信息和3D虚拟角色进行融合处理以生成融合画面，以便3D虚拟角色同步控制对象的运动轨迹。
也就是说，PC端在接收到3D摄像头发送的人体数据信息后，将与该人体数据信息对应的演唱者绑定的3D虚拟角色进行融合处理以生成融合画面，以便3D虚拟角色同步演唱者的运动轨迹。
作为一个具体实施例，PC端根据人体数据信息在人体影像的身体点位上增加动效效果以生成融合画面，以便人体影像同步所述控制对象的运动轨迹，并使动效效果跟随人体影像进行移动。
也就是说，PC端在收到3D摄像头发送的人体影像和对应的人体数据信息后，在人体影像的身体点位上增加动效效果，并使动效效果跟随人体影像进行移动。
步骤103，机顶盒根据移动终端的点播指令获取歌词数据信息，并在演唱过程中实时获取麦克风采集的音频信息，以及根据实时获取的音频信息在歌词数据信息上生成歌词进度画面，以及对歌词进度画面与融合画面进行组合处理以生成组合画面，并将组合画面发送给显示屏。
需要说明的是，控制对象通过移动终端扫码登录，以便机顶盒获取控制对象的点歌指令。
作为一个实施例，机顶盒还根据控制对象的音频信息同步显示控制对象的演唱分数。
步骤104，显示屏对组合画面进行显示，以便实现控制对象与显示屏的虚拟现实交互。
需要说明的是，控制对象在演唱过程中，显示屏显示的组合画面中的融合画面同步控制对象的轨迹，所述显示屏显示的组合画面中的歌词进度画面根据控制对象的音频信息同步显示歌词进度，从而实现控制对象与显示屏的虚拟现实交互。
为了更清楚的说明本发明的技术方案，如图2所示，通过数据采集及角色展示的流程效果示意图，对本发明进行进一步说明。
作为一个实施例，如图2所示，演唱者进入演唱场景后，通过移动终端扫码登入点歌，并记录演唱者信息，播放演唱者点播歌曲时生成3D虚拟角色并与对应点歌演唱者信息进行绑定；通过摄像头在演唱者演唱过程中对演唱者的动作、表情进行AR捕捉采集；并将采集到的上述实景人体数据传输到PC，以便PC对3D角色和实景人体数据进行unity处理并生成同步实景人体动作、表情等数据的3D虚拟角色的画面；PC将该画面传输给机顶盒，机顶盒同时获取演唱过程的麦克风声音+歌曲资源的歌词文件；最终机顶盒根据声音生成画面评分+歌词进度，并组合pc传输过来的3D虚拟角色同步画面，生成组合画面传输给电视屏进行显示。
最终电视屏显示的虚拟角色和歌词显示的交互画面如图2中的模式1所示，需要说明的是该演唱场景可实现多个演唱者和多个虚拟角色之间的交互。
作为一个实施例，如图2所示，演唱者进入演唱场景后，通过移动终端扫码登入点歌，并记录演唱者信息，通过摄像头在演唱者演唱过程中对演唱者的动作、表情进行AR捕捉采集；并将采集到的上述实景人体数据和人体影像传输到PC，以便pc通过unity对人体影像和实景人体数据进行处理，实现在人物身体点位增加动效效果，并使该动效效果跟随人体身体点位进行移动；PC将该画面传输至机顶盒，机顶盒同时获取演唱过程的麦克风声音+歌曲资源的歌词文件；最终机顶盒根据声音生成画面评分+歌词进度，并组合pc传输过来的真实人体影像+动效效果，生成组合画面传输给电视屏进行显示。
最终电视屏显示的组合画面如图2中的模式2所示，需要说明的是该演唱场景可实现多个演唱者和多个人体影像之间的交互。
作为一个实施例，最终电视屏显示的完整画面如图3所示。
需要说明的是，为增强虚拟与现实演唱环境的AR联动，本发明同时将演唱场景内实景舞台的面积增大并配合舞台背景灯光和吊顶灯光，在演唱过程以音乐为纽带，演唱效果设计进行联动串联。
综上所述，根据本发明实施例的基于演唱场景的交互实现方法，首先通过摄像头实时获取控制对象的人体影像，并根据人体影像采集对应的人体数据信息，并将人体影像和人体数据信息发送给PC端，接着通过PC端根据人体数据信息进行融合处理以生成融合画面，并将融合画面发送给机顶盒，再接着机顶盒根据移动终端的点播指令获取歌词数据信息，并在演唱过程中实时获取麦克风采集的音频信息，以及根据实时获取的音频信息在歌词数据信息上生成歌词进度画面，以及对歌词进度画面与融合画面进行组合处理以生成组合画面，并将组合画面发送给显示屏，最后通过显示屏对组合画面进行显示，以便实现控制对象与显示屏的虚拟现实交互；从而实现用户直接与电视屏画面进行互动，无需佩戴设备，大大提高了用户体验。
另外，本发明实施例还提出了一种计算机可读存储介质，其上存储有基于演唱场景的交互实现程序，该基于演唱场景的交互实现程序被处理器执行时实现如上述的基于演唱场景的交互实现方法。
根据本发明实施例的计算机可读存储介质，通过存储基于演唱场景的交互实现程序，以便处理器在执行该基于演唱场景的交互实现程序时实现如上述的基于演唱场景的交互实现方法，从而实现演唱者直接与电视屏画面进行互动，无需佩戴设备，大大提高了用户体验。
图4为根据本发明实施例的基于演唱场景的交互实现系统的方框示意图，如图4所示，该基于演唱场景的交互实现系统包括摄像头201、PC端202、机顶盒203和显示屏204。
其中，摄像头201实时获取控制对象的人体影像，并根据人体影像采集对应的人体数据信息，并将人体影像和人体数据信息发送给PC端202；PC端202根据人体数据信息进行融合处理以生成融合画面，并将融合画面发送给机顶盒203；机顶盒203根据移动终端的点播指令获取歌词数据信息，并在演唱过程中实时获取麦克风采集的音频信息，以及根据实时获取的音频信息在歌词数据信息上生成歌词进度画面，以及对歌词进度画面与融合画面进行组合处理以生成组合画面，并将组合画面发送给显示屏204；显示屏204对组合画面进行显示，以便实现控制对象与显示屏的虚拟现实交互。
作为一个实施例，PC端202还用于，生成3D虚拟角色，对人体数据信息和3D虚拟角色进行融合处理以生成融合画面，以便3D虚拟角色同步控制对象的运动轨迹。
作为一个实施例，PC端202还用于，根据人体数据信息在人体影像的身体点位上增加动效效果以生成融合画面，以便人体影像同步控制对象的运动轨迹，并使动效效果跟随所述人体影像进行移动。
作为一个实施例，机顶盒203还用于，根据控制对象的音频信息同步显示控制对象的演唱分数。
需要说明的是，前述对于基于演唱场景的交互实现方法的实施例的解释说明同样适用于本实施例的基于演唱场景的交互实现系统，此处不再赘述。
根据本发明实施例的基于演唱场景的交互实现系统，通过摄像头实时获取控制对象的人体影像，并根据人体影像采集对应的人体数据信息，并将人体影像和人体数据信息发送给PC端；PC端根据人体数据信息进行融合处理以生成融合画面，并将融合画面发送给机顶盒；机顶盒根据移动终端的点播指令获取歌词数据信息，并在演唱过程中实时获取麦克风采集的音频信息，以及根据实时获取的音频信息在歌词数据信息上生成歌词进度画面，以及对歌词进度画面与融合画面进行组合处理以生成组合画面，并将组合画面发送给显示屏；显示屏对组合画面进行显示，以便实现控制对象与显示屏的虚拟现实交互，从而实现用户直接与电视屏画面进行互动，无需佩戴设备，大大提高了用户体验。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于演唱场景的交互实现方法，其特征在于，包括以下步骤：
摄像头实时获取控制对象的人体影像，并根据所述人体影像采集对应的人体数据信息，并将所述人体影像和所述人体数据信息发送给PC端；
所述PC端根据所述人体数据信息进行融合处理以生成融合画面，并将所述融合画面发送给机顶盒；
所述机顶盒根据移动终端的点播指令获取歌词数据信息，并在演唱过程中实时获取麦克风采集的音频信息，以及根据所述实时获取的音频信息在所述歌词数据信息上生成歌词进度画面，以及对所述歌词进度画面与所述融合画面进行组合处理以生成组合画面，并将所述组合画面发送给显示屏；
所述显示屏对所述组合画面进行显示，以便实现所述控制对象与所述显示屏的虚拟现实交互。
2.如权利要求1所述的基于演唱场景的交互实现方法，其特征在于，所述PC端根据所述人体数据信息进行融合处理以生成融合画面，包括:
通过所述PC端生成3D虚拟角色；
对所述人体数据信息和所述3D虚拟角色进行融合处理以生成融合画面，以便所述3D虚拟角色同步所述控制对象的运动轨迹。
3.如权利要求1所述的基于演唱场景的交互实现方法，其特征在于，所述PC端根据所述人体数据信息进行融合处理以生成融合画面，包括:
所述PC端根据所述人体数据信息在所述人体影像的身体点位上增加动效效果以生成融合画面，以便所述人体影像同步所述控制对象的运动轨迹，并使所述动效效果跟随所述人体影像进行移动。
4.如权利要求1-3中任一项所述的基于演唱场景的交互实现方法，其特征在于，所述控制对象通过移动终端扫码登录，以便所述机顶盒获取所述控制对象的点歌指令。
5.如权利要求1-3中任一项所述的基于演唱场景的交互实现方法，其特征在于，所述机顶盒还根据所述控制对象的音频信息同步显示所述控制对象的演唱分数。
6.一种计算机可读存储介质，其特征在于，其上存储有基于演唱场景的交互实现程序，该基于演唱场景的交互实现程序被处理器执行时实现如权利要求1-5中任一项所述的基于演唱场景的交互实现方法。
7.一种基于演唱场景的交互实现系统，其特征在于，包括摄像头、PC端、机顶盒和显示屏，其中，
所述摄像头实时获取控制对象的人体影像，并根据所述人体影像采集对应的人体数据信息，并将所述人体影像和所述人体数据信息发送给PC端；
所述PC端根据所述人体数据信息进行融合处理以生成融合画面，并将所述融合画面发送给机顶盒；
所述机顶盒根据移动终端的点播指令获取歌词数据信息，并在演唱过程中实时获取麦克风采集的音频信息，以及根据所述实时获取的音频信息在所述歌词数据信息上生成歌词进度画面，以及对所述歌词进度画面与所述融合画面进行组合处理以生成组合画面，并将所述组合画面发送给显示屏；
所述显示屏对所述组合画面进行显示，以便实现所述控制对象与所述显示屏的虚拟现实交互。
8.如权利要求7所述的基于演唱场景的交互实现系统，其特征在于，所述PC端还用于，生成3D虚拟角色，对所述人体数据信息和所述3D虚拟角色进行融合处理以生成融合画面，以便所述3D虚拟角色同步所述控制对象的运动轨迹。
9.如权利要求7所述的基于演唱场景的交互实现系统，其特征在于，所述PC端还用于，根据所述人体数据信息在所述人体影像的身体点位上增加动效效果以生成融合画面，以便所述人体影像同步所述控制对象的运动轨迹，并使所述动效效果跟随所述人体影像进行移动。
10.如权利要求7-9中任一项所述的基于演唱场景的交互实现系统，其特征在于，所述机顶盒还用于，根据所述控制对象的音频信息同步显示所述控制对象的演唱分数。
CN202010469104.2A 2020-05-28 2020-05-28 基于演唱场景的交互实现方法、介质及系统 Active CN111698543B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010469104.2A CN111698543B (zh) 2020-05-28 2020-05-28 基于演唱场景的交互实现方法、介质及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010469104.2A CN111698543B (zh) 2020-05-28 2020-05-28 基于演唱场景的交互实现方法、介质及系统

Publications (2)

Publication Number Publication Date
CN111698543A true CN111698543A (zh) 2020-09-22
CN111698543B CN111698543B (zh) 2022-06-14

Family

ID=72478494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010469104.2A Active CN111698543B (zh) 2020-05-28 2020-05-28 基于演唱场景的交互实现方法、介质及系统

Country Status (1)

Country Link
CN (1) CN111698543B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114642886A (zh) * 2020-12-17 2022-06-21 丰田自动车株式会社 移动体
CN115619912A (zh) * 2022-10-27 2023-01-17 深圳市诸葛瓜科技有限公司 一种基于虚拟现实技术的动漫人物展示系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102036100A (zh) * 2010-11-30 2011-04-27 深圳市同洲电子股份有限公司 一种实现Internet虚拟KTV娱乐的方法与系统
US20130332304A1 (en) * 2012-06-11 2013-12-12 The Western Union Company Singing telegram
CN106303289A (zh) * 2015-06-05 2017-01-04 福建凯米网络科技有限公司 一种将真实对象与虚拟场景融合显示的方法、装置及系统
CN106488264A (zh) * 2016-11-24 2017-03-08 福建星网视易信息系统有限公司 在演唱直播中显示歌词的方法、系统及装置
CN206042159U (zh) * 2016-08-31 2017-03-22 厦门轻游信息科技有限公司 一种虚拟互动目标影像捕捉用多角度自动捕捉装置
CN106792246A (zh) * 2016-12-09 2017-05-31 福建星网视易信息系统有限公司 一种融合式虚拟场景互动的方法及系统
CN110650354A (zh) * 2019-10-12 2020-01-03 苏州大禹网络科技有限公司 虚拟动漫角色直播方法、系统、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102036100A (zh) * 2010-11-30 2011-04-27 深圳市同洲电子股份有限公司 一种实现Internet虚拟KTV娱乐的方法与系统
US20130332304A1 (en) * 2012-06-11 2013-12-12 The Western Union Company Singing telegram
CN106303289A (zh) * 2015-06-05 2017-01-04 福建凯米网络科技有限公司 一种将真实对象与虚拟场景融合显示的方法、装置及系统
CN206042159U (zh) * 2016-08-31 2017-03-22 厦门轻游信息科技有限公司 一种虚拟互动目标影像捕捉用多角度自动捕捉装置
CN106488264A (zh) * 2016-11-24 2017-03-08 福建星网视易信息系统有限公司 在演唱直播中显示歌词的方法、系统及装置
CN106792246A (zh) * 2016-12-09 2017-05-31 福建星网视易信息系统有限公司 一种融合式虚拟场景互动的方法及系统
CN110650354A (zh) * 2019-10-12 2020-01-03 苏州大禹网络科技有限公司 虚拟动漫角色直播方法、系统、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114642886A (zh) * 2020-12-17 2022-06-21 丰田自动车株式会社 移动体
CN115619912A (zh) * 2022-10-27 2023-01-17 深圳市诸葛瓜科技有限公司 一种基于虚拟现实技术的动漫人物展示系统及方法

Also Published As

Publication number Publication date
CN111698543B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
US10699482B2 (en) Real-time immersive mediated reality experiences
CN106792246B (zh) 一种融合式虚拟场景互动的方法及系统
CN106303555B (zh) 一种基于混合现实的直播方法、装置和系统
US8990842B2 (en) Presenting content and augmenting a broadcast
CN107633441A (zh) 追踪识别视频图像中的商品并展示商品信息的方法和装置
CN113473159B (zh) 数字人直播方法、装置、直播管理设备及可读存储介质
CN110602517B (zh) 基于虚拟环境的直播方法、装置和系统
US20150193970A1 (en) Video playing method and system based on augmented reality technology and mobile terminal
WO2012039871A2 (en) Automatic customized advertisement generation system
CN108449632B (zh) 一种演唱视频实时合成的方法及终端
CN111698543B (zh) 基于演唱场景的交互实现方法、介质及系统
JP2002271693A (ja) 画像処理装置、画像処理方法、及び制御プログラム
US10289193B2 (en) Use of virtual-reality systems to provide an immersive on-demand content experience
JP4981370B2 (ja) 動画生成システム、及び動画生成方法
KR20150131215A (ko) 3d 모바일 및 커넥티드 tv 광고 트래피킹 시스템
CN106534618A (zh) 伪现场解说实现方法、装置和系统
KR100901111B1 (ko) 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템
CN110730340A (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
JP2020102782A (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
KR102200239B1 (ko) 실시간 cg 영상 방송 서비스 시스템
JP2017506523A (ja) 画像表示方法及び装置
KR20180021623A (ko) Vr 콘텐츠 제공 시스템 및 방법
CN113315885B (zh) 一种用于远程互动的全息演播室及系统
CN107135407B (zh) 一种钢琴视频教学中的同步方法及系统
CN113259544B (zh) 一种远程互动全息演示系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant