CN109005416A - 直播中ar扫描互动方法、存储介质、设备及系统 - Google Patents

直播中ar扫描互动方法、存储介质、设备及系统 Download PDF

Info

Publication number
CN109005416A
CN109005416A CN201810859723.5A CN201810859723A CN109005416A CN 109005416 A CN109005416 A CN 109005416A CN 201810859723 A CN201810859723 A CN 201810859723A CN 109005416 A CN109005416 A CN 109005416A
Authority
CN
China
Prior art keywords
picture
live streaming
present banner
live
banner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810859723.5A
Other languages
English (en)
Other versions
CN109005416B (zh
Inventor
李亮
陈少杰
张文明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Siyou Network Technology Co ltd
Original Assignee
Wuhan Douyu Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Douyu Network Technology Co Ltd filed Critical Wuhan Douyu Network Technology Co Ltd
Priority to CN201810859723.5A priority Critical patent/CN109005416B/zh
Publication of CN109005416A publication Critical patent/CN109005416A/zh
Application granted granted Critical
Publication of CN109005416B publication Critical patent/CN109005416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种直播中AR扫描互动方法、存储介质、设备及系统，涉及直播应用领域，该方法包括拍摄展示礼物横幅的直播画面；识别直播画面中礼物横幅的种类；播放对应礼物横幅的AR动画。所述直播画面展示礼物横幅时，所展示的礼物横幅在直播画面停留预设时间；所述识别直播画面中礼物横幅的种类之前，还包括自动裁剪出拍摄画面中的礼物横幅；所述自动裁剪出拍摄画面中礼物横幅为对拍摄的实时直播画面进行裁切，裁切出直播画面中的礼物横幅，并对礼物横幅进行扫描，识别礼物横幅的种类。本发明能够提升直播观看时观众与观众之间的互动性，同时提高直播的趣味性。

Description

直播中AR扫描互动方法、存储介质、设备及系统
技术领域
本发明涉及直播应用领域，具体涉及一种直播中AR扫描互动方法、存储介质、设备及系统。
背景技术
AR(Augmented Reality，增强现实技术)是一种实时地计算摄像机影像的位置和角度，并加上相应图像、视频3D模型的技术，该技术的目标是在屏幕上把虚拟世界套在现实世界并经行互动，如今，随着移动智能电子设备CPU运算能力的提升，AR技术的用途越来越广泛。
同时，直播作为一个新兴行业，受到越来越多人的关注，更多的年轻人喜欢通过观看直播的方式来打发业余时光，但主播在直播的过程中，现有的直播技术仅提供主播与观众间的互动方式，互动方式较为单一，长此以往，便会逐渐降低直播的趣味性。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种直播中AR扫描互动方法，能够提升直播观看时观众与观众之间的互动性，同时提高直播的趣味性。。
为达到以上目的，本发明采取的技术方案是，包括：
拍摄展示礼物横幅的直播画面；
识别直播画面中礼物横幅的种类；
播放对应礼物横幅的AR动画。
在上述技术方案的基础上，
所述直播画面展示礼物横幅时，所展示的礼物横幅在直播画面停留预设时间；
所述识别直播画面中礼物横幅的种类之前，还包括自动裁剪出拍摄画面中的礼物横幅；
所述自动裁剪出拍摄画面中礼物横幅为对拍摄的实时直播画面进行裁切，裁切出直播画面中的礼物横幅，并对裁剪出的礼物横幅进行扫描，识别礼物横幅的种类；
所述扫描的扫描框为正六边形，当对直播画面进行拍摄时，扫描框对准直播画面的礼物横幅进行直播画面的拍摄。
在上述技术方案的基础上，所述自动裁剪出拍摄画面中礼物横幅，具体步骤包括：
S101：在智能移动终端屏幕中建立坐标系，并计算扫描框在智能移动终端屏幕中的坐标，以及扫描框在智能移动终端屏幕上的AABB包围盒，所述智能移动终端用于对直播画面进行拍摄；
S102：将智能移动终端屏幕中的坐标映射到拍摄的直播画面中，映射公式为：
A_X_max/B_X_max＝W1/W
A_Y_max/B_Y_max＝H1/H
其中，W为直播画面的宽度，H为直播画面的高度，W1为智能移动终端屏幕的宽度，H1为智能移动终端屏幕的高度，A_X_max为智能移动终端屏幕上扫描框的AABB包围盒在X轴上的最大值，A_Y_max为智能移动终端屏幕上扫描框的AABB包围盒在Y轴上的最大值，B_X_max为直播画面中对应于A_X_max的值，B_Y_max为直播画面中对应于A_Y_max的值；
S103：计算扫描框在直播画面中的AABB包围盒坐标点；
S104：基于扫描框在直播画面中的AABB包围盒坐标点，裁剪出直播画面中的扫描框，得到直播图像中的礼物横幅，然后对礼物横幅进行扫描，识别出礼物横幅的种类。
在上述技术方案的基础上，
采用智能移动终端对直播画面进行拍摄；
所述智能移动终端中运行有直播移动客户端；
对礼物横幅进行扫描识别的功能集成于直播移动客户端中；
所述直播移动客户端中预设有AR动画，且不同种类的礼物横幅对应不同AR动画；
所述智能移动终端中播放对应礼物横幅的AR动画。
在上述技术方案的基础上，智能移动终端中播放对应礼物横幅的AR动画之后，智能移动终端中运行的直播移动客户端所登陆的账户获得设定奖励。
本发明还提供一种存储介质，该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
拍摄展示礼物横幅的直播画面；
识别直播画面中礼物横幅的种类；
播放对应礼物横幅的AR动画。
本发明还提供一种电子设备，所述电子设备包括：
拍摄单元，其用于拍摄展示礼物横幅的直播画面；
识别单元，其用于识别拍摄单元拍摄的直播画面中礼物横幅的种类；
播放单元，其用于播放对应礼物横幅的AR动画。
本发明还提供一种直播中AR扫描互动系统，包括：
拍摄模块，其用于拍摄展示礼物横幅的直播画面；
识别模块，其用于识别拍摄单元拍摄的直播画面中礼物横幅的种类；
播放模块，其用于播放对应礼物横幅的AR动画。
在上述技术方案的基础上，
所述直播画面展示礼物横幅时，所展示的礼物横幅在直播画面停留预设时间；
所述识别直播画面中礼物横幅的种类之前，还包括自动裁剪出拍摄画面中的礼物横幅；
所述自动裁剪出拍摄画面中礼物横幅为对拍摄的实时直播画面进行裁切，裁切出直播画面中的礼物横幅，并对裁剪出的礼物横幅进行扫描，识别礼物横幅的种类；
所述扫描的扫描框为正六边形，当对直播画面进行拍摄时，扫描框对准直播画面的礼物横幅进行直播画面的拍摄。
在上述技术方案的基础上，所述自动裁剪出拍摄画面中礼物横幅，具体步骤包括：
在智能移动终端屏幕中建立坐标系，并计算扫描框在智能移动终端屏幕中的坐标，以及扫描框在智能移动终端屏幕上的AABB包围盒，所述智能移动终端用于对直播画面进行拍摄；
将智能移动终端屏幕中的坐标映射到拍摄的直播画面中，映射公式为：
A_X_max/B_X_max＝W1/W
A_Y_max/B_Y_max＝H1/H
其中，W为直播画面的宽度，H为直播画面的高度，W1为智能移动终端屏幕的宽度，H1为智能移动终端屏幕的高度，A_X_max为智能移动终端屏幕上扫描框的AABB包围盒在X轴上的最大值，A_Y_max为智能移动终端屏幕上扫描框的AABB包围盒在Y轴上的最大值，B_X_max为直播画面中对应于A_X_max的值，B_Y_max为直播画面中对应于A_Y_max的值；
计算扫描框在直播画面中的AABB包围盒坐标点；
基于扫描框在直播画面中的AABB包围盒坐标点，裁剪出直播画面中的扫描框，得到直播图像中的礼物横幅，然后对礼物横幅进行扫描，识别出礼物横幅的种类。
与现有技术相比，本发明的优点在于：当观众在直播中进行礼物赠送时，直播画面中展示礼物横幅，此时其它观众使用智能移动终端对直播画面进行拍摄，识别直播画面中的礼物横幅，并在智能移动终端进行相应AR动画的播放，有效提升直播观看时观众与观众之间的互动性，同时也极大地提高了直播的趣味性。
附图说明
图1为本发明实施例中一种直播中AR扫描互动方法的流程图；
图2为本发明实施例中一种电子设备的结构示意图。
具体实施方式
以下结合附图及实施例对本发明作进一步详细说明。
参见图1所示，本发明实施例提供一种直播中AR扫描互动方法，用于在直播中进行AR扫描识别，增强观众与观众之间的互动性。本发明实施例的直播中AR扫描互动方法，具体包括以下步骤：
S1：拍摄展示礼物横幅的直播画面。当直播中出现礼物赠送，直播画面便会展示礼物横幅，主播在直播的过程中，观众进行直播的观看，此时观众为表示对主播的喜爱，任一观众对主播进行虚拟礼物的赠送，该主播直播房间下所有观众观看的直播画面上均会进行礼物赠送的提示，并在直播画面上礼物横幅的展示，不同的礼物对应不同的礼物横幅，礼物横幅为显示在直播画面上的静止或滚动的图片，如观众对直播进行火箭礼物的赠送，则直播画面展示的礼物横幅为火箭图案。且当直播画面展示礼物横幅时，所展示的礼物横幅在直播画面停留预设时间，即礼物横幅会在直播画面上停留一时间段，当时间结束后，礼物横幅从直播画面上消失，预设时间的长短由开发人员根据需要灵活设定。
具体的使用智能移动终端对直播画面进行拍摄。观众使用PC或智能移动终端进行直播的观看，当直播画面上出现礼物横幅时，当前直播房间内观看直播的所有观众均可使用另外的智能移动终端对直播画面进行拍摄。本发明实施例中，智能移动终端为运行安卓系统或IOS系统的智能手机，且智能移动终端含有摄像头，观众使用智能移动终端的摄像头对直播画面进行拍摄。
S2：识别直播画面中礼物横幅的种类。识别直播画面中礼物横幅的种类之前，还包括自动裁剪出拍摄画面中的礼物横幅。自动裁剪出拍摄画面中礼物横幅为对拍摄的实时直播画面进行裁切，裁切出直播画面中的礼物横幅，并对裁剪出的礼物横幅进行扫描，识别礼物横幅的种类。智能移动终端中运行有直播移动客户端，对礼物横幅进行扫描识别的功能集成于直播移动客户端中，扫描的扫描框为正六边形，当智能移动终端对直播画面进行拍摄时，智能移动终端屏幕中显示扫描框，且扫描框对准直播画面的礼物横幅进行直播画面的拍摄。当直播画面中出现礼物横幅时，用户使用智能移动终端中直播移动客户端的扫描功能对直播画面进行拍摄，且扫描的扫描框正对直播画面中的礼物横幅。
自动裁剪出拍摄画面中礼物横幅，具体的包括：
S101：在智能移动终端屏幕中建立坐标系，并计算扫描框在智能移动终端屏幕中的坐标，以及扫描框在智能移动终端屏幕上的AABB包围盒。智能移动终端用于对直播画面进行拍摄。扫描框在智能移动终端屏幕上的AABB包围盒指智能移动终端屏幕的坐标系中，扫描框的正六边形在X轴和Y轴上的最大值和最小值，具体的表示为：智能移动终端屏幕上扫描框的AABB包围盒在X轴上的最大值为A_X_max，最小值为A_X_min，智能移动终端屏幕上扫描框的AABB包围盒在Y轴上的最大值为A_Y_max，最小值为A_Y_min。
对于智能移动终端屏幕上扫描框的AABB包围盒在X轴和Y轴上的最大值和最小值，求解的相应代码为：
定义
A_X_max＝A[0].x；
A_X_min＝A[0].x；
A_Y_max＝A[0].y；
A_Y_min＝A[0].y；
然后计算
S102：将智能移动终端屏幕中的坐标映射到拍摄的直播画面中，映射公式为：
A_X_max/B_X_max＝W1/W
A_Y_max/B_Y_max＝H1/H
其中，W为直播画面的宽度，H为直播画面的高度，W1为智能移动终端屏幕的宽度，H1为智能移动终端屏幕的高度，A_X_max为智能移动终端屏幕上扫描框的AABB包围盒在X轴上的最大值，A_Y_max为智能移动终端屏幕上扫描框的AABB包围盒在Y轴上的最大值，B_X_max为直播画面中对应于A_X_max的值，B_Y_max为直播画面中对应于A_Y_max的值。
在直播画面中建立坐标系，通过上述公式将扫描框在智能移动终端屏幕上的坐标映射到直播画面的坐标系中，进而便可求得扫描框在直播画面中的AABB包围盒坐标点。
S103：计算扫描框在直播画面中的AABB包围盒坐标点；
S104：基于扫描框在直播画面中的AABB包围盒坐标点，裁剪出直播画面中的扫描框，得到直播图像中的礼物横幅，然后对礼物横幅进行扫描，识别出礼物横幅的种类。因为拍摄时扫描框是正对礼物横幅的，此时裁剪出直播画面中的扫描框，便可得到只包含礼物横幅的局部图像，通过对该局部图像进行扫描识别，可极大地提高AR扫描的识别率。
对于直播图像裁切的过程，假设扫描框在直播画面中的AABB包围盒左上角坐标为A(left,top)，右下角坐标为B(right,bottom)，直播画面图像宽高分别为W和H，假设保存原始图像的内存地址为src，保存剪裁后的图像内存地址为dst。
则剪裁图像的算法如下：
其中memcpy为内存拷贝函数，memcpy中的第一个参数为目标地址，第二个参数为原始地址，第三个参数为拷贝内存数据的长度。
S3：播放对应礼物横幅的AR动画，具体的，智能移动终端中播放对应礼物横幅的AR动画。当扫描识别到礼物横幅后，此时智能移动终端中播放AR动画。智能移动终端中运行有直播移动客户端，直播移动客户端中预设有AR动画，且不同种类的礼物横幅对应不同AR动画，AR是将现实与虚拟进行结合的技术，故对于智能移动终端中播放的AR动画，如观众赠送的礼物为火箭，此时直播画面中展示的礼物横幅为对应于火箭的礼物横幅，当拍摄直播画面裁切得到火箭的礼物横幅后，此时观众在智能移动终端看到的AR动画为火箭从直播画面中向上飞起，如观众赠送的礼物为飞机，则观众在智能移动终端看到的AR动画为一架飞机从直播画面中腾空飞机。
进一步的，当智能移动终端中播放对应礼物横幅的AR动画之后，智能移动终端中运行的直播移动客户端所登陆的账户获得设定奖励，如虚拟金币、鱼丸等，通过奖励的方式提升观众参与直播互动的积极性。
本发明实施例的直播中AR扫描互动方法，当观众在直播中进行礼物赠送时，直播画面中展示礼物横幅，此时其它观众使用智能移动终端对直播画面进行拍摄，识别直播画面中的礼物横幅，并在智能移动终端进行相应AR动画的播放，有效提升直播观看时观众与观众之间的互动性，同时也极大地提高了直播的趣味性。
本发明实施例还提供一种存储介质，该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
拍摄展示礼物横幅的直播画面；
识别直播画面中礼物横幅的种类；
播放对应礼物横幅的AR动画。
直播画面展示礼物横幅时，所展示的礼物横幅在直播画面停留预设时间；识别直播画面中礼物横幅的种类之前，还包括自动裁剪出拍摄画面中的礼物横幅；自动裁剪出拍摄画面中礼物横幅为对拍摄的实时直播画面进行裁切，裁切出直播画面中的礼物横幅，并对裁剪出的礼物横幅进行扫描，识别礼物横幅的种类；扫描的扫描框为正六边形，当对直播画面进行拍摄时，扫描框对准直播画面的礼物横幅进行直播画面的拍摄。
参见图2所示，本发明实施例还提供一种电子设备，所述电子设备包括拍摄单元、识别单元和播放单元。
拍摄单元用于拍摄展示礼物横幅的直播画面；识别单元用于识别拍摄单元拍摄的直播画面中礼物横幅的种类；播放单元用于播放对应礼物横幅的AR动画。
本发明还提供一种直播中AR扫描互动系统，包括拍摄模块、识别模块和播放模块。
拍摄模块用于拍摄展示礼物横幅的直播画面；识别模块用于识别拍摄单元拍摄的直播画面中礼物横幅的种类；播放模块用于播放对应礼物横幅的AR动画。
直播画面展示礼物横幅时，所展示的礼物横幅在直播画面停留预设时间；识别直播画面中礼物横幅的种类之前，还包括自动裁剪出拍摄画面中的礼物横幅；自动裁剪出拍摄画面中礼物横幅为对拍摄的实时直播画面进行裁切，裁切出直播画面中的礼物横幅，并对裁剪出的礼物横幅进行扫描，识别礼物横幅的种类；扫描的扫描框为正六边形，当对直播画面进行拍摄时，扫描框对准直播画面的礼物横幅进行直播画面的拍摄。
自动裁剪出拍摄画面中礼物横幅，具体过程包括：
在智能移动终端屏幕中建立坐标系，并计算扫描框在智能移动终端屏幕中的坐标，以及扫描框在智能移动终端屏幕上的AABB包围盒，智能移动终端用于对直播画面进行拍摄；
将智能移动终端屏幕中的坐标映射到拍摄的直播画面中，映射公式为：
A_X_max/B_X_max＝W1/W
A_Y_max/B_Y_max＝H1/H
其中，W为直播画面的宽度，H为直播画面的高度，W1为智能移动终端屏幕的宽度，H1为智能移动终端屏幕的高度，A_X_max为智能移动终端屏幕上扫描框的AABB包围盒在X轴上的最大值，A_Y_max为智能移动终端屏幕上扫描框的AABB包围盒在Y轴上的最大值，B_X_max为直播画面中对应于A_X_max的值，B_Y_max为直播画面中对应于A_Y_max的值；
计算扫描框在直播画面中的AABB包围盒坐标点；
基于扫描框在直播画面中的AABB包围盒坐标点，裁剪出直播画面中的扫描框，得到直播图像中的礼物横幅，然后对礼物横幅进行扫描，识别出礼物横幅的种类。
本发明实施例的直播中AR扫描互动系统，当观众在直播中进行礼物赠送时，直播画面中展示礼物横幅，此时其它观众使用智能移动终端对直播画面进行拍摄，识别直播画面中的礼物横幅，并在智能移动终端进行相应AR动画的播放，有效提升直播观看时观众与观众之间的互动性，同时也极大地提高了直播的趣味性。
本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种直播中AR扫描互动方法，其特征在于，包括以下步骤：
拍摄展示礼物横幅的直播画面；
识别直播画面中礼物横幅的种类；
播放对应礼物横幅的AR动画。
2.如权利要求1所述的一种直播中AR扫描互动方法，其特征在于：
所述直播画面展示礼物横幅时，所展示的礼物横幅在直播画面停留预设时间；
所述识别直播画面中礼物横幅的种类之前，还包括自动裁剪出拍摄画面中的礼物横幅；
所述自动裁剪出拍摄画面中礼物横幅为对拍摄的实时直播画面进行裁切，裁切出直播画面中的礼物横幅，并对裁剪出的礼物横幅进行扫描，识别礼物横幅的种类；
所述扫描的扫描框为正六边形，当对直播画面进行拍摄时，扫描框对准直播画面的礼物横幅进行直播画面的拍摄。
3.如权利要求2所述的一种直播中AR扫描互动方法，其特征在于：所述自动裁剪出拍摄画面中礼物横幅，具体步骤包括：
S101：在智能移动终端屏幕中建立坐标系，并计算扫描框在智能移动终端屏幕中的坐标，以及扫描框在智能移动终端屏幕上的AABB包围盒，所述智能移动终端用于对直播画面进行拍摄；
S102：将智能移动终端屏幕中的坐标映射到拍摄的直播画面中，映射公式为：
A_X_max/B_X_max＝W1/W
A_Y_max/B_Y_max＝H1/H
其中，W为直播画面的宽度，H为直播画面的高度，W1为智能移动终端屏幕的宽度，H1为智能移动终端屏幕的高度，A_X_max为智能移动终端屏幕上扫描框的AABB包围盒在X轴上的最大值，A_Y_max为智能移动终端屏幕上扫描框的AABB包围盒在Y轴上的最大值，B_X_max为直播画面中对应于A_X_max的值，B_Y_max为直播画面中对应于A_Y_max的值；
S103：计算扫描框在直播画面中的AABB包围盒坐标点；
S104：基于扫描框在直播画面中的AABB包围盒坐标点，裁剪出直播画面中的扫描框，得到直播图像中的礼物横幅，然后对礼物横幅进行扫描，识别出礼物横幅的种类。
4.如权利要求1所述的一种直播中AR扫描互动方法，其特征在于：
采用智能移动终端对直播画面进行拍摄；
所述智能移动终端中运行有直播移动客户端；
对礼物横幅进行扫描识别的功能集成于直播移动客户端中；
所述直播移动客户端中预设有AR动画，且不同种类的礼物横幅对应不同AR动画；
所述智能移动终端中播放对应礼物横幅的AR动画。
5.如权利要求4所述的一种直播中AR扫描互动方法，其特征在于：智能移动终端中播放对应礼物横幅的AR动画之后，智能移动终端中运行的直播移动客户端所登陆的账户获得设定奖励。
6.一种存储介质，该存储介质上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现以下步骤：
拍摄展示礼物横幅的直播画面；
识别直播画面中礼物横幅的种类；
播放对应礼物横幅的AR动画。
7.一种电子设备，其特征在于，所述电子设备包括：
拍摄单元，其用于拍摄展示礼物横幅的直播画面；
识别单元，其用于识别拍摄单元拍摄的直播画面中礼物横幅的种类；
播放单元，其用于播放对应礼物横幅的AR动画。
8.一种直播中AR扫描互动系统，其特征在于，包括：
拍摄模块，其用于拍摄展示礼物横幅的直播画面；
识别模块，其用于识别拍摄单元拍摄的直播画面中礼物横幅的种类；
播放模块，其用于播放对应礼物横幅的AR动画。
9.如权利要求8所述的一种直播中AR扫描互动系统，其特征在于：
所述直播画面展示礼物横幅时，所展示的礼物横幅在直播画面停留预设时间；
所述识别直播画面中礼物横幅的种类之前，还包括自动裁剪出拍摄画面中的礼物横幅；
所述自动裁剪出拍摄画面中礼物横幅为对拍摄的实时直播画面进行裁切，裁切出直播画面中的礼物横幅，并对裁剪出的礼物横幅进行扫描，识别礼物横幅的种类；
所述扫描的扫描框为正六边形，当对直播画面进行拍摄时，扫描框对准直播画面的礼物横幅进行直播画面的拍摄。
10.如权利要求9所述的一种直播中AR扫描互动系统，其特征在于：所述自动裁剪出拍摄画面中礼物横幅，具体步骤包括：
在智能移动终端屏幕中建立坐标系，并计算扫描框在智能移动终端屏幕中的坐标，以及扫描框在智能移动终端屏幕上的AABB包围盒，所述智能移动终端用于对直播画面进行拍摄；
将智能移动终端屏幕中的坐标映射到拍摄的直播画面中，映射公式为：
A_X_max/B_X_max＝W1/W
A_Y_max/B_Y_max＝H1/H
其中，W为直播画面的宽度，H为直播画面的高度，W1为智能移动终端屏幕的宽度，H1为智能移动终端屏幕的高度，A_X_max为智能移动终端屏幕上扫描框的AABB包围盒在X轴上的最大值，A_Y_max为智能移动终端屏幕上扫描框的AABB包围盒在Y轴上的最大值，B_X_max为直播画面中对应于A_X_max的值，B_Y_max为直播画面中对应于A_Y_max的值；
计算扫描框在直播画面中的AABB包围盒坐标点；
基于扫描框在直播画面中的AABB包围盒坐标点，裁剪出直播画面中的扫描框，得到直播图像中的礼物横幅，然后对礼物横幅进行扫描，识别出礼物横幅的种类。
CN201810859723.5A 2018-08-01 2018-08-01 直播中ar扫描互动方法、存储介质、设备及系统 Active CN109005416B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810859723.5A CN109005416B (zh) 2018-08-01 2018-08-01 直播中ar扫描互动方法、存储介质、设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810859723.5A CN109005416B (zh) 2018-08-01 2018-08-01 直播中ar扫描互动方法、存储介质、设备及系统

Publications (2)

Publication Number Publication Date
CN109005416A true CN109005416A (zh) 2018-12-14
CN109005416B CN109005416B (zh) 2020-12-15

Family

ID=64598590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810859723.5A Active CN109005416B (zh) 2018-08-01 2018-08-01 直播中ar扫描互动方法、存储介质、设备及系统

Country Status (1)

Country Link
CN (1) CN109005416B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140160151A1 (en) * 2012-12-06 2014-06-12 Nvidia Corporation System and method for compressing bounding box data and processor incorporating the same
CN106411877A (zh) * 2016-09-23 2017-02-15 武汉斗鱼网络科技有限公司 一种基于ar技术的视频直播赠送礼物的实现方法及系统
CN106792228A (zh) * 2016-12-12 2017-05-31 福建星网视易信息系统有限公司 一种直播互动方法和系统
CN106982387A (zh) * 2016-12-12 2017-07-25 阿里巴巴集团控股有限公司 弹幕的显示、推送方法及装置及弹幕应用系统
WO2017165538A1 (en) * 2016-03-22 2017-09-28 Uru, Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content
CN107885473A (zh) * 2017-09-26 2018-04-06 北京潘达互娱科技有限公司 一种礼物横幅显示方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140160151A1 (en) * 2012-12-06 2014-06-12 Nvidia Corporation System and method for compressing bounding box data and processor incorporating the same
WO2017165538A1 (en) * 2016-03-22 2017-09-28 Uru, Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content
CN106411877A (zh) * 2016-09-23 2017-02-15 武汉斗鱼网络科技有限公司 一种基于ar技术的视频直播赠送礼物的实现方法及系统
CN106792228A (zh) * 2016-12-12 2017-05-31 福建星网视易信息系统有限公司 一种直播互动方法和系统
CN106982387A (zh) * 2016-12-12 2017-07-25 阿里巴巴集团控股有限公司 弹幕的显示、推送方法及装置及弹幕应用系统
CN107885473A (zh) * 2017-09-26 2018-04-06 北京潘达互娱科技有限公司 一种礼物横幅显示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109005416B (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
US11463678B2 (en) System for and method of social interaction using user-selectable novel views
US8624962B2 (en) Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
CN104599243B (zh) 一种多视频流与三维场景的虚实融合方法
CN109922354A (zh) 直播互动方法、装置、直播系统及电子设备
CN105279795B (zh) 基于3d标记的增强现实系统
JP6894962B2 (ja) 自由視点映像用画像データのキャプチャ方法及び装置、プログラム
US20140240311A1 (en) Method and device for performing transition between street view images
US8922718B2 (en) Key generation through spatial detection of dynamic objects
US10977869B2 (en) Interactive method and augmented reality system
CN110418146B (zh) 应用于直播场景的换脸方法、存储介质、电子设备及系统
WO2020037881A1 (zh) 运动轨迹绘制方法、装置、设备和存储介质
WO2018223554A1 (zh) 一种多源视频剪辑播放方法及系统
CN113223130B (zh) 一种路径漫游方法、终端设备以及计算机存储介质
CN107656611A (zh) 体感游戏实现方法及装置、终端设备
CN104217461A (zh) 一种基于深度图模拟实时凹凸效果的视差映射方法
CN112843693B (zh) 拍摄图像的方法、装置、电子设备及存储介质
CN110045821A (zh) 一种面向虚拟演播厅的增强现实交互方法
CN109523297A (zh) 一种体育比赛中实现虚拟广告的方法
CN110458929B (zh) 一种基于Three.js的室内布景渲染方法及系统
CN109544671A (zh) 一种基于屏幕空间的视频在三维场景中投影映射方法
CN109005416A (zh) 直播中ar扫描互动方法、存储介质、设备及系统
CN114071244B (zh) 生成直播封面的方法及装置、计算机存储介质、电子设备
Rajan et al. A realistic video avatar system for networked virtual environments
CN111225264A (zh) 一种基于增强现实的弹幕显示方法和系统
CN113515187B (zh) 一种虚拟现实场景的生成方法和网络侧设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240201

Address after: Room 101-1, Building 2, No. 95 Daguan Middle Road, Tianhe District, Guangzhou City, Guangdong Province, 510000

Patentee after: Guangzhou Zhongtian Technology Consulting Co.,Ltd.

Country or region after: China

Address before: 430000 East Lake Development Zone, Wuhan City, Hubei Province, No. 1 Software Park East Road 4.1 Phase B1 Building 11 Building

Patentee before: WUHAN DOUYU NETWORK TECHNOLOGY Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240402

Address after: Room J523, Zone E, 1st Floor, Building 4, No. 358-368 Kefu Road, Jiading District, Shanghai, 200000

Patentee after: Shanghai Siyou Network Technology Co.,Ltd.

Country or region after: China

Address before: Room 101-1, Building 2, No. 95 Daguan Middle Road, Tianhe District, Guangzhou City, Guangdong Province, 510000

Patentee before: Guangzhou Zhongtian Technology Consulting Co.,Ltd.

Country or region before: China