CN116248912B - 一种对直播流画面实时批注的方法、系统及存储介质 - Google Patents

一种对直播流画面实时批注的方法、系统及存储介质 Download PDF

Info

Publication number
CN116248912B
CN116248912B CN202310533789.6A CN202310533789A CN116248912B CN 116248912 B CN116248912 B CN 116248912B CN 202310533789 A CN202310533789 A CN 202310533789A CN 116248912 B CN116248912 B CN 116248912B
Authority
CN
China
Prior art keywords
line
texture
client
canvas area
canvas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310533789.6A
Other languages
English (en)
Other versions
CN116248912A (zh
Inventor
吴波
陈泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Weisaike Network Technology Co ltd
Original Assignee
Nanjing Weisaike Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Weisaike Network Technology Co ltd filed Critical Nanjing Weisaike Network Technology Co ltd
Priority to CN202310533789.6A priority Critical patent/CN116248912B/zh
Publication of CN116248912A publication Critical patent/CN116248912A/zh
Application granted granted Critical
Publication of CN116248912B publication Critical patent/CN116248912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种对直播流画面实时批注的方法、系统及存储介质，属于流媒体处理技术领域，该方法包括：设置所述直播画面在显示屏中显示的区域为画布区域；建立所述画布区域的UV空间坐标系；监听画笔消息，记录用户在绘制线条时画笔每一帧的落点坐标以及纹理颜色，生成批注数据；向所述直播线路中的其他客户端同步所述批注数据，其他客户端接收同步批注数据后提取数据内容并计算绘制线条所有的落点坐标和纹理颜色，着色还原出绘制线条，渲染到本客户端的画布区域中显示出来。通过设置本客户端的画布区域，在绘制批注时，将批注的线条同步给所有客户端，接收到数据的客户端再渲染还原出画笔线条，使所有用户均可查看到批注效果，展示效率更高。

Description

一种对直播流画面实时批注的方法、系统及存储介质
技术领域
本发明涉及流媒体处理技术领域，特别涉及一种对直播流画面实时批注的方法、系统及存储介质。
背景技术
在异地沟通和讨论场景中，需要借助共享桌面或者直播的方式来可视化展示分享内容，例如通过拨打视频展示眼前环境或者通过直播平台展示文档内容等操作，但是在进行分享时，其他观看人员若是只能单纯的截图批注直播画面，会导致标注画面稳定清晰度较差、截图尺寸不固定、内容实时性较差、容易错过标注重点等问题。
虽然现有技术中提到一种可在直播共享文件的过程中对直播视频进行批注的手段，主要方式是通过在直播端设置一个遮罩蒙版，利用遮罩蒙版收集观看直播画面的客户端的批注轨迹，直播端再覆盖到分享内容上，经过流媒体的编码解码技术，使所有用户端可以查看到批注内容，但是这种方式遮罩蒙版和直播画面是分层的结构，若是通过移动直播画面的界面，会造成拖拽显示延迟，导致批注的线条与直播画面分离，给人的体验感变差，而且流媒体数据的传输也需要非常好的网络环境，否则延迟较大也容易影响批注内容的共享。
发明内容
本发明的目的就在于为了解决上述在直播流画面上批注不方便的问题而提供一种对直播流画面实时批注的方法、系统及存储介质，具有任意用户均可在直播画面上共享批注内容，显示效果好，对网络要求低，互动更高效的优点。
第一方面，本发明通过以下技术方案来实现上述目的，一种对直播流画面实时批注的方法，包括以下步骤：
在直播线路中接入直播画面，设置所述直播画面在显示屏中显示的区域为画布区域，所述画布区域用于用户在该区域绘制批注；
建立所述画布区域的UV空间坐标系；
监听画笔消息，记录用户在绘制线条时画笔每一帧的落点坐标以及纹理颜色，生成批注数据；
向所述直播线路中的其他客户端同步所述批注数据，用于所述其他客户端接收同步批注数据后提取数据内容并计算绘制线条所有的落点坐标和纹理颜色，着色还原出绘制线条，将还原后的所述绘制线条渲染到本客户端的画布区域中显示出来。
优选的，所述监听画笔消息包括接收客户端开启画笔工具，所述画笔功能中的画笔可通过鼠标操作、手写操作或电容笔操作中的一种或多种方式进行控制。
优选的，所述记录用户在绘制线条时画笔每一帧的落点坐标的方法包括：
设定画布区域的中心点为UV空间坐标系原点；
判断画笔与显示器的触点是否处于画布区域内，若否，则结束；
若是，则记录接触点相对于原点的相对距离，根据相对距离与原点的差值计算出画笔的落点坐标。
优选的，所述画笔落点坐标覆盖在画布区域的像素点数量与画笔线条粗细占用的像素点数量一致。
优选的，所述向所述直播线路中的其他客户端同步所述批注数据是通过网络服务器将批注数据同步转发给直播线路中的所有客户端。
优选的，所述着色还原出绘制线条的方法包括：
将落点坐标输入顶点着色器进行UV空间转换，使落点坐标转换到画布区域的纹理空间中变为纹理坐标；
按照纹理像素点的分布对纹理坐标进行偏移和缩放的修正，渲染出原始的线条纹理；
对线条纹理的颜色进行采样，并输出线条颜色。
优选的，所述将还原后的所述绘制线条渲染到本客户端的画布区域中显示出来的方法包括：
将线条纹理复制到本客户端的画布区域中；
利用基于Unity3D游戏引擎的屏幕后处理方法，将复制的线条纹理与本客户端的画布区域的纹理贴图进行叠加和混合；
在本客户端的画布区域渲染显示结果。
第二方面，本发明通过以下技术方案来实现上述目的，一种对直播流画面实时批注的系统，该系统包括：
画布单元，用于设置画布区域使用户在该区域绘制批注，所述设置画布区域是通过客户端在直播线路中接入直播画面，并设置所述直播画面在显示屏中显示的区域为画布区域；
UV空间建立单元，用于建立所述画布区域的UV空间坐标系；
批注单元，用于监听画笔消息，记录用户在绘制线条时画笔每一帧的落点坐标以及纹理颜色，生成批注数据；
同步单元，用于向所述直播线路中的其他客户端同步所述批注数据；
还原显示单元，用于提取接收到其他客户端的批注数据，着色还原出绘制线条，将还原后的所述绘制线条渲染到本客户端的画布区域中显示出来。
优选的，所述还原显示单元包括着色器模块和屏幕后处理模块；
所述着色器模块用于落点坐标转换到画布区域的纹理空间中变为纹理坐标，按照纹理像素点的分布对纹理坐标进行偏移和缩放的修正，渲染出原始的线条纹理，对线条纹理的颜色进行采样，并输出线条颜色；
所述屏幕后处理模块用于将线条纹理复制到本客户端的画布区域中，并在使用基于Unity3D游戏引擎的屏幕后处理方法，将复制的线条纹理与本客户端的画布区域的纹理贴图进行叠加和混合，在本客户端的画布区域渲染显示结果。
第三方面，本发明通过以下技术方案来实现上述目的，一种存储介质，其上存储有计算机程序，在所述计算机程序被处理器执行时，实现如第一方面所述的对直播流画面实时批注的方法。
与现有技术相比，本发明的有益效果是：通过设置直播画面在显示屏中占用的区域为本客户端的画布区域，提供用户绘制批注线条，在绘制批注时，将批注的线条同步给所有客户端，接收到数据的客户端再渲染还原出画笔线条，使所有用户均可查看到批注效果，展示效率更高，本发明采用获取画笔落点坐标的方式记录批注数据，利用批注数据进行渲染还原，降低批注显示的延迟，使整个批注的展示显示效果得到提升，也能提高直播端与各客户端之间的互动交流效率。
附图说明
图1为本发明的对直播流画面实时批注的方法流程图。
图2为本发明的客户端在批注时其他客户端显示界面的展示示意图。
图3为本发明的直播流画面实时批注的系统示意图。
实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1所示，一种对直播流画面实时批注的方法，包括以下步骤：
步骤S1、在直播线路中接入直播画面，在视频会议或者直播中，需要分享内容的客户端作为分享端将共享的内容通过直播线路分享给所有的观众，因此所有观众端均可以接收到直播画面，而此时的分享端的直播画面，则为自己的显示屏中的显示内容。
步骤S2、设置所述直播画面在显示屏中显示的区域为画布区域，所述画布区域用于用户在该区域绘制批注，以观众端的角度来看画布区域作为直播画面的显示窗口，以分享端的角度来看画布区域则为整个显示屏，观众端或者分享端的用户均可以在画布区域进行批注，在unity3D游戏引擎为例，在该引擎中画布区域相当于通过将鼠标（画笔）落点与画板屏幕坐标系计算转换后以点成线绘制到材质球中的渲染部分，用户使用画笔工具在画板绘制线条时，材质球上可以显示出线条，从而实现批注功能。
步骤S3、建立所述画布区域的UV空间坐标系，UV空间坐标是二维纹理坐标，利用将画布区域生成UV空间坐标系的方式可以使得画笔作用在画布区域的每个点都能使用坐标来表述位置，这样画笔作用的所有点的坐标连在一起就能显示出画面绘制的线条样式，因此采用二维纹理坐标也更容易后续着色器根据坐标和纹理颜色两种数据还原出线条样式。
步骤S4、监听画笔消息，记录用户在绘制线条时画笔每一帧的落点坐标以及纹理颜色，生成批注数据，当监听到用户需要在客户端上批注时，开始记录用户使用画笔绘制批注线条时的数据，数据包括画笔每一帧的落点坐标和纹理颜色，将两种对应的数据类型生成一个批注数据进行打包，画笔绘制线条是需要连续的落点来组成线条的，随着落点变得密集则线条也更加顺滑，因此按照每一帧的时间点来作为落点，能完整显示出顺滑的线条，而纹理颜色用来表达线条的颜色，该颜色与画笔工具支持的颜色种类对应，利用不同颜色的画笔对直播画面批注可以避免显示内容杂乱。
步骤S5、向所述直播线路中的其他客户端同步所述批注数据，在进行批注的客户端在自身的画布区域上即可显示出批注线条，为了保证其他客户端的画布区域也能显示出线条，因此对步骤S4打包的批注数据进行同步，同步给在场的所有客户端，这里的客户端不进行分享端和观众端区分，因为无论是分享者还是其他观看者，为了保证都能查看到该用户批注的线条内容，均需要接收到批注数据进行处理，同步的方式利用网络服务器提供的网络，将批注数据通过直播线路转发给所有客户端。
步骤S6、其他客户端在接收到批注数据后，提取数据中绘制线条的所有的落点坐标和纹理颜色，着色还原出绘制线条，将还原后的所述绘制线条渲染到本客户端的画布区域中显示出来，其他未批注的客户端显示直播画面的区域也为画布区域，因此画布区域也同样建立UV空间坐标系，因此提取的落点坐标和纹理颜色，经过着色器的着色还原可以还原出与落点坐标和纹理颜色对应的批注的线条，着色还原操作在后台进行，并且还原出的原始线条也仅在后台存在记录，并未在画布区域显示出来，再经过叠加覆盖到原始画布区域，也就是将画布区域作为UI，将线条渲染到画部区域表面，才能被用户完整的查看，如图2所示，客户端A和客户端B同时进行批注，此时直播内容同时存在两种批注内容，不仅在分享端显示，在客户端A、客户端B、客户端C和客户端D上都能显示出直播内容以及批注内容。
在步骤S4中，所述监听画笔消息包括接收客户端开启画笔工具，所述画笔功能中的画笔可通过鼠标操作、手写操作或电容笔操作中的一种或多种方式进行控制，客户端判断是否开始记录和生成批注数据的依据是通过监听客户端的画笔工具是否被开启，用户可通过点击画笔工具的方式，让客户端知道用户具有想要批注的需求，根据运行客户端的平台不同，用户可通过鼠标、手写或者外接的电容笔的方式来绘制批注线条，例如若用户使用pc端来观看直播，利用鼠标点击开启画笔工具，通过拖动鼠标来批注线条，若用户使用手机端来观看直播，利用触摸点击开启画笔工具，滑动手指来进行批注，若用户使用平板电脑来观看直播，并且平板电脑连接电容笔，则需要电容笔笔头点击开启画笔工具，通过手写的方式来批注线条，根据工具不同选择不同的批注方式，若是pc或手机也支持电容笔也可满足三种形式共存的批注方式。
在步骤S4中，所述记录用户在绘制线条时画笔每一帧的落点坐标的方法包括：
设定画布区域的中心点为UV空间坐标系原点，设定中心点作为UV空间坐标系原点为了方便计算出原点的位置，而且后续的落点坐标只需与原点做差值即可得到其坐标值，UV空间坐标系原点不局限于在画布区域的中心，还可以设定在画布区域中的任何一个位置，但是若是出现画布区域的形状不规则等特殊情况，会导致原点计算较为困难，增加计算难度；
判断画笔与显示器的触点是否处于画布区域内，若否，则结束；即使客户端判断用户开启了画笔工具，但是画笔与显示器的触点在直播画面以外，则证明用户并未对直播画面进行批注，因此不记录落点坐标，避免批注的内容超出直播画面；
若是，则记录接触点相对于原点的相对距离，根据相对距离与原点的差值计算出画笔的落点坐标，若是检测到画笔工具开启后，点击的位置处于画布区域内，则开始记录首次的接触点，作为初始位置，再依次记录每一帧的接触点，实现线条的完整记录，根据每个接触点与坐标系原点的相对距离能计算出该接触点的坐标，该坐标就作为落点坐标。
在画笔工具中，为了方便用户使用，通常将画笔的粗细设置成多个规格，用户可根据需求来选择线条的粗细大小，粗细不同的线条所占用的像素点也不同，而为了能记录出进行批注的用户所使用的线条粗细情况，通常通过画笔落点覆盖像素点的数量来确定，画笔落点坐标上述的所述画笔落点坐标覆盖在画布区域的像素点数量与画笔线条粗细占用的像素点数量一致，这样只需记录下画笔接触点覆盖的像素点即可在还原批注线条时保持与批注者使用的线条粗细一致。
在步骤S6中的方法流程均在Unity3D游戏引擎中运行，所述着色还原出绘制线条的方法包括：
将落点坐标输入顶点着色器进行UV空间转换，使落点坐标转换到画布区域的纹理空间中变为纹理坐标，顶点着色器是OpenGL或DirectX等图形API中的一部分，它是图形渲染管线的第一个阶段，UV空间坐标是二维向量，而纹理坐标是用来对UI表面进行纹理映射的一种技术，在转换时顶点着色器对于每个输入的顶点，将其UV空间坐标与纹理图像的大小进行归一化，这样可以将UV坐标转换为0到1的范围内的纹理坐标，将归一化后的纹理坐标输出，以便后续图形处理单元进行处理；
按照纹理像素点的分布对纹理坐标进行偏移和缩放的修正，渲染出原始的线条纹理，这一步需要图形处理单元进行操作，修正的意义在于对渲染的线条进行美化，例如线条周围产生一些白边或者黑边均可通过修正来剔除；
对线条纹理的颜色进行采样，并输出线条颜色，颜色的采样的方式是根据采样批注数据中的落点坐标对应的纹理颜色即可获得线条的颜色并输出给后续操作步骤。
上述顶点着色器进行着色还原后，输出的数据进行到这一步进行叠加混合，才能在其他客户端的画布区域显示出来，顶点着色器的处理在客户端的后台进行，因此即使渲染还原出线条以及线条颜色，但是无法被用户看到，经过叠加和混合后，可被用户肉眼可看，所述将还原后的所述绘制线条渲染到本客户端的画布区域中显示出来的方法包括：
将线条纹理复制到本客户端的画布区域中；
利用基于Unity3D游戏引擎的屏幕后处理方法，将复制的线条纹理与本客户端的画布区域的纹理贴图进行叠加和混合，屏幕后处理方法是一种是将渲染图像处理成最终效果的技术，属于图像处理中的一种方式，且该技术应用广泛属于成熟技术，因此不在过多赘述其原理；
在本客户端的画布区域渲染显示结果。
实施例2
如图3所示，一种对直播流画面实时批注的系统，该系统包括：
画布单元，用于设置画布区域使用户在该区域绘制批注，所述设置画布区域是通过客户端在直播线路中接入直播画面，并设置所述直播画面在显示屏中显示的区域为画布区域；
UV空间建立单元，用于建立所述画布区域的UV空间坐标系；
批注单元，用于监听画笔消息，记录用户在绘制线条时画笔每一帧的落点坐标以及纹理颜色，生成批注数据；
同步单元，用于向所述直播线路中的其他客户端同步所述批注数据；
还原显示单元，用于提取接收到其他客户端的批注数据，着色还原出绘制线条，将还原后的所述绘制线条渲染到本客户端的画布区域中显示出来。画布单元、UV空间建立单元、批注单元、同步单元和还原显示单元集成在客户端内部，画布单元和还原显示单元作用在客户端的显示屏上，同步单元利用客户端内置的网络模块进行批注数据同步。上述各单元的功能作用与实施例1中的方法流程一致，因此不再赘述其工作原理，该系统中的批注单元的画笔工具的操作也与实施例1相同。所述还原显示单元是未进行批注的客户端用来在画布区域还原批注的线条及线条颜色，还原显示单元利用Unity3D游戏引擎中的着色器模块和屏幕后处理模块进行着色还原并显示；
所述着色器模块用于落点坐标转换到画布区域的纹理空间中变为纹理坐标，按照纹理像素点的分布对纹理坐标进行偏移和缩放的修正，渲染出原始的线条纹理，对线条纹理的颜色进行采样，并输出线条颜色；
所述屏幕后处理模块用于将线条纹理复制到本客户端的画布区域中，并在使用基于Unity3D游戏引擎的屏幕后处理方法，将复制的线条纹理与本客户端的画布区域的纹理贴图进行叠加和混合，在本客户端的画布区域渲染显示结果。
实施例3
本实施例提出了一种存储介质，存储介质包括存储程序区和存储数据区，其中存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。计算机程序存储在存储程序区，在所述计算机程序被处理器执行时，实现如实施例1所述的对直播流画面实时批注的方法。处理器可以包括一个或多个中央处理单元（centralprocessingunit，CPU）或者为数字处理单元等等。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (9)

1.一种对直播流画面实时批注的方法，其特征在于，包括以下步骤：
在直播线路中接入直播画面，设置所述直播画面在显示屏中显示的区域为画布区域，所述画布区域用于用户在该区域绘制批注；
建立所述画布区域的UV空间坐标系；
监听画笔消息，记录用户在绘制线条时画笔每一帧的落点坐标以及纹理颜色，生成批注数据；
向所述直播线路中的其他客户端同步所述批注数据，用于所述其他客户端接收同步批注数据后提取数据内容并计算绘制线条所有的落点坐标和纹理颜色，着色还原出绘制线条，将还原后的所述绘制线条渲染到本客户端的画布区域中显示出来，所述着色还原出绘制线条的方法包括：
将落点坐标输入顶点着色器进行UV空间转换，使落点坐标转换到画布区域的纹理空间中变为纹理坐标；
按照纹理像素点的分布对纹理坐标进行偏移和缩放的修正，渲染出原始的线条纹理；
对线条纹理的颜色进行采样，并输出线条颜色。
2.根据权利要求1所述的对直播流画面实时批注的方法，其特征在于，所述监听画笔消息包括接收客户端开启画笔工具，所述画笔功能中的画笔可通过鼠标操作、手写操作或电容笔操作中的一种或多种方式进行控制。
3.根据权利要求1所述的对直播流画面实时批注的方法，其特征在于，所述记录用户在绘制线条时画笔每一帧的落点坐标的方法包括：
设定画布区域的中心点为UV空间坐标系原点；
判断画笔与显示器的触点是否处于画布区域内，若否，则结束；
若是，则记录接触点相对于原点的相对距离，根据相对距离与原点的差值计算出画笔的落点坐标。
4.根据权利要求1或3所述的对直播流画面实时批注的方法，其特征在于，所述画笔落点坐标覆盖在画布区域的像素点数量与画笔线条粗细占用的像素点数量一致。
5.根据权利要求1所述的对直播流画面实时批注的方法，其特征在于，所述向所述直播线路中的其他客户端同步所述批注数据是通过网络服务器将批注数据同步转发给直播线路中的所有客户端。
6.根据权利要求1所述的对直播流画面实时批注的方法，其特征在于，所述将还原后的所述绘制线条渲染到本客户端的画布区域中显示出来的方法包括：
将线条纹理复制到本客户端的画布区域中；
利用基于Unity3D游戏引擎的屏幕后处理方法，将复制的线条纹理与本客户端的画布区域的纹理贴图进行叠加和混合；
在本客户端的画布区域渲染显示结果。
7.一种对直播流画面实时批注的系统，其特征在于，该系统包括：
画布单元，用于设置画布区域使用户在该区域绘制批注，所述设置画布区域是通过客户端在直播线路中接入直播画面，并设置所述直播画面在显示屏中显示的区域为画布区域；
UV空间建立单元，用于建立所述画布区域的UV空间坐标系；
批注单元，用于监听画笔消息，记录用户在绘制线条时画笔每一帧的落点坐标以及纹理颜色，生成批注数据；
同步单元，用于向所述直播线路中的其他客户端同步所述批注数据；
还原显示单元，用于提取接收到其他客户端的批注数据，着色还原出绘制线条，将还原后的所述绘制线条渲染到本客户端的画布区域中显示出来；
还原显示单元包括着色器模块，所述着色器模块用于将落点坐标输入顶点着色器进行UV空间转换，使落点坐标转换到画布区域的纹理空间中变为纹理坐标，按照纹理像素点的分布对纹理坐标进行偏移和缩放的修正，渲染出原始的线条纹理，对线条纹理的颜色进行采样，并输出线条颜色。
8.根据权利要求7所述的对直播流画面实时批注的系统，其特征在于，所述还原显示单元包括屏幕后处理模块；
所述屏幕后处理模块用于将线条纹理复制到本客户端的画布区域中，并在使用基于Unity3D游戏引擎的屏幕后处理方法，将复制的线条纹理与本客户端的画布区域的纹理贴图进行叠加和混合，在本客户端的画布区域渲染显示结果。
9.一种存储介质，其特征在于，其上存储有计算机程序，在所述计算机程序被处理器执行时，实现如权利要求1-6任一项所述的对直播流画面实时批注的方法。
CN202310533789.6A 2023-05-12 2023-05-12 一种对直播流画面实时批注的方法、系统及存储介质 Active CN116248912B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310533789.6A CN116248912B (zh) 2023-05-12 2023-05-12 一种对直播流画面实时批注的方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310533789.6A CN116248912B (zh) 2023-05-12 2023-05-12 一种对直播流画面实时批注的方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN116248912A CN116248912A (zh) 2023-06-09
CN116248912B true CN116248912B (zh) 2023-07-21

Family

ID=86633534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310533789.6A Active CN116248912B (zh) 2023-05-12 2023-05-12 一种对直播流画面实时批注的方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN116248912B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446689B (zh) * 2015-12-16 2018-12-07 广州视睿电子科技有限公司 远程批注同步的方法与系统
CN108235100A (zh) * 2016-12-14 2018-06-29 杭州海康威视数字技术股份有限公司 多屏显示方法、装置及系统
CN107454433B (zh) * 2017-08-09 2020-08-04 广州视源电子科技股份有限公司 直播的批注方法及装置、终端及直播系统
CN111569436A (zh) * 2020-05-11 2020-08-25 网易（杭州）网络有限公司 基于直播观战中互动的处理方法、装置及设备
CN114444451A (zh) * 2021-12-14 2022-05-06 北京鸿合爱学教育科技有限公司 远程批注方法和装置
CN114741041A (zh) * 2022-04-06 2022-07-12 广州市奥威亚电子科技有限公司 批注同步的方法、装置及教学系统的批注同步方法
CN115529498A (zh) * 2022-09-20 2022-12-27 武汉斗鱼鱼乐网络科技有限公司 一种直播互动方法及相关设备

Also Published As

Publication number Publication date
CN116248912A (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
US11721071B2 (en) Methods and systems for producing content in multiple reality environments
CN110290425B (zh) 一种视频处理方法、装置及存储介质
US7057662B2 (en) Retractable camera apparatus
US20180114363A1 (en) Augmented scanning of 3d models
US20020094189A1 (en) Method and system for E-commerce video editing
US20090033737A1 (en) Method and System for Video Conferencing in a Virtual Environment
US20100134494A1 (en) Remote shading-based 3d streaming apparatus and method
US20080168512A1 (en) System and Method to Implement Interactive Video Streaming
CN112671996A (zh) 视频通话期间实现的方法、用户终端及可读存储介质
CN113313818A (zh) 一种三维重建方法、装置及系统
CN110717963A (zh) 一种基于WebGL的可替换模型的混合渲染展示方法、系统及存储介质
CN108335342B (zh) 在web浏览器上进行多人绘画的方法、设备和计算机程序产品
CN110390712B (zh) 图像渲染方法及装置、三维图像构建方法及装置
CN116248955A (zh) 一种基于ai抽帧补帧的vr云渲染图像增强方法
CN114297546A (zh) 一种基于WebGL的载入3D模型实现自动生成缩略图的方法
CN110267079B (zh) 待播放视频中人脸的替换方法和装置
CN107564084B (zh) 一种动图合成方法、装置及存储设备
CN116248912B (zh) 一种对直播流画面实时批注的方法、系统及存储介质
Kopf et al. Practical 3D photography
CN111782035A (zh) 一种基于增强现实技术的远程作业指导方法及系统
CN110661880A (zh) 一种远程协助方法、系统和存储介质
CN116506671A (zh) 直播流画面实时批注的自适应显示方法、系统及存储介质
Xu et al. Computer vision for a 3-D visualisation and telepresence collaborative working environment
CN107174825A (zh) 一种基于模型的远程图像重建方法及系统
Fadzli et al. A systematic literature review: Real-time 3D reconstruction method for telepresence system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant