CN112040171B - 视频会议辅流显示方法、系统、设备及存储介质 - Google Patents

视频会议辅流显示方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN112040171B
CN112040171B CN202010980436.7A CN202010980436A CN112040171B CN 112040171 B CN112040171 B CN 112040171B CN 202010980436 A CN202010980436 A CN 202010980436A CN 112040171 B CN112040171 B CN 112040171B
Authority
CN
China
Prior art keywords
auxiliary stream
video frame
display area
stream video
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010980436.7A
Other languages
English (en)
Other versions
CN112040171A (zh
Inventor
王展
胡小鹏
顾振华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN202010980436.7A priority Critical patent/CN112040171B/zh
Publication of CN112040171A publication Critical patent/CN112040171A/zh
Application granted granted Critical
Publication of CN112040171B publication Critical patent/CN112040171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种视频会议辅流显示方法、系统、设备及存储介质，所述方法包括：信宿端接收信源端发送的当前辅流视频帧中的鼠标位置信息；信宿端根据鼠标位置信息确定当前辅流视频帧的辅流显示区域的位置范围；信宿端接收信源端发送的当前辅流视频帧的显示数据；信宿端显示当前辅流视频帧对应于辅流显示区域的显示数据。通过采用本发明，通过信宿端预先接收信源端的鼠标位置信息，并根据鼠标位置信息确定辅流显示区域的位置范围，从而在信宿端接收到辅流视频帧的显示数据时，调整当前辅流视频帧的辅流显示区域的显示范围，在信宿端可以跟随鼠标移动自动调整辅流显示区域，无需用户再手动调整，从而提高了用户的会议协作效率和会议体验。

Description

视频会议辅流显示方法、系统、设备及存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种视频会议辅流显示方法、系统、设备及存储介质。
背景技术
视频会议中，一般至少包括两条视频流，第一条视频流承载摄像机采集的视频，第二条视频流为辅流。其中，辅流一般为辅助会议进行的电脑屏幕内容。
由于电脑屏幕内容多为大量的文字细节内容，若进行分辨率压缩，会导致文字细节模糊，甚至丢失，辅流清晰度严重下降，影响了会议沟通。因此辅流不适合进行分辨率压缩编码和显示。
在实际应用中，当用户在PC(Personal Computer，个人计算机)端(即信宿端)观看从信源端发送的辅流时会出现PC的分辨率小于辅流的分辨率，或者UI(Userinterface，用户界面)中辅流播放区域小于辅流分辨率的情况，此时为了保证辅流的清晰度播放，就需要100％大小的分辨进行播放，这就导致PC端只能看到部分辅流内容，需要使用鼠标人工拖动辅流显示区域，操作很繁琐，严重影响了会议体验。
发明内容
针对现有技术中的问题，本发明的目的在于提供一种视频会议辅流显示方法、系统、设备及存储介质，自动根据鼠标位置调整辅流显示区域，提升会议体验。
本发明实施例提供一种视频会议辅流显示方法，包括如下步骤：
信宿端接收信源端发送的当前辅流视频帧中的鼠标位置信息；
所述信宿端根据所述鼠标位置信息确定当前辅流视频帧的辅流显示区域的位置范围；
所述信宿端接收信源端发送的当前辅流视频帧的显示数据；
所述信宿端显示当前辅流视频帧对应于所述辅流显示区域的显示数据。
可选地，所述信宿端接收信源端发送的当前辅流视频帧中的鼠标位置信息，包括如下步骤：
所述信宿端接收信源端的第i-n个辅流视频帧Fi-n的RTP包；
所述信宿端从所述辅流视频帧Fi-n的RTP包的扩展信息中提取第i个辅流视频帧Fi的鼠标位置信息，i＞n≥1。
可选地，所述信宿端根据所述鼠标位置信息确定当前辅流视频帧的辅流显示区域的位置范围，包括如下步骤：
所述信宿端调整当前辅流视频帧的辅流显示区域为以鼠标位置为中心点的辅流显示区域。
可选地，所述信宿端调整当前辅流视频帧的辅流显示区域为以鼠标位置为中心点的辅流显示区域，包括如下步骤：
所述信宿端判断所述鼠标位置是否位于前一辅流视频帧的辅流显示区域之内；
如果所述鼠标位置位于前一辅流视频帧的辅流显示区域之外，则所述信宿端调整当前辅流视频帧的辅流显示区域为以鼠标位置为中心点的辅流显示区域；
如果所述鼠标位置位于前一辅流视频帧的辅流显示区域之内，则所述信宿端计算当前辅流视频帧的鼠标位置到前一辅流视频帧的辅流显示区域中每条边的距离，获得最小距离；
所述信宿端判断所述最小距离是否大于等于预设距离阈值；
如果所述最小距离大于等于预设距离阈值，则所述信宿端保持所述辅流视频帧的辅流显示区域与前一辅流视频帧相同；
如果所述最小距离小于预设距离阈值，所述信宿端调整当前辅流视频帧的辅流显示区域为以鼠标位置为中心点的辅流显示区域。
可选地，所述信宿端判断所述最小距离小于预设距离阈值之后，还包括如下步骤：
所述信宿端判断距离前一辅流视频帧的辅流显示区域中与所述鼠标位置距离最近的边是否为视频边缘；
如果是，则所述信宿端保持当前辅流视频帧的辅流显示区域与前一辅流视频帧相同；
否则，所述信宿端调整当前辅流视频帧的辅流显示区域为以鼠标位置为中心点的辅流显示区域。
可选地，所述信宿端显示当前辅流视频帧对应于所述辅流显示区域的显示数据，包括如下步骤：
如果当前辅流视频帧与前一辅流视频帧的辅流显示区域位置不同，所述信宿端获取所述信源端发送的平滑移动标识位并判断是否需要平滑移动；
如果是，则以前一辅流视频帧的视频内容为底图，在显示当前辅流视频帧之前将辅流显示区域平滑移动到当前帧的辅流显示区域，然后显示当前辅流视频帧对应于所述辅流显示区域的显示数据；
如果否，则显示当前辅流视频帧时直接切换到当前辅流视频帧对应于所述辅流显示区域的显示数据。
可选地，所述信宿端接收信源端发送的扩展信息之前，还包括如下步骤：
信源端判断辅流编码帧率是否大于预设帧率阈值；
如果是，则所述信源端将平滑移动标志位设置为指示无需平滑移动的值；
否则，所述信源端将平滑移动标志位设置为指示需要平滑移动的值。
可选地，所述信源端判断辅流编码帧率小于等于预设帧率阈值之后，还包括如下步骤：
所述信源端计算当前辅流视频帧与前一辅流视频帧的相似度，判断相似度是否大于预设相似度阈值；
如果是，则所述信源端将平滑移动标志位设置为指示需要平滑移动的值；
否则，所述信源端将平滑移动标志位设置为指示无需平滑移动的值。
可选地，所述信源端计算当前辅流视频帧与前一辅流视频帧的相似度，包括如下步骤：
计算当前辅流视频帧的YUV数据的哈希值和前一辅流视频帧的YUV数据的哈希值之间的海明距离，作为当前辅流视频帧与前一辅流视频帧的相似度；或
计算当前辅流视频帧的YUV数据与前一辅流视频帧的YUV数据的残差图像，将所述残差图像中YUV值等于0的像素比例作为当前辅流视频帧与前一辅流视频帧的相似度。
通过采用本发明的视频会议辅流显示方法，信宿端通过预先接收信源端的鼠标位置信息，并根据信源端的鼠标位置信息确定辅流显示区域的位置范围，从而在信宿端接收到辅流视频帧的显示数据时，调整当前辅流视频帧的辅流显示区域的显示范围，在信宿端可以跟随鼠标移动自动调整辅流显示区域，实现信源端和信宿端关注点的统一，无需用户再手动调整，从而提高了用户的会议协作效率和会议体验。
本发明实施例还提供一种视频会议辅流显示系统，应用于所述的视频会议辅流显示方法，所述系统包括设置于信宿端的：
鼠标信息接收模块，用于接收信源端发送的当前辅流视频帧中的鼠标位置信息；
显示区域确定模块，用于根据所述鼠标位置信息确定当前辅流视频帧的辅流显示区域的位置范围；
视频数据接收模块，用于接收信源端发送的当前辅流视频帧的显示数据；
视频数据显示模块，用于显示当前辅流视频帧对应于所述辅流显示区域的显示数据。
通过采用本发明的视频会议辅流显示系统，通过信宿端的鼠标信息接收模块预先接收信源端的鼠标位置信息，显示区域确定模块根据鼠标位置信息确定辅流显示区域的位置范围，从而在视频数据接收模块接收到辅流视频帧的显示数据时，视频数据显示模块调整当前辅流视频帧的辅流显示区域的显示范围，在信宿端可以跟随鼠标移动自动调整辅流显示区域，无需用户再手动调整，从而提高了用户的会议协作效率和会议体验。
本发明实施例还提供一种视频会议辅流显示设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述的视频会议辅流显示方法的步骤。
通过采用本发明所提供的视频会议辅流显示设备，所述处理器在执行所述可执行指令时执行所述的视频会议辅流显示方法，由此可以获得上述视频会议辅流显示方法的有益效果。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的视频会议辅流显示方法的步骤。
通过采用本发明所提供的计算机可读存储介质，其中存储的程序在被执行时实现所述的视频会议辅流显示方法的步骤，由此可以获得上述视频会议辅流显示方法的有益效果。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明一实施例的视频会议辅流显示方法的流程图；
图2是本发明一实施例的信宿端确定当前辅流视频帧的辅流显示区域的流程图；
图3是本发明一实施例的RTP扩展信息的格式示意图；
图4是本发明一实施例的信源端发送RTP包的流程示意图；
图5是本发明一实施例的视频会议辅流显示系统的示意图；
图6是本发明一实施例的视频会议辅流显示设备的结构示意图；
图7是本发明一实施例的计算机存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
如图1所示，在该实施例中，所述视频会议辅流显示方法包括如下步骤：
S100：信宿端接收信源端发送的当前辅流视频帧中的鼠标位置信息；
在本发明中，信源端指的是发送辅流视频帧的一端，信宿端指的是接收并播放辅流视频帧的一端，用户在使用PC进行视频会议时，信宿端即为PC，此外，信宿端也可以是用户的其他类型的终端，例如手机等；
S200：所述信宿端根据所述鼠标位置信息确定当前辅流视频帧的辅流显示区域的位置范围；
S300：所述信宿端接收信源端发送的当前辅流视频帧的显示数据，此处显示数据指的即为当前辅流视频帧的显示画面相关的数据，包括当前信源端发送的辅流视频帧中完整的文字、图片等数据；
S400：所述信宿端显示当前辅流视频帧对应于所述辅流显示区域的显示数据。
通过采用本发明的视频会议辅流显示方法，通过步骤S100由信宿端预先接收信源端的鼠标位置信息，并通过步骤S200根据鼠标位置信息确定辅流显示区域的位置范围，从而在通过步骤S300接收到辅流视频帧的显示数据时，通过步骤S400在信宿端调整当前辅流视频帧的辅流显示区域的显示范围，在信宿端可以跟随鼠标移动自动调整辅流显示区域，无需用户再手动调整，从而提高了用户的会议协作效率和会议体验。
以视频会议中，信源端通过辅流视频帧共享一个PPT为例进行说明。在一种实施方式中，信源端采用完整的画面显示共享的PPT画面，即信源端看到的PPT画面是完整的，则信源端的用户可以通过移动鼠标来表示当前所介绍的关键点位置，此时信源端的鼠标位置可以传输到信宿端，而信宿端可以根据鼠标位置调整辅流显示区域在完整的PPT画面中的位置，从而实现信宿端可以与信源端同步观看到当前信源端鼠标位置指向的位置。例如，信源端用户当前介绍PPT上部的文字，则可以将鼠标移到PPT画面的上部，则信宿端的辅流显示区域显示的也就是对应于PPT上部的内容。对于信宿端的用户来说，无需使用鼠标手动拖动辅流显示区域的画面。在另一种实施方式中，信源端也可以只显示部分共享的PPT画面，信源端的用户可以直接使用鼠标拖动画面，来调整到当前自己在介绍的画面，此时信宿端可以自动获取信源端的鼠标位置，并自动调整辅流显示区域，从而与信源端的显示画面实现同步。因此，对于信宿端的用户来说，同样无需使用鼠标来移动辅流显示区域的画面，可以自动与信源端实现同步。
在该实施例中，所述步骤S100：信宿端接收信源端发送的当前辅流视频帧中的鼠标位置信息，包括如下步骤：
所述信宿端接收信源端的第i-n个辅流视频帧Fi-n的RTP(Real-time TransportProtocol，实时传输协议)包；
所述信宿端从所述辅流视频帧Fi-n的RTP包的扩展信息中提取第i个辅流视频帧Fi的鼠标位置信息，i＞n≥1，此处第i个辅流视频帧Fi即为当前的辅流视频帧，鼠标位置信息可以是鼠标的x、y坐标。
因此，所述信源端通过RTP扩展信息将鼠标位置信息发送给信宿端，使得信宿端能够实时获取信源端的鼠标位置信息，既保证了实时性，又有很好的兼容性。
具体地，所述信源端通过在获取到鼠标位置信息之后，使用鼠标位置信息构造RTP扩展信息，然后将构造好的RTP扩展信息添加到第i-n个辅流视频帧Fi-n的RTP扩展头中，进而通过网络发送给信宿端。此处将鼠标位置信息放在第i-n个辅流视频帧Fi-n的RTP扩展头，先于当前辅流视频帧，可以给信宿端提供根据鼠标位置计算辅流显示区域的位置范围的时间，从而在接收到当前辅流视频帧并显示时可以直接采用计算好的辅流显示区域的位置范围来显示，从而实现在辅流视频帧未到达前调整辅流显示区域。此处n可以为大于等于1的整数，例如，n＝1时，鼠标位置信息可以添加到第i-1个辅流视频帧Fi-1的RTP扩展头中。
在该实施例中，所述步骤S200：信宿端根据所述鼠标位置信息确定当前辅流视频帧的辅流显示区域的位置范围，包括如下步骤：
所述信宿端调整当前辅流视频帧的辅流显示区域为以鼠标位置为中心点的辅流显示区域，从而实现信宿端的辅流显示区域跟随鼠标移动自动变化，免除了人工拖动辅流显示区域的繁琐操作。
如图2所示，在该实施例中，所述信宿端调整当前辅流视频帧的辅流显示区域为以鼠标位置为中心点的辅流显示区域，包括如下步骤：
所述信宿端判断所述鼠标位置是否位于前一辅流视频帧的辅流显示区域之内；
如果所述鼠标位置位于前一辅流视频帧的辅流显示区域之外，则所述信宿端调整当前辅流视频帧的辅流显示区域为以鼠标位置为中心点的辅流显示区域；
如果所述鼠标位置位于前一辅流视频帧的辅流显示区域之内，则所述信宿端计算当前辅流视频帧的鼠标位置到前一辅流视频帧的辅流显示区域中每条边的距离，通过比较鼠标位置与各条边的距离获得最小距离d，即辅流显示区域中距离鼠标坐标最近的边与鼠标坐标之间的距离；
所述信宿端判断所述最小距离d是否大于等于预设距离阈值D；
如果所述最小距离d大于等于预设距离阈值D，则所述信宿端保持所述辅流视频帧的辅流显示区域与前一辅流视频帧相同；
如果所述最小距离d小于预设距离阈值D，所述信宿端调整当前辅流视频帧的辅流显示区域为以鼠标位置为中心点的辅流显示区域。
因此，本发明通过比对前后帧的位置差异，减少辅流显示区域的变化频率，具体地，只有鼠标位置位于前一帧的辅流显示区域之外，或者鼠标位置距离辅流显示区域的至少一条边的距离小于预设距离阈值D时，才调整辅流显示区域的位置。在其他情况下，不调整辅流显示区域也可以实现比较好的协同显示效果。
在该实施例中，所述信宿端判断所述最小距离d小于预设距离阈值D之后，还包括如下步骤：
所述信宿端判断距离前一辅流视频帧的辅流显示区域中与所述鼠标位置距离最近的边是否为视频边缘；
如果是，由于当前的辅流显示区域已经到了视频边缘，无法再向该方向进一步调整，则所述信宿端保持当前辅流视频帧的辅流显示区域与前一辅流视频帧相同；
否则，所述信宿端调整当前辅流视频帧的辅流显示区域为以鼠标位置为中心点的辅流显示区域。
在该实施例中，所述信源端在发送第i-n个辅流视频帧的RTP包时，可以一并将平滑移动标识位添加到RTP扩展信息中，RTP扩展信息的格式可以如图3所示。所信宿端可以根据所述RTP扩展信息中的平滑移动标识位来判断是否在调整辅流显示区域时需要平滑移动。
具体地，所述步骤S400：信宿端显示当前辅流视频帧对应于所述辅流显示区域的显示数据，包括如下步骤：
如果当前辅流视频帧与前一辅流视频帧的辅流显示区域位置不同，所述信宿端获取所述信源端发送的平滑移动标识位并判断是否需要平滑移动；所述平滑移动标识位可以设定两个值，一个值a指示需要平滑移动，一个值b指示不需要平滑移动，a和b的值可以根据需要设定选择，例如a为1，b为0，或者a为0，b为1等等；
如果是，则以前一辅流视频帧的视频内容为底图，在显示当前辅流视频帧之前将辅流显示区域平滑移动到当前帧的辅流显示区域，然后显示当前辅流视频帧对应于所述辅流显示区域的显示数据，从而模拟出平滑移动的效果；
如果否，则显示当前辅流视频帧时直接切换到当前辅流视频帧对应于所述辅流显示区域的显示数据。
在该实施例中，所述步骤S100：信宿端接收信源端发送的扩展信息之前，还包括信源端获取鼠标位置信息并将鼠标位置信息发送给信宿端的步骤。信源端可以通过系统函数GetCursorPos()获取鼠标坐标(x，y)、当前鼠标坐标所对应的辅流视频帧的YUV(YUV是编译true-color颜色空间(color space)的种类)数据，获取辅流编码帧率r。
如图4所示，所述信源端将鼠标位置信息发送给信宿端包括如下步骤：
信源端判断辅流编码帧率r是否大于预设帧率阈值，此处预设帧率阈值可以根据经验或需要选择设定，例如设定为5，但本发明不以此为限；
如果是，由于帧率较大时显示画面卡顿不会特别明显，则所述信源端将平滑移动标志位设置为指示无需平滑移动的值b；
否则，所述信源端将平滑移动标志位设置为指示需要平滑移动的值a，从而可以通过平滑移动的形式降低低帧率时播放区域变化的卡顿感。
进一步地，所述信源端判断辅流编码帧率小于等于预设帧率阈值之后，还包括如下步骤：
所述信源端计算当前辅流视频帧与前一辅流视频帧的相似度，判断相似度是否大于预设相似度阈值；
如果是，则所述信源端将平滑移动标志位设置为指示需要平滑移动的值；
否则，所述信源端将平滑移动标志位设置为指示无需平滑移动的值。
如图4所示，所述信源端计算当前辅流视频帧与前一辅流视频帧的相似度，可以基于YUV的哈希值来计算，具体地，包括如下步骤：
计算当前辅流视频帧的YUV数据的哈希值和前一辅流视频帧的YUV数据的哈希值之间的海明距离，作为当前辅流视频帧与前一辅流视频帧的相似度。哈希值的算法例如可以采用SHA-1算法，但本发明不限于此。在计算两个哈希值的海明距离时，逐一比较两个哈希值中的一一对应的每一位，获得值相同位的个数m，m即为海明距离。
在另一种可替代的实施方式中，也可以通过计算残差图像来计算相似度，具体地，计算当前辅流视频帧的YUV数据与前一辅流视频帧的YUV数据的残差图像，将所述残差图像中YUV值等于0的像素比例作为当前辅流视频帧与前一辅流视频帧的相似度。
因此，本发明进一步可以通过两个辅流视频帧的相似度来判断是否需要平滑移动，如果相似度较高，则通过平滑移动减少卡顿感。
如图5所示，本发明实施例还提供一种视频会议辅流显示系统，应用于所述的视频会议辅流显示方法，所述系统包括设置于信宿端的：
鼠标信息接收模块M100，用于接收信源端发送的当前辅流视频帧中的鼠标位置信息；
显示区域确定模块M200，用于根据所述鼠标位置信息确定当前辅流视频帧的辅流显示区域的位置范围；
视频数据接收模块M300，用于接收信源端发送的当前辅流视频帧的显示数据；
视频数据显示模块M400，用于显示当前辅流视频帧对应于所述辅流显示区域的显示数据。
通过采用本发明的视频会议辅流显示系统，通过鼠标信息接收模块M100预先接收信源端的鼠标位置信息，显示区域确定模块M200根据鼠标位置信息确定辅流显示区域的位置范围，从而在视频数据接收模块M300接收到辅流视频帧的显示数据时，视频数据显示模块M400调整当前辅流视频帧的辅流显示区域的显示范围，在信宿端可以跟随鼠标移动自动调整辅流显示区域，无需用户再手动调整，从而提高了用户的会议协作效率和会议体验。
本发明的视频会议辅流显示系统中，各个模块的功能实现方式可以采用上述视频会议辅流显示方法中的具体实施方式，例如，鼠标信息接收模块M100可以采用步骤S100的具体实施方式获取鼠标信息，显示区域确定模块M200可以采用步骤S200的具体实施方式确定当前辅流视频帧的辅流显示区域的位置范围，视频数据接收模块M300可以采用步骤S300的具体实施方式接收辅流视频帧数据，视频数据显示模块M400可以采用步骤S400的具体实施方式显示辅流数据。
进一步地，所述视频会议辅流显示系统还可以包括设置于信源端的鼠标信息获取模块和鼠标信息发送模块，所述鼠标信息获取模块用于获取鼠标坐标，并且可以进一步获取视频编码帧率和对应辅流视频帧的YUV数据，所鼠标信息发送模块可以计算鼠标对应辅流视频帧与前一辅流视频帧的相似度，通过相似度和视频编码帧率来设置平滑移动标志位，然后将鼠标坐标和平滑移动标志位添加在之前帧的RTP扩展头中通过网络发送给信宿端。
本发明实施例还提供一种视频会议辅流显示设备，包括处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行所述的视频会议辅流显示方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图6来描述根据本发明的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过采用本发明所提供的视频会议辅流显示设备，所述处理器在执行所述可执行指令时执行所述的视频会议辅流显示方法，由此可以获得上述视频会议辅流显示方法的有益效果。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的视频会议辅流显示方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图7所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或集群上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
通过采用本发明所提供的计算机可读存储介质，其中存储的程序在被执行时实现所述的视频会议辅流显示方法的步骤，由此可以获得上述视频会议辅流显示方法的有益效果。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (11)

1.一种视频会议辅流显示方法，其特征在于，包括如下步骤：
信宿端接收信源端发送的当前辅流视频帧中的鼠标位置信息；
所述信宿端根据所述鼠标位置信息确定当前辅流视频帧的辅流显示区域的位置范围；
所述信宿端接收信源端发送的当前辅流视频帧的显示数据；
所述信宿端显示当前辅流视频帧对应于所述辅流显示区域的显示数据；
所述信宿端根据所述鼠标位置信息确定当前辅流视频帧的辅流显示区域的位置范围，包括如下步骤：
所述信宿端判断所述鼠标位置是否位于前一辅流视频帧的辅流显示区域之内；
如果所述鼠标位置位于前一辅流视频帧的辅流显示区域之外，则所述信宿端调整当前辅流视频帧的辅流显示区域为以鼠标位置为中心点的辅流显示区域。
2.根据权利要求1所述的视频会议辅流显示方法，其特征在于，所述信宿端接收信源端发送的当前辅流视频帧中的鼠标位置信息，包括如下步骤：
所述信宿端接收信源端的第i-n个辅流视频帧Fi-n的RTP包；
所述信宿端从所述辅流视频帧Fi-n的RTP包的扩展信息中提取第i个辅流视频帧Fi的鼠标位置信息，i＞n≥1。
3.根据权利要求1所述的视频会议辅流显示方法，其特征在于，
所述信宿端判断所述鼠标位置是否位于前一辅流视频帧的辅流显示区域之内之后，还包括如下步骤：
如果所述鼠标位置位于前一辅流视频帧的辅流显示区域之内，则所述信宿端计算当前辅流视频帧的鼠标位置到前一辅流视频帧的辅流显示区域中每条边的距离，获得最小距离；
所述信宿端判断所述最小距离是否大于等于预设距离阈值；
如果所述最小距离大于等于预设距离阈值，则所述信宿端保持所述辅流视频帧的辅流显示区域与前一辅流视频帧的辅流显示区域相同。
4.根据权利要求3所述的视频会议辅流显示方法，其特征在于，所述信宿端判断所述最小距离是否大于等于预设距离阈值之后，还包括如下步骤：
如果所述最小距离小于预设距离阈值，所述信宿端判断前一辅流视频帧的辅流显示区域中与所述鼠标位置距离最近的边是否为视频边缘；
如果是，则所述信宿端保持当前辅流视频帧的辅流显示区域与前一辅流视频帧的辅流显示区域相同；
否则，所述信宿端调整当前辅流视频帧的辅流显示区域为以鼠标位置为中心点的辅流显示区域。
5.根据权利要求1所述的视频会议辅流显示方法，其特征在于，所述信宿端显示当前辅流视频帧对应于所述辅流显示区域的显示数据，包括如下步骤：
如果当前辅流视频帧与前一辅流视频帧的辅流显示区域位置不同，所述信宿端获取所述信源端发送的平滑移动标识位并判断是否需要平滑移动；
如果是，则以前一辅流视频帧的视频内容为底图，在显示当前辅流视频帧之前将辅流显示区域平滑移动到当前帧的辅流显示区域，然后显示当前辅流视频帧对应于所述辅流显示区域的显示数据；
如果否，则显示当前辅流视频帧时直接切换到当前辅流视频帧对应于所述辅流显示区域的显示数据。
6.根据权利要求5所述的视频会议辅流显示方法，其特征在于，所述信宿端接收信源端发送的扩展信息之前，还包括如下步骤：
信源端判断辅流编码帧率是否大于预设帧率阈值；
如果是，则所述信源端将平滑移动标志位设置为指示无需平滑移动的值。
7.根据权利要求6所述的视频会议辅流显示方法，其特征在于，所述信源端判断辅流编码帧率是否大于预设帧率阈值之后，还包括如下步骤：
如果所述辅流编码帧率小于等于预设帧率阈值，所述信源端计算当前辅流视频帧与前一辅流视频帧的相似度，判断相似度是否大于预设相似度阈值；
如果是，则所述信源端将平滑移动标志位设置为指示需要平滑移动的值；
否则，所述信源端将平滑移动标志位设置为指示无需平滑移动的值。
8.根据权利要求7所述的视频会议辅流显示方法，其特征在于，所述信源端计算当前辅流视频帧与前一辅流视频帧的相似度，包括如下步骤：
计算当前辅流视频帧的YUV数据的哈希值和前一辅流视频帧的YUV数据的哈希值之间的海明距离，作为当前辅流视频帧与前一辅流视频帧的相似度；或
计算当前辅流视频帧的YUV数据与前一辅流视频帧的YUV数据的残差图像，将所述残差图像中YUV值等于0的像素比例作为当前辅流视频帧与前一辅流视频帧的相似度。
9.一种视频会议辅流显示系统，其特征在于，应用于权利要求1至8中任一项所述的视频会议辅流显示方法，所述系统包括设置于信宿端的：
鼠标信息接收模块，用于接收信源端发送的当前辅流视频帧中的鼠标位置信息；
显示区域确定模块，用于根据所述鼠标位置信息确定当前辅流视频帧的辅流显示区域的位置范围；
视频数据接收模块，用于接收信源端发送的当前辅流视频帧的显示数据；
视频数据显示模块，用于显示当前辅流视频帧对应于所述辅流显示区域的显示数据。
10.一种视频会议辅流显示设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至8中任一项所述的视频会议辅流显示方法的步骤。
11.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至8中任一项所述的视频会议辅流显示方法的步骤。
CN202010980436.7A 2020-09-17 2020-09-17 视频会议辅流显示方法、系统、设备及存储介质 Active CN112040171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010980436.7A CN112040171B (zh) 2020-09-17 2020-09-17 视频会议辅流显示方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010980436.7A CN112040171B (zh) 2020-09-17 2020-09-17 视频会议辅流显示方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112040171A CN112040171A (zh) 2020-12-04
CN112040171B true CN112040171B (zh) 2022-07-08

Family

ID=73590012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010980436.7A Active CN112040171B (zh) 2020-09-17 2020-09-17 视频会议辅流显示方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112040171B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013166990A1 (zh) * 2012-05-10 2013-11-14 华为技术有限公司 提高信道功率的方法及装置
CN110545394A (zh) * 2019-05-07 2019-12-06 厦门亿联网络技术股份有限公司 一种ip电话机会议系统、辅流发送方法、分享辅流方法及商业方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102118602B (zh) * 2011-03-15 2013-08-21 深圳市捷视飞通科技有限公司 一种在多画面中显示辅流视频的方法及系统
US9154737B2 (en) * 2012-11-02 2015-10-06 Cisco Technology, Inc. User-defined content magnification and multi-point video conference system, method and logic
US20140210939A1 (en) * 2013-01-29 2014-07-31 Logitech Europe S.A. Presenting a Videoconference with a Composited Secondary Video Stream
EP2974292B1 (en) * 2013-03-15 2020-12-30 Cisco Technology, Inc. Split frame multistream encode
CN107979738A (zh) * 2016-10-25 2018-05-01 中兴通讯股份有限公司 一种双流会议装置及方法
CN108235100A (zh) * 2016-12-14 2018-06-29 杭州海康威视数字技术股份有限公司 多屏显示方法、装置及系统
US10038877B1 (en) * 2017-03-13 2018-07-31 Microsoft Technology Licensing, Llc Event conditioned views for teleconferencing sessions
CN107943440A (zh) * 2017-11-14 2018-04-20 北京易信掌中云科技有限公司 一种文档跟读方法及系统
CN108322691A (zh) * 2018-02-06 2018-07-24 中兴通讯股份有限公司 视频会议实现方法、装置和系统、计算机可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013166990A1 (zh) * 2012-05-10 2013-11-14 华为技术有限公司 提高信道功率的方法及装置
CN110545394A (zh) * 2019-05-07 2019-12-06 厦门亿联网络技术股份有限公司 一种ip电话机会议系统、辅流发送方法、分享辅流方法及商业方法

Also Published As

Publication number Publication date
CN112040171A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN109783178B (zh) 一种界面组件的颜色调整方法、装置、设备和介质
US9619916B2 (en) Method for transmitting digital scene description data and transmitter and receiver scene processing device
KR100737346B1 (ko) 화상 표시 시스템
US9300818B2 (en) Information processing apparatus and method
US8982135B2 (en) Information processing apparatus and image display method
US20120005630A1 (en) Highly Responsive Screen Output Device, Screen Output System, and Screen Output Method
CN111221491A (zh) 交互控制方法及装置、电子设备、存储介质
CN110572622A (zh) 视频解码方法及装置
US20220277481A1 (en) Panoramic video processing method and apparatus, and storage medium
US9716907B2 (en) Updating thin-client display based on a thin-out rate
KR20100067635A (ko) 종횡비 변환을 위한 영상 데이터의 가변 스케일링
US20240045641A1 (en) Screen sharing display method and apparatus, device, and storage medium
CN115205925A (zh) 表情系数确定方法、装置、电子设备及存储介质
CN109885270B (zh) 显示设备控制方法、显示设备以及存储介质
CN111177167B (zh) 增强现实的地图更新方法、装置、系统、存储与设备
CN110928509B (zh) 显示控制方法、显示控制装置、存储介质、通信终端
CN115767181A (zh) 直播视频流渲染方法、装置、设备、存储介质及产品
CN112040171B (zh) 视频会议辅流显示方法、系统、设备及存储介质
CN113422980A (zh) 视频数据处理方法及装置、电子设备、存储介质
US20230305792A1 (en) Screen projection method and apparatus, electronic device, and computer-readable medium
CN114760309A (zh) 基于云端服务的终端的业务交互方法、装置、设备和介质
CN107318020B (zh) 远程显示的数据处理方法及系统
CN113467737A (zh) 传输画面数据的方法、装置、设备及存储介质
US20150106733A1 (en) Terminal device, thin client system, display method, and recording medium
US20150195475A1 (en) System, information processing apparatus, and image processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant