CN111953924A - 基于图像处理的视频窗口调整方法、装置、介质及系统 - Google Patents

基于图像处理的视频窗口调整方法、装置、介质及系统 Download PDF

Info

Publication number
CN111953924A
CN111953924A CN202010850853.XA CN202010850853A CN111953924A CN 111953924 A CN111953924 A CN 111953924A CN 202010850853 A CN202010850853 A CN 202010850853A CN 111953924 A CN111953924 A CN 111953924A
Authority
CN
China
Prior art keywords
area
background
demonstration
window
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010850853.XA
Other languages
English (en)
Other versions
CN111953924B (zh
Inventor
杨文龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010850853.XA priority Critical patent/CN111953924B/zh
Publication of CN111953924A publication Critical patent/CN111953924A/zh
Application granted granted Critical
Publication of CN111953924B publication Critical patent/CN111953924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching

Abstract

本发明实施例公开了一种基于图像处理的视频窗口调整方法，适用于处于全屏显示的视频会议系统，包括：获取视频会议演示端的演示窗口图像；检测演示端是否实时同步发送或者广播演示内容的背景和前景区域信息；若否，则对演示窗口图像进行语义分割，根据当前分割结果计算最大背景子区域，并根据最大背景子区域对视频窗口进行自动调整。实施本发明实施例，采用图像分割技术对演示窗口进行分割，区分背景及显示(前景)区域，进一步地获取最大背景子区域，自动查找合适的位置将实时视频窗口调整为合适大小，并将其显示在最大背景子区域中，不遮挡有效的显示内容，因而随着演示内容的变化不需要总是手动调整，提升了用户体验。

Description

基于图像处理的视频窗口调整方法、装置、介质及系统
技术领域
本发明涉及计算机软件技术领域，具体涉及一种基于操作系统或演示程序事件及图像处理的视频窗口自动调整方法、装置、介质及系统。
背景技术
目前的视频聊天系统中，比如zoom，如图1所示，常会出现一边演示PPT一边显示演讲者的面部视频的情况，特别是大的会议或者直播等，这时就会出现两个窗口。
如果选择全屏模式，那么就会出现两个窗口的位置冲突及调整问题(如图1)，需要手动调节视屏窗口使其移动到合适位置(不遮挡显示内容)，如图2所示。
如果不全屏，如图3所示，由于演示窗口和屏幕是等比例的，无法调节，会导致有比较大的边框宽度及厚度。这样一方面演示窗口会比较小，另一方面宽的边框和除发言人之外的其他人的视频窗口也容易给用户造成干扰，用户体验不好。
发明内容
本发明实施例的目的在于提供一种基于操作系统或演示程序事件及图像处理的视频窗口调整方法、装置、介质及系统，主要解决现有的视频会议系统中，如果演讲者的演示内容全屏的话，视频窗口会经常挡住演示窗口部分内容的问题。
为实现上述目的，第一方面，本发明实施例提供了一种基于图像处理的视频窗口调整方法，适用于处于全屏显示的视频会议系统，包括：
获取视频会议演示端的演示窗口图像，同时加载视频窗口和所述演示窗口图像；
检测所述视频会议演示端是否实时同步发送或者广播演示内容的背景和前景区域信息；
若是，则根据背景和前景区域信息计算最大连续背景子区域，并根据所述最大连续背景子区域对所述视频窗口进行自动调整；其中，所述视频会议演示端基于本地操作系统中演示窗口不同区域的刷新或者显示相关的事件注册或者演示程序(如PPT等)的信息通讯来检测判断所述背景和前景区域信息；
若否，则对所述演示窗口图像进行语义分割，根据当前分割结果计算最大连续背景子区域，并根据所述最大连续背景子区域对所述视频窗口进行自动调整。
其中，检测所述视频会议演示端是否实时同步发送或者广播演示内容的背景和前景区域信息的触发条件为：
所述视频会议演示端演示内容是否有变化(动画或者换页等)或定时刷新发送。
进一步地，所述视频会议演示端检测所述背景和前景区域信息具体包括：
若所述视频会议演示端具有演示端操作系统相应的API或者接口权限，则直接根据不同显示区域的相关的事件(如paint、refresh等事件)进行判断，判断所述背景及前景区域信息；
或若所述视频会议演示端具有演示程序(如PPT、word等)的API接口或者通讯权限，则直接从演示程序中获取所述背景及前景区域信息。
作为本申请一种具体的实施方式，对所述演示窗口图像进行当前语义分割，根据当前分割结果计算最大连续背景子区域，具体包括：
对所述演示窗口图像进行语义分割得到当前分割结果，并获取初始背景区域(空白、单色或者简单线条的无内容区域)；
将所述当前分割结果与之前n次时刻的分割结果进行比较，并获取背景(如PPT模板)中不变的文字或图像等区域；
对所述初始背景区域和背景中不变的文字图像区域融合取并集，得到最终背景区域；
根据所述最终背景区域计算所述最大连续背景子区域。
进一步地，根据所述最大连续背景子区域对所述视频窗口进行自动调整，具体包括：
(1)判断所述最大连续背景子区域是否足够显示默认的视频窗口大小；
(2)若是，则调整所述视频窗口的位置，使其显示在所述最大连续背景子区域内；
(3)若否，则根据所述最大连续背景子区域的大小计算视频窗口的目标值；
(4)判断所述目标值是否小于最小阈值或者会导致视频图像模糊，若是，则执行步骤(5)，若否，则执行步骤(12)；
(5)对视频窗口图像进行语义分割，获取人像区域；
(6)判断所述人像区域是否足够显示在最大连续背景子区域且不模糊，若是，则执行步骤(7)，若否，则执行步骤(8)；
(7)将所述人像区域显示在所述最大连续背景子区域；
(8)判断是否有合适的多个相邻但不连续的背景子区域不被人像区域遮挡，若是，执行步骤(10)，若否，执行步骤(11)；
(10)将所述人像区域显示在多个相邻但不连续的背景子区域内的合适位置；
(11)将所述人像区域缩小到不模糊的最小大小，仅获取头部区域进行显示，或者计算最合适的中心点显示在最大连续背景子区域的角落；
(12)将视频窗口按照目标值进行调整，并显示在所述最大连续背景子区域内。
第二方面，本申请实施例还提供了一种基于图像处理的视频窗口调整装置，适用于处于全屏显示的视频会议系统，包括：
获取单元，用于获取视频会议演示端的演示窗口图像，同时加载视频窗口和所述演示窗口图像；
检测单元，用于检测所述视频会议演示端是否实时同步发送或者广播演示内容的背景和前景区域信息；
调整单元，用于若所述视频会议演示端实时同步发送或者广播演示内容的背景和前景区域信息，则根据背景和前景区域信息计算最大连续背景子区域，并根据所述最大连续背景子区域对所述视频窗口进行自动调整；其中，所述视频会议演示端基于本地操作系统中演示窗口不同区域的刷新或者显示相关的事件注册或者演示程序(如PPT等)的信息通讯来检测判断所述背景和前景区域信息；
所述调整单元还用于若所述视频会议演示端未实时同步发送或者广播演示内容的背景和前景区域信息，则对所述演示窗口图像进行语义分割，根据当前分割结果计算最大连续背景子区域，并根据所述最大连续背景子区域对所述视频窗口进行自动调整。
第三方面，本发明实施例还提供了另一种基于图像处理的视频窗口调整装置，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其内存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
第五方面，本发明实施例提供了一种基于图像处理的视频窗口调整系统，包括视频会议演示端和调整装置。其中，该调整装置如前所述。
实施本发明实施例，采用图像分割技术对演示窗口图像进行分割，区分背景及显示(前景)区域，进一步地获取最大连续背景子区域，自动查找合适的位置将实时视频窗口调整为合适大小，并将其显示在最大连续背景子区域中，不遮挡有效的显示内容，因而随着演示内容的变化不需要总是手动调整，提升了用户体验。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1是现有技术中视频窗口遮挡演示窗口的情况界面图；
图2是现有技术中手动调节之后，视频窗口移动到合适位置，不遮挡演示内容的界面图；
图3是现有技术中视频窗口与演示窗口并列显示的界面图；
图4是本发明实施例提供的基于图像处理的视频窗口调整方法的示意流程图；
图5是本发明实施例提供的基于图像处理的视频窗口调整系统的结构示意图；
图6是图5中调整装置的一种结构示意图；
图7是图5中调整装置的另一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
本发明的技术原理如下：
S1，获取演示窗口图像；
S2，如满足条件及权限，视频会议的演示端基于本地操作系统中演示窗口不同区域的刷新或者显示相关的事件注册或者演示程序(如PPT等)的信息通讯来检测判断演示的背景及显示区域，直接实时与图像一起发送给显示端调节显示窗口使用；如演示端不满足条件或权限，或无背景及显示区域同步发送或者广播给显示端，则显示端执行以下S3步骤进行自动检测。
S3，采用图像分割技术对演示窗口显示区域进行分割，区分背景及前景显示区域；
S4，获取最大连续背景子区域，将实时视频窗口调整为合适大小之后，显示在最大连续背景子区域中。
S5，可选的，如果视频窗口大小在演示窗口的最大连续背景子区域内无法全部显示，或者形状不灵活，可以选择只将视频窗口的前景(人像区域)提取后(图像分割后)显示在最大连续背景子区域内。
进一步地，本发明的基本思路是：
根据演示窗口中的显示区域，自动移动小窗(视频窗口)位置(甚至调整大小)，必要时同时给个提示，或者来个小动画显示新的移动位置(可选)，并且不要移动太频繁(相邻刷新的输出位置尽可能保持一致)。
测算空白、单色、少量的简单线条(如空白表格等)或者文字图片背景区域的大小(找最大的可用子连续区域，差不多大小的，选间距平均值大的或者形状比较规整的整块区域或者子区域，用户体验更好)，再动态调整。
本发明中采用两种方法检测背景及前景区域。
第一种：
如发送端(即演示端)满足条件及权限，发送端可以基于操作系统或者幻灯片程序的事件或者消息直接检测演示内容的背景及显示区域，直接实时与图像一起发送给显示端调节显示窗口大小及位置使用。具体的演示端的检测方法有如下两种选择：
(1)如果具有演示端操作系统相应的API或者接口权限，则可以直接根据不同显示区域的相关的事件进行判断，比如，如果某块显示器区域有显示相关的事件注册给操作系统，比如painting event、刷新事件等，则此部分为前景区域；反之若某区域无显示相关的事件登记，则为背景区域。
(2)如具有幻灯片程序(如PowerPoint)或者其他演示程序的API接口或者通讯权限，则可直接从此程序中获取背景区域(包括文字图片形式的模板背景区域)及要演示的前景区域。
第二种：
使用基于深度学习或者机器学习等人工智能的图像分割技术，来处理实时图像为背景的情况。
PPT模板中的文字或者图片都应该作为背景，其区域可以提前检测出来(背景文字图片区域能不盖住就不盖住，没选择时就盖住也可以)。
结合前述的主要技术原理及发明思路，本发明实施例提供的基于图像处理的视频窗口调整方法如图1所示。该方法适用于处于全屏显示的视频会议系统，其可以包括以下步骤：
S100，定时刷新或者演示窗口内容变化(刷新事件或者内容变化检测)触发。
具体地，调整装置(可理解为前述主要技术原理部分提及的显示端)获取视频会议演示端的演示窗口图像，同时加载视频窗口和演示窗口图像。在进行视频会议时，显示端接收来自视频会议演示端的演示窗口图像，若演示端的摄像头处于打开状态，则演示窗口图像和视频窗口会被同时加载；若演示端的摄像头处于关闭状态，显示端也会为视频窗口预留位置。
如前所述，当演示端满足条件及权限时，会基于本地操作系统中演示窗口不同区域的刷新或者显示相关的事件注册或者演示程序(如PPT等)的信息通讯来直接检测判断演示内容的背景及显示区域，直接实时与图像一起发送给显示端调节显示窗口大小及位置使用。但何时演示端会将检测得到的演示内容的背景及显示区域发送至调整装置，需要一定的触发条件。又由于演示端的显示内容(如PPT等)可能一直在播放换页，甚至有动画变化不同的显示区域。因此需要定时刷新或者演示窗口刷新事件触发，使得演示端将演示窗口图像及检测得到的演示内容的背景及显示区域发送至调整装置。
S200，检测所述视频会议演示端是否实时同步发送或者广播演示内容的背景和前景区域信息，若是，则执行步骤S300，若否，则执行步骤S400。
S300，直接获取背景及前景区域信息，并计算最大连续背景子区域。
S400，对所述演示窗口图像进行语义分割，根据当前分割结果计算最大连续背景子区域。
以上步骤中，最大连续背景子区域的判断规则如下：
背景子区域是指演示窗口中没有需要显示的实质内容的子区域，可以是白色或者其他纯色区域，也可以是有限简单线条无实质内容的区域(如空白表格等)，或者以文字和图片形式显示的背景模板区域。
如果两个或者多个不连续但是相邻的背景子区域之和，大于某个连续背景子区域，且这两个或者多个不连续但是相邻的背景子区域之间只有单色或者无内容的少量简单线条(如空白表格)或无内容简单图案隔断，这两个或者多个不连续但是相邻的背景子区域之和可以被认为是单独的一个连续背景子区域。
连续子区域不规则的，比如有狭窄区域分割成几块连续子区域的，有效可显示面积选择子区域中最大的。如果是要显示被分割后的人像区域，在不被遮挡条件下，将人像区域最大化的显示在合适的不规则大块区域内。
如图所示，步骤S400包括：
对所述演示窗口图像进行语义分割得到当前分割结果，并获取初始背景区域；
将所述当前分割结果与之前n次时刻的分割结果进行比较，并获取模板背景中不变的区域(可能包含文字图像等)；
对所述初始背景区域和模板背景中不变区域融合取并集，得到最终背景区域；
根据所述最终背景区域计算所述最大连续背景子区域。
S500，根据所述最大连续背景子区域对所述视频窗口进行自动调整。
如图所示，步骤S500具体包括：
(1)判断所述最大连续背景子区域是否足够显示默认的视频窗口大小；
(2)若是，则调整所述视频窗口的位置(尽量大但是不超过预设限制)，使其显示在所述最大连续背景子区域内；
(3)若否，则根据所述最大连续背景子区域的大小计算视频窗口的目标值(即视屏窗口应该调整成的大小)；
(4)判断所述目标值是否小于最小阈值或者会导致视频图像模糊，若是，则执行步骤(5)，若否，则执行步骤(12)；
(5)对视频窗口图像进行语义分割，获取人像区域；
(6)判断所述人像区域是否足够显示在最大连续背景子区域且不模糊，若是，则执行步骤(7)，若否，则执行步骤(8)；
(7)将所述人像区域显示在所述最大连续背景子区域；
(8)判断是否有合适的多个相邻但不连续的背景子区域不被人像区域遮挡，若是，执行步骤(10)，若否，执行步骤(11)；
(10)将所述人像区域显示在多个相邻但不连续的背景子区域内的合适位置；
(11)将所述人像区域缩小到不模糊的最小大小，仅获取头部区域进行显示，或者计算最合适的中心点显示在最大连续背景子区域的角落；
(12)将视频窗口按照目标值(计算的大小)进行调整，并显示在所述最大连续背景子区域内。
上述方法中，如果找不到合适的最大连续背景子区域来显示视频窗口，则采用以下处理方法：
使用图像分割算法将视频窗口的人像区域提取出来，提供明显的边界提示，方便用户看到，单独显示在演示窗口上；
寻找是否有合适的“相邻但不连续的多个背景子区域”可以用来放置视频窗口的，比如两个背景子区域中间演示内容很少，或者不连续的空白背景正好可以放下人像区域，则可以用来放置人像分割之后的视频窗口；
默认放在角落(可提前设置偏好位置)，利用边缘边框的空间，保证小窗的主要中心部分显示即可。
实施本发明实施例的方法，采用图像分割技术对演示窗口进行分割，区分背景及显示(前景)区域，进一步地获取最大连续背景子区域，自动查找合适的位置将实时视频窗口调整为合适大小，并将其显示在最大连续背景子区域中，不遮挡有效的显示内容，因而随着演示内容的变化不需要总是手动调整，提升了用户体验。
需要说明的是，本发明的上述方法是以单人发言的情况进行举例说明的，同样适用于多个发言人视图的场景。此外，本发明中：
使用图像分割技术检测前景区域时，只需要检测图像、框图和文字等区域，背景区域则检测空白、单线条、简单无内容图形或者与之前相比不变的图像背景区域；不需要检测前景的具体内容是什么；
用户可以自由选择开关此功能；
如果本次更新后检测的最大连续子区域与上次检测的最大连续子区域基本没变化，或者变化很微弱，则尽量保持视频显示窗口位置及大小跟之前相同，以尽量保证对用户显示的连贯性；
此外，还可以训练深度学习模型来训练和直接获得视频窗口放置的最佳位置。
基于相同的发明构思，本发明实施例还提供一种基于图像处理的视频窗口调整系统。如图2所示，该系统包括视频会议演示端和调整装置。
作为本申请一种优选的实施方式，如图3所示，该调整装置包括：
获取单元10，用于获取视频会议演示端的演示窗口图像，同时加载视频窗口和所述演示窗口图像；
检测单元11，用于检测所述视频会议演示端是否实时同步发送或者广播演示内容的背景和前景区域信息；
调整单元12，用于若所述视频会议演示端实时同步发送或者广播演示内容的背景和前景区域信息，则根据背景和前景区域信息计算最大连续背景子区域，并根据所述最大连续背景子区域对所述视频窗口进行自动调整；其中，所述视频会议演示端基于本地操作系统中演示窗口不同区域的刷新或者显示相关的事件注册或者演示程序信息通讯来检测判断所述背景和前景区域信息；
所述调整单元还用于若所述视频会议演示端未实时同步发送或者广播演示内容的背景和前景区域信息，则对所述演示窗口图像进行语义分割，根据当前分割结果计算最大连续背景子区域，并根据所述最大连续背景子区域对所述视频窗口进行自动调整。
其中，调整单元12具体用于：
对所述演示窗口图像进行语义分割得到当前分割结果，并获取初始背景区域；
将所述当前分割结果与之前n次时刻的分割结果进行比较，并获取背景中固定不变的文字图像区域；
对所述初始背景区域和背景中不变的文字区域融合取并集，得到最终背景区域；
根据所述最终背景区域计算所述最大连续背景子区域。
进一步地，根据所述最大连续背景子区域对所述视频窗口进行自动调整，具体包括：
(1)判断所述最大连续背景子区域是否足够显示默认的视频窗口大小；
(2)若是，则调整所述视频窗口的位置，使其显示在所述最大连续背景子区域内；
(3)若否，则根据所述最大连续背景子区域的大小计算视频窗口的目标值；
(4)判断所述目标值是否小于最小阈值或者会导致视频图像模糊，若是，则执行步骤(5)，若否，则执行步骤(12)；
(5)对视频窗口图像进行语义分割，获取人像区域；
(6)判断所述人像区域是否足够显示在最大连续背景子区域且不模糊，若是，则执行步骤(7)，若否，则执行步骤(8)；
(7)将所述人像区域显示在所述最大连续背景子区域；
(8)判断是否有合适的多个相邻但不连续的背景子区域不被人像区域遮挡，若是，执行步骤(10)，若否，执行步骤(11)；
(10)将所述人像区域显示在多个相邻但不连续的背景子区域内的合适位置；
(11)将所述人像区域缩小到不模糊的最小大小，仅获取头部区域进行显示，或者计算最合适的中心点显示在最大连续背景子区域的角落；
(12)将视频窗口按照目标值进行调整，并显示在所述最大连续背景子区域。
可选地，如图4所示，本发明的调整装置可以包括：一个或多个处理器101、一个或多个输入设备102、一个或多个输出设备103和存储器104，上述处理器101、输入设备102、输出设备103和存储器104通过总线105相互连接。存储器104用于存储计算机程序，所述计算机程序包括程序指令，所述处理器101被配置用于调用所述程序指令执行上述方法实施例部分的方法。
应当理解，在本发明实施例中，所称处理器101可以是中央处理单元(CentralProcessing Unit，CPU)、GPU及特殊AI芯片，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备102可以包括键盘等，输出设备103可以包括显示器(LCD等)、扬声器等。
该存储器104可以包括只读存储器和随机存取存储器，并向处理器101提供指令和数据。存储器104的一部分还可以包括非易失性随机存取存储器。例如，存储器104还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器101、输入设备102、输出设备103可执行本发明实施例提供的基于图像处理的视频窗口调整方法的实施例中所描述的实现方式，在此不再赘述。
实施本发明实施例所提供的基于图像处理的视频窗口调整装置及系统，采用图像分割技术对演示窗口进行分割，区分背景及显示(前景)区域，进一步地获取最大连续背景子区域，自动查找合适的位置将实时视频窗口调整为合适大小，并将其显示在最大连续背景子区域中，不遮挡有效的显示内容，因而随着演示内容的变化不需要总是手动调整，提升了用户体验。
需要说明的是，关于本实施例中系统及装置的更为具体的描述，请参考前述方法实施例，在此不再赘述。
相应地，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：上述基于图像处理的视频窗口调整方法。
所述计算机可读存储介质可以是前述任一实施例所述的系统的内部存储单元，例如系统的硬盘或内存。所述计算机可读存储介质也可以是所述系统的外部存储设备，例如所述系统上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述系统的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述系统所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于图像处理的视频窗口调整方法，适用于处于全屏显示的视频会议系统，其特征在于，包括：
获取演示端的演示窗口图像，同时加载视频窗口和所述演示窗口图像；
检测所述视频会议演示端是否实时同步发送或者广播演示内容的背景和前景区域信息；
若是，则根据背景和前景区域信息计算最大连续背景子区域，并根据所述最大连续背景子区域对所述视频窗口进行自动调整；其中，所述视频会议演示端基于本地操作系统中演示窗口不同区域的刷新或者显示相关的事件注册或者演示程序的信息通讯来检测判断所述背景和前景区域信息；
若否，则对所述演示窗口图像进行语义分割，根据当前分割结果计算最大连续背景子区域，并根据所述最大连续背景子区域对所述视频窗口进行自动调整。
2.如权利要求1所述的方法，其特征在于，检测所述视频会议演示端是否实时同步发送或者广播演示内容的背景和前景区域信息的触发条件为：
所述视频会议演示端是否有演示内容变化或者定时刷新发送。
3.如权利要求2所述的方法，其特征在于，所述视频会议演示端检测所述背景和前景区域信息具体包括：
若所述视频会议演示端具有演示端操作系统相应的API或者接口权限，则直接根据不同显示区域的相关的事件进行判断，得到所述背景及前景区域信息；
或若所述视频会议演示端具有本地演示程序的API接口或者通讯权限，则直接从演示程序中获取所述背景及前景区域信息。
4.如权利要求1所述的方法，其特征在于，对所述演示窗口图像进行当前语义分割，根据当前分割结果计算最大连续背景子区域，具体包括：
对所述演示窗口图像进行语义分割得到当前分割结果，并获取初始背景区域；
将所述当前分割结果与之前n次时刻的分割结果进行比较，并获取背景中固定不变的文字图像区域；
对所述初始背景区域和背景中固定不变的文字图像区域融合取并集，得到最终背景区域；
根据所述最终背景区域计算所述最大连续背景子区域。
5.如权利要求4所述的方法，其特征在于，根据所述最大连续背景子区域对所述视频窗口进行自动调整，具体包括：
(1)判断所述最大连续背景子区域是否足够显示默认的视频窗口大小；
(2)若是，则调整所述视频窗口的位置，使其显示在所述最大连续背景子区域内；
(3)若否，则根据所述最大连续背景子区域的大小计算视频窗口的目标值；
(4)判断所述目标值是否小于最小阈值或者会导致视频图像模糊，若是，则执行步骤(5)，若否，则执行步骤(12)；
(5)对视频窗口图像进行语义分割，获取人像区域；
(6)判断所述人像区域是否足够显示在最大连续背景子区域且不模糊，若是，则执行步骤(7)，若否，则执行步骤(8)；
(7)将所述人像区域显示在所述最大连续背景子区域；
(8)判断是否有合适的多个相邻但不连续的背景子区域不被人像区域遮挡，若是，执行步骤(10)，若否，执行步骤(11)；
(10)将所述人像区域显示在多个相邻但不连续的背景子区域内的合适位置；
(11)将所述人像区域缩小到不模糊的最小大小，仅获取头部区域进行显示，或者计算最合适的中心点显示在最大连续背景子区域的角落；
(12)将视频窗口按照目标值进行调整，并显示在所述最大连续背景子区域内。
6.一种基于图像处理的视频窗口调整装置，适用于处于全屏显示的视频会议系统，其特征在于，包括：
获取单元，用于获取视频会议演示端的演示窗口图像，同时加载视频窗口和所述演示窗口图像；
检测单元，用于检测所述视频会议演示端是否实时同步发送或者广播演示内容的背景和前景区域信息；
调整单元，用于若所述视频会议演示端实时同步发送或者广播演示内容的背景和前景区域信息，则根据背景和前景区域信息计算最大连续背景子区域，并根据所述最大连续背景子区域对所述视频窗口进行自动调整；其中，所述视频会议演示端基于本地操作系统中演示窗口不同区域的刷新或者显示相关的事件注册或者演示程序的信息通讯来检测判断所述背景和前景区域信息；
所述调整单元还用于若所述视频会议演示端未实时同步发送或者广播演示内容的背景和前景区域信息，则对所述演示窗口图像进行语义分割，根据当前分割结果计算最大连续背景子区域，并根据所述最大连续背景子区域对所述视频窗口进行自动调整。
7.如权利要求6所述的装置，其特征在于，所述调整单元具体用于：
对所述演示窗口图像进行语义分割得到当前分割结果，并获取初始背景区域；
将所述当前分割结果与之前n次时刻的分割结果进行比较，并获取背景中固定不变的文字图像区域；
对所述初始背景区域和背景中不变的文字图像区域融合取并集，得到最终背景区域；
根据所述最终背景区域计算所述最大连续背景子区域。
8.一种基于图像处理的视频窗口调整装置，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-5任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-5任一项所述的方法。
10.一种基于图像处理的视频窗口调整系统，包括视频会议演示端和调整装置，其特征在于，所述调整装置如权利要求8所述。
CN202010850853.XA 2020-08-21 2020-08-21 基于图像处理的视频窗口调整方法、装置、介质及系统 Active CN111953924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010850853.XA CN111953924B (zh) 2020-08-21 2020-08-21 基于图像处理的视频窗口调整方法、装置、介质及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010850853.XA CN111953924B (zh) 2020-08-21 2020-08-21 基于图像处理的视频窗口调整方法、装置、介质及系统

Publications (2)

Publication Number Publication Date
CN111953924A true CN111953924A (zh) 2020-11-17
CN111953924B CN111953924B (zh) 2022-03-25

Family

ID=73359537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010850853.XA Active CN111953924B (zh) 2020-08-21 2020-08-21 基于图像处理的视频窗口调整方法、装置、介质及系统

Country Status (1)

Country Link
CN (1) CN111953924B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113051432A (zh) * 2021-04-25 2021-06-29 聚好看科技股份有限公司 显示设备及媒资播放方法
CN113840100A (zh) * 2021-09-15 2021-12-24 维沃移动通信有限公司 视频处理方法、装置和电子设备
CN114520887A (zh) * 2020-11-19 2022-05-20 华为技术有限公司 一种视频通话背景切换方法及第一终端设备
CN114697149A (zh) * 2022-04-01 2022-07-01 北京字跳网络技术有限公司 一种视频会议的视图刷新方法、装置、设备及介质
WO2023071718A1 (zh) * 2021-10-30 2023-05-04 花瓣云科技有限公司 浮窗调整方法及电子设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10210274A (ja) * 1997-01-27 1998-08-07 Brother Ind Ltd 画像合成装置
US8661355B1 (en) * 2008-10-10 2014-02-25 Cisco Technology, Inc. Distinguishing shared and non-shared applications during collaborative computing sessions
CN105005430A (zh) * 2015-07-17 2015-10-28 深圳市金立通信设备有限公司 一种窗口显示方法及终端
US20160132222A1 (en) * 2014-11-12 2016-05-12 Samsung Electronics Co., Ltd. Apparatus and method for using blank area in screen
CN106201176A (zh) * 2016-06-24 2016-12-07 维沃移动通信有限公司 一种图像显示方法及移动终端
CN106814932A (zh) * 2016-11-29 2017-06-09 深圳市金立通信设备有限公司 一种桌面壁纸显示方法及终端
WO2017211250A1 (zh) * 2016-06-08 2017-12-14 深圳创维数字技术有限公司 图像的叠加显示方法和系统
CN107885566A (zh) * 2017-11-03 2018-04-06 维沃移动通信有限公司 显示控制方法、移动终端及计算机可读存储介质
CN108521578A (zh) * 2018-05-15 2018-09-11 北京奇虎科技有限公司 一种检测视频中可贴图区域、实现在视频中贴图的方法
CN109669658A (zh) * 2018-12-29 2019-04-23 联想(北京)有限公司 一种显示方法、装置及显示系统
CN110362373A (zh) * 2019-06-29 2019-10-22 华为技术有限公司 一种控制屏幕小窗口的方法及相关设备
CN110446097A (zh) * 2019-08-26 2019-11-12 维沃移动通信有限公司 录屏方法及移动终端
CN110865865A (zh) * 2019-11-22 2020-03-06 科大讯飞股份有限公司 一种弹窗位置确定方法、装置、设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10210274A (ja) * 1997-01-27 1998-08-07 Brother Ind Ltd 画像合成装置
US8661355B1 (en) * 2008-10-10 2014-02-25 Cisco Technology, Inc. Distinguishing shared and non-shared applications during collaborative computing sessions
US20160132222A1 (en) * 2014-11-12 2016-05-12 Samsung Electronics Co., Ltd. Apparatus and method for using blank area in screen
CN105005430A (zh) * 2015-07-17 2015-10-28 深圳市金立通信设备有限公司 一种窗口显示方法及终端
WO2017211250A1 (zh) * 2016-06-08 2017-12-14 深圳创维数字技术有限公司 图像的叠加显示方法和系统
CN106201176A (zh) * 2016-06-24 2016-12-07 维沃移动通信有限公司 一种图像显示方法及移动终端
CN106814932A (zh) * 2016-11-29 2017-06-09 深圳市金立通信设备有限公司 一种桌面壁纸显示方法及终端
CN107885566A (zh) * 2017-11-03 2018-04-06 维沃移动通信有限公司 显示控制方法、移动终端及计算机可读存储介质
CN108521578A (zh) * 2018-05-15 2018-09-11 北京奇虎科技有限公司 一种检测视频中可贴图区域、实现在视频中贴图的方法
CN109669658A (zh) * 2018-12-29 2019-04-23 联想(北京)有限公司 一种显示方法、装置及显示系统
CN110362373A (zh) * 2019-06-29 2019-10-22 华为技术有限公司 一种控制屏幕小窗口的方法及相关设备
CN110446097A (zh) * 2019-08-26 2019-11-12 维沃移动通信有限公司 录屏方法及移动终端
CN110865865A (zh) * 2019-11-22 2020-03-06 科大讯飞股份有限公司 一种弹窗位置确定方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
汪涛: "解决远程实时授课屏幕显示黑区的方法研究", 《大连民族学院学报》 *
陈韩锋等: "一种基于灰度连续区域分割的视频对象分割方法", 《红外与毫米波学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114520887A (zh) * 2020-11-19 2022-05-20 华为技术有限公司 一种视频通话背景切换方法及第一终端设备
CN114520887B (zh) * 2020-11-19 2023-06-20 华为技术有限公司 一种视频通话背景切换方法及第一终端设备
CN113051432A (zh) * 2021-04-25 2021-06-29 聚好看科技股份有限公司 显示设备及媒资播放方法
CN113840100A (zh) * 2021-09-15 2021-12-24 维沃移动通信有限公司 视频处理方法、装置和电子设备
WO2023071718A1 (zh) * 2021-10-30 2023-05-04 花瓣云科技有限公司 浮窗调整方法及电子设备
CN114697149A (zh) * 2022-04-01 2022-07-01 北京字跳网络技术有限公司 一种视频会议的视图刷新方法、装置、设备及介质
CN114697149B (zh) * 2022-04-01 2023-10-24 北京字跳网络技术有限公司 一种视频会议的视图刷新方法、装置、设备及介质

Also Published As

Publication number Publication date
CN111953924B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN111953924B (zh) 基于图像处理的视频窗口调整方法、装置、介质及系统
WO2018196457A1 (zh) 一种弹幕显示方法及电子设备
EP3125158B1 (en) Method and device for displaying images
WO2020108082A1 (zh) 视频处理方法、装置、电子设备和计算机可读介质
US11182885B2 (en) Method and apparatus for implementing image enhancement, and electronic device
CN110100251B (zh) 用于处理文档的设备、方法和计算机可读存储介质
US10089957B2 (en) Page display method and terminal
US20090096810A1 (en) Method for selectively remoting windows
Chen et al. Improved seam carving combining with 3D saliency for image retargeting
CN112752116A (zh) 直播视频画面的显示方法、装置、终端及存储介质
CN112135041B (zh) 一种人脸特效的处理方法及装置、存储介质
US20230351604A1 (en) Image cutting method and apparatus, computer device, and storage medium
CN111459601A (zh) 数据处理方法、装置、电子设备及计算机可读介质
CN108076359B (zh) 业务对象的展示方法、装置和电子设备
US9774549B2 (en) Method and apparatus for displaying instant messaging (IM) message
US10304232B2 (en) Image animation in a presentation document
CN112162672A (zh) 信息流的显示处理方法、装置、电子设备及存储介质
CN108111747A (zh) 一种图像处理方法、终端设备及计算机可读介质
CN111428570A (zh) 非活体人脸的检测方法、装置、计算机设备及存储介质
CN112579244A (zh) 在移动终端截取远程桌面中区域图片的方法及系统
CN112218005A (zh) 一种基于人工智能的视频剪辑方法
US20180336684A1 (en) Image processing device, image processing method, and information storage medium
CN115840550A (zh) 一种自适应角度的显示屏显示方法、装置及介质
CN114610150A (zh) 图像处理方法及装置
CN114416005A (zh) 界面显示方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant