CN112135057B - 一种视频图像处理方法及系统 - Google Patents

一种视频图像处理方法及系统 Download PDF

Info

Publication number
CN112135057B
CN112135057B CN202011038109.6A CN202011038109A CN112135057B CN 112135057 B CN112135057 B CN 112135057B CN 202011038109 A CN202011038109 A CN 202011038109A CN 112135057 B CN112135057 B CN 112135057B
Authority
CN
China
Prior art keywords
video
resolution
player
main
slave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011038109.6A
Other languages
English (en)
Other versions
CN112135057A (zh
Inventor
李剑
钟学伟
孙长海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihai Tianxia Weixing Technology Co ltd
Original Assignee
Beihai Tianxia Weixing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihai Tianxia Weixing Technology Co ltd filed Critical Beihai Tianxia Weixing Technology Co ltd
Priority to CN202011038109.6A priority Critical patent/CN112135057B/zh
Publication of CN112135057A publication Critical patent/CN112135057A/zh
Application granted granted Critical
Publication of CN112135057B publication Critical patent/CN112135057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种视频图像处理方法，该方法通过主播放器的分辨率来确定从播放器的分屏分辨率，使用分屏分辨率来获取对应的视频，能够减少带宽。此外，由于根据主播放器来矫正从播放器的分屏分辨率，因此呈现给用户的显示效果是清晰度基本相同，用户体验好。

Description

一种视频图像处理方法及系统
技术领域
本发明涉及一种视频图像处理方法及系统，具体涉及视频直播中连麦场景中的视频图像处理方法和系统。
背景技术
分屏显示属于视频显示中的一种。分屏显示一般包括两种场景。一种情况下，比如说某电视台同时连线多个(例如9个)观众，这样9个观众都成像在该电视台现场的大屏上。第二种情况下，网络直播的时候也会出现，对于多个直播场景同时呈现在一个显示装置上的情况。
对于这两种场景，由于最终成像的分辨率没有必要采用原始分辨，因为即使不采用原始分辨率，弄到成像的大小也只是原始的大小的例如1/9，所以即使分辨率低一些，压缩成1/9进行成像的时候，也不影响清晰度和观看效果。因此，有必要对多个观众或者直播场景的实时视频信号进行压缩，从而减少网络传输的带宽需求。
发明内容
本发明的实施例提供一种视频图像处理方法及系统，能够减少网络传输的带宽需求。
本发明采用的技术方案为：
本发明实施例提供一种视频图像处理方法，包括：
S200、根据用户的输入，将主视频播放界面分屏为包括主播放器和待接入的M个从播放器，并确定主播放器的宽度X0和高度Y0；
S210、基于所述主视频播放界面的主视频分辨率(W0，H0)和主播放器的宽度X0和高度Y0，得到第一比值W0/H0和第二比值X0/Y0，并使得第一比值W0/H0和第二比值X0/Y0同时大于等于1或者同时小于等于1；
S220、基于主视频分辨率(W0，H0)、主播放器的宽度X0和高度Y0确定所述主视频终端使用主播放器后的剪裁分辨率(W，H)；
S230、获取视频播放界面中接入的第i个从播放器的宽度Xi和高度Yi，i＝1，2，...，M；
S240、根据所述剪裁分辨率、所述主播放器的宽度和高度以及所述第i个从播放器的宽度和高度，确定第i个从播放器的分屏分辨率Wi×Hi；
S250、根据确定的分屏分辨率Wi×Hi，确定对应的从视频分辨率；
S260、根据确定的从视频分辨率，获取相应的视频；
S270、将根据从视频分辨率获取的视频与根据主视频分辨率获取的视频进行合成并进行显示。
本发明另一实施例还提供一种视频图像处理系统，包括主视频终端和M 个从视频终端，所述主视频终端包括处理器和视频传感器；
其中，所述处理器用于：
S300、根据用户的输入，将所述主视频终端的主视频播放界面分屏为包括主播放器和待接入的M个从播放器，并确定主播放器的宽度X0和高度Y0；
S310、基于所述主视频播放界面的主视频分辨率(W0，H0)和主播放器的宽度X0和高度Y0，得到第一比值W0/H0和第二比值X0/Y0，并使得第一比值W0/H0和第二比值X0/Y0同时大于等于1或者同时小于等于1；
S320、基于主视频分辨率(W0，H0)、主播放器的宽度X0和高度Y0确定所述主视频终端使用主播放器后的剪裁分辨率(W，H)；
S330、获取视频播放界面中接入的第i个从播放器的宽度Xi和高度Yi，i＝1，2，...，M；
S340、根据所述剪裁分辨率、所述主播放器的宽度和高度以及所述第i个从播放器的宽度和高度，确定第i个从播放器的分屏分辨率Wi×Hi；
S350、根据确定的分屏分辨率Wi×Hi，确定对应的从视频分辨率，并发送给对应的从视频终端；
所述从视频终端用于根据对应的从视频分辨率获取相应的视频，并发送给所述处理器；
所述视频传感器用于获取在所述主播放器中播放的视频；
所述处理器还用于：
S360、将从所述从视频终端获取的视频与所述视频传感器获取的视频进行合成并进行显示。
本发明实施例提供的视频图像处理方法和系统，在该实施方式中，由于根据主播放器来矫正从播放器的分屏分辨率，因此呈现给用户的显示效果是清晰度基本相同，用户体验好。
附图说明
图1为本发明一实施例提供的视频图像处理方法的流程示意图；
图2为本发明另一实施例提供的视频图像处理方法的流程示意图；
图3为具有活动点的主视频播放界面的结构示意图；
图4为本发明一实施例提供的视频图像处理系统的结构示意图；
图5为本发明另一实施例提供的视频图像处理系统的结构示意图；
图6为具有活动点的主视频播放界面的另一结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
图1是本发明实施例提供的一种视频图像处理方法。如图1所示，本发明实施例提供的视频图像处理方法可包括：
S100、根据用户输入，确定待分屏的数量K，以及每个分屏的分屏分辨率 R1，R2，...，RK；
S110、根据确定的每个分屏分辨率，确定对应的视频分辨率；
S120、根据确定的视频分辨率，获取相应的视频；
S130、将获取的视频进行显示。
在本发明实施例中，提供的视频图像处理方法可应用于两种情景，第一种情景是，只在一个显示装置上显示多个视频，例如，在CCTV现场的大屏上显示多个视频；第二种情景是，同时在多个显示装置显示多个视频，例如，在直播时，同时在主播和与主播连麦的多个从播的显示装置上显示多个视频。以下对这两种情景分别进行详细介绍。
(第一实施方式)
在为第一种情景的情况下，硬件可包括：K个视频终端，与视频呈现装置通信连接。视频终端可包括总线连接的视频传感器(例如摄像头、拍摄装置等) 和处理器，视频传感器用于根据处理器传输的视频分辨率，获取视频图像；处理器，用于从视频呈现装置获取视频呈现装置的分屏分辨率，并根据分频分辨率确定视频分辨率。一个视频处理装置，用于将获取的K路视频图像呈现在视频呈现装置上。其中，
在步骤S100中，每个分屏的分屏分辨率R1，R2，...，RK可基于如下方式确定：(1)平均分配；(2)手工圈选分辨率；(3)从自定义的配置列表中选择等。步骤S100可由与视频呈现装置连接的视频处理装置执行，确定的分屏分辨率会发送给对应的视频终端。
在步骤S110中，视频终端会根据接收的分屏分辨率确定视频分辨率。例如某个视频终端i获得的分屏分辨率是Ri＝Wi0×Hi0，那么这个视频终端的处理器会执行以下处理步骤：
根据确定的每个分屏分辨率和预设的分辨率列表，确定对应的视频分辨率，所述预设的分辨率列表由用户自定义设置，存储在视频终端中，存储有m 个分辨率(Wj1，Hj1)，其中，Wj1≥Hj1，j＝1，2，...m。
处理器具体可执行以下步骤：
S111、根据分屏分辨率Wi0×Hi0，确定对应的视频显示模式；例如，如果 Wi0≥Hi0，则将视频终端设置为默认的横向模式，如果Wi0≤Hi0，则将视频终端设置为默认的竖向模式。
S112、判断所述预设的分辨率列表中是否存在与Wi0×Hi0或者Hi0×Wi0相同的分辨率(Wj1，Hj1)，如果存在，则将该分辨率(Wj1，Hj1)确定为对应的视频分辨率；否则，执行步骤S113；
步骤S112能够选择与分屏分辨率完全匹配的视频分辨率，能够使得视频终端拍摄的视频与视频呈现装置的分辨率相同，能够确保视频呈现装置呈现的视频的清晰度基本一致。
S113、判断所述预设的分辨率列表中是否存在满足第一预设条件的分辨率(Wj1，Hj1)，如果存在，则将该分辨率确定为所述视频分辨率；否则，执行步骤S114；
所述第一预设条件为：
Argmin(|Wj1/Hj1-max(Wi0，Hi0)/min(Wi0，Hi0)|)，且
Wj1≥max(Wi0，Hi0)，且
Argmin(Wj1-max(Wi0，Hi0))。
步骤S113根据三个条件确定视频分辨率，第一是宽高比与分屏分辨率的宽高比尽可能的接近，第二是尽量选择分辨率比分屏分辨率略大或相同的，作为视频分辨率，从而能够确保确定的视频分辨率尽可能地接近分屏分辨率，以尽可能确保视频呈现装置呈现的视频的清晰度基本一致。
S114、判断所述预设的分辨率列表中是否存在满足第二预设条件的分辨率 (Wj1，Hj1)，如果存在，则将该分辨率确定为所述视频分辨率；
所述第二预设条件为：
Argmin(|Wj1/Hj1-max(Wi0，Hi0)/min(Wi0，Hi0)|)，且
Argmax(|Wj1-max(Wi0，Hi0)|)。
在步骤S114中，选择宽高比与分屏分辨率的宽高比相近且像素最接近的，以尽可能确保视频呈现装置呈现的视频的清晰度基本一致。
在步骤S120中，每个视频终端的视频传感器会根据确定的视频分辨率，获取相应的视频，并由处理器发送给视频处理装置；
在步骤S130中，视频处理装置会将获取的视频发送给视频呈现装置进行显示。
在该实施方式中，由于每个视频终端都是根据视频呈现装置发送的分屏分辨率来拍摄视频，一方面能够节省网络宽带，另一方面，能够确保视频呈现装置的整个画面显示的清晰度基本相同，提高视角体验。
(第二实施方式)
在第二种情景下，硬件可包括：主视频终端和若干个从视频终端，从而满足视频直播中连麦的场景，主视频终端上设置有主视频播放界面，主视频播放界面在分屏形成主播放器和多个(大于等于两个)从播放器时，会在相邻的分屏区域的共同连接点位置处形成有活动点，如图3所示，活动点可设置为黑色。图3示出的界面中，包括4个格子，一个格子作为主播放器，另外3个作为连麦的从播放器，这4个格子在共同的连接点处设置有一个活动点，通过操作活动点，可改变主视频播放界面的各个分屏区域的大小，即视频播放界面中的播放器的分辨率动态可调节。主视频播放界面的格子数即分屏数可根据用户输入来自行设置。
其中，在进行多人连麦时，在各个分屏区域不是等分的情况下，如图2所示，图1所示的步骤可被替换为：
S200、根据用户的输入，将主视频播放界面分屏为包括主播放器和待接入的M个从播放器，并确定主播放器的宽度X0和高度Y0；
S210、基于所述主视频播放界面的主视频分辨率(W0，H0)和主播放器的宽度X0和高度Y0，得到第一比值W0/H0和第二比值X0/Y0，并使得第一比值W0/H0和第二比值X0/Y0同时大于等于1或者同时小于等于1；
S220、基于主视频分辨率(W0，H0)、主播放器的宽度X0和高度Y0确定所述主视频终端使用主播放器后的剪裁分辨率(W，H)；
S230、获取视频播放界面中接入的第i个从播放器的宽度Xi和高度Yi，i＝1，2，...，M；
S240、根据所述剪裁分辨率、所述主播放器的宽度和高度以及所述第i个从播放器的宽度和高度，确定第i个从播放器的分屏分辨率Wi×Hi；
S250、根据确定的分屏分辨率Wi×Hi，确定对应的从视频分辨率；
S260、根据确定的从视频分辨率，获取相应的视频；
S270、将根据从视频分辨率获取的视频与根据主视频分辨率获取的视频进行合成并进行显示。
上述步骤S200～S240为对前述步骤S100的进一步限定的内容，可由主视频终端上的处理器完成。
进一步地，在步骤S200中，用户可根据需要接入的人数M(M≥1)，设置对应的分屏个数，然后拖动主播放界面上的活动点，以确定主播放器所占播放区域的宽度和高度。
进一步地，在步骤S210中，如果min(W0/H0，X0/Y0)＜1＜max(W0/H0，X0/Y0)，那么调整主视频中终端的横屏和竖屏拍摄设置，从而使得W0/H0，X0/Y0同时大于1或者同时小于1。
进一步地，步骤S220可包括：
S222、如果W0/H0＝[(1-k)*X0/Y0，(1+k)*X0/Y0]，那么(W，H)＝(W0， H0)；
S224、如果W0/H0＞(1+k)*X0/Y0，那么(W，H)＝(H0*X0/Y0，H0)；
S226、如果W0/H0＜(1-k)*X0/Y0，那么(W，H)＝(W0，W0*Y0/X0)；
其中，k为预设的抗抖动系数，其取值优选3％以内，例如3％，2％等。它的设置能够防止在主视频终端中，如果用户误操作了那个活动点，然后能有一定的冗余度，不至于变更各个播放器的分辨率。
进一步，在步骤S222之前还包括：
S221、如果W0/X0＞α，且H0/Y0＞α，则将W0设置为W0/α，将H0设置为H0/α，α为预设的比值系数，优选可为1.5。通过这样设置，能够节约分辨率。
进一步，在步骤S240中，所述第i个从播放器的分屏分辨率Wi×Hi为(Wi， Hi)＝(W*Xi/X0，H*Yi/Y0)。
在步骤S250中，从视频终端会根据接收的分屏分辨率确定视频分辨率。例如某个从视频终端i获得的分屏分辨率是Ri＝Wi0×Hi0，那么这个从视频终端的处理器会执行以下处理步骤：
根据确定的每个分屏分辨率和预设的分辨率列表，确定对应的视频分辨率，所述预设的分辨率列表存储在视频终端中，存储有m个分辨率(Wj，Hj)，其中，Wj≥Hj，j＝1，2，...m。
处理器具体可执行以下步骤：
S251、根据分屏分辨率Wi×Hi，确定对应的视频显示模式；例如，如果Wi≥Hi，则将视频终端设置为默认的横向模式，如果Wi≤Hi，则将视频终端设置为默认的竖向模式。
S252、判断所述预设的分辨率列表中是否存在与Wi×Hi或者Hi×Wi相同的分辨率(Wj，Hj)，如果存在，则将该分辨率(Wj，Hj)确定为对应的视频分辨率；否则，执行步骤S253；
步骤S252能够选择与分屏分辨率完全匹配的视频分辨率，能够使得视频终端拍摄的视频与视频呈现装置的分辨率相同，使得视频呈现装置呈现的视频的清晰度基本一致。
S253、判断所述预设的分辨率列表中是否存在满足第一预设条件的分辨率 (Wj，Hj)，如果存在，则将该分辨率确定为所述视频分辨率；否则，执行步骤S254；
所述第一预设条件为：
Argmin(|Wj/Hj-max(Wi，Hi)/min(Wi，Hi)|)，且
Wj1≥max(Wi，Hi)，且
Argmin(Wj1-max(Wi，Hi))。
步骤S253根据三个条件确定视频分辨率，第一是宽高比与分屏分辨率的宽高比尽可能的接近，第二是尽量选择分辨率比分屏分辨率略大或相同的，作为视频分辨率，从而能够确保确定的视频分辨率尽可能地接近分屏分辨率，以尽可能确保视频呈现装置呈现的视频的清晰度基本一致。
S254、判断所述预设的分辨率列表中是否存在满足第二预设条件的分辨率 (Wj，Hj)，如果存在，则将该分辨率确定为所述视频分辨率；
所述第二预设条件为：
Argmin(|Wj/Hj-max(Wi，Hi)/min(Wi，Hi)|)，且
Argmax(|Wj-max(Wi，Hi)|)。
在步骤S254中，选择宽高比与分屏分辨率的宽高比相近且像素最接近的，以尽可能确保视频呈现装置呈现的视频的清晰度基本一致。
在步骤S260中，每个从视频终端会根据确定的视频分辨率，获取相应的视频，并发送给主视频终端；
在步骤S270中，主视频终端会根据分辨率将这些分屏的接入视频流合并成相同的一个视频，然后在主视频播放界面进行显示并发送给相应的从视频终端，以给用户观看，即点播或者观看连麦的用户观看。合并视频流的具体技术例如可采用可以采用CN109729379A中的技术，或者现有技术中能够得出即时启示的其他任意合并技术。
在该实施方式中，由于根据主播放器来矫正从播放器的分屏分辨率，因此呈现给用户的显示效果是清晰度基本相同，用户体验好。此外，由于根据主视频终端确定的分屏分辨率来获取从播放器的视频，也能够节省网络宽带。另外，由于每个播放器的分辨率可动态调节，可在直播过程，根据用户的选择来调整主播放器的分辨率，互动性强。
本发明另一实施例还提供一种视频图像处理系统，用于实现图1所示的步骤。如图4所示，本发明实施例提供的视频图像处理系统，包括：通信连接的视频呈现装置101、视频处理装置102和K个视频终端103，K≥2；其中，所述视频处理装置用于根据用户输入，确定待分屏的数量N，以及每个分屏的分屏分辨率Wi0×Hi0并发送给对应的视频终端，i＝1，2，...N；所述视频终端用于：根据确定的每个分屏分辨率Wi0×Hi0，确定对应的视频分辨率；以及根据确定的视频分辨率Wij×Hij，获取相应的视频并发送给所述视频处理装置；所述视频处理装置还用于将接收到的视频在所述视频呈现装置上进行显示。
进一步地，视频终端103具体用于：
根据确定的每个分屏分辨率Wi0×Hi0和预设的分辨率列表，确定对应的视频分辨率，所述预设的分辨率列表中存储有m个分辨率(Wj1，Hj1)，其中， Wj1≥Hj1，j＝1，2，...m。
进一步地，视频终端103还用于：
根据分屏分辨率Wi0×Hi0，确定对应的视频显示模式；
如果所述预设的分辨率列表中存在与分屏分辨率Wi0×Hi0或者Hi0×Wi0相同的分辨率(Wj1，Hj1)，则将该分辨率(Wj1，Hj1)确定为所述视频分辨率。
进一步地，视频终端103还用于：
如果所述预设的分辨率列表中不存在与分屏分辨率Wi0×Hi0或者Hi0×Wi0相同的分辨率(Wj1，Hj1)，则将所述预设的分辨率列表中满足第一预设条件的分辨率(Wj1，Hj1)确定为所述视频分辨率；所述第一预设条件为：
Argmin(|Wj1/Hj1-max(Wi0，Hi0)/min(Wi0，Hi0)|)，且
Wj1≥max(Wi0，Hi0)，且
Argmin(Wj1-max(Wi0，Hi0))。
进一步地，视频终端103还用于：
如果所述预设的分辨率列表中不存在满足所述第一预设条件的分辨率，则将满足第二预设条件的分辨率(Wj1，Hj1)确定为所述视频分辨率；
所述第二预设条件为：
Argmin(|Wj1/Hj1-max(Wi0，Hi0)/min(Wi0，Hi0)|)，且
Argmax(|Wj1-max(Wi0，Hi0)|)。
本实施例的视频图像处理系统的功能可对应于图1所示流程中的相应处理步骤，在此不再赘述。
本发明另一实施例还提供一种视频图像处理系统，用于实现图2所示的步骤。如图5所示，可包括包括主视频终端201和M个从视频终端202，所述主视频终端包括处理器和视频传感器。此外，主视频终端201上设置有主视频播放界面203，主视频播放界面203在分屏形成主播放器和多个(大于等于两个) 从播放器时，会在相邻的分屏区域的共同连接点位置处形成有活动点204，如图6所示，活动点可设置为黑色。图6示出的界面中，与图3相比，多了2个格子，即包括6个格子，一个格子作为主播放器，另外5个作为连麦的从播放器，这6个格子在相邻的4个格子共同的连接点处各设置有一个活动点，供两个活动点。通过操作活动点，可改变主视频播放界面的各个分屏区域的大小，即视频播放界面中的播放器的分辨率动态可调节。其中，在进行多人连麦时，在各个分屏区域不是等分的情况下，处理器用于执行如下步骤：
S300、根据用户的输入，将所述主视频终端的主视频播放界面分屏为包括主播放器和待接入的M个从播放器，并确定主播放器的宽度X0和高度Y0；
S310、基于所述主视频播放界面的主视频分辨率(W0，H0)和主播放器的宽度X0和高度Y0，得到第一比值W0/H0和第二比值X0/Y0，并使得第一比值W0/H0和第二比值X0/Y0同时大于等于1或者同时小于等于1；
S320、基于主视频分辨率(W0，H0)、主播放器的宽度X0和高度Y0确定所述主视频终端使用主播放器后的剪裁分辨率(W，H)；
S330、获取视频播放界面中接入的第i个从播放器的宽度Xi和高度Yi，i＝1，2，...，M；
S340、根据所述剪裁分辨率、所述主播放器的宽度和高度以及所述第i个从播放器的宽度和高度，确定第i个从播放器的分屏分辨率Wi×Hi；
S350、根据确定的分屏分辨率Wi×Hi，确定对应的从视频分辨率，并发送给对应的从视频终端；
所述从视频终端用于根据对应的从视频分辨率获取相应的视频，并发送给所述主处理器；
所述主处理器还用于：
S360、将从所述从视频终端获取的视频与所述主视频终端获取的视频进行合成并分别发送给所述主视频终端和所述从视频终端进行显示。
进一步地，步骤S320包括：
S322、如果W0/H0＝[(1-k)*X0/Y0，(1+k)*X0/Y0]，那么(W，H)＝(W0， H0)；
S324、如果W0/H0＞(1+k)*X0/Y0，那么(W，H)＝(H0*X0/Y0，H0)；
S326、如果W0/H0＜(1-k)*X0/Y0，那么(W，H)＝(W0，W0*Y0/X0)；
其中，k为预设的抗抖动系数。
进一步地，在步骤S322之前还包括：
S321、如果W0/X0＞α，且H0/Y0＞α，则将W0设置为W0/α，将H0设置为H0/α，α为预设的比值系数。
进一步地，在步骤S340中，所述第i个从播放器的分屏分辨率Wi×Hi为 (Wi，Hi)＝(W*Xi/X0，H*Yi/Y0)。
进一步地，步骤S350可包括：
根据确定的分屏分辨率Wi×Hi和预设的分辨率列表，确定对应的从视频分辨率，所述预设的分辨率列表中存储有m个分辨率(Wj，Hj)，其中，Wj≥Hj， j＝1，2，...m。
进一步地，根据确定的分屏分辨率Wi×Hi和预设的分辨率列表，确定对应的从视频分辨率，包括：
根据分屏分辨率Wi×Hi，确定对应的视频显示模式；
如果所述预设的分辨率列表中存在与Wi×Hi或者与Hi×Wi相同的分辨率 (Wj，Hj)，则将该分辨率(Wj，Hj)确定为对应的从视频分辨率。
进一步地，还包括：
如果所述预设的分辨率列表中不存在与Wi×Hi或者与Hi×Wi相同的分辨率 (Wj，Hj)，则将所述预设的分辨率列表中满足第一预设条件的分辨率(Wj，Hj)确定为所述视频分辨率；
所述第一预设条件为：
Argmin(|Wj/Hj-max(Wi，Hi)/min(Wi，Hi)|)，且
Wj1≥max(Wi，Hi)，且
Argmin(Wj-max(Wi，Hi))。
进一步地，还包括：
如果所述预设的分辨率列表中不存在满足所述第一预设条件的分辨率，则将满足第二预设条件的分辨率(Wj，Hj)确定为所述视频分辨率；
所述第二预设条件为：
Argmin(|Wj/Hj-max(Wi，Hi)/min(Wi，Hi)|)，且
Argmax(|Wj-max(Wi，Hi)|)。
本实施例的视频图像处理系统的功能可对应于图2所示流程中的相应处理步骤，在此不再赘述。
以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种视频图像处理方法，其特征在于，包括：
S200、根据用户的输入，将主视频播放界面分屏为包括主播放器和待接入的M个从播放器，并确定主播放器的宽度X0和高度Y0；
S210、基于所述主视频播放界面的主视频分辨率(W0，H0)和主播放器的宽度X0和高度Y0，得到第一比值W0/H0和第二比值X0/Y0，并通过调整主视频中终端的横屏或竖屏拍摄设置使得第一比值W0/H0和第二比值X0/Y0同时大于等于1或者同时小于等于1；
S220、基于主视频分辨率(W0，H0)、主播放器的宽度X0和高度Y0确定所述主视频终端使用主播放器后的剪裁分辨率(W，H)；
S230、获取视频播放界面中接入的第i个从播放器的宽度Xi和高度Yi，i＝1，2，...，M；
S240、根据所述剪裁分辨率、所述主播放器的宽度和高度以及所述第i个从播放器的宽度和高度，确定第i个从播放器的分屏分辨率Wi×Hi；
S250、根据确定的分屏分辨率Wi×Hi，确定对应的从视频分辨率；
S260、根据确定的从视频分辨率，获取相应的视频；
S270、将根据从视频分辨率获取的视频与根据主视频分辨率获取的视频进行合成并进行显示；
步骤S220包括：
S222、如果W0/H0＝[(1-k)*X0/Y0，(1+k)*X0/Y0]，那么(W，H)＝(W0，H0)；
S224、如果W0/H0＞(1+k)*X0/Y0，那么(W，H)＝(H0*X0/Y0，H0)；
S226、如果W0/H0＜(1-k)*X0/Y0，那么(W，H)＝(W0，W0*Y0/X0)；
其中，k为预设的抗抖动系数；
在步骤S240中，所述第i个从播放器的分屏分辨率Wi×Hi为(Wi，Hi)＝(W*Xi/X0，H*Yi/Y0)。
2.根据权利要求1所述的视频图像处理方法，其特征在于，在步骤S222之前还包括：
S221、如果W0/X0＞α，且H0/Y0＞α，则将W0设置为W0/α，将H0设置为H0/α，α为预设的比值系数。
3.根据权利要求1所述的视频图像处理方法，其特征在于，步骤S250包括：
根据确定的分屏分辨率Wi×Hi和预设的分辨率列表，确定对应的从视频分辨率，所述预设的分辨率列表中存储有m个分辨率(Wj，Hj)，其中，Wj≥Hj，j＝1，2，...m。
4.根据权利要求3所述的视频图像处理方法，其特征在于，根据确定的分屏分辨率Wi×Hi和预设的分辨率列表，确定对应的从视频分辨率，包括：
根据分屏分辨率Wi×Hi，确定对应的视频显示模式；
如果所述预设的分辨率列表中存在与Wi×Hi或者与Hi×Wi相同的分辨率(Wj，Hj)，则将该分辨率(Wj，Hj)确定为对应的从视频分辨率。
5.根据权利要求4所述的视频图像处理方法，其特征在于，还包括：
如果所述预设的分辨率列表中不存在与Wi×Hi或者与Hi×Wi相同的分辨率(Wj，Hj)，则将所述预设的分辨率列表中满足第一预设条件的分辨率(Wj，Hj)确定为所述视频分辨率；
所述第一预设条件为：
Argmin(|Wj/Hj-max(Wi，Hi)/min(Wi，Hi)|)，且
Wj1≥max(Wi，Hi)，且
Argmin(Wj-max(Wi，Hi))。
6.根据权利要求5所述的视频图像处理方法，其特征在于，还包括：
如果所述预设的分辨率列表中不存在满足所述第一预设条件的分辨率，则将满足第二预设条件的分辨率(Wj，Hj)确定为所述视频分辨率；
所述第二预设条件为：
Argmin(|Wj/Hj-max(Wi，Hi)/min(Wi，Hi)|)，且
Argmax(|Wj-max(Wi，Hi)|)。
7.根据权利要求1所述的视频图像处理方法，其特征在于，所述视频播放界面中的播放器的分辨率动态可调节。
8.一种视频图像处理系统，其特征在于，包括主视频终端和M个从视频终端，所述主视频终端包括处理器和视频传感器；
其中，所述处理器用于：
S300、根据用户的输入，将所述主视频终端的主视频播放界面分屏为包括主播放器和待接入的M个从播放器，并确定主播放器的宽度X0和高度Y0；
S310、基于所述主视频播放界面的主视频分辨率(W0，H0)和主播放器的宽度X0和高度Y0，得到第一比值W0/H0和第二比值X0/Y0，并通过调整主视频中终端的横屏或竖屏拍摄设置使得第一比值W0/H0和第二比值X0/Y0同时大于等于1或者同时小于等于1；
S320、基于主视频分辨率(W0，H0)、主播放器的宽度X0和高度Y0确定所述主视频终端使用主播放器后的剪裁分辨率(W，H)；
S330、获取视频播放界面中接入的第i个从播放器的宽度Xi和高度Yi，i＝1，2，...，M；
S340、根据所述剪裁分辨率、所述主播放器的宽度和高度以及所述第i个从播放器的宽度和高度，确定第i个从播放器的分屏分辨率Wi×Hi；
S350、根据确定的分屏分辨率Wi×Hi，确定对应的从视频分辨率，并发送给对应的从视频终端；
所述从视频终端用于根据对应的从视频分辨率获取相应的视频，并发送给所述处理器；
所述视频传感器用于获取在所述主播放器中播放的视频；
所述处理器还用于：
S360、将从所述从视频终端获取的视频与所述视频传感器获取的视频进行合成并进行显示；
步骤S320包括：
S322、如果W0/H0＝[(1-k)*X0/Y0，(1+k)*X0/Y0]，那么(W，H)＝(W0，H0)；
S324、如果W0/H0＞(1+k)*X0/Y0，那么(W，H)＝(H0*X0/Y0，H0)；
S326、如果W0/H0＜(1-k)*X0/Y0，那么(W，H)＝(W0，W0*Y0/X0)；
其中，k为预设的抗抖动系数；
在步骤S340中，所述第i个从播放器的分屏分辨率Wi×Hi为(Wi，Hi)＝(W*Xi/X0，H*Yi/Y0)。
CN202011038109.6A 2020-09-28 2020-09-28 一种视频图像处理方法及系统 Active CN112135057B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011038109.6A CN112135057B (zh) 2020-09-28 2020-09-28 一种视频图像处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011038109.6A CN112135057B (zh) 2020-09-28 2020-09-28 一种视频图像处理方法及系统

Publications (2)

Publication Number Publication Date
CN112135057A CN112135057A (zh) 2020-12-25
CN112135057B true CN112135057B (zh) 2021-09-21

Family

ID=73839883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011038109.6A Active CN112135057B (zh) 2020-09-28 2020-09-28 一种视频图像处理方法及系统

Country Status (1)

Country Link
CN (1) CN112135057B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113891144A (zh) * 2021-11-11 2022-01-04 上海哔哩哔哩科技有限公司 视频展示方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201300733D0 (en) * 2012-01-16 2013-02-27 Snell Ltd Determining aspect ratio for display of video
CN202799004U (zh) * 2012-06-04 2013-03-13 深圳市景阳科技股份有限公司 一种视频播放终端及系统
CN105282441A (zh) * 2015-09-29 2016-01-27 小米科技有限责任公司 拍照方法及装置
CN105472437A (zh) * 2015-11-24 2016-04-06 广州华多网络科技有限公司 视频播放方法及装置
CN106484349A (zh) * 2016-09-26 2017-03-08 腾讯科技（深圳）有限公司 直播信息的处理方法和装置
CN106648511A (zh) * 2016-12-16 2017-05-10 竞技世界（北京）网络技术有限公司 一种显示分辨率的自适应显示方法及装置
CN107371062A (zh) * 2017-08-25 2017-11-21 四川长虹电器股份有限公司 视频画面自动缩放的方法
CN108184094A (zh) * 2017-12-29 2018-06-19 北京视觉世界科技有限公司 视频画面显示方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090022297A (ko) * 2007-08-30 2009-03-04 삼성전자주식회사 디스플레이 제어 방법, 이를 이용한 디스플레이 장치 및디스플레이 시스템
CN106201167A (zh) * 2016-06-24 2016-12-07 北京奇虎科技有限公司 终端屏幕的分屏显示方法、装置及终端
TWI622291B (zh) * 2017-08-03 2018-04-21 鴻海精密工業股份有限公司 電子設備及視訊框排列方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201300733D0 (en) * 2012-01-16 2013-02-27 Snell Ltd Determining aspect ratio for display of video
CN202799004U (zh) * 2012-06-04 2013-03-13 深圳市景阳科技股份有限公司 一种视频播放终端及系统
CN105282441A (zh) * 2015-09-29 2016-01-27 小米科技有限责任公司 拍照方法及装置
CN105472437A (zh) * 2015-11-24 2016-04-06 广州华多网络科技有限公司 视频播放方法及装置
CN106484349A (zh) * 2016-09-26 2017-03-08 腾讯科技（深圳）有限公司 直播信息的处理方法和装置
CN106648511A (zh) * 2016-12-16 2017-05-10 竞技世界（北京）网络技术有限公司 一种显示分辨率的自适应显示方法及装置
CN107371062A (zh) * 2017-08-25 2017-11-21 四川长虹电器股份有限公司 视频画面自动缩放的方法
CN108184094A (zh) * 2017-12-29 2018-06-19 北京视觉世界科技有限公司 视频画面显示方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
4K视频流异构多核的多路分屏方法;吴志忠,邓敏等;《数据采集与处理》;20200915;1001-1010 *

Also Published As

Publication number Publication date
CN112135057A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
AU2012269508B2 (en) Method and device for MCU multi-picture optimized configuration
US8542948B2 (en) Image processing apparatus and method
CN108124109A (zh) 一种视频处理方法、设备及计算机可读存储介质
GB2440376A (en) Wide angle video conference imaging
US20120127261A1 (en) Teleconferencing device and image display processing method
CN107409239B (zh) 基于眼睛追踪的图像传输方法、图像传输设备及图像传输系统
CN103002349A (zh) 一种视频播放自适应调节的方法及装置
US11935157B2 (en) Image processing system, image processing method, and storage medium
CN112135057B (zh) 一种视频图像处理方法及系统
CN112272270B (zh) 一种视频数据处理方法
CN114651448A (zh) 信息处理系统、信息处理方法和程序
CN111147883A (zh) 直播方法、装置、头戴显示设备和可读存储介质
CN114449303A (zh) 直播画面生成方法和装置、存储介质及电子装置
CN113613030A (zh) 一种直播控制方法、系统及计算机可读存储介质
JP2019149785A (ja) 映像変換装置及びプログラム
EP2744209A1 (en) Content processing device, content processing method, and recording medium
JP4901981B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2011165091A (ja) 色調調整装置、色調調整方法およびプログラム
WO2022105584A1 (zh) 基于大屏创建全景图片的方法、装置、智能终端及介质
JP2010171876A (ja) 通信装置及び通信システム
JP2007013848A (ja) デジタル映像表示システム
JP2003153213A (ja) 映像生成装置および受信装置
CN106961622B (zh) 一种显示处理方法及装置
JP4166463B2 (ja) 映像生成装置
KR20180092469A (ko) 3d카메라와 웹 실시간 통신을 이용한 실시간 프레젠테이션 방송 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant