CN113163254B - 直播图像处理方法、装置及电子设备 - Google Patents

直播图像处理方法、装置及电子设备 Download PDF

Info

Publication number
CN113163254B
CN113163254B CN202110368346.7A CN202110368346A CN113163254B CN 113163254 B CN113163254 B CN 113163254B CN 202110368346 A CN202110368346 A CN 202110368346A CN 113163254 B CN113163254 B CN 113163254B
Authority
CN
China
Prior art keywords
image
target object
frame
area
live broadcast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110368346.7A
Other languages
English (en)
Other versions
CN113163254A (zh
Inventor
陈科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Jinhong Network Media Co ltd
Guangzhou Cubesili Information Technology Co Ltd
Original Assignee
Guangzhou Jinhong Network Media Co ltd
Guangzhou Cubesili Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Jinhong Network Media Co ltd, Guangzhou Cubesili Information Technology Co Ltd filed Critical Guangzhou Jinhong Network Media Co ltd
Priority to CN202110368346.7A priority Critical patent/CN113163254B/zh
Publication of CN113163254A publication Critical patent/CN113163254A/zh
Application granted granted Critical
Publication of CN113163254B publication Critical patent/CN113163254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开一种直播图像处理方法、装置、电子设备以及存储介质，涉及互联网直播技术领域，通过获取多帧图像；获取目标对象在所述多帧图像中的位置；获取所述多帧图像对应的第一区域以及第二区域；在播放所述多帧图像的过程中，若所播放的当前帧图像对应的目标对象的位置未超出所述第一区域，维持直播画面的焦点位置不变；若所播放的当前帧图像对应的目标对象的位置超出所述第一区域且未超出所述第二区域，控制直播画面的焦点位置随着所述当前帧图像对应的目标对象的位置的变化而移动。本申请能有效避免过于频繁的移动直播画面的焦点位置而造成画面颤动，进而提升直播画面的用户观看体验。

Description

直播图像处理方法、装置及电子设备
技术领域
本申请涉及互联网直播技术领域，更具体地，涉及一种直播图像处理方法、装置、电子设备以及存储介质。
背景技术
在大型球类赛事直播中，大多会通过摄像师控制摄像头进行拍摄，或者是通过自动化的方式控制摄像头进行拍摄。对于一些较为复杂的赛事场景，通过摄像师控制摄像头进行拍摄较为耗费人力成本；而通过自动化的方式控制摄像头拍摄得到的画面的画面质量仍有待改善，并且一定程度上影响了直播画面的用户观看体验。
发明内容
鉴于上述问题，本申请提出了一种直播图像处理方法、装置、电子设备及存储介质，以改善上述问题。
第一方面，本申请实施例提供了一种直播图像处理方法，应用于电子设备，该方法包括：获取多帧图像；获取目标对象在所述多帧图像中的位置；获取所述多帧图像对应的第一区域以及第二区域，所述第二区域围绕在所述第一区域外，所述第一区域的中心与所述多帧图像中的第一帧图像对应的目标对象的位置匹配；在播放所述多帧图像的过程中，若所播放的当前帧图像对应的目标对象的位置未超出所述第一区域，维持直播画面的焦点位置不变；若所播放的当前帧图像对应的目标对象的位置超出所述第一区域且未超出所述第二区域，控制直播画面的焦点位置随着所述当前帧图像对应的目标对象的位置的变化而移动。
第二方面，本申请实施例提供了一种直播图像处理装置，运行于电子设备，该装置包括：图像获取模块，用于获取多帧图像；位置获取模块，用于获取目标对象在所述多帧图像中的位置；区域获取模块，用于获取所述多帧图像对应的第一区域以及第二区域，所述第二区域围绕在所述第一区域外，所述第一区域的中心与所述多帧图像中的第一帧图像对应的目标对象的位置匹配；图像处理模块，用于在播放所述多帧图像的过程中，若所播放的当前帧图像对应的目标对象的位置未超出所述第一区域，维持直播画面的焦点位置不变；若所播放的当前帧图像对应的目标对象的位置超出所述第一区域且未超出所述第二区域，控制直播画面的焦点位置随着所述当前帧图像对应的目标对象的位置的变化而移动。
第三方面，本申请实施例提供了一种电子设备，包括存储器以及一个或多个处理器；一个或多个程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行上述第一方面或第二方面所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有程序代码，其中，在程序代码被处理器运行时执行上述第一方面或第二方面所述的方法。
本申请实施例提供的一种直播图像处理方法、装置、电子设备以及存储介质，通过获取多帧图像；获取目标对象在所述多帧图像中的位置；获取所述多帧图像对应的第一区域以及第二区域，所述第二区域围绕在所述第一区域外，所述第一区域的中心与所述多帧图像中的第一帧图像对应的目标对象的位置匹配；在播放所述多帧图像的过程中，若所播放的当前帧图像对应的目标对象的位置未超出所述第一区域，维持直播画面的焦点位置不变；若所播放的当前帧图像对应的目标对象的位置超出所述第一区域且未超出所述第二区域，控制直播画面的焦点位置随着所述当前帧图像对应的目标对象的位置的变化而移动。从而通过上述方式实现了根据多帧图像中目标对象的位置的变化而移动直播画面的焦点位置，避免过于频繁的移动直播画面的焦点位置而造成画面颤动，进而提升了直播画面的画面质量，同时提升了直播画面的用户观看体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出了本申请实施例提供的一种应用环境示意图。
图2示出了本申请一实施例提供的一种直播图像处理方法的方法流程图。
图3示出了图2中的步骤S120的方法流程图。
图4示出了本申请另一实施例提供的一种直播图像处理方法的方法流程图。
图5示出了本申请实施例提供的一种直播图像处理装置的结构框图。
图6示出了本申请实施例提供的一种电子设备的结构框图。
图7示出了本申请实施例的用于保存或者携带实现根据本申请实施例的直播图像处理方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
随着网络直播技术的快速发展，各行各业都兴起了网络直播，例如，对大型球类赛事进行网络直播。为了提升球类赛事直播的实时性，需要专业的摄影师控制摄像头进行拍摄，而若赛事场地较大或比赛情况较为复杂时，需要更多的专业摄影师进行跟拍，增加了球类赛事的直播拍摄成本。同时，由于拍摄时会经常移动摄像头，致使拍摄得到的画面存在颤动，进而使得直播画面跟着颤动或存在畸变等，严重影响用户观看体验。
为了改善上述的问题，发明人经过长期的研究发现，可以通过电子设备根据球的运动轨迹自动跟拍，而无需专业的摄影师控制摄像头进行拍摄，达到降低人力成本的效果，进而降低球类赛事的直播拍摄成本。具体的，可以通过获取多帧图像；获取目标对象在所述多帧图像中的位置；获取所述多帧图像对应的第一区域以及第二区域，所述第二区域围绕在所述第一区域外，所述第一区域的中心与所述多帧图像中的第一帧图像对应的目标对象的位置匹配；在播放所述多帧图像的过程中，若所播放的当前帧图像对应的目标对象的位置未超出所述第一区域，维持直播画面的焦点位置不变；若所播放的当前帧图像对应的目标对象的位置超出所述第一区域且未超出所述第二区域，控制直播画面的焦点位置随着所述当前帧图像对应的目标对象的位置的变化而移动。从而通过上述方式实现了根据多帧图像中目标对象的位置的变化而移动直播画面的焦点位置，避免过于频繁的移动直播画面的焦点位置而造成画面颤动，进而提升了直播画面的画面质量，同时提升了提升直播画面的用户观看体验。因此，提出了本申请实施例提供的一种直播图像处理方法、装置、电子设备以及存储介质。
为了便于详细说明本申请方案，下面先结合附图对本申请实施例中的一种应用环境进行介绍。
请参阅图1，为本申请实施例提供的一种直播图像处理方法的应用环境示意图，如图1所示，该应用环境可以理解为本申请实施例提供的一种网络系统10，该网络系统10包括：目标对象拍摄场景11、服务器12、电子设备100以及直播观看终端200。
其中，服务器可以是一台服务器(网络接入服务器)，也可以是由若干台服务器组成的服务器集群(云服务器)，或者可以是一个云计算中心(数据库服务器)。电子设备100以及直播观看终端200可以是任何具备通信和存储功能的设备，包括但不限于PC(PersonalComputer，个人计算机)、PDA(平板电脑)、智能电视、智能手机、智能可穿戴设备或其他具有网络连接功能的智能通信设备。电子设备100可以用于根据目标对象的运动轨迹对目标对象进行拍摄，得到多帧图像。直播观看终端200可以实时播放电子设备100对目标对象进行拍摄得到的多帧图像。
下面将结合附图具体描述本申请的各实施例。
请参阅图2，示出了本申请一实施例提供的一种直播图像处理方法的流程图，本实施例提供一种直播图像处理方法，可应用于电子设备，该方法包括：
步骤S110：获取多帧图像。
本实施方式中，可以通过多种方式获取多帧图像。
在一种实现方式中，可以通过PTZ(Pan Tilt Zoom)云台搭载高清摄像头采集包括目标对象的画面，得到多帧图像，其中，目标对象可以为足球、篮球、排球、羽毛球、乒乓球等物品，或者也可以为人、猫、狗等活体。该种图像采集方式中，可以实时调节摄像头的焦距，使得采集得到的图像画面清晰。
在另一种实现方式中，可以通过全景摄像头采集包括目标对象的画面，继而从采集得到的全景画面中截取包含目标对象的局部画面，得到多帧图像。该种图像采集方式中，不会因摄像头的转动产生画面颤动，进而导致画面模糊。
需要说明的是，本申请中采集包括目标对象的画面时，可以根据目标对象的运动轨迹自动进行跟拍，具体实现将在后续进行详细描述。采集得到多帧图像后，可以对多帧图像进行存储，为了减少数据处理过于频繁造成的网络直播卡顿，可以设定每次采集的画面帧数达到固定帧时再对所采集得到的画面进行处理。例如，可以将采集的画面缓存一定的大小，例如缓存20帧，这样可以每采集20帧图像后才对20帧图像进行分析。
步骤S120：获取目标对象在所述多帧图像中的位置。
其中，可以通过目标对象识别算法(例如滑动窗口目标检测，Region CNN，FastRCNN，或者是Faster R-CNN等)识别多帧图像的每一帧图像中目标对象的位置，以便可以在直播画面中准确的展示目标对象的位置。而可以理解的是，通过目标对象识别算法可能会识别出每帧图像中目标对象的位置，也可能无法全部识别出每帧图像中目标对象的位置，对于通过目标对象识别算法无法全部识别出每帧图像中目标对象的位置的情况，可以通过如下方式优化。
请参阅图3，作为一种方式，步骤S120可以包括：
步骤S121：获取所述多帧图像中能连续识别出目标对象的至少两个图像帧。
本实施方式以目标对象为足球为例进行说明，作为一种方式，可以从缓存的图像帧中找出能连续识别出足球的至少两个图像帧，例如，能连续识别出足球的5个图像帧，具体图像帧的数量可以不做限定。
步骤S122：获取所述至少两个图像帧中每帧图像对应的目标对象的位置。
在获取了能连续识别出足球的至少两个图像帧之后，可以获取至少两个图像帧中每帧图像中的足球的位置，这里足球的位置可以理解为通过目标对象识别算法识别出的置信度较高的位置。
步骤S123：根据所述每帧图像对应的目标对象的位置获取每帧图像中目标对象的运动速度。
其中，可以根据当前帧图像中足球的位置与前一帧图像中足球的位置之间的距离，和当前帧图像与前一帧图像之间的时间间隔的比值，获取当前帧图像中足球的运动速度，其余每帧图像中足球的运动速度都可以采用类似的方式计算得到。
步骤S124：根据每帧图像中目标对象的运动速度获取拟合规则。
在求出了至少两个图像帧的每帧图像中足球的运动速度后，可以根据每帧图像中足球的运动速度作一个一次线性变换的拟合或者二次多项式的拟合，取其中拟合效果好的，得到一个拟合公式(具体得到的拟合公式在此不做赘述)，此时可以标记该连续识别出目标对象的最后一帧图像为N1，可以理解的是，N1的下一帧图像为未能识别出目标对象的图像。
步骤S125：基于所述至少两个图像帧的最后一帧图像与所述多帧图像中未识别出目标对象的第一帧目标图像之间的时间间隔、以及所述拟合规则，获取所述第一帧目标图像中目标对象的位置。
作为一种方式，可以将N1的下一帧图像与N1之间的时间间隔代入上述拟合公式，得到距离L1，可选的，如果N1的下一帧图像的再下一帧图像仍未能识别出目标对象的位置，则可以继续将该再下一帧图像与该下一帧图像之间的时间间隔代入上述拟合公式，得到距离L2，以此类推，后面仍没有识别到目标对象的图像帧对应的距离可以记为L3、L4、L5......，直到有识别到目标对象的图像帧为止，可以将该再次识别到目标对象的图像帧记为N2。在这种方式下，可以将L1、L2、L3......作为权值，将N1和N2各自对应的目标对象的位置之间画一条直线，并得到直线的长度为L。
为了便于说明，可以将上述N2作为第二图像(即多帧图像中再次识别出目标对象的图像)，本申请中，至少两个图像帧的最后一帧图像(即上述N1)与第二图像(N2)之间包括多帧目标图像，在这种方式下，可以获取至少两个图像帧的最后一帧图像(即图像N1)与第一帧目标图像之间的时间间隔对应的距离间隔，与多帧目标图像各自对应的距离间隔的和的比值，例如，对于多帧目标图像中的第一帧目标图像，该比值可以表示为L1/(L1+L2+L3+…)，对于多帧目标图像中的第二帧目标图像，该比值可以表示为L2/(L1+L2+L3+…)，对于多帧目标图像中的第三帧目标图像，该比值可以表示为L3/(L1+L2+L3+…)。
其中，可以将上述比值和至少两个图像帧的最后一帧图像与第二图像之间的时间间隔对应的距离间隔(L)的乘积作为第一帧目标图像中目标对象的位置，以上述示例为例，该第一帧目标图像中目标对象的位置可以表示为：
Figure BDA0003008238590000071
以此类推，第一帧目标图像中目标对象的位置可以表示为：
Figure BDA0003008238590000072
通过上述方式计算目标对象的位置，可以实现准确的预测目标对象在图像帧中的位置。
步骤S130：获取所述多帧图像对应的第一区域以及第二区域，所述第二区域围绕在所述第一区域外。
为了改善直播画面的频繁切换而影响用户的直播观看体验，本申请中可以设定与多帧图像对应的第一区域以及第二区域，用于作为确定是否变换直播画面的焦点位置(例如，直播画面的中心位置，或者是边缘顶点位置等)的依据。其中，第二区域围绕在第一区域外，且第二区域为除第一区域以外的区域，多帧图像的每一帧图像对应的第一区域以及第二区域相同，第一区域以及第二区域的实际尺寸可以根据实际需求进行设定或调整，在此不作限定。
需要说明的是，本申请中，第一区域的中心与多帧图像中的第一帧图像对应的目标对象的位置匹配，使得第一区域可以与目标对象的初始位置具备相同的起点，从而实现准确的跟踪目标对象的运动轨迹。
步骤S140：在播放所述多帧图像的过程中，若所播放的当前帧图像对应的目标对象的位置未超出所述第一区域，维持直播画面的焦点位置不变。
本实施方式中，直播画面为所述多帧图像播放过程中的画面。为了便于描述，可以将前述多帧图像的每帧图像中目标对象的位置记为targetPos，以便于可以控制直播画面跟随targetPos的变换而变换。相对于相关技术中每次都把直播画面变换到目标对象的位置，使得直播画面的中心与目标对象的位置重合，本实施方式可以在播放所述多帧图像的过程中，若所播放的当前帧图像对应的目标对象的位置未超出所述第一区域，维持直播画面的焦点位置不变，进而实现减少频繁的变换直播画面的焦点位置，从而可以减少因直播画面变换过快导致的直播画面不稳定或直播画面存在晃动感等问题的出现。
需要说明的是，在所播放的当前帧图像对应的目标对象的位置未超出所述第一区域，维持直播画面的焦点位置不变的情况下，所播放的不同当前帧各自对应的目标对象的位置不同。
步骤S150：若所播放的当前帧图像对应的目标对象的位置超出所述第一区域且未超出所述第二区域，控制直播画面的焦点位置随着所述当前帧图像对应的目标对象的位置的变化而移动。
可选的，若所播放的当前帧图像对应的目标对象的位置超出了第一区域且未超出第二区域，则控制直播画面的焦点位置随着当前帧图像对应的目标对象的位置的变化而移动，例如，控制直播画面的焦点位置随着当前帧图像对应的目标对象的位置的变化而平滑移动，使得在所播放的当前帧图像对应的目标对象的位置由和第一区域的中心相同的位置移动至超出第一区域的边界且未超出第二区域时，再移动直播画面的焦点位置，进而降低直播画面移动的频率，提升直播画面的用户观看体验。
本实施例提供的直播图像处理方法，通过获取多帧图像；获取目标对象在所述多帧图像中的位置；获取所述多帧图像对应的第一区域以及第二区域，所述第二区域围绕在所述第一区域外，所述第一区域的中心与所述多帧图像中的第一帧图像对应的目标对象的位置匹配；在播放所述多帧图像的过程中，若所播放的当前帧图像对应的目标对象的位置未超出所述第一区域，维持直播画面的焦点位置不变；若所播放的当前帧图像对应的目标对象的位置超出所述第一区域且未超出所述第二区域，控制直播画面的焦点位置随着所述当前帧图像对应的目标对象的位置的变化而移动。从而通过上述方式实现了根据多帧图像中目标对象的位置的变化而移动直播画面的焦点位置，避免过于频繁的移动直播画面的焦点位置而造成画面颤动，进而提升了直播画面的画面质量，同时提升了提升直播画面的用户观看体验。
请参阅图4，示出了本申请另一实施例提供的一种直播图像处理方法的流程图，本实施例提供一种直播图像处理方法，可应用于电子设备，该方法包括：
步骤S210：获取多帧图像。
步骤S220：获取目标对象在所述多帧图像中的位置。
步骤S230：获取所述多帧图像对应的第一区域以及第二区域，所述第二区域围绕在所述第一区域外。
步骤S240：在播放所述多帧图像的过程中，若所播放的当前帧图像对应的目标对象的位置未超出所述第一区域，维持直播画面的焦点位置不变。
步骤S250：若所播放的当前帧图像对应的目标对象的位置超出所述第一区域且未超出所述第二区域，控制直播画面的焦点位置按照指定规则随着所述当前帧图像对应的目标对象的位置的变化而移动。
本实施方式中，指定规则可以包括：
posK＝λ*pos(K-1)+(1-λ)targetPosN
其中，posK表征第K帧直播画面的焦点位置，pos(K-1)表征第(K-1)帧直播画面的焦点位置，targetPosN表征靠近第二区域的边缘的图像帧中目标对象的位置，λ表征目标对象的移动速度。需要说明的是，在计算任意一帧直播画面的焦点位置时，targetPosN均为靠近第二区域的边缘的图像帧中目标对象的位置。
例如，在一个具体的应用场景中，可以设定直播画面的中心位置为o，分辨率长为w，宽为h。同时设定一个矩形，记为Rect1，Rect1的中心记为o1，即目标对象的初始位置。如果下一帧图像中目标对象的位置没有超出这个矩形，则不更新直播画面的位置，即当前帧图像对应的直播画面的焦点位置与上一帧图像对应的直播画面的焦点位置是一致的，可以让直播画面的焦点位置去除不必要的变换，减小直播画面的晃动感，进而提升用户的观看体验。
其中，可以再设定一个矩形Rect2，Rect2的范围比Rect1的范围大，且Rect2围绕在Rect1外，Rect2包含的区域为除Rect1以外的区域，目标对象超出Rect1的矩形范围后，记当前帧为frame1，在缓存的多帧图像中按顺序往后找到第一帧超出Rect2边界的一帧，记为frameN，如果都没超出Rect2，则frameN为当前缓存中的最新一帧，从fame1到frameN中有N帧数据，依次为frame1、frame2、frame3、……frameN，frame1、frame2、frame3、……frameN分别对应的目标对象的位置依次为targetPos1、targetPos2、targetPos3、……targetPosN。在这种方式下，可以控制直播画面的焦点位置按照上述指定规则依次移动，直到直播画面的焦点位置接近于Rect2的边界位置。
可选的，若场地更大，可以设定更多数量且尺寸种类较多的矩形来作为确定是否移动直播画面的焦点位置的依据，从而可以根据目标对象的运动速度的变化准确的跟拍，同时降低直播画面的焦点位置的变化频率，具体设计方式以及实现过程与前述设置第一区域和第二区域的原理类似，在此不再赘述。
需要说明的是，对于一组多帧图像处理完之后，重新处理另一组多帧图像时，直播画面的初始焦点位置会极其靠近第一区域的中心，使得在所播放的当前帧图像中的目标对象的位置超出第一区域时，可以提前移动直播画面的焦点位置，而保证直播画面播放的实时性。
本实施方式中，若所播放的当前帧图像对应的目标对象的位置超出第一区域且未超出第二区域的情况下，若目标对象的位置处于指定位置，可以扩大直播画面的视角范围，进而提升目标对象落在直播画面内的概率。其中，指定位置可以为赛场上被重点关注的区域，例如，球场禁区，进球区域等。
可以理解的是，对于前述实施例中描述的通过目标对象识别算法识别出的结果置信度较低的情况下，或者图像中目标对象的位置的通过预测得到时，也可以扩大直播画面的视角范围，进而提升目标对象落在直播画面内的概率。
本实施方式中，若所播放的当前帧图像对应的目标对象的位置超出第一区域且未超出第二区域的情况下，若目标对象的位置处于所述指定位置，还可以延迟更新直播画面的焦点位置，即等达到预设的延迟时间后再将直播画面的焦点位置快速切换到当前指定位置，从而可以让用户更加清晰的查看当前指定位置的画面情况。
本实施方式中的直播画面的分辨率可以根据实际需求进行调节。
本实施例提供的直播图像处理方法，实现了根据多帧图像中目标对象的位置的变化而平滑移动直播画面的焦点位置，避免过于频繁的移动直播画面的焦点位置而造成画面颤动，进而提升了直播画面的画面质量，同时提升了提升直播画面的用户观看体验。
请参阅图5，为本申请实施例提供的一种直播图像处理装置的结构框图，本实施例提供一种直播图像处理装置300，可以运行于电子设备，所述装置300包括：图像获取模块310、位置获取模块320、区域获取模块330、以及图像处理模块340：
图像获取模块310，用于获取多帧图像。
位置获取模块320，用于获取目标对象在所述多帧图像中的位置。
本实施方式中，位置获取模块320具体可以用于获取所述多帧图像中能连续识别出目标对象的至少两个图像帧；获取所述至少两个图像帧中每帧图像对应的目标对象的位置；根据所述每帧图像对应的目标对象的位置获取每帧图像中目标对象的运动速度；根据每帧图像中目标对象的运动速度获取拟合规则；基于所述至少两个图像帧的最后一帧图像与所述多帧图像中未识别出目标对象的第一帧目标图像之间的时间间隔、以及所述拟合规则，获取所述第一帧目标图像中目标对象的位置。
其中，基于所述至少两个图像帧的最后一帧图像与所述多帧图像中未识别出目标对象的第一帧目标图像之间的时间间隔、以及所述拟合规则，获取所述第一帧目标图像中目标对象的位置的步骤可以包括：获取所述多帧图像中再次识别出目标对象的图像作为第二图像，所述至少两个图像帧的最后一帧图像与所述第二图像之间包括多帧目标图像；获取所述至少两个图像帧的最后一帧图像与所述第一帧目标图像之间的时间间隔对应的距离间隔，与所述多帧目标图像各自对应的距离间隔的和的比值；将所述比值和所述至少两个图像帧的最后一帧图像与所述第二图像之间的时间间隔对应的距离间隔的乘积作为所述第一帧目标图像中目标对象的位置。
区域获取模块330，用于获取所述多帧图像对应的第一区域以及第二区域，所述第二区域围绕在所述第一区域外，所述第一区域的中心与所述多帧图像中的第一帧图像对应的目标对象的位置匹配。
图像处理模块340，用于在播放所述多帧图像的过程中，若所播放的当前帧图像对应的目标对象的位置未超出所述第一区域，维持直播画面的焦点位置不变；若所播放的当前帧图像对应的目标对象的位置超出所述第一区域且未超出所述第二区域，控制直播画面的焦点位置随着所述当前帧图像对应的目标对象的位置的变化而移动。
本实施方式中，图像处理模块340可以用于若所播放的当前帧图像对应的目标对象的位置超出所述第一区域且未超出所述第二区域，控制直播画面的焦点位置按照指定规则随着所述当前帧图像对应的目标对象的位置的变化而移动。
其中，指定规则包括：
posK＝λ*pos(K-1)+(1-λ)targetPosN。
所述posK表征第N帧直播画面的焦点位置，所述pos(K-1)表征第(K-1)帧直播画面的焦点位置，所述targetPosN表征靠近所述第二区域的边缘的图像帧中目标对象的位置，所述λ表征所述目标对象的移动速度。
可选的，装置300还可以包括直播画面调整模块，用于若所播放的当前帧图像对应的目标对象的位置超出所述第一区域且未超出所述第二区域，若所述目标对象的位置处于指定位置，扩大所述直播画面的视角范围。
在另一种方式中，直播画面调整模块可以用于若所播放的当前帧图像对应的目标对象的位置超出所述第一区域且未超出所述第二区域，若所述目标对象的位置处于指定位置，延迟更新所述直播画面的焦点位置。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参阅图6，基于上述的直播图像处理方法及装置，本申请实施例还提供了一种可以执行前述直播图像处理方法的电子设备100。电子设备100包括存储器102以及相互耦合的一个或多个(图中仅示出一个)处理器104，存储器102以及处理器104之间通信线路连接。存储器102中存储有可以执行前述实施例中内容的程序，而处理器104可以执行存储器102中存储的程序。
其中，处理器104可以包括一个或者多个处理核。处理器104利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器102内的指令、程序、代码集或指令集，以及调用存储在存储器102内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器104可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器104可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器104中，单独通过一块通信芯片进行实现。
存储器102可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器102可用于存储指令、程序、代码、代码集或指令集。存储器102可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现前述各个实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图7，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质400中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质400可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质400包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质400具有执行上述方法中的任何方法步骤的程序代码410的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码410可以例如以适当形式进行压缩。
综上所述，本申请实施例提供的一种直播图像处理方法、装置、电子设备以及存储介质，通过获取多帧图像；获取目标对象在所述多帧图像中的位置；获取所述多帧图像对应的第一区域以及第二区域，所述第二区域围绕在所述第一区域外，所述第一区域的中心与所述多帧图像中的第一帧图像对应的目标对象的位置匹配；在播放所述多帧图像的过程中，若所播放的当前帧图像对应的目标对象的位置未超出所述第一区域，维持直播画面的焦点位置不变；若所播放的当前帧图像对应的目标对象的位置超出所述第一区域且未超出所述第二区域，控制直播画面的焦点位置随着所述当前帧图像对应的目标对象的位置的变化而移动。从而通过上述方式实现了根据多帧图像中目标对象的位置的变化而移动直播画面的焦点位置，避免过于频繁的移动直播画面的焦点位置而造成画面颤动，进而提升了直播画面的画面质量，同时提升了提升直播画面的用户观看体验。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种直播图像处理方法，其特征在于，所述方法包括：
获取多帧图像；
获取目标对象在所述多帧图像中的位置；
获取所述多帧图像对应的第一区域以及第二区域，所述第二区域围绕在所述第一区域外，所述第一区域的中心与所述多帧图像中的第一帧图像对应的目标对象的位置匹配；其中，所述多帧图像的每一帧图像对应的第一区域以及第二区域相同；
在播放所述多帧图像的过程中，若所播放的当前帧图像对应的目标对象的位置未超出所述第一区域，维持直播画面的焦点位置不变，所述直播画面为所述多帧图像播放过程中的画面；
若所播放的当前帧图像对应的目标对象的位置超出所述第一区域且未超出所述第二区域，控制直播画面的焦点位置随着所述当前帧图像对应的目标对象的位置的变化而移动。
2.根据权利要求1所述的方法，其特征在于，所述获取目标对象在所述多帧图像中的位置，包括：
获取所述多帧图像中能连续识别出目标对象的至少两个图像帧；
获取所述至少两个图像帧中每帧图像对应的目标对象的位置；
根据所述每帧图像对应的目标对象的位置获取每帧图像中目标对象的运动速度；
根据每帧图像中目标对象的运动速度获取拟合规则；
基于所述至少两个图像帧的最后一帧图像与所述多帧图像中未识别出目标对象的第一帧目标图像之间的时间间隔、以及所述拟合规则，获取所述第一帧目标图像中目标对象的位置。
3.根据权利要求2所述的方法，其特征在于，所述基于所述至少两个图像帧的最后一帧图像与所述多帧图像中未识别出目标对象的第一帧目标图像之间的时间间隔、以及所述拟合规则，获取所述第一帧目标图像中目标对象的位置，包括：
获取所述多帧图像中再次识别出目标对象的图像作为第二图像，所述至少两个图像帧的最后一帧图像与所述第二图像之间包括多帧目标图像；
根据所述拟合规则获取所述至少两个图像帧的最后一帧图像的目标对象与所述第一帧目标图像的目标对象之间的时间间隔对应的距离间隔，获取所述距离间隔与所述多帧目标图像各自的目标对象之间的距离间隔的和的比值；
将所述比值和所述至少两个图像帧的最后一帧图像的目标对象与所述第二图像的目标对象之间的时间间隔对应的距离间隔的乘积作为所述第一帧目标图像中目标对象的位置。
4.根据权利要求1所述的方法，其特征在于，所述若所播放的当前帧图像对应的目标对象的位置超出所述第一区域且未超出所述第二区域，控制直播画面的焦点位置随着所述当前帧图像对应的目标对象的位置的变化而移动，包括：
若所播放的当前帧图像对应的目标对象的位置超出所述第一区域且未超出所述第二区域，控制直播画面的焦点位置按照指定规则随着所述当前帧图像对应的目标对象的位置的变化而移动。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
若所播放的当前帧图像对应的目标对象的位置超出所述第一区域且未超出所述第二区域，若所述目标对象的位置处于指定位置，扩大所述直播画面的视角范围。
6.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
若所播放的当前帧图像对应的目标对象的位置超出所述第一区域且未超出所述第二区域，若所述目标对象的位置处于指定位置，延迟更新所述直播画面的焦点位置。
7.一种直播图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取多帧图像；
位置获取模块，用于获取目标对象在所述多帧图像中的位置；
区域获取模块，用于获取所述多帧图像对应的第一区域以及第二区域，所述第二区域围绕在所述第一区域外，所述第一区域的中心与所述多帧图像中的第一帧图像对应的目标对象的位置匹配；其中，所述多帧图像的每一帧图像对应的第一区域以及第二区域相同；
图像处理模块，用于在播放所述多帧图像的过程中，若所播放的当前帧图像对应的目标对象的位置未超出所述第一区域，维持直播画面的焦点位置不变，所述直播画面为所述多帧图像播放过程中的画面；若所播放的当前帧图像对应的目标对象的位置超出所述第一区域且未超出所述第二区域，控制直播画面的焦点位置随着所述当前帧图像对应的目标对象的位置的变化而移动。
8.一种电子设备，其特征在于，包括一个或多个处理器以及存储器；
一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行权利要求1-6任一所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行权利要求1-6任一所述的方法。
CN202110368346.7A 2021-04-06 2021-04-06 直播图像处理方法、装置及电子设备 Active CN113163254B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110368346.7A CN113163254B (zh) 2021-04-06 2021-04-06 直播图像处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110368346.7A CN113163254B (zh) 2021-04-06 2021-04-06 直播图像处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113163254A CN113163254A (zh) 2021-07-23
CN113163254B true CN113163254B (zh) 2023-03-28

Family

ID=76888628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110368346.7A Active CN113163254B (zh) 2021-04-06 2021-04-06 直播图像处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113163254B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110876079A (zh) * 2018-08-31 2020-03-10 阿里巴巴集团控股有限公司 视频处理方法、装置和设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7277558B2 (en) * 2001-11-27 2007-10-02 Lockheed Martin Corporation Method and system for estimating the position of moving objects in images
JP4290164B2 (ja) * 2006-01-31 2009-07-01 キヤノン株式会社 識別領域を示す表示を画像と共に表示させる表示方法、コンピュータ装置に実行させるプログラム、および、撮像装置
CN104065878B (zh) * 2014-06-03 2016-02-24 小米科技有限责任公司 拍摄控制方法、装置及终端
CN106324945A (zh) * 2015-06-30 2017-01-11 中兴通讯股份有限公司 非接触式自动对焦方法和装置
CN107135377A (zh) * 2017-05-27 2017-09-05 深圳市景阳科技股份有限公司 监控自动跟踪方法及装置
KR102080456B1 (ko) * 2018-07-30 2020-02-24 이노뎁 주식회사 압축영상에 대한 신택스 기반의 ptz 카메라의 객체 추적 제어 방법
CN109544590B (zh) * 2018-11-27 2020-05-15 上海芯仑光电科技有限公司 一种目标跟踪方法及计算设备
CN110021034A (zh) * 2019-03-20 2019-07-16 华南理工大学 一种基于头肩检测的跟踪录播方法及系统
CN110060276B (zh) * 2019-04-18 2023-05-16 腾讯科技（深圳）有限公司 对象追踪方法、追踪处理方法、相应的装置、电子设备
CN112154654A (zh) * 2019-08-21 2020-12-29 深圳市大疆创新科技有限公司 比赛拍摄方法、电子设备、无人机与存储介质
CN111212222A (zh) * 2020-01-09 2020-05-29 Oppo广东移动通信有限公司 图像处理方法、装置、电子装置及存储介质
CN111225145A (zh) * 2020-01-13 2020-06-02 北京中庆现代技术股份有限公司 一种实时图像探测分析与跟踪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110876079A (zh) * 2018-08-31 2020-03-10 阿里巴巴集团控股有限公司 视频处理方法、装置和设备

Also Published As

Publication number Publication date
CN113163254A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
US9781350B2 (en) Systems and methods for performing automatic zoom
WO2020034896A1 (en) Method and apparatus for image processing, and mobile terminal
TWI517705B (zh) 同屬平台視訊影像穩定
US8363900B2 (en) Image processing apparatus, image processing method, and program
US8773542B2 (en) Apparatus and method for adaptive camera control method based on predicted trajectory
CN112019768B (zh) 一种视频生成方法、装置及电子设备
US20210051273A1 (en) Photographing control method, device, apparatus and storage medium
CN110971841B (zh) 图像处理方法、装置、存储介质及电子设备
US20180293735A1 (en) Optical flow and sensor input based background subtraction in video content
JP6892524B2 (ja) 対象追跡に基づくスローモーションビデオキャプチャ
CN109151257B (zh) 一种图像处理的方法及摄像机
CN114390209A (zh) 拍摄方法、拍摄装置、电子设备和可读存储介质
WO2021139764A1 (zh) 图像处理方法、装置、电子装置及存储介质
CN115278047A (zh) 拍摄方法、装置、电子设备和存储介质
CN110913118B (zh) 视频处理方法、装置及存储介质
CN113163254B (zh) 直播图像处理方法、装置及电子设备
CN114125305A (zh) 拍摄方法、装置及设备
CN112367465B (zh) 图像输出方法、装置及电子设备
US11102395B2 (en) Generation of media content having multi-focus video and multi-directional audio
KR102558959B1 (ko) 영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램
CN114390188A (zh) 一种图像处理方法和电子设备
CN115134536B (zh) 拍摄方法及其装置
WO2020187197A1 (zh) 成像设备的变焦方法、图像处理方法及成像设备
CN111988520B (zh) 一种画面切换方法、装置、电子设备及存储介质
US10560636B1 (en) Crop synchronized auto focus and exposure

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant