CN111432154A - 视频播放方法、视频处理方法及电子设备 - Google Patents

视频播放方法、视频处理方法及电子设备 Download PDF

Info

Publication number
CN111432154A
CN111432154A CN202010237926.8A CN202010237926A CN111432154A CN 111432154 A CN111432154 A CN 111432154A CN 202010237926 A CN202010237926 A CN 202010237926A CN 111432154 A CN111432154 A CN 111432154A
Authority
CN
China
Prior art keywords
video frame
pixel block
target
target object
original video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010237926.8A
Other languages
English (en)
Other versions
CN111432154B (zh
Inventor
韩金伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202010237926.8A priority Critical patent/CN111432154B/zh
Publication of CN111432154A publication Critical patent/CN111432154A/zh
Application granted granted Critical
Publication of CN111432154B publication Critical patent/CN111432154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例公开了一种视频播放方法、视频处理方法及电子设备。该视频播放方法包括:在第一电子设备与第二电子设备进行视频通讯连接的情况下,接收第二电子设备发送的第一目标图像以及原始视频帧;其中,第一目标图像和原始视频帧均包括目标对象;获取第一目标图像内的目标对象对应的第一像素块以及原始视频帧内目标对象对应的第二像素块;将原始视频帧内的第二像素块替换为第一像素块,得到目标视频帧;在第一电子设备的屏幕上播放目标视频帧。本发明实施例能够解决提高视频通讯连接清晰度对设备要求过高的问题。

Description

视频播放方法、视频处理方法及电子设备
技术领域
本发明实施例涉及通信技术领域,尤其涉及一种视频播放方法、视频处理方法及电子设备。
背景技术
随着移动互联网技术和智能终端的快速发展,具有视频通讯连接功能的软件越来越多,例如视频通话、网络直播等。
目前的视频通讯连接,受限于网络带宽和视频编码技术的瓶颈,对于所传输的视频的清晰度始终无法达到本地相机拍照和录像的效果。而若是想要通过增加带宽或者提高视频编码技术的方式,来增加实时传输的视频的清晰度的话,对于设备要求较高,进而导致成本较高。
发明内容
本发明实施例提供一种视频播放方法、视频处理方法及电子设备,以解决提高视频通讯连接清晰度对设备要求过高的问题。
第一方面,本发明实施例提供了一种视频播放方法,应用于第一电子设备,包括:
在第一电子设备与第二电子设备进行视频通讯连接的情况下,接收第二电子设备发送的第一目标图像以及原始视频帧;其中,第一目标图像和原始视频帧均包括目标对象;
获取第一目标图像内的目标对象对应的第一像素块以及原始视频帧内目标对象对应的第二像素块;
将原始视频帧内的第二像素块替换为第一像素块,得到目标视频帧;
在第一电子设备的屏幕上播放目标视频帧。
第二方面,本发明实施例还提供了一种视频处理方法,应用于第二电子设备,包括:
在第一电子设备与第二电子设备进行视频通讯连接的情况下,拍摄目标对象,得到第一目标图像,并获取包括目标对象的原始视频帧;
将第一目标图像以及原始视频帧发送至第一电子设备,以使第一电子设备获取第一目标图像内的目标对象对应的第一像素块以及原始视频帧内目标对象对应的第二像素块;将原始视频帧内的第二像素块替换为第一像素块,得到目标视频帧;在第一电子设备的屏幕上播放目标视频帧。
第三方面,本发明实施例提供了一种第一电子设备,包括:
接收模块,用于在第一电子设备与第二电子设备进行视频通讯连接的情况下,接收第二电子设备发送的第一目标图像以及原始视频帧;其中,第一目标图像和原始视频帧均包括目标对象;
获取模块,用于获取第一目标图像内的目标对象对应的第一像素块以及原始视频帧内目标对象对应的第二像素块;
替换模块,用于将原始视频帧内的第二像素块替换为第一像素块,得到目标视频帧;
播放模块,用于在第一电子设备的屏幕上播放目标视频帧。
第四方面,本发明实施例提供了一种第二电子设备,包括:
第一拍摄模块,用于在第一电子设备与第二电子设备进行视频通讯连接的情况下,拍摄目标对象,得到第一目标图像,并获取包括目标对象的原始视频帧;
第一传输模块,用于将第一目标图像以及原始视频帧发送至第一电子设备,以使第一电子设备获取第一目标图像内的目标对象对应的第一像素块以及原始视频帧内目标对象对应的第二像素块;将原始视频帧内的第二像素块替换为第一像素块,得到目标视频帧;在第一电子设备的屏幕上播放目标视频帧。
第五方面,本发明实施例提供了一种电子设备,包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,计算机程序被处理器执行时实现如第一方面或第二方面的方法的步骤。
第六方面,本发明实施例提供了一种计算机可读存储介质,其特征在于,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现如第一方面或第二方面的方法的步骤。
在本发明实施例中,在进行视频通讯连接的过程中,第一电子设备首先会接收第二电子设备的拍摄的第一目标图像以及原始视频帧,之后将原始视频帧中该目标对象对应的第二像素块替换为第一目标图像中的目标对象对应的第一像素块,由于摄像头所拍摄的图像的清晰度要高于视频通讯连接时视频帧的清晰度,因此通过本实施例能够提高视频通讯连接过程中目标对象的清晰程度,并且本实施例对电子设备的要求较低,不需要对电子设备进行较大的改进,从而具有较低的成本。
附图说明
从下面结合附图对本发明的具体实施方式的描述中可以更好地理解本发明其中,相同或相似的附图标记表示相同或相似的特征。
图1为本发明实施例提供的一种视频播放方法的流程示意图;
图2为本发明实施例提供的一种识别目标图像中人脸区域的示意图;
图3为本发明实施例提供的一种识别原始视频帧中人脸区域的示意图;
图4为本发明实施例提供的一种第一目标图像中的目标对象与原始视频帧中的目标对象之间尺寸比对的示意图;
图5为本发明实施例提供的一种第一电子设备的结构示意图;
图6为本发明实施例提供的一种第二电子设备的结构示意图;
图7为本发明实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如背景技术部分,目前的视频通讯连接,例如视频通话、网络直播等,受限于网络带宽和视频编码技术的瓶颈,对于当前视频通话的清晰度始终无法达到本地相机拍照和录像的效果。随着5G的发展,电子设备可达到的网络上下行的速率可大大提升,若想要通过提高网络带宽的方式来解决上述问题,对设备要求较高,因此运营商必须增加自身服务器容量,导致成本也会大大提升。而若想要通过提高视频编码技术来解决上述问题的话,由于视频编码技术对于设备自身要求较高,不同设备获取编码的视频效果差异大,也无法保证清晰度总体提升。总体来说,依赖5G和视频编码技术都是对设备要求较高的方法。
其中,本发明中提到的视频通话,包括双方视频通话及多方视频通话等。
为了解决上述问题,本发明实施例提供了一种视频播放方法,参见图1,图1示出了本发明实施例提供的一种视频播放方法的流程示意图;该方法应用于第一电子设备,包括:
S101、在第一电子设备与第二电子设备进行视频通讯连接的情况下,第二电子设备拍摄目标对象,得到第一目标图像,并获取包括目标对象的原始视频帧;其中,这里的原始视频帧是通过视频通讯技术获取到的视频帧;
可选的,第二电子设备可以通过摄像头拍摄目标对象。其中,摄像头可以为前置摄像头、旋转摄像头、伸缩摄像头等。
可选的,在目标对象为人脸的情况下,S101具体可以包括:
拍摄目标对象,得到第一图像;在第一图像满足预设拍摄条件的情况下,将第一图像作为第一目标图像。
由于本发明是需要利用第一目标图像中的目标对象的像素块替换原始视频帧中的目标对象的像素块,因此需要通过设置预设拍摄条件来保证第一目标图像中包括所有所需要的像素块,从而保证像素块替换的完整性。其中,这里的预设拍摄条件可以为正脸,即令第一目标图像中的目标对象为正脸。当然,在目标对象不是人脸时,也需要尽量选择目标对象完整露出的情况进行拍摄。
S102、第二电子设备将第一目标图像以及原始视频帧发送至第一电子设备;第一目标图像和原始视频帧均包括目标对象;
即本实施例额外传输了第一目标图像,第一目标图像与原始视频帧都是针对同一目标对象的,本实施例的目的是为了将原始视频帧中的目标对象替换为清晰度较高的第一目标图像,从而达到提升原始视频帧中关键部分的清晰度,并且降低对设备的要求。
其中,这里的目标对象通常为人脸,例如在视频通话过程中或者网络直播过程中,关键部分一般均为人脸部分,当然,在部分场景中也可能为动物或者其他对象。
可选的,为了提高用户的自主性,第一电子设备在与第二电子设备建立视频通讯连接后,第一电子设备的用户可以自主选择目标对象,例如第一电子设备接收用户对原始视频帧中目标对象的选中输入后,再进入S103。或者,也可以由第二电子设备的用户来自主选择目标对象,例如第二电子设备接收用户对原始视频帧中目标对象的选中输入后,再执行S103;或者,也可以固定设置目标对象就是人脸,本发明对此不做限定。
S103、第一电子设备获取第一目标图像内的目标对象对应的第一像素块以及原始视频帧内目标对象对应的第二像素块;
其中,第一目标图像中的目标对象对应有多个像素块,可以选择其中的部分或全部像素块作为第一像素块,而第一像素块与第二像素块是一一对应的,因此,第二像素块也可以为原始视频帧中的目标对象对应的部分或全部像素块。其中,可以通过特征值比对,例如像素坐标比对,来确定与第一像素块对应的第二像素块是哪个。
此外,上述像素块的划分方法可以使用图像块分割处理技术来实现。目标对象所对应的区域在目标对象为人脸的情况下,可以通过人脸识别技术,分别识别出目标图像中的人脸区域,如图2所示,以及识别出原始视频帧中的人脸区域,如图3所示。之后将抠出的两个人脸区域的像素块进行替换。其中,图像块分割技术和人脸识别技术在本发明实施例中结合使用,可以首先识别人脸区域,在将人脸区域进行像素块分割,或者也可以首先将第一目标图像或者原始视频帧进行像素块分割,再进行人脸识别,本发明对此不作限定。
S104、第一电子设备将原始视频帧内的第二像素块替换为第一像素块,得到目标视频帧;目标视频帧中仅目标对象部分进行了替换。
S105、第一电子设备在屏幕上播放目标视频帧。
此外,由于第一电子设备与第二电子设备进行视频通讯连接,因此,除了第一电子设备需要播放目标视频帧之外,第二电子设备上也可以播放自身获取的原始视频帧。
在本发明实施例中,将原始视频帧中该目标对象对应的第二像素块替换为第一目标图像中的目标对象对应的第一像素块,由于摄像头所拍摄的图像的清晰度要高于视频通讯连接时视频帧的清晰度,因此通过本实施例能够提高视频通讯连接过程中目标对象的清晰程度,并且本实施例对电子设备的要求较低,对于视频流的编码和解码不用任何处理,并且不需要复杂的算法对解码后的每张画面进行画质处理,因此不需要对电子设备进行较大的改进,从而具有较低的成本,本实施例能够在提升网络带宽不高、低码率的情况下提高视频通讯连接的清晰度。
在本发明的一些实现方式中,电子设备内可以设置一个第一拍摄模式,例如“人像清晰”模式,类似于“视频美颜”功能,在第二电子设备启动第一拍摄模式的情况下,再进行S101中的拍摄目标对象,得到第一目标图像的操作。其中,在以下情况下,第二电子设备启动第一拍摄模式:
用户可以手动开启第一拍摄模式。即在接收到用户针对第一拍摄模式的启动输入后,第一拍摄模式开启。例如,第一电子设备选择第二电子设备的联系方式,呼叫开启视频通话,第二电子设备接收到视频通话的响应后,会提示用户是否开启人像清晰模式,在接收到用户的启动输入后,第二电子设备才会开启第一拍摄模式,并拍摄目标对象。在这种情况下,用户可以人为选择视频的传输方式,用户自主性更高。
在本发明的另一些实现方式中,第一拍摄模式也可以根据网络自动开启,无需用户手动开启,即在第二电子设备与第一电子设备之间建立视频通讯连接后,即自动开启第一拍摄模式,第二电子设备拍摄目标对象,得到第一目标图像。这种方式能够保证每次视频通讯连接过程中视频的清晰程度。
可选的,电子设备内还可以设置自动开启和手动开启第一拍摄模式的控件,从而由用户选择采取哪种拍摄模式。
此外,在本发明的另一些实现方式中,第一拍摄模式也可以被动开启,即当网络带宽很好时,由于此时通常能够保证视频清晰,因此可以不开启第一拍摄模式,但是在后续网络变差的时候,当第二电子设备与第一电子设备之间的网络传输速率小于预设速率阈值的情况下,即网络状况不好的情况下,则开启第一拍摄模式。由于这种情况下,实时传输的视频很可能是无法看清的,因此为了保证用户体验,此时需要采用第一拍摄模式进行视频通讯连接。
可选的,上述第一像素块为多个,不同第一像素块的尺寸可以相同也可以不完全相同;相应地,第二像素块为多个,不同第二像素块的尺寸也可以相同或者不完全相同。例如,脸颊区域的第一像素块的尺寸可以为8*8,眼睛区域的第一像素块的尺寸可以为4*4等。但是在第一目标图像中的目标对象与原始视频帧中的目标对象尺寸相同的情况下,相对应的第一像素块和第二像素块的尺寸一定是相同的。本发明不限定第一像素块和第二像素块的具体尺寸。这种方式能够使得像素块的设置更加灵活,尽可能减少了像素块的数量,提高了像素块的替换速度并尽可能保证的替换后目标对象的自然程度。
在第一目标图像中的目标对象与原始视频帧中的目标对象尺寸不同的情况下,参见图4,图4示出了本发明实施例提供的一种第一目标图像中的目标对象与原始视频帧中的目标对象之间尺寸比对的示意图。此时第一像素块与其对应的第二像素块的尺寸不同,为了保证像素块能够进行替换,在本发明的另一些实施例中,上述S103之后,S104之前,该方法还可以包括:
在第一像素块与自身对应的第二像素块的尺寸不同的情况下,第一电子设备根据第二像素块的尺寸对第一像素块进行尺寸调整,得到尺寸调整后的第一像素块,以使尺寸调整后的第一像素块与自身对应的第二像素块的尺寸相同;
其中,第一像素块在第一目标图像内目标对象上的位置,与第二像素块在原始视频帧内目标对象上的位置相同;
上述S104可以包括:将原始视频帧内的第二像素块替换为尺寸调整后的第一像素块。
即在本实施例中,在第一像素块与第二像素块的尺寸不同的情况下,为了保证像素块能够正常替换,对第一像素块的尺寸进行了调整,例如缩小或放大,在将第一像素块调整到与其对应的第二像素块的尺寸相同的情况下,再进行替换,从而提高了像素块替换的准确性。需要注意的是,由于各个第一像素块的尺寸可能不同,因此每个第一像素块是根据其自身对应的第二像素块的尺寸进行缩放的。
在本发明的另一些实施例中,上述S104可以包括:
第一电子设备计算当前接收到的原始视频帧中各个第二像素块相对于初始接收到的原始视频帧中同一像素块的位移矢量;
第一电子设备依据位移矢量确定各个第二像素块的目标位置;
第一电子设备将所述目标位置处的所述第二像素块替换为所述第一像素块,得到目标视频帧。
由于在直播或者视频通话过程中,目标对象通常不可能固定不动,并且第一目标图像是在最初开始进行视频通讯连接时获取的,因此第一目标图像内的目标对象的位置应该是与初始接收到的原始视频帧内的目标对象的位置相同,基于该原因,本实施例在每接收到一帧原始视频帧后,均将该当前接收到的原始视频帧与初始接收到的原始视频帧进行比较,确定各个第二像素块的位移矢量,即每个第二像素块的移动方向和移动距离,之后利用第一像素块进行替换。
由于视频通讯连接的过程中,以目标对象为人脸为例,人脸的表情可能会发生较大的变化,或者视频中突然增加了一个人,为了保证这种情况下,对视频帧的像素调整依旧能够足够自然,本发明提供了以下实施例。
在本发明的再一些实施例中,该方法还包括:
在检测到原始视频帧内新增目标对象,或者第一目标图像与原始视频帧之间特征值不匹配的像素块的数量超出预设阈值的情况下,第二电子设备获取包括全部目标对象的第二目标图像;
第二电子设备将第二目标图像发送至第一电子设备,以使第一电子设备利用第二目标图像替换第一目标图像。
在本实施例中,在检测到原始视频帧内新增目标对象的情况下,之前获取的第一目标图像已经无法满足对全部目标对象进行替换了,因此需要重新拍摄第二目标图像。同样,在原始的目标对象发生了较大的变化,导致第一目标图像与原始视频帧之间特征值不匹配的像素块的数量超出预设阈值的情况下,例如用户人脸发生了较大的表情变化,此时利用原始的第一目标图像进行替换的话,会出现明显的不自然的情况,因此需要重新拍摄第二目标图像。这种方式,不仅尽量减少了目标图像的拍摄,并且提高了替换后的视频帧的自然程度。
基于上述实施例提供的视频播放方法实施例,相应地,本发明实施例还提供了一种第一电子设备,参见图5,图5示出了本发明实施例提供的一种第一电子设备的结构示意图。该第一电子设备包括:
接收模块201,用于在第一电子设备与第二电子设备进行视频通讯连接的情况下,接收第二电子设备发送的第一目标图像以及原始视频帧;其中,第一目标图像和原始视频帧均包括目标对象;
识别模块202,用于获取第一目标图像内的目标对象对应的第一像素块以及原始视频帧内目标对象对应的第二像素块;
替换模块203,用于将原始视频帧内的第二像素块替换为第一像素块,得到目标视频帧;
播放模块204,用于在第一电子设备的屏幕上播放目标视频帧。
在本发明实施例中,在进行视频通讯连接的过程中,第一电子设备首先会接收第二电子设备的拍摄的第一目标图像以及原始视频帧,之后将原始视频帧中该目标对象对应的第二像素块替换为第一目标图像中的目标对象对应的第一像素块,由于摄像头所拍摄的图像的清晰度要高于视频通讯连接时视频帧的清晰度,因此通过本实施例能够提高视频通讯连接过程中目标对象的清晰程度,并且本实施例对电子设备的要求较低,不需要对电子设备进行较大的改进,从而具有较低的成本。
可选的,上述第一像素块为多个,不同第一像素块的尺寸可以相同也可以不完全相同;相应地,第二像素块为多个,不同第二像素块的尺寸也可以相同或者不完全相同。但是在第一目标图像中的目标对象与原始视频帧中的目标对象尺寸相同的情况下,相对应的第一像素块和第二像素块的尺寸一定是相同的。这种方式能够使得像素块的设置更加灵活,尽可能减少了像素块的数量,提高了像素块的替换速度并尽可能保证的替换后目标对象的自然程度。
在第一目标图像中的目标对象与原始视频帧中的目标对象尺寸不同的情况下,此时第一像素块与其对应的第二像素块的尺寸不同,为了保证像素块能够进行替换,在本发明的另一些实施例中,该第一电子设备还可以包括:
调整模块,用于在第一像素块与第二像素块的尺寸不同的情况下,根据第二像素块的尺寸对第一像素块进行尺寸调整,得到尺寸调整后的第一像素块,以使尺寸调整后的第一像素块与第二像素块的尺寸相同;其中,在第一目标图像中第一像素块在在第一目标图像中第一目标图像内在第一目标图像中目标对象上的位置,与在第一目标图像中第二像素块在在第一目标图像中原始视频帧内在第一目标图像中目标对象上的位置相同;
上述替换模块203具体用于:将在第一目标图像中原始视频帧内的在第一目标图像中第二像素块替换为在第一目标图像中尺寸调整后的第一像素块。
即在本实施例中,在第一像素块与第二像素块的尺寸不同的情况下,为了保证像素块能够正常替换,对第一像素块的尺寸进行了调整,例如缩小或放大,在将第一像素块调整到与其对应的第二像素块的尺寸相同的情况下,再进行替换,从而提高了像素块替换的准确性。需要注意的是,由于各个第一像素块的尺寸可能不同,因此每个第一像素块是根据其自身对应的第二像素块的尺寸进行缩放的。
在本发明的另一些实施例中,上述替换模块203可以包括:
矢量计算单元,用于计算当前接收到的原始视频帧中各个第二像素块相对于初始接收到的原始视频帧中同一像素块的位移矢量;
位置确定单元,用于依据位移矢量确定各个第二像素块的目标位置;
替换单元,用于将在第一目标图像中目标位置处的在第一目标图像中第二像素块替换为在第一目标图像中第一像素块,得到目标视频帧。
由于在直播或者视频通话过程中,目标对象通常不可能固定不动,并且第一目标图像是在最初开始进行视频通讯连接时获取的,因此第一目标图像内的目标对象的位置应该是与初始接收到的原始视频帧内的目标对象的位置相同,基于该原因,本实施例在每接收到一帧原始视频帧后,均将该当前接收到的原始视频帧与初始接收到的原始视频帧进行比较,确定各个第二像素块的位移矢量,即每个第二像素块的移动方向和移动距离,之后利用第一像素块。
本发明实施例提供的第一电子设备能够实现图1的方法实施例中第一电子设备实现的各个方法步骤,为避免重复,这里不再赘述。
基于上述提供的方法实施例,本发明实施例还提供了一种第二电子设备,参见图6,图6示出了本发明实施例提供的一种第二电子设备的结构示意图。该第二电子设备包括:
第一拍摄模块301,用于在第一电子设备与第二电子设备进行视频通讯连接的情况下,拍摄目标对象,得到第一目标图像,并获取包括目标对象的原始视频帧;
第一传输模块302,用于将第一目标图像以及原始视频帧发送至第一电子设备,以使第一电子设备获取第一目标图像内的目标对象对应的第一像素块以及原始视频帧内目标对象对应的第二像素块;将原始视频帧内的第二像素块替换为第一像素块,得到目标视频帧;在第一电子设备的屏幕上播放目标视频帧。
在本发明实施例中,在进行视频通讯连接的过程中,第一电子设备首先会接收第二电子设备的拍摄的第一目标图像以及原始视频帧,之后将原始视频帧中该目标对象对应的第二像素块替换为第一目标图像中的目标对象对应的第一像素块,由于摄像头所拍摄的图像的清晰度要高于视频通讯连接时视频帧的清晰度,因此通过本实施例能够提高视频通讯连接过程中目标对象的清晰程度,并且本实施例对电子设备的要求较低,不需要对电子设备进行较大的改进,从而具有较低的成本。
在本发明的一些实施例中,上述第一拍摄模块301具体包括:
图像拍摄单元,用于在第一电子设备与第二电子设备建立视频通讯连接的情况下,拍摄目标对象,得到第一图像;在第一图像满足预设拍摄条件的情况下,将第一图像作为第一目标图像;
视频拍摄单元,用于获取包括目标对象的原始视频帧。
由于本发明是需要利用第一目标图像中的目标对象的像素块替换原始视频帧中的目标对象的像素块,因此需要通过设置预设拍摄条件来保证第一目标图像中包括所有所需要的像素块,从而保证像素块替换的完整性。其中,这里的预设拍摄条件可以为正脸,即令第一目标图像中的目标对象为正脸。当然,在目标对象不是人脸时,也需要尽量选择目标对象完整露出的情况进行拍摄。
在本发明的一些实施例中,该第二电子设备还可以包括:
模式开启模块,用于开启第一拍摄模式,并在第一拍摄模式开启后,触发第一拍摄模块301。
在一种具体实现方式中,模式开启模块可以用于:在接收到用户针对第一拍摄模式的启动输入后,开启第一拍摄模式。在这种情况下,用户可以人为选择视频的传输方式,用户自主性更高。
在另一种具体实现方式中,模式开启模块可以用于:在第二电子设备与第一电子设备之间建立视频通讯连接后,即自动开启第一拍摄模式。这种方式能够保证每次视频通讯连接过程中视频的清晰程度。
在本发明的另一些实现方式中,模式开启模块可以用于:当第二电子设备与第一电子设备之间的网络传输速率小于预设速率阈值的情况下,开启第一拍摄模式。这种方式,能够在网络较差的情况下,保证用户体验。
在本发明的再一些实施例中,该第二电子设备还可以包括:
第二拍摄模块,用于在检测到原始视频帧内新增目标对象,或者第一目标图像与原始视频帧之间特征值不匹配的像素块的数量超出预设阈值的情况下,第二电子设备获取包括全部目标对象的第二目标图像;
第二传输模块,用于第二电子设备将第二目标图像发送至第一电子设备,以使第一电子设备利用第二目标图像替换第一目标图像。
在本实施例中,在检测到原始视频帧内新增目标对象的情况下,之前获取的第一目标图像已经无法满足对全部目标对象进行替换了,因此需要重新拍摄第二目标图像。同样,在原始的目标对象发生了较大的变化,导致第一目标图像与原始视频帧之间特征值不匹配的像素块的数量超出预设阈值的情况下,例如用户人脸发生了较大的表情变化,此时利用原始的第一目标图像进行替换的话,会出现明显的不自然的情况,因此需要重新拍摄第二目标图像。这种方式,不仅尽量减少了目标图像的拍摄,并且提高了替换后的视频帧的自然程度。
本发明实施例提供的第二电子设备能够实现图1的方法实施例中第二电子设备实现的各个方法步骤,为避免重复,这里不再赘述。
图7示出了本发明实施例提供的一种电子设备的硬件结构示意图。
该电子设备400包括但不限于:射频单元401、网络模块402、音频输出单元403、输入单元404、传感器405、显示单元406、用户输入单元407、接口单元408、存储器409、处理器410、以及电源411等部件。本领域技术人员可以理解,图7中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中,处理器410,用于在第一电子设备与第二电子设备进行视频通讯连接的情况下,接收第二电子设备发送的第一目标图像以及原始视频帧;其中,第一目标图像和原始视频帧均包括目标对象;获取第一目标图像内的目标对象对应的第一像素块以及原始视频帧内目标对象对应的第二像素块;将原始视频帧内的第二像素块替换为第一像素块,得到目标视频帧;在第一电子设备的屏幕上播放目标视频帧。
或者在第一电子设备与第二电子设备进行视频通讯连接的情况下,拍摄目标对象,得到第一目标图像,并获取包括目标对象的原始视频帧;将第一目标图像以及原始视频帧发送至第一电子设备。
在本发明实施例中,在进行视频通讯连接的过程中,第一电子设备首先会接收第二电子设备的拍摄的第一目标图像以及原始视频帧,之后将原始视频帧中该目标对象对应的第二像素块替换为第一目标图像中的目标对象对应的第一像素块,由于所拍摄的图像的清晰度要高于视频通讯连接时视频帧的清晰度,因此通过本实施例能够提高视频通讯连接过程中目标对象的清晰程度,并且本实施例对电子设备的要求较低,不需要对电子设备进行较大的改进,从而具有较低的成本。
应理解的是,本发明实施例中,射频单元401可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器410处理;另外,将上行的数据发送给基站。通常,射频单元401包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元401还可以通过无线通信系统与网络和其他设备通信。
电子设备通过网络模块402为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元403可以将射频单元401或网络模块402接收的或者在存储器409中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元403还可以提供与电子设备400执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元403包括扬声器、蜂鸣器以及受话器等。
输入单元404用于接收音频或视频信号。输入单元404可以包括图形处理器(Graphics Processing Unit,GPU)4041和麦克风4042,图形处理器4041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元406上。经图形处理器4041处理后的图像帧可以存储在存储器409(或其它存储介质)中或者经由射频单元401或网络模块402进行发送。麦克风4042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元401发送到移动通信基站的格式输出。
电子设备400还包括至少一种传感器405,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板4061的亮度,接近传感器可在电子设备400移动到耳边时,关闭显示面板4061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器405还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元406用于显示由用户输入的信息或提供给用户的信息。显示单元406可包括显示面板4061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板4061。
用户输入单元407可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元407包括触控面板4071以及其他输入设备4072。触控面板4071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板4071上或在触控面板4071附近的操作)。触控面板4071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器410,接收处理器410发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板4071。除了触控面板4071,用户输入单元407还可以包括其他输入设备4072。具体地,其他输入设备4072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板4071可覆盖在显示面板4061上,当触控面板4071检测到在其上或附近的触摸操作后,传送给处理器410以确定触摸事件的类型,随后处理器410根据触摸事件的类型在显示面板4061上提供相应的视觉输出。虽然在图7中,触控面板4071与显示面板4061是作为两个独立的部件来实现电子设备的输入和输出功能,但是在某些实施例中,可以将触控面板4071与显示面板4061集成而实现电子设备的输入和输出功能,具体此处不做限定。
接口单元408为外部装置与电子设备400连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元408可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到电子设备400内的一个或多个元件或者可以用于在电子设备400和外部装置之间传输数据。
存储器409可用于存储软件程序以及各种数据。存储器409可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器409可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器410是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器409内的软件程序和/或模块,以及调用存储在存储器409内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。处理器410可包括一个或多个处理单元;优选的,处理器410可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器410中。
电子设备400还可以包括给各个部件供电的电源411(比如电池),优选的,电源411可以通过电源管理系统与处理器410逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外,电子设备400包括一些未示出的功能模块,在此不再赘述。
优选的,本发明实施例还提供一种电子设备,包括处理器410,存储器409,存储在存储器409上并可在所述处理器410上运行的计算机程序,该计算机程序被处理器410执行时实现上述视频播放方法或视频处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述视频播放方法或视频处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random AccessMemory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。

Claims (10)

1.一种视频播放方法,应用于第一电子设备,其特征在于,包括:
在所述第一电子设备与第二电子设备进行视频通讯连接的情况下,接收所述第二电子设备发送的第一目标图像以及原始视频帧;其中,所述第一目标图像和所述原始视频帧均包括目标对象;
获取所述第一目标图像内的所述目标对象对应的第一像素块以及所述原始视频帧内所述目标对象对应的第二像素块;
将所述原始视频帧内的所述第二像素块替换为所述第一像素块,得到目标视频帧;
在所述第一电子设备的屏幕上播放所述目标视频帧。
2.根据权利要求1所述的方法,其特征在于,所述将所述原始视频帧内的所述第二像素块替换为所述第一像素块之前,还包括:
在所述第一像素块与所述第二像素块的尺寸不同的情况下,根据所述第二像素块的尺寸对所述第一像素块进行尺寸调整,得到尺寸调整后的第一像素块,以使尺寸调整后的所述第一像素块与所述第二像素块的尺寸相同;其中,所述第一像素块在所述第一目标图像内所述目标对象上的位置,与所述第二像素块在所述原始视频帧内所述目标对象上的位置相同;
所述将所述原始视频帧内的所述第二像素块替换为所述第一像素块,包括:
将所述原始视频帧内的所述第二像素块替换为所述尺寸调整后的第一像素块。
3.根据权利要求1所述的方法,其特征在于,所述将所述原始视频帧内的所述第二像素块替换为所述第一像素块,包括:
计算当前接收到的原始视频帧中各个第二像素块相对于初始接收到的原始视频帧中同一像素块的位移矢量;
依据所述位移矢量确定各个所述第二像素块的目标位置;
将所述目标位置处的所述第二像素块替换为所述第一像素块。
4.一种视频处理方法,应用于第二电子设备,其特征在于,包括:
在第一电子设备与所述第二电子设备进行视频通讯连接的情况下,拍摄目标对象,得到第一目标图像,并获取包括所述目标对象的原始视频帧;
将所述第一目标图像以及所述原始视频帧发送至所述第一电子设备,以使所述第一电子设备获取所述第一目标图像内的所述目标对象对应的第一像素块以及所述原始视频帧内所述目标对象对应的第二像素块;将所述原始视频帧内的所述第二像素块替换为所述第一像素块,得到目标视频帧;在所述第一电子设备的屏幕上播放所述目标视频帧。
5.根据权利要求4所述的方法,其特征在于,所述拍摄目标对象,得到第一目标图像,包括:
拍摄所述目标对象,得到第一图像;
在所述第一图像满足预设拍摄条件的情况下,将所述第一图像作为所述第一目标图像。
6.根据权利要求4或5所述的方法,其特征在于,还包括:
在检测到所述原始视频帧内新增目标对象,或者所述第一目标图像与所述原始视频帧之间特征值不匹配的像素块的数量超出预设阈值的情况下,获取包括全部目标对象的第二目标图像;
将所述第二目标图像发送至所述第一电子设备。
7.根据权利要求4所述的方法,其特征在于,所述拍摄目标对象,得到第一目标图像,包括:
在所述第二电子设备启动第一拍摄模式的情况下,拍摄所述目标对象,得到所述第一目标图像;
其中,在以下任意一种情况下,所述第二电子设备启动所述第一拍摄模式:
接收到用户针对所述第一拍摄模式的启动输入;
与所述第一电子设备之间建立视频通讯连接;
与所述第一电子设备之间的网络传输速率小于预设速率阈值。
8.一种第一电子设备,其特征在于,包括:
接收模块,用于在所述第一电子设备与第二电子设备进行视频通讯连接的情况下,接收所述第二电子设备发送的第一目标图像以及原始视频帧;其中,所述第一目标图像和所述原始视频帧均包括目标对象;
获取模块,用于获取所述第一目标图像内的所述目标对象对应的第一像素块以及所述原始视频帧内所述目标对象对应的第二像素块;
替换模块,用于将所述原始视频帧内的所述第二像素块替换为所述第一像素块,得到目标视频帧;
播放模块,用于在所述第一电子设备的屏幕上播放所述目标视频帧。
9.一种第二电子设备,其特征在于,包括:
第一拍摄模块,用于在第一电子设备与所述第二电子设备进行视频通讯连接的情况下,拍摄目标对象,得到第一目标图像,并获取包括所述目标对象的原始视频帧;
第一传输模块,用于将所述第一目标图像以及所述原始视频帧发送至所述第一电子设备,以使所述第一电子设备获取所述第一目标图像内的所述目标对象对应的第一像素块以及所述原始视频帧内所述目标对象对应的第二像素块;将所述原始视频帧内的所述第二像素块替换为所述第一像素块,得到目标视频帧;在所述第一电子设备的屏幕上播放所述目标视频帧。
10.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至3中任一项所述的视频播放方法或权利要求4至7中任一项所述的视频处理方法的步骤。
CN202010237926.8A 2020-03-30 2020-03-30 视频播放方法、视频处理方法及电子设备 Active CN111432154B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010237926.8A CN111432154B (zh) 2020-03-30 2020-03-30 视频播放方法、视频处理方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010237926.8A CN111432154B (zh) 2020-03-30 2020-03-30 视频播放方法、视频处理方法及电子设备

Publications (2)

Publication Number Publication Date
CN111432154A true CN111432154A (zh) 2020-07-17
CN111432154B CN111432154B (zh) 2022-01-25

Family

ID=71555552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010237926.8A Active CN111432154B (zh) 2020-03-30 2020-03-30 视频播放方法、视频处理方法及电子设备

Country Status (1)

Country Link
CN (1) CN111432154B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702616A (zh) * 2020-12-08 2021-04-23 珠海格力电器股份有限公司 一种播放内容的处理方法以及装置
CN113852757A (zh) * 2021-09-03 2021-12-28 维沃移动通信(杭州)有限公司 视频处理方法、装置、设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105812672A (zh) * 2016-05-27 2016-07-27 广东欧珀移动通信有限公司 拍照处理方法及装置
US20170301067A1 (en) * 2012-12-20 2017-10-19 Microsoft Technology Licensing, Llc Privacy camera
CN108234859A (zh) * 2017-08-30 2018-06-29 珠海市魅族科技有限公司 视频防抖控制方法、装置、计算机装置及可读存储介质
CN109005354A (zh) * 2018-09-25 2018-12-14 努比亚技术有限公司 拍摄方法、移动终端及计算机可读存储介质
CN109102530A (zh) * 2018-08-21 2018-12-28 北京字节跳动网络技术有限公司 运动轨迹绘制方法、装置、设备和存储介质
CN110266994A (zh) * 2019-06-26 2019-09-20 广东小天才科技有限公司 一种视频通话方法、视频通话装置及终端
CN110769186A (zh) * 2019-10-28 2020-02-07 维沃移动通信有限公司 一种视频通话方法、第一电子设备及第二电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170301067A1 (en) * 2012-12-20 2017-10-19 Microsoft Technology Licensing, Llc Privacy camera
CN105812672A (zh) * 2016-05-27 2016-07-27 广东欧珀移动通信有限公司 拍照处理方法及装置
CN108234859A (zh) * 2017-08-30 2018-06-29 珠海市魅族科技有限公司 视频防抖控制方法、装置、计算机装置及可读存储介质
CN109102530A (zh) * 2018-08-21 2018-12-28 北京字节跳动网络技术有限公司 运动轨迹绘制方法、装置、设备和存储介质
CN109005354A (zh) * 2018-09-25 2018-12-14 努比亚技术有限公司 拍摄方法、移动终端及计算机可读存储介质
CN110266994A (zh) * 2019-06-26 2019-09-20 广东小天才科技有限公司 一种视频通话方法、视频通话装置及终端
CN110769186A (zh) * 2019-10-28 2020-02-07 维沃移动通信有限公司 一种视频通话方法、第一电子设备及第二电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702616A (zh) * 2020-12-08 2021-04-23 珠海格力电器股份有限公司 一种播放内容的处理方法以及装置
CN113852757A (zh) * 2021-09-03 2021-12-28 维沃移动通信(杭州)有限公司 视频处理方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN111432154B (zh) 2022-01-25

Similar Documents

Publication Publication Date Title
CN110446097B (zh) 录屏方法及移动终端
CN109361869B (zh) 一种拍摄方法及终端
CN108491775B (zh) 一种图像修正方法及移动终端
CN109461117B (zh) 一种图像处理方法及移动终端
CN108038825B (zh) 一种图像处理方法及移动终端
CN108989672B (zh) 一种拍摄方法及移动终端
CN110602401A (zh) 一种拍照方法及终端
CN108492246B (zh) 一种图像处理方法、装置及移动终端
CN109660723B (zh) 一种全景拍摄方法及装置
CN110213485B (zh) 一种图像处理方法及终端
CN108924412B (zh) 一种拍摄方法及终端设备
CN108449541B (zh) 一种全景图像拍摄方法及移动终端
CN108513067B (zh) 一种拍摄控制方法及移动终端
CN107730460B (zh) 一种图像处理方法及移动终端
CN108196815B (zh) 一种通话声音的调节方法和移动终端
CN111401463B (zh) 检测结果输出的方法、电子设备及介质
CN111031253B (zh) 一种拍摄方法及电子设备
CN108174110B (zh) 一种拍照方法及柔性屏终端
CN111432154B (zh) 视频播放方法、视频处理方法及电子设备
CN110363729B (zh) 一种图像处理方法、终端设备及计算机可读存储介质
CN109639981B (zh) 一种图像拍摄方法及移动终端
CN109727212B (zh) 一种图像处理方法及移动终端
CN108924413B (zh) 拍摄方法及移动终端
CN108259756B (zh) 一种图像拍摄方法及移动终端
CN108156386B (zh) 一种全景拍照方法及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant