CN108965769B - 视频显示方法及装置 - Google Patents

视频显示方法及装置 Download PDF

Info

Publication number
CN108965769B
CN108965769B CN201810992917.2A CN201810992917A CN108965769B CN 108965769 B CN108965769 B CN 108965769B CN 201810992917 A CN201810992917 A CN 201810992917A CN 108965769 B CN108965769 B CN 108965769B
Authority
CN
China
Prior art keywords
target object
image
video frame
object image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810992917.2A
Other languages
English (en)
Other versions
CN108965769A (zh
Inventor
陈宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810992917.2A priority Critical patent/CN108965769B/zh
Publication of CN108965769A publication Critical patent/CN108965769A/zh
Application granted granted Critical
Publication of CN108965769B publication Critical patent/CN108965769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Abstract

本发明公开了一种视频显示方法及装置,属于终端技术领域。所述方法包括:获取第一视频帧和第二视频帧;确定第一视频帧的第一显示子图和第一隐藏子图,以及第二视频帧的第二显示子图和第二隐藏子图;在第二显示子图上叠加第一目标对象图像,和/或,在第一显示子图上叠加第二目标对象图像,第一目标对象图像为第一目标对象在第一隐藏子图中的图像,第二目标对象为第二目标对象在第二隐藏子图中的图像;在显示屏幕的对应位置显示叠加后的第一显示子图和第二显示子图。本发明在视觉上产生了第一目标对象和/或第二目标对象突破所在图像的限制,融入到对方所在的图像中进行交互的效果,增强了目标对象的互动性,扩展了视频显示方式。

Description

视频显示方法及装置
技术领域
本发明涉及终端技术领域,特别涉及一种视频显示方法及装置。
背景技术
目前,在许多场景中都需要同屏显示两个视频图像,比如,在视频通话场景中,通话终端需要在本端的显示屏幕上同时显示本端的视频图像和对端的视频图像,以便用户能够同时看到本人和对方的影像。
相关技术中,在第一终端和第二终端建立视频通话连接后,第一终端可以获取本端拍摄的第一视频帧和第二终端拍摄的第二视频帧,然后,对第二视频帧进行缩小处理,并将缩小后的第二视频帧嵌入到第一视频帧中,再在显示屏幕上显示嵌入了第二视频帧的第一视频帧,这样,即可在第一终端的显示屏幕上同时显示本端的视频图像和对端的视频图像。
但是,相关技术中同屏显示的两个视频图像都是相互独立的,视频显示形式较为单一。
发明内容
本发明实施例提供了一种视频显示方法及装置,可以用于解决相关技术中存在的视频显示形式单一的问题。所述技术方案如下:
一方面,提供了一种视频显示方法,所述方法包括:
获取第一视频帧和第二视频帧,所述第一视频帧包括第一目标对象,所述第二视频帧包括第二目标对象;
确定所述第一视频帧的第一显示子图和第一隐藏子图,以及所述第二视频帧的第二显示子图和第二隐藏子图;
在所述第二显示子图上叠加第一目标对象图像,和/或,在所述第一显示子图上叠加第二目标对象图像,所述第一目标对象图像为所述第一目标对象在所述第一隐藏子图中的图像,所述第二目标对象为所述第二目标对象在所述第二隐藏子图中的图像;
在显示屏幕的对应位置显示叠加后的所述第一显示子图和所述第二显示子图。
一方面,提供了一种视频显示装置,所述装置包括:
第一获取模块,用于获取第一视频帧和第二视频帧,所述第一视频帧包括第一目标对象,所述第二视频帧包括第二目标对象;
确定模块,用于确定所述第一视频帧的第一显示子图和第一隐藏子图,以及所述第二视频帧的第二显示子图和第二隐藏子图;
叠加模块,用于在所述第二显示子图上叠加第一目标对象图像,和/或,在所述第一显示子图上叠加第二目标对象图像,所述第一目标对象图像为所述第一目标对象在所述第一隐藏子图中的图像,所述第二目标对象为所述第二目标对象在所述第二隐藏子图中的图像;
显示模块,用于在显示屏幕的对应位置显示叠加后的所述第一显示子图和所述第二显示子图。
一方面,提供了一种终端,所终端包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现上述任一种视频显示方法。
一方面,提供了一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述指令、所述程序、所述代码集或所述指令集由处理器加载并执行以实现上述任一种视频显示方法。
本发明实施例提供的技术方案带来的有益效果是:
本发明实施例中,可以获取第一视频帧和第二视频帧,然后确定第一视频帧的第一显示子图和第一隐藏子图,以及第二视频帧的第二显示子图和第二隐藏子图,并在第二显示子图上叠加第一目标对象图像,和/或,在第一显示子图上叠加第二目标对象图像,而后,在显示屏幕的对应位置显示叠加后的第一显示子图和第二显示子图。由于第一目标对象图像为第一目标对象在第一隐藏子图中的图像,第二目标对象为第二目标对象在第二隐藏子图中的图像,因此,通过在第一显示子图上叠加第二目标对象图像,可以使得叠加后的第一显示子图中既包括第一显示子图的背景和其中的第一目标对象,也包括部分第二目标对象,通过在第二显示子图上叠加第一目标对象图像,可以使得叠加后的第二显示子图既包括第二显示子图的背景和其中的第二目标对象,也包括部分第一目标对象,这样,在视觉上即可产生第一目标对象突破所在图像的限制,融入到第二目标对象所在的图像中,与第二目标对象进行交互,和/或,第二目标对象突破所在图像的限制,融入到第一目标对象所在的图像中,与第一目标对象进行交互的效果,使得不同图像中的目标对象产生了交互,增强了视频中目标对象的互动性,扩展了视频显示方式。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是相关技术中提供的一种视频图像的示意图;
图2是本发明实施例涉及到的一种实施环境的示意图;
图3是本发明实施例涉及的另一种实施环境的示意图;
图4是本发明实施例涉及的另一种实施环境的示意图;
图5是本发明实施例提供的一种视频显示方法的流程图;
图6是本发明实施例提供的一种第一视频帧的划分示意图;
图7是本发明实施例提供的一种第二视频帧的划分示意图;
图8是本发明实施例提供的一种第三目标对象图像的示意图;
图9是本发明实施例提供的一种拼接图像的示意图;
图10是本发明实施例提供的一种叠加后的拼接图像的示意图;
图11是本发明实施例提供的另一种视频显示方法的流程图;
图12是本发明实施例提供的一种视频显示装置的结构框图;
图13是本发明实施例提供的一种终端1300的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
目前,越来越多的场景中需要同屏显示两个视频图像。例如,在视频通话场景中,通话终端需要在本端的显示屏幕上同时显示本端的视频图像和对端的视频图像,以便用户能够在通话时同时看到自己和对方的影像。又例如,在直播场景中,当两个主播进行直播连麦时,每个主播端和观众端都需要在本端的显示屏幕上同时显示两个主播的直播视频图像。又例如,在视频制作场景中,有时需要将两个视频的视频图像进行组合,生成一个新的视频。
相关技术中,在同屏显示两个视频图像时,仅是将两个视频图像进行简单的组合。例如,将视频图像A和视频图像B缩小后拼接到一起,或者,参见图1,将视频图像A缩小后嵌入到视频图像B中。但是这种简单的组合方式中,两个视频图像是相互独立的,两个视频图像中的目标对象也不能产生交互,视频显示方式较为单一。
为了扩展视频显示方式,本发明实施例提供了一种视频显示方法,利用该方法可以使得两个视频图像中的目标对象产生交互,实现不同视频场景中目标对象的互动,比如异地视频场景中人物的互动,从而增大了视频显示效果和趣味性。比如,当将本发明实施例提供的视频显示方法应用于视频通话场景中时,可以为通话双方提供一种全新的交互方式,增强视频通话过程中的趣味性。另外,本发明实施例提供的视频显示方法还可以应用于视频制作场景中,可以将两个视频的视频画面组合到一起,且组合后的视频画面中的两个视频画面的目标对象能够产生交互,从而可以为用户提供了一种新颖的短视频录制或短视频制作方式,丰富了短视频的内容。
下面,将对本发明实施例提供的视频显示方法所涉及的实施环境进行说明。
图2是本发明实施例提供的视频显示方法所涉及到的一种实施环境的示意图。如图2所示,该实施环境可以包括终端10,终端10可以获取任意两个视频图像,并按照本发明实施例提供的视频显示方法,对这两个视频图像进行组合显示。需要说明的是,图2仅是以终端10为计算机为例,实际应用中,终端10还可以为手机或平板电脑等,本发明实施例对此不做限定。
图3是本发明实施例提供的视频显示方法所涉及的另一种实施环境的示意图,如图3所示,该实施环境可以包括终端20和终端30。终端20可以与终端40建立视频通话连接,建立视频通话连接之后,终端20可以将拍摄的视频图像发送给终端30,并可以接收终端30发送的视频图像。而且,终端20和终端30均可以将本端的视频图像和对端的视频图像,按照本发明实施例提供的视频显示方法进行显示。
图4是本发明实施例提供的视频显示方法所涉及的另一种实施环境的示意图,如图4所示,该实施环境可以包括终端40、服务器50和终端60。终端40可以通过服务器50与终端60建立连接,建立连接之后,终端40可以将拍摄的视频图像通过服务器50发送给终端60,并可以接收终端60通过服务器50发送的视频图像。而且,终端40和终端60均可以将本端的视频图像和对端的视频图像,按照本发明实施例提供的视频显示方法进行显示。示例地,在直播连麦场景中,终端40和终端60为直播连麦的两个主播端,服务器50为直播服务器。
请参考图5,其示出了本发明实施例提供的一种视频显示方法的流程图,该视频显示方法可以应用于上述图2中的终端10中,或者,上述图3中的终端20或终端30中,或者上述图5中的终端40和终端60中。如图5所示,以该方法应用于第一终端为例,该视频显示方法可以包括以下步骤:
步骤501:获取第一视频帧和第二视频帧,第一视频帧包括第一目标对象,第二视频帧包括第二目标对象。
需要说明的是,第一视频帧和第二视频帧可以为不同视频的视频帧,或者不同终端拍摄的视频帧等。第一目标对象是第一视频帧中的目标对象,第二目标对象是第二视频帧中的目标对象,目标对象为预先设置的对象,可以为人或动物等。
示例的,第一终端可以从第一视频中获取第一视频帧,从第二视频中获取第二视频帧。其中,第一视频和第二视频可以为第一终端存储的视频、第一终端从网络上下载的视频、第一终端录制的视频等,当然,第一视频和第二视频也可以为不同终端录制的视频。或者,第一终端可以在拍摄视频的过程中,拍摄第一视频帧,并接收任一电子设备发送的第二视频帧,该第二视频帧为该电子设备拍摄的视频帧。
在一个实施例中,以视频通话场景为例,第一终端可以在和第二终端建立视频通话连接之后,获取第一终端拍摄的第一视频帧,以及通过该视频通话连接,获取第二终端拍摄的第二视频帧。
还需要说明的是,第一视频帧和第二视频帧可以同时获取,也可以先后获取,本发明实施例对第一视频帧和第二视频帧的获取时机不做限定。
步骤502:确定第一视频帧的第一显示子图和第一隐藏子图,以及第二视频帧的第二显示子图和第二隐藏子图。
需要说明的是,第一显示子图为第一视频帧的任意部分图像,且被设置为显示状态,能够显示在显示屏幕上,第一隐藏子图为第一视频帧中除第一显示子图之外的部分图像,且被设置为隐藏状态,不能显示在显示屏幕上;第二显示子图为第二视频帧的任意部分图像,且被设置为显示状态,第二隐藏子图为第二视频帧中除第二显示子图之外的部分图像,且被设置为隐藏状态。也即是,第一隐藏子图和第二隐藏子图处于隐藏状态,后续不会显示出来。
可选地,第一显示子图在第一视频帧中的位置和第二显示子图在第二视频帧中的位置相对,也即是,第一显示子图和第二显示子图位于视频帧的相反位置。比如,第一显示子图是第一视频帧的左半部分图像,第二显示子图是第二视频帧的右半部分图像;或者,第一显示子图是第一视频帧的右半部分图像,第二显示子图是第二视频帧的左半部分图像;或者,第一显示子图是第一视频帧的上半部分图像,第二显示子图是第二视频帧的下半部分图像;或者,第一显示子图是第一视频帧的下半部分图像,第二显示子图是第二视频帧的上半部分图像等。
具体地,可以将第一视频帧和第二视频帧分别按照相同的方式划分为两部分,将第一视频帧中的一部分图像设置为第一显示子图,另一部分设置为第一隐藏子图,并第二视频帧中的一部分图像设置为第二显示子图,另一部分设置为第二隐藏子图。其中,第一显示子图在第一视频帧中的位置和第二显示子图在第二视频帧中的位置相同,第一隐藏子图在第一视频帧中的位置和第二隐藏子图在第二视频帧中的位置相同。
比如,请参考图6,可以将第一视频帧等分成左右两个部分,并将左半部分图像确定为第一显示子图,右半部分图像确定为第一隐藏子图;请参考图7,可以将第二视频帧等分为左右两个部分,并将左半部分图像确定为第二隐藏子图,右半部分区域确定为第二显示子图。
进一步地,第一视频帧和第二视频帧的图像尺寸相同,第一显示子图和第二显示子图组合之后,可以得到与第一视频帧和第二视频帧的图像尺寸相同的拼接图像,也即是,第一显示子图和第二显示子图的尺寸互补。
步骤503:在第二显示子图上叠加第一目标对象图像,和/或,在第一显示子图上叠加第二目标对象图像,第一目标对象图像为第一目标对象在第一隐藏子图中的图像,第二目标对象为第二目标对象在第二隐藏子图中的图像。
需要说明的是,第一目标对象图像是指第一隐藏子图中的第一目标对象的轮廓内图像,可以通过对第一隐藏子图中的第一目标对象进行抠图得到。第二目标对象图像是指第二隐藏子图中的第二目标对象的轮廓内图像,可以通过对第二隐藏子图中的第二目标对象进行抠图得到。
通过在第一显示子图上叠加第二目标对象图像,可以使得叠加后的第一显示子图既包括第一显示子图的背景和第一目标对象,也包括部分第二目标对象,这样,在视觉上即可产生第二目标对象突破所在第二隐藏子图的限制,融入到第一显示子图中,与第一显示子图中的第一目标对象进行交互的效果,从而实现了不同图像中的目标对象的互动效果,提高了趣味性。
通过在第二显示子图上叠加第一目标对象图像,可以使得叠加后的第二显示子图既包括第二显示子图的背景和第二目标对象,也包括部分第一目标对象,这样,在视觉上即可产生第一目标对象突破所在第一隐藏子图的限制,融入到第二显示子图中,与第二显示子图中的第二目标对象进行交互的效果,从而实现了不同图像中的目标对象的互动效果,提高了趣味性。
另外,若第一隐藏子图中不包括第一目标对象,还可以不获取第一目标对象图像,以及不在第二显示子图上叠加第一目标对象图像;若第二隐藏子图中不包括第二目标对象,还可以不获取第二目标对象图像,以及不在第一显示子图上叠加第二目标对象图像。
具体地,在第二显示子图上叠加第一目标对象图像,以及在第一显示子图上叠加第二目标对象图像可以包括以下两种实现方式:
第一种实现方式:获取第一目标对象图像和/或第二目标对象图像,将第一目标对象图像叠加在第二视频帧的第二显示子图上,和/或,将第二目标对象图像叠加在第一视频帧的第一显示子图上。
具体地,若第一隐藏子图中存在第一目标对象,则获取第一目标对象图像,并将第一目标对象图像叠加在第二视频帧的第二显示子图上,若第一隐藏子图中不存在第一目标对象,则无需获取第一目标对象图像,也无需进行叠加处理。另外,若第二隐藏子图中存在第二目标对象,则获取第二目标对象,并将第二目标对象图像叠加在第一视频帧的第一显示子图上,若第二隐藏子图中不存在第二目标对象,则无需获取第二目标对象图像,也无需进行叠加处理。
具体地,获取第一目标对象图像和/或第二目标对象图像的实现方式可以包括以下两种:
1)基于第一目标对象在第一隐藏子图中的轮廓,从第一隐藏子图中获取第一目标对象图像,和/或,基于第二目标对象在第二隐藏子图中轮廓,从第二隐藏子图中获取第二目标对象图像。
其中,第一目标对象图像可以通过对第一隐藏子图中的第一目标对象进行抠图得到,具体抠图过程可以包括:先对第一隐藏子图中第一目标对象进行轮廓识别,然后按照识别出的轮廓,将第一目标对象图像从第一隐藏子图中裁剪出来。同理,第二目标对象图像可以通过对第二隐藏子图中的第二目标对象进行抠图得到,具体抠图过程可以包括:先对第二隐藏子图中第二目标对象进行轮廓识别,然后按照识别出的轮廓,将第二目标对象图像从第二隐藏子图中裁剪出来。
需要说明的是,轮廓识别是指在包括目标对象和背景的图像中,忽略背景和目标对象内部的纹理以及噪声干扰的影响,采用一定的技术和方法来实现目标对象轮廓提取的过程。当目标对象为人体时,可以利用人体轮廓识别技术对目标对象进行轮廓识别。人体轮廓识别技术是指利用人体识别和轮廓检测技术,将人体轮廓从背景中识别出来的技术。
2)基于第一目标对象在第一隐藏子图中的轮廓,从第一隐藏子图中获取第一目标对象图像,和/或,接收目标电子设备发送的第二目标对象图像,目标电子设备为第二视频帧的发送端,且第二目标对象图像是目标电子设备基于第二目标对象在第二隐藏子图中轮廓,从第二隐藏子图中获取得到。
具体地,可以在视频通话场景或直播连麦场景中,采用第2)种方式获取第一目标对象图像和第二目标对象图像,在视频通话场景或直播连麦场景中,所述目标电子设备是指与第一终端进行视频通过或连麦的第二终端。比如,可以在第一视频帧为第一终端在与第二终端建立视频通话连接之后拍摄的视频帧,第二视频帧为第二终端在与第一终端建立视频通话连接之后拍摄的视频帧时,采用第2)种方式获取第一目标对象图像和第二目标对象图像。
在此方式中,无需第一终端对第二隐藏子图进行抠图处理,也能得到第二目标对象图像,减轻了第一终端的处理负担,提高了第一终端的图像处理效率。
具体地,在第一显示子图上叠加第二目标对象图像时,可以按照第二目标对象图像在第二隐藏子图中的位置,在第一显示子图上进行叠加。相应地,在第二显示子图上叠加第一目标对象图像时,可以按照第一目标对象图像在第一隐藏子图中的位置,在第二显示子图上进行叠加。
第二种实现方式:从第一视频帧中截取第一显示子图,从第二视频帧中截取第二显示子图,将第一显示子图和第二显示子图进行拼接,得到拼接图像,在拼接图像的第一显示子图上叠加第二目标对象图像,在拼接图像的第二显示子图上叠加第一目标对象图像。
具体地,在拼接图像的第一显示子图上叠加第二目标对象图像时,可以按照第二目标对象图像在第二隐藏子图中的位置,在第一显示子图上进行叠加。相应地,在拼接图像的第二显示子图上叠加第一目标对象图像时,可以按照第一目标对象图像在第一隐藏子图中的位置,在第二显示子图上进行叠加。
需要说明的是,在第一种和第二种实现方式中,仅需在一个视频帧中的部分图像上直接叠加另一视频帧中的目标对象图像,即可实现不同视频帧中目标对象的交互,所叠加的目标对象图像较少,处理方式简便,处理效率较高。
第三种实现方式:将第一显示子图和第二显示子图进行拼接,得到拼接图像,获取第三目标对象图像和第四目标对象图像,在拼接图像中第一显示子图和第二显示子图的对应位置,按照预设顺序叠加第三目标对象图像和第四目标对象图像。其中,第三目标对象图像是第一目标对象在第一视频帧中的图像,第四目标对象图像是第二目标对象在第二视频帧中的图像。
例如,请参考图9,可以将第一视频帧的左半部分图像(第一显示子图)和第二视频帧的右半部分图像(第二显示子图)进行拼接,得到图9所示的拼接图像。之后,可以在拼接图像中按照预设顺序,分别叠加第三目标对象图像和第四目标对象图像。
具体地,获取第三目标对象图像和第四目标对象图像的实现方式可以包括以下两种:
1)基于第一目标对象在第一视频帧中的轮廓,从第一视频帧中获取第三目标对象图像,以及基于第二目标对象在第二视频帧中的轮廓,从第二视频帧中获取第四目标对象图像。
例如,当第一目标对象为人体时,可以对第一隐藏子图中的第一目标对象进行人体轮廓识别,然后根据识别出的轮廓,从第一隐藏子图中获取第一目标对象图像。例如,参见图8,可以将第一视频帧中的拳击手图像从第一视频帧中裁剪出来,得到第三目标对象图像。
2)基于第一目标对象在第一视频帧中的轮廓,从第一视频帧中获取第三目标对象图像,以及接收目标电子设备发送的第四目标对象图像,目标电子设备为第二视频帧的发送端,且第四目标对象图像是目标电子设备基于第二目标对象在第二视频帧中的轮廓,从第二视频帧中获取得到。
具体地,可以在视频通话场景或直播连麦场景中,采用第2)种方式获取第一目标对象图像和第二目标对象图像,在视频通话场景或直播连麦场景中,所述目标电子设备是指与第一终端进行视频通过或连麦的第二终端。比如,可以在第一视频帧为第一终端在与第二终端建立视频通话连接之后拍摄的视频帧,第二视频帧为第二终端在与第一终端建立视频通话连接之后拍摄的视频帧时,采用第2)种方式获取第一目标对象图像和第二目标对象图像。
在此方式中,无需第一终端对第二视频帧进行抠图处理,也能得到第四目标对象图像,减轻了第一终端的处理负担,提高了第一终端的图像处理效率。
需要说明的是,当第一视频帧为第一终端拍摄的视频帧,第二视频帧为第二终端拍摄的视频帧时,可以采用第2)种实现方式获取第三目标对象图像和第四目标对象图像。比如,当第一视频帧为第一终端在与第二终端建立视频通话连接之后拍摄的视频帧,第二视频帧为第二终端在与第一终端建立视频通话连接之后拍摄的商品帧时,可以采用第2)种实现方式获取第三目标对象图像和第四目标对象图像。
进一步地,第一终端基于第一目标对象在第一视频帧中的轮廓,从第一视频帧中获取第三目标对象图像之后,还可以将第三目标对象图像发送给第二终端。也即是,第一终端不仅可以将第一视频帧发送给第二终端,还可以将第三目标对象图像发送给第二终端。
在拼接图像上叠加第三目标对象图像时,在第一显示子图上叠加的部分第三目标对象图像将与第一显示子图上原来存在的第一目标对象重叠,从而在效果上仅在第二显示子图上叠加了部分第三目标对象图像,使得处理后的第二显示子图既包括原来的背景和第二目标对象,也包括部分第一目标对象。在第四图像上叠加第四目标对象图像时,在第二显示子图上叠加的部分第四目标对象图像将与第二显示子图上原来存在的第二目标对象重叠,从而在效果上仅在第一显示子图上叠加了部分第四目标对象图像,使得处理后的第一显示子图既包括原来的背景和第一目标对象,也包括部分第二目标对象。
通过直接将原来的两个视频帧中的目标对象图像提取出来,然后对应叠加在拼接图像上,则无需先从视频帧中选取子图,在从选择的子图中将部分目标对象提取处理,处理方式更为简便,处理效率较高。
具体地,可以按照第三目标对象图像在第一视频帧中的位置,在拼接图像上叠加第三目标对象图像。相应地,可以按照第四目标对象图像在第二视频帧中的位置,在拼接图像上叠加第四目标对象图像。
另外,在拼接图像上按照预设顺序叠加第三目标对象图像和第四目标对象图像时,可以在拼接图像上依次叠加第三目标对象图像和第四目标对象图像,也即是,先在拼接图像上叠加第三目标对象图像,再叠加第四目标对象图像,也可以在拼接图像上依次叠加第四目标对象图像和第三目标对象图像,也即是,先在拼接图像上叠加第四目标对象图像,再叠加第三目标对象图像,本发明对此不做限定。需要说明的是,实际使用的叠加顺序可以由第一终端默认设置,可以由第一终端随机选择,也可以由用户配置,本发明实施例对此不做限定。
需要说明的是,当在拼接图像上先叠加第三目标对象图像,再叠加第四目标对象图像时,第四目标对象图像可能会遮挡住部分第三目标对象图像,在视觉上产生第二目标对象在前,第一目标对象在后的效果。当在拼接图像上先叠加第四目标对象图像,再叠加第三目标对象图像时,第三目标对象图像可能会遮挡住部分第四目标对象图像,则视觉上产生第一目标对象在前,第二目标对象在后的效果。如此,两个目标对象的交互效果更强,进一步提高了互动性和趣味性。
在一个实施例中,当第一视频帧为第一终端在与第二终端建立视频通话连接之后拍摄的视频帧,第二视频帧为第二终端拍摄的视频帧时,在按照预设顺序叠加第三目标对象图像和第四目标对象图像之前,第一终端可以先获取第一距离和第二距离,若第一距离小于第二距离,则在拼接图像上依次叠加第三目标对象图像和第四目标对象图像;若第一距离大于第二距离,则在拼接图像上依次叠加第四目标对象图像和第三目标对象图像;若第一距离等于第二距离,则在拼接图像上依次叠加第三目标对象图像和第四目标对象图像,或者,在拼接图像上依次叠加第四目标对象图像和第三目标对象图像。其中,第一距离是第一终端拍摄第一视频帧时,第一目标对象距第一终端的摄像头的距离,第二距离是第二终端拍摄所述第二视频帧时,第二目标对象距第二终端的摄像头的距离。
请参考图10,假设第一距离小于第二距离,则即可在拼接图像上依次叠加学生图像和拳击手图像,使得拳击手的手臂图像对学生的脸部图像进行了遮挡,产生拳击手在前,学生在后的空间交互效果。
具体地,第一终端可以通过距离传感器获取第一目标对象距第一终端的摄像头之间的第一距离,或者,通过SLAM(simultaneous localization and mapping,即时定位与地图构建)技术获取第一目标对象距第一终端的摄像头之间的第一距离,当然也可以通过其他方式获取第一距离,本发明实施例对第一终端获取第一距离的方式不做具体限定。另外,第一终端获取第一距离之后,还可以将第一距离发送给第二终端。
其中,SLAM技术是一种机器能够对现实空间进行感知的技术,利用该技术可以识别设备与物体、或者物体与物体之间的距离。在一个实施例中,第一终端通过SLAM技术获取第一目标对象距第一终端的摄像头之间的第一距离可以包括:预先对第一终端的所在空间进行定位和地图构建,得到第一终端的所在空间的空间地图,之后,当对第一目标对象进行拍摄得到第一视频帧时,对第一视频帧进行图像识别,得到第一目标对象在第一视频帧中的位置,然后,将第一目标对象在第一视频帧中的位置映射到该空间地图中,通过预设分析算法分析得到在现实空间中,第一目标对象距第一终端的摄像头之间的第一距离。
同理,第二终端可以通过距离传感器获取第一目标对象距第二终端的摄像头之间的第二距离,或者,通过SLAM技术获取第二目标对象距第二终端的摄像头之间的第一距离,当然也可以通过其他方式获取第二距离,本发明实施例对第二终端获取第二距离的方式不做具体限定。另外,第二终端获取第二距离之后,还可以将第二距离发送给第一终端。
通过将距离摄像头较近的目标对象的目标对象图像显示在前,将距离摄像头较远的目标对象的目标对象图像显示在后,可以使得目标对象的前后显示效果更加符合视觉效果,从而增强了用户的浸入感。
步骤504:在显示屏幕的对应位置显示叠加后的第一显示子图和第二显示子图。
具体地,当采用步骤503中的第一种实现方式叠加目标对象图像时,可以通过将叠加后的第一视频帧和第二视频帧同时显示在显示屏幕上,实现显示屏幕的对应位置显示叠加后的第一显示子图和第二显示子图。由于第一视频帧中的第一隐藏子图处于隐藏状态,而第二视频帧中的第二隐藏子图也处于隐藏状态,因此,在显示屏幕上同时显示第一视频帧和第二视频帧时,也就仅能显示出叠加后的第一显示子图和第二显示子图。
另外,当采用步骤503中的第一种实现方式和第二种实现方式叠加目标对象图像时,可以在显示屏幕上显示叠加后的拼接图像,实现在显示屏幕的对应位置显示叠加后的第一显示子图和第二显示子图。
本发明实施例中,可以获取第一视频帧和第二视频帧,然后确定第一视频帧的第一显示子图和第一隐藏子图,以及第二视频帧的第二显示子图和第二隐藏子图,并在第二显示子图上叠加第一目标对象图像,和/或,在第一显示子图上叠加第二目标对象图像,而后,在显示屏幕的对应位置显示叠加后的第一显示子图和第二显示子图。由于第一目标对象图像为第一目标对象在第一隐藏子图中的图像,第二目标对象为第二目标对象在第二隐藏子图中的图像,因此,通过在第一显示子图上叠加第二目标对象图像,可以使得叠加后的第一显示子图中既包括第一显示子图的背景和其中的第一目标对象,也包括部分第二目标对象,通过在第二显示子图上叠加第一目标对象图像,可以使得叠加后的第二显示子图既包括第二显示子图的背景和其中的第二目标对象,也包括部分第一目标对象,这样,在视觉上即可产生第一目标对象突破所在图像的限制,融入到第二目标对象所在的图像中,与第二目标对象进行交互,和/或,第二目标对象突破所在图像的限制,融入到第一目标对象所在的图像中,与第一目标对象进行交互的效果,使得不同图像中的目标对象产生了交互,增强了视频中目标对象的互动性,扩展了视频显示方式。
接下来将以视频通话场景为例,对本发明实施例提供的视频显示方法进行示意性说明,图11是本发明实施例提供的另一种视频显示方法的流程图,如图11所示,该方法包括如下步骤:
1、开始。
2、摄像头录制一个视频帧,作为第一视频帧。
3、将第一视频帧划分为左右相等的两个部分,一部分设置为第一显示子图,一部分设置为第一隐藏子图。
4、检测第一视频帧中的人体轮廓。
5、计算拍摄第一视频帧时人体到摄像头的距离,得到第一距离。
6、裁剪出第一视频帧中的人体图像,得到第三目标对象图像。
7、通过网络通信获取第二终端处理后的第二视频帧。
其中,第二视频帧为第二终端拍摄的一个视频帧,处理后的第二视频帧被划分为左右相等的两个部分,一部分设置为第二显示子图,另一部分设置为第二隐藏子图,且第二显示子图与第一显示子图的位置相反。
8、将第一显示子图和第二显示子图进行拼接,得到拼接图像。
9、获取第四目标对象图像和第二距离。
其中,第四目标对象图像是第二视频帧中的人体图像,第二距离为第二终端拍摄第二视频帧时,所拍摄的人体距第二终端的摄像头的距离。第四目标对象图像可以由第一终端基于第二视频帧中的人体轮廓,从第二视频帧中获取得到,也可以通过通信网络,从第二终端获取得到。
10、在拼接图像中分别绘制第三目标对象图像和第四目标对象图像。
11、判断第三目标对象图像和第四目标对象图像是否重叠。
12、若重叠,则在重叠区域显示第一距离和第二距离中较小的距离对应的目标对象图像。
13、若不重叠,结束。
需要说明的是,在视频通话场景中,本发明实施例的视频显示方法由第一终端和第二终端配合完成,但第一终端和第二终端的工作流程是一致的,本发明实施例仅以第一终端的工作流程为例进行说明。另外,第一视频帧和第二视频帧可以同时获取,也可以先后获取,本发明实施例对第一视频帧和第二视频帧的获取时机不做限定。
图12是本发明实施例提供的一种视频显示装置的结构框图,如图12所示,该装置包括获取模块1201、确定模块1202、叠加模块1203和显示模块1204。
第一获取模块1201,用于获取第一视频帧和第二视频帧,该第一视频帧包括第一目标对象,该第二视频帧包括第二目标对象;
确定模块1202,用于确定该第一视频帧的第一显示子图和第一隐藏子图,以及该第二视频帧的第二显示子图和第二隐藏子图;
叠加模块1203,用于在该第二显示子图上叠加第一目标对象图像,和/或,在该第一显示子图上叠加第二目标对象图像,该第一目标对象图像为该第一目标对象在该第一隐藏子图中的图像,该第二目标对象为该第二目标对象在该第二隐藏子图中的图像;
显示模块1204,用于在显示屏幕的对应位置显示叠加后的该第一显示子图和该第二显示子图。
可选地,该第一获取模块1201用于:
在该第一终端和第二终端建立视频通话连接之后,获取该第一终端拍摄的该第一视频帧;
通过该视频通话连接,获取该第二终端拍摄的该第二视频帧。
可选地,该装置还包括第二获取模块,该第二获取模块用于:
基于该第一目标对象在该第一隐藏子图中的轮廓,从该第一隐藏子图中获取该第一目标对象图像,和/或,基于该第二目标对象在该第二隐藏子图中轮廓,从该第二隐藏子图中获取该第二目标对象图像;
或者,
基于该第一目标对象在该第一隐藏子图中的轮廓,从该第一隐藏子图中获取该第一目标对象图像,和/或,接收目标电子设备发送的所述第二目标对象图像,所述目标电子设备为所述第二视频帧的发送端,且所述第二目标对象图像是所述目标电子设备基于所述第二目标对象在所述第二隐藏子图中的轮廓,从所述第二隐藏子图中获取得到。
可选地,该装置还包括:
第三获取模块,用于获取第三目标对象图像和第四目标对象图像,该第三目标对象图像是该第一目标对象在该第一视频帧中的图像,该第四目标对象图像是该第二目标对象在该第二视频帧中的图像;
该叠加模块1203用于:
将该第一显示子图和该第二显示子图进行拼接,得到拼接图像;
在该拼接图像中该第一显示子图和该第二显示子图的对应位置,按照预设顺序叠加该第三目标对象图像和该第四目标对象图像;
该显示模块1204用于:
在显示屏幕上显示叠加后的该拼接图像。
可选地,该第三获取模块用于:
基于该第一目标对象在该第一视频帧中的轮廓,从该第一视频帧中获取该第三目标对象图像,以及基于该第二目标对象在该第二视频帧中的轮廓,从该第二视频帧中获取该第四目标对象图像;
或者,
基于该第一目标对象在该第一视频帧中的轮廓,从该第一视频帧中获取该第三目标对象图像,以及接收目标电子设备发送的所述第四目标对象图像,所述目标电子设备为所述第二视频帧的发送端,且所述第四目标对象图像是所述目标电子设备基于所述第二目标对象在所述第二视频帧中的轮廓,从所述第二视频帧中获取得到。
可选地,该第一视频帧为该第一终端在与第二终端建立视频通话连接之后拍摄的视频帧,该第二视频帧为该第二终端拍摄的视频帧;
该装置还包括:
第四获取模块,用于获取第一距离和第二距离,该第一距离是该第一终端拍摄该第一视频帧时,该第一目标对象距该第一终端的摄像头的距离,该第二距离是该第二终端拍摄该第二视频帧时,该第二目标对象距该第二终端的摄像头的距离;
该叠加模块1203用于:
若该第一距离小于该第二距离,则依次叠加该第三目标对象图像和该第四目标对象图像;
若该第一距离大于该第二距离,则依次叠加该第四目标对象图像和该第三目标对象图像;
若该第一距离等于该第二距离,则依次叠加该第三目标对象图像和该第四目标对象图像,或者,依次叠加该第四目标对象图像和该第三目标对象图像。
可选地,该第一显示子图是该第一视频帧的左半部分图像,该第二显示子图是该第二视频帧的右半部分图像;或者,该第一显示子图是该第一视频帧的右半部分图像,该第二显示子图是该第二视频帧的左半部分图像。
本发明实施例中,可以获取第一视频帧和第二视频帧,然后确定第一视频帧的第一显示子图和第一隐藏子图,以及第二视频帧的第二显示子图和第二隐藏子图,并在第二显示子图上叠加第一目标对象图像,和/或,在第一显示子图上叠加第二目标对象图像,而后,在显示屏幕的对应位置显示叠加后的第一显示子图和第二显示子图。由于第一目标对象图像为第一目标对象在第一隐藏子图中的图像,第二目标对象为第二目标对象在第二隐藏子图中的图像,因此,通过在第一显示子图上叠加第二目标对象图像,可以使得叠加后的第一显示子图中既包括第一显示子图的背景和其中的第一目标对象,也包括部分第二目标对象,通过在第二显示子图上叠加第一目标对象图像,可以使得叠加后的第二显示子图既包括第二显示子图的背景和其中的第二目标对象,也包括部分第一目标对象,这样,在视觉上即可产生第一目标对象突破所在图像的限制,融入到第二目标对象所在的图像中,与第二目标对象进行交互,和/或,第二目标对象突破所在图像的限制,融入到第一目标对象所在的图像中,与第一目标对象进行交互的效果,使得不同图像中的目标对象产生了交互,增强了视频中目标对象的互动性,扩展了视频显示方式。
需要说明的是:上述实施例提供的视频显示装置在显示视频图像时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的视频显示装置与视频显示方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图13是本发明实施例提供的一种终端1300的结构框图。该终端1300可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1300还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端1300包括有:处理器1301和存储器1302。
处理器1301可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1301可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1301也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1301可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1301还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1302可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1302还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1302中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1301所执行以实现本申请中方法实施例提供的视频显示方法。
在一些实施例中,终端1300还可选包括有:外围设备接口1303和至少一个外围设备。处理器1301、存储器1302和外围设备接口1303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1303相连。具体地,外围设备包括:射频电路1304、触摸显示屏1305、摄像头1306、音频电路1307、定位组件1308和电源1309中的至少一种。
外围设备接口1303可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1301和存储器1302。在一些实施例中,处理器1301、存储器1302和外围设备接口1303被集成在同一芯片或电路板上;在一些其他实施例中,处理器1301、存储器1302和外围设备接口1303中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1304用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1304将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1304包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1304还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1305用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1305是触摸显示屏时,显示屏1305还具有采集在显示屏1305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1301进行处理。此时,显示屏1305还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1305可以为一个,设置终端1300的前面板;在另一些实施例中,显示屏1305可以为至少两个,分别设置在终端1300的不同表面或呈折叠设计;在再一些实施例中,显示屏1305可以是柔性显示屏,设置在终端1300的弯曲表面上或折叠面上。甚至,显示屏1305还可以设置成非矩形的不规则图形,也即异形屏。显示屏1305可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1306用于采集图像或视频。可选地,摄像头组件1306包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1306还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1307可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1301进行处理,或者输入至射频电路1304以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1300的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1301或射频电路1304的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1307还可以包括耳机插孔。
定位组件1308用于定位终端1300的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件1308可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1309用于为终端1300中的各个组件进行供电。电源1309可以是交流电、直流电、一次性电池或可充电电池。当电源1309包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1300还包括有一个或多个传感器1310。该一个或多个传感器1310包括但不限于:加速度传感器1311、陀螺仪传感器1312、压力传感器1313、指纹传感器1314、光学传感器1315以及接近传感器1316。
加速度传感器1311可以检测以终端1300建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1311可以用于检测重力加速度在三个坐标轴上的分量。处理器1301可以根据加速度传感器1311采集的重力加速度信号,控制触摸显示屏1305以横向视图或纵向视图进行用户界面的显示。加速度传感器1311还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1312可以检测终端1300的机体方向及转动角度,陀螺仪传感器1312可以与加速度传感器1311协同采集用户对终端1300的3D动作。处理器1301根据陀螺仪传感器1312采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1313可以设置在终端1300的侧边框和/或触摸显示屏1305的下层。当压力传感器1313设置在终端1300的侧边框时,可以检测用户对终端1300的握持信号,由处理器1301根据压力传感器1313采集的握持信号进行左右手识别或快捷操作。当压力传感器1313设置在触摸显示屏1305的下层时,由处理器1301根据用户对触摸显示屏1305的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1314用于采集用户的指纹,由处理器1301根据指纹传感器1314采集到的指纹识别用户的身份,或者,由指纹传感器1314根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1301授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1314可以被设置终端1300的正面、背面或侧面。当终端1300上设置有物理按键或厂商Logo时,指纹传感器1314可以与物理按键或厂商Logo集成在一起。
光学传感器1315用于采集环境光强度。在一个实施例中,处理器1301可以根据光学传感器1315采集的环境光强度,控制触摸显示屏1305的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏1305的显示亮度;当环境光强度较低时,调低触摸显示屏1305的显示亮度。在另一个实施例中,处理器1301还可以根据光学传感器1315采集的环境光强度,动态调整摄像头组件1306的拍摄参数。
接近传感器1316,也称距离传感器,通常设置在终端1300的前面板。接近传感器1316用于采集用户与终端1300的正面之间的距离。在一个实施例中,当接近传感器1316检测到用户与终端1300的正面之间的距离逐渐变小时,由处理器1301控制触摸显示屏1305从亮屏状态切换为息屏状态;当接近传感器1316检测到用户与终端1300的正面之间的距离逐渐变大时,由处理器1301控制触摸显示屏1305从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图13中示出的结构并不构成对终端1300的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在本实施例中,终端还包括有一个或者一个以上的程序,这一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行,所述一个或者一个以上程序包含用于进行本发明实施例提供的上述视频显示方法的指令。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (15)

1.一种视频显示方法,其特征在于,应用于第一终端,所述方法包括:
获取第一视频帧和第二视频帧,所述第一视频帧包括第一目标对象,所述第二视频帧包括第二目标对象;
确定所述第一视频帧的第一显示子图和第一隐藏子图,以及所述第二视频帧的第二显示子图和第二隐藏子图;
在所述第二显示子图上叠加第一目标对象图像,和/或,在所述第一显示子图上叠加第二目标对象图像,所述第一目标对象图像为所述第一目标对象在所述第一隐藏子图中的图像,所述第二目标对象图像为所述第二目标对象在所述第二隐藏子图中的图像;
在显示屏幕的对应位置显示叠加后的所述第一显示子图和所述第二显示子图。
2.如权利要求1所述的方法,其特征在于,所述获取第一视频帧和第二视频帧,包括:
在所述第一终端和第二终端建立视频通话连接之后,获取所述第一终端拍摄的所述第一视频帧;
通过所述视频通话连接,获取所述第二终端拍摄的所述第二视频帧。
3.如权利要求1所述的方法,其特征在于,所述在所述第二显示子图上叠加第一目标对象图像,和/或,在所述第一显示子图上叠加第二目标对象图像之前,还包括:
基于所述第一目标对象在所述第一隐藏子图中的轮廓,从所述第一隐藏子图中获取所述第一目标对象图像,和/或,基于所述第二目标对象在所述第二隐藏子图中的轮廓,从所述第二隐藏子图中获取所述第二目标对象图像;
或者,
基于所述第一目标对象在所述第一隐藏子图中的轮廓,从所述第一隐藏子图中获取所述第一目标对象图像,和/或,接收目标电子设备发送的所述第二目标对象图像,所述目标电子设备为所述第二视频帧的发送端,且所述第二目标对象图像是所述目标电子设备基于所述第二目标对象在所述第二隐藏子图中的轮廓,从所述第二隐藏子图中获取得到。
4.如权利要求1所述的方法,其特征在于,所述在所述第二显示子图上叠加第一目标对象图像,和/或,在所述第一显示子图上叠加第二目标对象图像之前,还包括:
获取第三目标对象图像和第四目标对象图像,所述第三目标对象图像是所述第一目标对象在所述第一视频帧中的图像,所述第四目标对象图像是所述第二目标对象在所述第二视频帧中的图像;
所述在所述第二显示子图上叠加第一目标对象图像,和/或,在所述第一显示子图上叠加第二目标对象图像,包括:
将所述第一显示子图和所述第二显示子图进行拼接,得到拼接图像;
在所述拼接图像中所述第一显示子图和所述第二显示子图的对应位置,按照预设顺序叠加所述第三目标对象图像和所述第四目标对象图像;
所述在显示屏幕的对应位置显示叠加后的所述第一显示子图和所述第二显示子图,包括:
在显示屏幕上显示叠加后的所述拼接图像。
5.如权利要求4所述的方法,其特征在于,所述获取第三目标对象图像和第四目标对象图像,包括:
基于所述第一目标对象在所述第一视频帧中的轮廓,从所述第一视频帧中获取所述第三目标对象图像,以及基于所述第二目标对象在所述第二视频帧中的轮廓,从所述第二视频帧中获取所述第四目标对象图像;
或者,
基于所述第一目标对象在所述第一视频帧中的轮廓,从所述第一视频帧中获取所述第三目标对象图像,以及接收目标电子设备发送的所述第四目标对象图像,所述目标电子设备为所述第二视频帧的发送端,且所述第四目标对象图像是所述目标电子设备基于所述第二目标对象在所述第二视频帧中的轮廓,从所述第二视频帧中获取得到。
6.如权利要求4所述的方法,其特征在于,所述第一视频帧为所述第一终端在与第二终端建立视频通话连接之后拍摄的视频帧,所述第二视频帧为所述第二终端拍摄的视频帧;
所述按照预设顺序叠加所述第三目标对象图像和所述第四目标对象图像之前,还包括:
获取第一距离和第二距离,所述第一距离是所述第一终端拍摄所述第一视频帧时,所述第一目标对象距所述第一终端的摄像头的距离,所述第二距离是所述第二终端拍摄所述第二视频帧时,所述第二目标对象距所述第二终端的摄像头的距离;
所述按照预设顺序叠加所述第三目标对象图像和所述第四目标对象图像,包括:
若所述第一距离小于所述第二距离,则依次叠加所述第三目标对象图像和所述第四目标对象图像;
若所述第一距离大于所述第二距离,则依次叠加所述第四目标对象图像和所述第三目标对象图像;
若所述第一距离等于所述第二距离,则依次叠加所述第三目标对象图像和所述第四目标对象图像,或者,依次叠加所述第四目标对象图像和所述第三目标对象图像。
7.如权利要求1-6任一所述的方法,其特征在于,所述第一显示子图是所述第一视频帧的左半部分图像,所述第二显示子图是所述第二视频帧的右半部分图像;或者,所述第一显示子图是所述第一视频帧的右半部分图像,所述第二显示子图是所述第二视频帧的左半部分图像。
8.一种视频显示装置,其特征在于,应用于第一终端,所述装置包括:
第一获取模块,用于获取第一视频帧和第二视频帧,所述第一视频帧包括第一目标对象,所述第二视频帧包括第二目标对象;
确定模块,用于确定所述第一视频帧的第一显示子图和第一隐藏子图,以及所述第二视频帧的第二显示子图和第二隐藏子图;
叠加模块,用于在所述第二显示子图上叠加第一目标对象图像,和/或,在所述第一显示子图上叠加第二目标对象图像,所述第一目标对象图像为所述第一目标对象在所述第一隐藏子图中的图像,所述第二目标对象图像为所述第二目标对象在所述第二隐藏子图中的图像;
显示模块,用于在显示屏幕的对应位置显示叠加后的所述第一显示子图和所述第二显示子图。
9.如权利要求8所述的装置,其特征在于,所述第一获取模块用于:
在所述第一终端和第二终端建立视频通话连接之后,获取所述第一终端拍摄的所述第一视频帧;
通过所述视频通话连接,获取所述第二终端拍摄的所述第二视频帧。
10.如权利要求8或9所述的装置,其特征在于,所述装置还包括第二获取模块,所述第二获取模块用于:
基于所述第一目标对象在所述第一隐藏子图中的轮廓,从所述第一隐藏子图中获取所述第一目标对象图像,和/或,基于所述第二目标对象在所述第二隐藏子图中的轮廓,从所述第二隐藏子图中获取所述第二目标对象图像;
或者,
基于所述第一目标对象在所述第一隐藏子图中的轮廓,从所述第一隐藏子图中获取所述第一目标对象图像,和/或,接收目标电子设备发送的所述第二目标对象图像,所述目标电子设备为所述第二视频帧的发送端,且所述第二目标对象图像是所述目标电子设备基于所述第二目标对象在所述第二隐藏子图中的轮廓,从所述第二隐藏子图中获取得到。
11.如权利要求8或9所述的装置,其特征在于,所述装置还包括:
第三获取模块,用于获取第三目标对象图像和第四目标对象图像,所述第三目标对象图像是所述第一目标对象在所述第一视频帧中的图像,所述第四目标对象图像是所述第二目标对象在所述第二视频帧中的图像;
所述叠加模块用于:
将所述第一显示子图和所述第二显示子图进行拼接,得到拼接图像;
在所述拼接图像中所述第一显示子图和所述第二显示子图的对应位置,按照预设顺序叠加所述第三目标对象图像和所述第四目标对象图像;
所述显示模块用于:
在显示屏幕上显示叠加后的所述拼接图像。
12.如权利要求11所述的装置,其特征在于,所述第三获取模块用于:
基于所述第一目标对象在所述第一视频帧中的轮廓,从所述第一视频帧中获取所述第三目标对象图像,以及基于所述第二目标对象在所述第二视频帧中的轮廓,从所述第二视频帧中获取所述第四目标对象图像;
或者,
基于所述第一目标对象在所述第一视频帧中的轮廓,从所述第一视频帧中获取所述第三目标对象图像,以及接收目标电子设备发送的所述第四目标对象图像,所述目标电子设备为所述第二视频帧的发送端,且所述第四目标对象图像是所述目标电子设备基于所述第二目标对象在所述第二视频帧中的轮廓,从所述第二视频帧中获取得到。
13.如权利要求11所述的装置,其特征在于,所述第一视频帧为所述第一终端在与第二终端建立视频通话连接之后拍摄的视频帧,所述第二视频帧为所述第二终端拍摄的视频帧;
所述装置还包括:
第四获取模块,用于获取第一距离和第二距离,所述第一距离是所述第一终端拍摄所述第一视频帧时,所述第一目标对象距所述第一终端的摄像头的距离,所述第二距离是所述第二终端拍摄所述第二视频帧时,所述第二目标对象距所述第二终端的摄像头的距离;
所述叠加模块用于:
若所述第一距离小于所述第二距离,则依次叠加所述第三目标对象图像和所述第四目标对象图像;
若所述第一距离大于所述第二距离,则依次叠加所述第四目标对象图像和所述第三目标对象图像;
若所述第一距离等于所述第二距离,则依次叠加所述第三目标对象图像和所述第四目标对象图像,或者,依次叠加所述第四目标对象图像和所述第三目标对象图像。
14.一种终端,其特征在于,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1-7任一项所述的视频显示方法。
15.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述指令、所述程序、所述代码集或所述指令集由处理器加载并执行以实现如权利要求1-7任一项所述的视频显示方法。
CN201810992917.2A 2018-08-28 2018-08-28 视频显示方法及装置 Active CN108965769B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810992917.2A CN108965769B (zh) 2018-08-28 2018-08-28 视频显示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810992917.2A CN108965769B (zh) 2018-08-28 2018-08-28 视频显示方法及装置

Publications (2)

Publication Number Publication Date
CN108965769A CN108965769A (zh) 2018-12-07
CN108965769B true CN108965769B (zh) 2020-02-14

Family

ID=64474740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810992917.2A Active CN108965769B (zh) 2018-08-28 2018-08-28 视频显示方法及装置

Country Status (1)

Country Link
CN (1) CN108965769B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111447389B (zh) * 2020-04-22 2022-11-04 广州酷狗计算机科技有限公司 视频生成方法、装置、终端及存储介质
CN111970524B (zh) * 2020-08-14 2022-03-04 北京字节跳动网络技术有限公司 交互类直播连麦的控制方法、装置、系统、设备及介质
CN113408484A (zh) * 2021-07-14 2021-09-17 广州繁星互娱信息科技有限公司 画面展示方法、装置、终端及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101919234A (zh) * 2008-01-08 2010-12-15 索尼爱立信移动通讯有限公司 利用捕获的背景图像拍照
CN105407313A (zh) * 2015-10-28 2016-03-16 掌赢信息科技(上海)有限公司 一种视频通话方法、设备和系统
CN106027900A (zh) * 2016-06-22 2016-10-12 维沃移动通信有限公司 一种拍照方法及移动终端
CN107404617A (zh) * 2017-07-21 2017-11-28 努比亚技术有限公司 一种拍摄方法及终端、计算机存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4716083B2 (ja) * 2004-07-27 2011-07-06 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
KR20170035608A (ko) * 2015-09-23 2017-03-31 삼성전자주식회사 화상 통화 시스템, 영상표시장치, 영상표시장치의 구동 방법, 실감 영상 생성 방법 및 컴퓨터 판독가능 기록매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101919234A (zh) * 2008-01-08 2010-12-15 索尼爱立信移动通讯有限公司 利用捕获的背景图像拍照
CN105407313A (zh) * 2015-10-28 2016-03-16 掌赢信息科技(上海)有限公司 一种视频通话方法、设备和系统
CN106027900A (zh) * 2016-06-22 2016-10-12 维沃移动通信有限公司 一种拍照方法及移动终端
CN107404617A (zh) * 2017-07-21 2017-11-28 努比亚技术有限公司 一种拍摄方法及终端、计算机存储介质

Also Published As

Publication number Publication date
CN108965769A (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
CN110502954B (zh) 视频分析的方法和装置
CN109167950B (zh) 视频录制方法、视频播放方法、装置、设备及存储介质
CN108401124B (zh) 视频录制的方法和装置
CN110992493B (zh) 图像处理方法、装置、电子设备及存储介质
WO2021008456A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN109191549B (zh) 显示动画的方法及装置
CN108093268B (zh) 进行直播的方法和装置
CN109348247B (zh) 确定音视频播放时间戳的方法、装置及存储介质
CN111065001B (zh) 视频制作的方法、装置、设备及存储介质
CN111918090B (zh) 直播画面显示方法、装置、终端及存储介质
CN110533585B (zh) 一种图像换脸的方法、装置、系统、设备和存储介质
CN109302632B (zh) 获取直播视频画面的方法、装置、终端及存储介质
CN111447389B (zh) 视频生成方法、装置、终端及存储介质
CN108965769B (zh) 视频显示方法及装置
CN110839174A (zh) 图像处理的方法、装置、计算机设备以及存储介质
CN108848405B (zh) 图像处理方法和装置
CN111586444B (zh) 视频处理方法、装置、电子设备及存储介质
CN110941375A (zh) 对图像进行局部放大的方法、装置及存储介质
CN110662105A (zh) 动画文件的生成方法、装置及存储介质
CN111083513B (zh) 直播画面处理方法、装置、终端及计算机可读存储介质
CN111083526B (zh) 视频转场方法、装置、计算机设备及存储介质
CN110189348B (zh) 头像处理方法、装置、计算机设备及存储介质
CN110807769A (zh) 图像显示控制方法及装置
CN112822544A (zh) 视频素材文件生成方法、视频合成方法、设备及介质
CN112738606A (zh) 音频文件的处理方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant