CN114816286A - 拼接屏同步显示方法、电子设备和拼接屏系统 - Google Patents

拼接屏同步显示方法、电子设备和拼接屏系统 Download PDF

Info

Publication number
CN114816286A
CN114816286A CN202110088553.7A CN202110088553A CN114816286A CN 114816286 A CN114816286 A CN 114816286A CN 202110088553 A CN202110088553 A CN 202110088553A CN 114816286 A CN114816286 A CN 114816286A
Authority
CN
China
Prior art keywords
screen
sub
time
frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110088553.7A
Other languages
English (en)
Inventor
彭洪彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110088553.7A priority Critical patent/CN114816286A/zh
Priority to PCT/CN2021/140532 priority patent/WO2022156472A1/zh
Publication of CN114816286A publication Critical patent/CN114816286A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请提供一种拼接屏同步显示方法、电子设备和拼接屏系统,涉及显示技术领域,其中,拼接屏系统包括具有拍摄功能的电子设备和包含多个子屏幕的拼接屏,该方法包括:电子设备在向各子屏幕传输视频流的过程中,在视频流的多个目标视频帧上添加时间标记;每个子屏幕在显示目标视频帧时同步显示对应的时间标记;接着,电子设备拍摄拼接屏的屏幕图像,根据屏幕图像中各子屏幕显示的时间标记确定各子屏幕的延迟送显时间,然后向各子屏幕发送对应的延迟送显时间;各子屏幕接收到延迟送显时间后,对待显示的视频帧延迟延迟送显时间后进行显示。本申请提供的技术方案可以提高拼接屏中各子屏幕显示视频帧图像的同步性,从而可以提升用户的观看体验。

Description

拼接屏同步显示方法、电子设备和拼接屏系统
技术领域
本申请涉及显示技术领域,尤其涉及一种拼接屏同步显示方法、电子设备和拼接屏系统。
背景技术
拼接屏是将多个子屏幕拼接在一起形成的一个大屏幕,在显示一幅图像时,每个子屏幕可以显示该幅图像的一部分,各个子屏幕显示的图像拼接在一起可以形成该副图像的完整内容。基于上述特性,拼接屏可以将高清视频源放大显示,因而在多人观看的场景下,拼接屏可以为用户提供更佳的视觉体验。
拼接屏在显示视频帧图像时,通常是各个子屏幕并行处理各自显示的图像内容。由于各子屏幕的处理性能和数据传输时延等存在差别,在显示同一帧图像时可能会存在显示不同步的问题,这样就会影响用户的观看体验。
发明内容
有鉴于此,本申请提供一种拼接屏同步显示方法、电子设备和拼接屏系统,用于提高拼接屏中各子屏幕显示视频帧图像的同步性,从而提升用户的观看体验。
为了实现上述目的,第一方面,本申请实施例提供一种接屏同步显示方法,应用于拼接屏系统,拼接屏系统包括具有拍摄功能的电子设备和包含多个子屏幕的拼接屏,方法包括:
电子设备在向各子屏幕传输视频流的过程中,在视频流的多个目标视频帧上添加时间标记;
每个子屏幕在显示目标视频帧时同步显示对应的时间标记;
电子设备拍摄拼接屏的屏幕图像,根据屏幕图像中各子屏幕显示的时间标记确定各子屏幕的延迟送显时间,然后向各子屏幕发送对应的延迟送显时间;
各子屏幕接收到延迟送显时间后,对待显示的视频帧延迟延迟送显时间后进行显示。
本实施例提供的拼接屏同步显示方法,电子设备对多个目标视频帧添加时间标记,拼接屏在显示这些目标视频帧时同步显示目标视频帧的时间标记;在拼接屏显示这些目标视频帧的过程中,电子设备通过摄像头拍摄拼接屏的屏幕图像,然后根据拍摄的屏幕图像中各子屏幕显示的时间标记确定各子屏幕的延迟送显时间;电子设备将延迟送显时间发送给各子屏幕后,各子屏幕根据对应的延迟送显时间对视频帧进行延迟送显,这样拼接屏中各子屏幕在显示后续的视频帧时,可以实现同步显示,从而就可以提升用户的观看体验。
在第一方面的一种可能的实施方式中,电子设备的拍摄帧率高于各子屏幕的屏幕刷新率,所述拍摄拼接屏的屏幕图像,根据屏幕图像中各子屏幕显示的时间标记确定各子屏幕的延迟送显时间,包括:
针对拼接屏连续拍摄多帧屏幕图像;
对于每个子屏幕,根据子屏幕在多帧屏幕图像中发生视频帧切换时涉及的屏幕图像确定子屏幕的目标屏幕图像,并识别目标屏幕图像中子屏幕显示的时间标记;
根据识别出的各子屏幕的时间标记、各子屏幕的目标屏幕图像在拍摄的多帧屏幕图像中的帧号和拍摄帧率,确定各子屏幕的延迟送显时间。
上述实施方式中,通过采用高拍摄帧率的摄像头采集多帧屏幕图像,根据多帧屏幕图像中各子屏幕显示的时间标记确定各子屏幕的延迟送显时间,可以提高确定的延迟送显时间的精度。
在第一方面的一种可能的实施方式中,时间标记为时间戳,相邻两目标视频帧的时间戳之间的时长为视频流的视频帧率对应的时间基;根据识别出的各子屏幕的时间标记、各子屏幕的目标屏幕图像在拍摄的多帧屏幕图像中的帧号和拍摄帧率,确定各子屏幕的延迟送显时间,包括:
采用如下公式确定各子屏幕的延迟送显时间:
Figure BDA0002911573480000021
其中,ti表示识别的第i个子屏幕的时间戳,ni表示第i个子屏幕的目标屏幕图像在拍摄的多帧屏幕图像中的帧号,f表示拍摄帧率,Ti表示第i个子屏幕的延迟送显时间,i为小于或等于M的正整数,M为拼接屏包含的子屏幕的数量,ni为大于或等于0的整数。
上述实施方式中,时间标记采用时间戳,可以方便延迟送显时间的计算。
在第一方面的一种可能的实施方式中,目标屏幕图像为子屏幕在多帧屏幕图像中首次发生视频帧切换后的首帧屏幕图像。这样在基于一个视频帧切换周期内采集的屏幕图像确定各子屏幕的目标屏幕图像时,可以降低算法复杂度。
在第一方面的一种可能的实施方式中,电子设备连续拍摄的屏幕图像的帧数大于或等于电子设备在任一子屏幕的一个视频帧显示时间内所能拍摄到的屏幕图像的最大帧数。
在第一方面的一种可能的实施方式中,每个子屏幕在屏幕边缘区域中的目标区域显示时间标记。这样可以提升图像显示效果,并且在识别时间标记时,电子设备可以针对目标区域进行识别,从而可以提高识别效率。
第二方面,本申请实施例提供一种拼接屏系统,包括:具有拍摄功能的电子设备和包含多个子屏幕的拼接屏,其中:
电子设备用于:在向各子屏幕传输视频流的过程中,在视频流的多个目标视频帧上添加时间标记;
子屏幕用于:在显示目标视频帧时同步显示对应的时间标记;
电子设备还用于:拍摄拼接屏的屏幕图像,根据屏幕图像中各子屏幕显示的时间标记确定各子屏幕的延迟送显时间,然后向各子屏幕发送对应的延迟送显时间;
子屏幕还用于:接收到延迟送显时间后,对待显示的视频帧延迟延迟送显时间后进行显示。
在第二方面的一种可能的实施方式中,电子设备具体用于:
针对拼接屏连续拍摄多帧屏幕图像;
对于每个子屏幕,根据子屏幕在多帧屏幕图像中发生视频帧切换时涉及的屏幕图像确定子屏幕的目标屏幕图像,并识别目标屏幕图像中子屏幕显示的时间标记;
根据识别出的各子屏幕的时间标记、各子屏幕的目标屏幕图像在拍摄的多帧屏幕图像中的帧号和拍摄帧率,确定各子屏幕的延迟送显时间。
在第二方面的一种可能的实施方式中,时间标记为时间戳,相邻两目标视频帧的时间戳之间的时长为视频流的视频帧率对应的时间基;电子设备具体用于:
采用如下公式确定各子屏幕的延迟送显时间:
Figure BDA0002911573480000031
其中,ti表示识别的第i个子屏幕的时间戳,ni表示第i个子屏幕的目标屏幕图像在拍摄的多帧屏幕图像中的帧号,f表示拍摄帧率,Ti表示第i个子屏幕的延迟送显时间,i为小于或等于M的正整数,M为拼接屏包含的子屏幕的数量,ni为大于或等于0的整数。
在第二方面的一种可能的实施方式中,目标屏幕图像为子屏幕在多帧屏幕图像中首次发生视频帧切换后的首帧屏幕图像。
在第二方面的一种可能的实施方式中,电子设备连续拍摄的屏幕图像的帧数大于或等于电子设备在任一子屏幕的一个视频帧显示时间内所能拍摄到的屏幕图像的最大帧数。
在第二方面的一种可能的实施方式中,每个子屏幕在屏幕边缘区域中的目标区域显示时间标记。
第三方面,本申请实施例提供一种电子设备,包括:存储器和处理器,存储器用于存储计算机程序;处理器用于在调用计算机程序时执行上述第一方面中电子设备所执行的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述第一方面中电子设备所执行的方法。
第五方面,本申请实施例提供一种计算机程序产品,当计算机程序产品在电子设备设备上运行时,使得电子设备执行上述第一方面中电子设备所执行的方法。
第六方面,本申请实施例提供一种芯片系统,包括处理器,所述处理器与存储器耦合,所述处理器执行存储器中存储的计算机程序,以实现上述第一方面中电子设备所执行的方法。其中,所述芯片系统可以为单个芯片,或者多个芯片组成的芯片模组。
可以理解的是,上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
图1为本申请实施例提供的拼接屏系统的结构示意图;
图2为本申请实施例提供的图像分割示意图;
图3为本申请实施例提供的拼接屏界面显示示意图;
图4为本申请实施例提供的主机的功能结构示意图;
图5为本申请实施例提供的子屏幕的功能结构示意图;
图6为本申请实施例提供的拼接屏同步显示方法的流程示意图;
图7为本申请实施例提供的主机和拼接屏的模块交互过程示意图;
图8为本申请实施例提供的拼接屏中各子屏幕的时间戳显示位置示意图;
图9为本申请实施例提供的时间戳识别结果示意图;
图10为本申请实施例提供的延迟送显时间确定过程示意图;
图11为图10中各子屏幕进行延迟送显后的结果示意图;
图12为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。本申请实施例的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
首先对本申请实施例涉及的拼接屏系统进行说明。请参阅图1,图1为本申请实施例提供的拼接屏系统的结构示意图。
如图1所示,拼接屏系统可以包括主机100和拼接屏200,主机100与拼接屏200建立连接后,可以向拼接屏200发送视频流,拼接屏200可以对接收的视频流进行显示。
主机100和拼接屏200之间建立通信连接的方式可以是有线方式,例如:电缆;也可以是无线方式,例如:无线保真(wireless fidelity,Wi-Fi)网络,以提高连接便利性,本实施例中以无线连接为例进行示例性说明。
主机100可以是电视盒、手机或平板等电子设备。
拼接屏200可以包括阵列排列的多个子屏幕,子屏幕的数量可以根据需要进行设置,图1中以四个子屏幕为例进行示例性说明。每个子屏幕可以包括处理单元和显示屏,处理单元可以对接收的视频流进行解析和图像处理,然后输送到显示屏进行显示。
其中,处理单元可以包括应用处理器(application processor,AP)、调制解调处理器、图形处理器(sraphics processing unit,GPU)、图像信号处理器(image signalprocessor,ISP)、控制器、存储器、视频编解码器和/或数字信号处理器(digital signalprocessor,DSP)等。其中,不同的处理单元可以是独立的器件,也可以集成在一起。
显示屏可以可以采用液晶显示屏(liquid crystal display,LCD)、有机发光二极管(organic light-emitting diode,OLED)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode,AMOLED)、柔性发光二极管(flex light-emitting diode,FLED)、Mini LED、Micro LED、量子点发光二极管(quantumdot light emitting diodes,QLED)等。
在显示视频帧图像时,各个子屏幕可以显示一帧图像的不同部分,各子屏幕显示的图像内容拼接在一起形成一帧图像的完整内容。
对应的,在显示一帧图像时,需要先对该帧图像进行图像分割。具体的,可以根据子屏幕的位置进行图像分割,图2为本申请实施例提供的图像分割示意图,如图2所示,一个800×600像素的视频帧图像,每个子屏幕显示400×300像素的图像内容,位于左上角的子屏幕1显示该帧图像的S1部分,位于右上角的子屏幕2显示该帧图像的S2部分,位于左下角的子屏幕3显示该帧图像的S3部分,位于右下角的子屏幕4显示该帧图像的S4部分。
在具体实现时,可以在主机100侧进行图像分割,也可以在拼接屏200侧进行图像分割,具体可以根据需要进行选择,本实施例对此不做特别限定。
其中,如果在主机100侧进行图像分割,主机100可以在建立连接时获取各子屏幕的位置和地址信息,在发送视频数据的过程中,可以根据各子屏幕的位置对每帧图像进行图像分割,然后将每部分图像内容打包后,根据各子屏幕的地址信息分别向每个子屏幕发送对应的数据包;或者也可以在同一数据包中标记分割后的各部分图像内容与子屏幕的对应关系,然后向拼接屏200中的各子屏幕组播或广播数据包,各子屏幕收到数据包后,可以根据该对应关系提取对应的图像内容。
如果在拼接屏200端进行图像分割,主机100可以向拼接屏200组播或广播未经过图像分割的视频帧,各子屏幕收到后,可以根据自身的位置从收到的视频帧中分割出对应的图像内容。
可以理解的是,如果视频帧较大,主机100在组播或广播一个视频帧时,也可以把视频帧拆分为多个数据包发送。
另外,本实施例中,主机100也可以通过中间设备与子屏幕通信,例如,拼接屏200也可以包括一主控设备,主控设备分别与每个子屏幕电连接,主机100可以与主控设备建立通信连接,以实现与子屏幕的数据传输。其中,主控设备可以集成在拼接屏200中,也可以独立于拼接屏200之外;图像分割过程也可以在主控设备中执行,即主控设备可以在接收到主机100发送的视频帧后,根据各子屏幕的位置对该视频帧进行图像分割,然后根据各子屏幕的地址信息分别向每个子屏幕传送对应的图像内容。为了便于说明,本申请实施例中以主机100直接与各子屏幕建立通信连接为例进行示例性说明。
由于各子屏幕的处理性能和数据传输时延等存在差别,在显示同一帧图像时可能会存在显示不同步的问题,例如:前一帧图像是显示一个圆形,后一帧图像是显示一个正方形,如图3所示的,子屏幕4的视频播放时延较大,显示速度较慢,子屏幕1、子屏幕2和子屏幕3已显示后一帧图像,子屏幕4却在显示前一帧图像,这样就会影响用户的观看体验。
为了提高拼接屏200的各子屏幕显示视频帧图像的同步性,本实施例中,主机100可以对一些视频帧(称为目标视频帧)标记时间戳,并可以配置摄像头,在拼接屏200显示这些目标视频帧的过程中,主机100可以通过摄像头拍摄拼接屏200的屏幕图像,根据拍摄的屏幕图像中各子屏幕显示的时间戳的差异,确定各子屏幕需要等待的帧对齐时间(称为延迟送显时间);各子屏幕可以根据对应的延迟送显时间对视频帧进行缓存,实现拼接屏同步显示。
为了实现上述功能,主机100和拼接屏200可以增加相关的功能模块。图4为本申请实施例提供的主机的功能结构示意图,如图4所示,主机100可以包括时钟同步模块110、图像识别模块120和图像发送模块130。其中,时钟同步模块110用于在目标视频帧中加入时间戳,以对这些目标视频帧进行标记;图像识别模块120用于调用摄像头拍摄屏幕图像,并对拍摄的屏幕图像进行图像识别,根据识别结果确定各子屏幕的延迟送显时间;图像发送模块130用于进行视频帧的打包、发送。
图5为本申请实施例提供的子屏幕的功能结构示意图,如图5所示,子屏幕包括上述的处理单元210和显示屏220,处理单元210可以包括图像接收模块211和图像同步模块212。其中,图像接收模块211用于接收并解析视频帧和时间戳;图像同步模块212用于将解析的时间戳增加到视频图层上,然后输送给显示屏进行显示;另外,图像同步模块212还可以根据延迟送显时间对视频帧进行延迟送显。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。
本申请实施例中,主机100可以在拼接屏200显示视频的过程中,周期性的进行拼接屏200同步校对,以更好的提升拼接屏200的同步显示效果。其中,每次的拼接屏200同步校对和显示过程相同,下面对拼接屏200的一次同步校对和显示过程进行介绍。
图6为本申请实施例提供的拼接屏同步显示方法的流程示意图,如图6所示,该方法可以包括如下步骤:
S100、主机向各子屏幕发送添加有时间戳的目标视频帧。
具体的,在播放视频流的过程中,主机可以按照视频流中视频帧的播放顺序依次向拼接屏发送各个视频帧。主机在向各子屏幕传输视频流的过程中,可以在视频流的多个目标视频帧上添加时间戳。
主机在向子屏幕发送视频帧时,可以为每个视频帧添加时间戳;也可以在开始进行某个周期的拼接屏同步校对过程时,在后续发送的预设数量的视频帧(即目标视频帧)上添加时间戳,以节省处理资源,并降低拼接屏端在显示时间戳时对视频播放画面的影响,其中,预设数量可以根据需要设置为多帧,具体大小本实施例不做特别限定。
在具体实现时,如图7所示,主机可以通过时钟同步模块为目标视频帧添加时间戳(步骤S101),时钟同步模块添加完时间戳后,可以向图像发送模块传送时间戳添加结果(步骤S102);图像发送模块收到时间戳添加结果后,可以对添加了时间戳的目标视频帧进行封装,然后向子屏幕发送封装后的数据包(步骤S103)。
其中,时钟同步模块在添加时间戳时,可以将时间戳添加在目标视频帧的帧头中,也可以在图像发送模块封装数据包的过程中,将时间戳添加在数据包中。
具体实现时,可以将时间戳添加在视频帧的帧头或数据包的包头的目标字段中,例如,可以在因特网互联协议(internet protocol,IP)头中增加时间戳(timestamp)字段,在该字段中填入时间戳。
如前所述,同一视频帧可以对应多个数据包,对于同一目标视频帧,其对应的各个数据包中添加的时间戳相同。
相邻两帧的时间戳之间的时长可以为视频流的视频帧率对应的时间基(即1/视频帧率),主机发送视频帧的速率一般与视频流的视频帧率一致,此时,时间同步模块可以根据系统时间添加时间戳,比如可以将系统时间作为时间戳,或者将系统时间中秒以下的部分作为时间戳。
可以理解的是,时间戳也可以是其他可用于标识时长的时间标记,比如,第一个目标视频帧的时间标记为0,第二个目标视频帧的时间标记为1,1个单位的时间标记表示上述视频流的时间基的时长。其中,为了便于后续的延迟送显时间的计算,本实施例中,以在目标视频帧上标记时间戳、时间戳为系统时间中秒以下的部分为例进行示例性说明。
S200、每个子屏幕在显示目标视频帧时同步显示对应的时间戳。
拼接屏中的每个子屏幕可以通过图像接收模块接收目标视频帧对应的数据包,图像接收模块接收到数据包后,可以解析数据包中的目标视频帧和时间戳(步骤S104),然后将解析出的目标视频帧和时间戳传送给图像同步模块(步骤S105)。
显示屏显示的视频图像是由视频图层和字幕图层等图层显示的内容叠加形成的,图像同步模块接收到目标视频帧和时间戳后,可以在目标视频帧对应的视频图层上叠加时间戳(步骤S106),然后将目标视频帧对应的各图层传送给显示屏(步骤S107);显示屏对应的在目标视频帧对应的视频图层上叠加显示时间戳(步骤S108)。
其中,时间戳可以位于字幕图层中,也可以位于视频图层上新增加的一个图层中,具体都可以根据需要选择,本实施例对此不做特别限定。
另外,时间戳可以显示在子屏幕的任意位置,为了提升图像显示效果,本实施例中,可以在子屏幕的屏幕边缘区域显示时间戳;进一步的,为了便于后续主机进行时间戳识别,时间戳可以位于屏幕边缘区域的特定区域(称为目标区域)。
例如图8中所示的,目标区域用虚线框表示,子屏幕1可以在左上角的目标区域显示时间戳,子屏幕2可以在右上角的目标区域显示时间戳,子屏幕3可以在左下角的目标区域显示时间戳,子屏幕4可以在右下角的目标区域显示时间戳。
S300、主机拍摄拼接屏的屏幕图像,根据屏幕图像中各子屏幕显示的时间戳确定各子屏幕的延迟送显时间。
主机中的图像发送模块在向各个子屏幕发送了目标视频帧后,图像识别模块可以调用摄像头拍摄拼接屏的屏幕图像,然后识别屏幕图像中各子屏幕显示的时间戳,根据识别结果确定各子屏幕的延迟送显时间(步骤S109)。
具体的,屏幕图像包括拼接屏中各子屏幕显示的图像内容,图像识别模块可以针对屏幕图像中与上述各子屏幕的目标区域对应的图像区域进行时间戳识别,以提高识别效率。其中,在识别屏幕图像中的时间戳时,可以采用目前的各种图像文本识别算法,本实施例对此不做特别限定。
图9为本申请实施例提供的时间戳识别结果示意图,如图9所示,假设视频流的视频帧率为25帧/秒,视频帧率对应的时间基即为0.04秒;摄像头拍摄的屏幕图像中,子屏幕1显示的时间戳为1.28,子屏幕2显示的时间戳为1.24,子屏幕3显示的时间戳为1.20,子屏幕4显示的时间戳为1.32,其中,时间戳的单位为秒。需要说明的是,图9主要用于说明各自屏幕显示的时间戳,不用于指示时间戳的显示位置。
根据上述各子屏幕显示的时间戳可知,子屏幕3的视频帧显示速度最慢,为了达到同步显示效果,其他子屏幕(子屏幕1、子屏幕2和子屏幕4)可以在进行视频帧送显时,等待一段时间(即延迟送显时间)。其中,每个子屏幕的延迟送显时间可以采用如下公式确定:
Ti=ti-min(ti) (1)
其中,ti表示识别的第i个子屏幕的时间戳,Ti表示第i个子屏幕的延迟送显时间,i为小于或等于M的正整数,M为拼接屏包含的子屏幕的数量(图9所示的子屏幕的数量即为4)。
对于图9中所示的各时间戳,子屏幕3显示的时间戳1.20即为min(ti),根据上述公式(1)可知,子屏幕1的延迟送显时间为1.28-1.20,即0.08秒;子屏幕2的延迟送显时间为1.24-1.20,即0.04秒,子屏幕3的延迟送显时间为1.20-1.20,即0.00秒,子屏幕4的延迟送显时间为1.32-1.20,即0.12秒。
根据上述延迟送显时间计算结果可知,确定的延迟送显时间的精度为0.04秒,假设子屏幕的屏幕刷新率为上述视频帧率的整数倍,该时长即为一帧视频图像的播放时长,也就是视频帧的切换周期。在各子屏幕播放视频帧的过程中,由于子屏幕间的视频播放时延的区别,一个子屏幕可能是在另一个子屏幕显示某帧视频图像的期间刷新屏幕,显示下一帧视频图像,即子屏幕间的视频播放时延之差可能小于视频帧的切换周期(即0.04秒)。为了提高确定的延迟送显时间的精度,本实施例中,可以采用高拍摄帧率的摄像头采集多帧屏幕图像,根据多帧屏幕图像中各子屏幕显示的时间戳确定各子屏幕的延迟送显时间。
具体的,在一个视频帧切换周期内,摄像头采集到的屏幕图像越多,就越能分辨出各子屏幕之间的视频播放时延差异;摄像头在单位时间内可采集到的图像帧数与摄像头的拍摄帧率相关,子屏幕的屏幕刷新率通常高于视频流的视频帧率,本实施例中,摄像头的拍摄帧率可以高于子屏幕的屏幕刷新率,这样在一个视频帧切换周期内,摄像头可以采集到更多帧的屏幕图像。
在具体实现时,图像识别模块可以在拼接屏播放目标视频帧的过程中,针对拼接屏连续拍摄多帧屏幕图像,例如可以采集预设帧数的屏幕图像,或者采集预设时长的屏幕图像。
在确定延迟送显时间时,图像识别模块对于每个子屏幕,可以先确定该子屏幕在拍摄的屏幕图像中首次发生视频帧切换后的首帧屏幕图像(称为目标屏幕图像),并识别目标屏幕图像中该子屏幕显示的时间戳;然后根据识别出的各子屏幕的时间戳、各子屏幕的目标屏幕图像在拍摄的多帧屏幕图像中的帧号和拍摄帧率,确定各子屏幕的延迟送显时间。
在具体实现时,可以根据一个视频帧切换周期内采集的屏幕图像确定各子屏幕的目标屏幕图像,其中,在确定目标屏幕图像时,可以根据各子屏幕的位置关系对该视频帧切换周期内的每帧屏幕图像进行图像分割,得到每个子屏幕在每帧屏幕图像中对应的图像内容;然后,对于每个子屏幕,可以根据相邻两帧屏幕图像中,该子屏幕的图像内容或者时间戳是否相同来确定该子屏幕是否发生视频帧切换。下面结合一个示例说明子屏幕的延迟送显时间的确定过程。
图10为本申请实施例提供的延迟送显时间确定过程示意图,在图10中,假设屏幕刷新频率为50帧/秒,摄像头拍摄帧率为100帧/秒,视频帧率为25帧/秒,则在一个视频帧切换周期(即1/25秒)内,摄像头可以捕获到1/25×100(即4)帧屏幕图像。如图10所示,在摄像头拍摄的4帧屏幕图像中,子屏幕1显示的时间戳依次为1.30、1.30、1.30、1.34,子屏幕2显示的时间戳均为1.34,子屏幕3显示的时间戳依次为1.30、1.34、1.34、1.34,子屏幕4显示的时间戳依次为1.34、1.34、1.34、1.38,其中,时间戳的单位为秒。
子屏幕1的目标屏幕图像为第4帧屏幕图像(帧号为3),该屏幕图像中,子屏幕1显示的时间戳为1.34。摄像头连续拍摄的4帧屏幕图像中,子屏幕2显示的时间戳相同,说明子屏幕2在摄像头拍摄第1帧屏幕图像时进行了视频帧切换,则可以取第1帧屏幕图像(帧号为0)作为子屏幕2的目标屏幕图像,该屏幕图像中,子屏幕2显示的时间戳为1.34。子屏幕3的目标屏幕图像为第2帧屏幕图像(帧号为1),该屏幕图像中,子屏幕3显示的时间戳为1.34。子屏幕4的目标屏幕图像为第4帧屏幕图像(帧号为3),该屏幕图像中,子屏幕4显示的时间戳为1.38。
根据各子屏幕的目标屏幕图像的帧号可以对4帧屏幕图像中各子屏幕显示的时间戳的精度进行调整,使各子屏幕显示更高精度的时间戳。在确定延迟送显时间时,基于一帧屏幕图像中各子屏幕对应的调整后的时间戳即可,该帧屏幕图像可以是上述4帧屏幕图像中的任意一帧,为了便于计算,本实施例中,可以采用第1帧屏幕图像。其中,该第1帧屏幕图像中各子屏幕对应的调整后的时间戳可以采用如下公式确定:
t′i=ti-ni/f (2)
其中,t′i表示第i个子屏幕对应的调整后的时间戳,ni表示第i个子屏幕的目标屏幕图像在拍摄的多帧屏幕图像中的帧号,ni为大于或等于0的整数,f表示拍摄帧率。
基于上述公式(2),如图10所示,对于第1帧屏幕图像(帧号为0),子屏幕1对应的调整后的时间戳为1.34-3/100,即1.31;子屏幕2对应的调整后的时间戳仍为1.34;子屏幕3对应的调整后的时间戳为1.34-1/100,即1.33;子屏幕4对应的调整后的时间戳即为1.38-3/100,即1.35。
延迟送显时间与前述的确定方法类似,对公式(1)进行适应性调整,即可得到调整时间戳后的延迟送显时间计算方法,具体计算公式如下所示:
Ti=t′i-min(t′i) (3)
根据上述确定的各子屏幕调整后的时间戳可知,子屏幕1的视频帧显示速度最慢,即min(t′i)为1.31。基于上述公式(3)可以确定:子屏幕1的延迟送显时间为1.31-1.31,即0.00秒;子屏幕2的延迟送显时间为1.34-1.31,即0.03秒,子屏幕3的延迟送显时间为1.33-1.31,即0.02秒,子屏幕4的延迟送显时间为1.35-1.31,即0.04秒。
可以理解的是,如果拍摄的屏幕图像的帧数大于4帧,可以选取任意的连续4帧屏幕图像进行延迟送显时间的计算,也可以基于拍摄的所有屏幕图像进行延迟送显时间的计算。当采用所有屏幕图像时,如果某子屏幕在前4帧屏幕图像中显示的时间戳相同,该子屏幕的目标屏幕图像可以是第1帧屏幕图像,也可以是第5帧屏幕图像;另外,目标屏幕图像也可以是子屏幕在拍摄的屏幕图像中任意一次发生视频帧切换时,所涉及的两帧屏幕图像中的任一帧屏幕图像。
S400、主机向各子屏幕发送对应的延迟送显时间。
具体的,主机中图像识别模块确定了各子屏幕的延迟送显时间后,可以将其传送给图像发送模块(步骤S110),然后由图像发送模块向拼接屏发送各子屏幕对应的延迟送显时间(步骤S111)。
与前述的发送视频帧类似,图像发送模块可以将每个子屏幕的延迟送显时间打包后,根据各子屏幕的地址信息,分别向每个子屏幕发送对应的数据包;也可以在同一个数据包中标记延迟送显时间与子屏幕的对应关系,然后向拼接屏中的各子屏幕组播或广播该数据包,各子屏幕在收到数据包后,可以根据该对应关系提取对应的延迟送显时间。
S500、各子屏幕接收到延迟送显时间后,对待显示的视频帧延迟上述延迟送显时间后进行显示。
具体的,对于每个子屏幕,该子屏幕的图像接收模块接收到延迟送显时间对应的数据包后,可以解析出延迟送显时间,然后转发给图像同步模块(步骤S112);对于后续的待显示的视频帧,图像同步模块则可以将每个视频帧缓存延迟送显时间后传送给显示屏进行显示(步骤S113)。
图11为图10中各子屏幕进行延迟送显后的结果示意图,在图11中,假设视频流中的每帧视频帧均有时间戳,主机拍摄了12帧屏幕图像,其中,主机在拍摄了4帧屏幕图像后开始计算延迟送显时间,各子屏幕主机拍摄第5帧屏幕图像前收到各自的延迟送显时间。子屏幕在接收到延迟送显时间后,对后续待显示的视频帧进行延迟送显,根据前面的计算结果,子屏幕1的延迟送显时间为0.00秒,子屏幕2的延迟送显时间为0.03秒,子屏幕3的延迟送显时间为0.02秒,子屏幕4的延迟送显时间为0.04秒。
如前所述,在一个视频帧切换周期(即1/25秒)内,摄像头可以采集到4帧屏幕图像,也就是说,每个视频帧会在屏幕图像中显示4帧,相邻两帧屏幕图像之间的时长为0.01秒。
如图11中所示,对于子屏幕1,接收到延迟送显时间后,待显示的下一帧视频帧(即时间戳为1.38的视频帧)的原送显时间是在第8帧(帧号为7);子屏幕1的延迟送显时间为0.00秒,即无需延迟,因此,子屏幕1在第8帧显示该时间戳为1.38的视频帧;经过0.04秒后,对于时间戳为1.42的视频帧,同样无需延迟,子屏幕1在第12帧显示该时间戳为1.42的视频帧。
对于子屏幕2,接收到延迟送显时间后,待显示的下一帧视频帧(即时间戳为1.38的视频帧)的原送显时间是在第5帧(帧号为4);子屏幕2的延迟送显时间为0.03秒,因此,子屏幕2在该0.03秒内继续显示时间戳为1.34的视频帧(图11中用具有菱形填充图案的矩形框表示),在第8帧(帧号为7)显示该时间戳为1.38的视频帧;对于时间戳为1.42的视频帧,原送显时间是在第9帧(帧号为8),同样延迟0.03秒后送显,子屏幕1在第12帧显示该时间戳为1.42的视频帧。
对于子屏幕3,接收到延迟送显时间后,待显示的下一帧视频帧(即时间戳为1.38的视频帧)的原送显时间是在第6帧(帧号为5);子屏幕3的延迟送显时间为0.02秒,因此,子屏幕3在该0.02秒内继续显示时间戳为1.34的视频帧,在第8帧(帧号为7)显示该时间戳为1.38的视频帧;对于时间戳为1.42的视频帧,原送显时间是在第10帧(帧号为9),同样延迟0.02秒后送显,子屏幕1在第12帧显示该时间戳为1.42的视频帧。
对于子屏幕4,接收到延迟送显时间后,待显示的下一帧视频帧(即时间戳为1.42的视频帧)的原送显时间是在第8帧(帧号为7);子屏幕4的延迟送显时间为0.04秒,因此,子屏幕3在该0.04秒内继续显示时间戳为1.38的视频帧,在第12帧显示该时间戳为1.42的视频帧。
经过上述延迟送显过程,各子屏幕在开始显示时间戳为1.42的视频帧时实现同步显示。
本实施例提供的拼接屏同步显示方法,主机对多个目标视频帧标记时间戳,拼接屏在显示这些目标视频帧时同步显示目标视频帧的时间戳;在拼接屏显示这些目标视频帧的过程中,主机通过摄像头拍摄拼接屏的屏幕图像,然后根据拍摄的屏幕图像中各子屏幕显示的时间戳确定各子屏幕的延迟送显时间;主机将延迟送显时间发送给各子屏幕后,各子屏幕根据对应的延迟送显时间对视频帧进行延迟送显,这样拼接屏中各子屏幕在显示后续的视频帧时,可以实现同步显示,从而就可以提升用户的观看体验。
基于同一发明构思,本申请实施例还提供一种可作为主机使用的电子设备,请参阅图12,图12为本申请实施例提供的电子设备的结构示意图。如图12所示,电子设备可以包括处理器310、存储器320、通信模块330、摄像头340、通用串行总线(Universal SerialBus,USB)接口350,充电管理模块360,电源管理模块361,电池362,传感器模块370、按键380、指示器390等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备的具体限定。在本申请另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器310可以包括一个或多个处理单元,例如:处理器310可以包括AP,调制解调处理器,GPU,ISP,控制器,存储器,视频编解码器,DSP,基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器310中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器310中的存储器为高速缓冲存储器。该存储器可以保存处理器310刚用过或循环使用的指令或数据。如果处理器310需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器310的等待时间,因而提高了系统的效率。
在一些实施例中,处理器310可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
存储器320可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器310通过运行存储在存储器320的指令,从而执行电子设备的各种功能应用以及数据处理。存储器320可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序等。存储数据区可存储电子设备使用过程中所创建的数据(比如图像数据等)等。此外,存储器320可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(Universal FlashStorage,UFS)等。
通信模块330可以提供应用在电子设备上的包括无线局域网(wireless localarea networks,WLAN)(如Wi-Fi网络),蓝牙(bluetooth,BT),全球导航卫星系统(globalnavigation satellite system,GNSS),调频(frequency modulation,FM),近场通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。通信模块330可以是集成至少一个通信处理模块的一个或多个器件。
摄像头340用于捕获静态图像(如上述屏幕图像)或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(Charge Coupled Device,CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备可以包括1个或N个摄像头340,N为大于1的正整数。
USB接口350是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口350可以用于连接充电器为电子设备充电,也可以用于电子设备与外围设备之间传输数据。该接口还可以用于连接其他电子设备。
充电管理模块360用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块360可以通过USB接口350接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块360可以通过电子设备的无线充电线圈接收无线充电输入。充电管理模块360为电池362充电的同时,还可以通过电源管理模块361为终端设备供电。
电源管理模块361用于连接电池362,充电管理模块360与处理器310。电源管理模块361接收电池362和/或充电管理模块360的输入,为处理器310、存储器320、通信模块330和摄像头340等供电。电源管理模块361还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块361也可以设置于处理器310中。在另一些实施例中,电源管理模块361和充电管理模块360也可以设置于同一个器件中。
传感器模块370可以包括压力传感器、陀螺仪传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器和触摸传感器等。
按键380包括开机键,音量键等。按键380可以是机械按键。也可以是触摸式按键。电子设备可以接收按键输入,产生与电子设备的用户设置以及功能控制有关的键信号输入。
指示器390可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息等。
本实施例提供的电子设备可以执行上述方法实施例,其实现原理与技术效果类似,此处不再赘述。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例所述的方法。
本申请实施例还提供一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行时实现上述方法实施例所述的方法。
本申请实施例还提供一种芯片系统,包括处理器,所述处理器与存储器耦合,所述处理器执行存储器中存储的计算机程序,以实现上述方法实施例所述的方法。其中,所述芯片系统可以为单个芯片,或者多个芯片组成的芯片模组。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘或磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质可以包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
在本申请所提供的实施例中,应该理解到,所揭露的装置/设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
在本申请的描述中,除非另有说明,“/”表示前后关联的对象是一种“或”的关系,例如,A/B可以表示A或B;本申请中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A,B可以是单数或者复数。
并且,在本申请的描述中,除非另有说明,“多个”是指两个或多于两个。“以下至少一项”或其类似表达,是指的这些项中的任意组合,包括单项或复数项的任意组合。例如,a,b,或c中的至少一项,可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (13)

1.一种接屏同步显示方法,其特征在于,应用于拼接屏系统,所述拼接屏系统包括具有拍摄功能的电子设备和包含多个子屏幕的拼接屏,所述方法包括:
所述电子设备在向各子屏幕传输视频流的过程中,在视频流的多个目标视频帧上添加时间标记;
每个子屏幕在显示所述目标视频帧时同步显示对应的时间标记;
所述电子设备拍摄所述拼接屏的屏幕图像,根据所述屏幕图像中各子屏幕显示的时间标记确定各子屏幕的延迟送显时间,然后向各子屏幕发送对应的延迟送显时间;
各子屏幕接收到延迟送显时间后,对待显示的视频帧延迟所述延迟送显时间后进行显示。
2.根据权利要求1所述的方法,其特征在于,所述电子设备的拍摄帧率高于各所述子屏幕的屏幕刷新率,所述拍摄所述拼接屏的屏幕图像,根据所述屏幕图像中各子屏幕显示的时间标记确定各子屏幕的延迟送显时间,包括:
针对所述拼接屏连续拍摄多帧屏幕图像;
对于每个子屏幕,根据所述子屏幕在所述多帧屏幕图像中发生视频帧切换时涉及的屏幕图像确定所述子屏幕的目标屏幕图像,并识别所述目标屏幕图像中所述子屏幕显示的时间标记;
根据识别出的各所述子屏幕的时间标记、各所述子屏幕的目标屏幕图像在拍摄的所述多帧屏幕图像中的帧号和所述拍摄帧率,确定各所述子屏幕的延迟送显时间。
3.根据权利要求2所述的方法,其特征在于,所述时间标记为时间戳,相邻两目标视频帧的时间戳之间的时长为所述视频流的视频帧率对应的时间基;所述根据识别出的各所述子屏幕的时间标记、各所述子屏幕的目标屏幕图像在拍摄的所述多帧屏幕图像中的帧号和所述拍摄帧率,确定各所述子屏幕的延迟送显时间,包括:
采用如下公式确定各所述子屏幕的延迟送显时间:
Figure FDA0002911573470000011
其中,ti表示识别的第i个子屏幕的时间戳,ni表示第i个子屏幕的目标屏幕图像在拍摄的所述多帧屏幕图像中的帧号,f表示所述拍摄帧率,Ti表示第i个子屏幕的延迟送显时间,i为小于或等于M的正整数,M为所述拼接屏包含的子屏幕的数量,ni为大于或等于0的整数。
4.根据权利要求2或3所述的方法,其特征在于,所述目标屏幕图像为所述子屏幕在所述多帧屏幕图像中首次发生视频帧切换后的首帧屏幕图像。
5.根据权利要求2-4任一项所述的方法,其特征在于,所述电子设备连续拍摄的屏幕图像的帧数大于或等于所述电子设备在任一所述子屏幕的一个视频帧显示时间内所能拍摄到的屏幕图像的最大帧数。
6.根据权利要求2-5任一项所述的方法,其特征在于,每个子屏幕在屏幕边缘区域中的目标区域显示所述时间标记。
7.一种拼接屏系统,其特征在于,包括:具有拍摄功能的电子设备和包含多个子屏幕的拼接屏,其中:
所述电子设备用于:在向各子屏幕传输视频流的过程中,在视频流的多个目标视频帧上添加时间标记;
所述子屏幕用于:在显示所述目标视频帧时同步显示对应的时间标记;
所述电子设备还用于:拍摄所述拼接屏的屏幕图像,根据所述屏幕图像中各子屏幕显示的时间标记确定各子屏幕的延迟送显时间,然后向各子屏幕发送对应的延迟送显时间;
所述子屏幕还用于:接收到延迟送显时间后,对待显示的视频帧延迟所述延迟送显时间后进行显示。
8.根据权利要求7所述的系统,其特征在于,所述电子设备具体用于:
针对所述拼接屏连续拍摄多帧屏幕图像;
对于每个子屏幕,根据所述子屏幕在所述多帧屏幕图像中发生视频帧切换时涉及的屏幕图像确定所述子屏幕的目标屏幕图像,并识别所述目标屏幕图像中所述子屏幕显示的时间标记;
根据识别出的各所述子屏幕的时间标记、各所述子屏幕的目标屏幕图像在拍摄的所述多帧屏幕图像中的帧号和所述拍摄帧率,确定各所述子屏幕的延迟送显时间。
9.根据权利要求8所述的系统,其特征在于,所述时间标记为时间戳,相邻两目标视频帧的时间戳之间的时长为所述视频流的视频帧率对应的时间基;所述电子设备具体用于:
采用如下公式确定各所述子屏幕的延迟送显时间:
Figure FDA0002911573470000021
其中,ti表示识别的第i个子屏幕的时间戳,ni表示第i个子屏幕的目标屏幕图像在拍摄的所述多帧屏幕图像中的帧号,f表示所述拍摄帧率,Ti表示第i个子屏幕的延迟送显时间,i为小于或等于M的正整数,M为所述拼接屏包含的子屏幕的数量,ni为大于或等于0的整数。
10.根据权利要求8或9所述的系统,其特征在于,所述目标屏幕图像为所述子屏幕在所述多帧屏幕图像中首次发生视频帧切换后的首帧屏幕图像。
11.根据权利要求8-10任一项所述的系统,其特征在于,所述电子设备连续拍摄的屏幕图像的帧数大于或等于所述电子设备在任一所述子屏幕的一个视频帧显示时间内所能拍摄到的屏幕图像的最大帧数。
12.根据权利要求8-11任一项所述的系统,其特征在于,每个子屏幕在屏幕边缘区域中的目标区域显示所述时间标记。
13.一种电子设备,包括:存储器和处理器,存储器用于存储计算机程序;处理器用于在调用计算机程序时执行如权利要求1-6任一项所述的方法中电子设备所执行的方法。
CN202110088553.7A 2021-01-22 2021-01-22 拼接屏同步显示方法、电子设备和拼接屏系统 Pending CN114816286A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110088553.7A CN114816286A (zh) 2021-01-22 2021-01-22 拼接屏同步显示方法、电子设备和拼接屏系统
PCT/CN2021/140532 WO2022156472A1 (zh) 2021-01-22 2021-12-22 拼接屏同步显示方法、电子设备和拼接屏系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110088553.7A CN114816286A (zh) 2021-01-22 2021-01-22 拼接屏同步显示方法、电子设备和拼接屏系统

Publications (1)

Publication Number Publication Date
CN114816286A true CN114816286A (zh) 2022-07-29

Family

ID=82524313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110088553.7A Pending CN114816286A (zh) 2021-01-22 2021-01-22 拼接屏同步显示方法、电子设备和拼接屏系统

Country Status (2)

Country Link
CN (1) CN114816286A (zh)
WO (1) WO2022156472A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116700654A (zh) * 2022-09-15 2023-09-05 荣耀终端有限公司 一种图像显示方法、装置、终端设备及存储介质
CN116709004A (zh) * 2022-11-21 2023-09-05 荣耀终端有限公司 一种图像处理方法和电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116913178B (zh) * 2023-09-13 2023-11-28 奥视(天津)科技有限公司 一种拼接屏联动系统及视频拼接方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067729A (zh) * 2013-01-31 2013-04-24 利亚德光电股份有限公司 拼接屏体立体显示的同步信号处理方法及装置、拼接屏体
CN108900833A (zh) * 2018-07-17 2018-11-27 威创集团股份有限公司 一种拼接墙屏幕同步性检测方法、装置、系统及设备
CN111026595B (zh) * 2019-12-16 2021-07-16 威创集团股份有限公司 一种多屏系统同步显示测试方法、装置和设备
CN111782163B (zh) * 2020-06-19 2023-03-28 杭州海康威视数字技术股份有限公司 图像显示方法和设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116700654A (zh) * 2022-09-15 2023-09-05 荣耀终端有限公司 一种图像显示方法、装置、终端设备及存储介质
CN116700654B (zh) * 2022-09-15 2024-04-09 荣耀终端有限公司 一种图像显示方法、装置、终端设备及存储介质
CN116709004A (zh) * 2022-11-21 2023-09-05 荣耀终端有限公司 一种图像处理方法和电子设备
CN116709004B (zh) * 2022-11-21 2024-04-05 荣耀终端有限公司 一种图像处理方法和电子设备

Also Published As

Publication number Publication date
WO2022156472A1 (zh) 2022-07-28

Similar Documents

Publication Publication Date Title
CN114816286A (zh) 拼接屏同步显示方法、电子设备和拼接屏系统
CN108900859B (zh) 直播方法及系统
US20220201205A1 (en) Video stream processing method, device, terminal device, and computer-readable storage medium
WO2018128472A1 (en) Virtual reality experience sharing
US20230319395A1 (en) Service processing method and device
US20200162765A1 (en) Method and apparatus for live streaming
CN108616776B (zh) 直播分析数据获取方法及装置
WO2018070803A1 (en) Method and apparatus for session control support for field of view virtual reality streaming
EP2875645A1 (en) Method of controlling display of display device by mobile terminal and mobile terminal for the same
CN109874043B (zh) 视频流发送方法、播放方法及装置
CN110493626B (zh) 视频数据处理方法及装置
CN108769738B (zh) 视频处理方法、装置、计算机设备和存储介质
CN111970524B (zh) 交互类直播连麦的控制方法、装置、系统、设备及介质
JP7467667B2 (ja) 検出結果出力方法、電子機器及び媒体
WO2015012596A1 (en) Broadcasting providing apparatus, broadcasting providing system, and method of providing broadcasting thereof
CN111343415A (zh) 数据传输方法及装置
CN114070993B (zh) 摄像方法、装置、摄像设备及可读存储介质
CN108616719B (zh) 监控视频展示的方法、装置及系统
CN110086998B (zh) 一种拍摄方法及终端
CN109995704B (zh) 广告拦截方法、装置、设备及计算机可读存储介质
US20230335081A1 (en) Display Synchronization Method, Electronic Device, and Readable Storage Medium
EP4044513A1 (en) Method, apparatus and system for displaying alarm file
CN114363678A (zh) 一种投屏方法及设备
CN110971840A (zh) 视频贴图方法及装置、计算机设备及存储介质
CN112738399B (zh) 图像处理方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination