CN111083431B - 调整图像采集时间的方法、装置、介质及电子设备 - Google Patents

调整图像采集时间的方法、装置、介质及电子设备 Download PDF

Info

Publication number
CN111083431B
CN111083431B CN201811217725.0A CN201811217725A CN111083431B CN 111083431 B CN111083431 B CN 111083431B CN 201811217725 A CN201811217725 A CN 201811217725A CN 111083431 B CN111083431 B CN 111083431B
Authority
CN
China
Prior art keywords
delta
image
time
next frame
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811217725.0A
Other languages
English (en)
Other versions
CN111083431A (zh
Inventor
周天阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Pinecone Electronic Co Ltd
Original Assignee
Beijing Xiaomi Pinecone Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Pinecone Electronic Co Ltd filed Critical Beijing Xiaomi Pinecone Electronic Co Ltd
Priority to CN201811217725.0A priority Critical patent/CN111083431B/zh
Publication of CN111083431A publication Critical patent/CN111083431A/zh
Application granted granted Critical
Publication of CN111083431B publication Critical patent/CN111083431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Systems (AREA)

Abstract

本公开涉及一种调整图像采集时间的方法、装置、介质及电子设备，其中，调整图像采集时间的方法包括：获取图像采集调整策略，其中，图像采集调整策略是基于目标时间差T_delta_t生成的，目标时间差T_delta_t是根据接收端的显示模块接收到一帧图像的时间t1与显示模块显示该帧图像的时间t2之间的时间差delta_t确定出的；根据图像采集调整策略调整发送端要采集的下一帧图像的采集时间。本公开的方法基于接收端的显示模块因刷新而产生的时延delta_t确定出的图像采集调整策略，调整发送端要采集的下一帧图像的采集时间，降低了因显示模块刷新而产生的时延，提高了用户体验。

Description

调整图像采集时间的方法、装置、介质及电子设备
技术领域
本公开涉及视频传输技术领域，具体地，涉及一种调整图像采集时间的方法、装置、介质及电子设备。
背景技术
在点对点视频传输系统中，由发送端采集视频、编码，然后发送端通过某种协议发送给接收端，接收端解码并在显示模块上显示出来。发送端采集视频图像时会有固定的帧率，一般是30fps。接收端显示模块显示图像时，也会按照一定的刷新率来显示，一般为60Hz。假设接收端显示模块刷新率为60Hz，每隔1000/60＝16ms会刷新下一帧数据，最差的情况下，新来的一帧图像数据在显示时需要等待16ms才能刷新到显示模块上。
现有技术中，通过提高接收端显示模块的刷新率，比如提高到120Hz，来减少显示时的时延，让图像数据更快的显示到显示模块上。但这种方法需要硬件升级，增加了成本，并且在最差的情况下仍然会有一定的时延。以120Hz为例，最差的情况下显示时会有1000/120＝8ms的时延，影响了用户体验。
发明内容
为了解决相关技术中的问题，本公开实施例提供了一种调整图像采集时间的方法、装置、介质及电子设备。本公开的方法通过调整采集图像的时间，降低了点对点视频传输系统中因显示模块刷新而产生的时延，提高了用户体验。
为了实现上述目的，第一方面，本公开提供一种调整图像采集时间的方法，应用于发送端，包括：
获取图像采集调整策略，其中，所述图像采集调整策略是基于目标时间差T_delta_t生成的，所述目标时间差T_delta_t是根据接收端的显示模块接收到一帧图像的时间t1与所述显示模块显示该帧图像的时间t2之间的时间差delta_t确定出的；
根据所述图像采集调整策略调整所述发送端要采集的下一帧图像的采集时间。
可选地，所述图像采集调整策略是在所述T_delta_t大于一时间阈值时，基于所述T_delta_t生成的。
可选地，所述获取图像采集调整策略，包括：
接收所述接收端发送的所述t1和所述t2，或者接收所述接收端发送的所述delta_t；
根据所述t1与所述t2之间的所述时间差delta_t，确定所述目标时间差T_delta_t，其中，所述T_delta_t等于所述delta_t，或者等于多次确定出的所述delta_t的平均值，或者等于多次接收到的所述delta_t的平均值；
根据所述目标时间差T_delta_t，生成所述图像采集调整策略。
可选地，所述图像采集调整策略为：
将所述下一帧图像的采集时间向后调整第一目标调整量ΔT1或向前调整第二目标调整量ΔT2，其中，ΔT1＝T_delta_t或者ΔT1＝T_delta_t-w；ΔT2＝s-T_delta_t或者ΔT2＝s-T_delta_t+w；w表示预定的防抖动冗余时间，s表示所述显示模块的显示刷新间隔的整数倍。
可选地，所述图像采集调整策略为：
当所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长增加时，将所述下一帧图像的采集时间向后调整第三目标调整量ΔT3或者向前调整第四目标调整量ΔT4，其中，ΔT3＝T_delta_t-u1或者ΔT3＝T_delta_t-w-u1；ΔT4＝s-T_delta_t+u1或者ΔT4＝s-T_delta_t+w+u1；w表示预定的防抖动冗余时间，u1表示所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长的增加量，s表示所述显示模块的显示刷新间隔的整数倍；
当所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长减少时，将所述下一帧图像的采集时间向后调整第五目标调整量ΔT5或者向前调整第六目标调整量ΔT6，其中，ΔT5＝T_delta_t+u2或者ΔT5＝T_delta_t-w+u2；ΔT6＝s-T_delta_t-u2或者ΔT6＝s-T_delta_t+w-u2；u2表示所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长的减少量。
第二方面，本公开提供一种调整图像采集时间的方法，应用于接收端，包括：
接收发送端发送的图像；
记录接收端的显示模块接收到一帧图像的时间t1，以及所述显示模块显示该帧图像的时间t2，以便所述发送端能够获取到基于目标时间差T_delta_t生成的、用于调整所述发送端要采集的下一帧图像的采集时间的图像采集调整策略，其中所述目标时间差T_delta_t是根据所述t1与所述t2之间的时间差delta_t确定出的。
可选地，所述图像采集调整策略是在所述T_delta_t大于一时间阈值时，基于所述T_delta_t生成的。
可选地，所述方法还包括以下步骤中的一者：
向所述发送端发送所述t1和所述t2；
向所述发送端发送所述t1与所述t2之间的所述时间差delta_t；
向所述发送端发送所述目标时间差T_delta_t，其中，所述T_delta_t等于所述delta_t，或者等于多次确定出的所述delta_t的平均值；
向所述发送端发送根据所述目标时间差T_delta_t生成的所述图像采集调整策略。
可选地，所述图像采集调整策略为：
将所述下一帧图像的采集时间向后调整第一目标调整量ΔT1或向前调整第二目标调整量ΔT2，其中，ΔT1＝T_delta_t或者ΔT1＝T_delta_t-w；ΔT2＝s-T_delta_t或者ΔT2＝s-T_delta_t+w；w表示预定的防抖动冗余时间，s表示所述显示模块的显示刷新间隔的整数倍。
可选地，所述图像采集调整策略为：
当所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长增加时，将所述下一帧图像的采集时间向后调整第三目标调整量ΔT3或者向前调整第四目标调整量ΔT4，其中，ΔT3＝T_delta_t-u1或者ΔT3＝T_delta_t-w-u1；ΔT4＝s-T_delta_t+u1或者ΔT4＝s-T_delta_t+w+u1；w表示预定的防抖动冗余时间，u1表示所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长的增加量，s表示所述显示模块的显示刷新间隔的整数倍；
当所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长减少时，将所述下一帧图像的采集时间向后调整第五目标调整量ΔT5或者向前调整第六目标调整量ΔT6，其中，ΔT5＝T_delta_t+u2或者ΔT5＝T_delta_t-w+u2；ΔT6＝s-T_delta_t-u2或者ΔT6＝s-T_delta_t+w-u2；u2表示所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长的减少量。
第三方面，本公开提供一种调整图像采集时间的装置，应用于发送端，所述装置包括：
获取模块，用于获取图像采集调整策略，其中，所述图像采集调整策略是基于目标时间差T_delta_t生成的，所述目标时间差T_delta_t是根据接收端的显示模块接收到一帧图像的时间t1与所述显示模块显示该帧图像的时间t2之间的时间差delta_t确定出的；
调整模块，用于根据所述获取模块获取到的所述图像采集调整策略调整所述发送端要采集的下一帧图像的采集时间。
可选地，所述图像采集调整策略是在所述T_delta_t大于一时间阈值时，基于所述T_delta_t生成的。
可选地，所述获取图像采集调整策略，包括：
接收所述接收端发送的所述t1和所述t2，或者接收所述接收端发送的所述delta_t；
根据所述t1与所述t2之间的所述时间差delta_t，确定所述目标时间差T_delta_t，其中，所述T_delta_t等于所述delta_t，或者等于多次确定出的所述delta_t的平均值，或者等于多次接收到的所述delta_t的平均值；
根据所述目标时间差T_delta_t，生成所述图像采集调整策略。
可选地，所述图像采集调整策略为：
将所述下一帧图像的采集时间向后调整第一目标调整量ΔT1或向前调整第二目标调整量ΔT2，其中，ΔT1＝T_delta_t或者ΔT1＝T_delta_t-w；ΔT2＝s-T_delta_t或者ΔT2＝s-T_delta_t+w；w表示预定的防抖动冗余时间，s表示所述显示模块的显示刷新间隔的整数倍。
可选地，所述图像采集调整策略为：
当所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长增加时，将所述下一帧图像的采集时间向后调整第三目标调整量ΔT3或者向前调整第四目标调整量ΔT4，其中，ΔT3＝T_delta_t-u1或者ΔT3＝T_delta_t-w-u1；ΔT4＝s-T_delta_t+u1或者ΔT4＝s-T_delta_t+w+u1；w表示预定的防抖动冗余时间，u1表示所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长的增加量，s表示所述显示模块的显示刷新间隔的整数倍；
当所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长减少时，将所述下一帧图像的采集时间向后调整第五目标调整量ΔT5或者向前调整第六目标调整量ΔT6，其中，ΔT5＝T_delta_t+u2或者ΔT5＝T_delta_t-w+u2；ΔT6＝s-T_delta_t-u2或者ΔT6＝s-T_delta_t+w-u2；u2表示所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长的减少量。
第四方面，本公开提供一种调整图像采集时间的装置，应用于接收端，所述装置包括：
接收模块，用于接收发送端发送的图像；
记录模块，用于记录接收端的显示模块接收到一帧图像的时间t1，以及所述显示模块显示该帧图像的时间t2，以便所述发送端能够获取到基于目标时间差T_delta_t生成的、用于调整所述发送端要采集的下一帧图像的采集时间的图像采集调整策略，其中所述目标时间差T_delta_t是根据所述t1与所述t2之间的时间差delta_t确定出的。
可选地，所述图像采集调整策略是在所述T_delta_t大于一时间阈值时，基于所述T_delta_t生成的。
可选地，所述装置还包括发送模块，用于实现以下步骤中的一者：
向所述发送端发送所述t1和所述t2；
向所述发送端发送所述t1与所述t2之间的所述时间差delta_t；
向所述发送端发送所述目标时间差T_delta_t，其中，所述T_delta_t等于所述delta_t，或者等于多次确定出的所述delta_t的平均值；
向所述发送端发送根据所述目标时间差T_delta_t生成的所述图像采集调整策略。
可选地，所述图像采集调整策略为：
将所述下一帧图像的采集时间向后调整第一目标调整量ΔT1或向前调整第二目标调整量ΔT2，其中，ΔT1＝T_delta_t或者ΔT1＝T_delta_t-w；ΔT2＝s-T_delta_t或者ΔT2＝s-T_delta_t+w；w表示预定的防抖动冗余时间，s表示所述显示模块的显示刷新间隔的整数倍。
可选地，所述图像采集调整策略为：
当所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长增加时，将所述下一帧图像的采集时间向后调整第三目标调整量ΔT3或者向前调整第四目标调整量ΔT4，其中，ΔT3＝T_delta_t-u1或者ΔT3＝T_delta_t-w-u1；ΔT4＝s-T_delta_t+u1或者ΔT4＝s-T_delta_t+w+u1；w表示预定的防抖动冗余时间，u1表示所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长的增加量，s表示所述显示模块的显示刷新间隔的整数倍；
当所述发送端预估的所述下一帧图像的处理时长相对于处理所述一帧图像的处理时长减少时，将所述下一帧图像的采集时间向后调整第五目标调整量ΔT5或者向前调整第六目标调整量ΔT6，其中，ΔT5＝T_delta_t+u2或者ΔT5＝T_delta_t-w+u2；ΔT6＝s-T_delta_t-u2或者ΔT6＝s-T_delta_t+w-u2；u2表示所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长的减少量。
第五方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面或第二方面提供的所述调整图像采集时间的方法的步骤。
第六方面，本公开提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面或第二方面提供的所述调整图像采集时间的方法的步骤。
本公开实施例提供的技术方案可以包括以下有益效果：
在上述技术方案中，发送端首先获取图像采集调整策略，其中，图像采集调整策略是基于接收端的显示模块因刷新而产生的时延delta_t确定出的；之后，根据图像采集调整策略调整发送端要采集的下一帧图像的采集时间。这样，基于接收端的显示模块因刷新而产生的时延delta_t确定出的图像采集调整策略，调整发送端要采集的下一帧图像的采集时间，降低了因显示模块刷新而产生的时延，提高了用户体验。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是本公开各个实施例所涉及的一种实施环境的结构示意图；
图2是本公开实施例提供的一种应用于发送端的调整图像采集时间的方法的流程图；
图3是本公开实施例提供的一种发送端获取图像采集调整策略的方法的信令图；
图4A是本公开实施例提供的一种调整图像采集时间的方法的各步骤执行时间点的示意图；
图4B是本公开实施例提供的另一种调整图像采集时间的方法的各步骤执行时间点的示意图；
图5是本公开实施例提供的另一种发送端获取图像采集调整策略的方法的信令图；
图6是本公开实施例提供的另一种发送端获取图像采集调整策略的方法的信令图；
图7是本公开实施例提供的另一种发送端获取图像采集调整策略的方法的信令图；
图8是本公开实施例提供的一种应用于接收端的调整图像采集时间的方法的流程图；
图9是本公开实施例提供的一种调整图像采集时间的装置的框图；
图10是本公开实施例提供的一种调整图像采集时间的装置的框图；
图11是本公开实施例提供的另一种调整图像采集时间的装置的框图；
图12是本公开实施例提供的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例提供的调整图像采集时间的方法应用于点对点视频传输系统中，在介绍本公开提供的调整图像采集时间的方法之前，首先对本公开所涉及的应用场景进行介绍，图1是本公开各个实施例所涉及的一种实施环境的结构示意图。该实施环境可以包括：至少一个发送端120和至少一个接收端140，本实施环境以一个发送端120和一个接收端140为例进行说明。
发送端120可以是具有图像采集功能及联网功能的电子设备，该电子设备可以是智能手机、平板电脑、智能电视、智能手表、个人数字助理(Personal Digital Assistant，PDA)、摄像机、照相机等等，本实施例以发送端120是智能手机为例进行说明。接收端140可以是具有图像显示功能及联网功能的电子设备，该电子设备可以是智能手机、平板电脑、智能电视、智能手表、PDA、便携式计算机、台式计算机等等，本实施例以接收端140是智能手机为例进行说明。
发送端120与接收端140可以通过有线网络或者无线网络相连接，示例地，如图1中所示，发送端120与接收端140通过无线网络进行连接。其中，发送端120采集视频图像信息，并将该信息通过有线网络或者无线网络发送至接收端140，接收端140获取该视频图像信息，并将该视频图像向用户展示。
图2是根据一示例性实施例示出的一种调整图像采集时间的方法的流程图，本实施例以该调整图像采集时间的方法应用于发送端来举例说明。参见图2，该调整图像采集时间的方法可以包括如下几个步骤：
在步骤201中，获取图像采集调整策略。
其中，图像采集调整策略是基于目标时间差T_delta_t生成的，目标时间差T_delta_t是根据接收端的显示模块接收到一帧图像的时间t1与显示模块显示该帧图像的时间t2之间的时间差delta_t确定出的。其中，当一帧图像到达显示模块时(即，t1时刻)，如果并未刚好赶上显示模块刷新，该帧图像就不能立即显示到显示模块上，而是在显示模块的下一刷新时间点时，该帧图像才能被显示模块刷新显示到显示模块上(即，在t2时刻，显示模块显示该帧图像)，t1与t2之间的时间差delta_t就是因显示模块刷新引起的时延。
作为本公开的实施例，发送端获取图像采集调整策略的方法，可以由以下四种方式中的任意一者来实现：
(一)请参见图3，发送端获取图像采集调整策略的方法可以包括如下步骤：
在步骤301中，发送端采集一帧图像。
在步骤302中，发送端发送该一帧图像至接收端。
在步骤303中，接收端接收发送端发送的一帧图像。
在步骤304中，接收端记录t1和t2。
在步骤305中，接收端发送t1和t2至发送端。
在步骤306中，发送端接收接收端发送的t1和t2。
在步骤307中，发送端根据t1与t2之间的时间差delta_t确定目标时间差T_delta_t。
其中，在一种实施方式中，T_delta_t可以等于delta_t。
在另一种实施方式中，T_delta_t可以等于发送端或接收端多次确定出的delta_t的平均值。具体来说，目标时间差T_delta_t可以等于发送端多次确定出的delta_t的平均值；或者，发送端从接收端获取该接收端多次确定出的delta_t，然后将该多个delta_t的平均值确定为目标时间差T_delta_t；或者，目标时间差T_delta_t是由接收端根据多个delta_t的平均值确定出的，再由接收端将其确定出的T_delta_t发送至发送端，发送端接收该T_delta_t。一次确定出的delta_t，可能因环境因素的影响，不能准确地反映出接收端的显示模块因刷新而引起的时延，因而，通过对多次确定出的delta_t进行求平均值计算，所得的T_delta_t可以更准确地反映出接收端的显示模块因刷新而产生的时延。
在步骤308中，发送端根据T_delta_t生成图像采集调整策略。
在通过上述步骤301～步骤307确定出T_delta_t后，可以根据T_delta_t生成图像采集调整策略。在一种实施方式中，上述图像采集调整策略可以是：将下一帧图像的采集时间向后调整第一目标调整量ΔT1，其中，ΔT1＝T_delta_t或者ΔT1＝T_delta_t-w，w表示预定的防抖动冗余时间。示例地，依据发送端的图像采集帧率，如果下一帧图像的预计采集时间为k，将k向后调整ΔT1则意味着下一帧图像的实际采集时间变为k+ΔT1。向后调整下一帧图像的采集时间的目的是为了使下一帧图像到达接收端的显示模块时，刚好赶上该显示模块的刷新时间点，以使下一帧图像立刻显示在显示模块上。但点对点视频传输系统中会存在预定的防抖动冗余时间w，因此，需要在向后调整的第一目标调整量ΔT1中，将预定的防抖动冗余时间w减掉，以避免因预定的防抖动冗余时间w的存在，而使下一帧图像如果直接向后调整T_delta_t，而错过了显示模块的刷新时间点。
在另一种实施方式中，如上所述的图像采集调整策略可以是：将下一帧图像的采集时间向前调整第二目标调整量ΔT2，其中ΔT2＝s-T_delta_t或者ΔT2＝s-T_delta_t+w。其中，s表示接收端的显示模块的显示刷新间隔的整数倍，即s可以等于上述显示刷新间隔的j倍，其中，j为大于或等于1的整数。在本公开中，s可以等于上述显示刷新间隔，也可以等于上述显示刷新间隔2倍，还可以等于上述显示刷新间隔10倍等，在本公开中不作具体限定。示例地，依据发送端的图像采集帧率，如果下一帧图像的预计采集时间为k，将k向前调整ΔT2则意味着下一帧图像的实际采集时间变为k-ΔT2。向前调整下一帧图像的采集时间的目的是为了使下一帧图像到达接收端的显示模块时，刚好赶上该显示模块的刷新时间点，以使下一帧图像立刻显示在显示模块上。一般在T_delta_t与s数值比较接近的情况下，采取向前调整的方式，原因是此时向前调整的第二目标调整量ΔT2要小于向后调整的第一目标调整量ΔT1。同样，需要在向前调整的第二目标调整量ΔT2中，ΔT2＝s-T_delta_t+w，可以避免因预定的防抖动冗余时间w的存在，而使下一帧图像如果直接向前调整s-T_delta_t，而错过了显示模块的刷新时间点。
请参阅图4A和图4B，以下将以发送端以60fps采集图像(每16ms采集一帧图像)，接收端以60Hz刷新显示(每16ms刷新显示一帧图像)为例对向前或向后调整下一帧图像的采集时间进行说明，其中接收端的显示模块的显示刷新间隔s＝16ms，防抖动冗余时间为w＝1ms。其中，图4A和图4B中的ci代表发送端采集第i帧图像的时间点，fi代表发送端发送第i帧图像的时间点，di代表接收端的显示模块接收到第i帧图像的时间点，xi代表显示模块显示第i帧图像的时间点，其中i＝1,2,3,4。
a.请参阅图4A，当T_delta_t＝delta_t＝t2-t1＝x1-d1＝5ms时，ΔT1＝5ms或者ΔT1＝5ms-1ms＝4ms，则将下一帧图像的采集时间向后调整5ms或4ms，以抵消因显示模块刷新而产生的时延5ms。
b.请参阅图4B，当T_delta_t＝delta_t＝t2-t1＝x1-d1＝10ms时，ΔT1＝10ms或者ΔT1＝10ms-1ms＝9ms，则可以将下一帧图像的采集时间向后调整10ms或9ms，以抵消因显示模块刷新而产生的时延10ms。此时，ΔT2＝16ms-10ms＝6ms，或者ΔT2＝16ms-10ms+1ms＝7ms，这种情况下，也可以选择将下一帧图像的采集时间向前调整6ms或7ms，以抵消因显示模块刷新而产生的时延10ms。
作为本公开的另一种实施方式，当发送端预估的下一帧图像的处理时长相对于确定T_delta_t那一帧图像的处理时长增加时，如上所述的图像采集调整策略可以是：将下一帧图像的采集时间向后调整第三目标调整量ΔT3或者向前调整第四目标调整量ΔT4，其中，ΔT3＝T_delta_t-u1或者ΔT3＝T_delta_t-w-u1，ΔT4＝s-T_delta_t+u1或者ΔT4＝s-T_delta_t+w+u1，u1表示发送端预估的下一帧图像的处理时长相对于一帧图像的处理时长的增加量。
发送端处理每一帧图像的时长包括相机处理时长(如曝光时间)和视频编码器处理时长。发送端对每一帧图像的处理时长可以通过软件方式获知。其中，相机处理时长相对稳定，发送端对每一帧图像的处理时长的变化量主要由视频编码器的处理时长的变化引起。可以根据图像数据长度的变化预估视频编码器处理时长的变化，进而可以得到发送端处理下一帧图像的预估处理时长。由于发送端处理每帧图像的处理时长会有变化，并且通过软件方式可以获知其中的预估变化量，因此，在向前或向后调整下一帧图像的采集时间时，应将发送端处理下一帧图像的预估处理时长相对于处理确定T_delta_t那一帧图像的处理时长的预估变化量相应的加上或减去，以免错过了接收端显示模块的刷新时间点。
而当发送端预估的下一帧图像的处理时长相对于确定T_delta_t那一帧图像的处理时长减少时，将下一帧图像的采集时间向后调整第五目标调整量ΔT5或者向前调整第六目标调整量ΔT6，其中，ΔT5＝T_delta_t+u2或者ΔT5＝T_delta_t-w+u2，ΔT6＝s-T_delta_t-u2或者ΔT6＝s-T_delta_t+w-u2，u2表示发送端预估的下一帧图像的处理时长相对于一帧图像的处理时长的减少量。
(二)返回图2，在另一种实施方式中，如图5所示，上述步骤201还可以通过以下方式来获取图像采集调整策略：
在步骤301中，发送端采集一帧图像。
在步骤302中，发送端发送该一帧图像至接收端。
在步骤303中，接收端接收发送端发送的一帧图像。
在步骤304中，接收端记录t1和t2。
在步骤309中，接收端计算t1与t2之间的时间差delta_t。
在步骤310中，接收端发送delta_t至发送端。
在步骤311中，发送端接收接收端发送的delta_t。
在步骤312中，发送端根据delta_t确定目标时间差T_delta_t。
在步骤313中，发送端根据T_delta_t生成图像采集调整策略。
(三)在又一种实施方式中，如图6所示，上述步骤201还可以通过以下方式来获取图像采集调整策略：
在步骤301中，发送端采集一帧图像。
在步骤302中，发送端发送该一帧图像至接收端。
在步骤303中，接收端接收发送端发送的一帧图像。
在步骤304中，接收端记录t1和t2。
在步骤314中，接收端根据t1与t2之间的时间差delta_t确定目标时间差T_delta_t。
其中，接收端可以采用上述发送端确定T_delta_t同样的方式来确定T_delta_t，这里不再赘述。
在步骤315中，接收端发送T_delta_t至发送端。
在步骤316中，发送端接收接收端发送的T_delta_t。
在步骤317中，发送端根据T_delta_t生成图像采集调整策略。
(四)在又一种实施方式中，如图7所示，上述步骤201还可以通过以下方式来获取图像采集调整策略：
在步骤301中，发送端采集一帧图像。
在步骤302中，发送端发送该一帧图像至接收端。
在步骤303中，接收端接收发送端发送的一帧图像。
在步骤304中，接收端记录t1和t2。
在步骤318中，接收端根据t1与t2之间的时间差delta_t确定目标时间差T_delta_t。
在步骤319中，接收端根据T_delta_t生成图像采集调整策略。
其中，接收端可以采用上述发送端根据T_delta_t生成图像采集调整策略同样的方式来生成图像采集调整策略，这里不再赘述。
在步骤320中，接收端发送图像采集调整策略至发送端。
在步骤321中，发送端接收接收端发送的图像采集调整策略。
返回图2，在步骤202中，根据图像采集调整策略，调整发送端要采集的下一帧图像的采集时间。
在无干扰的环境下，点对点视频传输系统中，视频图像的传输时延与编解码时延是基本固定的，不会有太大波动，因而发送端采集每一帧图像的时间相对于接收端的显示模块显示该帧图像的时间是相对固定的。本公开实施例的调整图像采集时间的方法，就是基于接收端的显示模块接收到一帧图像的时间t1与显示模块显示该帧图像的时间t2之间的时间差delta_t，确定出因显示模块刷新而产生的时延，进而确定出图像采集调整策略，以使发送端根据该图像采集调整策略主动调整采集下一帧图像的采集时间点，这样，调整了采集时间后的下一帧图像在到达接收端的显示模块时，刚好赶上显示模块刷新，进而使该下一帧图像能够立即显示在显示模块上，以达到减少整体时延的目的。
依据如上所述的图像采集调整策略，发送端要采集的下一帧图像的采集时间的调整方法，具体可以是将下一帧图像的采集时间向后调整第一目标调整量ΔT1、第三目标调整量ΔT3或者第五目标调整量ΔT5。还可以是将下一帧图像的采集时间向前调整第二目标调整量ΔT2、第四目标调整量ΔT4或者第六目标调整量ΔT6。目的都是为了使调整了采集时间后的下一帧图像在到达接收端的显示模块时，刚好赶上显示模块刷新，进而使该下一帧图像能够立即显示在显示模块上，以达到减少整体时延的目的。
当发送端的采集帧率与接收端的显示刷新率是倍数关系时，也可以参照如上所述的方法处理。
本公开实施例提供的技术方案可以包括以下有益效果：在上述技术方案中，发送端首先获取图像采集调整策略，其中，图像采集调整策略是基于接收端的显示模块因刷新而产生的时延delta_t确定出的；之后，根据图像采集调整策略调整发送端要采集的下一帧图像的采集时间。这样，基于接收端的显示模块因刷新而产生的时延delta_t确定出的图像采集调整策略，调整发送端要采集的下一帧图像的采集时间，降低了因显示模块刷新而产生的时延，提高了用户体验。
图8是根据一示例性实施例示出的一种调整图像采集时间的方法的流程图，本实施例以该调整图像采集时间的方法应用于接收端来举例说明。参见图8，该调整图像采集时间的方法可以包括如下几个步骤：
在步骤801中，接收发送端发送的图像。
在步骤802中，记录接收端的显示模块接收到一帧图像的时间t1，以及显示模块显示该帧图像的时间t2。
作为本公开的一个实施例，在如上所述的各个调整图像采集时间的方法中，该图像采集调整策略可以是在T_delta_t大于一时间阈值时，基于T_delta_t生成的。当T_delta_t小于等于该时间阈值时，因显示模块刷新产生的时延比较小，对用户观看视频的体验影响也比较小，此时，可以忽略接收端的显示模块因刷新而产生的时延，发送端可以不调整对下一帧图像的采集时间；但当T_delta_t大于该时间阈值时，用户对时延的体验比较明显，影响了用户的正常观看，因此，此时需要发送端对下一帧图像的采集时间进行调整，以降低时延，提高用户体验。
图9是根据一示例性实施例示出的一种调整图像采集时间的装置的框图，该装置900应用于发送端，该调整图像采集时间的装置900可以通过软件、硬件或者两者的结合实现成为终端的部分或者全部，该终端可以为图1所示实施环境中的发送端。参见图9，该调整图像采集时间的装置900可以包括：
获取模块910，用于为获取图像采集调整策略，其中，图像采集调整策略是基于目标时间差T_delta_t生成的，目标时间差T_delta_t是根据接收端的显示模块接收到一帧图像的时间t1与显示模块显示该帧图像的时间t2之间的时间差delta_t确定出的。
调整模块920，用于根据获取模块910获取到的图像采集调整策略调整发送端要采集的下一帧图像的采集时间。
可选地，所述图像采集调整策略是在所述T_delta_t大于一时间阈值时，基于所述T_delta_t生成的。
可选地，所述装置还包括发送模块，用于实现以下步骤中的一者：
向所述发送端发送所述t1和所述t2；
向所述发送端发送所述t1与所述t2之间的所述时间差delta_t；
向所述发送端发送所述目标时间差T_delta_t，其中，所述T_delta_t等于所述delta_t，或者等于多次确定出的所述delta_t的平均值；
向所述发送端发送根据所述目标时间差T_delta_t生成的所述图像采集调整策略。
可选地，所述图像采集调整策略为：
将所述下一帧图像的采集时间向后调整第一目标调整量ΔT1或向前调整第二目标调整量ΔT2，其中，ΔT1＝T_delta_t或者ΔT1＝T_delta_t-w；ΔT2＝s-T_delta_t或者ΔT2＝s-T_delta_t+w；w表示预定的防抖动冗余时间，s表示所述显示模块的显示刷新间隔的整数倍。
可选地，所述图像采集调整策略为：
当所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长增加时，将所述下一帧图像的采集时间向后调整第三目标调整量ΔT3或者向前调整第四目标调整量ΔT4，其中，ΔT3＝T_delta_t-u1或者ΔT3＝T_delta_t-w-u1；ΔT4＝s-T_delta_t+u1或者ΔT4＝s-T_delta_t+w+u1；w表示预定的防抖动冗余时间，u1表示所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长的增加量，s表示所述显示模块的显示刷新间隔的整数倍；
当所述发送端预估的所述下一帧图像的处理时长相对于处理所述一帧图像的处理时长减少时，将所述下一帧图像的采集时间向后调整第五目标调整量ΔT5或者向前调整第六目标调整量ΔT6，其中，ΔT5＝T_delta_t+u2或者ΔT5＝T_delta_t-w+u2；ΔT6＝s-T_delta_t-u2或者ΔT6＝s-T_delta_t+w-u2；u2表示所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长的减少量。
图10是根据一示例性实施例示出的一种调整图像采集时间的装置的框图，该装置1000应用于接收端，该调整图像采集时间的装置1000可以通过软件、硬件或者两者的结合实现成为终端的部分或者全部，该终端可以为图1所示实施环境中的接收端。参见图10，该调整图像采集时间的装置1000可以包括：
接收模块1010，用于接收发送端发送的图像。
记录模块1020，用于记录接收端的显示模块接收到一帧图像的时间t1，以及所述显示模块显示该帧图像的时间t2，以便所述发送端能够获取到基于目标时间差T_delta_t生成的、用于调整所述发送端要采集的下一帧图像的采集时间的图像采集调整策略，其中所述目标时间差T_delta_t是根据所述t1与所述t2之间的时间差delta_t确定出的。
可选地，所述图像采集调整策略是在所述T_delta_t大于一时间阈值时，基于所述T_delta_t生成的。
请参阅图11，可选地，调整图像采集时间的装置1000还包括：
发送模块1030，用于实现以下步骤中的一者：
向发送端发送t1和t2；
向发送端发送所述t1与所述t2之间的时间差delta_t；
向发送端发送目标时间差T_delta_t，其中，T_delta_t等于delta_t，或者等于多次确定出的delta_t的平均值；
向所述发送端发送根据目标时间差T_delta_t生成的图像采集调整策略。
可选地，所述图像采集调整策略为：
将所述下一帧图像的采集时间向后调整第一目标调整量ΔT1或向前调整第二目标调整量ΔT2，其中，ΔT1＝T_delta_t或者ΔT1＝T_delta_t-w；ΔT2＝s-T_delta_t或者ΔT2＝s-T_delta_t+w；w表示预定的防抖动冗余时间，s表示所述显示模块的显示刷新间隔的整数倍。
可选地，所述图像采集调整策略为：
当所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长增加时，将所述下一帧图像的采集时间向后调整第三目标调整量ΔT3或者向前调整第四目标调整量ΔT4，其中，ΔT3＝T_delta_t-u1或者ΔT3＝T_delta_t-w-u1；ΔT4＝s-T_delta_t+u1或者ΔT4＝s-T_delta_t+w+u1；w表示预定的防抖动冗余时间，u1表示所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长的增加量，s表示所述显示模块的显示刷新间隔的整数倍；
当所述发送端预估的所述下一帧图像的处理时长相对于处理所述一帧图像的处理时长减少时，将所述下一帧图像的采集时间向后调整第五目标调整量ΔT5或者向前调整第六目标调整量ΔT6，其中，ΔT5＝T_delta_t+u2或者ΔT5＝T_delta_t-w+u2；ΔT6＝s-T_delta_t-u2或者ΔT6＝s-T_delta_t+w-u2；u2表示所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长的减少量。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的发送端侧或接收端侧的调整图像采集时间的方法的步骤。
图12是根据一示例性实施例示出的一种电子设备1200的框图。如图12所示，该电子设备1200可以包括：处理器1201，存储器1202。该电子设备1200还可以包括多媒体组件1203，输入/输出(I/O)接口1204，以及通信组件1205中的一者或多者。
其中，处理器1201用于控制该电子设备1200的整体操作，以完成上述的调整图像采集时间的方法中的全部或部分步骤。存储器1202用于存储各种类型的数据以支持在该电子设备1200的操作，这些数据例如可以包括用于在该电子设备1200上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如图像采集调整策略、t1、t2、delta_t、图像、视频等等。该存储器1202可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-OnlyMemory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件1203可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1202或通过通信组件1205发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口1204为处理器1201和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件1205用于该电子设备1200与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件1205可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，电子设备1200可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的调整图像采集时间的方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的调整图像采集时间的方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器1202，上述程序指令可由电子设备1200的处理器1201执行以完成上述的调整图像采集时间的方法。
本实施例的电子设备1200，通过获取图像采集调整策略，其中，图像采集调整策略是基于接收端的显示模块因刷新而产生的时延delta_t确定出的；之后，根据图像采集调整策略调整发送端要采集的下一帧图像的采集时间。这样，基于接收端的显示模块因刷新而产生的时延delta_t确定出的图像采集调整策略，调整发送端要采集的下一帧图像的采集时间，降低了因显示模块刷新而产生的时延，提高了用户体验。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (14)

1.一种调整图像采集时间的方法，其特征在于，应用于发送端，包括：获取图像采集调整策略，其中，所述图像采集调整策略是在目标时间差T_delta_t大于一时间阈值时，基于所述目标时间差T_delta_t生成的，所述目标时间差T_delta_t是根据接收端的显示模块接收到一帧图像的时间t1与所述显示模块显示该帧图像的时间t2之间的时间差delta_t确定出的，所述T_delta_t等于所述delta_t，或者等于多次确定出的所述delta_t的平均值，或者等于多次接收到的所述delta_t的平均值；
根据所述图像采集调整策略，将所述发送端要采集的下一帧图像的采集时间向后调整或向前调整，调整了采集时间后的下一帧图像在到达所述显示模块时，刚好赶上所述显示模块的刷新时间点。
2.根据权利要求1所述的方法，其特征在于，所述图像采集调整策略为：
将所述下一帧图像的采集时间向后调整第一目标调整量ΔT1或向前调整第二目标调整量ΔT2，其中，ΔT1＝T_delta_t或者ΔT1＝T_delta_t-w；ΔT2＝s-T_delta_t或者ΔT2＝s-T_delta_t+w；w表示预定的防抖动冗余时间，s表示所述显示模块的显示刷新间隔的整数倍。
3.根据权利要求1所述的方法，其特征在于，所述图像采集调整策略为：
当所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长增加时，将所述下一帧图像的采集时间向后调整第三目标调整量ΔT3或者向前调整第四目标调整量ΔT4，其中，ΔT3＝T_delta_t-u1或者ΔT3＝T_delta_t-w-u1；ΔT4＝s-T_delta_t+u1或者ΔT4＝s-T_delta_t+w+u1；w表示预定的防抖动冗余时间，u1表示所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长的增加量，s表示所述显示模块的显示刷新间隔的整数倍；
当所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长减少时，将所述下一帧图像的采集时间向后调整第五目标调整量ΔT5或者向前调整第六目标调整量ΔT6，其中，ΔT5＝T_delta_t+u2或者ΔT5＝T_delta_t-w+u2；ΔT6＝s-T_delta_t-u2或者ΔT6＝s-T_delta_t+w-u2；u2表示所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长的减少量。
4.一种调整图像采集时间的方法，其特征在于，应用于接收端，包括：
接收发送端发送的图像；
记录接收端的显示模块接收到一帧图像的时间t1，以及所述显示模块显示该帧图像的时间t2，以便所述发送端能够获取到在目标时间差T_delta_t大于一时间阈值时、基于目标时间差T_delta_t生成的、用于将所述发送端要采集的下一帧图像的采集时间向后调整或向前调整的图像采集调整策略，调整了采集时间后的下一帧图像在到达所述显示模块时，刚好赶上所述显示模块的刷新时间点，其中所述目标时间差T_delta_t是根据所述t1与所述t2之间的时间差delta_t确定出的；
所述方法还包括以下步骤中的一者：
向所述发送端发送所述t1和所述t2；
向所述发送端发送所述t1与所述t2之间的所述时间差delta_t；
向所述发送端发送所述目标时间差T_delta_t，其中，所述T_delta_t等于所述delta_t，或者等于多次确定出的所述delta_t的平均值；
向所述发送端发送根据所述目标时间差T_delta_t生成的所述图像采集调整策略。
5.根据权利要求4所述的方法，其特征在于，所述图像采集调整策略为：
将所述下一帧图像的采集时间向后调整第一目标调整量ΔT1或向前调整第二目标调整量ΔT2，其中，ΔT1＝T_delta_t或者ΔT1＝T_delta_t-w；ΔT2＝s-T_delta_t或者ΔT2＝s-T_delta_t+w；w表示预定的防抖动冗余时间，s表示所述显示模块的显示刷新间隔的整数倍。
6.根据权利要求5所述的方法，其特征在于，所述图像采集调整策略为：
当所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长增加时，将所述下一帧图像的采集时间向后调整第三目标调整量ΔT3或者向前调整第四目标调整量ΔT4，其中，ΔT3＝T_delta_t-u1或者ΔT3＝T_delta_t-w-u1；ΔT4＝s-T_delta_t+u1或者ΔT4＝s-T_delta_t+w+u1；w表示预定的防抖动冗余时间，u1表示所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长的增加量，s表示所述显示模块的显示刷新间隔的整数倍；
当所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长减少时，将所述下一帧图像的采集时间向后调整第五目标调整量ΔT5或者向前调整第六目标调整量ΔT6，其中，ΔT5＝T_delta_t+u2或者ΔT5＝T_delta_t-w+u2；ΔT6＝s-T_delta_t-u2或者ΔT6＝s-T_delta_t+w-u2；u2表示所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长的减少量。
7.一种调整图像采集时间的装置，应用于发送端，其特征在于，所述装置包括：
获取模块，用于获取图像采集调整策略，其中，所述图像采集调整策略是在目标时间差T_delta_t大于一时间阈值时，基于所述目标时间差T_delta_t生成的，所述目标时间差T_delta_t是根据接收端的显示模块接收到一帧图像的时间t1与所述显示模块显示该帧图像的时间t2之间的时间差delta_t确定出的，所述T_delta_t等于所述delta_t，或者等于多次确定出的所述delta_t的平均值，或者等于多次接收到的所述delta_t的平均值；
调整模块，用于根据所述获取模块获取到的所述图像采集调整策略，将所述发送端要采集的下一帧图像的采集时间向后调整或向前调整，调整了采集时间后的下一帧图像在到达所述显示模块时，刚好赶上所述显示模块的刷新时间点。
8.根据权利要求7所述的装置，其特征在于，所述图像采集调整策略为：
将所述下一帧图像的采集时间向后调整第一目标调整量ΔT1或向前调整第二目标调整量ΔT2，其中，ΔT1＝T_delta_t或者ΔT1＝T_delta_t-w；ΔT2＝s-T_delta_t或者ΔT2＝s-T_delta_t+w；w表示预定的防抖动冗余时间，s表示所述显示模块的显示刷新间隔的整数倍。
9.根据权利要求7所述的装置，其特征在于，所述图像采集调整策略为：
当所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长增加时，将所述下一帧图像的采集时间向后调整第三目标调整量ΔT3或者向前调整第四目标调整量ΔT4，其中，ΔT3＝T_delta_t-u1或者ΔT3＝T_delta_t-w-u1；ΔT4＝s-T_delta_t+u1或者ΔT4＝s-T_delta_t+w+u1；w表示预定的防抖动冗余时间，u1表示所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长的增加量，s表示所述显示模块的显示刷新间隔的整数倍；
当所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长减少时，将所述下一帧图像的采集时间向后调整第五目标调整量ΔT5或者向前调整第六目标调整量ΔT6，其中，ΔT5＝T_delta_t+u2或者ΔT5＝T_delta_t-w+u2；ΔT6＝s-T_delta_t-u2或者ΔT6＝s-T_delta_t+w-u2；u2表示所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长的减少量。
10.一种调整图像采集时间的装置，应用于接收端，其特征在于，所述装置包括：
接收模块，用于接收发送端发送的图像；
记录模块，用于记录接收端的显示模块接收到一帧图像的时间t1，以及所述显示模块显示该帧图像的时间t2，以便所述发送端能够获取到在目标时间差T_delta_t大于一时间阈值时、基于所述目标时间差T_delta_t生成的、用于将所述发送端要采集的下一帧图像的采集时间向后调整或向前调整的图像采集调整策略，调整了采集时间后的下一帧图像在到达所述显示模块时，刚好赶上所述显示模块的刷新时间点，其中所述目标时间差T_delta_t是根据所述t1与所述t2之间的时间差delta_t确定出的；
所述装置还包括发送模块，用于实现以下步骤中的一者：
向所述发送端发送所述t1和所述t2；
向所述发送端发送所述t1与所述t2之间的所述时间差delta_t；
向所述发送端发送所述目标时间差T_delta_t，其中，所述T_delta_t等于所述delta_t，或者等于多次确定出的所述delta_t的平均值；
向所述发送端发送根据所述目标时间差T_delta_t生成的所述图像采集调整策略。
11.根据权利要求10所述的装置，其特征在于，所述图像采集调整策略为：
将所述下一帧图像的采集时间向后调整第一目标调整量ΔT1或向前调整第二目标调整量ΔT2，其中，ΔT1＝T_delta_t或者ΔT1＝T_delta_t-w；ΔT2＝s-T_delta_t或者ΔT2＝s-T_delta_t+w；w表示预定的防抖动冗余时间，s表示所述显示模块的显示刷新间隔的整数倍。
12.根据权利要求10所述的装置，其特征在于，所述图像采集调整策略为：
当所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长增加时，将所述下一帧图像的采集时间向后调整第三目标调整量ΔT3或者向前调整第四目标调整量ΔT4，其中，ΔT3＝T_delta_t-u1或者ΔT3＝T_delta_t-w-u1；ΔT4＝s-T_delta_t+u1或者ΔT4＝s-T_delta_t+w+u1；w表示预定的防抖动冗余时间，u1表示所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长的增加量，s表示所述显示模块的显示刷新间隔的整数倍；
当所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长减少时，将所述下一帧图像的采集时间向后调整第五目标调整量ΔT5或者向前调整第六目标调整量ΔT6，其中，ΔT5＝T_delta_t+u2或者ΔT5＝T_delta_t-w+u2；ΔT6＝s-T_delta_t-u2或者ΔT6＝s-T_delta_t+w-u2；u2表示所述发送端预估的所述下一帧图像的处理时长相对于所述一帧图像的处理时长的减少量。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。
14.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-6中任一项所述方法的步骤。
CN201811217725.0A 2018-10-18 2018-10-18 调整图像采集时间的方法、装置、介质及电子设备 Active CN111083431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811217725.0A CN111083431B (zh) 2018-10-18 2018-10-18 调整图像采集时间的方法、装置、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811217725.0A CN111083431B (zh) 2018-10-18 2018-10-18 调整图像采集时间的方法、装置、介质及电子设备

Publications (2)

Publication Number Publication Date
CN111083431A CN111083431A (zh) 2020-04-28
CN111083431B true CN111083431B (zh) 2021-05-04

Family

ID=70308757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811217725.0A Active CN111083431B (zh) 2018-10-18 2018-10-18 调整图像采集时间的方法、装置、介质及电子设备

Country Status (1)

Country Link
CN (1) CN111083431B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111954001A (zh) * 2020-07-31 2020-11-17 西安万像电子科技有限公司 图像编码方法、装置、编码端设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1770817A (zh) * 2005-09-20 2006-05-10 乐金电子（沈阳）有限公司 接收数字广播信号的机顶盒
CN102665040A (zh) * 2010-10-13 2012-09-12 精工爱普生株式会社 定时发生器、摄影装置以及点时钟输出方法
US8570375B1 (en) * 2007-12-04 2013-10-29 Stoplift, Inc. Method and apparatus for random-access review of point of sale transactional video
CN103402060A (zh) * 2013-08-14 2013-11-20 中国科学院长春光学精密机械与物理研究所 Dmd灰度景象播放器与图像采集系统的同步方法
CN104144312A (zh) * 2013-05-09 2014-11-12 腾讯科技（深圳）有限公司 一种视频处理方法和相关装置
CN105282547A (zh) * 2014-07-03 2016-01-27 深圳市腾讯计算机系统有限公司 一种视频编码的码率控制方法及装置
CN105491288A (zh) * 2015-12-08 2016-04-13 深圳市阿格斯科技有限公司 图像调整方法、装置及系统
CN106526685A (zh) * 2015-09-09 2017-03-22 同方威视技术股份有限公司 一种行李物品的安检方法和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1770817A (zh) * 2005-09-20 2006-05-10 乐金电子（沈阳）有限公司 接收数字广播信号的机顶盒
US8570375B1 (en) * 2007-12-04 2013-10-29 Stoplift, Inc. Method and apparatus for random-access review of point of sale transactional video
CN102665040A (zh) * 2010-10-13 2012-09-12 精工爱普生株式会社 定时发生器、摄影装置以及点时钟输出方法
CN104144312A (zh) * 2013-05-09 2014-11-12 腾讯科技（深圳）有限公司 一种视频处理方法和相关装置
CN103402060A (zh) * 2013-08-14 2013-11-20 中国科学院长春光学精密机械与物理研究所 Dmd灰度景象播放器与图像采集系统的同步方法
CN105282547A (zh) * 2014-07-03 2016-01-27 深圳市腾讯计算机系统有限公司 一种视频编码的码率控制方法及装置
CN106526685A (zh) * 2015-09-09 2017-03-22 同方威视技术股份有限公司 一种行李物品的安检方法和系统
CN105491288A (zh) * 2015-12-08 2016-04-13 深圳市阿格斯科技有限公司 图像调整方法、装置及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
视频实时传输的研究与实现;程灏;《西安文理学院学报(自然科学版)》;20050910;第8卷(第3期);全文 *
面向嵌入式系统的音视频解码与同步播放实现;张森永;《应用科学学报》;20180530;第36卷(第3期);全文 *

Also Published As

Publication number Publication date
CN111083431A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN107493597B (zh) 降低移动终端功耗的方法、装置及系统
CN110611829B (zh) 视频预加载的方法、装置、电子设备及存储介质
CN106506448B (zh) 直播显示方法、装置及终端
US11490156B2 (en) Delay control method, delay control apparatus, terminal device and storage medium
EP2986020B1 (en) Method and apparatus for adjusting video quality based on network environment
US20140361955A1 (en) Means for dynamically regulating the time-out characteristics of a display of an electronic device
CN109698794B (zh) 一种拥塞控制方法、装置、电子设备及存储介质
EP3382527B1 (en) Method and apparatus for managing a shared storage system
CN107197320B (zh) 视频直播方法、装置和系统
US9344678B2 (en) Information processing apparatus, information processing method and computer-readable storage medium
US20150035934A1 (en) Video message record terminal, video message transmitting server and method for leaving video message
CN111259246A (zh) 信息推送方法、装置、电子设备及存储介质
CN111083431B (zh) 调整图像采集时间的方法、装置、介质及电子设备
CN107979858B (zh) 数据通路切换方法、装置、终端及计算机可读存储介质
US20230269031A1 (en) Method and device for hybrid automatic repeat request (harq) transmission, and storage medium
CN111953980B (zh) 视频处理方法及装置
CN109831538B (zh) 一种消息处理方法、装置、服务器、终端及介质
CN112702718A (zh) 一种通信方法、装置、设备及存储介质
US20160050398A1 (en) Method and apparatus for adjusting video quality based on network environment
CN106254810A (zh) 一种视频通话方法和装置
CN107026941B (zh) 未读消息的回复处理方法和装置
CN107087254B (zh) 发包方法、装置和蓝牙低能耗从设备
US8279295B2 (en) Image delivery apparatus, image delivery system, image delivery method and program
CN114272600A (zh) 一种控制权切换系统、方法、装置、设备及存储介质
CN114285956A (zh) 视频分享电路、方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100085 unit C, building C, lin66, Zhufang Road, Qinghe, Haidian District, Beijing

Applicant after: Beijing Xiaomi pinecone Electronic Co., Ltd

Address before: 100085 Beijing city Haidian District Qinghe Shun Yip things Park Building 3 unit A

Applicant before: BEIJING PINECONE ELECTRONICS Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant