CN112449172A - 一种vr设备多摄像头曝光同步方法 - Google Patents

一种vr设备多摄像头曝光同步方法 Download PDF

Info

Publication number
CN112449172A
CN112449172A CN202110133234.3A CN202110133234A CN112449172A CN 112449172 A CN112449172 A CN 112449172A CN 202110133234 A CN202110133234 A CN 202110133234A CN 112449172 A CN112449172 A CN 112449172A
Authority
CN
China
Prior art keywords
exposure
camera
open flow
command
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110133234.3A
Other languages
English (en)
Other versions
CN112449172B (zh
Inventor
李璧名
王西颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Qiyuan Technology Co.,Ltd.
Original Assignee
Nanjing Iqiyi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Iqiyi Intelligent Technology Co Ltd filed Critical Nanjing Iqiyi Intelligent Technology Co Ltd
Priority to CN202110133234.3A priority Critical patent/CN112449172B/zh
Publication of CN112449172A publication Critical patent/CN112449172A/zh
Application granted granted Critical
Publication of CN112449172B publication Critical patent/CN112449172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/0635Clock or time synchronisation in a network
    • H04J3/0638Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0658Clock or time synchronisation among packet nodes
    • H04J3/0661Clock or time synchronisation among packet nodes using timestamps

Abstract

本发明实施例公开了一种VR设备多摄像头曝光同步方法,该方法包括预先根据曝光同步涉及的硬件设备创建设备ID集合和用于缓存开流命令的专用队列,硬件设备包括多摄像头;待多摄像头均打开后,获取帧图像请求信息;响应帧图像请求信息并生成开流命令,判断开流命令对应的设备是否在ID集合内;若在,则将开流命令逐一缓存至专用队列中,并在缓存数到达预设阈值后,集中同时将专用队列中的所有开流命令下发至多摄像头;循环接收多摄像头发送的帧图像,并执行曝光时间戳差值收敛逻辑直至差值收敛至期望阈值范围内,完成曝光同步。本发明的技术方案能够更为高效地完成VR设备摄像头曝光同步,耗时短,效率高,具有很强的应用前景。

Description

一种VR设备多摄像头曝光同步方法
技术领域
本发明涉及VR设备技术领域,尤其涉及一种VR设备多摄像头曝光同步方法。
背景技术
随着科技的发展,VR设备逐渐走入人们的视野。在VR 设备中,大多采用多个摄像头协同工作来完成对手柄控制器的空间位置跟踪。为了保障手柄的空间位置计算结果的高精确度,必须要确保使用的多个摄像头实时生成的帧图像都应尽量是同一时刻曝光的,即多个摄像头的曝光起始时间,帧间隔,曝光时间等参数都要近乎一致。如果曝光不同步,则最终手柄空间位置计算的结果可能会“差之毫厘谬以千里”。因此,在使用多摄像头进行手柄追踪时,必须完成多摄像头间的曝光同步工作。
在曝光同步工作中,控制曝光起始时间的同步性是最重要也是最复杂的,如图1所示,目前多摄像头曝光同步的方法主要分为硬件同步和软件同步两类。其中硬件同步是指多摄像头在硬件连接上,有将多个摄像头的Vsync硬件引脚相互物理连接起来,利用摄像头模组上电工作后可输出/输入Vsync 电信号,把其中一颗摄像头作为主摄像头并输出Vsync电信号,其余摄像头作为从摄像头并接收来自主摄像头的Vsync信号。作为从摄像头,需要在等待接收到Vsync信号后,再开始曝光生成一帧图像。因此多摄像头间通过周期性的Vsync信号控制,来实现曝光同步。软件同步是指多摄像头间物理连接上是相互独立的,并不通过Vsync硬件引脚相连进行同步控制,而是完全依靠软件端的逻辑功能来不断地实时调整/控制每个独立摄像头的运行参数与状态,来实现多摄像头的曝光同步。当多个摄像头分别被独立地打开并输出帧图像后,软件端就开始对收到的每一路摄像头的帧图像进行处理,比较和计算帧图像间的时间戳差异(时间戳即为一帧图像的曝光起始时刻对应的时间点),再根据时间戳差值换算出需要调整的帧间隔,曝光时间等摄像头设置参数,并将参数下发到摄像头硬件寄存器中,待参数生效并产生对应的帧图像,再继续计算时间戳差异值,并调整设置参数。如此往复,直到各个摄像头的帧图像时间戳差异收敛到可接受范围内,一般是微秒级, 曝光同步完成。
然而,就目前的常见的硬件同步和软件同步两类方法,均存在着一定的局限性:
一是硬件同步的方法耗时短,但鲁棒性不高。它对Camera硬件设计及性能的稳定性有较大依赖,同时对软件端的运行可靠性也有较高的要求。如果硬件信号(Vsync)出现了毫秒级的偏差,或者软件端在某个摄像头上出现了掉帧现象,都容易引起多个摄像头同时发生曝光不同步,甚至会造成多个摄像头无法继续生成帧图像,导致整个camera系统崩溃。
二是软件同步的方法鲁棒性更好,但耗时比较长。首先由于多摄像头是相互独立工作的,它们被VR应用程序逐一打开并各自独立输出帧图像,那么摄像头间的初始帧图像时间戳差值是在一定范围内随机分布的。理论上,这个时间戳差值与摄像头的帧间隔有关,随机分布在(0~帧间隔/2)时间内。假设摄像头运行帧率为30FPS(帧间隔33.33ms),则摄像头间的帧图像时间戳差值在0 ~ 16.67ms内随机分布。
利用软件同步方法,对上述时间戳差值(0 ~ 16.67ms内随机分布)进行收敛工作,一般会分为粗调和微调两个阶段,粗调阶段是将时间戳差值从毫秒级收敛到微秒级,微调阶段是在微秒级内进一步收敛差值,直到收敛到目标范围,整个过程一般需要消耗约几十帧图像。以摄像头运行帧率为30FPS(帧间隔33.33ms)为例,假设收敛过程需消耗30帧图像,则实现曝光同步所消耗总时间约为 33.33ms * 30 = 1000ms。对于VR系统体验来说,追求高性能,低延时的技术指标。但1000ms的耗时显然不能满足VR体验,那么目前的软件同步方法的耗时问题需要解决。
综上所述,当前现有技术缺少能够高效实现VR设备摄像头曝光同步的方法。
发明内容
有鉴于此,本发明实施例提出一种VR设备多摄像头曝光同步方法。
本发明的实施例提出一种VR设备多摄像头曝光同步方法,包括:
预先根据曝光同步涉及的硬件设备创建设备ID集合和用于缓存开流命令的专用队列,所述硬件设备包括多摄像头;
响应开命令,待多摄像头均打开后,获取帧图像请求信息;
响应所述帧图像请求信息并生成所述开流命令,判断所述开流命令对应的设备是否在所述设备ID集合内;
若在所述设备ID集合内,则将所述开流命令逐一缓存至所述专用队列中,并在缓存数到达预设阈值后,集中同时将所述专用队列中的所有开流命令下发至多摄像头;
循环接收多摄像头发送的帧图像,并执行曝光时间戳差值收敛逻辑直至所述曝光时间戳差值收敛至期望阈值范围内,完成曝光同步。
进一步地,所述开流命令为系统层向所述多摄像头设置的寄存器参数,所述开流命令在逻辑层次顶端包括4类参数,在逻辑层次底端包括1类参数;所述专用队列用于缓存所述开流命令并进行缓存数计数,所述设备ID集合包括需曝光同步的多摄像头ID信息。
进一步地,将所述开流命令逐一缓存至所述专用队列中,并在缓存数到达预设阈值后,集中同时将所述专用队列中的所有开流命令下发至多摄像头包括:
将所述开流命令逐一缓存至所述专用队列中,并在所述专用队列中已缓存的开流命令缓存数计数加1;
判断缓存数是否达到所述预设阈值;
若达到所述预设阈值,则集中同时将所述专用队列中的所有开流命令下发至多摄像头;
若未达到所述预设阈值,则继续对开流命令继续缓存。
进一步地,则集中同时将所述专用队列中的所有开流命令下发至多摄像头包括:
集中同时分别向所述设备ID集合中涉及的多摄像头设备发送所述开流命令;
判断所述开流命令是否发送成功;
若发送成功,则清除所述专用队列中对应的开流命令;
若未发送成功,则报告错误或重新发送相应的开流命令。
进一步地,所述若未发送成功,则报告错误或重新发送相应的开流命令包括:
若未发送成功,则判断是否达到预设重发次数;
若已达到所述预设重发次数,则报告错误并进行相应错误处理;
若未达到所述预设重发次数,则重新发送相应的开流命令直至发送成功或达到所述预设重发次数。
进一步地,所述循环接收多摄像头发送的帧图像,并执行曝光时间戳差值收敛逻辑直至所述曝光时间戳差值收敛至期望阈值范围内,完成曝光同步包括:
接收多摄像头返回的所述帧图像,读取每帧图像的时间戳附属信息,计算所述曝光时间戳差值;
判断所述曝光时间戳差值是否在期望阈值范围内;
若在范围内,则完成曝光同步;
若未在范围内,则根据所述曝光时间戳差值计算需要调整的曝光行数形成调整参数,并将所述调整参数设置到硬件寄存器中;
重新接收参数生效后的新帧图像,并循环进行判断、计算和调整直至所述曝光时间戳差值满足所述期望阈值范围。
进一步地,所述时间戳附属信息为帧图像生成时的物理曝光开始时刻所对应的系统时间,所述调整的曝光行数等于所述曝光时间戳差值与摄像头曝光一行所需时间的比值。
进一步地,所述期望阈值范围为0~0.1ms。
进一步地,所述预设重发次数为1次或2次。
进一步地,所述预设阈值小于或等于所述硬件设备的总摄像头个数。
本发明的又一实施例提出一种终端,包括:处理器和存储器,所述存储器存储有计算机程序,所述处理器用于执行所述计算机程序以实施上述的同步方法。
本发明的再一实施例提出一种计算机可读存储介质,其存储有计算机程序,在所述计算机程序被执行时,实施根据上述的支持VR一体机多维度内容聚合展示的方法。
本发明实施例提出的一种VR设备多摄像头曝光同步方法,通过在系统层设置专用队列缓存开流命令,采用集中同时的方式向硬件下发开流命令,从而保证多摄像头能够在同一时间接收到开流命令,多摄像头收到开流命令的时间越统一,则它们输出帧图像的起始时间点就越接近,进而减少时间戳差异值,更为高效地完成VR设备摄像头曝光同步。相对于现有技术而言,本发明实施例的方法在系统层设置开流命令到硬件设备的软件执行过程逻辑简单且执行速度迅速,精度可达微秒级,在多个摄像头输出帧图像的第一帧,就能够将时间戳差异控制在0.1ms以内,相比之前的时间戳差异在0 ~ 16.67ms内随机分布,提高了数十倍。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对本发明保护范围的限定。在各个附图中,类似的构成部分采用类似的编号。
图1示出了多摄像头曝光同步的方法类别图;
图2示出了本发明实施例一种VR设备多摄像头曝光同步方法流程图;
图3示出了本发明实施例步骤S104方法流程图;
图4示出了本发明实施例步骤S2031方法流程图;
图5示出了本发明实施例步骤S105方法流程图;
图6示出了本发明实施例另一种VR设备多摄像头曝光同步方法流程图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
请参照图2,本实施例提出一种VR设备多摄像头曝光同步方法,应用于VR设备多摄像头场景,在camera系统层设计了专用队列,通过对多摄像头的开流命令进行缓存,并设计了逻辑方案。在条件满足时,适时地控制多摄像头输出帧图像,可以有效解决软件曝光同步方法的耗时较长问题。
一般的,在软件逻辑上,VR Camera软件控制部分大致分为两个逻辑层次,即VRCamera应用与服务层、Camera系统层。其中,VR Camera应用与服务层程序通过和Camera系统层的交互,完成诸如Camera的打开,参数设置以及帧图像的请求(capture Request)与图像结果(capture Result)处理等各种操作;Camera系统层一方面负责把应用程序的交互请求转化为camera硬件设备能够执行并响应的控制命令并下发到对应的camera硬件中,负责搭建保障Camera正常运行所需的软硬件环境与链路,另一方面负责把Camera硬件产生的帧图像传递到Camera应用与服务层。
本发明实施例则以系统侧为基础对VR设备多摄像头曝光同步方法继续阐述,如图2所示,一种VR设备多摄像头曝光同步方法,包括:
步骤S101,预先根据曝光同步涉及的硬件设备创建设备ID集合和用于缓存开流命令的专用队列,硬件设备包括多摄像头;
步骤S102,响应开命令,待多摄像头均打开后,获取帧图像请求信息;
步骤S103,响应帧图像请求信息并生成开流命令,判断开流命令对应的设备是否在设备ID集合内;
若在设备ID集合内,则执行步骤S1041,将开流命令逐一缓存至专用队列中,并在缓存数到达预设阈值后,集中同时将专用队列中的所有开流命令下发至多摄像头;若不在设备ID集合内,则执行步骤S1042,按照一般流程下发开流命令。
集中同时将专用队列中的所有开流命令下发至多摄像头后,执行步骤S105,循环接收多摄像头发送的帧图像,并执行曝光时间戳差值收敛逻辑直至曝光时间戳差值收敛至期望阈值范围内,完成曝光同步。
示范性地,让camera硬件输出图像,软件端需根据camera设计规则向camera硬件有序地设置多类寄存器参数,如初始化参数,分辨率与帧率参数,开流参数,曝光参数,gain参数,同步参数等。当VR camera应用程序开始工作的时候,会与Camera系统层交互,分别打开多个摄像头并不断请求帧图像。Camera系统层响应交互请求时,将交互请求转化为一系列的相关设置命令发设置到对应硬件设备中,让硬件设备工作起来并输出帧图像,其中涉及一种对摄像头硬件的寄存器设置命令是开流(streamon)命令。开流命令为系统层向多摄像头设置的寄存器参数,开流命令在逻辑层次顶端包括4类参数,在逻辑层次底端包括1类参数;设置参数个数与方案在软件上实现的逻辑位置有关。在逻辑层次顶端,它有4个参数,分别是session_handle, device_handle, device_index, streamon_setting; 在逻辑层次底端,只有streamon_setting。
如图3所示,步骤S104包括:
步骤S201,将开流命令逐一缓存至专用队列中,并在专用队列中已缓存的开流命令缓存数计数加1;
步骤S202,判断缓存数是否达到预设阈值;
若达到预设阈值,则执行步骤S2031,集中同时将专用队列中的所有开流命令下发至多摄像头;若未达到预设阈值,则执行步骤S2032,继续对开流命令进行缓存。
示范性地,专用队列用于缓存开流命令并进行缓存数计数,计数记录的是队列里面已经存了几个摄像头的开流命令,一个队列的最大容量就是VR设备的camera总个数,并且只保存开流命令相关的设置参数。设备ID集合包括需曝光同步的多摄像头ID信息。本发明实施例在Camera系统层新增并维护一个专用队列,该专用队列用于缓存Camera系统层向camera硬件发送的开流命令。在Camera系统层,预先根据曝光同步涉及到的camera ID与个数,设定一个预设阈值来表征专用队列中可存储的开流命令最大个数,同时设定一个camera ID集合,表征VR设备中的需要进行曝光同步的camera ID。根据上述步骤,每当Camera系统层要执行向摄像头硬件发送开流命令的时候,都要判断开流命令所属cameraID是否在预设camera ID集合中。如果在集合中,则将此开流命令及其参数都暂时保存到一个专用队列里,并为队列中当前已缓存的命令个数计数加1;若不在集合中,则按照正常流程下发开流命令。
需要说明的是,由于VR设备上的多个摄像头的功能可能不尽相同,根据功能设计,需要曝光同步的摄像头个数并不一定等于总摄像头个数。因此要根据实际功能需求,来设定队列请求的个数预设阈值。只有预设camera ID的开流命令,才会加入队列中。
如图4所示,S2031包括:
步骤S301,集中同时分别向设备ID集合中涉及的多摄像头设备发送开流命令;
步骤S302,判断开流命令是否发送成功;
若发送成功,则执行步骤S3031,清除专用队列中对应的开流命令;
若未发送成功,则执行步骤S3032,报告错误或重新发送相应开流命令。
示范性地,当队列中有新的开流命令加入时,判断队列中已缓存的命令个数是否达到了设定阈值。如果个数没有达到设定阈值,则跳过向其对应的camera硬件设备发送开流命令的寄存器设置,并继续等待新的命令加入到队列中;如果队列中的命令个数达到了设定阈值,则集中同时分别将队列中所有开流命令发送给对应的camera硬件设备。也就是说,当摄像头打开成功,必要参数配置成功后,队列中开流命令个数达到阈值时,系统层集中同时向硬件设备发送对应的开流命令。在发送成功的情况下在专用队列中清除相应的开流命令,不成功则重新发送开流命令或报错。在硬件设备收到请求后,会各自返回帧图像。
步骤S3032包括:若未发送成功,则判断是否达到预设重发次数;
若已达到预设重发次数,则报告错误并进行相应错误处理;若未达到预设重发次数,则重新发送相应的开流命令直至发送成功或达到预设重发次数。
示范性地,若发送失败,则根据既定的重传次数限制(即预设重发次数),重新向camera硬件设备发送对应的开流设置,直到发送成功或者达到最大重传次数。在工程中,预设重发次数一般设定为1次或2次。每个camera硬件设备收到开流的寄存器设置后,根据已配置的参数开始输出帧图像。
如图5所示,步骤S105包括:
步骤S401,接收多摄像头返回的帧图像,读取每帧图像的时间戳附属信息,计算曝光时间戳差值。这里,时间戳附属信息为帧图像生成时的物理曝光开始时刻所对应的系统时间。
步骤S402,判断曝光时间戳差值是否在期望阈值范围内;
若在范围内,则执行步骤S4031,完成曝光同步;若未在范围内,则执行步骤S4032,则根据曝光时间戳差值计算需要调整的曝光行数形成调整参数,并将调整参数设置到硬件寄存器中;
步骤S404,重新接收参数生效后的新帧图像,并循环进行判断、计算和调整直至曝光时间戳差值满足期望阈值范围,一般地,期望阈值范围为0~0.1ms。
示范性地,VR软件程序收到各个摄像头的帧图像后,会判断帧图像时间戳差异,执行时间戳收敛计算过程,直到曝光时间戳差异收敛到期望阈值范围内。时间戳差异的判断方法为:每一帧图像都带有一个时间戳(timestamps)附属信息,表示这一帧图像生成时候的物理曝光开始时刻的系统时间。软件会不断读取每帧图像的时间戳附属信息,横向比较多路camera图像间的时间戳做差比较,进而得到曝光时间戳差值。如果时间戳差值未在期望阈值范围,则会根据差值换算出需要调整的曝光行数(调整的曝光行数等于曝光时间戳差值与摄像头曝光一行所需时间的比值),并把调整参数设置到camera硬件寄存器中,之后等待参数生效后的新图像生成,循环进行再比较,再换算,再设置的流程,直至曝光时间戳差值处于期望阈值范围内。
在现有的软件同步方案中,由于每个摄像头被VR Camera应用程序打开的时机是独立且随机的,无时间同步机制,而且camera系统层执行开流命令之前还有比较耗时的搭建camera运行环境的过程,其在各个camera上的耗时差异存在不确定性。“打开摄像头时间的随机性”和“准备必要运行环境所需的耗时差异”导致现有软件同步方案的多摄像头初始帧图像时间戳差异呈随机分布态。但以上两个因素都发生在开流命令之前,因此大大降低了同步效率。参照图6,本发明实施例缓冲多摄像头的开流命令到专用队列中,当开流命令数量达到预先设定阈值后,再集中同时给对应摄像头硬件下发开流命令的方式,可有效消除开流前的各种因素(包括上述两个主要影响因素)对多摄像头间初始帧图像时间戳差异的造成的影响。
不难理解,多摄像头收到开流命令的时间越统一,则越能够保证输出帧图像的起始时间点的同时性,进而减少了而后再调整时间戳差异的时间。利用本实施例提供的方法,Camera系统层设置开流命令到硬件设备的软件执行过程逻辑简单且执行速度快,精度可达微秒级。在多个摄像头输出帧图像的第一帧,就能够将时间戳差异控制在0.1ms以内,相比之前的时间戳差异在0 ~ 16.67ms内随机分布,提高了数十倍。需要说明的是,根据工程实践,应用本发明实施例多摄像头输出的第一帧的时间戳差异已控制在0.1ms以内,已达到业界采用硬件同步方案的曝光同步控制精度水准,满足多数使用场景。即对摄像头曝光同步性能无过高要求的使用场景来说,采用本发明实施例方案,在系统正常流畅运行的状态下,多摄像头输出第一帧图像,就已经完成了曝光同步。从技术角度分析,本发明实施例提供的方法能够达到比0.1ms更高的同步精度,理论极限可达到“差值小于camera 硬件曝光一行所需的时间”,用公式可表示为“差值 < 1*1000/(帧率*帧曝光行数) (ms)”。例如,某摄像头运行在每秒30帧,其每帧所需曝光行数是3600行,则 1*1000/(30*3660) =0.009 ms,则表示此摄像头硬件条件下,曝光同步时间戳差异可控制在0.009ms以内。相比于现有技术通过多环节时间戳调整所花费的时间,本实施例的同步能显著增加同步效率。
并且,即使帧图像初始的曝光时间戳差值超过期望阈值,由于差异精度已经在微秒级,那么通过收敛程序直接进行微调,即可迅速地完成时间戳差异调整,通常5帧内可完成。在摄像头运行帧率为30FPS(帧间隔33.33ms)的情况下,5帧曝光同步调整所需时间为33.33ms * 5 = 165 ms内。则采用本实施例方法完成曝光同步的理论耗时为0~165 ms,相比通常的方案耗时约1000ms 。由此可见,本发明实施例不仅具备较好的鲁棒性,且耗时极短,显著提升了同步曝光效率,符合VR系统高性能,低延时的技术追求。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种VR设备多摄像头曝光同步方法,其特征在于,包括:
根据曝光同步涉及的硬件设备创建设备ID集合和用于缓存开流命令的专用队列,所述硬件设备包括多摄像头;
响应开命令,待多摄像头均打开后,获取帧图像请求信息;
响应所述帧图像请求信息并生成所述开流命令,判断所述开流命令对应的设备是否在所述设备ID集合内;
若在所述设备ID集合内,则将所述开流命令缓存至所述专用队列中,并在缓存数到达预设阈值后,集中同时将所述专用队列中的所有开流命令下发至多摄像头;
接收多摄像头发送的帧图像,并执行曝光时间戳差值收敛逻辑直至所述曝光时间戳差值收敛至期望阈值范围内,完成曝光同步。
2.根据权利要求1所述的一种VR设备多摄像头曝光同步方法,其特征在于,所述开流命令为系统层向所述多摄像头设置的寄存器参数,所述开流命令在逻辑层次顶端包括4类参数,在逻辑层次底端包括1类参数;所述专用队列用于缓存所述开流命令并进行缓存数计数,所述设备ID集合包括需曝光同步的多摄像头ID信息。
3.根据权利要求2所述的一种VR设备多摄像头曝光同步方法,其特征在于,将所述开流命令缓存至所述专用队列中,并在缓存数到达预设阈值后,集中同时将所述专用队列中的所有开流命令下发至多摄像头包括:
将所述开流命令逐一缓存至所述专用队列中,并将所述专用队列中已缓存的开流命令缓存数计数加1;
判断缓存数是否达到所述预设阈值;
若达到所述预设阈值,则集中同时将所述专用队列中的所有开流命令下发至多摄像头;
若未达到所述预设阈值,则继续对开流命令进行缓存。
4.根据权利要求3所述的一种VR设备多摄像头曝光同步方法,其特征在于,所述则集中同时将所述专用队列中的所有开流命令下发至多摄像头包括:
集中同时分别向所述设备ID集合中涉及的多摄像头设备发送所述开流命令;
判断所述开流命令是否发送成功;
若发送成功,则清除所述专用队列中对应的开流命令;
若未发送成功,则报告错误或重新发送相应的开流命令。
5.根据权利要求4所述的一种VR设备多摄像头曝光同步方法,其特征在于,所述若未发送成功,则报告错误或重新发送相应的开流命令包括:
若未发送成功,则判断是否达到预设重发次数;
若已达到所述预设重发次数,则报告错误并进行相应错误处理;
若未达到所述预设重发次数,则重新发送相应的开流命令直至发送成功或达到所述预设重发次数。
6.根据权利要求2所述的一种VR设备多摄像头曝光同步方法,其特征在于,所述接收多摄像头发送的帧图像,并执行曝光时间戳差值收敛逻辑直至所述曝光时间戳差值收敛至期望阈值范围内,完成曝光同步包括:
接收多摄像头返回的所述帧图像,读取每帧图像的时间戳附属信息,计算所述曝光时间戳差值;
判断所述曝光时间戳差值是否在期望阈值范围内;
若在范围内,则完成曝光同步;
若未在范围内,则根据所述曝光时间戳差值计算需要调整的曝光行数形成调整参数,并将所述调整参数设置到硬件寄存器中;
重新接收参数生效后的新帧图像,并循环进行判断、计算和调整直至所述曝光时间戳差值满足所述期望阈值范围。
7.根据权利要求6所述的一种VR设备多摄像头曝光同步方法,其特征在于,所述时间戳附属信息为帧图像生成时的物理曝光开始时刻所对应的系统时间,所述调整的曝光行数等于所述曝光时间戳差值与摄像头曝光一行所需时间的比值。
8.根据权利要求7所述的一种VR设备多摄像头曝光同步方法,其特征在于,所述期望阈值范围为0~0.1ms。
9.根据权利要求5所述的一种VR设备多摄像头曝光同步方法,其特征在于,所述预设重发次数为1次或2次。
10.根据权利要求3所述的一种VR设备多摄像头曝光同步方法,其特征在于,所述预设阈值小于或等于所述硬件设备的总摄像头个数。
CN202110133234.3A 2021-02-01 2021-02-01 一种vr设备多摄像头曝光同步方法 Active CN112449172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110133234.3A CN112449172B (zh) 2021-02-01 2021-02-01 一种vr设备多摄像头曝光同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110133234.3A CN112449172B (zh) 2021-02-01 2021-02-01 一种vr设备多摄像头曝光同步方法

Publications (2)

Publication Number Publication Date
CN112449172A true CN112449172A (zh) 2021-03-05
CN112449172B CN112449172B (zh) 2021-04-23

Family

ID=74739764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110133234.3A Active CN112449172B (zh) 2021-02-01 2021-02-01 一种vr设备多摄像头曝光同步方法

Country Status (1)

Country Link
CN (1) CN112449172B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113949784A (zh) * 2021-09-03 2022-01-18 北京旷视科技有限公司 同步成像控制方法、装置及存储介质
CN114189406A (zh) * 2021-12-16 2022-03-15 深圳市超视网络技术有限公司 一种基于物联网的边缘计算网关
CN115550605A (zh) * 2022-08-19 2022-12-30 南京邮电大学 电网多媒体调度系统的故障检测方法及其自动检测设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100110278A1 (en) * 2008-10-30 2010-05-06 Masaki Higurashi Imaging apparatus
CN106131419A (zh) * 2016-07-21 2016-11-16 北京小鸟看看科技有限公司 一种用于同步多个无线摄像设备的方法和系统及虚拟现实系统
CN108848354A (zh) * 2018-08-06 2018-11-20 四川省广播电视科研所 一种vr内容摄像系统及其工作方法
CN109587405A (zh) * 2018-10-24 2019-04-05 科大讯飞股份有限公司 时间同步方法和装置
CN110460824A (zh) * 2019-07-03 2019-11-15 青岛小鸟看看科技有限公司 一种图像数据的帧同步方法和相机
CN112203076A (zh) * 2020-09-16 2021-01-08 青岛小鸟看看科技有限公司 Vr系统中多摄像头曝光中心点的对齐方法、系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100110278A1 (en) * 2008-10-30 2010-05-06 Masaki Higurashi Imaging apparatus
CN106131419A (zh) * 2016-07-21 2016-11-16 北京小鸟看看科技有限公司 一种用于同步多个无线摄像设备的方法和系统及虚拟现实系统
CN108848354A (zh) * 2018-08-06 2018-11-20 四川省广播电视科研所 一种vr内容摄像系统及其工作方法
CN109587405A (zh) * 2018-10-24 2019-04-05 科大讯飞股份有限公司 时间同步方法和装置
CN110460824A (zh) * 2019-07-03 2019-11-15 青岛小鸟看看科技有限公司 一种图像数据的帧同步方法和相机
CN112203076A (zh) * 2020-09-16 2021-01-08 青岛小鸟看看科技有限公司 Vr系统中多摄像头曝光中心点的对齐方法、系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113949784A (zh) * 2021-09-03 2022-01-18 北京旷视科技有限公司 同步成像控制方法、装置及存储介质
CN114189406A (zh) * 2021-12-16 2022-03-15 深圳市超视网络技术有限公司 一种基于物联网的边缘计算网关
CN115550605A (zh) * 2022-08-19 2022-12-30 南京邮电大学 电网多媒体调度系统的故障检测方法及其自动检测设备

Also Published As

Publication number Publication date
CN112449172B (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
CN112449172B (zh) 一种vr设备多摄像头曝光同步方法
US7039012B2 (en) Process execution method and apparatus
JP5977498B2 (ja) 撮像装置、撮像装置の制御方法
CN114064211B (zh) 一种基于端-边-云计算架构的视频流分析系统及方法
US20140119243A1 (en) Remote Conference Saving System and Storage Medium
US8428065B2 (en) Group communication system achieving efficient total order and state synchronization in a multi-tier environment
DE102019119284A1 (de) Drahtlose Kommunikation mit Peripheriegeräten
WO2023045551A1 (zh) 摄像头控制方法、系统、电子设备和存储介质
JP2007505536A (ja) ビデオシステム
CN109949203B (zh) 一种异构cpu多路4k超高清视频处理装置与控制方法
CN111211988A (zh) 面向分布式机器学习的数据传输方法及系统
CN101895719A (zh) 视讯会议终端控制录像播放的方法、系统和设备
US20130179708A1 (en) Processing device
CN112261142B (zh) 一种rdma网络的数据重传方法、装置及fpga
CN102986237A (zh) 显示装置以及显示系统
US20050278166A1 (en) Data distribution apparatus, its control method, program, and storage medium
CN112688921A (zh) 一种工业数据采集系统
CN115941907A (zh) 一种rtp数据包发送方法、系统、电子设备及存储介质
JP2012195850A (ja) 通信システム及びその制御方法
KR101485328B1 (ko) 플레이어를 위한 다중싱크 제어시스템
WO2015154518A1 (zh) 可变码率媒体流的流量控制方法、装置以及系统
JP6740002B2 (ja) 制御装置、制御方法及びプログラム
CN112312184B (zh) 一种视频组帧方法
Zeng et al. Analysis of Image Transmission Traffic Based on Queuing Theory
CN112422771B (zh) 一种资源重置系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Room 1103, building C, Xingzhi science and Technology Park, Nanjing Economic and Technological Development Zone, Nanjing, Jiangsu Province 210038

Patentee after: Nanjing Qiyuan Technology Co.,Ltd.

Address before: Room 1103, building C, Xingzhi science and Technology Park, Nanjing Economic and Technological Development Zone, Nanjing, Jiangsu Province 210038

Patentee before: Nanjing iqiyi Intelligent Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder