CN116684537A - 一种多相机同步采集方法、系统及介质 - Google Patents

一种多相机同步采集方法、系统及介质 Download PDF

Info

Publication number
CN116684537A
CN116684537A CN202310811078.0A CN202310811078A CN116684537A CN 116684537 A CN116684537 A CN 116684537A CN 202310811078 A CN202310811078 A CN 202310811078A CN 116684537 A CN116684537 A CN 116684537A
Authority
CN
China
Prior art keywords
image data
camera
writing
reading
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310811078.0A
Other languages
English (en)
Inventor
王连明
吴鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hainan Tropical Ocean University
Original Assignee
Hainan Tropical Ocean University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hainan Tropical Ocean University filed Critical Hainan Tropical Ocean University
Priority to CN202310811078.0A priority Critical patent/CN116684537A/zh
Publication of CN116684537A publication Critical patent/CN116684537A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种多相机同步采集方法、系统及介质，属于多相机同步技术领域。其方法包括：在同步触发信号作用下若干相机同时采集图像数据，并将所述图像数据存储在各自的相机缓存中；同时启动与所述相机数量对应的多个子进程，所述子进程包括读进程和写进程，其中，所述读进程用于读取对应相机缓存中的图像数据并将所述图像数据传输到队列；所述写进程用于从所述队列读取图像数据，并将所述图像数据写入存储设备。本发明通过上述方法，以及运行该方法的系统和介质实现多相机的同步采集，降低了硬件成本，同时降低了多相机采集的同步误差，缓解了服务器的内存压力。

Description

一种多相机同步采集方法、系统及介质
技术领域
本发明相机同步采集技术技术领域，更具体的说是涉及一种多相机同步采集方法、系统及介质。
背景技术
目前，常见的摄像头同步方式是根据应用场景设计专用的硬件控制器，通常由一个微机控制单元组成，专门用于传播外部同步信号触发摄像头，实现摄像头同步。Sousa在2015年“Image Sensors and Imaging Systems”发表的论文《Multi-camerasynchronization core implemented on usb3 based fpga platform》中提出一种使用Awaiba的NanEye CMOS图像传感器系列和带有USB3接口的FPGA平台展示了一种新技术，可同步多达8个单独的自拍相机。Yan等在2017年“IEEE Sensors Journal”发表的论文《Design of Laser Camera Synchronization Trigger for GJ-6Track InspectionSystem》中提出了一种GJ-6轨道检测系统的激光相机同步触发方法。上述基于硬件的解决方案几乎都能精确地同步相机，但它们成本高昂、技术复杂且不适用于大多数应用场景。
相机同步的另一种方法是基于各种离线同步算法，这些算法应用于未同步的序列并尝试找到它们之间的时间偏移。这些离线方法在自动恢复图像序列之间的帧时间偏移方面非常有效，从而实现了相机的“后同步”。Huang等在ICIS 2019年发表的论文《Multi-camera video synchronization based on feature point matching and refinement》中描述了一种基于特征点匹配的视频同步方法。Wang等在2017年第43期“ZidonghuaXuebao/Acta Automatica Sinica”发表的论文《Synchronization of video sequencesthrough 3dtrajectory Reconstruction》提出了一种多模态方法，同时处理来自音频和视频通道的数据，以估计用于在时间上对齐记录的摄像机间延迟。然而，这些算法一般都假设了一个恒定的时间偏移并且不能实时。此外，由于此类方法依赖于对图像特征的跟踪，因此它们对可能发生在任意视频帧中的遮挡很敏感。
此外研究人员还提出了其他一些同步方法。Kim等在2018年“IEEE SensorsApplications Symposium”(SAS)发表的论文《Reference broadcast framesynchronization for distributed high-speed camera network》中构建了一个由8个摄像头节点组成的高速摄像头网络，获得了高精度的帧同步，标准偏差在几十微秒量级。Zhou等在ICIVC 2019发表的论文Accurate camera syncronization using deep-shallowmixed models提出了一种更通用的消费级低帧率相机同步方法。但这些方法难以满足高帧率捕获场景。
因此，如何提供一种不使用复杂、价格高昂的硬件控制器并且能够在较高帧率同步误差低的多相机同步采集方法是本领域技术人员亟需解决的问题。
发明内容
为了克服当前多相机同步采集的缺陷，本发明提供了一种基于软件实现的多相机同步采集方法、系统及介质。
为了实现上述目的，本发明采用如下技术方案：
首先，本发明公开了一种多相机同步采集方法，所述方法包括以下步骤：
在同步触发信号作用下若干相机同时采集图像数据，并将所述图像数据存储在各自的相机缓存中；
同时启动与所述相机数量对应的多个子进程，所述子进程包括读进程和写进程，其中，所述读进程用于读取对应相机缓存中的图像数据并将所述图像数据传输到队列；
所述写进程用于从所述队列读取图像数据，并将所述图像数据写入存储设备。
进一步地，所述同步触发信号包括软件触发信号。
进一步地，当所述同步触发信号为软件触发信号时，所述软件触发信号依据控制端的定时时间进行触发。
进一步地，同时启动与所述相机数量对应的多个子进程，还包括步骤：
发送读信号读取对应相机缓存中的图像数据。
进一步地，所述读进程中，读取对应相机缓存中的图像数据，还包括，根据设定的读停止条件判断是否继续读取对应相机缓存中的图像数据；若达到设定的读停止条件，则结束当前读进程并停止读取对应相机缓存中的图像数据，否则继续读取对应相机缓存中的图像数据。
进一步地，所述写进程中，将所述图像数据写入存储设备，还包括，根据设定的写停止条件判断是否继续将图像数据写入存储设备；若达到设定的写停止条件，则结束当前写进程并停止将图像数据写入存储设备，否则继续将图像数据写入存储设备。
进一步地，将所述图像数据写入存储设备，具体包括，将图像数据以固定数据结构形式写入存储设备，所述固定数据结构包括，图像数据结构和视频数据结构。
进一步地，所述队列包括，双端队列。
其次，本发明公开了一种多相机同步采集系统，所述系统包括，
图像采集模块，所述图像采集模块用于在同步触发信号作用下同时采集若干相机的图像数据，并将所述图像数据存储在各自的相机缓存中；
数据读取模块，所述数据读取模块包括，与相机数量相同的若干数据读取单元，每一个数据读取单元用于读取对应相机缓存中的图像数据并将读取的图像数据传输到队列；
数据写入模块，所述数据写入模块包括，与相机数量相同的若干数据写入单元，每一个数据写入单元用于从队列读取图像数据，并将图像数据写入存储设备。
此外，本发明还公开了一种计算机介质，所述计算机介质包括计算机程序，所述计算机程序用于实现本发明任意一项所述的多相机同步采集方法。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种多相机同步采集方法、系统及介质，具有以下有益效果：
本发明通过软件实现多相机的同步采集，降低了硬件成本，同时降低了多相机采集的同步误差，缓解了服务器的内存压力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的基于多进程的读-缓存-写同步采集方法整体流程示意图；
图2为本发明实施例提供的基于多进程的读-缓存-写同步采集方法结构流程示意图；
图3为本发明实施例提供的基于多进程的读-缓存-写同步采集系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本发明实施例公开了一种多相机同步采集方法，如图1所示，该方法包括以下步骤：
在同步触发信号作用下若干相机同时采集图像数据，并将图像数据存储在各自的相机缓存中；
同时启动与所述相机数量对应的多个子进程，进一步地，子进程包括读进程和写进程，其中，读进程用于读取对应相机缓存中的图像数据并将读取的图像数据传输到队列；写进程用于从队列读取图像数据，并将图像数据写入存储设备。
上述方法中，将图像数据以固定数据结构形式写入存储设备。
本实施例中，所提到的固定数据结构包括，图像数据结构或视频数据结构；本实施例中的存储设备指的是上位机、PC等控制存储终端。
作为一种优选的实施方案，上述方法中，读进程中，读取对应相机缓存中的图像数据，还包括，根据设定的读停止条件判断是否继续读取对应相机缓存中的图像数据；若达到设定的读停止条件，则结束当前读进程并停止读取对应相机缓存中的图像数据，否则继续读取对应相机缓存中的图像数据。
相对应的，写进程中，将所述图像数据写入存储设备，还包括，根据设定的写停止条件判断是否继续将图像数据写入存储设备；若达到设定的写停止条件，则结束当前写进程并停止将图像数据写入存储设备，否则继续将图像数据写入存储设备。
工业相机触发采集图像数据的方式主要分为硬件触发和软件触发。相机触发采集后便开始采集数据，采集的数据暂存在相机本身的缓存中，但是该缓存很小，因此需要及时将数据传输到存储设备(上位机、PC等控制设备)，否则数据会被覆盖从而导致掉帧。图像数据采集的软件触发控制和图像数据的传输控制是通过USB、以太网等协议实现。相机同步采集中影响帧差的主要因素包括相机本身的响应速度是否一致、触发是否同步、通信速度是否足够快、存储是否及时等。其中，对于同一批次或者同类型产品的相机的响应速度差别几乎可忽略不计，USB、以太网等通信速度足以实时传输图像数据，因此，解决触发同步和实时存储是实现相机同步采集的主要途径。
本发明实施例通过设计“读-缓存-写”结构的方法流程实现较为精确的同步软件触发和实时的存储。如图2所示，“读”步骤主要包含软件发送触发信号和从相机硬件缓存读取采集到的图像数据，“缓存”是指传输到的数据暂存在队列中，“写”是指将暂存的数据加载到固定的数据结构(图像数据结构、视频数据结构)，详细来说：
若干相机经过控制设备的软件定时器定时启动并行的进程触发相机同时采集场景视频图像，同时，控制端会记录每个相机采集到的每一帧对应的时间。具体步骤为：首先，启动定时器和若干子进程，然后，每个子进程同步开始在同一个软件定时器的控制下工作。每个子进程中主要包括：读进程和写进程。读进程工作流程为：首先，根据控制端的定时间触发发送软件触发信号相机采集数据；其次，发送读信号读取硬件缓存数据并将缓存数据送到队列；最后，根据停止条件判断是否继续采集，即是否等待下一个定时器触发信号。写进程主要是从队列读取数据然后写数据到固定数据结构直到到达停止写条件。
本实施例中的队列采用双端队列，因为输入和输出是同时进行的，这里采用双端队列，双端队列中端点1向队列中存数据，端点2从队列中取数据，跟队列比相比，编程实现更加容易。
本实施例中先启动三个并行的子进程，然后每个子进程又启动读进程和写进程。这两个进程通过双端队列连接起来进行数据传输。从图2中可以看出，“读”和“写”是同时进行的，“读”的同步性保证了相机触发的同时性和相机传输图像数据的实时性，从而达到相机同步采集数据的目的。虽然速度不同，但是“写”操作不影响读操作，一定程度上降低了内存压力。
作为一种改进的实施例，计算机资源不充足的时候还可以考虑将部分进程移到线程处理，使用多线程来分离读写操作。
实施例2
本实施例公开了一种多相机同步采集系统，如图3所示，其系统包括，
图像采集模块，图像采集模块用于在同步触发信号作用下同时采集若干相机的图像数据，并将采集的图像数据存储在各自的相机缓存中；本实施例中以同时采集三个相机的图像数据为例进行说明。
数据读取模块，数据读取模块由与相机数量相同的若干数据读取单元构成，每一个数据读取单元用于读取对应相机缓存中的图像数据并将读取的图像数据传输到队列；
数据写入模块，数据写入模块由与相机数量相同的若干数据写入单元构成，每一个数据写入单元用于从队列读取图像数据，并将图像数据写入上位机或个人PC等存储设备。
本系统中，数据读取模块和数据写入模块共同构成了“读-缓存-写”结构，并执行图像数据的读-缓存-写流程，其中每一个数据读取单元中均可单独运行单的一读进程，每一个数据写入单一均可单独运行单一的写进程，“读”的同步性保证了相机触发的同时性和相机传输图像数据的实时性，从而达到相机同步采集数据的目的。虽然速度不同，但是“写”操作不影响读操作，一定程度上降低了内存压力。
实施例3
本实施例公开了一种用于实现多相机同步采集方法的计算机介质，具体的计算机介质可包括存储计算机程序的半导体存储器、移动硬盘等，存储的计算机程序能够实现本发明实施例1中的任意一种多相机同步采集方法。
为了验证本发明同步采集方法的优越性，还可通过衡量同步质量进行评估验证。
具体方法如下：
衡量同步质量，最基本的评价参数是两台摄像机获得同一帧的时间差，更短的时间差意味着更好的同步效果，另一个有用的参数是相机之间帧差异的标准偏差，较小的标准偏差表明过程稳定。
假设有N个摄像机，帧速率为f FPS。camerai和cameraj捕获k-th帧的时间分别是ti k和tj k。k-th帧的时间差定义为：
对于N'帧，camerai和cameraj的平均帧差Eij定义为：
camerai和cameraj的帧差标准差定义为Sij：
对于camerai和cameraj，较小的Eij意味着更好的同步效果和较小的错误；而较小的Sij意味着更高的过程稳定性。
对于N相机，平均帧差矩阵EN定义为：
类似的标准差矩阵SN定义为：
用矩阵的l∞范数作为平均帧差矩阵E和标准差矩阵S的性能指标，用于评估N相机的同步效果，数学表达式为：
对于N个相机，较小的||EN||∞意味着更好的同步效果和更小的误差；而较小的||SN||∞意味着更高的稳定性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种多相机同步采集方法，其特征在于，所述方法包括以下步骤：
在同步触发信号作用下若干相机同时采集图像数据，并将所述图像数据存储在各自的相机缓存中；
同时启动与所述相机数量对应的多个子进程，所述子进程包括读进程和写进程，其中，所述读进程用于读取对应相机缓存中的图像数据并将所述图像数据传输到队列；
所述写进程用于从所述队列读取图像数据，并将所述图像数据写入存储设备。
2.根据权利要求1所述的多相机同步采集方法，其特征在于，所述同步触发信号包括软件触发信号。
3.根据权利要求2所述的多相机同步采集方法，其特征在于，当所述同步触发信号为软件触发信号时，所述软件触发信号依据控制端的定时时间进行触发。
4.根据权利要求1所述的多相机同步采集方法，其特征在于，同时启动与所述相机数量对应的多个子进程，还包括步骤：
发送读信号读取对应相机缓存中的图像数据。
5.根据权利要求1所述的多相机同步采集方法，其特征在于，所述读进程中，读取对应相机缓存中的图像数据，还包括，根据设定的读停止条件判断是否继续读取对应相机缓存中的图像数据；若达到设定的读停止条件，则结束当前读进程并停止读取对应相机缓存中的图像数据，否则继续读取对应相机缓存中的图像数据。
6.根据权利要求1所述的多相机同步采集方法，其特征在于，所述写进程中，将所述图像数据写入存储设备，还包括，根据设定的写停止条件判断是否继续将图像数据写入存储设备；若达到设定的写停止条件，则结束当前写进程并停止将图像数据写入存储设备，否则继续将图像数据写入存储设备。
7.根据权利要求1所述的多相机同步采集方法，其特征在于，将所述图像数据写入存储设备，具体包括，将图像数据以固定数据结构形式写入存储设备，所述固定数据结构包括，图像数据结构和视频数据结构。
8.根据权利要求1所述的多相机同步采集方法，其特征在于，所述队列包括，双端队列。
9.一种多相机同步采集系统，其特征在于，所述系统包括，
图像采集模块，所述图像采集模块用于在同步触发信号作用下同时采集若干相机的图像数据，并将所述图像数据存储在各自的相机缓存中；
数据读取模块，所述数据读取模块包括，与相机数量相同的若干数据读取单元，每一个数据读取单元用于读取对应相机缓存中的图像数据并将读取的图像数据传输到队列；
数据写入模块，所述数据写入模块包括，与相机数量相同的若干数据写入单元，每一个数据写入单元用于从队列读取图像数据，并将图像数据写入存储设备。
10.一种计算机介质，其特征在于，所述计算机介质包括计算机程序，所述计算机程序用于实现权利要求1-8任意一项所述的多相机同步采集方法。
CN202310811078.0A 2023-07-04 2023-07-04 一种多相机同步采集方法、系统及介质 Pending CN116684537A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310811078.0A CN116684537A (zh) 2023-07-04 2023-07-04 一种多相机同步采集方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310811078.0A CN116684537A (zh) 2023-07-04 2023-07-04 一种多相机同步采集方法、系统及介质

Publications (1)

Publication Number Publication Date
CN116684537A true CN116684537A (zh) 2023-09-01

Family

ID=87785603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310811078.0A Pending CN116684537A (zh) 2023-07-04 2023-07-04 一种多相机同步采集方法、系统及介质

Country Status (1)

Country Link
CN (1) CN116684537A (zh)

Similar Documents

Publication Publication Date Title
US9813783B2 (en) Multi-camera dataset assembly and management with high precision timestamp requirements
CN108965795B (zh) 摄像装置、系统以及方法
US11558540B2 (en) Image capturing apparatus, control method, and computer-readable storage medium
CN111340857B (zh) 一种摄像机跟踪控制方法及装置
CN104202534A (zh) 基于gps和脉冲发生器的多摄像机同步控制装置及方法
CN111830039B (zh) 一种智能化的产品质量检测方法及装置
CN112347856A (zh) 一种基于教室场景的无感知考勤系统及方法
US20180332291A1 (en) Information processing system and information processing method
CN113099133A (zh) 串行解串器链路传输高带宽相机数据的方法
CN111343401B (zh) 帧同步方法及其装置
CN114422412A (zh) 一种设备检测方法、装置和通信设备
US11729515B2 (en) Imaging apparatus, information processing method, and recording medium for determining whether an image analysis of a predetermined image is complete
CN108737809B (zh) 一种远程同步图像采集方法
CN109302567A (zh) 摄像头图像低延迟同步系统及图像低延迟同步方法
CN110636219B (zh) 一种视频数据流的传输方法及装置
CN116684537A (zh) 一种多相机同步采集方法、系统及介质
CN106954029A (zh) 一种全景视频拼接方法及系统
CN112598567A (zh) 一种fpga实现红外实时拼图中图像增强的方法
CN205681558U (zh) 一种基于人脸识别的监控装置
US20200218700A1 (en) Image synchronized storage method and image processing device
CN112422835A (zh) 图像的高速采集方法、系统、设备及存储介质
CN113033483B (zh) 检测目标对象的方法、装置、电子设备和存储介质
CN110740251B (zh) 一种多相机同步取流方法、装置及系统
CN219611926U (zh) 一种图像数据处理系统
WO2021159338A1 (zh) 图像采集方法、装置、控制装置、计算机设备、可读存储介质、图像采集设备和远程驾驶系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination