CN113034677A - 一种基于多摄像头阵列的三维成像方法 - Google Patents

一种基于多摄像头阵列的三维成像方法 Download PDF

Info

Publication number
CN113034677A
CN113034677A CN202110346365.XA CN202110346365A CN113034677A CN 113034677 A CN113034677 A CN 113034677A CN 202110346365 A CN202110346365 A CN 202110346365A CN 113034677 A CN113034677 A CN 113034677A
Authority
CN
China
Prior art keywords
camera
cameras
control node
image
dimensional imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110346365.XA
Other languages
English (en)
Inventor
鱼海航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuliang Technology Co ltd
Original Assignee
Shenzhen Yuliang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yuliang Technology Co ltd filed Critical Shenzhen Yuliang Technology Co ltd
Priority to CN202110346365.XA priority Critical patent/CN113034677A/zh
Publication of CN113034677A publication Critical patent/CN113034677A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5018—Thread allocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及三维成像，具体涉及一种基于多摄像头阵列的三维成像方法，对各摄像头进行标定，并保持摄像头位置不变，将标定板放置于相邻两个摄像头重叠视场的中心处，对标定板图像进行识别，并利用识别出的标定板图像依次得到相邻摄像头的外参，摄像头完成采集准备时，向控制节点发送提示信息，控制节点断开该摄像头对应的控制线程，当各摄像头均向控制节点发送提示信息后，控制节点向同步节点发送同步信息，同步节点同时开启各摄像头对应的控制线程，并同时调用各摄像头的采集图像；本发明提供的技术方案能够有效克服现有技术所存在的无法对摄像头阵列进行较好地一致性控制、不能对采集图像进行较好拼接融合处理的缺陷。

Description

一种基于多摄像头阵列的三维成像方法
技术领域
本发明涉及三维成像，具体涉及一种基于多摄像头阵列的三维成像方法。
背景技术
目前，现有的三维成像技术主要为双目立体视觉成像技术，需要一对相机同时采集场景图像，通过匹配算法对比左右图像，计算出视差信息，基于视差信息和三角测量原理，最终得到三维成像。
但是，目前的双目立体视觉系统涉及到的匹配算法复杂度很高，因此需要强大的运算单元，成本高，难以小型化，运算单元的动态负载使得实时性有限，响应速度慢，很难保证一致的实时性。双目系统立体匹配部分对于成像场景的要求比较高，通常使用深度相机，一般来说彩色图像和深度图像上的点不是一一对应的，需要将彩色图像和深度图像中的立体信息结合，由于低光和弱纹理区域不具有丰富的纹理信息，因此环境适应性较差。而且根据立体彩色信息恢复出三维点云，进行数据重合，重建速度相对较快，但是重建得到的数据量巨大，难以进行实时传输，因此没有较好的表现。
采用摄像头阵列虽然在采集数据方面数据量较大，但是对于后期图像处理来说较为方便，也有效提高了三维成像的响应速度。但是，现有摄像头阵列无法进行较好地一致性控制，导致采集图像容易出现偏差，从而影响后期三维成像的效果，并且不能在后期对采集图像进行较好拼接融合处理，也会导致三维成像的效果不佳。
发明内容
(一)解决的技术问题
针对现有技术所存在的上述缺点，本发明提供了一种基于多摄像头阵列的三维成像方法，能够有效克服现有技术所存在的无法对摄像头阵列进行较好地一致性控制、不能对采集图像进行较好拼接融合处理的缺陷。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
一种基于多摄像头阵列的三维成像方法，包括以下步骤：
S1、对各摄像头进行标定，并保持摄像头位置不变，将标定板放置于相邻两个摄像头重叠视场的中心处；
S2、对标定板图像进行识别，并利用识别出的标定板图像依次得到相邻摄像头的外参；
S3、摄像头完成采集准备时，向控制节点发送提示信息，控制节点断开该摄像头对应的控制线程；
S4、当各摄像头均向控制节点发送提示信息后，控制节点向同步节点发送同步信息，同步节点同时开启各摄像头对应的控制线程，并同时调用各摄像头的采集图像；
S5、对相邻摄像头的采集图像提取特征点，搜索满足最近邻距离的匹配点，利用匹配点进行图像映射，并对映射后的图像进行优化，得到优化融合图像；
S6、利用相邻摄像头的外参构建优化融合图像对应的三维成像。
优选地，S2中对标定板图像进行识别，并利用识别出的标定板图像依次得到相邻摄像头的外参，包括：
将摄像头的内参作为已知量，利用识别标定板图像的中心逐次对相邻摄像头进行标定，并得到摄像头的外参，将各摄像头的外参统一至同一坐标系中。
优选地，S3中摄像头完成采集准备时，向控制节点发送提示信息，包括：
摄像头完成采集准备时，将自身在摄像头阵列中的编号以及提示信息打包，并发送至控制节点。
优选地，S4中当各摄像头均向控制节点发送提示信息后，控制节点向同步节点发送同步信息，包括：
控制节点接收到摄像头发送的提示信息后，对提示信息进行解析，并记录该摄像头在摄像头阵列中的编号，控制节点对记录编号进行核对，当记录编号覆盖全部摄像头阵列时，控制节点向同步节点发送同步信息。
优选地，所述控制节点每隔一段时间对记录编号进行核对，当超过时间阈值时，摄像头阵列中仍然存在未被记录编号覆盖的摄像头时，所述控制节点判断该摄像头存在通信故障，并提示用户更换该摄像头。
优选地，S5中对相邻摄像头的采集图像提取特征点，搜索满足最近邻距离的匹配点，包括：
通过SIFT算法对相邻摄像头的采集图像进行特征点提取，通过BF算法遍历提取的特征点，搜索出满足最近邻距离的匹配点。
优选地，S5中利用匹配点进行图像映射，并对映射后的图像进行优化，得到优化融合图像，包括：
将一侧图像的像素坐标乘以单应矩阵，将其映射到相邻的另一侧图像上，并对映射后的图像中重叠区域通过加权平均图像融合算法进行优化。
(三)有益效果
与现有技术相比，本发明所提供的一种基于多摄像头阵列的三维成像方法，通过对各摄像头对应控制线程的调控，能够对摄像头阵列中各摄像头进行较好地一致性控制，确保各摄像头的采集图像均属于相同帧下的图像，并且能够对采集图像进行较好地拼接融合，从而有效提升后期三维成像的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于多摄像头阵列的三维成像方法，如图1所示，对各摄像头进行标定，并保持摄像头位置不变，将标定板放置于相邻两个摄像头重叠视场的中心处。
对各摄像头进行标定时，可以采用SFM算法对各摄像头进行内参和外参的标定。
对标定板图像进行识别，并利用识别出的标定板图像依次得到相邻摄像头的外参，具体包括：
将摄像头的内参作为已知量，利用识别标定板图像的中心逐次对相邻摄像头进行标定，并得到摄像头的外参，将各摄像头的外参统一至同一坐标系中。
摄像头完成采集准备时，向控制节点发送提示信息，控制节点断开该摄像头对应的控制线程。
其中，摄像头完成采集准备时，向控制节点发送提示信息，包括：
摄像头完成采集准备时，将自身在摄像头阵列中的编号以及提示信息打包，并发送至控制节点。
当各摄像头均向控制节点发送提示信息后，控制节点向同步节点发送同步信息，同步节点同时开启各摄像头对应的控制线程，并同时调用各摄像头的采集图像。
其中，当各摄像头均向控制节点发送提示信息后，控制节点向同步节点发送同步信息，包括：
控制节点接收到摄像头发送的提示信息后，对提示信息进行解析，并记录该摄像头在摄像头阵列中的编号，控制节点对记录编号进行核对，当记录编号覆盖全部摄像头阵列时，控制节点向同步节点发送同步信息。
控制节点每隔一段时间对记录编号进行核对，当超过时间阈值时，摄像头阵列中仍然存在未被记录编号覆盖的摄像头时，控制节点判断该摄像头存在通信故障，并提示用户更换该摄像头。
对相邻摄像头的采集图像提取特征点，搜索满足最近邻距离的匹配点，利用匹配点进行图像映射，并对映射后的图像进行优化，得到优化融合图像。
其中，对相邻摄像头的采集图像提取特征点，搜索满足最近邻距离的匹配点，包括：
通过SIFT算法对相邻摄像头的采集图像进行特征点提取，通过BF算法遍历提取的特征点，搜索出满足最近邻距离的匹配点。
其中，利用匹配点进行图像映射，并对映射后的图像进行优化，得到优化融合图像，包括：
将一侧图像的像素坐标乘以单应矩阵，将其映射到相邻的另一侧图像上，并对映射后的图像中重叠区域通过加权平均图像融合算法进行优化。
最后，利用识别出的标定板图像依次得到的相邻摄像头的外参，构建优化融合图像对应的三维成像。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于多摄像头阵列的三维成像方法，其特征在于：包括以下步骤：
S1、对各摄像头进行标定，并保持摄像头位置不变，将标定板放置于相邻两个摄像头重叠视场的中心处；
S2、对标定板图像进行识别，并利用识别出的标定板图像依次得到相邻摄像头的外参；
S3、摄像头完成采集准备时，向控制节点发送提示信息，控制节点断开该摄像头对应的控制线程；
S4、当各摄像头均向控制节点发送提示信息后，控制节点向同步节点发送同步信息，同步节点同时开启各摄像头对应的控制线程，并同时调用各摄像头的采集图像；
S5、对相邻摄像头的采集图像提取特征点，搜索满足最近邻距离的匹配点，利用匹配点进行图像映射，并对映射后的图像进行优化，得到优化融合图像；
S6、利用相邻摄像头的外参构建优化融合图像对应的三维成像。
2.根据权利要求1所述的基于多摄像头阵列的三维成像方法，其特征在于：S2中对标定板图像进行识别，并利用识别出的标定板图像依次得到相邻摄像头的外参，包括：
将摄像头的内参作为已知量，利用识别标定板图像的中心逐次对相邻摄像头进行标定，并得到摄像头的外参，将各摄像头的外参统一至同一坐标系中。
3.根据权利要求2所述的基于多摄像头阵列的三维成像方法，其特征在于：S3中摄像头完成采集准备时，向控制节点发送提示信息，包括：
摄像头完成采集准备时，将自身在摄像头阵列中的编号以及提示信息打包，并发送至控制节点。
4.根据权利要求3所述的基于多摄像头阵列的三维成像方法，其特征在于：S4中当各摄像头均向控制节点发送提示信息后，控制节点向同步节点发送同步信息，包括：
控制节点接收到摄像头发送的提示信息后，对提示信息进行解析，并记录该摄像头在摄像头阵列中的编号，控制节点对记录编号进行核对，当记录编号覆盖全部摄像头阵列时，控制节点向同步节点发送同步信息。
5.根据权利要求4所述的基于多摄像头阵列的三维成像方法，其特征在于：所述控制节点每隔一段时间对记录编号进行核对，当超过时间阈值时，摄像头阵列中仍然存在未被记录编号覆盖的摄像头时，所述控制节点判断该摄像头存在通信故障，并提示用户更换该摄像头。
6.根据权利要求4所述的基于多摄像头阵列的三维成像方法，其特征在于：S5中对相邻摄像头的采集图像提取特征点，搜索满足最近邻距离的匹配点，包括：
通过SIFT算法对相邻摄像头的采集图像进行特征点提取，通过BF算法遍历提取的特征点，搜索出满足最近邻距离的匹配点。
7.根据权利要求6所述的基于多摄像头阵列的三维成像方法，其特征在于：S5中利用匹配点进行图像映射，并对映射后的图像进行优化，得到优化融合图像，包括：
将一侧图像的像素坐标乘以单应矩阵，将其映射到相邻的另一侧图像上，并对映射后的图像中重叠区域通过加权平均图像融合算法进行优化。
CN202110346365.XA 2021-03-31 2021-03-31 一种基于多摄像头阵列的三维成像方法 Pending CN113034677A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110346365.XA CN113034677A (zh) 2021-03-31 2021-03-31 一种基于多摄像头阵列的三维成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110346365.XA CN113034677A (zh) 2021-03-31 2021-03-31 一种基于多摄像头阵列的三维成像方法

Publications (1)

Publication Number Publication Date
CN113034677A true CN113034677A (zh) 2021-06-25

Family

ID=76453424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110346365.XA Pending CN113034677A (zh) 2021-03-31 2021-03-31 一种基于多摄像头阵列的三维成像方法

Country Status (1)

Country Link
CN (1) CN113034677A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106716244A (zh) * 2014-09-10 2017-05-24 富士胶片株式会社 摄影控制装置、摄影装置、摄影控制方法及程序
CN108769578A (zh) * 2018-05-17 2018-11-06 南京理工大学 一种基于多路摄像头的实时全景成像系统及方法
CN110049304A (zh) * 2019-03-22 2019-07-23 嘉兴超维信息技术有限公司 一种稀疏相机阵列瞬时三维成像的方法及其装置
CN110611746A (zh) * 2019-09-03 2019-12-24 苏宁云计算有限公司 一种多摄像头同步方法及分布式系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106716244A (zh) * 2014-09-10 2017-05-24 富士胶片株式会社 摄影控制装置、摄影装置、摄影控制方法及程序
CN108769578A (zh) * 2018-05-17 2018-11-06 南京理工大学 一种基于多路摄像头的实时全景成像系统及方法
CN110049304A (zh) * 2019-03-22 2019-07-23 嘉兴超维信息技术有限公司 一种稀疏相机阵列瞬时三维成像的方法及其装置
CN110611746A (zh) * 2019-09-03 2019-12-24 苏宁云计算有限公司 一种多摄像头同步方法及分布式系统

Similar Documents

Publication Publication Date Title
CN108769578B (zh) 一种基于多路摄像头的实时全景成像系统及方法
CN111462503B (zh) 车辆测速方法、装置及计算机可读存储介质
CN108616742B (zh) 一种3d全景拍摄系统以及方法
WO2018176926A1 (zh) 自学习多路图像融合的实时矫正方法及系统
CN112207821B (zh) 视觉机器人的目标搜寻方法及机器人
CN106600650A (zh) 一种基于深度学习的双目视觉深度信息获取方法
CN113329219B (zh) 多输出参数可动态配置深度相机
CN110533709B (zh) 深度图像获取方法、装置及系统、图像采集设备
CN113674335B (zh) 深度成像方法、电子设备及存储介质
CN111107337A (zh) 深度信息补全方法及其装置、监控系统和存储介质
CN111047636B (zh) 基于主动红外双目视觉的避障系统和避障方法
CN110120012B (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
CN113034677A (zh) 一种基于多摄像头阵列的三维成像方法
Gurbuz et al. Color calibration for multi-camera imaging systems
CN111277797B (zh) 一种用于安防监视的vr立体成像系统
CN114389697B (zh) 基于光纤通信组网的阵列光场相机系统及其ai分析方法
CN116934984B (zh) 一种用于构建虚拟全景场景空间的智能终端及方法
JP4207008B2 (ja) 画像処理システム、画像処理装置、コンピュータプログラム、及び画像遅延量算出方法
Zhang Virtual viewpoint film and television synthesis based on the intelligent algorithm of wireless network communication for image repair
CN114332755B (zh) 一种基于双目三维建模的发电焚烧炉监控方法
JPH09107561A (ja) ２つのカメラの自動選択装置および２つのカメラの自動選択方法およびその用途
CN113344997B (zh) 快速获取只含有目标对象的高清前景图的方法及系统
JPH11248446A (ja) ステレオ画像処理装置
CN109698950B (zh) 立体视觉系统的增强方法及立体视觉系统
CN116823691A (zh) 光场图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination