CN114841862B - 一种基于亿像素阵列式相机的图像拼接方法及系统 - Google Patents
一种基于亿像素阵列式相机的图像拼接方法及系统 Download PDFInfo
- Publication number
- CN114841862B CN114841862B CN202210639481.5A CN202210639481A CN114841862B CN 114841862 B CN114841862 B CN 114841862B CN 202210639481 A CN202210639481 A CN 202210639481A CN 114841862 B CN114841862 B CN 114841862B
- Authority
- CN
- China
- Prior art keywords
- image
- spliced
- feature point
- moving speed
- corrected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012216 screening Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 42
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 8
- 238000013508 migration Methods 0.000 claims description 7
- 230000005012 migration Effects 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请提供的一种基于亿像素阵列式相机的图像拼接方法及系统，具体应用于图像处理领域，包括亿像素阵列式相机拍摄目标对象，获取第一待拼接图像和第二待拼接图像；分别对第一待拼接图像和第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；获取亿像素阵列式相机的第一移动速度；获取目标对象的第二移动速度；基于第一移动速度和第二移动速度，计算偏移率；基于偏移率调整第一特征点和第二特征点，获得第一修正特征点和第二修正特征点；匹配第一修正特征点和第二修正特征点，获得多个最优特征点对；筛选多个最优特征点对，拼接第一待拼接图像和第二待拼接图像，获得总图像。通过上述方式，本发明能够提高图像拼接效率和精度。
Description
技术领域
本申请涉及图像处理领域，更具体地，涉及一种基于亿像素阵列式相机的图像拼接方法及系统。
背景技术
阵列式相机通过多个小镜头代替一个大镜头的拍摄效果，其原理是通过同时控制多台相机进行拍摄的技术，相比于传统的相机来说，亿像素阵列式相机的视野更广，拍出的照片也更大，同时其体积更小。
图像配准是图像拼接的关键，图像配准旨在找出两张图像中的相同区域，以计算图像间的坐标变化，图像配准的精度直接决定着图像的拼接质量。
现有技术中，通常采用对图像本身进行灰度处理、角度变换、边缘处理等方式来实现图像配准，忽略了拍摄目标和拍摄装置的移动所造成的图像偏差，导致图像拼接精度低。
发明内容
本发明实施例的目的在于提供一种基于亿像素阵列式相机的图像拼接方法及系统，根据亿像素阵列式相机和目标对象的移动确定偏移率，并通过偏移率修正特征点，避免移动所导致的图像偏差，提高图像拼接效率和精度。具体技术方案如下：
在本发明实施例的第一方面，提供一种基于亿像素阵列式相机的图像拼接方法，包括：获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像；分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；获取所述亿像素阵列式相机的第一移动速度；获取所述目标对象的第二移动速度；基于所述第一移动速度和所述第二移动速度，计算偏移率；基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点；匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对；筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。
可选地，所述第一待拼接图像和所述第二待拼接图像是连续的两帧图像。
可选地，所述分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点，包括：根据所述第一待拼接图像或所述第二待拼接图像上的每个像素点，以该像素点为中心，计算n个邻近像素点的灰度差值；若所述灰度差值符合预设条件的邻近像素点大于n/2个，则该像素点确定为第一特征点或第二特征点。
可选地，所述基于所述第一移动速度和所述第二移动速度，计算偏移率，包括：分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2；若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率R：
若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率R：
其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差Δt＝|t2-t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度。
可选地，所述分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2，包括：通过以下公式计算第一偏移量s1和第二偏移量s2：
s1＝|vx1-vx2|*Δt
s2＝|vd1-vd2|*Δt
其中，vx1表示亿像素阵列式相机在t1时刻的移动速度，vx2表示亿像素阵列式相机在t2时刻的移动速度，vd1表示目标对象在t1时刻的移动速度，vd2表示目标对象在t2时刻的移动速度，Δt表示第一待拼接图像与第二待拼接图像的拍摄时间差。
可选地，基于所述偏移率调整所述第一特征点，获得第一修正特征点，包括：构建三维坐标系；获取多个所述第一特征点中任一个特征点的坐标值(x1,y1,z1)；通过以下公式对该特征点进行坐标变换：
其中，
表示坐标转换值，
表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[Q T]表示亿像素阵列式相机的外参矩阵；R表示偏移率，
表示该特征点的修正坐标值；遍历所述第一特征点中的所有特征点，重复以上步骤；基于所述第一特征点中所有特征点的修正坐标值，映射出第一修正特征点。
可选地，基于所述偏移率调整所述第二特征点，获得第二修正特征点，包括：获取获取多个所述第二特征点中任一个特征点的坐标值(x2,y2,z2)；通过以下公式对该特征点进行坐标变换：
其中，
表示坐标转换值，
表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示相机的光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[Q T]表示亿像素阵列式相机的外参矩阵；R表示偏移率，
表示该特征点的修正坐标值；遍历所述第二特征点中的所有特征点，重复以上步骤；基于述第二特征点中所有特征点的修正坐标值，映射出第二修正特征点。
可选地，所述匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对，包括：采用汉明距离匹配所述第一修正特征点和所述第二修正特征点中的每一特征点，获得汉明距离最短的多个最优特征点对。
可选地，所述拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像，包括：采用加权融合算法，获得拼接后的总图像。
在本发明实施例的又一方面，提供一种基于亿像素阵列式相机的图像拼接系统，包括：图像数据获取模块，用于获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像；特征点确定模块，用于分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；速度确定模块，用于获取所述亿像素阵列式相机、所述目标对象的第一移动速度和第二移动速度；偏移率计算模块，用于基于所述第一移动速度和所述第二移动速度，计算偏移率；特征点修正模块，用于基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点；最优特征点对获取模块，用于匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对；图像拼接模块，用于筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。
可选地，所述第一待拼接图像和所述第二待拼接图像是连续的两帧图像。
可选地，所述特征点确定模块进一步用于：根据所述第一待拼接图像或所述第二待拼接图像上的每个像素点，以该像素点为中心，计算n个邻近像素点的灰度差值；若所述灰度差值符合预设条件的邻近像素点大于n/2个，则该像素点确定为第一特征点或第二特征点。
可选地，所述偏移率计算模块，进一步用于：分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2；若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率R：
若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率R：
其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差Δt＝|t2-t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度。
可选地，所述分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2，包括：通过以下公式计算第一偏移量s1和第二偏移量s2：
s1＝|vx1-vx2|*Δt
s2＝|vd1-vd2|*Δt
其中，vx1表示亿像素阵列式相机在t1时刻的移动速度，vx2表示亿像素阵列式相机在t2时刻的移动速度，vd1表示目标对象在t1时刻的移动速度，vd2表示目标对象在t2时刻的移动速度，Δt表示第一待拼接图像与第二待拼接图像的拍摄时间差。
可选地，所述特征点修正模块进一步用于：构建三维坐标系；获取多个所述第一特征点中任一个特征点的坐标值(x1,y1,z1)；通过以下公式对该特征点进行坐标变换：
其中，
表示坐标转换值，
表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[Q T]表示亿像素阵列式相机的外参矩阵；R表示偏移率，
表示该特征点的修正坐标值；遍历所述第一特征点中的所有特征点，重复以上步骤；基于所述第一特征点中所有特征点的修正坐标值，映射出第一修正特征点。
可选地，所述特征点修正模块进一步用于：获取获取多个所述第二特征点中任一个特征点的坐标值(x2,y2,z2)；通过以下公式对该特征点进行坐标变换：
其中，
表示坐标转换值，
表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示相机的光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[Q T]表示亿像素阵列式相机的外参矩阵；R表示偏移率，
表示该特征点的修正坐标值；遍历所述第二特征点中的所有特征点，重复以上步骤；基于述第二特征点中所有特征点的修正坐标值，映射出第二修正特征点。
可选地，所述最优特征点对获取模块进一步用于：采用汉明距离匹配所述第一修正特征点和所述第二修正特征点中的每一特征点，获得汉明距离最短的多个最优特征点对。
可选地，所述图像拼接模块进一步用于：采用加权融合算法，获得拼接后的总图像。
有益效果：
本发明采用亿像素阵列式相机拍摄目标对象，获取第一待拼接图像和第二待拼接图像；分别对第一待拼接图像和第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；获取亿像素阵列式相机的第一移动速度；获取目标对象的第二移动速度；基于第一移动速度和第二移动速度，计算偏移率；基于偏移率调整第一特征点和第二特征点，获得第一修正特征点和第二修正特征点；匹配第一修正特征点和第二修正特征点，获得多个最优特征点对；筛选多个最优特征点对，拼接第一待拼接图像和第二待拼接图像，获得总图像。其中，偏移率的计算考虑了相机和拍摄对象的移动方向和速度可能对图像拼接造成的误差，同时引入三维坐标系，将相机参数与偏移率结合，修正两张图像的特征点；通过该方式采集的图像数据质量较高，同时能够提高图像拼接效率和精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于亿像素阵列式相机的图像拼接方法的流程示意图；
图2是本申请实施例提供的一种基于亿像素阵列式相机的图像拼接系统的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种基于亿像素阵列式相机的图像拼接方法及系统，包括亿像素阵列式相机拍摄目标对象，获取第一待拼接图像和第二待拼接图像；分别对第一待拼接图像和第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；获取亿像素阵列式相机的第一移动速度；获取目标对象的第二移动速度；基于第一移动速度和第二移动速度，计算偏移率；基于偏移率调整第一特征点和第二特征点，获得第一修正特征点和第二修正特征点；匹配第一修正特征点和第二修正特征点，获得多个最优特征点对；筛选多个最优特征点对，拼接第一待拼接图像和第二待拼接图像，获得总图像。通过上述方式，本发明能够提高图像拼接效率和精度。
该基于亿像素阵列式相机的图像拼接方法及系统，具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为光场摄像机、车载相机、手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer，PC)等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。以上举例不应理解为对本申请的限制。
图1示出了本申请实施例提供的基于亿像素阵列式相机的图像拼接方法的流程示意图，请参考图1，具体包括如下步骤：
S110、获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像。
其中，亿像素阵列式相机是由一个主镜头和N个微型镜头阵列式结合的跨尺度成像相机，微型镜头根据不同的光路设计，可以形成不同的焦距，多个镜头并行工作时，能够捕捉到远近不同的画面。
由此通过亿像素阵列式相机采集图像数据，不仅能够大幅度提升采集数据和成像范围的数量级，同时获得多个焦点，实现大视野和细节的兼顾。
在一种实施方式中，所述第一待拼接图像和所述第二待拼接图像可以是连续的两帧图像。
在另一种实施方式中，所述第一待拼接图像和所述第二待拼接图像可以在预设时间间隔内获取的两帧图像；例如起始时刻为17点，预设时间间隔为5秒，则将17点拍摄的图像作为第一待拼接图像，将17点0分5秒拍摄的图像作为第二待拼接图像。
可选地，计算机装置接收亿像素阵列式相机采集的图像数据，所述图像数据可以通过第五代移动通讯技术进行传输，也可以通过wifi网络进行传输。其中，图像数据可以是人像、大型动物、小型动物、车辆以及植物等。
S120、分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点。
其中，可以根据所述第一待拼接图像或所述第二待拼接图像上的每个像素点，以该像素点为中心，计算半径为d的圆周上的n个邻近像素点的灰度差值；若所述灰度差值符合预设条件的邻近像素点大于n/2个，则该像素点确定为第一特征点或第二特征点。
S130、获取所述亿像素阵列式相机的第一移动速度。
S140、获取所述目标对象的第二移动速度。
S150、基于所述第一移动速度和所述第二移动速度，计算偏移率。
在一种实施方式中，步骤S150可以具体包括以下步骤：
S151、分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2，公式如下：
s1＝|vx1-vx2|*Δt
s2＝|vd1-vd2|*Δt
其中，vx1表示亿像素阵列式相机在t1时刻的移动速度，vx2表示亿像素阵列式相机在t2时刻的移动速度，vd1表示目标对象在t1时刻的移动速度，vd2表示目标对象在t2时刻的移动速度，Δt表示第一待拼接图像与第二待拼接图像的拍摄时间差。
S152、根据所述亿像素阵列式相机和所述目标对象的移动方向，计算偏移率。
具体地，若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率R：
若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率R：
其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差Δt＝|t2-t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度。
由此，考虑到相机和拍摄对象的移动方向和速度可能对图像拼接造成的误差，引入偏移率的计算公式，以提高图像拼接的精度。
S160、基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点。
在一种实施方式中，步骤S160可以具体包括以下步骤：
S161、构建三维坐标系。
S162、获取多个所述第一特征点中任一个特征点的坐标值(x1,y1,z1)。
S163、通过以下公式对该特征点进行坐标变换：
其中，
表示坐标转换值，
表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[Q T]表示亿像素阵列式相机的外参矩阵；R表示偏移率，
表示该特征点的修正坐标值。
S164、遍历所述第一特征点中的所有特征点，重复步骤S162-S163。
S165、基于所述第一特征点中所有特征点的修正坐标值，映射出第一修正特征点。
S166、获取获取多个所述第二特征点中任一个特征点的坐标值(x2,y2,z2)。
S167、通过以下公式对该特征点进行坐标变换：
其中，
表示坐标转换值，
表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示相机的光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[Q T]表示亿像素阵列式相机的外参矩阵；R表示偏移率，
表示该特征点的修正坐标值。
S168、遍历所述第二特征点中的所有特征点，重复步骤S166-S167。
S169、基于述第二特征点中所有特征点的修正坐标值，映射出第二修正特征点。
偏移率的计算考虑了相机和拍摄对象的移动方向和速度可能对图像拼接造成的误差，
该实施方式通过引入三维坐标系，创新性地将相机内参矩阵、外参矩阵与移动导致的偏移率结合，修正两张图像的特征点，减少拼接错误的情况发生。
S170、匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对。
其中，采用汉明距离匹配所述第一修正特征点和所述第二修正特征点中的每一特征点，获得汉明距离最短的多个最优特征点对。
具体地，可以预设所需的最优特征点对数量，也可以预设汉明距离阈值，在此不做具体限定。
S180、筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。
其中，可以采用加权融合算法，获得拼接后的总图像。
由此，在兼顾大视野和细节的图像数据基础上，能够避免相机和拍摄对象移动造成的图像偏差，提高图像拼接效率和精度。
为实现上述方法类实施例，本实施例还提供一种基于亿像素阵列式相机的图像拼接系统，如图2所示，该系统包括：
图像数据获取模块210，用于获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像。
特征点确定模块220，用于分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点。
速度确定模块230，用于分别获取所述亿像素阵列式相机和所述目标对象的第一移动速度、第二移动速度。
偏移率计算模块240，用于基于所述第一移动速度和所述第二移动速度，计算偏移率。
特征点修正模块250，用于基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点。
最优特征点对获取模块260，用于匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对。
图像拼接模块270，用于筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。
可选地，所述第一待拼接图像和所述第二待拼接图像是连续的两帧图像。
可选地，所述特征点确定模块220进一步用于：根据所述第一待拼接图像或所述第二待拼接图像上的每个像素点，以该像素点为中心，计算n个邻近像素点的灰度差值；若所述灰度差值符合预设条件的邻近像素点大于n/2个，则该像素点确定为第一特征点或第二特征点。
可选地，所述偏移率计算模块240，进一步用于：分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2；若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率R：
若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率R：
其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差Δt＝|t2-t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度。
可选地，所述分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2，包括：通过以下公式计算第一偏移量s1和第二偏移量s2：
s1＝|vx1-vx2|*Δt
s2＝|vd1-vd2|*Δt
其中，vx1表示亿像素阵列式相机在t1时刻的移动速度，vx2表示亿像素阵列式相机在t2时刻的移动速度，vd1表示目标对象在t1时刻的移动速度，vd2表示目标对象在t2时刻的移动速度，Δt表示第一待拼接图像与第二待拼接图像的拍摄时间差。
可选地，所述特征点修正模块250进一步用于：构建三维坐标系；获取多个所述第一特征点中任一个特征点的坐标值(x1,y1,z1)；通过以下公式对该特征点进行坐标变换：
其中，
表示坐标转换值，
表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[QT]表示亿像素阵列式相机的外参矩阵；R表示偏移率，
表示该特征点的修正坐标值；遍历所述第一特征点中的所有特征点，重复以上步骤；基于所述第一特征点中所有特征点的修正坐标值，映射出第一修正特征点。
可选地，所述特征点修正模块250进一步用于：获取获取多个所述第二特征点中任一个特征点的坐标值(x2,y2,z2)；通过以下公式对该特征点进行坐标变换：
其中，
表示坐标转换值，
表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示相机的光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[QT]表示亿像素阵列式相机的外参矩阵；R表示偏移率，
表示该特征点的修正坐标值；遍历所述第二特征点中的所有特征点，重复以上步骤；基于述第二特征点中所有特征点的修正坐标值，映射出第二修正特征点。
可选地，所述最优特征点对获取模块260进一步用于：采用汉明距离匹配所述第一修正特征点和所述第二修正特征点中的每一特征点，获得汉明距离最短的多个最优特征点对。
可选地，所述图像拼接模块270进一步用于：采用加权融合算法，获得拼接后的总图像。
该系统在计算偏移率时，考虑了相机和拍摄对象的移动方向和速度可能对图像拼接造成的误差，同时引入三维坐标系，将相机参数与偏移率结合，修正两张图像的特征点，能够提高图像拼接效率和精度。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置中模块/单元/子单元/组件的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种基于亿像素阵列式相机的图像拼接方法，其特征在于，包括：
获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像；
分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；
获取所述亿像素阵列式相机的第一移动速度；
获取所述目标对象的第二移动速度；
基于所述第一移动速度和所述第二移动速度，计算偏移率；
所述基于所述第一移动速度和所述第二移动速度，计算偏移率，包括：
分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2；
若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率R：
若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率R：
其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差Δt＝|t2-t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度；
基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点；
匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对；
筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。
2.根据权利要求1所述的图像拼接方法，其特征在于，所述第一待拼接图像和所述第二待拼接图像是连续的两帧图像。
3.根据权利要求1所述的图像拼接方法，其特征在于，所述分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点，包括：
根据所述第一待拼接图像或所述第二待拼接图像上的每个像素点，以该像素点为中心，计算n个邻近像素点的灰度差值；
若所述灰度差值符合预设条件的邻近像素点大于n/2个，则该像素点确定为第一特征点或第二特征点。
4.根据权利要求1所述的图像拼接方法，其特征在于，所述分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2，包括：
通过以下公式计算第一偏移量s1和第二偏移量s2：
s1＝|vx1-vx2|*Δt
s2＝|vd1-vd2|*Δt
其中，vx1表示亿像素阵列式相机在t1时刻的移动速度，vx2表示亿像素阵列式相机在t2时刻的移动速度，vd1表示目标对象在t1时刻的移动速度，vd2表示目标对象在t2时刻的移动速度，Δt表示第一待拼接图像与第二待拼接图像的拍摄时间差。
5.根据权利要求1所述的图像拼接方法，其特征在于，基于所述偏移率调整所述第一特征点，获得第一修正特征点，包括：
构建三维坐标系；
获取多个所述第一特征点中任一个特征点的坐标值(x1,y1,z1)；
通过以下公式对该特征点进行坐标变换：
其中，
表示坐标转换值，
表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[QT]表示亿像素阵列式相机的外参矩阵；R表示偏移率，
表示该特征点的修正坐标值；
遍历所述第一特征点中的所有特征点，重复以上步骤；
基于所述第一特征点中所有特征点的修正坐标值，映射出第一修正特征点。
6.根据权利要求5所述的图像拼接方法，其特征在于，基于所述偏移率调整所述第二特征点，获得第二修正特征点，包括：
获取多个所述第二特征点中任一个特征点的坐标值(x2,y2,z2)；
通过以下公式对该特征点进行坐标变换：
其中，
表示坐标转换值，
表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示相机的光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[QT]表示亿像素阵列式相机的外参矩阵；R表示偏移率，
表示该特征点的修正坐标值；
遍历所述第二特征点中的所有特征点，重复以上步骤；
基于述第二特征点中所有特征点的修正坐标值，映射出第二修正特征点。
7.根据权利要求1所述的图像拼接方法，其特征在于，所述匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对，包括：
采用汉明距离匹配所述第一修正特征点和所述第二修正特征点中的每一特征点，获得汉明距离最短的多个最优特征点对。
8.根据权利要求1所述的图像拼接方法，其特征在于，所述拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像，包括：
采用加权融合算法，获得拼接后的总图像。
9.一种基于亿像素阵列式相机的图像拼接系统，其特征在于，包括：
图像数据获取模块，用于获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像；
特征点确定模块，用于分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；
速度确定模块，用于分别获取所述亿像素阵列式相机和所述目标对象的第一移动速度、第二移动速度；
偏移率计算模块，用于基于所述第一移动速度和所述第二移动速度，计算偏移率；
所述偏移率计算模块，进一步用于分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2；
若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率R：
若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率R：
其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差Δt＝|t2-t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度；
特征点修正模块，用于基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点；
最优特征点对获取模块，用于匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对；
图像拼接模块，用于筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210639481.5A CN114841862B (zh) | 2022-06-07 | 2022-06-07 | 一种基于亿像素阵列式相机的图像拼接方法及系统 |
| PCT/CN2022/141925 WO2023236508A1 (zh) | 2022-06-07 | 2022-12-26 | 一种基于亿像素阵列式相机的图像拼接方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210639481.5A CN114841862B (zh) | 2022-06-07 | 2022-06-07 | 一种基于亿像素阵列式相机的图像拼接方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114841862A CN114841862A (zh) | 2022-08-02 |
| CN114841862B true CN114841862B (zh) | 2023-02-03 |
Family
ID=82573495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210639481.5A Active CN114841862B (zh) | 2022-06-07 | 2022-06-07 | 一种基于亿像素阵列式相机的图像拼接方法及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114841862B (zh) |
| WO (1) | WO2023236508A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114841862B (zh) * | 2022-06-07 | 2023-02-03 | 北京拙河科技有限公司 | 一种基于亿像素阵列式相机的图像拼接方法及系统 |
| CN115829843B (zh) * | 2023-01-09 | 2023-05-12 | 深圳思谋信息科技有限公司 | 图像拼接方法、装置、计算机设备及存储介质 |
| CN118014828B (zh) * | 2023-12-19 | 2024-08-20 | 苏州一际智能科技有限公司 | 用于阵列摄像机的图像拼接方法、装置和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107079141A (zh) * | 2014-09-22 | 2017-08-18 | 三星电子株式会社 | 用于三维视频的图像拼接 |
| CN108566513A (zh) * | 2018-03-28 | 2018-09-21 | 深圳臻迪信息技术有限公司 | 一种无人机对运动目标的拍摄方法 |
| JP6551623B1 (ja) * | 2018-03-19 | 2019-07-31 | 株式会社リコー | 情報処理装置、移動体、画像処理システムおよび情報処理方法 |
| CN110706257A (zh) * | 2019-09-30 | 2020-01-17 | 北京迈格威科技有限公司 | 有效特征点对的识别方法、相机状态的确定方法及装置 |
| CN111260542A (zh) * | 2020-01-17 | 2020-06-09 | 中国电子科技集团公司第十四研究所 | 一种基于子块配准的sar图像拼接方法 |
| CN114418839A (zh) * | 2021-12-09 | 2022-04-29 | 浙江大华技术股份有限公司 | 图像拼接方法、电子设备以及计算机可读存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170006219A1 (en) * | 2015-06-30 | 2017-01-05 | Gopro, Inc. | Image stitching in a multi-camera array |
| US10129527B2 (en) * | 2015-07-16 | 2018-11-13 | Google Llc | Camera pose estimation for mobile devices |
| JP6741533B2 (ja) * | 2016-09-26 | 2020-08-19 | キヤノン株式会社 | 撮影制御装置およびその制御方法 |
| CN107945113B (zh) * | 2017-11-17 | 2019-08-30 | 北京天睿空间科技股份有限公司 | 局部图像拼接错位的矫正方法 |
| CN112866542B (zh) * | 2019-11-12 | 2022-08-12 | Oppo广东移动通信有限公司 | 追焦方法和装置、电子设备、计算机可读存储介质 |
| CN113891111B (zh) * | 2021-09-29 | 2023-11-21 | 北京拙河科技有限公司 | 十亿像素视频的直播方法、装置、介质及设备 |
| CN114841862B (zh) * | 2022-06-07 | 2023-02-03 | 北京拙河科技有限公司 | 一种基于亿像素阵列式相机的图像拼接方法及系统 |
-
2022
- 2022-06-07 CN CN202210639481.5A patent/CN114841862B/zh active Active
- 2022-12-26 WO PCT/CN2022/141925 patent/WO2023236508A1/zh unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107079141A (zh) * | 2014-09-22 | 2017-08-18 | 三星电子株式会社 | 用于三维视频的图像拼接 |
| JP6551623B1 (ja) * | 2018-03-19 | 2019-07-31 | 株式会社リコー | 情報処理装置、移動体、画像処理システムおよび情報処理方法 |
| CN108566513A (zh) * | 2018-03-28 | 2018-09-21 | 深圳臻迪信息技术有限公司 | 一种无人机对运动目标的拍摄方法 |
| CN110706257A (zh) * | 2019-09-30 | 2020-01-17 | 北京迈格威科技有限公司 | 有效特征点对的识别方法、相机状态的确定方法及装置 |
| CN111260542A (zh) * | 2020-01-17 | 2020-06-09 | 中国电子科技集团公司第十四研究所 | 一种基于子块配准的sar图像拼接方法 |
| CN114418839A (zh) * | 2021-12-09 | 2022-04-29 | 浙江大华技术股份有限公司 | 图像拼接方法、电子设备以及计算机可读存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 十亿像素瞬态成像系统实时图像拼接;王新华等;《中国光学》;20151015;第8卷(第05期);785-793 * |
| 基于MEMS陀螺仪的光学图像拼接;伍文双等;《光子学报》;20180116;第47卷(第03期);1-9 * |
| 基于特征点的图像拼接技术在动漫中的应用;黄梅等;《湖南师范大学自然科学学报》;20160128;第39卷(第01期);49-54 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114841862A (zh) | 2022-08-02 |
| WO2023236508A1 (zh) | 2023-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114841862B (zh) | 一种基于亿像素阵列式相机的图像拼接方法及系统 | |
| CN109194876B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| US11019330B2 (en) | Multiple camera system with auto recalibration | |
| CN110248097B (zh) | 追焦方法、装置、终端设备、计算机可读存储介质 | |
| CN109544620B (zh) | 图像处理方法和装置、计算机可读存储介质和电子设备 | |
| CN102227746B (zh) | 立体图像处理装置、方法和立体成像设备 | |
| CN110689581A (zh) | 结构光模组标定方法、电子设备、计算机可读存储介质 | |
| CN112005548B (zh) | 生成深度信息的方法和支持该方法的电子设备 | |
| JP2019510234A (ja) | 奥行き情報取得方法および装置、ならびに画像取得デバイス | |
| US10529081B2 (en) | Depth image processing method and depth image processing system | |
| TW201118791A (en) | System and method for obtaining camera parameters from a plurality of images, and computer program products thereof | |
| CN110213491B (zh) | 一种对焦方法、装置及存储介质 | |
| CN109660718B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| JP7378219B2 (ja) | 撮像装置、画像処理装置、制御方法、及びプログラム | |
| CN109559352B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
| CN113409391A (zh) | 视觉定位方法及相关装置、设备和存储介质 | |
| CN112489136A (zh) | 标定方法、位置确定方法、装置、电子设备及存储介质 | |
| CN111815715A (zh) | 变焦云台摄像机的标定方法、装置及存储介质 | |
| JP2011149931A (ja) | 距離画像取得装置 | |
| CN105335959B (zh) | 成像装置快速对焦方法及其设备 | |
| CN109584311B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
| CN109671028B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN107256563B (zh) | 基于差异液位图像序列的水下三维重建系统及其方法 | |
| CN117078762A (zh) | 一种虚拟现实设备、相机标定装置及方法 | |
| KR100736565B1 (ko) | 파노라마 영상 촬영 방법 및 이를 수행하기 위한이동통신단말기 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |