CN113129211A - 光心对齐检测方法和装置、存储介质、电子设备 - Google Patents
光心对齐检测方法和装置、存储介质、电子设备 Download PDFInfo
- Publication number
- CN113129211A CN113129211A CN202110663882.XA CN202110663882A CN113129211A CN 113129211 A CN113129211 A CN 113129211A CN 202110663882 A CN202110663882 A CN 202110663882A CN 113129211 A CN113129211 A CN 113129211A
- Authority
- CN
- China
- Prior art keywords
- image
- matrix
- determining
- pairs
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 72
- 238000001514 detection method Methods 0.000 title claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims abstract description 204
- 238000013507 mapping Methods 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012795 verification Methods 0.000 claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 8
- 238000006073 displacement reaction Methods 0.000 abstract description 7
- 238000003384 imaging method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
本公开公开了一种光心对齐检测方法和装置、存储介质、电子设备,其中,方法包括:确定摄像设备在不同位姿采集得到的第一图像和第二图像之间的映射矩阵;基于所述映射矩阵确定所述摄像设备的内参矩阵和旋转矩阵;基于所述内参矩阵和所述旋转矩阵,确定所述摄像设备在采集所述第一图像和所述第二图像时是否存在位移;本公开通过内参矩阵和旋转矩阵实现了仅依赖场景的光心对齐的验证方法,摄像设备的光心对齐时,可实现效果更好的全局图拼接。
Description
技术领域
本公开涉及图像拼接技术领域,尤其是一种光心对齐检测方法和装置、存储介质、电子设备。
背景技术
基于纯图像的全景图拼接算法中,拍摄图像的摄像设备是否同光心会严重影响得到的全景图的拼接质量。而用户在实际使用云台的过程中,并不能通过精密仪器验证放置的摄像设备是否在一定的容忍度下同光心,同时用户所处的环境也是未知的;现有技术中没有提出在全景图拍摄过程中是否同光心的验证方式。
发明内容
为了解决上述技术问题,提出了本公开。本公开提供了一种光心对齐检测方法和装置、存储介质、电子设备。
根据本公开的一个方面,提供了一种光心对齐检测方法,包括:
确定摄像设备在不同位姿采集得到的第一图像和第二图像之间的第一映射矩阵;
基于所述第一映射矩阵确定所述摄像设备的内参矩阵和旋转矩阵;
基于所述内参矩阵和所述旋转矩阵,确定所述摄像设备在采集所述第一图像和所述第二图像时是否存在位移。
可选地,所述基于所述第一映射矩阵确定所述摄像设备的内参矩阵和旋转矩阵,包括:
通过全局优化算法对所述第一映射矩阵进行处理,确定所述摄像设备的内参矩阵和旋转矩阵;其中,所述旋转矩阵表示所述摄像设备采集所述第一图像时的位姿与采集所述第二图像的位姿之间的差异。
可选地,所述基于所述内参矩阵和所述旋转矩阵,确定所述摄像设备在采集所述第一图像和所述第二图像时光心是否对齐,包括:
基于所述内参矩阵和所述旋转矩阵确定所述第一图像和所述第二图像中的多对特征点对是否符合设定条件;
响应于所述多对特征点对符合所述设定条件,确定所述摄像设备在采集所述第一图像和所述第二图像时光心对齐。
可选地,还包括:
基于所述多对特征点对对所述光心对齐的所述第一图像和所述第二图像进行拼接。
可选地,所述基于所述内参矩阵和所述旋转矩阵确定所述第一图像和所述第二图像中的多对特征点对是否符合设定条件,包括:
基于所述内参矩阵和所述旋转矩阵求解得到第二映射矩阵;
基于所述第二映射矩阵与所述第一映射矩阵的对应关系,确定所述多个特征点对是否符合设定条件。
可选地,还包括:
响应于所述多个特征点对不符合所述设定条件,确定所述摄像设备在采集所述第一图像和所述第二图像时光心不对齐。
可选地,所述确定摄像设备在不同位姿采集得到的第一图像和第二图像之间的第一映射矩阵,包括:
基于摄像设备在不同位姿采集得到的第一图像和第二图像,确定特征点对集合;其中,所述特征点对集合包括多对特征点对,每对所述特征点对包括存在对应关系的所述第一图像中的一个第一特征点和所述第二图像中的一个第二特征点;
基于所述特征点对集合确定所述第一图像与所述第二图像之间的第一映射矩阵。
可选地,所述基于摄像设备在不同位姿采集得到的第一图像和第二图像,确定特征点对集合,包括:
基于摄像设备在不同位姿采集得到的多个图像,从所述多个图像中确定连续采集的第一图像和第二图像;
确定所述第一图像和所述第二图像中的多对特征点对;
基于所述多对特征点对得到所述特征点对集合。
可选地,所述确定所述第一图像和所述第二图像中的多对特征点对,包括:
分别对所述第一图像和所述第二图像进行特征点提取,得到所述第一图像对应的多个第一特征点和所述第二图像对应的多个第二特征点;
基于所述多个第一特征点中每个第一特征点对应的特征描述子和所述多个第二特征点中每个第二特征点对应的特征描述子,确定多个所述第一特征点与所述第二特征点之间的对应关系;
基于存在对应关系的所述第一特征点和所述第二特征点确定一个所述特征点对,得到所述多个特征点对。
根据本公开的另一方面,提供了一种光心对齐检测装置,包括:
映射矩阵确定模块,用于确定摄像设备在不同位姿采集得到的第一图像和第二图像之间的第一映射矩阵;
矩阵估计模块,用于基于所述第一映射矩阵确定所述摄像设备的内参矩阵和旋转矩阵;
对齐验证模块,用于基于所述内参矩阵和所述旋转矩阵,确定所述摄像设备在采集所述第一图像和所述第二图像时光心是否对齐。
可选地,所述矩阵估计模块,具体用于通过全局优化算法对所述第一映射矩阵进行处理,确定所述摄像设备的内参矩阵和旋转矩阵;其中,所述旋转矩阵表示所述摄像设备采集所述第一图像时的位姿与采集所述第二图像的位姿之间的差异。
可选地,所述对齐验证模块,具体用于基于所述内参矩阵和所述旋转矩阵确定所述第一图像和所述第二图像中的多对特征点对是否符合设定条件;响应于所述多对特征点对符合所述设定条件,确定所述摄像设备在采集所述第一图像和所述第二图像时光心对齐。
可选地,所述对齐验证模块,还用于基于所述多对特征点对对所述光心对齐的所述第一图像和所述第二图像进行拼接。
可选地,所述对齐验证模块在基于所述内参矩阵和所述旋转矩阵确定所述第一图像和所述第二图像中的多对特征点对是否符合设定条件时,用于基于所述内参矩阵和所述旋转矩阵求解得到第二映射矩阵;基于所述第二映射矩阵与所述第一映射矩阵的对应关系,确定所述多个特征点对是否符合设定条件。
可选地,所述对齐验证模块,还用于响应于所述多个特征点对不符合所述设定条件,确定所述摄像设备在采集所述第一图像和所述第二图像时光心不对齐。
可选地,所述映射矩阵确定模块,包括:
集合确定单元,用于基于摄像设备在不同位姿采集得到的第一图像和第二图像,确定特征点对集合;其中,所述特征点对集合包括多对特征点对,每对所述特征点对包括存在对应关系的所述第一图像中的一个第一特征点和所述第二图像中的一个第二特征点;
特征点映射单元,用于基于所述特征点对集合确定所述第一图像与所述第二图像之间的第一映射矩阵。
可选地,所述集合确定单元,具体用于基于摄像设备在不同位姿采集得到的多个图像,从所述多个图像中确定连续采集的第一图像和第二图像;确定所述第一图像和所述第二图像中的多对特征点对;基于所述多对特征点对得到所述特征点对集合。
可选地,所述集合确定单元在确定所述第一图像和所述第二图像中的多对特征点对时,用于分别对所述第一图像和所述第二图像进行特征点提取,得到所述第一图像对应的多个第一特征点和所述第二图像对应的多个第二特征点;基于所述多个第一特征点中每个第一特征点对应的特征描述子和所述多个第二特征点中每个第二特征点对应的特征描述子,确定多个所述第一特征点与所述第二特征点之间的对应关系;基于存在对应关系的所述第一特征点和所述第二特征点确定一个所述特征点对,得到所述多个特征点对。
根据本公开的又一方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述任一实施例所述的光心对齐检测方法。
根据本公开的还一方面,提供了一种电子设备,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述任一所述的光心对齐检测方法。
基于本公开提供的一种光心对齐检测方法和装置、存储介质、电子设备,确定摄像设备在不同位姿采集得到的第一图像和第二图像之间的第一映射矩阵;基于所述第一映射矩阵确定所述摄像设备的内参矩阵和旋转矩阵;基于所述内参矩阵和所述旋转矩阵,确定所述摄像设备在采集所述第一图像和所述第二图像时是否存在位移;本公开通过内参矩阵和旋转矩阵实现了仅依赖场景的光心对齐的验证方法,摄像设备的光心对齐时,可实现效果更好的全局图拼接。
下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述,本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解,并且构成说明书的一部分,与本公开实施例一起用于解释本公开,并不构成对本公开的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是本公开一示例性实施例提供的光心对齐检测方法的流程示意图。
图2是本公开图1所示的实施例中步骤106的一个流程示意图。
图3是本公开图1所示的实施例中步骤102的一个流程示意图。
图4是本公开一示例性实施例提供的光心对齐检测装置的结构示意图。
图5是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
下面,将参考附图详细地描述根据本公开的示例实施例。显然,所描述的实施例仅仅是本公开的一部分实施例,而不是本公开的全部实施例,应理解,本公开不受这里描述的示例实施例的限制。
应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解,本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
还应理解,在本公开实施例中,“多个”可以指两个或两个以上,“至少一个”可以指一个、两个或两个以上。
还应理解,对于本公开实施例中提及的任一部件、数据或结构,在没有明确限定或者在前后文给出相反启示的情况下,一般可以理解为一个或多个。
另外,本公开中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本公开中字符“/”,一般表示前后关联对象是一种“或”的关系。
还应理解,本公开对各个实施例的描述着重强调各个实施例之间的不同之处,其相同或相似之处可以相互参考,为了简洁,不再一一赘述。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
示例性方法
图1是本公开一示例性实施例提供的光心对齐检测方法的流程示意图。本实施例可应用在电子设备上,如图1所示,包括如下步骤:
步骤102,确定摄像设备在不同位姿采集得到的第一图像和第二图像之间的第一映射矩阵。
可选地,本实施例中的第一图像和第二图像可以是摄像设备在云台上连续转动获得的多个图像中的连续两个图像,也可以是在拍摄时序中不连续,但是有重合部分的两个图像,为了基于摄像设备采集的多个图像拼接得到全景图,需要确定第一图像和第二图像是否可以拼接;第一映射矩阵通常表现为一个3*3的矩阵,用于描述第一图像和第二图像之间的映射关系。
步骤104,基于第一映射矩阵确定摄像设备的内参矩阵和旋转矩阵。
可选地,内参矩阵:可以包括摄像设备的光心以及数字焦距、相机畸变参数等,以上所有参数共同描述了光线进入摄像设备后是如何传播并显示在摄像设备上的;旋转矩阵在本公开实施例中特指摄像设备在拍摄第一图像与拍摄第二图像之间的位姿变换量(包括:三个自由度上的旋转角度),是一个三自由度(包括:俯仰角、滚转角和偏航角,建立空间坐标系,沿每个坐标系的旋转是相互独立的,分别是一个自由度的自变量)。
步骤106,基于内参矩阵和旋转矩阵,确定摄像设备在采集第一图像和第二图像时光心是否对齐。
可选地,通过第一图像和第二图像对应的摄像设备之间是否存在位移来确定光心是否对齐,当光心对齐,说明第一图像和第二图像可以实现较好的拼接效果。
本实施例提出通过内参矩阵和旋转矩阵验证的方式确定摄像设备在采集不同图像时光心是否对齐,实现了实时光心对齐的验证,提高了图像拼接的效率和效果。
本公开上述实施例提供的一种光心对齐检测方法,确定摄像设备在不同位姿采集得到的第一图像和第二图像之间的第一映射矩阵;基于所述第一映射矩阵确定所述摄像设备的内参矩阵和旋转矩阵;基于所述内参矩阵和所述旋转矩阵,确定所述摄像设备在采集所述第一图像和所述第二图像时光心是否对齐;本实施例通过内参矩阵和旋转矩阵实现了仅依赖场景的光心对齐的验证方法,摄像设备的光心对齐时,可实现效果更好的全局图拼接。
在一些可选的实施例中,上述实施例中步骤104包括:
通过全局优化算法对第一映射矩阵进行处理,确定摄像设备的内参矩阵和旋转矩阵。
可选地,旋转矩阵表示摄像设备采集第一图像时的位姿与采集第二图像的位姿之间的差异;通过迭代求解,确定本实施中摄像设备的内参矩阵和旋转矩阵;可选地,基于第一映射矩阵确定摄像设备的内参矩阵和旋转矩阵的过程可基于以下公式(1)实现:
其中,全局优化算法对于具有采样数据但分布未知的问题,全局优化算法可以求解特定的未知变量的最优解;利用全局优化算法对上述公式(1)迭代求解得到内参矩阵和旋转矩阵的过程属于最大似然估计。
如图2所示,在上述图1所示实施例的基础上,步骤106可包括如下步骤:
步骤1061,基于内参矩阵和旋转矩阵确定第一图像和第二图像中的多对特征点对是否符合设定条件,如果是,执行步骤1062,否则,执行步骤1063。
可选地,基于内参矩阵和旋转矩阵求解得到第二映射矩阵;基于第二映射矩阵与第一映射矩阵的对应关系,确定多个特征点对是否符合设定条件。
在确定第一映射矩阵的前提下,基于上述公式(1)得到内参矩阵和旋转矩阵,此时,如果将内参矩阵和旋转矩阵带入回该公式(1),通过计算的结果,得到第二映射矩阵,此时,如果摄像设备在采集第一图像和第二图像的过程中存在位移(光心不对齐),会导致计算过程中误差较大,使得第二映射矩阵与第一映射矩阵的差异较大;因此,本实施例通过计算得到的第二映射矩阵与第一映射矩阵之间的差异是否在设定范围内,来确定摄像设备的光心是否对齐。
步骤1062,确定摄像设备在采集第一图像和第二图像时光心对齐。
步骤1063,确定摄像设备在采集第一图像和第二图像时光心不对齐。
为了便于理解光心对齐与上述公式(1)的验证关系,可结合第一图像和第二图像中的一对特征点对的映射公式(2)进行理解:
其中,和表示分别对应第一图像和第二图像的一对特征点对(可认为是同一真实点在两图像中的显示),K表示内参矩阵,表示内参矩阵的逆矩阵,表示摄像设备采集第一图像时的位姿与采集第二图像的位姿之间的位姿变化(旋转矩阵),表示摄像设备采集第一图像时与采集第二图像时的位移变化量,d表示特征点对对应的真实点与光心之间的距离,n表示真实点所在平面的法向量,T表示转置;因此,当公式(2)中的约为零时,可将公式中的部分省去,即可得到上述公式(1),因此,只需得到的内参矩阵和旋转矩阵带入公式(1)求解的第二映射矩阵与第一映射矩阵之间的差异足够小时,即可认为摄像设备采集第一图像时与采集第二图像时不存在位移,即光心对齐。
可选地,在确定摄像设备在采集第一图像和第二图像时光心对齐之后,还可以包括:
基于多对特征点对对光心对齐的第一图像和第二图像进行拼接。
本实施例中,当确定摄像设备在采集第一图像和第二图像时光心对齐时,说明第一图像和第二图像能实现较好的拼接效果,因此,本实施例对光心对齐的第一图像和第二图像进行拼接,而光心不对齐的第一图像和第二图像不执行拼接,以保证拼接得到的全景图像具有较好的质量。
如图3所示,在上述图1所示实施例的基础上,步骤102可包括如下步骤:
步骤1021,基于摄像设备在不同位姿采集得到的第一图像和第二图像,确定特征点对集合。
其中,特征点对集合包括多对特征点对,每对特征点对包括存在对应关系的第一图像中的一个第一特征点和第二图像中的一个第二特征点。
可选地,基于摄像设备在不同位姿采集得到的多个图像,从多个图像中确定连续采集的第一图像和第二图像;
确定第一图像和第二图像中的多对特征点对;
基于多对特征点对得到特征点对集合。
可选地,可将摄像设备设置在云台上,通过云台转动多个角度实现拍摄得到图像集合,图像集合中包括多个图像,本实施例为了实现全景图的拼接,可以取连续拍摄的两个图像作为第一图像和第二图像,获得第一图像和第二图像中存在对应关系的所有特征点对,构成特征点对集合,基于该特征点对集合确定的第一映射矩阵更接近真实值。
步骤1022,基于特征点对集合确定第一图像与第二图像之间的第一映射矩阵。
本实施例中,第一特征点和第二特征点是空间中同一真实点被摄像设备采集后分别显示在第一图像和第二图像上的点,通过所有的特征点对之间的连接关系,即可确定第一图像和第二图像之间的连接关系以及重叠部分,确定第一图像与第二图像之间的第一映射矩阵;通过特征点对集合确定第一映射矩阵,由于结合了多个特征点对之间的连接关系,提高了得到的第一映射矩阵的准确性。
在一些可选实施例中,确定第一图像和第二图像中的多对特征点对,包括:
分别对第一图像和第二图像进行特征点提取,得到第一图像对应的多个第一特征点和第二图像对应的多个第二特征点;
基于多个第一特征点中每个第一特征点对应的特征描述子和多个第二特征点中每个第二特征点对应的特征描述子,确定多个第一特征点与第二特征点之间的对应关系;
基于存在对应关系的第一特征点和第二特征点确定一个特征点对,得到多个特征点对。
本实施例中,可选地,特征点可以是角点等图像中较为突出的点,可通过ORB提取算法分别提取第一图像和第二图像中的特征点;特征点可通过位置(坐标)和描述(描述子)来实现唯一表示,本实施例通过特征描述子确定哪些特征点对应同一真实点,其中,特征描述子是特征点周围的像素经过处理来描述该特征点的特征;结合特征描述子和位置可唯一确定一个特征点,本实施例通过结合特征描述子为第一图像和第二图像确定多对特征点对,提高了确定的特征点对的准确性,进而提高了光心对齐的检测结果的准确性。
本公开实施例提供的任一种光心对齐检测方法可以由任意适当的具有数据处理能力的设备执行,包括但不限于:终端设备和服务器等。或者,本公开实施例提供的任一种光心对齐检测方法可以由处理器执行,如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种光心对齐检测方法。下文不再赘述。
示例性装置
图4是本公开一示例性实施例提供的光心对齐检测装置的结构示意图。如图4所示,本实施例提供的装置包括:
映射矩阵确定模块41,用于确定摄像设备在不同位姿采集得到的第一图像和第二图像之间的第一映射矩阵。
矩阵估计模块42,用于基于第一映射矩阵确定摄像设备的内参矩阵和旋转矩阵。
对齐验证模块43,用于基于内参矩阵和旋转矩阵,确定摄像设备在采集第一图像和第二图像时光心是否对齐。
本公开上述实施例提供的一种光心对齐检测装置,确定摄像设备在不同位姿采集得到的第一图像和第二图像之间的第一映射矩阵;基于所述第一映射矩阵确定所述摄像设备的内参矩阵和旋转矩阵;基于所述内参矩阵和所述旋转矩阵,确定所述摄像设备在采集所述第一图像和所述第二图像时光心是否对齐;本实施例通过内参矩阵和旋转矩阵实现了仅依赖场景的光心对齐的验证方法,摄像设备的光心对齐时,可实现效果更好的全局图拼接。
可选地,矩阵估计模块42,具体用于通过全局优化算法对第一映射矩阵进行处理,确定摄像设备的内参矩阵和旋转矩阵。
其中,旋转矩阵表示摄像设备采集第一图像时的位姿与采集第二图像的位姿之间的差异。
可选地,对齐验证模块43,具体用于基于内参矩阵和旋转矩阵确定第一图像和第二图像中的多对特征点对是否符合设定条件;响应于多对特征点对符合设定条件,确定摄像设备在采集第一图像和第二图像时光心对齐。
可选地,对齐验证模块43,还用于基于多对特征点对对光心对齐的第一图像和第二图像进行拼接。
可选地,对齐验证模块43在基于内参矩阵和旋转矩阵确定第一图像和第二图像中的多对特征点对是否符合设定条件时,用于基于内参矩阵和旋转矩阵求解得到第二映射矩阵;基于第二映射矩阵与第一映射矩阵的对应关系,确定多个特征点对是否符合设定条件。
可选地,对齐验证模块43,还用于响应于多个特征点对不符合设定条件,确定摄像设备在采集第一图像和第二图像时光心不对齐。
可选地,映射矩阵确定模块41,包括:
集合确定单元,用于基于摄像设备在不同位姿采集得到的第一图像和第二图像,确定特征点对集合;其中,特征点对集合包括多对特征点对,每对特征点对包括存在对应关系的第一图像中的一个第一特征点和第二图像中的一个第二特征点;
特征点映射单元,用于基于特征点对集合确定第一图像与第二图像之间的第一映射矩阵。
可选地,集合确定单元,具体用于基于摄像设备在不同位姿采集得到的多个图像,从多个图像中确定连续采集的第一图像和第二图像;确定第一图像和第二图像中的多对特征点对;基于多对特征点对得到特征点对集合。
可选地,集合确定单元在确定第一图像和第二图像中的多对特征点对时,用于分别对第一图像和第二图像进行特征点提取,得到第一图像对应的多个第一特征点和第二图像对应的多个第二特征点;基于多个第一特征点中每个第一特征点对应的特征描述子和多个第二特征点中每个第二特征点对应的特征描述子,确定多个第一特征点与第二特征点之间的对应关系;基于存在对应关系的第一特征点和第二特征点确定一个特征点对,得到多个特征点对。
示例性电子设备
下面,参考图5来描述根据本公开实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备,该单机设备可以与第一设备和第二设备进行通信,以从它们接收所采集到的输入信号。
图5图示了根据本公开实施例的电子设备的框图。
如图5所示,电子设备50包括一个或多个处理器51和存储器52。
处理器51可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备50中的其他组件以执行期望的功能。
存储器52可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器51可以运行所述程序指令,以实现上文所述的本公开的各个实施例的光心对齐检测方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中,电子设备50还可以包括:输入装置53和输出装置54,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如,在该电子设备是第一设备100或第二设备200时,该输入装置53可以是上述的麦克风或麦克风阵列,用于捕捉声源的输入信号。在该电子设备是单机设备时,该输入装置53可以是通信网络连接器,用于从第一设备100和第二设备200接收所采集的输入信号。
此外,该输入装置53还可以包括例如键盘、鼠标等等。
该输出装置54可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出装置54可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图5中仅示出了该电子设备50中与本公开有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备50还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本公开的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的光心对齐检测方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本公开的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的光心对齐检测方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是,在本公开的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (9)
1.一种光心对齐检测方法,其特征在于,包括:
确定摄像设备在不同位姿采集得到的第一图像和第二图像之间的第一映射矩阵;
基于所述第一映射矩阵确定所述摄像设备的内参矩阵和旋转矩阵;
基于所述内参矩阵和所述旋转矩阵,确定所述摄像设备在采集所述第一图像和所述第二图像时光心是否对齐;
所述基于所述第一映射矩阵确定所述摄像设备的内参矩阵和旋转矩阵,包括:
通过全局优化算法对所述第一映射矩阵进行处理,确定所述摄像设备的内参矩阵和旋转矩阵;其中,所述旋转矩阵表示所述摄像设备采集所述第一图像时的位姿与采集所述第二图像的位姿之间的差异。
2.根据权利要求1所述的方法,其特征在于,所述基于所述内参矩阵和所述旋转矩阵,确定所述摄像设备在采集所述第一图像和所述第二图像时光心是否对齐,包括:
基于所述内参矩阵和所述旋转矩阵确定所述第一图像和所述第二图像中的多对特征点对是否符合设定条件;
响应于所述多对特征点对符合所述设定条件,确定所述摄像设备在采集所述第一图像和所述第二图像时光心对齐。
3.根据权利要求2所述的方法,其特征在于,所述基于所述内参矩阵和所述旋转矩阵确定所述第一图像和所述第二图像中的多对特征点对是否符合设定条件,包括:
基于所述内参矩阵和所述旋转矩阵求解得到第二映射矩阵;
基于所述第二映射矩阵与所述第一映射矩阵的对应关系,确定所述多个特征点对是否符合设定条件。
4.根据权利要求1-3任一所述的方法,其特征在于,所述确定摄像设备在不同位姿采集得到的第一图像和第二图像之间的第一映射矩阵,包括:
基于摄像设备在不同位姿采集得到的第一图像和第二图像,确定特征点对集合;其中,所述特征点对集合包括多对特征点对,每对所述特征点对包括存在对应关系的所述第一图像中的一个第一特征点和所述第二图像中的一个第二特征点;
基于所述特征点对集合确定所述第一图像与所述第二图像之间的第一映射矩阵。
5.根据权利要求4所述的方法,其特征在于,所述基于摄像设备在不同位姿采集得到的第一图像和第二图像,确定特征点对集合,包括:
基于摄像设备在不同位姿采集得到的多个图像,从所述多个图像中确定连续采集的第一图像和第二图像;
确定所述第一图像和所述第二图像中的多对特征点对;
基于所述多对特征点对得到所述特征点对集合。
6.根据权利要求5所述的方法,其特征在于,所述确定所述第一图像和所述第二图像中的多对特征点对,包括:
分别对所述第一图像和所述第二图像进行特征点提取,得到所述第一图像对应的多个第一特征点和所述第二图像对应的多个第二特征点;
基于所述多个第一特征点中每个第一特征点对应的特征描述子和所述多个第二特征点中每个第二特征点对应的特征描述子,确定多个所述第一特征点与所述第二特征点之间的对应关系;
基于存在对应关系的所述第一特征点和所述第二特征点确定一个所述特征点对,得到所述多个特征点对。
7.一种光心对齐检测装置,其特征在于,包括:
映射矩阵确定模块,用于确定摄像设备在不同位姿采集得到的第一图像和第二图像之间的第一映射矩阵;
矩阵估计模块,用于基于所述第一映射矩阵确定所述摄像设备的内参矩阵和旋转矩阵;
对齐验证模块,用于基于所述内参矩阵和所述旋转矩阵,确定所述摄像设备在采集所述第一图像和所述第二图像时光心是否对齐;
所述矩阵估计模块,具体用于通过全局优化算法对所述第一映射矩阵进行处理,确定所述摄像设备的内参矩阵和旋转矩阵;其中,所述旋转矩阵表示所述摄像设备采集所述第一图像时的位姿与采集所述第二图像的位姿之间的差异。
8.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-6任一所述的光心对齐检测方法。
9.一种电子设备,其特征在于,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述权利要求1-6任一所述的光心对齐检测方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110663882.XA CN113129211B (zh) | 2021-06-16 | 2021-06-16 | 光心对齐检测方法和装置、存储介质、电子设备 |
PCT/CN2022/072968 WO2022262273A1 (zh) | 2021-06-16 | 2022-01-20 | 光心对齐检测方法和装置、存储介质、电子设备 |
US17/723,790 US20220405968A1 (en) | 2021-06-16 | 2022-04-19 | Method, apparatus and system for image processing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110663882.XA CN113129211B (zh) | 2021-06-16 | 2021-06-16 | 光心对齐检测方法和装置、存储介质、电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113129211A true CN113129211A (zh) | 2021-07-16 |
CN113129211B CN113129211B (zh) | 2021-08-17 |
Family
ID=76783259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110663882.XA Active CN113129211B (zh) | 2021-06-16 | 2021-06-16 | 光心对齐检测方法和装置、存储介质、电子设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220405968A1 (zh) |
CN (1) | CN113129211B (zh) |
WO (1) | WO2022262273A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022262273A1 (zh) * | 2021-06-16 | 2022-12-22 | 贝壳技术有限公司 | 光心对齐检测方法和装置、存储介质、电子设备 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113572978A (zh) * | 2021-07-30 | 2021-10-29 | 北京房江湖科技有限公司 | 全景视频的生成方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130121616A1 (en) * | 2007-11-29 | 2013-05-16 | Hailin Jin | Method and apparatus for estimating rotation, focal lengths and radial distortion in panoramic image stitching |
CN109003226A (zh) * | 2017-06-06 | 2018-12-14 | 中林信达(北京)科技信息有限责任公司 | 一种全景图像实时拼接方法及装置 |
CN110009567A (zh) * | 2019-04-09 | 2019-07-12 | 三星电子(中国)研发中心 | 用于鱼眼镜头的图像拼接方法和装置 |
CN112102419A (zh) * | 2020-09-24 | 2020-12-18 | 烟台艾睿光电科技有限公司 | 双光成像设备标定方法及系统、图像配准方法 |
CN112927306A (zh) * | 2021-02-24 | 2021-06-08 | 深圳市优必选科技股份有限公司 | 拍摄装置的标定方法、装置及终端设备 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106530358A (zh) * | 2016-12-15 | 2017-03-22 | 北京航空航天大学 | 仅用两幅场景图像标定ptz摄像机的方法 |
US10600210B1 (en) * | 2019-07-25 | 2020-03-24 | Second Spectrum, Inc. | Data processing systems for real-time camera parameter estimation |
CN111325792B (zh) * | 2020-01-23 | 2023-09-26 | 抖音视界有限公司 | 用于确定相机位姿的方法、装置、设备和介质 |
CN111429353A (zh) * | 2020-03-27 | 2020-07-17 | 贝壳技术有限公司 | 图像拼接及全景图拼接方法和装置、存储介质、电子设备 |
CN111445537B (zh) * | 2020-06-18 | 2020-09-29 | 浙江中控技术股份有限公司 | 一种摄像机的标定方法及系统 |
CN112819904B (zh) * | 2021-03-15 | 2022-02-01 | 亮风台(上海)信息科技有限公司 | 一种用于标定ptz摄像机的方法与设备 |
CN113129211B (zh) * | 2021-06-16 | 2021-08-17 | 贝壳技术有限公司 | 光心对齐检测方法和装置、存储介质、电子设备 |
-
2021
- 2021-06-16 CN CN202110663882.XA patent/CN113129211B/zh active Active
-
2022
- 2022-01-20 WO PCT/CN2022/072968 patent/WO2022262273A1/zh unknown
- 2022-04-19 US US17/723,790 patent/US20220405968A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130121616A1 (en) * | 2007-11-29 | 2013-05-16 | Hailin Jin | Method and apparatus for estimating rotation, focal lengths and radial distortion in panoramic image stitching |
CN109003226A (zh) * | 2017-06-06 | 2018-12-14 | 中林信达(北京)科技信息有限责任公司 | 一种全景图像实时拼接方法及装置 |
CN110009567A (zh) * | 2019-04-09 | 2019-07-12 | 三星电子(中国)研发中心 | 用于鱼眼镜头的图像拼接方法和装置 |
CN112102419A (zh) * | 2020-09-24 | 2020-12-18 | 烟台艾睿光电科技有限公司 | 双光成像设备标定方法及系统、图像配准方法 |
CN112927306A (zh) * | 2021-02-24 | 2021-06-08 | 深圳市优必选科技股份有限公司 | 拍摄装置的标定方法、装置及终端设备 |
Non-Patent Citations (1)
Title |
---|
迟龙云 等: "基于局部单应性矩阵的图像拼接与定位算法研究", 《导航定位与授时》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022262273A1 (zh) * | 2021-06-16 | 2022-12-22 | 贝壳技术有限公司 | 光心对齐检测方法和装置、存储介质、电子设备 |
Also Published As
Publication number | Publication date |
---|---|
US20220405968A1 (en) | 2022-12-22 |
WO2022262273A1 (zh) | 2022-12-22 |
CN113129211B (zh) | 2021-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11475238B2 (en) | Keypoint unwarping for machine vision applications | |
CN111429354B (zh) | 图像拼接及全景图拼接方法和装置、存储介质、电子设备 | |
CN113129211B (zh) | 光心对齐检测方法和装置、存储介质、电子设备 | |
WO2018228436A1 (zh) | 双视角图像校准及图像处理方法、装置、存储介质和电子设备 | |
CN111432119B (zh) | 图像拍摄方法、装置、计算机可读存储介质及电子设备 | |
CN112489114A (zh) | 图像转换方法、装置、计算机可读存储介质及电子设备 | |
CN112399188A (zh) | 图像帧拼接方法和装置、可读存储介质及电子设备 | |
CN114399597A (zh) | 场景空间模型的构建方法、装置以及存储介质 | |
CN111612842A (zh) | 生成位姿估计模型的方法和装置 | |
CN114757301A (zh) | 车载视觉感知方法和装置、可读存储介质、电子设备 | |
WO2023005170A1 (zh) | 全景视频的生成方法和装置 | |
CN111402404B (zh) | 全景图补全方法、装置、计算机可读存储介质及电子设备 | |
CN112037279A (zh) | 物品位置识别方法和装置、存储介质、电子设备 | |
CN111402136A (zh) | 全景图生成方法、装置、计算机可读存储介质及电子设备 | |
CN111985556A (zh) | 关键点识别模型的生成方法和关键点识别方法 | |
CN114882465A (zh) | 视觉感知方法、装置、存储介质和电子设备 | |
CN111429353A (zh) | 图像拼接及全景图拼接方法和装置、存储介质、电子设备 | |
CN113744339B (zh) | 生成全景图像的方法、装置、电子设备和存储介质 | |
CN116320765B (zh) | 生成全景图像的方法、装置、设备、介质和程序产品 | |
CN111310818B (zh) | 特征描述子确定方法、装置及计算机可读存储介质 | |
US11755758B1 (en) | System and method for evaluating data files | |
CN113438463B (zh) | 正交相机图像的模拟方法和装置、存储介质、电子设备 | |
CN113450258B (zh) | 视角转换方法和装置、存储介质、电子设备 | |
CN113223185B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN112465716A (zh) | 图像转换方法、装置、计算机可读存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |