CN107945112A - 一种全景图像拼接方法及装置 - Google Patents
一种全景图像拼接方法及装置 Download PDFInfo
- Publication number
- CN107945112A CN107945112A CN201711148168.7A CN201711148168A CN107945112A CN 107945112 A CN107945112 A CN 107945112A CN 201711148168 A CN201711148168 A CN 201711148168A CN 107945112 A CN107945112 A CN 107945112A
- Authority
- CN
- China
- Prior art keywords
- source images
- target image
- block
- pixel
- positional information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000004891 communication Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 8
- 230000005055 memory storage Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Abstract
本发明实施例提供的一种全景图像拼接方法及装置，用以解决现有技术中存在全景图像拼接的效率较低的技术问题。其中，方法包括获取源图像视频流，并确定预设的位置信息集合，其中，一个位置信息用于指示一个源图像块在源图像视频流中的具体坐标位置；分别基于位置信息集合中的每个位置信息，从源图像视频流中截取相应的源图像块；基于获得的各个源图像块生成多个目标图像，对多个目标图像进行拼接，获得相应的全景图像。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种全景图像拼接方法及装置。
背景技术
目前，获得一幅包含各图像信息的宽视角场景的全景图像的办法主要包括：一、使用单个光学系统实现超半球的成像系统，如鱼眼透镜系统，可以形成超过180°的宽视角场景的全景图像；二、采用“硬拼”的方法，即将多路摄像机采集的存在相互重叠的图像序列不作任何处理直接进行拼接，形成一幅宽视角场景的全景图像；三、采用中央处理器(CentralProcessing Unit，CPU)和图形处理器(Graphics Processing Unit，GPU)对多路摄像机采集的存在相互重叠的图像序列进行坐标变换，将源图像投影到二维平面，对二维图像进行畸变矫正，使相邻图像的重叠区对齐，然后将图像进行融合，形成一幅宽视角场景的全景图像等。
针对现有技术中的第一种方法，使用单个光学系统实现超半球的成像系统会产生不可避免的大畸变，边缘视场的分辨率相对于中心视场大大降低，若想得到较为准确的全景图像，还需要进行后期加工，从而导致获得准确的全景图像的效率较低；第二种方法中，将多摄像机采集的图像直接拼接，由于图像的畸变，拼缝比较明显，或者由于摄像机摆放角度的误差，使得拼缝处也可能存在明显的重叠部分，在这种方法下，若想得到准确的全景图像，仍需要后期加工，导致获得准确的全景图像的效率较低；第三种方法中采用CPU和GPU按照一定的算法将多个摄像机采集的图像进行拼接，难以满足视频流图像的实时处理要求，特别是高分辨率视频流图像实时处理的要求，全景拼接的处理效率较低。
综上可知，现有技术中存在全景图像拼接的效率较低的技术问题。
发明内容
本发明实施例提供一种全景图像拼接方法及装置，用以解决现有技术中存在全景图像拼接的效率较低的技术问题。
第一方面
本发明实施例提供一种全景图像拼接方法，包括：
获取源图像视频流，并确定预设的位置信息集合，其中，一个位置信息用于指示一个源图像块在所述源图像视频流中的具体坐标位置；
分别基于所述位置信息集合中的每个位置信息，从所述源图像视频流中截取相应的源图像块；
基于获得的各个源图像块生成多个目标图像，对所述多个目标图像进行拼接，获得相应的全景图像。
在一种可能的实现方式中，在所述获取源图像视频流之前，预设所述位置信息集合，具体包括：
获取样本源图像集合；
对所述样本源图像集合中的每个样本源图像进行分析处理，转换为相应的目标图像；
获取每个样本源图像对应的目标图像的拼接投影参数，其中，一个目标图像的拼接投影参数用于至少指示所述目标图像在相应的样本源图像中的起始坐标及长宽尺寸；
分别基于每一个目标图像的拼接投影参数，确定相应的目标图像包含的若干目标图像块在对应的样本源图像中的位置信息；
将获得的各个位置信息组成位置信息集合。
在一种可能的实现方式中，基于任意一个目标图像的拼接投影参数，确定相应的目标图像包含的若干目标图像块在对应的样本源图像中的位置信息，包括：
基于所述任意一个目标图像的拼接投影参数包括的长宽尺寸参数，对所述任意一个目标图像进行划分，获得若干目标图像块；
分别针对每一个目标图像块执行以下操作：
针对一个目标图像块，基于拼接投影参数包括的起始坐标参数确定所述一个目标图像块的第一像素点坐标集合，所述第一像素点坐标集合中包括所述一个目标图像块内所有像素点的坐标；
基于所述一个目标图像块的拼接投影参数包括几何变换参数，确定与所述一个目标图像对应的样本源图像中与所述第一像素点坐标集合对应的第二像素点坐标集合；
基于所述一个目标图像块对应的第二像素点坐标集合，确定所述目标图像块在对应的样本源图像中的位置信息。
在一种可能的实现方式中，所述基于所述一个目标图像块对应的第二像素点坐标集合，确定所述目标图像块在对应的样本源图像中的位置信息，包括：
统计所述一个目标图像块对应的第二像素点坐标集合中的像素点坐标的横坐标和纵坐标，确定最小横坐标、最小纵坐标和最大纵坐标；
基于所述最小横坐标和所述最小纵坐标，确定与所述一个目标图像块对应的源图像块的起始坐标，及基于所述最小纵坐标和所述最大纵坐标，确定与所述一个目标图像块对应的源图像块的跨行数；
基于所述起始坐标和所述跨行数，确定与所述一个目标图像块对应的源图像块的位置信息。
在一种可能的实现方式中，所述分别基于所述位置信息集合中的每个位置信息，从所述源图像视频流中截取相应的源图像块，包括：
从所述源图像视频流中截取每一个源图像块时，执行以下操作：
确定一个源图像块的第三像素点坐标集合及每个像素点坐标对应的像素值，所述第三像素点坐标集合包括所述一个源图像块内所有像素点的坐标；
基于所述第三像素点坐标集合和所述一个源图像块的位置信息，从所述源图像视频流中截取相应的源图像块。
在一种可能的实现方式中，所述基于获得的各个源图像块生成多个目标图像，包括：
基于一个源图像块生成一个目标图像块，执行以下操作：
从所述一个源图像块的第三像素点坐标集合内读取与所述一个目标图像块的第二像素点坐标集合对应的多个像素点的像素值，及所述多个像素点中每个像素点的相邻像素点的像素值；
对读取的所述多个像素点中的一个像素点的像素值及相邻像素点的像素值进行加权求平均，确定所述第二像素点坐标集合中每个像素点坐标对应的像素点的像素值；
基于所述第二像素点坐标集合中每个像素点坐标对应的像素点的像素值，生成所述一个目标图像块。
在一种可能的实现方式中，所述对所述多个目标图像进行拼接，获得相应的全景图像，包括：
基于预设规则，将具有像素值的多个目标图像进行拼接，获得全景图像；其中，所述预设规则用于指示生成的多个目标图像的拼接顺序。
第二方面
本发明实施例提供一种全景图像拼接装置，包括：
采集模块，用于获取源图像视频流，并确定预设的位置信息集合，其中，一个位置信息用于指示一个源图像块在所述源图像视频流中的具体坐标位置；
匹配模块，用于分别基于所述位置信息集合中的每个位置信息，从所述源图像视频流中截取相应的源图像块；
拼接模块，用于基于获得的各个源图像块生成多个目标图像，对所述多个目标图像进行拼接，获得相应的全景图像。
在一种可能的实现方式中，所述装置还包括
处理模块，用于在所述获取源图像视频流之前，预设所述位置信息集合，具体包括：
获取样本源图像集合；
对所述样本源图像集合中的每个样本源图像进行分析处理，转换为相应的目标图像；
获取每个样本源图像对应的目标图像的拼接投影参数，其中，一个目标图像的拼接投影参数用于至少指示所述目标图像在相应的样本源图像中的起始坐标及长宽尺寸；
分别基于每一个目标图像的拼接投影参数，确定相应的目标图像包含的若干目标图像块在对应的样本源图像中的位置信息；
将获得的各个位置信息组成位置信息集合。
在一种可能的实现方式中，所述处理模块还用于：
基于所述任意一个目标图像的拼接投影参数包括的长宽尺寸参数，对所述任意一个目标图像进行划分，获得若干目标图像块；
分别针对每一个目标图像块执行以下操作：
针对一个目标图像块，基于拼接投影参数包括的起始坐标参数确定所述一个目标图像块的第一像素点坐标集合，所述第一像素点坐标集合中包括所述一个目标图像块内所有像素点的坐标；
基于所述一个目标图像块的拼接投影参数包括几何变换参数，确定与所述一个目标图像对应的样本源图像中与所述第一像素点坐标集合对应的第二像素点坐标集合；
基于所述一个目标图像块对应的第二像素点坐标集合，确定所述目标图像块在对应的样本源图像中的位置信息。
在一种可能的实现方式中，所述处理模块还用于：
统计所述一个目标图像块对应的第二像素点坐标集合中的像素点坐标的横坐标和纵坐标，确定最小横坐标、最小纵坐标和最大纵坐标；
基于所述最小横坐标和所述最小纵坐标，确定与所述一个目标图像块对应的源图像块的起始坐标，及基于所述最小纵坐标和所述最大纵坐标，确定与所述一个目标图像块对应的源图像块的跨行数；
基于所述起始坐标和所述跨行数，确定与所述一个目标图像块对应的源图像块的位置信息。
在一种可能的实现方式中，所述匹配模块具体用于：
从所述源图像视频流中截取每一个源图像块时，执行以下操作：
确定一个源图像块的第三像素点坐标集合及每个像素点坐标对应的像素值，所述第三像素点坐标集合包括所述一个源图像块内所有像素点的坐标；
基于所述第三像素点坐标集合和所述一个源图像块的位置信息，从所述源图像视频流中截取相应的源图像块。
在一种可能的实现方式中，所述拼接模块具体用于：
基于一个源图像块生成一个目标图像块，执行以下操作：
从所述一个源图像块的第三像素点坐标集合内读取与所述一个目标图像块的第二像素点坐标集合对应的多个像素点的像素值，及所述多个像素点中每个像素点的相邻像素点的像素值；
对读取的所述多个像素点中的一个像素点的像素值及相邻像素点的像素值进行加权求平均，确定所述第二像素点坐标集合中每个像素点坐标对应的像素点的像素值；
基于所述第二像素点坐标集合中每个像素点坐标对应的像素点的像素值，生成所述一个目标图像块。
在一种可能的实现方式中，所述拼接模块具体用于：
基于预设规则，将具有像素值的多个目标图像进行拼接，获得全景图像；其中，所述预设规则用于指示生成的多个目标图像的拼接顺序。
第三方面
本发明实施例提供另一种全景图像拼接装置，包括：
至少一个处理器，以及
与所述至少一个处理器通信连接的存储器、通信接口；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，利用所述通信接口执行如第一方面所述的方法。
第四方面
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如第一方面所述的方法。
本发明实施例中，在获取源图像视频流并确定预设的位置信息集合后，可以分别根据预设的位置信息集合中的每个位置信息，确定源图像块在源图像视频流中的具体坐标位置，并从源图像视频流中截取相应的源图像块，然后可以根据获得的各个源图像块生成多个目标图像，对多个目标图像进行拼接以获得相应的全景图像，进而提高了全景图像的拼接效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中全景图像拼接方法的总构思；
图2为本发明实施例中提供的一种全景图像拼接方法的流程示意图；
图3为本发明实施例中目标图像按块划分的示意图；
图4为本发明实施例中目标图像块映射到源图像块的示意图；
图5为本发明实施例中目标图像块的像素点映射到源图像块的像素点的示意图；
图6为本发明实施例中全景图像拼接装置的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
首先，请参见图1，为本发明实施例中全景图像拼接方法的总构思。为便于说明，图1中，本发明实施例以三目摄像机为例，N目摄像机的全景图像拼接方式与三目摄像机的全景图像拼接方式相同，N为大于等于1的整数。
图1中，针对每一目视频流开辟了三帧的缓存空间，采用循环的方式对源图像进行存储，n为大于等于1的整数。以三目摄像机的第一目摄像机标准视频流为例，获取的源图像存入双倍速率同步动态随机存储器(Double Data Rate，DDR)。
在第一帧源图像存入DDR的同时，根据预处理的目标图像的起始坐标和长宽尺寸产生目标图像块坐标，经由后向投影、畸变矫正等操作计算出目标图像块的坐标对应源图像的像素点坐标，对源图像像素点坐标处理后，完成目标图像块对应的源图像块起始坐标初始化，该操作只有在上电或参数变化时执行一次。从第二帧开始，后续的每一帧图像根据源图像起始坐标，从DDR中读取相应的源图像块，产生目标图像块，然后生成待拼接的目标图像。
三目摄像机在分别得到三个目标图像后，可以按照一定的拼接顺序存入DDR，并将三个目标图像拼接为全景图，后续三目摄像机可以从DDR中读取全景图，向后端显示设备输出全景图标准视频流。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。应当说明的是，下述的各实施例是基于同一发明构思的，在理解或解释其中任一实施例的内容时，可以参考其它实施例所记载的内容。
实施例一
请参见图2，本发明实施例提供一种全景图像拼接方法，可以应用于全景图像拼接装置，如摄像机、多目摄像机等装置中，其中，方法的实现过程可以描述如下。
S101：获取源图像视频流，并确定预设的位置信息集合，其中，一个位置信息用于指示一个源图像块在源图像视频流中的具体坐标位置；
S102：分别基于位置信息集合中的每个位置信息，从源图像视频流中截取相应的源图像块；
S103：基于获得的各个源图像块生成多个目标图像，对多个目标图像进行拼接，获得相应的全景图像。
在S101中，处于不同位置的全景图像拼接装置，如处于不同位置的多个摄像机实时获取的多个源图像，可以为源图像视频流；或者，全景图像拼接装置，如多目摄像机等，实时获取不同角度的多个源图像，也可以为源图像视频流，其中，源图像通常为球面图。
全景图像拼接装置可以将获取的源图像视频流存入DDR进行缓存，其中，若全景图像拼接装置为多目摄像机，则针对每一目视频流可以开辟三帧的缓存空间，可以采用循环的方式对采集的源图像进行存储。
全景图像拼接装置在获取源图像视频流时，可以确定预设的位置信息集合，预设的位置信息集合包括多个位置信息，其中，一个位置信息可以用于指示一个源图像块在源图像视频流中的具体坐标位置。
在一种可能的实现方式中，在获取源图像视频流之前，需要预设位置信息集合，可以通过但不仅限于以下方式进行。
获取样本源图像集合；
对样本源图像集合中的每个样本源图像进行分析处理，转换为相应的目标图像；
获取每个样本源图像对应的目标图像的拼接投影参数，其中，一个目标图像的拼接投影参数用于至少指示目标图像在相应的样本源图像中的起始坐标及长宽尺寸；
分别基于每一个目标图像的拼接投影参数，确定相应的目标图像包含的若干目标图像块在对应的样本源图像中的位置信息；
将获得的各个位置信息组成位置信息集合。
本发明实施例中，若全景图像拼接装置安装完成或者全景图像拼接装置的位置变动后，在进行全景图像拼接之前，全景图像拼接装置可以获取样本源图像集合，其中，样本源图像集合包括的多个源图像可以是通过处于不同位置的全景图像拼接装置，如处于不同位置的多个摄像机获取的；或者，样本源图像集合包括的多个源图像也可以是由多目摄像机从不同角度获取的等。
然后，全景图像拼接装置可以对样本源图像集合中的每个样本源图像进行分析处理，转换为相应的目标图像，并且可以获取每个样本源图像对应的目标图像的拼接投影参数，一个目标图像的拼接投影参数用于至少指示所述目标图像在相应的样本源图像中的起始坐标及长宽尺寸。
在一种可能的实现方式中，预处理得到的拼接投影参数可以包括几何变换参数、畸变矫正参数、目标图像的长宽尺寸参数和目标图像的起始坐标参数中的一个或者多个，其中，几何变换参数可以用于指示将球面图的源图像投影为二维平面图。
因此，全景图像拼接装置可以分别基于每一个目标图像的拼接投影参数，针对各路源图像独立且并行地确定相应的目标图像包含的若干目标图像块在对应的样本源图像中的位置信息。
在一种可能的实现方式中，基于任意一个目标图像的拼接投影参数，确定相应的目标图像包含的若干目标图像块在对应的样本源图像中的位置信息，可以实现如下：
全景图像拼接装置可以根据任意一个目标图像的拼接投影参数包括的长宽尺寸参数，对任意一个目标图像进行划分，获得若干目标图像块；其中，目标图像块的大小可以由该块内的像素点经后向投影算法变换后对应源图像的像素点的范围、DDR的效率和硬件的逻辑资源情况共同决定，而目标图像边界块的长宽尺寸可以根据实际情况进行处理，比如目标图像的长宽尺寸或者面积不能被需要划分的目标图像块的大小尺寸或者面积整除，这时，目标图像的边界处的目标图像块的长宽尺寸可以根据实际情况进行划分处理。
请参见图3，为本发明实施例中目标图像按块划分的示意图，图3中，每个目标图像块的大小为64*8。
分别针对一个目标图像块包含的若干目标图像块中的每一个目标图像块执行以下操作：
针对一个目标图像块，可以根据拼接投影参数包括的起始坐标参数，确定该目标图像块的起始位置，然后可以按照从左到右、从上到下的顺序计算出目标图像块内每个像素点的坐标，这些像素点的坐标的集合即为本发明实施例中的一个目标图像块的第一像素点坐标集合。
由于目标图像的像素点经后向投影算法映射到源图像的像素点的位置是不确定的，如果点对点映射直接从DDR读取数据，DDR的利用率太低。本发明实施例中利用了图像连续性的特点，目标图像块的像素点映射到源图像的像素点一定在源图像的某个源图像块范围内，这样就将点对点的映射转化为目标图像块对源图像块的映射。采用DDR突发传输的特点，将目标图像块映射的源图像块从DDR中取出，极大地提高了DDR的效率，保证了全景图像拼接可以实时地进行处理。
请参见图4，为本发明实施例中目标图像块映射到源图像块的示意图。
然后，全景图像拼接装置可以根据一个目标图像块的拼接投影参数包括的几何变换参数，采用后向投影算法，计算上述得到的目标图像的像素点坐标对应于相应源图像的像素点坐标，即确定与一个目标图像对应的样本源图像中与第一像素点坐标集合对应的第二像素点坐标集合。
进而，全景图像拼接装置可以根据一个目标图像块对应的第二像素点坐标集合，确定目标图像块在对应的样本源图像中的位置信息。
在一种可能的实现方式中，全景图像拼接装置可以根据畸变矫正参数，采用畸变矫正算法，对源图像的像素点坐标进行矫正。
在一种可能的实现方式中，全景图像拼接装置可以根据一个目标图像块对应的第二像素点坐标集合，确定目标图像块在对应的样本源图像中的位置信息，可以通过但不仅限于以下方式进行。
统计所述一个目标图像块对应的第二像素点坐标集合中的像素点坐标的横坐标和纵坐标，确定最小横坐标、最小纵坐标和最大纵坐标。
基于最小横坐标和最小纵坐标，确定与一个目标图像块对应的源图像块的起始坐标，及基于最小纵坐标和所述最大纵坐标，确定与一个目标图像块对应的源图像块的跨行数。
举例来说，如图4所示，根据图像连续性的特点，目标图像块内的像素点映射到源图像的像素点一定在某个区域范围内，对目标图像块内映射到源图像的所有像素点进行统计，分别得出横坐标(x轴)，纵坐标(y轴)的最小值，即源图像块的起始坐标；同时，得出纵坐标(y轴)的最大值，求纵坐标(y轴)最大值与纵坐标(y轴)最小值差，即源图像块的跨行数。
全景图像拼接装置可以根据基于起始坐标和跨行数，确定与一个目标图像块对应的源图像块的位置信息。
后续，全景图像拼接装置可以将所有目标图像对应的源图像块的起始坐标和跨行数存入随机存取存储器(Random Access Memory，RAM)，即完成了源图像块起始坐标初始化。
源图像块起始坐标初始化的过程只在全景图像拼接装置上电或拼接投影参数发生变化后的一帧的时间内完成，目的是，在拼接投影参数确定后，目标图像块可以快速定位对应的源图像块在DDR中的位置。同时该初始化过程是实时计算的，使全景图像拼接装置，如多目摄像机等，可以适应不同的场景需求，同时降低了多目摄像机之间的相对位置，夹角的要求。只需根据多目摄像机不同应用场景采集一组源图像计算出拼接投影参数即可，极大的提高了多目摄像机使用的灵活性。
然后可以进入S102，即分别基于位置信息集合中的每个位置信息，从源图像视频流中截取相应的源图像块。
全景图像拼接装置在从源图像视频流中截取每一个源图像块时，执行以下操作：
确定一个源图像块的第三像素点坐标集合及每个像素点坐标对应的像素值，第三像素点坐标集合包括一个源图像块内所有像素点的坐标；
基于第三像素点坐标集合和一个源图像块的位置信息，从源图像视频流中截取相应的源图像块。
也就是说，全景图像拼接装置可以确定一个源图像块内的所有像素点的坐标及每个像素点坐标对应的像素值，然后可以根据这些像素点坐标集合和源图像块的位置信息，从源图像视频流中截取相应的源图像块。
举例来说，全景图像拼接装置在源图像块起始坐标初始化的一帧时间内，前一帧源图像存入DDR，下一帧图像开始时，从存储单元，如RAM中取出第一个源图像块的起始地址和跨行数，然后根据起始地址和跨行数计算并确定源图像块在DDR中的位置和大小，进而从源图像视频流中截取相应的第一源图像块。然后，将得出第一个源图像块内的像素值存入本地的存储单元，如RAM中。
当第一个源图像块从DDR中读取完毕后，开始读取下一个源图像块的起始地址和跨行数，读取下一个源图像块的数据存入另一个RAM中。
在S103中，全景图像拼接装置可以根据获得的各个源图像块生成多个目标图像，对多个目标图像进行拼接，获得相应的全景图像。
在一种可能的实现方式中，基于获得的各个源图像块生成多个目标图像，可以通过以下方式进行。
基于一个源图像块生成一个目标图像块，执行以下操作：
从一个源图像块的第三像素点坐标集合内读取与一个目标图像块的第二像素点坐标集合对应的多个像素点的像素值，及所述多个像素点中每个像素点的相邻像素点的像素值。
比如，若全景图像拼接装置需要读取目标图像块的一个像素点坐标对应的像素点的像素值，可以根据目标图像块的该像素点坐标从与目标图像块对应的源图像块内查找与该像素点坐标对应的像素点的像素值及相邻像素点的像素值，其中，一个像素点可以有一个或者多个相邻像素点。
对读取的所述多个像素点中的一个像素点的像素值及相邻像素点的像素值进行加权求平均，确定第二像素点坐标集合中每个像素点坐标对应的像素点的像素值。也就是说，若获得的是一个像素点的像素值及相邻的一个像素点的像素值，则对两个像素点的像素值进行加权求平均即可得到目标图像块内相应像素点坐标对应的像素点的像素值；或者，若获得的是一个像素点的像素值及相邻的多个像素点的像素值，则对一个像素点的像素值及相邻的多个像素点的像素值进行加权求平均，即可得到目标图像块内相应像素点坐标对应的像素点的像素值。
基于第二像素点坐标集合中每个像素点坐标对应的像素点的像素值，生成一个目标图像块，即确定一个目标图像块的第二像素点坐标集合中每个像素点坐标对应的像素点的像素值后，生成待拼接的具有像素值的一个目标图像块。
举例来说，如图5所示，为本发明实施例中目标图像块的像素点映射到源图像块的像素点的示意图。
全景图像拼接装置可以从RAM中取出该像素及相邻像素的值，采用加权求均值的方法，得出目标图像块相应像素点的值，利用像素点对点映射，可以从RAM中快速取出目标图像块的像素点对应的源图像块的像素点，从而完成目标图像的生成，进而提高了点对点从源图像中寻找对应像素点的速率。
如图1所示，三目摄像机目标图像的生成是并行计算的，将通过上述方法获得的多个目标图像按照预设规则存入DDR，拼接成相应的全景图，其中，预设规则可以用于指示生成的多个目标图像的拼接顺序。
在实际应用中，预设规则可以根据摄像机的排位进行设置，比如，摄像机从左到右进行排位，那么我们最后获得全景图也需要从左到右的顺序进行拼接，因此，预设规则即为将目标图像按照从左到右的顺序进行拼接等。
而若拼接时相邻的目标图像出现重叠，则可以采用加权求平均等方法将相邻的两个目标图像的重叠部分进行融合，然后按照标准视频流的格式，输出给后端显示设备。
综上所述，本发明实施例的一个或者多个技术方案，具有如下技术效果或者优点：
第一、本发明实施例中，在获取源图像视频流并确定预设的位置信息集合后，可以分别根据预设的位置信息集合中的每个位置信息，确定源图像块在源图像视频流中的具体坐标位置，并从源图像视频流中截取相应的源图像块，然后可以根据获得的各个源图像块生成多个目标图像，对多个目标图像进行拼接以获得相应的全景图像，进而提高了全景图像的拼接效率。
第二、由于本发明实施例中全景图像拼接装置，如多目摄像机等的各路源图像视频流独立，可以并行处理，提高了全景图像拼接的处理效率，确保了全景图像拼接的实时性。同时，由于各路源图像视频流是独立进行处理，便于进行摄像机数量的扩展，可以快速的扩展为4目摄像机、5目摄像机、6目摄像机等。
第三、由于本发明实施例中可以采用拼接投影参数实时配置的方式，可以不断的调试参数，只要拼接投影参数满足要求，可以达到无缝拼接的效果。
第四、由于本发明实施例中可以采用按块划分、三层寻址的方式，以完成点对点映射寻找对应像素点的处理方法，极大地提高了点对点的寻找效率，保证了全景拼接实时完成。第一层寻址是寻找源图像在DDR缓存中的位置；第二层寻找是寻找目标图像块对应的源图像块在源图像中的位置；第三层寻址是寻找目标图像块中的像素点对应的源图像的像素点在RAM中的位置。
第五、本发明实施例中提出源图像块起始坐标初始化的概念。初始化过程在设备上电或拼接投影参数发生变化后的一帧时间内完成，可以提前预知目标图像块对应的源图像块在DDR中的位置，在目标图像块坐标生成前将其对应的源图像块从DDR取出存入硬件的RAM资源中，极大的提高了处理效率。同时该过程可以实时的进行，确保拼接投影参数可以随时更改，使设备不再拘泥于摄像机的位置、夹角以及外部环境的变化，从而提高设备使用的灵活性。
实施例二
请参见图6，基于同一发明构思，本发明实施例提供一种全景图像拼接装置，包括采集模块61、匹配模块62和拼接模块63。
其中，采集模块61，用于获取源图像视频流，并确定预设的位置信息集合，其中，一个位置信息用于指示一个源图像块在所述源图像视频流中的具体坐标位置；
匹配模块62，用于分别基于所述位置信息集合中的每个位置信息，从所述源图像视频流中截取相应的源图像块；
拼接模块63，用于基于获得的各个源图像块生成多个目标图像，对所述多个目标图像进行拼接，获得相应的全景图像。
在一种可能的实现方式中，所述装置还包括
处理模块，用于在所述获取源图像视频流之前，预设所述位置信息集合，具体包括：
获取样本源图像集合；
对所述样本源图像集合中的每个样本源图像进行分析处理，转换为相应的目标图像；
获取每个样本源图像对应的目标图像的拼接投影参数，其中，一个目标图像的拼接投影参数用于至少指示所述目标图像在相应的样本源图像中的起始坐标及长宽尺寸；
分别基于每一个目标图像的拼接投影参数，确定相应的目标图像包含的若干目标图像块在对应的样本源图像中的位置信息；
将获得的各个位置信息组成位置信息集合。
在一种可能的实现方式中，所述处理模块还用于：
基于所述任意一个目标图像的拼接投影参数包括的长宽尺寸参数，对所述任意一个目标图像进行划分，获得若干目标图像块；
分别针对每一个目标图像块执行以下操作：
针对一个目标图像块，基于拼接投影参数包括的起始坐标参数确定所述一个目标图像块的第一像素点坐标集合，所述第一像素点坐标集合中包括所述一个目标图像块内所有像素点的坐标；
基于所述一个目标图像块的拼接投影参数包括几何变换参数，确定与所述一个目标图像对应的样本源图像中与所述第一像素点坐标集合对应的第二像素点坐标集合；
基于所述一个目标图像块对应的第二像素点坐标集合，确定所述目标图像块在对应的样本源图像中的位置信息。
在一种可能的实现方式中，所述处理模块还用于：
统计所述一个目标图像块对应的第二像素点坐标集合中的像素点坐标的横坐标和纵坐标，确定最小横坐标、最小纵坐标和最大纵坐标；
基于所述最小横坐标和所述最小纵坐标，确定与所述一个目标图像块对应的源图像块的起始坐标，及基于所述最小纵坐标和所述最大纵坐标，确定与所述一个目标图像块对应的源图像块的跨行数；
基于所述起始坐标和所述跨行数，确定与所述一个目标图像块对应的源图像块的位置信息。
在一种可能的实现方式中，所述匹配模块62具体用于：
从所述源图像视频流中截取每一个源图像块时，执行以下操作：
确定一个源图像块的第三像素点坐标集合及每个像素点坐标对应的像素值，所述第三像素点坐标集合包括所述一个源图像块内所有像素点的坐标；
基于所述第三像素点坐标集合和所述一个源图像块的位置信息，从所述源图像视频流中截取相应的源图像块。
在一种可能的实现方式中，所述拼接模块63具体用于：
基于一个源图像块生成一个目标图像块，执行以下操作：
从所述一个源图像块的第三像素点坐标集合内读取与所述一个目标图像块的第二像素点坐标集合对应的多个像素点的像素值，及所述多个像素点中每个像素点的相邻像素点的像素值；
对读取的所述多个像素点中的一个像素点的像素值及相邻像素点的像素值进行加权求平均，确定所述第二像素点坐标集合中每个像素点坐标对应的像素点的像素值；
基于所述第二像素点坐标集合中每个像素点坐标对应的像素点的像素值，生成所述一个目标图像块。
在一种可能的实现方式中，所述拼接模块63具体用于：
基于预设规则，将具有像素值的多个目标图像进行拼接，获得全景图像；其中，所述预设规则用于指示生成的多个目标图像的拼接顺序。
实施例三
基于同一发明构思，本发明实施例中提供一种全景图像拼接装置，所述装置包括：
至少一个处理器，以及
与所述至少一个处理器通信连接的存储器、通信接口；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，利用所述通信接口执行如实施例一中所述的方法。
实施例四
基于同一发明构思，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，当计算机指令在计算机上运行时，使得计算机执行如实施例一的方法。
在具体的实施过程中，计算机可读存储介质包括：通用串行总线闪存盘(Universal Serial Bus flash drive，USB)、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的存储介质。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元/模块可以是或者也可以不是物理上分开的，作为单元/模块显示的部件可以是或者也可以不是物理单元/模块，即可以位于一个地方，或者也可以分布到多个网络单元/模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种全景图像拼接方法，其特征在于，所述方法包括：
获取源图像视频流，并确定预设的位置信息集合，其中，一个位置信息用于指示一个源图像块在所述源图像视频流中的具体坐标位置；
分别基于所述位置信息集合中的每个位置信息，从所述源图像视频流中截取相应的源图像块；
基于获得的各个源图像块生成多个目标图像，对所述多个目标图像进行拼接，获得相应的全景图像。
2.如权利要求1所述的方法，其特征在于，进一步包括：
在所述获取源图像视频流之前，预设所述位置信息集合，具体包括：
获取样本源图像集合；
对所述样本源图像集合中的每个样本源图像进行分析处理，转换为相应的目标图像；
获取每个样本源图像对应的目标图像的拼接投影参数，其中，一个目标图像的拼接投影参数至少用于指示所述目标图像在相应的样本源图像中的起始坐标及长宽尺寸；
分别基于每一个目标图像的拼接投影参数，确定相应的目标图像包含的若干目标图像块在对应的样本源图像中的位置信息；
将获得的各个位置信息组成位置信息集合。
3.如权利要求2所述的方法，其特征在于，基于任意一个目标图像的拼接投影参数，确定相应的目标图像包含的若干目标图像块在对应的样本源图像中的位置信息，包括：
基于所述任意一个目标图像的拼接投影参数包括的长宽尺寸参数，对所述任意一个目标图像进行划分，获得若干目标图像块；
分别针对每一个目标图像块执行以下操作：
针对一个目标图像块，基于拼接投影参数包括的起始坐标参数确定所述一个目标图像块的第一像素点坐标集合，所述第一像素点坐标集合中包括所述一个目标图像块内所有像素点的坐标；
基于所述一个目标图像块的拼接投影参数包括几何变换参数，确定与所述一个目标图像对应的样本源图像中与所述第一像素点坐标集合对应的第二像素点坐标集合；
基于所述一个目标图像块对应的第二像素点坐标集合，确定所述目标图像块在对应的样本源图像中的位置信息。
4.如权利要求3所述的方法，其特征在于，所述基于所述一个目标图像块对应的第二像素点坐标集合，确定所述目标图像块在对应的样本源图像中的位置信息，包括：
统计所述一个目标图像块对应的第二像素点坐标集合中的像素点坐标的横坐标和纵坐标，确定最小横坐标、最小纵坐标和最大纵坐标；
基于所述最小横坐标和所述最小纵坐标，确定与所述一个目标图像块对应的源图像块的起始坐标，及基于所述最小纵坐标和所述最大纵坐标，确定与所述一个目标图像块对应的源图像块的跨行数；
基于所述起始坐标和所述跨行数，确定与所述一个目标图像块对应的源图像块的位置信息。
5.如权利要求4所述的方法，其特征在于，所述分别基于所述位置信息集合中的每个位置信息，从所述源图像视频流中截取相应的源图像块，包括：
从所述源图像视频流中截取每一个源图像块时，执行以下操作：
确定一个源图像块的第三像素点坐标集合及每个像素点坐标对应的像素值，所述第三像素点坐标集合包括所述一个源图像块内所有像素点的坐标；
基于所述第三像素点坐标集合和所述一个源图像块的位置信息，从所述源图像视频流中截取相应的源图像块。
6.如权利要求5所述的方法，其特征在于，所述基于获得的各个源图像块生成多个目标图像，包括：
基于一个源图像块生成一个目标图像块，执行以下操作：
从所述一个源图像块的第三像素点坐标集合内读取与所述一个目标图像块的第二像素点坐标集合对应的多个像素点的像素值，及所述多个像素点中每个像素点的相邻像素点的像素值；
对读取的所述多个像素点中的一个像素点的像素值及相邻像素点的像素值进行加权求平均，确定所述第二像素点坐标集合中每个像素点坐标对应的像素点的像素值；
基于所述第二像素点坐标集合中每个像素点坐标对应的像素点的像素值，生成所述一个目标图像块。
7.如权利要求1-6中任一权项所述的方法，其特征在于，所述对所述多个目标图像进行拼接，获得相应的全景图像，包括：
基于预设规则，将具有像素值的多个目标图像进行拼接，获得全景图像；其中，所述预设规则用于指示生成的多个目标图像的拼接顺序。
8.一种全景图像拼接装置，其特征在于，所述装置包括：
采集模块，用于获取源图像视频流，并确定预设的位置信息集合，其中，一个位置信息用于指示一个源图像块在所述源图像视频流中的具体坐标位置；
匹配模块，用于分别基于所述位置信息集合中的每个位置信息，从所述源图像视频流中截取相应的源图像块；
拼接模块，用于基于获得的各个源图像块生成多个目标图像，对所述多个目标图像进行拼接，获得相应的全景图像。
9.一种全景图像拼接装置，其特征在于，所述装置包括：
至少一个处理器，以及
与所述至少一个处理器通信连接的存储器、通信接口；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，利用所述通信接口执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于：
所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-7中任一项所述的方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711148168.7A CN107945112B (zh) | 2017-11-17 | 2017-11-17 | 一种全景图像拼接方法及装置 |
| PCT/CN2018/115405 WO2019096156A1 (en) | 2017-11-17 | 2018-11-14 | Methods and systems for image processing |
| EP18879498.6A EP3698316A4 (en) | 2017-11-17 | 2018-11-14 | IMAGE PROCESSING METHODS AND SYSTEMS |
| US16/876,104 US11455709B2 (en) | 2017-11-17 | 2020-05-17 | Methods and systems for image processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711148168.7A CN107945112B (zh) | 2017-11-17 | 2017-11-17 | 一种全景图像拼接方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107945112A true CN107945112A (zh) | 2018-04-20 |
| CN107945112B CN107945112B (zh) | 2020-12-08 |
Family
ID=61931892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711148168.7A Active CN107945112B (zh) | 2017-11-17 | 2017-11-17 | 一种全景图像拼接方法及装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11455709B2 (zh) |
| EP (1) | EP3698316A4 (zh) |
| CN (1) | CN107945112B (zh) |
| WO (1) | WO2019096156A1 (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109242772A (zh) * | 2018-08-23 | 2019-01-18 | 上海圭目机器人有限公司 | 基于智能平台面阵相机采集的机场道面表面图像拼接方法 |
| CN109523468A (zh) * | 2018-11-15 | 2019-03-26 | 深圳市道通智能航空技术有限公司 | 图像拼接方法、装置、设备及无人机 |
| WO2019096156A1 (en) * | 2017-11-17 | 2019-05-23 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for image processing |
| CN110246081A (zh) * | 2018-11-07 | 2019-09-17 | 浙江大华技术股份有限公司 | 一种图像拼接方法、装置及可读存储介质 |
| CN110503602A (zh) * | 2018-05-18 | 2019-11-26 | 杭州海康威视数字技术股份有限公司 | 一种图像的投影变换方法、装置及电子设备 |
| CN111105347A (zh) * | 2019-11-19 | 2020-05-05 | 贝壳技术有限公司 | 一种生成带深度信息的全景图的方法、装置及存储介质 |
| CN111314729A (zh) * | 2020-02-25 | 2020-06-19 | 广州华多网络科技有限公司 | 全景图像的生成方法、装置、设备及存储介质 |
| CN112907496A (zh) * | 2021-02-24 | 2021-06-04 | 嘉楠明芯(北京)科技有限公司 | 一种图像融合方法以及装置 |
| US11055835B2 (en) | 2019-11-19 | 2021-07-06 | Ke.com (Beijing) Technology, Co., Ltd. | Method and device for generating virtual reality data |
| WO2021243566A1 (zh) * | 2020-06-02 | 2021-12-09 | 深圳市大疆创新科技有限公司 | 成像方法、成像装置、计算机可读存储介质 |
| CN114289332A (zh) * | 2022-01-20 | 2022-04-08 | 湖南视比特机器人有限公司 | 工件分拣的视觉识别与定位方法、装置及分拣系统 |
| WO2024060281A1 (zh) * | 2022-09-20 | 2024-03-28 | 深圳看到科技有限公司 | 基于全景图像的视频分流方法、装置、设备及存储介质 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111729304B (zh) * | 2020-05-26 | 2024-04-05 | 广州尊游软件科技有限公司 | 一种展示海量对象的方法 |
| US20230345135A1 (en) * | 2020-06-19 | 2023-10-26 | Beijing Boe Optoelectronics Technology Co., Ltd. | Method, apparatus, and device for processing images, and storage medium |
| US11652982B2 (en) * | 2020-10-30 | 2023-05-16 | Nvidia Corporation | Applications for detection capabilities of cameras |
| EP4177823A1 (en) * | 2021-11-03 | 2023-05-10 | Axis AB | Producing an output image of a scene from a plurality of source images captured by different cameras |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110176731A1 (en) * | 2010-01-19 | 2011-07-21 | Sony Corporation | Information processing apparatus, information processing method, and program therefor |
| CN105516597A (zh) * | 2015-12-30 | 2016-04-20 | 完美幻境(北京)科技有限公司 | 一种全景拍摄处理方法及装置 |
| CN106815808A (zh) * | 2017-01-20 | 2017-06-09 | 长沙全度影像科技有限公司 | 一种利用分块运算的图像拼接方法 |
| CN107274346A (zh) * | 2017-06-23 | 2017-10-20 | 中国科学技术大学 | 实时全景视频拼接系统 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1099343A4 (en) | 1998-05-13 | 2007-10-17 | Infinite Pictures Inc | PANORAMIC FILMS SIMULATING A DISPLACEMENT IN A MULTI-DIMENSIONAL SPACE |
| US6775411B2 (en) * | 2002-10-18 | 2004-08-10 | Alan D. Sloan | Apparatus and method for image recognition |
| JP3977776B2 (ja) * | 2003-03-13 | 2007-09-19 | 株式会社東芝 | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 |
| US20080285652A1 (en) | 2007-05-14 | 2008-11-20 | Horizon Semiconductors Ltd. | Apparatus and methods for optimization of image and motion picture memory access |
| US8463074B2 (en) | 2009-11-11 | 2013-06-11 | General Dynamics Advanced Information Systems | System and method for rotating images |
| EP2717012B1 (en) * | 2011-05-27 | 2016-07-27 | Panasonic Intellectual Property Management Co., Ltd. | Image processing apparatus and image processing method |
| FR2989244B1 (fr) | 2012-04-05 | 2014-04-25 | Current Productions | Interface et navigation video multi sources |
| US9264598B1 (en) | 2012-12-12 | 2016-02-16 | Amazon Technologies, Inc. | Collaborative image capturing |
| US10249029B2 (en) * | 2013-07-30 | 2019-04-02 | Apple Inc. | Reconstruction of missing regions of images |
| CN103763479B (zh) | 2013-12-31 | 2017-03-29 | 深圳英飞拓科技股份有限公司 | 实时高速高清全景视频的拼接装置及其方法 |
| CN106447608B (zh) * | 2016-08-25 | 2017-11-07 | 中国科学院长春光学精密机械与物理研究所 | 一种视频图像拼接方法及装置 |
| CN106875339B (zh) * | 2017-02-22 | 2020-03-27 | 长沙全度影像科技有限公司 | 一种基于长条形标定板的鱼眼图像拼接方法 |
| CN110495163B (zh) * | 2017-03-31 | 2021-12-10 | 松下知识产权经营株式会社 | 摄像系统以及校正方法 |
| WO2019084919A1 (en) * | 2017-11-03 | 2019-05-09 | SZ DJI Technology Co., Ltd. | Methods and system for infrared tracking |
| CN107945112B (zh) * | 2017-11-17 | 2020-12-08 | 浙江大华技术股份有限公司 | 一种全景图像拼接方法及装置 |
| US20190180475A1 (en) * | 2017-12-08 | 2019-06-13 | Qualcomm Incorporated | Dynamic camera calibration |
-
2017
- 2017-11-17 CN CN201711148168.7A patent/CN107945112B/zh active Active
-
2018
- 2018-11-14 EP EP18879498.6A patent/EP3698316A4/en active Pending
- 2018-11-14 WO PCT/CN2018/115405 patent/WO2019096156A1/en unknown
-
2020
- 2020-05-17 US US16/876,104 patent/US11455709B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110176731A1 (en) * | 2010-01-19 | 2011-07-21 | Sony Corporation | Information processing apparatus, information processing method, and program therefor |
| CN105516597A (zh) * | 2015-12-30 | 2016-04-20 | 完美幻境(北京)科技有限公司 | 一种全景拍摄处理方法及装置 |
| CN106815808A (zh) * | 2017-01-20 | 2017-06-09 | 长沙全度影像科技有限公司 | 一种利用分块运算的图像拼接方法 |
| CN107274346A (zh) * | 2017-06-23 | 2017-10-20 | 中国科学技术大学 | 实时全景视频拼接系统 |
Non-Patent Citations (1)
| Title |
|---|
| 卢嘉铭等: "基于GPU加速的实时4K全景视频拼接", 《计算机科学》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019096156A1 (en) * | 2017-11-17 | 2019-05-23 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for image processing |
| CN110503602A (zh) * | 2018-05-18 | 2019-11-26 | 杭州海康威视数字技术股份有限公司 | 一种图像的投影变换方法、装置及电子设备 |
| CN109242772B (zh) * | 2018-08-23 | 2023-01-31 | 上海圭目机器人有限公司 | 基于智能平台面阵相机采集的机场道面表面图像拼接方法 |
| CN109242772A (zh) * | 2018-08-23 | 2019-01-18 | 上海圭目机器人有限公司 | 基于智能平台面阵相机采集的机场道面表面图像拼接方法 |
| CN110246081A (zh) * | 2018-11-07 | 2019-09-17 | 浙江大华技术股份有限公司 | 一种图像拼接方法、装置及可读存储介质 |
| CN109523468A (zh) * | 2018-11-15 | 2019-03-26 | 深圳市道通智能航空技术有限公司 | 图像拼接方法、装置、设备及无人机 |
| CN109523468B (zh) * | 2018-11-15 | 2023-10-20 | 深圳市道通智能航空技术股份有限公司 | 图像拼接方法、装置、设备及无人机 |
| US11055835B2 (en) | 2019-11-19 | 2021-07-06 | Ke.com (Beijing) Technology, Co., Ltd. | Method and device for generating virtual reality data |
| CN111105347B (zh) * | 2019-11-19 | 2020-11-13 | 贝壳找房(北京)科技有限公司 | 一种生成带深度信息的全景图的方法、装置及存储介质 |
| US11721006B2 (en) | 2019-11-19 | 2023-08-08 | Realsee (Beijing) Technology Co., Ltd. | Method and device for generating virtual reality data |
| CN111105347A (zh) * | 2019-11-19 | 2020-05-05 | 贝壳技术有限公司 | 一种生成带深度信息的全景图的方法、装置及存储介质 |
| CN111314729A (zh) * | 2020-02-25 | 2020-06-19 | 广州华多网络科技有限公司 | 全景图像的生成方法、装置、设备及存储介质 |
| WO2021243566A1 (zh) * | 2020-06-02 | 2021-12-09 | 深圳市大疆创新科技有限公司 | 成像方法、成像装置、计算机可读存储介质 |
| CN112907496A (zh) * | 2021-02-24 | 2021-06-04 | 嘉楠明芯(北京)科技有限公司 | 一种图像融合方法以及装置 |
| CN114289332A (zh) * | 2022-01-20 | 2022-04-08 | 湖南视比特机器人有限公司 | 工件分拣的视觉识别与定位方法、装置及分拣系统 |
| WO2024060281A1 (zh) * | 2022-09-20 | 2024-03-28 | 深圳看到科技有限公司 | 基于全景图像的视频分流方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11455709B2 (en) | 2022-09-27 |
| EP3698316A1 (en) | 2020-08-26 |
| EP3698316A4 (en) | 2021-03-03 |
| WO2019096156A1 (en) | 2019-05-23 |
| CN107945112B (zh) | 2020-12-08 |
| US20200279357A1 (en) | 2020-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107945112A (zh) | 一种全景图像拼接方法及装置 | |
| JP6563609B2 (ja) | 中間ビューからの効率的なキャンバスビューの生成 | |
| CN110663245B (zh) | 用于存储成像数据的重叠区以产生优化拼接图像的设备及方法 | |
| CN110390640B (zh) | 基于模板的泊松融合图像拼接方法、系统、设备及介质 | |
| WO2021120407A1 (zh) | 一种基于多对双目相机的视差图像拼接与可视化方法 | |
| CN102595168B (zh) | 用于360度立体视频的无缝左/右视图 | |
| EP2328125B1 (en) | Image splicing method and device | |
| CN109934772B (zh) | 一种图像融合方法、装置及便携式终端 | |
| CN108200360A (zh) | 一种多鱼眼镜头全景摄像机的实时视频拼接方法 | |
| WO2017088533A1 (zh) | 合并图像的方法和装置 | |
| WO2019052534A1 (zh) | 图像拼接方法及装置、存储介质 | |
| WO2022127225A1 (zh) | 图像拼接方法、装置、设备和存储介质 | |
| CN110246081A (zh) | 一种图像拼接方法、装置及可读存储介质 | |
| WO2022166868A1 (zh) | 漫游视图的生成方法、装置、设备和存储介质 | |
| CN111294580A (zh) | 基于gpu的摄像头视频投影方法、装置、设备及存储介质 | |
| US11734841B2 (en) | Eye method for tracking eye gaze, system, processing device and computer readable storage medium | |
| Zhou et al. | MR video fusion: interactive 3D modeling and stitching on wide-baseline videos | |
| CN115174805A (zh) | 全景立体图像的生成方法、装置和电子设备 | |
| WO2022271499A1 (en) | Methods and systems for depth estimation using fisheye cameras | |
| CN113724141B (zh) | 一种图像校正方法、装置及电子设备 | |
| Lin et al. | Fast intra-frame video splicing for occlusion removal in diminished reality | |
| TW201911239A (zh) | 立體環景影片產生方法及裝置 | |
| JP3483276B2 (ja) | ３次元画像表示方法及び装置 | |
| CN115953306A (zh) | 一种基于鱼眼相机的三维成像方法及装置、成像系统 | |
| Chang et al. | Adaptive region of interest processing for panoramic system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |