CN107895344A - 视频拼接装置及方法 - Google Patents

视频拼接装置及方法 Download PDF

Info

Publication number
CN107895344A
CN107895344A CN201711049913.2A CN201711049913A CN107895344A CN 107895344 A CN107895344 A CN 107895344A CN 201711049913 A CN201711049913 A CN 201711049913A CN 107895344 A CN107895344 A CN 107895344A
Authority
CN
China
Prior art keywords
image
spliced
elementary area
video
splicing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711049913.2A
Other languages
English (en)
Other versions
CN107895344B (zh
Inventor
陈卫文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sen Ke Polytron Technologies Inc
Original Assignee
Shenzhen Sen Ke Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sen Ke Polytron Technologies Inc filed Critical Shenzhen Sen Ke Polytron Technologies Inc
Priority to CN201711049913.2A priority Critical patent/CN107895344B/zh
Priority to PCT/CN2017/110758 priority patent/WO2019085004A1/zh
Publication of CN107895344A publication Critical patent/CN107895344A/zh
Application granted granted Critical
Publication of CN107895344B publication Critical patent/CN107895344B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视频拼接装置及方法，包括：摄像装置，用于拍摄待拼接图像；平面传感器，用于感应视频拼接装置在水平面的移动轨迹；存储器，用于存储多条指令，指令适用于处理器加载并执行；及处理器，用于实现各指令；多条指令中包括：接收摄像装置先后拍摄的第一待拼接图像和第二待拼接图像并找到其中心位置；获取平面传感器上传的移动轨迹；判断第一待拼接图像中心位置所在图像单元是否出现在第二待拼接图像中，若是，根据视频拼接装置的移动轨迹及第一待拼接图像中心位置所在图像单元在第二待拼接图像中的位置确定重叠区域；进而根据重叠区域快速完成第一待拼接图像和第二待拼接图像的拼接，简单方便。

Description

视频拼接装置及方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种视频拼接装置及方法。
背景技术
图像拼接的方法很多，不同的算法步骤会有一定差异，但大致的过程是相同的。一般来说，图像拼接主要包括以下步骤：
1)图像预处理，包括数字图像处理的基本操作(如去噪、边缘提取、直方图处理等)、建立图像的匹配模板以及对图像进行某种变换(如傅里叶变换、小波变换等)等操作；
2)图像配准，简单来说，就是采用一定的匹配策略，找出待拼接图像中的模板或特征点在参考图像中的对应位置，进而确定两幅图像之间的变换关系；
3)建立变换模型，根据模板或者图像特征之间的对应关系，计算出数学模型中的各参数值，从而建立两幅图像的数学变换模型；
4)统一坐标变换，根据建立的数学转换模型，将待拼接图像转换到参考图像的坐标系中，完成统一坐标变换；
5)图像融合，将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝全景图像。
参照以上描述，图像配准和图像融合是图像拼接的两个关键技术，其中，图像配准是图像融合的基础，且计算量一般非常大，因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。
目前，图像配准技术一般采用点匹配法，这类方法速度慢、精度低，而且一般需要人工选取初始匹配点，无法适应大数据图像的融合；此外，需要对待拼接的源图像进行统一坐标系，同样会带来计算量大、速度慢、精度低等问题。
发明内容
本发明的目的是提供一种视频拼接装置及方法，有效解决现有技术中视频拼接计算量大、速度慢、精度低等问题。
本发明提供的技术方案如下：
一种视频拼接装置，包括：
摄像装置，用于拍摄待拼接图像；
平面传感器，用于感应视频拼接装置在水平面的移动轨迹；
存储器，用于存储多条指令，指令适用于处理器加载并执行；及
处理器，用于实现各指令；所述多条指令中包括：
接收所述摄像装置先后拍摄的第一待拼接图像和第二待拼接图像；
分别找到第一待拼接图像和第二待拼接图像的中心位置；
获取平面传感器上传的移动轨迹，并根据所述移动轨迹统一第一待拼接图像和第二待拼接图像的坐标系，确定第一待拼接图像和第二待拼接图像中心位置的坐标值；
判断第一待拼接图像中心位置所在图像单元是否出现在第二待拼接图像中，若是，
确定第一待拼接图像中心位置所在图像单元在第二待拼接图像中的坐标值；
根据视频拼接装置的移动轨迹及第一待拼接图像中心位置所在图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域；
根据所述重叠区域完成第一待拼接图像和第二待拼接图像的拼接。
进一步优选地，在指令根据视频拼接装置的移动轨迹及第一待拼接图像中心位置所在图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域之后，还包括：
在重叠区域的边缘选定至少一个图像单元，并确定其在第二待拼接图像中的坐标值；
确定选定的至少一个图像单元是否出现在第一待拼接图像中，若是，跳转至指令根据所述重叠区域完成第一待拼接图像和第二待拼接图像的拼接。
进一步优选地，在指令判断第一待拼接图像中心位置所在图像单元是否出现在第二待拼接图像中，若判断出第一待拼接图像中心位置所在图像单元没有出现在第二待拼接图像中，则
进一步判断第一待拼接图像的边缘是否有图像单元出现在第二待拼接图像中，若是，
从找到的图像单元中选定至少一个，并确定其在第二待拼接图像中的坐标值；
根据视频拼接装置的移动轨迹及选定的图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域；
根据所述重叠区域完成第一待拼接图像和第二待拼接图像的拼接。
进一步优选地，在指令从找到的图像单元中选定至少一个，并确定其在第二待拼接图像中的坐标值中，具体为：
从找到的图像单元中选定多个，并确定其在第二待拼接图像中所在位置的坐标值。
进一步优选地，在指令根据视频拼接装置的移动轨迹及第一待拼接图像中心位置所在图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域之后，还包括：
在重叠区域的边缘选定至少一个图像单元，并确定其在第二待拼接图像中的坐标值；
确定选定的至少一个图像单元是否出现在第一待拼接图像中，若是，跳转至指令根据所述重叠区域完成第一待拼接图像和第二待拼接图像的拼接。
本发明还提供了一种视频拼接方法，包括：
接收摄像装置先后拍摄的第一待拼接图像和第二待拼接图像；
分别找到第一待拼接图像和第二待拼接图像的中心位置；
获取平面传感器上传的移动轨迹，并根据所述移动轨迹统一第一待拼接图像和第二待拼接图像的坐标系，确定第一待拼接图像和第二待拼接图像中心位置的坐标值；
判断第一待拼接图像中心位置所在图像单元是否出现在第二待拼接图像中，若是，
确定第一待拼接图像中心位置所在图像单元在第二待拼接图像中的坐标值；
根据视频拼接装置的移动轨迹及第一待拼接图像中心位置所在图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域；
根据所述重叠区域完成第一待拼接图像和第二待拼接图像的拼接。
进一步优选地，在步骤根据视频拼接装置的移动轨迹及第一待拼接图像中心位置所在图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域之后，还包括：
在重叠区域的边缘选定至少一个图像单元，并确定其在第二待拼接图像中的坐标值；
确定选定的至少一个图像单元是否出现在第一待拼接图像中，若是，跳转至步骤根据所述重叠区域完成第一待拼接图像和第二待拼接图像的拼接。
进一步优选地，在步骤判断第一待拼接图像中心位置所在图像单元是否出现在第二待拼接图像中，若判断出第一待拼接图像中心位置所在图像单元没有出现在第二待拼接图像中，则
进一步判断第一待拼接图像的边缘是否有图像单元出现在第二待拼接图像中，若是，
从找到的图像单元中选定至少一个，并确定其在第二待拼接图像中的坐标值；
根据视频拼接装置的移动轨迹及选定的图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域；
根据所述重叠区域完成第一待拼接图像和第二待拼接图像的拼接。
进一步优选地，在步骤从找到的图像单元中选定至少一个，并确定其在第二待拼接图像中的坐标值中，具体为：
从找到的图像单元中选定多个，并确定其在第二待拼接图像中所在位置的坐标值。
进一步优选地，在步骤根据视频拼接装置的移动轨迹及第一待拼接图像中心位置所在图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域之后，还包括：
在重叠区域的边缘选定至少一个图像单元，并确定其在第二待拼接图像中的坐标值；
确定选定的至少一个图像单元是否出现在第一待拼接图像中，若是，跳转至步骤根据所述重叠区域完成第一待拼接图像和第二待拼接图像的拼接。
本发明提供的视频拼接装置及方法，利用平面传感器感应到的移动轨迹，完成第一待拼接图像和第二待拼接图像之间的坐标统一，快速找到两幅待拼接图像中出现的重叠区域，进而快速实现视频拼接算法中的图像融合，简单方便。由无需进行图像匹配(如畸变矫正、特征计算处理等)，针对需要进行视频拼接(视频本身是由一帧一帧图像组成的，视频拼接的本质上是图像拼接)的源文件，只需要进行图像融合即可完成拼接操作，大幅降低对视频拼接所需要的计算能力和内存，从而简化了视频拼接的复杂度、降低了硬件功耗和成本，同时大幅提高处理速度和实时性，扩展了应用领域，可广泛应用于金融票据处理、纸币处理、印刷检测、移动扫描、工业条码识读及平面物体表面图像采集等领域。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对上述特性、技术特征、优点及其实现方式予以进一步说明。
图1为本发明中视频拼接装置示意图；
图2为本发明中存储在存储器的多条指令一种实施方式流程示意图；
图3(a)-图3(c)为本发明中图像拼接一种实例示意图；
图4(a)-图4(c)为本发明中图像拼接另一种实例示意图；
图5为本发明中存储在存储器的多条指令另一种实施方式流程示意图；
图6(a)-图6(c)为本发明中图像拼接另一种实例示意图。
附图标号说明：
100-视频拼接装置，110-摄像装置，120-平面传感器，130-存储器，140- 处理器。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中的只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。
由于现有图像拼接方法存在计算量大、速度慢、精度低等问题，因而本发明中提供了一种全新的视频拼接装置，大大简化了现有图像拼接方法的复杂度。如图1所示，在该视频拼接装置100中包括：摄像装置110(包括摄像镜头和配合摄像镜头拍摄待拼接图像的芯片)，用于拍摄待拼接图像；平面传感器120，用于感应视频拼接装置在水平面的移动轨迹(包括移动方向、移动距离等)；存储器130，用于存储多条指令，指令适用于处理器加载并执行；及处理器140，用于实现各指令；其中，摄像装置、平面传感器以及存储器分别与处理器连接。在实例中，可以通过将摄像装置加装在高精度激光鼠标的方式实现发明目的，由激光鼠标中包括的平面传感器(只探测水平面的位移)和处理芯片结合探测到激光鼠标移动轨迹，进而统一第一待拼接图像和第二待拼接图像的坐标及确定两幅待拼接图像的重叠区域，简单方便的完成待拼接图像的图像融合。
如图2所示，在一种实施方式中，存储器中存储的多条指令中包括：S11 接收摄像装置先后拍摄的第一待拼接图像和第二待拼接图像；S12分别找到第一待拼接图像和第二待拼接图像的中心位置；S13获取平面传感器上传的移动轨迹，并根据移动轨迹统一第一待拼接图像和第二待拼接图像的坐标系，确定第一待拼接图像和第二待拼接图像中心位置的坐标值；S14判断第一待拼接图像中心位置所在图像单元是否出现在第二待拼接图像中，若是，跳转至S15；S15确定第一待拼接图像中心位置所在图像单元在第二待拼接图像中的坐标值；S16根据视频拼接装置的移动轨迹及第一待拼接图像中心位置所在图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域；S17根据重叠区域完成第一待拼接图像和第二待拼接图像的拼接。
在本实施方式中，在进行图像拼接的过程中，采用摄像装置得到先后拍摄的两个待拼接图像的同时，获取两次拍摄的时刻及平面传感器移动轨迹(包括移动方向、移动距离、平面传感器的实时位置等)，以此根据平面传感器的移动轨迹统一两个图像的坐标，确定两个图像中心位置的坐标值。具体，在确定中心位置坐标值的过程中，可以以其中一个待拼接图像的中心位置为原点，以便于确定其他点的坐标值；另外，一般来说，拍摄装置都是朝镜头安装的方向拍摄图像，如正前方、正下方等，拍摄到的待拼接图像的位置变换与视频拼接装置的位移呈一定的关联关系，以此，在确定了视频拼接装置的运动轨迹之后，就可以确定拍摄到的待拼接图像的中心位置的坐标值。在实际应用中，为了方便计算，甚至可以将视频拼接装置拍摄待拼接图像的位置认为是拍摄到的待拼接图像的中心点位置(在拍摄的过程中，视频拼接装置中的拍摄装置一直朝向待拍摄的图像进行拍摄得到待拼接图像；另外，由于拍摄装置是安装于视频拼接装置中，拍摄装置和平面传感器都与视频拼接装置处于同一位置)；当然，也可以预先设定一定的比例值，根据拍摄图片时视频拼接装置的位置和设定的比例值确定待拼接图像中心位置的坐标，上述两种方式都可以实现发明目的，可以根据实际情况而定。确定好两个待拼接图像的中心位置坐标值之后，根据平面传感器两次拍摄时的实时位置在第二待拼接图像查找第一待拼接图像的中心位置所在的图像单元，假若第一待拼接图像中心位置所在的图像单元出现在第二待拼接图像中，则根据其在第二待拼接图像中出现的位置和视频拼接装置的移动轨迹就可以确定第一待拼接图像和第二待拼接图像的重叠区域，完成两幅图像的拼接。
在确定第一待拼接图像和第二待拼接图像重叠区域的过程中：参照图3(a)- 图3(c)所示，其中图3(a)为第一待拼接图像，图3(b)为第二待拼接图像，拍摄装置先后拍摄得到两幅待拼接图像之后，平面传感器感应到视频拼接装置朝水平方向(x轴正方向)移动了1cm(厘米)。为了便于理解，假定平面传感器起始位置为(0,0)，则终点位置为(1,0)，若预先设定将拍摄待拼接图像时视频拼接装置(与平面传感器处于同一位置)默认为待拼接图像的中心位置，则第一待拼接图像的中心位置A的坐标值为(0,0)，第二待拼接图像的中心位置B 坐标值为(1,0)，且中心位置A和中心位置B之间的矩形区域中包括重叠区域。之后，在发现第一待拼接图像中心位置A所在图像单元出现在第二待拼接图像的位置C之后，确定第二待拼接图像中位置C和中心位置B之间的矩形区域为重叠区域。以此，在图像拼接的过程中，分别截取第一待拼接图像中心位置 A左侧的区域图像和第二待拼接图像中心位置B右侧的区域图像之后，加上确定的重叠区域的图像即可完成拼接得到如图3(c)所示的拼接图像(即拼接得到的图像由三部分构成)。
以上仅示例性的给出了确定第一待拼接图像和第二待拼接图像重叠区域的过程及两幅待拼接图像的拼接过程，在其他实例中，可以采用相同的方法进行拼接，参照图4(a)-图4(c)所示，其中图4(a)为第一待拼接图像，图4(b)为第二待拼接图像，拍摄装置先后拍摄得到两幅待拼接图像之后，平面传感器感应到视频拼接装置分别朝x轴正方向移动了1cm，朝y轴正方向移动了0.1cm。假定平面传感器起始位置为(0,0)，则终点位置为(1,0.1)。同样的，若预先设定将拍摄待拼接图像时视频拼接装置(与平面传感器处于同一位置)默认为待拼接图像的中心位置，则第一待拼接图像的中心位置A’的坐标值为(0,0)，第二待拼接图像的中心位置B’坐标值为(1,0.1)，此时，中心位置A’和中心位置 B’之间包括的菱形区域中包括重叠区域。之后，在发现第一待拼接图像中心位置A’所在图像单元出现在第二待拼接图像的位置C之后，确定第二待拼接图像中位置C’和中心位置B’之间的菱形区域为重叠区域。以此，在图像拼接的过程中，分别截取第一待拼接图像中心位置A左侧的区域图像和第二待拼接图像中心位置B右侧的区域图像之后(以两幅拼接图像中心位置为基点、重叠区域菱形边所在斜率为准进行相应区域图像截取)，加上确定的重叠区域的图像即可完成拼接得到如图4(c)所示的拼接图像(即拼接得到的图像由三部分构成)。
要说明的是，根据上述实施方式确定的重叠区域，两次拍摄得到的第一待拼接图像和第二待拼接图像大小一样，且当第一待拼接图像中心位置所在图像单元出现在第二待拼接图像中，第二待拼接图像中心位置所在的图像单元同样会出现在第一待拼接图像中，所以在判定的过程中，只对第一待拼接图像中心位置所在的图像单元是否出现在第二待拼接图像中进行判断，确定重叠区域。
对上述实施方式进行改进得到本实施方式，在该实施方式中，在根据视频拼接装置的移动轨迹及第一待拼接图像中心位置所在图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域之后，还包括：在重叠区域的边缘选定至少一个图像单元，并确定其在第二待拼接图像中的坐标值；之后判断选定的至少一个图像单元是否出现在第一待拼接图像中，若是，则根据重叠区域完成第一待拼接图像和第二待拼接图像的拼接。具体，根据第二待拼接图像拍摄时平面传感器所在位置，结合平面传感器的运动轨迹，得出的图像重叠区域的边界位置之后，为了进一步提高图像拼接的精确度，从确定的重叠区域的边界中选定至少一个图像单元，完成对重叠区域的校准工作，若判断出重叠区域中有图像单元没有出现在第一待拼接图像中，说明重叠区域的判定出现问题，需要重新确定重叠区域。
对上述实施方式进行改进得到本实施方式，具体本实施方式中的技术方案是基于上述方法不能完成两幅待拼接图像拼接的基础上得来的(即既没有在第二待拼接图像中找到第一待拼接图像中心位置所在图像单元，也没有在第一待拼接图像中找到第二待拼接图像中心位置所在图像单元)，如图5所示，在本实施方式中，在判断出第二待拼接图像中心位置所在图像单元没有出现在第一待拼接图像之后，还包括：S21进一步判断第一待拼接图像的边缘是否有图像单元出现在第二待拼接图像中，若是，跳转至S22；S22从找到的图像单元中选定至少一个，并确定其在第二待拼接图像中的坐标值；S23根据视频拼接装置的移动轨迹及选定的图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域；S24根据重叠区域完成第一待拼接图像和第二待拼接图像的拼接。
在本实施方式中，在第一待拼接图像的边缘找出现在第二待拼接图像中的图像单元时，首先根据平面传感器的判断视频拼接装置的移动方向，若由左向右移动，则在第一待拼接图像右边缘选相应的图像单元，否则从左边缘选定；若由上向下移动，则在第一待拼接图像下边缘选相应的图像单元，否则从上边缘选定。另外，在相应边缘选定图像单元时，可以采用特征提取等方法进行选定。假若在边缘中没有找到相应图像单元，说明两幅图像不存在图像融合问题，直接沿边缘拼接即可。
在确定第一待拼接图像和第二待拼接图像重叠区域的过程中：参照图6(a)- 图6(c)所示，其中图6(a)为第一待拼接图像，图6(b)为第二待拼接图像，拍摄装置先后拍摄得到两幅待拼接图像之后，平面传感器感应到视频拼接装置朝水平方向(x轴正方向)移动了1cm(厘米)。为了便于理解，假定平面传感器起始位置为(0,0)，则终点位置为(1,0)，若预先设定将拍摄待拼接图像时视频拼接装置(与平面传感器处于同一位置)默认为待拼接图像的中心位置，则第一待拼接图像的中心位置G的坐标值为(0,0)，第二待拼接图像的中心位置H 坐标值为(1,0)，由判断出中心位置G没有出现在第二待拼接图像中，中心位置H没有出现在第一待拼接图像中，则在第一待拼接图像的右边缘找到点J，并判断点J是否出现在第二待拼接图像中，若没有，说明两幅图像不存在图像融合问题，直接沿边缘拼接即可；否则，在第二待拼接图像中找出点J所在位置J，并根据该点J确定重叠区域(在第二待拼接图像中，沿左边沿到点J的矩形区域)。在拼接的过程中，将第二待拼接图像中截去重叠区域，即将点J右侧区域直接与第一待拼接图像进行拼接即可，得到如图6(c)所示的拼接图像。
对上述实施方式进行改进得到本实施方式，在本实施方式中，为了更加准确的得到两幅图像的重叠区域，实现两幅图像的精确拼接操作，在第一待拼接图像边缘选取多个图像单元，并确定其在第二待拼接图像中的位置，完成两幅图像的拼接。
对上述实施方式进行改进得到本实施方式，在本实施方式中，为了更加准确的实现两幅图像的拼接操作，在根据视频拼接装置的移动轨迹及第一待拼接图像边缘选定的图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域之后，还包括：在重叠区域的边缘选定至少一个图像单元，并确定其在第二待拼接图像中的坐标值；之后判断选定的至少一个图像单元是否出现在第一待拼接图像中，若是，则根据重叠区域完成第一待拼接图像和第二待拼接图像的拼接。具体，根据第二待拼接图像拍摄时平面传感器所在位置，结合平面传感器的运动轨迹，得出的图像重叠区域的边界位置之后，为了进一步提高图像拼接的精确度，从确定的重叠区域的边界中选定至少一个图像单元，完成对重叠区域的校准工作，若判断出重叠区域中有图像单元没有出现在第一待拼接图像中，说明重叠区域的判定出现问题，需要重新确定重叠区域。
要说明的是，在上述实施方式中，都是以第一待拼接图像为基准进行拼接，在实际应用中，还可以以第二待拼接图像为基准，在此不做具体限定。
与上述视频拼接装置相对应的，本发明还提供了一种视频拼接方法，包括：接收摄像装置先后拍摄的第一待拼接图像和第二待拼接图像；分别找到第一待拼接图像和第二待拼接图像的中心位置；获取平面传感器上传的移动轨迹，并根据所述移动轨迹统一第一待拼接图像和第二待拼接图像的坐标系，确定第一待拼接图像和第二待拼接图像中心位置的坐标值；判断第一待拼接图像中心位置所在图像单元是否出现在第二待拼接图像中，若是，确定第一待拼接图像中心位置所在图像单元在第二待拼接图像中的坐标值；根据视频拼接装置的移动轨迹及第一待拼接图像中心位置所在图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域；根据所述重叠区域完成第一待拼接图像和第二待拼接图像的拼接。
在本实施方式中，在进行图像拼接的过程中，采用摄像装置得到先后拍摄的两个待拼接图像的同时，获取两次拍摄的时刻及平面传感器移动轨迹(包括移动方向、移动距离、平面传感器的实时位置等)，以此根据平面传感器的移动轨迹统一两个图像的坐标，确定两个图像中心位置的坐标值。具体，在确定中心位置坐标值的过程中，可以以其中一个待拼接图像的中心位置为原点，以便于确定其他点的坐标值；另外，一般来说，拍摄装置都是朝镜头安装的方向拍摄图像，如正前方、正下方等，拍摄到的待拼接图像的位置变换与视频拼接装置的位移呈一定的关联关系，以此，在确定了视频拼接装置的运动轨迹之后，就可以确定拍摄到的待拼接图像的中心位置的坐标值。在实际应用中，为了方便计算，甚至可以将视频拼接装置拍摄待拼接图像的位置认为是拍摄到的待拼接图像的中心点位置(在拍摄的过程中，视频拼接装置中的拍摄装置一直朝向待拍摄的图像进行拍摄得到待拼接图像，以此，视频拼接装置中拍摄装置(由于拍摄装置是安装于视频拼接装置中，拍摄装置和平面传感器都与视频拼接装置处于同一位置)的位置与拍摄到的待拼接图像的中心位置处于同一直线上)；当然，也可以预先设定一定的比例值，根据拍摄图片时视频拼接装置的位置和设定的比例值确定待拼接图像中心位置的坐标，上述两种方式都可以实现发明目的，可以根据实际情况而定。确定好两个待拼接图像的中心位置坐标值之后，在第二待拼接图像查找第一待拼接图像的中心位置所在的图像单元，假若第一待拼接图像中心位置所在的图像单元出现在第二待拼接图像中，则根据其在第二待拼接图像中出现的位置和视频拼接装置的移动轨迹就可以确定第一待拼接图像和第二待拼接图像的重叠区域，完成两幅图像的拼接。
对上述实施方式进行改进得到本实施方式，在本实施方式中，在根据视频拼接装置的移动轨迹及第一待拼接图像中心位置所在图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域之后，还包括：在重叠区域的边缘选定至少一个图像单元，并确定其在第二待拼接图像中的坐标值；之后判断选定的至少一个图像单元是否出现在第一待拼接图像中，若是，则根据重叠区域完成第一待拼接图像和第二待拼接图像的拼接。具体，根据第二待拼接图像拍摄时平面传感器所在位置，结合平面传感器的运动轨迹，得出的图像重叠区域的边界位置之后，为了进一步提高图像拼接的精确度，从确定的重叠区域的边界中选定至少一个图像单元，完成对重叠区域的校准工作，若判断出重叠区域中有图像单元没有出现在第一待拼接图像中，说明重叠区域的判定出现问题，需要重新确定重叠区域。
对上述实施方式进行改进得到本实施方式，在本实施方式中，在步骤判断第一待拼接图像中心位置所在图像单元是否出现在第二待拼接图像中，若判断出第一待拼接图像中心位置所在图像单元没有出现在第二待拼接图像中，则进一步判断第一待拼接图像的边缘是否有图像单元出现在第二待拼接图像中，若是，从找到的图像单元中选定至少一个，并确定其在第二待拼接图像中的坐标值；根据视频拼接装置的移动轨迹及选定的图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域；根据所述重叠区域完成第一待拼接图像和第二待拼接图像的拼接。
对上述实施方式进行改进得到本实施方式，在本实施方式中，在步骤从找到的图像单元中选定至少一个，并确定其在第二待拼接图像中的坐标值中，具体为：从找到的图像单元中选定多个，并确定其在第二待拼接图像中所在位置的坐标值。
对上述实施方式进行改进得到本实施方式，在本实施方式中，为了更加准确的实现两幅图像的拼接操作，在根据视频拼接装置的移动轨迹及第一待拼接图像边缘选定的图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域之后，还包括：在重叠区域的边缘选定至少一个图像单元，并确定其在第二待拼接图像中的坐标值；之后判断选定的至少一个图像单元是否出现在第一待拼接图像中，若是，则根据重叠区域完成第一待拼接图像和第二待拼接图像的拼接。具体，根据第二待拼接图像拍摄时平面传感器所在位置，结合平面传感器的运动轨迹，得出的图像重叠区域的边界位置之后，为了进一步提高图像拼接的精确度，从确定的重叠区域的边界中选定至少一个图像单元，完成对重叠区域的校准工作，若判断出重叠区域中有图像单元没有出现在第一待拼接图像中，说明重叠区域的判定出现问题，需要重新确定重叠区域。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种视频拼接装置，其特征在于，所述视频拼接装置中包括：
摄像装置，用于拍摄待拼接图像；
平面传感器，用于感应视频拼接装置在水平面的移动轨迹；
存储器，用于存储多条指令，指令适用于处理器加载并执行；及
处理器，用于实现各指令；所述多条指令中包括：
接收所述摄像装置先后拍摄的第一待拼接图像和第二待拼接图像；
分别找到第一待拼接图像和第二待拼接图像的中心位置；
获取平面传感器上传的移动轨迹，并根据所述移动轨迹统一第一待拼接图像和第二待拼接图像的坐标系，确定第一待拼接图像和第二待拼接图像中心位置的坐标值；
判断第一待拼接图像中心位置所在图像单元是否出现在第二待拼接图像中，若是，
确定第一待拼接图像中心位置所在图像单元在第二待拼接图像中的坐标值；
根据视频拼接装置的移动轨迹及第一待拼接图像中心位置所在图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域；
根据所述重叠区域完成第一待拼接图像和第二待拼接图像的拼接。
2.如权利要求1所述的视频拼接装置，其特征在于，在指令根据视频拼接装置的移动轨迹及第一待拼接图像中心位置所在图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域之后，还包括：
在重叠区域的边缘选定至少一个图像单元，并确定其在第二待拼接图像中的坐标值；
确定选定的至少一个图像单元是否出现在第一待拼接图像中，若是，跳转至指令根据所述重叠区域完成第一待拼接图像和第二待拼接图像的拼接。
3.如权利要求1或2所述的视频拼接装置，其特征在于，在指令判断第一待拼接图像中心位置所在图像单元是否出现在第二待拼接图像中，若判断出第一待拼接图像中心位置所在图像单元没有出现在第二待拼接图像中，则
进一步判断第一待拼接图像的边缘是否有图像单元出现在第二待拼接图像中，若是，
从找到的图像单元中选定至少一个，并确定其在第二待拼接图像中的坐标值；
根据视频拼接装置的移动轨迹及选定的图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域；
根据所述重叠区域完成第一待拼接图像和第二待拼接图像的拼接。
4.如权利要求3所述的视频拼接装置，其特征在于，在指令从找到的图像单元中选定至少一个，并确定其在第二待拼接图像中的坐标值中，具体为：
从找到的图像单元中选定多个，并确定其在第二待拼接图像中所在位置的坐标值。
5.如权利要求3所述的视频拼接装置，其特征在于，在指令根据视频拼接装置的移动轨迹及选定的图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域之后，还包括：
在重叠区域的边缘选定至少一个图像单元，并确定其在第二待拼接图像中的坐标值；
确定选定的至少一个图像单元是否出现在第一待拼接图像中，若是，跳转至指令根据所述重叠区域完成第一待拼接图像和第二待拼接图像的拼接。
6.一种视频拼接方法，其特征在于，所述视频拼接方法中包括：
接收摄像装置先后拍摄的第一待拼接图像和第二待拼接图像；
分别找到第一待拼接图像和第二待拼接图像的中心位置；
获取平面传感器上传的移动轨迹，并根据所述移动轨迹统一第一待拼接图像和第二待拼接图像的坐标系，确定第一待拼接图像和第二待拼接图像中心位置的坐标值；
判断第一待拼接图像中心位置所在图像单元是否出现在第二待拼接图像中，若是，
确定第一待拼接图像中心位置所在图像单元在第二待拼接图像中的坐标值；
根据视频拼接装置的移动轨迹及第一待拼接图像中心位置所在图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域；
根据所述重叠区域完成第一待拼接图像和第二待拼接图像的拼接。
7.如权利要求6所述的视频拼接方法，其特征在于，在步骤根据视频拼接装置的移动轨迹及第一待拼接图像中心位置所在图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域之后，还包括：
在重叠区域的边缘选定至少一个图像单元，并确定其在第二待拼接图像中的坐标值；
确定选定的至少一个图像单元是否出现在第一待拼接图像中，若是，跳转至步骤根据所述重叠区域完成第一待拼接图像和第二待拼接图像的拼接。
8.如权利要求6或7所述的视频拼接方法，其特征在于，在步骤判断第一待拼接图像中心位置所在图像单元是否出现在第二待拼接图像中，若判断出第一待拼接图像中心位置所在图像单元没有出现在第二待拼接图像中，则
进一步判断第一待拼接图像的边缘是否有图像单元出现在第二待拼接图像中，若是，
从找到的图像单元中选定至少一个，并确定其在第二待拼接图像中的坐标值；
根据视频拼接装置的移动轨迹及选定的图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域；
根据所述重叠区域完成第一待拼接图像和第二待拼接图像的拼接。
9.如权利要求8所述的视频拼接方法，其特征在于，在步骤从找到的图像单元中选定至少一个，并确定其在第二待拼接图像中的坐标值中，具体为：
从找到的图像单元中选定多个，并确定其在第二待拼接图像中所在位置的坐标值。
10.如权利要求8所述的视频拼接方法，其特征在于，在步骤根据视频拼接装置的移动轨迹及选定的图像单元在第二待拼接图像中的位置确定第一待拼接图像和第二待拼接图像的重叠区域之后，还包括：
在重叠区域的边缘选定至少一个图像单元，并确定其在第二待拼接图像中的坐标值；
确定选定的至少一个图像单元是否出现在第一待拼接图像中，若是，跳转至步骤根据所述重叠区域完成第一待拼接图像和第二待拼接图像的拼接。
CN201711049913.2A 2017-10-31 2017-10-31 视频拼接装置及方法 Active CN107895344B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711049913.2A CN107895344B (zh) 2017-10-31 2017-10-31 视频拼接装置及方法
PCT/CN2017/110758 WO2019085004A1 (zh) 2017-10-31 2017-11-14 视频拼接装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711049913.2A CN107895344B (zh) 2017-10-31 2017-10-31 视频拼接装置及方法

Publications (2)

Publication Number Publication Date
CN107895344A true CN107895344A (zh) 2018-04-10
CN107895344B CN107895344B (zh) 2021-05-11

Family

ID=61803754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711049913.2A Active CN107895344B (zh) 2017-10-31 2017-10-31 视频拼接装置及方法

Country Status (2)

Country Link
CN (1) CN107895344B (zh)
WO (1) WO2019085004A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246081A (zh) * 2018-11-07 2019-09-17 浙江大华技术股份有限公司 一种图像拼接方法、装置及可读存储介质
CN112161973A (zh) * 2020-08-31 2021-01-01 中国水利水电科学研究院 一种基于无人机的水体污染快速检测方法
CN113225613A (zh) * 2020-01-21 2021-08-06 北京达佳互联信息技术有限公司 图像识别、视频直播方法和装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256499B (zh) * 2021-07-01 2021-10-08 北京世纪好未来教育科技有限公司 一种图像拼接方法及装置、系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1317124A (zh) * 1998-09-10 2001-10-10 伊强德斯股份有限公司 视觉装置
US6813391B1 (en) * 2000-07-07 2004-11-02 Microsoft Corp. System and method for exposure compensation
US20060268131A1 (en) * 2002-06-21 2006-11-30 Microsoft Corporation System and method for camera calibration and images stitching
CN101901481A (zh) * 2010-08-11 2010-12-01 深圳市蓝韵实业有限公司 一种图像拼接方法
CN106056537A (zh) * 2016-05-20 2016-10-26 沈阳东软医疗系统有限公司 一种医学图像拼接方法及装置
CN106791422A (zh) * 2016-12-30 2017-05-31 维沃移动通信有限公司 一种图像处理方法及移动终端

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8279500B2 (en) * 2011-01-27 2012-10-02 Seiko Epson Corporation System and method for integrated pair-wise registration of images using image based information and sensor coordinate and error information
US9088714B2 (en) * 2011-05-17 2015-07-21 Apple Inc. Intelligent image blending for panoramic photography
CN104346788B (zh) * 2013-07-29 2017-05-24 展讯通信（上海）有限公司 一种拼接图像的方法和装置
CN104680501B (zh) * 2013-12-03 2018-12-07 华为技术有限公司 图像拼接的方法及装置
US10313656B2 (en) * 2014-09-22 2019-06-04 Samsung Electronics Company Ltd. Image stitching for three-dimensional video
TWI598847B (zh) * 2015-10-27 2017-09-11 東友科技股份有限公司 影像接合方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1317124A (zh) * 1998-09-10 2001-10-10 伊强德斯股份有限公司 视觉装置
US6813391B1 (en) * 2000-07-07 2004-11-02 Microsoft Corp. System and method for exposure compensation
US20060268131A1 (en) * 2002-06-21 2006-11-30 Microsoft Corporation System and method for camera calibration and images stitching
CN101901481A (zh) * 2010-08-11 2010-12-01 深圳市蓝韵实业有限公司 一种图像拼接方法
CN106056537A (zh) * 2016-05-20 2016-10-26 沈阳东软医疗系统有限公司 一种医学图像拼接方法及装置
CN106791422A (zh) * 2016-12-30 2017-05-31 维沃移动通信有限公司 一种图像处理方法及移动终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XUEMIN WU 等: "Image Splicing Detection Using Illuminant Color Inconsistency", 《2011 THIRD INTERNATIONAL CONFERENCE ON MULTIMEDIA INFORMATION NETWORKING AND SECURITY》 *
严大勤 等: "一种基于区域匹配的图像拼接算法", 《仪器仪表学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246081A (zh) * 2018-11-07 2019-09-17 浙江大华技术股份有限公司 一种图像拼接方法、装置及可读存储介质
CN113225613A (zh) * 2020-01-21 2021-08-06 北京达佳互联信息技术有限公司 图像识别、视频直播方法和装置
CN112161973A (zh) * 2020-08-31 2021-01-01 中国水利水电科学研究院 一种基于无人机的水体污染快速检测方法
CN112161973B (zh) * 2020-08-31 2022-04-08 中国水利水电科学研究院 一种基于无人机的水体污染快速检测方法

Also Published As

Publication number Publication date
CN107895344B (zh) 2021-05-11
WO2019085004A1 (zh) 2019-05-09

Similar Documents

Publication Publication Date Title
CN107895344A (zh) 视频拼接装置及方法
CA2507174C (en) Method of registering and aligning multiple images
EP1796039A2 (en) Determining photographing position or object position from plural images
US20070008312A1 (en) Method for determining camera position from two-dimensional images that form a panorama
CN108827249A (zh) 一种地图构建方法和装置
JP7252581B2 (ja) 物品検出装置、物品検出方法、及び産業車両
CN102834845A (zh) 用于多摄像装置校准的方法与装置
CN102157004A (zh) 用于超视场零件高精度影像测量仪的自动图像拼接方法
JP2007183256A (ja) 画像処理装置及びその方法
CN110189322A (zh) 平整度检测方法、装置、设备、存储介质及系统
Labrosse Short and long-range visual navigation using warped panoramic images
CN104637041A (zh) 一种基于参照特征的宽幅织物图像获取与拼接方法
CN112163588A (zh) 基于智能进化的异源图像目标检测方法、存储介质及设备
CN110926330A (zh) 图像处理装置和图像处理方法
Charmette et al. Vision-based robot localization based on the efficient matching of planar features
CN104170371A (zh) 实现自助合影的方法和照相设备
US20100007720A1 (en) Method for front matching stereo vision
Herling et al. Markerless tracking for augmented reality
CN115937003A (zh) 图像处理方法、装置、终端设备和可读存储介质
JP3589293B2 (ja) 道路の白線検出方法
CN107403437A (zh) 机器人跟踪物体的方法、装置及机器人
Schmidt et al. Comparative assessment of point feature detectors in the context of robot navigation
CN107248170A (zh) 基于图像匹配的焊缝跟踪方法
CN109961519A (zh) 移动增强现实的实现方法、装置、设备及介质
CN113435412A (zh) 一种基于语义分割的水泥布料区域检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Video splicing device and method

Effective date of registration: 20220525

Granted publication date: 20210511

Pledgee: Shenzhen small and medium sized small loan Co.,Ltd.

Pledgor: SHENZHEN SEN KE POLYTRON TECHNOLOGIES Inc.

Registration number: Y2022440020073

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230712

Granted publication date: 20210511

Pledgee: Shenzhen small and medium sized small loan Co.,Ltd.

Pledgor: SHENZHEN SEN KE POLYTRON TECHNOLOGIES Inc.

Registration number: Y2022440020073