CN113962909A - 匹配要合并的图像的方法和执行该方法的数据处理设备 - Google Patents

匹配要合并的图像的方法和执行该方法的数据处理设备 Download PDF

Info

Publication number
CN113962909A
CN113962909A CN202110688931.5A CN202110688931A CN113962909A CN 113962909 A CN113962909 A CN 113962909A CN 202110688931 A CN202110688931 A CN 202110688931A CN 113962909 A CN113962909 A CN 113962909A
Authority
CN
China
Prior art keywords
descriptor
block
image
blocks
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110688931.5A
Other languages
English (en)
Inventor
成昌勋
金德欢
金炳德
金泰义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113962909A publication Critical patent/CN113962909A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种匹配要合并的图像的方法和执行该方法的数据处理设备。来自多个输入图像的每个输入图像被划分成多个图像块。通过提取多个图像块中的每个图像块中包括的特征点来生成包括分别与多个图像块相对应的多个特征点块在内的特征点图。通过生成特征点图中包括的特征点的描述符来生成包括分别与多个特征点块相对应的多个描述符块在内的描述符图。基于分别与多个输入图像相对应的多个描述符图来生成包含多个输入图像中的不同输入图像中包括的特征点之间的匹配关系在内的映射信息。图像合并性能可以通过将输入图像划分成多个图像块以增加特征点的分布一致性而提高。

Description

匹配要合并的图像的方法和执行该方法的数据处理设备
相关申请的交叉引用
本申请要求于2020年7月3日向韩国知识产权局(KIPO)提交的韩国专利申请No.10-2020-0082313的优先权，其公开内容通过引用整体并入本文。
技术领域
示例实施例总体涉及半导体集成电路，更具体地涉及匹配要合并的图像的方法和执行该方法的数据处理设备。
背景技术
在计算机视觉的领域中，使用图像之间的对应点来合并图像。经合并的图像可以应用于各种图像处理技术，例如图像拼接、噪声减少、动态范围转换等。为了合并图像，图像匹配过程可以获得要合并的多个图像中的特征点之间的映射关系。这种图像匹配需要大量的处理并且经合并的图像的质量可能依赖于图像匹配过程的性能。
发明内容
一些示例实施例可以提供一种能够高效地匹配和合并图像的匹配图像的方法和数据处理设备。
在根据示例实施例的一种匹配图像的方法中，多个输入图像中的每个输入图像被划分成多个图像块。通过提取多个图像块中的每个图像块中包括的特征点来生成包括分别与多个图像块相对应的多个特征点块在内的特征点图。通过生成特征点图中包括的特征点的描述符来生成包括分别与多个特征点块相对应的多个描述符块在内的描述符图。基于分别与多个输入图像相对应的多个描述符图来生成包含多个输入图像中的不同输入图像中包括的特征点之间的匹配关系在内的映射信息。
根据示例实施例，一种匹配图像的方法，包括：将多个输入图像中的每个输入图像划分成多个图像块；通过提取多个图像块中的每个图像块中包括的特征点来生成包括分别与多个图像块相对应的多个特征点块在内的特征点图；通过生成特征点图中包括的特征点的描述符来生成包括分别与多个特征点块相对应的多个描述符块在内的描述符图；将分别与多个输入图像相对应的多个描述符图存储在存储器设备中；基于与多个输入图像中的不同输入图像相对应的描述符图中包括的描述符块的地址从存储器设备读出用于确定相似度的描述符；确定被读出的描述符之间的相似度；以及基于相似度来生成包含不同输入图像中包括的特征点之间的匹配关系在内的映射信息。
根据示例实施例，一种数据处理设备，包括：特征点图生成器、描述符图生成器和图像匹配器。特征点图生成器将多个输入图像中的每个输入图像划分成多个图像块，并且通过提取多个图像块中的每个图像块中包括的特征点来生成包括分别与多个图像块相对应的多个特征点块在内的特征点图。描述符图生成器通过生成特征点图中包括的特征点的描述符来生成包括分别与多个特征点块相对应的多个描述符块在内的描述符图。图像匹配器基于分别与多个输入图像相对应的多个描述符图来生成包含多个输入图像中的不同输入图像中包括的特征点之间的匹配关系在内的映射信息。
根据示例实施例的匹配图像的方法和执行该方法的数据处理设备可以通过将输入图像划分成多个图像块以增加特征点的分布一致性来提高图像合并性能。
此外，根据示例实施例的匹配图像的方法和数据处理设备还可以通过使用与多个图像块相对应的特征点图和描述符图减少用于图像匹配的处理量和处理时间来提高图像合并性能。
附图说明
由于通过参考结合附图考虑时的以下详细描述使得本公开及其很多随附方面变得更好理解，因此可以获得对本公开以及很多随附方面的更完整的理解，在附图中：
图1是示出根据示例实施例的匹配图像的方法的流程图。
图2是示出包括根据示例实施例的图像处理设备在内的系统的框图。
图3是示出根据示例实施例的系统的框图。
图4A和图4B是示出提供要匹配并合并的输入图像的示例实施例的图。
图5是示出由根据示例实施例的匹配图像的方法使用的提取特征点的方案的图。
图6是示出由根据示例实施例的匹配图像的方法使用的对图像进行划分的示例实施例的图。
图7是示出由根据示例实施例的匹配图像的方法使用的生成特征点图和描述符图的示例实施例的图。
图8是示出由根据示例实施例的匹配图像的方法使用的在输入图像、特征点图和描述符图之间的映射关系的图。
图9是示出用于确定特征点的对应性的示例搜索区域的图。
图10是示出根据示例实施例的设置搜索区域的示例实施例的图。
图11是示出由根据示例实施例的匹配图像的方法使用的映射信息的示例的图。
图12是示出根据示例实施例的匹配图像的方法的流程图。
图13是示出由根据示例实施例的匹配图像的方法使用的存储特征点图和描述符图的示例实施例的图。
图14和图15是示出根据图13的存储次序分配给特征点图和描述符图的地址的图。
图16是示出由根据示例实施例的匹配图像的方法使用的读取数据的示例实施例的流程图。
图17是示出图16的数据读取的图。
图18是示出由根据示例实施例的匹配图像的方法使用的存储特征点图和描述符图的示例实施例的图。
图19和图20是示出根据图18的存储次序分配给特征点图和描述符图的地址的图。
图21是示出由根据示例实施例的匹配图像的方法使用的特征点的坐标的图。
图22是示出根据示例实施例的合并图像的方法的流程图。
图23A至图23D是示出由根据示例实施例的合并图像的方法使用的图像变换的图。
图24是用于描述由根据示例实施例的合并图像的方法使用的单应性矩阵的图。
图25是示出多个输入图像之间的单应性矩阵的图。
图26是示出合并图像的过程的图。
图27是示出根据示例实施例的电子系统的框图。
具体实施方式
下面将参考附图更全面地描述各种示例实施例，在附图中示出了一些示例实施例。在附图中，相似的附图标记始终表示相似的元素。可以省略重复的描述。
图1是示出根据示例实施例的匹配图像的方法的流程图。
参考图1，多个输入图像中的每个输入图像被划分成多个图像块(S100)。每个输入图像可以均匀地划分，使得多个图像块可以具有相同的像素宽度尺寸和像素高度尺寸。将在下面参考图6描述输入图像的划分和图像块。
通过提取多个图像块中的每个图像块中包括的特征点，来生成包括分别与多个图像块相对应的多个特征点块在内的特征点图(S200)。此外，通过生成特征点图中包括的特征点的描述符，来生成包括分别与多个特征点块相对应的多个描述符块在内的描述符图(S300)。
在一些示例实施例中，每个图像块中包括的特征点的数量可以被限定为最大块特征点数。例如，可以确定指示要从每个输入图像提取的特征点的最大数量的最大图像特征点数。可以通过将最大图像特征点数除以多个图像块的数量来确定最大块特征点数。每个图像块中包括的特征点的数量可以被限定为最大块特征点数。下面将参考图7和图8描述特征点图和描述符图。
基于分别与多个输入图像相对应的多个描述符图，来生成包含多个输入图像中的不同输入图像中包括的特征点之间的匹配关系在内的映射信息(S400)。可以使用映射信息来同步多个输入图像，并且可以基于经同步的图像来生成来自多个输入图像的经合并的图像。
多个输入图像可以是要合并的相关图像的集合。多个输入图像可以包括至少一部分相同场景。
在一些示例实施例中，如将在下面参考图4A所描述的，多个输入图像可以是由多个相机捕获的图像。在一些示例实施例中，如将在下面参考图4B所描述的，多个输入图像可以是由单个相机顺序捕获的图像。
因此，根据示例实施例的匹配图像的方法可以通过将输入图像划分成多个图像块以增加特征点的分布一致性(uniformity)来提高图像合并性能。附加地或备选地，根据示例实施例的匹配图像的方法还可以通过使用与多个图像块相对应的特征点图和描述符图减少用于图像匹配的处理量和处理时间来提高图像合并性能。
图2是示出包括根据实施例的图像处理设备在内的系统的框图。
参考图2，系统10可以包括数据处理设备20和存储器设备30。
数据处理设备20可以包括控制器CTRL 100、特征提取器200、图像匹配器300和图像合并器MRG 400。
控制器100可以控制特征提取器200、图像匹配器300和图像合并器400的总体操作。控制器100可以生成用于控制特征提取器200、图像匹配器300和图像合并器400的信号。
特征提取器200可以包括图像块缓冲器ITBF 210、特征点图生成器KMG 220和描述符图生成器DMG 230。图像块缓冲器210可以通过将多个输入图像中的每个输入图像划分成多个图像块来将多个输入图像存储到图像块单元中。特征点图生成器220可以通过提取多个图像块中的每个图像块中包括的特征点来生成包括分别与多个图像块相对应的多个特征点块在内的特征点图FMP。描述符图生成器230可以通过生成特征点图FMP中包括的特征点的描述符来生成包括分别与多个特征点块相对应的多个描述符块在内的描述符图DMP。
图像匹配器300可以基于分别与多个输入图像相对应的多个描述符图来生成输入图像的特征点之间的映射信息MINF。图像匹配器300可以包括描述符图缓冲器DMBF 310和匹配器MTCH 320。用于相似度确定的描述符块可以被加载到描述符图缓冲器310，并且匹配器320可以基于加载到描述符图缓冲器310的描述符块的描述符之间的相似度来生成映射信息MINF。
图像合并器400可以基于映射信息MINF来合并多个输入图像以生成经合并的图像。如将在下面参考图22至图26描述的，图像合并器400可以基于映射信息MINF来生成用于不同输入图像之间的转换的单应性矩阵。图像合并器400可以通过基于单应性矩阵同步多个输入图像来生成经同步的图像。图像合并器400可以使用经同步的图像执行各种图像处理，例如，图像拼接、噪声减少、动态范围转换等。
存储器设备30可以接收并存储从外部设备(例如，相机)提供的图像。存储器设备30可以将要合并的输入图像的图像集合提供给特征提取器200和图像合并器400。此外，存储器设备30可以存储由图像合并器400生成的经合并的图像。
在一些示例实施例中，存储器设备30可以存储分别与多个输入图像相对应的特征点图FMP和描述符图DMP。存储器设备30可以将存储的描述符图DMP提供给图像匹配器300。图像匹配器300可以基于描述符图DMP来确定描述符之间的相似度并且基于相似度来生成映射信息MINF。
在一些示例实施例中，图像块缓冲器210和描述符图缓冲器310可以被实现为单个缓冲器。存储器设备30可以是专用于数据处理设备20的存储器设备或包括数据处理设备20在内的系统10的公用存储器设备。
在一些示例实施例中，可以用静态随机存取存储器(SRAM)来实现图像块缓冲器210和描述符图缓冲器，可以用动态随机存取存储器(DRAM)来实现存储器设备30，但是示例实施例不必限于此。
在一些示例实施例中，控制器100可以根据预定的存储次序(order)将特征点图FMP的特征点块和描述符图DMP的描述符块顺序地存储在存储器设备30中。在一些示例中，控制器可以包括地址生成器ADDG 110。地址生成器110可以生成与存储次序相对应的存取地址ACCAD并将其提供给存储器设备30。将在下面参考图12至图20进一步描述与存储次序相对应的存取地址ACCAD的生成。
执行根据示例实施例的匹配图像的方法的数据处理设备20可以通过将输入图像划分成多个图像块以增加特征点的分布一致性来提高图像合并性能。此外，执行根据示例实施例的匹配图像的方法的数据处理设备20还可以通过使用与多个图像块相对应的特征点图和描述符图减少用于图像匹配的处理量和处理时间来提高图像合并性能。
图3是示出根据示例实施例的系统的框图。
参考图3，系统1000可以包括相机模块CAM 1114、收发器TRX 1140、控制单元1160和用户接口1150。
相机模块1114可以包括用于捕获并提供图像的相机和/或图像传感器。在一些示例实施例中，相机模块1114可以包括用于捕获要合并的多个输入图像的多个相机。在一些示例实施例中，相机模块1114可以提供要合并的多个输入图像，其中所述多个输入图像通过单个相机来捕获。
收发器1140可以通过有线或无线链路提供到其他网络(例如，互联网、蜂窝网络等)的连接。
用户接口1150可以包括输入设备KPD 1152(例如，键盘、键区等)和用于显示图像的显示设备DIP 1112。在一些示例中，虚拟键区或键盘可以集成到具有触摸屏/传感器等的显示设备1112。
控制单元1160可以包括通用处理器PRC 1161、硬件设备HW 1162、固件设备FW1163、存储器MEM 1164、数字信号处理器DSP 1166、图形引擎GENG 1167和总线1177。控制单元1160可以执行如上面描述的匹配并合并图像的方法。换言之，控制单元1160可以配置为执行图2的数据处理设备20的功能。
示例实施例可以实现为硬件、软件、固件或其组合。
在一些示例实施例中，根据示例实施例的图像匹配方法可以通过数字信号处理器1166来执行。例如，如参考图2描述的数据处理设备20可以包括在数字信号处理器1166中。
在一些示例实施例中，根据示例实施例的图像匹配方法的至少一部分可以通过由处理设备执行的程序指令来执行。程序指令可以作为软件SW 1165存储在存储器1164中，并且程序指令可以由通用处理器1161和/或数字信号处理器1166来执行。
在一些示例实施例中，为了执行程序指令，通用处理器1161可以从内部寄存器、内部高速缓存或存储器1164检索或获取程序指令，并且解码并执行所述指令。在执行程序指令期间或之后，通用处理器1161可以将程序指令的一个或多个结果(可以是中间结果或最终结果)写入内部寄存器、内部高速缓存或存储器1164。
系统1000可以是采用任意合适物理形式的计算机系统。例如，系统1000可以是嵌入式计算机系统、片上系统(SOC)、单板式计算机系统(SBC)(例如，模块上计算机(computer-on-module)(COM)或模块上系统(system-on-module)(SOM))、台式计算机系统、膝上型或笔记本计算机系统、交互式信息亭、大型机、计算机系统的网格、移动电话、个人数字助理(PDA)、服务器、平板计算机系统或这些中的两个或更多个的组合。
用于实现合并图像的方法的程序指令可以存储在计算机可读非暂时性存储介质中。在适当的情况下，计算机可读非暂时性存储介质可以包括一个或多个基于半导体的集成电路(IC)或其他集成电路(例如，现场可编程门阵列(FPGA)或专用IC(ASIC))、硬盘驱动器(HDD)、混合硬盘驱动器(HHD)、光盘、光盘驱动器(ODD)、磁光盘、磁光驱动器、软盘、软盘驱动器(FDD)、磁带、固态驱动器(SSD)、RAM驱动器、安全数字卡或驱动器、任何其他合适的计算机可读非暂时性存储介质、或这些中的两个或更多个的任何合适的组合。在适当的情况下，计算机可读非暂时性存储介质可以是易失性的、非易失性的、或者易失性和非易失性的组合。
图4A和图4B是示出提供要匹配并合并的输入图像的示例实施例的图。
图4A示出设置在轴线AX上的相机CAM1和相机CAM2的示例阵列。在一个示例中，如上所述的要合并的多个输入图像可以是分别由相机CAM1和相机CAM2捕获的图像I1和图像I2。在图4A中示出两个相机CAM1和相机CAM2，但是示例实施例不必限于此。要合并的多个输入图像可以由三个或更多个相机提供。
根据示例实施例，相机CAM1和相机CAM2可以包括被配置为捕获各个照片图像或作为视频的图像序列的一个或多个图像传感器。例如，相机CAM1和相机CAM2可以包括电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)有源像素图像传感器。
相机可以具有至少部分地取决于相机的位置、焦距或放大率以及相机的图像传感器的位置或大小的视场(FOV)。如图4A所示，相机CAM1可以具有第一视场FOV1，相机CAM2可以具有与第一视场FOV1不同的第二视场FOV2。
相机的视场可以指通过相机可见的特定场景的水平、竖直或对角范围。相机的视场内的对象可以由相机的图像传感器捕获，视场之外的对象可以不出现在图像传感器上。
相机可以具有表示相机正指向的角度或方向的取向。如图4A所示，相机CAM1可以具有第一取向ORT1并且相机CAM2可以具有与第一取向ORT1不同的第二取向ORT2。
由相机CAM1和相机CAM2捕获的图像I1和图像I2的重叠部分可以通过改变相机间的间隔ICS、视场FOV1和视场FOV2、以及取向ORT1和取向ORT2而变化。因此，可以通过预先将图像I1和图像I2对准到相同的二维平面以高效地合并图像I1和图像I2，来要求同步或坐标同步。
如图4B所示，如上所述的要合并的多个输入图像可以是由单个相机CAM顺序捕获的图像I1和图像I2。例如，图像I1和图像I2可以是以连续(serial)捕获模式捕获的图像、或被过采样以提高图像质量的图像。在这些情况下，在图像I1和图像I2之间可能存在时间间隔，并且由相机CAM1和相机CAM2捕获的图像I1和图像I2的重叠部分可能由于用户的手部运动等而变化。与图4A的情况一样，可以通过预先将图像I1和图像I2对准到相同的二维平面以高效地合并图像I1和图像I2，来要求同步或坐标同步。
图5是示出由根据示例实施例的匹配图像的方法使用的提取特征点的方案的图。
可以通过提取要合并的图像中的特征点来实现图像匹配。特征点可以被称为关键点或兴趣点。
在匹配图像的对应部分时，可能需要提取可以识别并与背景区分开的可辨别的特征点。例如，可辨别的特征点的条件可以包括相对背景的高辨别程度，即使对象的形状和位置、相机参数、照度等被改变。示例的可辨别的特征点是角点，并且许多特征点提取方法是基于角点(例如，在图5中示出的Harris角点和尺度不变特征点(SIFT)角点)提取的。
在一些示例实施例中，可以在图像的灰度版本上执行特征点检测和点匹配，并且可以在单独的操作中或者通过查找表将对比度应用于图像。在一些示例实施例中，可以使用局部对比度增强对图像全局地执行特征点检测。局部对比度增强增加了“局部”对比度，而同时防止“全局”对比度的增加，由此保护大规模阴影/高亮细节。例如，局部对比度梯度可以指示与特征相对应的边缘、角部或“斑点(blob)”。可以使用特征检测算法(例如，尺度不变特征变换(SIFT)、加速稳健特征(SURF)或定向FAST和旋转BRIEF(ORB))来检测图像的特征，其中FAST代表“加速分割测试的特征(features from accelerated segmenttest)”，并且BRIEF代表“二进制稳健独立基本特征(binary robust independentelementary features)”。在一些示例实施例中，特征点检测过程可以检测一个或多个特征点。例如，可以通过采用多个高斯平滑运算的差来检测特征点。附加地或备选地，可以存储针对每个搜索区域的特征点的位置和每个特征点的对比度值。
在一些示例实施例中，可以根据图像的大小来设置用于对不同图像中的特征点进行匹配的区域的大小。在一些示例实施例中，相机系统的几何结构可以是已知的，并且基于已知的相机系统几何结构，可以先验已知搜索区域的适当的像素数量和图像的重叠区域。例如，相机系统的相机的位置和取向可以相对于彼此固定，并且相机之间的重叠可以是已知的。
在一些示例实施例中，可以使用最近邻搜索算法来执行确定分别包括在不同图像中的特征点的对应对。例如，最近邻搜索算法可以识别一个图像的重叠区域的每个搜索区域内的与另一图像的重叠区域的每个搜索区域内的特征点图案相匹配的对应的特征点图案。在一些示例实施例中，最近邻算法可以使用围绕每个特征点的搜索半径来确定对应特征点对。例如，搜索区域的半径可以为32像素、64像素或任何合适的半径，或者搜索区域的大小可以为32像素×32像素、64像素×64像素或任何合适的大小。在一些示例实施例中，在最终的单应性计算之前，可以使用辅助的精细化来重新对准对应特征点对。
图6是示出由根据示例实施例的匹配图像的方法使用的对图像进行划分的示例实施例的图。
参考图6，每个输入图像Is可以划分成多个图像块
Figure BDA0003124821730000111
在
Figure BDA0003124821730000112
中，s表示输入图像的索引，i表示块行索引，j表示块列索引。
每个输入图像Is可以均匀地划分，使得多个图像块
Figure BDA0003124821730000113
分别包括相同的行数量和列数量的像素。换言之，多个图像块
Figure BDA0003124821730000114
可以具有相同的行大小SZA’和相同的列大小SZB’。
当图像块的行大小SZA’和列大小SZB’被确定时，经划分的图像块的行数量N和列数量M可以通过表达式1来确定，并且每个输入图像Is可以包括N*M个图像块
Figure BDA0003124821730000115
表达式1：
N＝SZA/SZA’
M＝SZB/SZB’
在表达式1中，N表示图像块的行数量，M表示图像块的列数量，SZA表示每个输入图像的行大小，SZB表示每个输入图像的列大小，SZA’表示每个图像块的行大小，以及SZB’表示每个图像块的列大小。
如将在下面描述的，可以通过均匀地划分输入图像来提高特征点的分布一致性并且可以减少用于合并图像的处理量和处理时间。
图7是示出由根据示例实施例的匹配图像的方法使用的生成特征点图和描述符图的示例实施例的图。图8是示出由根据示例实施例的匹配图像的方法使用的在输入图像、特征点图和描述符图之间的映射关系的图。
合并多个输入图像的过程可以划分成四个步骤。在一个步骤中，可以从每个输入图像提取诸如角点之类的多个特征点或关键点。在另一步骤中，可以针对提取的特征点中的每一个来生成描述符。在另一步骤中，可以使用特征点的描述符来生成包含不同输入图像的特征点之间的匹配关系在内的映射信息。在另一步骤中，可以使用映射信息来估计输入图像之间的单应性，以生成经合并的图像。
提取特征点时的三个因素可能影响已估计的单应性的性能。
第一因素是提取可能与下一图像或下一图像块的特征点相对应的特征点。如果从不同输入图像提取的特征点是不同的，则对应特征点对可能不充足，并且已估计的单应性的性能可能下降。因此，在一些示例中，可能与下一图像或下一图像块中的特征点相对应的特征点可以被描述为具有“好”或“高”响应。为了增加对应特征点对的数量，可能需要提取好的响应的特征点。换言之，在提取特征点时可能需要特征重复性。
第二因素是已提取的特征点的分布。如果仅考虑特征点的响应，那么已提取的特征点可能集中在图像的特定部分。在这种情况下，已估计的单应性可能朝着图像的特定区域偏移。
第三因素是考虑处理环境(例如，图像大小、处理速度等)的限制而限定已提取的特征点的数量。已提取的有限数量的特征点除了具有好的响应之外还可能必须在整个图像部分中均匀地分布。
常规上充分提取特征点，并且使用排序算法在全部已提取的特征点中选择有限数量的特征点。在这种情况下，可以提取高响应的特征点，但是处理量增加并且不能够考虑特征点的分布。可以使用诸如四叉树之类的空间数据结构方案来提高分布一致性。然而，通过四叉树重复地将图像划分成四个区域，因此处理复杂度显著增加。
根据示例实施例，可以通过数字信号处理器(DSP)使用并行处理来快速地提取预定数量的特征点，并且已提取的特征点可以具有高分布一致性和高响应。
图7示出如参考图6所述的输入图像Is中的一个图像块
Figure BDA0003124821730000131
如上所述，表示每个输入图像Is中包括的特征点的最大数量的最大图像特征点数量Kmax可以通过图像大小、处理速度等来确定。如表达式2中所示，通过将最大图像特征点数量Kmax除以多个图像块
Figure BDA0003124821730000132
的数量N*M来确定最大块特征点数量K，并且每个图像块中包括的特征点的数量可以被限定为最大块特征点数量K。
表达式2：
K＝Kmax/(N*M)
参考图7，可以针对每个图像块
Figure BDA0003124821730000133
通过执行特征点提取来确定L个候选特征点
Figure BDA0003124821730000134
在
Figure BDA0003124821730000135
中，s表示输入图像索引，i表示块行索引，j表示块列索引，以及p表示在每个图像块
Figure BDA0003124821730000136
中的点索引。
可以通过从L个候选特征点
Figure BDA0003124821730000137
中提取较高响应的K个特征点
Figure BDA0003124821730000138
来生成特征点块
Figure BDA0003124821730000139
在此，K是如上所述的最大块特征点数量K。
可以通过生成与每个图像块
Figure BDA00031248217300001310
相对应的每个特征点块
Figure BDA00031248217300001311
中包括的K个特征点
Figure BDA00031248217300001312
的K个描述符
Figure BDA00031248217300001313
来生成与每个图像块
Figure BDA00031248217300001314
和每个特征点块
Figure BDA00031248217300001315
相对应的描述符块
Figure BDA00031248217300001316
根据示例实施例，可以基于ORB(定向FAST(加速分割测试的特征)和旋转BRIEF(二进制稳健独立基本特征))、SIFT(尺度不变特征变换)、SURF(加速稳健特征(Speeded UpRobust Features))和MSD(最大自相异(Maximal Self-Dissimilarities))中的至少一种来生成描述符，但是本公开不必限于此。
图8示出被划分成多个图像块
Figure BDA00031248217300001317
的输入图像Is、包括分别与多个图像块
Figure BDA00031248217300001318
相对应的多个特征点块
Figure BDA00031248217300001319
在内的特征点图FMPs、以及包括分别与多个图像块
Figure BDA00031248217300001320
相对应的多个描述符块
Figure BDA00031248217300001321
在内的描述符图DMPs。
图2中的特征点图生成器220可以生成多个特征点块
Figure BDA0003124821730000141
中的每个特征点块，使得多个特征点块
Figure BDA0003124821730000142
中的每一个包括与特征点块大小相对应的相同数量的数据比特。此外，图2中的描述符图生成器230可以生成多个描述符块
Figure BDA0003124821730000143
中的每个描述符块，使得多个描述符块
Figure BDA0003124821730000144
中的每一个包括与描述符块大小相对应的相同数量的数据比特。
图像块、特征点块和描述符块可以按照二维平面上的位置分别彼此相对应。在此，二维平面上的位置可以与块行索引i和块列索引j相对应。如将在下面描述的，可以基于通过块行索引i和块列索引j所描述的描述符块在二维平面上的位置来确定描述符之间的相似度，而与特征点之间的欧式距离无关。在一些示例实施例中，描述符之间的相似度可以与描述符之间的汉明距离(Hamming distance)相对应。
因此，根据示例实施例，可以基于相同大小(即，相同数据大小)的块来生成特征点和描述符。可以获得高分布一致性和高响应的特征点而无需通过数据方案(例如，四叉树)重复划分图像空间，并且可以高效地限定整个图像中要提取的特征点的数量。
特征点块和描述符块可以包括与同图像块相同的二维平面相对应的位置信息。换言之，具有相同块行索引i和块列索引的特征点块、描述符块和图像块可以彼此相对应。
在一些示例实施例中，如将在下面参考图12至图20描述的，可以通过使用与同块行索引i和块列索引j相对应的二维平面上的位置有关的信息的存储器设备的地址来表示与特征点之间的距离有关的信息。在这种情况下，可以通过解析或处理地址来存取特征点的像素位置和对应的描述符的数据。此外，通过这种地址处理，可以在去除低对应性的特征点对的过程和单应性操作中实现对信息的高效存取。
图9是示出用于确定特征点的对应性的示例搜索区域的图，并且图10是示出根据本公开的确定搜索区域的示例实施例。
在图像合并中，可以基于对特征点之间的空间距离和特征点的描述符之间的相似度的限制来搜索对应的特征点对。
参考图9，可以估计参考图像Ir中的参考特征点Xr0与目标图像It中的特征点Xt1～Xt5之间的相似度，以将具有最高相似度的特征点确定为与参考特征点Xr0相对应的特征点。如图9所示，可以确定在二维平面上以参考点Xr0的位置为中心的搜索区域SREG，并且可以选择搜索区域SREG中的特征点Xt1～Xt3以进行相似度计算并且可以排除其他特征点。在一些情况下，可以获得特征点之间的距离作为欧式距离。当计算欧式距离以找到搜索区域SREG中包括的特征点时，处理量可以显著增加。
参考图10，可以从与多个输入图像中的参考图像相对应的参考描述符图DMPr中包括的多个描述符块中确定参考描述符块
Figure BDA0003124821730000151
可以从与多个输入图像中的目标图像相对应的目标描述符图DMPt中包括的多个描述符块中确定中央目标描述符块
Figure BDA0003124821730000152
使得中央目标描述符块
Figure BDA0003124821730000153
在二维平面上位于与参考描述符块
Figure BDA0003124821730000154
的位置相同的位置处。可以将具有与参考描述符块
Figure BDA0003124821730000155
相同的块行索引和相同的块列索引的描述符块确定为中央目标描述符块
Figure BDA0003124821730000156
可以从目标描述符图DMPt中包括的多个描述符块中确定相邻目标描述符块
Figure BDA0003124821730000157
Figure BDA0003124821730000158
和
Figure BDA0003124821730000159
使得相邻目标描述符块
Figure BDA00031248217300001510
Figure BDA00031248217300001511
和
Figure BDA00031248217300001512
在二维平面上与中央目标描述符块
Figure BDA00031248217300001514
相邻。可以将具有与参考描述符块
Figure BDA00031248217300001515
的索引偏离小于预定值的块行索引和块列索引的描述符块确定为相邻目标描述符块。在这个示例中，相邻目标描述符块是
Figure BDA00031248217300001516
Figure BDA00031248217300001517
和
Figure BDA00031248217300001518
因此，通过块行索引和块列索引的比较而确定的中央目标描述符块和相邻目标描述符块可以被设置为用于相似度计算的搜索区域SREG。
可以确定参考描述符块
Figure BDA00031248217300001519
中包括的参考描述符与中央目标描述符块
Figure BDA00031248217300001520
以及相邻目标描述符块
Figure BDA00031248217300001521
Figure BDA00031248217300001522
和
Figure BDA00031248217300001523
中所包括的目标描述符之间的相似度。可以基于相似度从与目标描述符相对应的目标特征点中确定与同参考描述符相对应的参考特征点相匹配的特征点。如参考图7所示，特征点和对应的描述符可以具有相同的点索引p。
图10示出包括九个描述符块的搜索区域SREG，但是可以根据输入图像大小、每个输入图像中包括的图像块的数量、目标处理时间等将搜索区域SREG设置为包括不同数量的描述符块。
因此，可以不管特征点之间的欧式距离来设置搜索区域SREG，并且可以基于二维平面上的描述符块的位置来执行相似度计算，其中所述位置与块行索引和块列索引相对应。
图11是示出由根据示例实施例的匹配图像的方法使用的映射信息的示例的图。
图11示出第一至第五图像I0～I4中分别包括的特征点Xij的匹配信息MINF的示例。在图11中，相同行中的特征点可以彼此匹配。例如，根据匹配信息MINF将理解，第一图像I0的特征点X02、第二图像I1的特征点X11、第三图像I2的特征点X22和第四图像I3的特征点X32彼此相对应，并且第五图像I4不具有对应的特征点。使用这种映射信息MINF，可以如下面参考图22至图26描述地执行图像合并。
在下文中，将参考图12至图20来描述根据示例实施例的基于地址的匹配图像的方法。
图12是示出根据示例实施例的匹配图像的方法的流程图。
参考图12，多个输入图像中的每个输入图像被划分成多个图像块(S100)。如参考图6所述，每个输入图像可以均匀地划分，使得多个图像块中的每一个图像块可以包括相同行数量和列数量的像素。
通过提取多个图像块中的每个图像块中包括的特征点，来生成包括分别与多个图像块相对应的多个特征点块在内的特征点图(S200)。此外，通过生成特征点图中包括的特征点的描述符，来生成包括分别与多个特征点块相对应的多个描述符块在内的描述符图(S300)。
在一些示例实施例中，如参考图7和图8所示，每个图像块中包括的特征点的数量可以被限定为最大块特征点数量。例如，可以确定指示每个输入图像中包括的特征点的最大数量的最大图像特征点数量。可以通过将最大图像特征点数量除以多个图像块中的图像块的数量来确定最大块特征点数量，并且每个图像块中包括的特征点的数量可以被限定为最大块特征点数量。
与多个输入图像相对应的多个描述符图可以存储在存储器设备中(S350)。在一些示例实施例中，与每个输入图像相对应的多个特征点块可以从与每个输入图像相对应的特征点起始地址开始，按照特征点块地址偏移顺序存储在存储器设备中。以相同的方式，与每个输入图像相对应的多个描述符块可以以用于存储与每个输入图像相对应的多个特征点块的次序相同或类似的次序，从与每个输入图像相对应的描述符起始地址开始，按照描述符块地址偏移顺序地存储在存储器设备中。
可以基于存储在存储器设备中的描述符图，来生成包含多个输入图像中的不同输入图像中包括的特征点之间的匹配关系在内的映射信息。
可以基于与多个输入图像中的不同输入图像相对应的描述符图中包括的描述符块的地址从存储器设备中读出用于确定相似度的描述符(410)。在此，用于确定相似度的描述符可以指示参考描述符块、中央目标描述符块和相邻目标描述符，如参考图10所述。
可以确定被读出的描述符之间的相似度(S420)。可以基于相似度来生成包含不同输入图像中包括的特征点之间的匹配关系在内的映射信息(S430)。多个输入图像可以使用映射信息进行同步，并且可以基于经同步的图像来生成多个输入图像的经合并的图像。
多个输入图像可以是要合并的相关图像的集合。多个输入图像可以包括相同场景的至少一部分。
在一些示例实施例中，如将在下面参考图4A所描述的，多个输入图像可以是分别由多个相机捕获的图像。在一些示例实施例中，如在下面参考图4B所描述的，多个输入图像可以是由单个相机顺序捕获的图像。
因此，根据示例实施例的匹配图像的方法可以通过将输入图像划分成多个图像块以增加特征点的分布一致性来提高图像合并性能。此外，根据示例实施例的匹配图像的方法还可以通过使用与多个图像块相对应的特征点图和描述符图减少用于图像匹配的处理量和处理时间来提高图像合并性能。
图13是示出由根据示例实施例的匹配图像的方法使用的存储特征点图和描述符图的示例实施例的图。
参考图13，根据行单元的存储次序，特征点图FMPs或描述符图DMPs中包括的多个块
Figure BDA0003124821730000181
可以顺序地存储在存储器设备中。例如，多个块
Figure BDA0003124821730000182
可以是特征点图FMPs中包括的多个特征点块或描述符图DMPs中包括的多个描述符块。
根据行单元的存储次序，第一行的块
Figure BDA0003124821730000183
可以存储在存储器设备的顺序增大的地址处，第二行的块
Figure BDA0003124821730000184
可以存储在存储器设备的顺序增大的地址处，并且类似地，最后一行的块
Figure BDA0003124821730000185
可以存储在存储器设备的顺序增大的地址处。
图14和图15是示出根据图13的存储次序分配给特征点图和描述符图的地址的图。
参考图14，多个特征点图FMP0～FMPR可以顺序存储在存储器设备的特征点起始地址S_PADD0～S_PADDR处。特征点起始地址S_PADD0～S_PADDR之间的地址偏移POFF1可以与特征点图FMP0～FMPR中的每一个中的数据比特的数量相对应，并且针对特征点图FMP0～FMPR中的每一个，地址偏移POFF1可以具有相同的值。
图14示出与一个特征点图FMPS相对应的多个特征点块
Figure BDA0003124821730000186
的示例。第一特征点块
Figure BDA0003124821730000187
的地址
Figure BDA0003124821730000188
与特征点图FMPs的特征点起始地址S_PADDS相同。如图14所示，与输入图像Is相对应的特征点图FMPs中的多个特征点块
Figure BDA0003124821730000189
可以从特征点起始地址
Figure BDA00031248217300001810
开始，按照特征点块地址偏移POFF2逐个地顺序存储在存储器设备中。特征点块地址偏移POFF2可以基于与每个特征点块中包括的数据比特相对应的特征点块大小来确定。
因此，根据行单元的存储顺序，每个特征点块
Figure BDA00031248217300001811
的地址
Figure BDA00031248217300001812
可以基于与输入图像Is相对应的特征点起始地址
Figure BDA00031248217300001813
和特征点块偏移POFF2来确定，如表达式3所示。
表达式3：
Figure BDA00031248217300001814
在表达式3中，M表示每个输入图像中包括的图像块的列数量，其可以与每个特征点图中包括的特征点块的列数量相同。
此外，图14示出作为示例的与一个特征点块
Figure BDA0003124821730000191
相对应的多个特征点
Figure BDA0003124821730000192
第一特征点
Figure BDA0003124821730000193
的地址
Figure BDA0003124821730000194
与特征点块
Figure BDA0003124821730000195
的起始地址相同。如图14所示，特征点块
Figure BDA0003124821730000196
中的多个特征点
Figure BDA0003124821730000197
可以从起始地址
Figure BDA0003124821730000198
开始，按照地址偏移POFF3逐个地顺序存储在存储器设备中。
参考图15，多个描述符图DMP0～DMPR可以顺序存储在存储器设备的描述符起始地址S_DADD0～S_DADDR处。描述符起始地址S_DADD0～S_DADDR之间的地址偏移DOFF1可以与描述符图DMP0～DMPR中的每一个描述符图的数据比特的数量相对应，并且针对描述符图DMP0～DMPR中的每一个，地址偏移DOFF1可以具有相同的值。
图15示出作为示例的与一个描述符图DMPS相对应的多个描述符块
Figure BDA0003124821730000199
第一描述符块
Figure BDA00031248217300001910
的地址
Figure BDA00031248217300001911
与描述符图DMPs的描述符起始地址S_DADDS相同。如图15所示，与输入图像Is相对应的描述符图DMPs中的多个描述符块
Figure BDA00031248217300001912
可以从描述符起始地址
Figure BDA00031248217300001913
开始，按照描述符块地址偏移DOFF2逐个地顺序存储在存储器设备中。描述符块地址偏移DOFF2可以基于与每个描述符块中包括的数据比特相对应的描述符块大小来确定。
因此，根据行单元的存储次序，每个描述符块
Figure BDA00031248217300001914
的地址
Figure BDA00031248217300001915
可以基于与输入图像Is相对应的描述符起始地址
Figure BDA00031248217300001916
和描述符块偏移DOFF2来确定，如表达式4所示。
表达式4：
Figure BDA00031248217300001917
在表达式4中，M表示每个输入图像中包括的图像块的列数量，其可以与每个描述符图中包括的描述符块的列数量相同。
此外，图15示出作为示例的与一个描述符块
Figure BDA00031248217300001918
相对应的多个描述符
Figure BDA00031248217300001919
第一描述符
Figure BDA00031248217300001920
的地址
Figure BDA00031248217300001921
与描述符块
Figure BDA00031248217300001922
的起始地址相同。如图15所示，描述符块
Figure BDA0003124821730000201
中的多个描述符
Figure BDA0003124821730000202
可以从起始地址
Figure BDA0003124821730000203
开始，按照地址偏移DOFF3逐个地顺序存储在存储器设备中。
因此，根据行单元的存储次序的地址可以满足表达式3和表达式4的关系。因此，可以基于描述符起始地址S_DADD0～S_DADDR和描述符块地址偏移DOFF2从存储器设备读出用于相似度计算的描述符，如将在下面参考图16和图17描述的。
图16是示出由根据示例实施例的匹配图像的方法使用的读取数据的示例实施例的流程图，并且图17是用于描述图16的数据读取的图。
参考图16，可以基于与多个描述符图中的参考描述符图相对应的参考描述符起始地址和描述符块地址偏移来确定所述参考描述符图中包括的参考描述符块的参考地址(S411)。
可以基于与参考描述符图相对应的目标描述符起始地址和描述符块地址偏移，来确定多个描述符图中的目标描述符图中包括的中央目标描述符块和相邻目标描述符块的目标地址，使得中央目标描述符块在二维平面上位于与参考描述符块相同的位置处并且相邻目标描述符块在二维平面上与中央目标描述符块相邻(S412)。
可以基于参考地址和目标地址从存储器设备读出参考描述符块、中央目标描述符块和相邻目标描述符块(S413)。
图17示出参考描述符图DMPr、目标描述符图DMPt、以及与参考描述符图DMPr和目标描述符图DMPt相对应的地址，它们根据如参考图13、图14和图15所述的行单元的存储次序存储在存储器设备中。参考描述符图DMPr与多个描述符图DMP0～DMPR中的一个相对应，并且目标描述符图DMPt与多个描述符图DMP0～DMPR中的另一个相对应。
如参考表达式4所描述的，可以基于与参考描述符图DMPr相对应的参考描述符起始地址
Figure BDA0003124821730000204
和描述符块地址偏移DOFF2来确定参考描述符图DMPr中包括的多个描述符块
Figure BDA0003124821730000205
中的参考描述符块
Figure BDA0003124821730000206
的参考地址
Figure BDA0003124821730000207
如表达式5所示。
表达式5：
Figure BDA0003124821730000211
以相同的方式，可以基于与目标描述符图DMPt相对应的目标描述符起始地址
Figure BDA0003124821730000212
和描述符块地址偏移DOFF2来确定中央目标描述符块
Figure BDA0003124821730000213
和相邻目标描述符块
Figure BDA0003124821730000214
Figure BDA0003124821730000215
和
Figure BDA0003124821730000216
的目标地址
Figure BDA0003124821730000217
如表达式6所示。
表达式6：
Figure BDA0003124821730000218
Figure BDA0003124821730000219
Figure BDA00031248217300002110
Figure BDA00031248217300002111
Figure BDA00031248217300002112
Figure BDA00031248217300002113
Figure BDA00031248217300002114
Figure BDA00031248217300002115
Figure BDA00031248217300002116
Figure BDA00031248217300002117
图2中的地址生成器110可以根据行单元的存储次序来生成参考地址
Figure BDA00031248217300002118
和目标地址
Figure BDA00031248217300002119
并且将参考地址和目标地址作为存取地址ACCAD提供给存储器设备30。可以基于参考地址
Figure BDA00031248217300002120
和目标地址
Figure BDA00031248217300002121
从存储器设备读出参考描述符块
Figure BDA00031248217300002122
中央目标描述符块
Figure BDA00031248217300002123
和相邻目标描述符块
Figure BDA00031248217300002124
和
Figure BDA00031248217300002125
并且将其加载到描述符图缓冲器310。
图2中的匹配器320可以确定参考描述符块
Figure BDA00031248217300002126
中包括的参考描述符与中央目标描述符块
Figure BDA00031248217300002127
和相邻目标描述符块
Figure BDA00031248217300002128
Figure BDA00031248217300002129
和
Figure BDA00031248217300002130
中包括的目标描述符之间的相似度。匹配器320可以基于相似度从与目标描述符相对应的目标特征点中确定与同参考描述符相对应的参考特征点相匹配的特征点。
因此，可以通过解析或处理地址来存取用于特征点的像素位置和对应的描述符的数据，并且可以高效地估计对应的特征点对。此外，通过这种地址处理，可以在去除低对应性的特征点对的过程和单应性操作中实现对信息的高效存取。
图18是示出由根据示例实施例的匹配图像的方法使用的存储特征点图和描述符图的示例实施例的图。
参考图18，根据列单元的存储次序，特征点图FMPs或描述符图DMPs中包括的多个块
Figure BDA0003124821730000221
可以顺序存储在存储器设备中。多个块
Figure BDA0003124821730000222
可以是特征点图FMPs中包括的多个特征点块或描述符图DMPs中包括的多个描述符块。
根据列单元的存储次序，第一列的块
Figure BDA0003124821730000223
可以存储在存储器设备的顺序增大的地址处，第二列的块
Figure BDA0003124821730000224
可以存储在存储器设备的顺序增大的地址处，并且类似地，最后一列的块
Figure BDA0003124821730000225
可以存储在存储器设备的顺序增大的地址处。
图19和图20是示出根据图18的存储次序分配给特征点图和描述符图的地址的图。
参考图19，多个特征点图FMP0～FMPR可以顺序存储在存储器设备的特征点起始地址S_PADD0～S_PADDR处。特征点起始地址S_PADD0～S_PADDR之间的地址偏移POFF1可以与特征点图FMP0～FMPR中的每一个中的数据比特的数量相对应，并且针对特征点图FMP0～FMPR中的每一个，地址偏移POFF1可以具有相同的值。
图19示出作为示例的与一个特征点图FMPS相对应的多个特征点块
Figure BDA0003124821730000226
第一特征点块
Figure BDA0003124821730000227
的地址
Figure BDA0003124821730000228
与特征点图FMPS的特征点起始地址S_PADDS相同。如图19所示，与输入图像Is相对应的特征点图FMPs中的多个特征点块
Figure BDA0003124821730000229
可以从特征点起始地址
Figure BDA00031248217300002210
开始，按照特征点块地址偏移POFF2逐个地顺序存储在存储器设备中。特征点块地址偏移POFF2可以基于与每个特征点块中包括的数据比特相对应的特征点块大小来确定。
因此，根据列单元的存储次序，每个特征点块
Figure BDA0003124821730000231
的地址
Figure BDA0003124821730000232
可以基于与输入图像Is相对应的特征点起始地址
Figure BDA0003124821730000233
和特征点块偏移POFF2来确定，如表达式7所示。
表达式7：
Figure BDA0003124821730000234
在表达式7中，N表示每个输入图像中包括的图像块的行数量，其可以与每个特征点图中包括的特征点块的行数量相同。
此外，图19示出作为示例的与一个特征点块
Figure BDA0003124821730000235
相对应的多个特征点
Figure BDA0003124821730000236
第一特征点
Figure BDA0003124821730000237
的地址
Figure BDA0003124821730000238
与特征点块
Figure BDA0003124821730000239
的起始地址相同。如图19所示，特征点块
Figure BDA00031248217300002310
中的多个特征点
Figure BDA00031248217300002311
可以从起始地址
Figure BDA00031248217300002312
开始，按照地址偏移POFF3逐个地顺序存储在存储器设备中。
参考图20，多个描述符图DMP0～DMPR可以顺序存储在存储器设备的描述符起始地址S_DADD0～S_DADDR处。描述符起始地址S_DADD0～S_DADDR之间的地址偏移DOFF1可以与描述符图DMP0～DMPR中的每一个的数据比特的数量相对应，并且针对描述符图DMP0～DMPR中的每一个，地址偏移DOFF1可以具有相同的值。
图20示出作为示例的与一个描述符图DMPS相对应的多个描述符块
Figure BDA00031248217300002313
第一描述符块
Figure BDA00031248217300002314
的地址
Figure BDA00031248217300002315
与描述符图DMPS的描述符起始地址S_DADDS相同。如图20所示，与输入图像Is相对应的描述符图DMPs中的多个描述符块
Figure BDA00031248217300002316
可以从描述符起始地址
Figure BDA00031248217300002317
开始，按照描述符块地址偏移DOFF2逐个地顺序存储在存储器设备中。可以基于与每个描述符块中包括的数据比特相对应的描述符块大小来确定描述符块地址偏移DOFF2。
因此，根据列单元的存储次序，每个描述符块
Figure BDA00031248217300002318
的地址
Figure BDA00031248217300002319
可以基于与输入图像Is相对应的描述符起始地址
Figure BDA00031248217300002320
和描述符块偏移DOFF2来确定，如表达式8所示。
表达式8：
Figure BDA00031248217300002321
在表达式8中，N表示每个输入图像中包括的图像块的行数量，其可以与每个描述符图中包括的描述符块的行数量相同。
此外，图20示出作为示例的与一个描述符块
Figure BDA0003124821730000241
相对应的多个描述符
Figure BDA0003124821730000242
第一描述符
Figure BDA0003124821730000243
的地址
Figure BDA0003124821730000244
与描述符块
Figure BDA0003124821730000245
的起始地址相同。如图15所示，描述符块
Figure BDA0003124821730000246
中的多个描述符
Figure BDA0003124821730000247
可以从起始地址
Figure BDA0003124821730000248
开始，按照地址偏移DOFF3逐个地顺序存储在存储器设备中。
因此，根据列单元的存储次序的地址可以满足表达式7和表达式8的关系。因此，可以基于描述符起始地址S_DADD0～S_DADDR和描述符块地址偏移DOFF2以与参考图16和图17描述的相同的方式从存储器设备读出用于相似度计算的描述符。
图21是示出由根据示例实施例的匹配图像的方法使用的特征点的坐标的图。
如参考表达式1所述，每个输入图像Is中包括的图像块的行的数量N可以通过每个输入图像Is的行大小SZA和每个图像块
Figure BDA0003124821730000249
的行大小SZA’来确定。以相同的方式，每个输入图像Is中包括的图像块的列的数量M可以通过每个输入图像Is的列大小SZB和每个图像块
Figure BDA00031248217300002410
的列大小SZB’来确定。
在一些示例实施例中，特征点
Figure BDA00031248217300002411
的位置可以通过每个输入图像Is中的(A，B)表示。在其他示例实施例中，特征点
Figure BDA00031248217300002412
的位置可以通过每个图像块
Figure BDA00031248217300002413
中的(A’，B’)表示。每个图像块
Figure BDA00031248217300002414
的位置可以通过块行索引i和块列索引j来确定，并且(A，B)和(A’，B’)中的一个可以根据(A，B)和(A’，B’)中的另一个来计算。当特征点
Figure BDA00031248217300002415
的位置通过每个图像块
Figure BDA00031248217300002416
中的(A’，B’)表示时，用于图像匹配的上述特征点图的大小和处理时间可以通过减少对存储器设备的存取时间进一步减小。
图22是示出根据示例实施例的合并图像的方法的流程图。
参考图22，可以通过将多个输入图像中的每个输入图像划分成多个图像块来生成包含多个输入图像中的不同输入图像中包括的特征点之间的匹配关系在内的映射信息(S10)。可以如上所述通过将每个输入图像划分成多个图像块并且使用特征点图和描述符图高效地生成映射信息。
可以基于映射信息来生成用于不同输入图像之间的转换的单应性矩阵(S20)。可以通过基于单应性矩阵同步多个输入图像来生成经同步的图像(S30)，并且可以通过合并经同步的图像来生成经合并的图像(S40)。
在下文中，将在下面参考图23A至图26描述基于映射信息生成经合并的图像，但是示例实施例不必限于此。
图23A至图23D是示出由根据示例实施例的合并图像的方法使用的图像变换的图。
图像变换可以包括：通过对给定图像应用特定算法函数(例如，通过对给定图像应用平移、旋转、缩放转换和/或各个转换)，来获得经转换或经修改的图像。
图像变换可以包括如图23A所示的刚性变换、如图23B所示的相似变换、如图23C所示的仿射变换、如图23D所示的投影变换等。经转换或经变换的坐标(x’，y’)可以通过对原始坐标(x，y)应用这些图像变换来获得。
图23A的刚性变换是固定图像的幅度的基础图像变换。换言之，通过刚性变换仅可以执行平移和旋转。
图23B的相似变换还反映对象的幅度或尺度的改变，并且对象的形状被相似变换保持。
图23C的仿射变换对相似变换添加了线性保持的特征。因此，线的平行性、长度或距离的比率可以被仿射变换保持。
图23D的投影变换是用于将3D空间的图像投影到2D空间的图像的变换。投影变换可以包括从3D空间中的两个不同的透视点观察的两个图像之间的转换。
表示两个图像之间的图像变换的矩阵被称为单应性矩阵或简称为单应性。可以获得表示一般投影变换的关系以将第一图像变换为第二图像或将第二图像变换为第一图像，并且所述关系是被称为单应性矩阵的变换矩阵。
在图像处理中，通过两个不同的观察视点或两个不同的时间点捕获的两个图像可能需要图像变换。所需要的单应性的大小是3X3。如果给定八个值则可以确定单应性。换言之，为了确定单应性需要至少四对对应的点。
图24是用于描述由根据示例实施例的合并图像的方法使用的单应性矩阵的图。
图24示出获得与两个不同图像中分别包括的一对点X(u，v，1)和X’(u’，v’，1)相对应的单应性矩阵H的过程。可以通过获得单应性矩阵H的分量h1～h9来确定单应性矩阵H。
如图24所示，关系HX＝X’可以变换为关系Ah＝0，并且可以获得分量矢量h。在一些示例中，针对一对对应点，矩阵A具有3*9的大小，并且针对n对对应点，矩阵A具有3n*9的大小。
图25是示出多个输入图像之间的单应性矩阵的图，并且图26是示出合并图像的过程的图。
参考图25，当第一至第五输入图像I0～I4被合并时，单应性矩阵Hij(i＝0～4，j＝0～4)可以与每两个不同输入图像Ii和Ij之间的相应的变换相对应。Hij表示用于将第i输入图像Ii中的坐标变换到与同第j图像Ij相对应的二维平面对准的坐标的单应性矩阵。Hji是Hij的逆矩阵，并且省略了图11中的多余的矩阵。
因此，可以基于两个输入图像中包括的特征点的匹配信息来确定表示两个输入图像之间的变换的单应性矩阵(图22中的S20)。
参考图26，可以通过基于单应性矩阵同步多个输入图像I0～I3来生成经同步的图像SI0～SI2(图22中的S30)，如参考图23A至图25所述。输入图像I0～I3中的一个或多个可以是噪声图像并且附加地或备选地被提供以用于噪声减少，因此经同步的图像SI0～SI2的数量可以小于输入图像I0～I3的数量。
可以通过合并经同步的图像SI0～SI2来生成经合并的图像MI(图22中的S40)。
在一些示例实施例中，可以使用经同步的图像SI0～SI2执行图像拼接，以生成经合并的图像MI。由于经同步的图像SI0～SI2之间的对准误差或曝光偏差，所拼接的部分的边界在拼接处理期间可以被锐化，并且可以执行图像混合以平滑经锐化的边界。可以使用多个经同步的图像SI0～SI2来执行图像拼接，以最小化边界并且因此可以获得经合并的图像MI。在一些示例实施例中，可以使用多个经同步的图像SI0～SI2来生成高动态范围(HDR)的经合并的图像MI。
可以使用各种方案(例如，图像拼接、噪声减少、HDR转换等)来实现经同步的图像SI0～SI2的合并，并且示例实施例不限于此。
图27是示出根据示例实施例的电子系统的框图。
参考图27，电子系统2000可以包括处理器2010、连接设备2020、存储器设备2030、用户接口2040、数据处理设备2060和图像拾取设备2050。此外，电子系统2000可以包括电源。
处理器2010可以执行各种计算功能，例如，特定的计算和任务。连接设备2020可以与外部设备通信。存储器设备2030可以作为用于由处理器2010和数据处理设备2060处理的数据的数据存储器来操作。用户接口2040可以包括至少一个输入设备(例如，键区、按钮、麦克风、触摸屏等)和/或至少一个输出设备(例如，扬声器或显示设备等)。电源可以向电子系统2000供电。
图像拾取设备2050和数据处理设备2060可以通过处理器2010控制。图像拾取设备2050可以将输入图像提供给数据处理设备2060。例如，图像拾取设备2050可以包括互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件(CCD)图像传感器等。数据处理设备2060可以是图2的数据处理设备，并且可以根据如参考图1至图26所述的示例实施例来执行图像匹配和图像合并。
如上所述，根据示例实施例的匹配图像的方法和执行该方法的数据处理设备可以通过将输入图像划分成多个图像块以增加特征点的分布一致性来提高图像合并性能。此外，可以通过使用与多个图像块相对应的特征点图和描述符图减少用于图像匹配的处理量和处理时间来进一步提高图像合并性能。
本发明构思可以应用于需要图像处理的任何电子设备和系统。例如，本发明构思可以应用于诸如移动电话、智能电话、个人数字助理(PDA)、便携式多媒体播放器(PMP)、数字相机、便携式摄像机、个人计算机(PC)、服务器计算机、工作站、膝上型计算机、数字TV、机顶盒、便携式游戏机、导航系统、可穿戴设备、物联网(IoT)设备、万物联网(IoE)设备、电子书、虚拟现实(VR)设备、增强现实(AR)设备、车辆相机、医疗相机等之类的系统。
上述内容是对示例实施例的说明，而不应被解释为对其的限制。尽管已经描述了一些示例实施例，但本领域技术人员将容易地理解，在本质上不脱离本发明构思的情况下，可以在示例实施例中进行许多修改。

Claims (20)

1.一种匹配图像的方法，包括：
将多个输入图像中的每个输入图像划分成多个图像块；
通过从所述多个图像块中的每个图像块中提取特征点来生成特征点图，其中，所述特征点图包括与所述多个图像块相对应的多个特征点块；
通过生成来自所述特征点图的特征点的描述符来生成描述符图，其中，所述描述符图包括与所述多个特征点块相对应的多个描述符块；以及
基于与所述多个输入图像相对应的多个描述符图来生成包含所述多个输入图像中的不同输入图像中的特征点之间的匹配关系在内的映射信息。
2.根据权利要求1所述的方法，其中，生成所述特征点图包括：
将从每个图像块提取的特征点的数量限定为最大块特征点数量。
3.根据权利要求1所述的方法，其中，生成所述特征点图包括：
确定指示要从每个输入图像提取的特征点的最大数量的最大图像特征点数量；
通过将所述最大图像特征点数量除以图像块的数量来确定最大块特征点数量；以及
将每个图像块中包括的特征点的数量限定为所述最大块特征点数量。
4.根据权利要求1所述的方法，其中，划分每个输入图像包括：
均匀地划分每个输入图像，使得所述多个图像块中的每个图像块具有相同的像素宽度尺寸和像素高度尺寸。
5.根据权利要求1所述的方法，其中，生成所述特征点图包括：
生成所述多个特征点块中的每个特征点块，使得所述多个特征点块中的每个特征点块包括与特征点块大小相对应的相同数量的数据比特，以及
其中，生成所述描述符图包括：
生成所述多个描述符块中的每个描述符块，使得所述多个描述符块中的每个描述符块包括与描述符块大小相对应的相同数量的数据比特。
6.根据权利要求1所述的方法，其中，基于描述符块在二维平面上的位置，独立于特征点之间的欧式距离来确定描述符之间的相似度。
7.根据权利要求6所述的方法，其中，每个描述符在所述二维平面上的位置与每个描述符块的块行索引和块列索引相对应。
8.根据权利要求1所述的方法，其中，与所述多个输入图像相对应的所述多个描述符图被存储在存储器设备中，并且基于所述存储器设备的存储所述多个描述符图的描述符块的地址来确定描述符之间的相似度。
9.根据权利要求1所述的方法，其中，生成所述映射信息包括：
从与所述多个输入图像中的参考图像相对应的参考描述符图中包括的多个描述符块中确定参考描述符块；
从与所述多个输入图像中的目标图像相对应的目标描述符图中包括的多个描述符块中确定中央目标描述符块，使得所述中央目标描述符块在二维平面上位于与所述参考描述符块相同的位置处；
从所述目标描述符图中包括的多个描述符块中确定相邻目标描述符块，使得所述相邻目标描述符块在所述二维平面上与所述中央目标描述符块相邻；
确定所述参考描述符块中包括的参考描述符与所述中央目标描述符块和所述相邻目标描述符块中包括的目标描述符之间的相似度；以及
基于所述相似度从与所述目标描述符相对应的目标特征点中确定与同所述参考描述符相对应的参考特征点相匹配的特征点。
10.根据权利要求9所述的方法，其中，每个描述符在所述二维平面上的位置与每个描述符块的块行索引和块列索引相对应，以及
其中，基于所述块行索引和所述块列索引来确定与所述输入图像的参考描述符块相对应的所述目标图像的中央目标描述符块和相邻描述符块。
11.根据权利要求9所述的方法，其中，描述符之间的相似度与所述描述符之间的汉明距离相对应。
12.根据权利要求1所述的方法，还包括：
从与每个输入图像相对应的特征点起始地址开始，按照特征点块地址偏移将与每个输入图像相对应的多个特征点块顺序存储在存储器设备中；以及
从与每个输入图像相对应的描述符起始地址开始，按照描述符块地址偏移将与每个输入图像相对应的多个描述符块顺序存储在所述存储器设备中。
13.根据权利要求12所述的方法，其中，基于与每个特征点块中包括的数据比特的数量相对应的特征点块大小来确定所述特征点块地址偏移，并且基于与每个描述符块中包括的数据比特的数量相对应的描述符块大小来确定所述描述符块地址偏移。
14.根据权利要求12所述的方法，其中，生成所述映射信息包括：
基于分别与所述多个输入图像相对应的多个描述符起始地址和所述描述符块地址偏移从所述存储器设备读出用于确定相似度的描述符。
15.根据权利要求12所述的方法，其中，生成所述映射信息包括：
基于与所述参考描述符图相对应的参考描述符起始地址和所述描述符块地址偏移来确定所述多个描述符图中的参考描述符图中包括的参考描述符块的参考地址；
基于与所述参考描述符图相对应的目标描述符起始地址和所述描述符块地址偏移来确定所述多个描述符图中的目标描述符图中包括的中央目标描述符块和相邻目标描述符块的目标地址，使得所述中央目标描述符块在二维平面上位于与所述参考描述符块相同的位置处并且所述相邻目标描述符块在所述二维平面上与所述中央目标描述符块相邻；以及
基于所述参考地址和所述目标地址从所述存储器设备读出所述参考描述符块、所述中央目标描述符块和所述相邻目标描述符块。
16.根据权利要求15所述的方法，其中，生成所述映射信息还包括：
确定所述参考描述符块中包括的参考描述符与所述中央目标描述符块和所述相邻目标描述符块中包括的目标描述符之间的相似度；以及
基于所述相似度从与所述目标描述符相对应的目标特征点中确定与同所述参考描述符相对应的参考特征点相匹配的特征点。
17.根据权利要求1所述的方法，其中，基于以下至少一项来生成所述描述符：定向加速分割测试的特征FAST和旋转二进制稳健独立基本特征BRIEF ORB、尺度不变特征变换SIFT、加速稳健特征SURF和最大自相异MSD。
18.一种匹配图像的方法，包括：
将多个输入图像中的每个输入图像划分成多个图像块；
通过从所述多个图像块中的每个图像块提取特征点来生成特征点图，其中，所述特征点图包括与所述多个图像块相对应的多个特征点块；
通过生成来自所述特征点图的特征点的描述符来生成描述符图，其中，所述描述符图包括与所述多个特征点块相对应的多个描述符块；
将分别与所述多个输入图像相对应的多个描述符图存储在存储器设备中；
基于与所述多个输入图像中的不同输入图像相对应的描述符图中包括的描述符块的地址从所述存储器设备读出用于确定相似度的描述符；
确定被读出的所述描述符之间的相似度；以及
基于所述相似度来生成包含所述不同输入图像中包括的特征点之间的匹配关系的映射信息。
19.根据权利要求18所述的方法，其中，生成所述特征点图包括：
将每个图像块中包括的特征点的数量限定为最大块特征点数量。
20.一种数据处理设备，包括：
特征点图生成器，配置为将所述多个输入图像中的每个输入图像划分成多个图像块，并且通过提取多个图像块中的每个图像块中包括的特征点来生成包括分别与多个图像块相对应的多个特征点块在内的特征点图；
描述符图生成器，配置为通过生成所述特征点图中包括的特征点的描述符来生成包括分别与所述多个特征点块相对应的多个描述符块在内的描述符图；以及
图像匹配器，配置为基于分别与所述多个输入图像相对应的多个描述符图来生成包含所述多个输入图像中的不同输入图像中包括的特征点之间的匹配关系在内的映射信息。
CN202110688931.5A 2020-07-03 2021-06-21 匹配要合并的图像的方法和执行该方法的数据处理设备 Pending CN113962909A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0082313 2020-07-03
KR1020200082313A KR20220004460A (ko) 2020-07-03 2020-07-03 이미지 병합을 위한 이미지 매칭 방법 및 이를 수행하는 데이터 처리 장치

Publications (1)

Publication Number Publication Date
CN113962909A true CN113962909A (zh) 2022-01-21

Family

ID=79166336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110688931.5A Pending CN113962909A (zh) 2020-07-03 2021-06-21 匹配要合并的图像的方法和执行该方法的数据处理设备

Country Status (3)

Country Link
US (1) US11580617B2 (zh)
KR (1) KR20220004460A (zh)
CN (1) CN113962909A (zh)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4988408B2 (ja) * 2007-04-09 2012-08-01 株式会社デンソー 画像認識装置
KR101622110B1 (ko) 2009-08-11 2016-05-18 삼성전자 주식회사 특징점 추출 방법 및 추출 장치, 이를 이용한 영상 기반 위치인식 방법
KR101633893B1 (ko) 2010-01-15 2016-06-28 삼성전자주식회사 다중노출 영상을 합성하는 영상합성장치 및 방법
KR101256194B1 (ko) 2010-10-26 2013-04-19 이태경 이종영상정합 또는 좌표동기화를 위한 참조점 추출방법
US9020187B2 (en) 2011-05-27 2015-04-28 Qualcomm Incorporated Planar mapping and tracking for mobile devices
US8385732B2 (en) 2011-07-29 2013-02-26 Hewlett-Packard Development Company, L.P. Image stabilization
GB2506338A (en) 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
US9082008B2 (en) 2012-12-03 2015-07-14 Honeywell International Inc. System and methods for feature selection and matching
US9761008B2 (en) 2014-05-08 2017-09-12 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for visual odometry using rigid structures identified by antipodal transform
CN106204422B (zh) * 2016-06-30 2019-06-28 西安电子科技大学 基于区块子图搜索的超大幅影像快速匹配拼接方法
CN106530214B (zh) * 2016-10-21 2023-11-17 微景天下（北京）科技有限公司 图像拼接系统和图像拼接方法
US20190205693A1 (en) 2017-12-28 2019-07-04 MorphoTrak, LLC Scale-Invariant Feature Point Extraction in Edge Map
US10839508B2 (en) * 2019-03-21 2020-11-17 Sri International Integrated circuit image alignment and stitching

Also Published As

Publication number Publication date
KR20220004460A (ko) 2022-01-11
US11580617B2 (en) 2023-02-14
US20220004799A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
US8797387B2 (en) Self calibrating stereo camera
US11182908B2 (en) Dense optical flow processing in a computer vision system
US20160267349A1 (en) Methods and systems for generating enhanced images using multi-frame processing
JP2013508844A (ja) 画像のシーケンス内のオブジェクトのリアルタイム表現のハイブリッド型追跡のための方法、コンピュータプログラム、および装置
US20120275711A1 (en) Image processing device, image processing method, and program
US20120182442A1 (en) Hardware generation of image descriptors
Sun et al. A flexible and efficient real-time orb-based full-hd image feature extraction accelerator
Heo et al. FPGA based implementation of FAST and BRIEF algorithm for object recognition
US10956782B2 (en) Training for camera lens distortion
US20220130175A1 (en) Method and apparatus for detecting liveness based on phase difference
US11682212B2 (en) Hierarchical data organization for dense optical flow processing in a computer vision system
WO2022267939A1 (zh) 图像处理方法及装置、计算机可读存储介质
Sun et al. A 42fps full-HD ORB feature extraction accelerator with reduced memory overhead
Adel et al. Real time image mosaicing system based on feature extraction techniques
Fan et al. Implementation of high performance hardware architecture of OpenSURF algorithm on FPGA
US11238309B2 (en) Selecting keypoints in images using descriptor scores
US11232323B2 (en) Method of merging images and data processing device
Liu et al. Ground control point automatic extraction for spaceborne georeferencing based on FPGA
US11580617B2 (en) Method of matching images to be merged and data processing device performing the same
Liu et al. An energy-efficient sift based feature extraction accelerator for high frame-rate video applications
US11475240B2 (en) Configurable keypoint descriptor generation
Khan et al. Feature-Based Tracking via SURF Detector and BRISK Descriptor
US20180365516A1 (en) Template creation apparatus, object recognition processing apparatus, template creation method, and program
Li et al. SSORN: Self-Supervised Outlier Removal Network for Robust Homography Estimation
Peng et al. Deep-Learning-Based Precision Visual Tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination