CN110120062B - 图像处理方法及装置 - Google Patents

图像处理方法及装置 Download PDF

Info

Publication number
CN110120062B
CN110120062B CN201810119387.0A CN201810119387A CN110120062B CN 110120062 B CN110120062 B CN 110120062B CN 201810119387 A CN201810119387 A CN 201810119387A CN 110120062 B CN110120062 B CN 110120062B
Authority
CN
China
Prior art keywords
target image
preset
marker
centroid
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810119387.0A
Other languages
English (en)
Other versions
CN110120062A (zh
Inventor
胡永涛
于国星
戴景文
贺杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Virtual Reality Technology Co Ltd
Original Assignee
Guangdong Virtual Reality Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Virtual Reality Technology Co Ltd filed Critical Guangdong Virtual Reality Technology Co Ltd
Priority to CN201810119387.0A priority Critical patent/CN110120062B/zh
Priority to PCT/CN2019/073578 priority patent/WO2019154169A1/zh
Publication of CN110120062A publication Critical patent/CN110120062A/zh
Application granted granted Critical
Publication of CN110120062B publication Critical patent/CN110120062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/837—Shooting of targets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8076—Shooting
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种图像处理方法及装置，应用于识别跟踪系统，所述系统包括图像采集装置和具有多个子标记物的视觉交互装置，每一子标记物包括一个或多个特征点；所述方法包括：获取具有视觉交互装置的目标图像，以及目标图像中视觉交互装置内的特征点的像素坐标；获取所述目标图像内每个子标记物的质心；若目标图像中获得的子标记物的质心满足第一预设条件，根据所述目标图像内子标记物的特征点，在该子标记物内扩展预设个数的新质心；基于扩展后各个质心的像素坐标、物理坐标以及预先获取的所述图像采集装置的内参数，获取所述目标图像与预设标定物模型之间的映射参数；基于所述映射参数获取所述目标图像中各个特征点与所述预设标定物模型中各个特征点的对应关系。

Description

图像处理方法及装置
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种图像处理方法及装置。
背景技术
近年来，随着科技的进步，增强现实(AR，Augmented Reality)和虚拟现实(VR，Virtual Reality)等技术已逐渐成为国内外研究的热点。以增强现实为例，增强现实是通过计算机系统提供的信息增加用户对现实世界感知的技术，其将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，来增强或修改对现实世界环境或表示现实世界环境的数据的感知。
在虚拟现实系统及增强现实系统等交互系统中，需要对视觉交互装置进行识别跟踪。现有的识别跟踪方法，通常是采用磁传感器、光传感器、超声波、惯性传感器、视觉交互装置图像处理等方式实现，但是这些识别跟踪的方法，通常，识别跟踪效果并不理想，如磁传感器、光传感器、超声波等通常受到环境较大的影响，惯性传感器对精度要求极高，市场上急需一种全新的识别跟踪方法，以实现低成本、高精度的交互，而对视觉交互装置的图像的处理作为识别跟踪的重要技术也需要一套完美有效的解决方法。
发明内容
有鉴于此，本申请实施例提供了一种图像处理方法及装置，在目标物跟踪识别过程中，进行特征点的匹配。
为了实现上述目的，本申请采用的技术方案如下：
一种图像处理方法，应用于识别跟踪系统，所述系统包括图像采集装置和具有多个子标记物的视觉交互装置，每一子标记物包括一个或多个特征点；所述方法包括：获取具有视觉交互装置的目标图像，以及目标图像中视觉交互装置内的特征点的像素坐标；获取所述目标图像内每个子标记物的质心；若目标图像中获得的子标记物的质心满足第一预设条件，根据所述目标图像内子标记物的特征点，在该子标记物内扩展预设个数的新质心；基于扩展后各个质心的像素坐标、物理坐标以及预先获取的所述图像采集装置的内参数，获取所述目标图像与预设标定物模型之间的映射参数；基于所述映射参数获取所述目标图像中各个特征点与所述预设标定物模型中各个特征点的对应关系。
一种图像处理装置，应用于识别跟踪系统所述系统包括标记物，所述标记物设有多个子标记物，每个子标记物包括一个或多个特征点；所述装置包括：图像获取模块，用于获取具有标记物的目标图像，以及目标图像中标记物内的特征点的像素坐标；质心获取模块，用于根据目标图像内各个特征点的像素坐标，获取所述目标图像内每个子标记物的质心；质心扩展模块，用于若目标图像中获得的子标记物的质心满足第一预设条件，根据所述目标图像内子标记物的特征点，在该子标记物内扩展预设个数的新的质心；映射参数获取模块，用于基于各个质心的像素坐标、物理坐标以及预先获取的所述图像采集装置的内参数，获取所述目标图像与预设标定物模型之间的映射参数；对应模块，用于基于所述映射参数获取所述目标图像中各个特征点与所述预设标定物模型中各个特征点的对应关系。
本申请实施例提供的图像处理方法及装置，通过在目标图像中扩展新的质心，与目标图像中其他质心共同计算目标图像对应的图像坐标系与预设标定物模型的坐标系之间的映射参数，即可根据该映射参数计算目标图像中各个特征点与预设标定物模型中特征点之间的对应关系，其中，目标图像中质心为相应的子标记物对应的质心。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1示出了本申请实施例提供的识别跟踪系统的结构示意图；
图2示出了本申请实施例提供的标记物的一种示意图；
图3示出了本申请实施例提供的标记物的另一种示意图；
图4示出了本申请实施例提供的图像处理方法流程图；
图5示出了本申请实施例提供的目标图像质心扩展的一种示意图；
图6示出了本申请实施例提供的目标图像质心扩展的另一种示意图；
图7示出了本申请实施例提供的目标图像质心扩展的又一种示意图；
图8示出了本申请实施例提供的图像处理方法的部分步骤的流程图；
图9示出了本申请实施例提供的预设标定物模型质心扩展的一种示意图；
图10示出了本申请实施例提供的预设标定物模型质心扩展的另一种示意图；
图11示出了本申请实施例提供的预设标定物模型质心扩展的又一种示意图；
图12示出了本申请实施例提供的一种映射示意图；
图13示出了本申请实施例提供的图像处理装置的功能模块图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参阅图1，示出了本发明实施例提供的识别跟踪系统。识别跟踪系统包括头戴显示装置100和视觉交互装置。
该视觉交互装置包括第一背景和按照特定规则分布于第一背景的至少一个标记物。所述标记物包括第二背景以及按照特定规则分布于第二背景的若干子标记物，每个子标记物具有一个或多个特征点。其中，第一背景和第二背景有一定的区分度，例如，可以是第一背景为黑色，第二背景为白色。本实施方式中，每个标记物内的子标记物的分布规则不同，因此，每个标记物所对应的图像互不相同。
子标记物为具有一定形状的图案，且该子标记物的颜色与标记物内的第二背景有一定的区分度，例如，第二背景为白色，而子标记物的颜色为黑色。子标记物可以是由一个或多个特征点构成，且特征点的形状不做限定，可以是圆点、圆环，也可以是三角形、其他形状。
作为一种实施方式，如图2所示，标记物210内包括多个子标记物220，而每个子标记物220由一个或多个特征点221构成，图2中的每个白色圆形图案为一个特征点221。标记物210的轮廓为矩形，当然，标记物的形状也可以是其他形状，在此不做限定，图2中，矩形的白色区域以及该白色区域内的多个子标记物构成一个标记物。
作为另一种实施方式，如图3所示，标记物310内包括多个子标记物340，而每个子标记物340由一个或多个特征点341构成；其中，多个黑色圆点341构成一个子标记物340。具体地，图3中，每个白色圆形图案和每个黑色圆点图案均为特征点341。
具体地，视觉交互装置包括平面标记物体和多面标记结构体。该平面标记物体包括第一标记板200和第二标记板500，该多面标记结构体包括六面标记结构体400和二十六面标记结构体300，当然还可以是其他面数的标记结构体，在此不一一列举。
第一标记板200上设置有多个标记物，多个标记物的内容互不相同，且第一标记板200上的多个标记物设置在同一个平面上，即第一标记板200设有一个标记面，且所有的标记物均设置在第一标记板200的标记面上，第一标记板200上的特征点均在标记面上；第二标记板500上设置有一个标记物，第二标记板500上的特征点也全部是在标记面上的，第二标记板500的数量可以是多个，且每个第二标记板500的标记物的内容互不相同，多个第二标记板500可以组合使用，如在该识别跟踪系统对应的增强现实，或虚拟现实等应用领域组合使用。
多面标记结构体包括多个标记面，且其中至少两个不共面的标记面上设置有标记物，如图1中所示，该多面标记结构体包括六面标记结构体400和二十六面标记结构体300，其中，六面标记结构体400包括6个标记面，且每个标记面上均设置有标记物，且每个面上的标记物的图案互不相同。
而二十六面标记结构体300包括二十六个面，其中，包括17个标记面，且每个标记面上均设置有标记物，且每个面上的标记物的图案互不相同。当然，上述的多面标记结构体的总面数以及标记面的描述和标记物的设置，可以根据实际使用而设置，在此不做限定。
需要说明的是，视觉交互装置并不限定于上述平面标记物体和多面标记结构体，视觉交互装置可以是任何具有标记物的载体，载体可以根据实际场景设置，如玩具枪、游戏枪等模型枪，在模型枪等视觉交互装置上设置相应的标记物，通过识别追踪模型枪上的标记物，能够获取模型枪的位置和旋转信息，用户通过握持该模型枪在虚拟场景中进行游戏操作，实现增强现实的效果。
头戴显示装置100包括壳体(未标识)、图像采集装置110、处理器140、显示装置120、光学组件130和照明装置150。
其中，显示装置120和图像采集装置110均与处理器电连接；在一些实施方式中，照明装置150和图像采集装置110均通过滤光板(未标识)装设并覆盖在壳体内，该滤光板可过滤环境光等干扰光线，如照明装置150发射红外光，则该滤光板可为过滤除红外光线外的光线的元件。
图像采集装置110用于采集待拍摄物体的图像并发送至处理器。具体地，采集包含有上述标记板或多面标记结构体中至少一个的图像，并发送至处理器。作为一种实施方式，该图像采集装置110为单目的近红外成像相机。当前实施方式中，图像采集装置110为采用红外接收方式且为单目的相机，不仅成本低，无需双目相机之间的外参，而且功耗低，同等带宽下帧率更高。
处理器140用于根据图像输出对应的显示内容至显示装置120，还用于对视觉交互装置进行识别跟踪的运算。
处理器140可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器140可以被配置为经由例如网络从系统的各种组件接收数据和/或信号。处理器140还可处理数据和/或信号以确定系统中的一个或多个操作条件。例如，当处理器140应用于头戴显示装置时，处理器根据预先存储的图像数据生成虚拟世界的图像数据，将其发送至显示装置并通过光学组件进行显示；也可以通过有线或无线网络接收智能终端或计算机的发送的图像数据，根据所接收的图像数据生成虚拟世界的图像，通过光学组件进行显示；还可以根据图像采集装置采集的图像进行识别跟踪运算而确定在虚拟世界中对应的显示内容，发送至显示装置并通过光学组件进行显示。可以理解的是，处理器140并不限定于装设在头戴显示装置内。
在一些实施方式中，头戴显示装置100还包括设置在壳体上的视觉里程相机160，其中，视觉里程相机160与处理器电连接，该视觉里程相机160用于采集外界真实场景的场景图像，将场景图像发送至处理器。在用户穿戴头戴显示装置100时，处理器根据该视觉里程相机160采集的场景图像，根据视觉里程技术获取用户的头部与真实场景的位置及旋转关系，具体地，系统通过该相机获取的图像序列，经过特征提取、特征匹配与跟踪和运动估计的处理，得出具体的位置和方向的变化，完成导航定位，进而获得头戴显示装置与真实场景的相对位置及旋转关系；再根据视觉交互装置相对于头戴显示装置的位置及旋转信息，可以推算出视觉交互装置与真实场景之间的相对位置及旋转关系，从而可以实现更复杂的交互形式与体验。
显示装置120用于将显示内容显示。在一些实施例中，显示装置可以是智能终端的一部分，即智能终端的显示屏，例如手机和平板电脑的显示屏。在另一些实施例中，显示装置还可以是独立的显示器(例如，LED，OLED或LCD)等，则此时显示装置固定安装在壳体上。
需要说明的是，当显示装置120为智能终端的显示屏时，壳体上设置有用于安装该智能终端的安装结构。在使用时，将智能终端通过安装结构安装在壳体上。则处理器140可以是智能终端内的处理器，也可以是独立设置在壳体内的处理器，并与智能终端通过数据线或通信接口电连接。另外，当显示装置120为与智能终端等终端设备分离的显示装置时，固定安装在壳体上。
光学组件130用于将显示装置120的出光面发出的入射光射向预设位置处。其中，预设位置处为用户双眼的观察位置。
照明装置150用于为图像采集装置110采集待拍摄物体的图像时提供光线。具体地，照明装置150的照明角度以及照明装置150的数量，可以根据实际使用而设定，以使所发射的照明光线能够覆盖待拍摄物体。其中，照明装置150采用红外光照明装置，能够发出红外光线，此时图像采集装置为近红外相机，可以接收红外光线。通过主动照明的方式，提高图像采集装置110采集的目标图像的图像质量，具体地，照明装置150的数量不限，可以是一个，也可以是多个。在一些实施方式中，照明装置150设置在图像采集装置110的附近，其中，可以是多个照明装置150周向设置在图像采集装置110的摄像头的附近。
用户在佩戴头戴显示装置100，进入预设的虚拟场景时，当该视觉交互装置在图像采集装置110的视野范围内时，图像采集装置110采集到包含有该视觉交互装置的目标图像；处理器140获取到该目标图像及相关信息，运算识别出该视觉交互装置并获取到该目标图像内的标记物与图像采集装置之间的位置与旋转关系，进而得到视觉交互装置相对于头戴显示装置的位置及旋转关系，使得用户观看到的虚拟场景在相应的位置及旋转角度上；用户还可以通过多个视觉交互装置的结合以在虚拟场景内进一步产生的新的虚拟图像，给用户带来更好的体验效果；用户还可以通过视觉交互装置实现与虚拟场景的交互；此外，该识别追踪系统还可以通过视觉里程相机获取头戴显示装置与真实场景的位置与旋转关系，进而可以获取视觉交互装置与真实场景的位置和旋转关系，当虚拟场景和真实场景有一定的对应关系时，可以构建出一个与真实场景类似的虚拟场景，可以提高更真实的增强现实体验。
本发明还提供了一种图像处理方法，应用于上述识别跟踪系统。如上所述，该系统包括图像采集装置、处理器和具有标记物的视觉交互装置，所述标记物包括多个子标记物，每个子标记物包括一个或多个特征点。每个子标记物的各个特征点之间具有一个质心，即为该子标记物的质心。每个标记物包括的子标记物的个数即为该标记物中存在的质心的个数，如标记物有四个子标记物，则该标记物中有四个相应的质心。在获得目标图像中各个特征点与预设标定物模型的各个特征点的对应关系之前，获取目标图像中子标记物与预设标定物模型中子标记物的对应关系时，目标图像中只有有限个质心可以用于估算目标图像与预设标定物模型之间的映射参数，该有限个质心为目标图像中标记物所包括的质心的个数。其中，预设标定物模型为预先存储的包括标记物各种信息的模型，如标记物的身份信息、标记物所设置的视觉交互装置的形态结构、标记物中各个特征点的物理坐标等。
在通常情况下，目标图像中标记物的各个质心并不能准确对应预设标定物模型中的质心。在利用质心估算目标图像与预设标定物模型之间的映射参数时，使用的质心本身为间接参考点，受映射参数估算精准度的影响，在某些情况下可能出现即使映射参数远离真实值，目标图像中标记物的各个质心仍能通过该映射参数匹配到预设标定物模型中的质心。
发明人经过研究发现，在通过质心的计算映射参数时，实际丢失了大量有用的位置信息。比如一个拥有四个特征点的子标记物，最后使用的质心位置只是这四个特征点位置的中值，而该子标记物中各个特征点间的位置关系并未得到准确的反映。针对这种情况，本申请实施例提出了一种图像处理方法，考虑引入特征点位置的其他阶统计信息，例如权重后的位置信息，扩展更多的质心用于估算目标图像与预设标定物模型之间的映射参数。该方法应用于本申请实施例提供的识别跟踪系统，主要由处理器进行执行。具体的，请参见图4，该方法包括：
步骤S110：获取所述图像采集装置采集的具有标记物的目标图像，以及目标图像中标记物内的特征点的像素坐标。
具体地，当视觉交互装置的部分或整体在图像采集装置的视野范围内时，图像采集装置会采集到包含该视觉交互装置上的标记物信息的图像，该图像即为目标图像；处理器从图像采集装置获取该目标图像，并进一步获取该目标图像中标记物的特征点的像素坐标。在一些实施方式中，所述目标图像中应至少包括一具有多个目标子标记物的标记物。在一些实施方式中，目标图像中包括的子标记物的数量应大于等于4。
在一些实施方式中，如果图像采集装置不能够满足使用标准，即所拍摄的图像存在畸变，则需要对该目标图像做去畸变处理。
具体地，对所述目标图像做去畸变处理，以去除所述目标图像中的畸变点；将经畸变处理之后的目标图像作为处理器获取的目标图像。
图像畸变是指成像过程中所产生的图像像元的几何位置相对于参照系统(地面实际位置或地形图)发生的挤压、伸展、偏移和扭曲等变形，使图像的几何位置、尺寸、形状、方位等发生改变。常见的畸变包括径向畸变、偏心畸变和薄棱镜畸变。根据图像采集装置的畸变参数和畸变模型对目标图像去畸变处理。
步骤S120：根据目标图像内各个特征点的像素坐标，获取所述目标图像内每个子标记物的质心。
在所述目标图像中，每个子标记物包括一个或多个特征点，一个子标记物的多个特征点对应存在一个质心，每个子标记物的质心可以根据其包括的特征点在目标图像中的像素坐标进行计算，获得每个子标记物对应的质心的坐标。其中，该像素坐标可以是在该目标图像的坐标系内的坐标。质心的具体计算方式在本申请实施例中并不限定，如可以是根据权重计算方法进行计算。
步骤S130：判断所述目标图像中获得的子标记物的质心是否满足第一预设条件，若满足第一预设条件，则进入下一步；若不满足第一预设条件，则返回步骤S110。
其中，该第一预设条件可以根据实际需求确定。作为一种具体的实施方式，可以是，在目标图像中，子标记物或质心的数量达到预设数量。由于在计算映射参数时最少需要4个对应点，因此，该预设数量可以是4。
步骤S140：根据目标图像中子标记物内的特征点，在该子标记物内扩展预设个数的新质心。
在本申请实施例中，通过扩展标记物中质心的数量，以获得更准确的映射参数。其中，具体扩展方式可以是，以目标图像中子标记物的质心作为坐标原点建立坐标系，该子标记物可以是选择的任意一个进行质心扩展的子标记物。将该质心对应的子标记物中满足第三预设条件的特征点位移到以坐标原点为对称中心的位置，根据位移后该质心对应的各个特征点获取新的质心，其中，第三预设条件包括在建立的坐标系中横坐标小于零、横坐标大于零、纵坐标小于零以及纵坐标大于零中的任意一个，每个第三预设条件对应一个新的质心。
具体的，在目标图像中选中一个质心，作为坐标原点建立坐标系。以图5为例，图5中目标图像中的特征点a、b、c、d为同一个子标记物包括的特征点，特征点a、b、c、d构成一个子标记物，该坐标系原点o为特征点a、b、c、d的质心o。以横坐标小于零作为第三预设条件，将该坐标系中横坐标小于零的特征点a、b位移到以坐标原点为对称中心的对称位置，即，将特征点a、b的横纵坐标均乘以-1后所在位置，得到结果如图6所示。如图5所示，在位移后，质心o对应的各个特征点对应存在一个新的质心，即以位移后的a、b以及c、d所在位置共同计算一个质心o’，该质心o’即为一个新的质心。
同理，在如图5所示的子标记物中，以横坐标大于零作为第三预设条件，也可以获得一个新的质心。即，将该坐标系中横坐标大于零的特征点c、d位移到以坐标原点为对称中心的位置，即，将特征点c、d的横纵坐标均乘以-1后所在位置，得到结果如图7所示。如图7所示，在位移后，质心o对应的各个特征点对应存在一个新的质心o”，即以位移后的a、b以及c、d所在位置共同计算一个质心o”，该质心o”即为一个新的质心。可以理解的，每次位移用于计算新的质心，并不改变目标图像中各个特征点的位置。
可以理解的，对于一个子标记物，例如图5所示的子标记物，在以横坐标小于零、横坐标大于零、纵坐标小于零以及纵坐标大于零分别作为第三预设条件，可以分别获得一个新的质心，对于每一个子标记物，可以扩展获得4个新的质心。若目标图像中包括标记物的N个子标记物，则可以获得4*N个新的质心。
在本申请实施例中，建立的坐标系并不限定为图5所示的二维坐标系，也可以包括三维坐标系或者其他更多维数的坐标系，或者是包括更多象限的坐标系。若建立的坐标系为多维的坐标系，则在获取特征点以坐标原点作为对称中心的对称点时，特征点对应各个坐标的坐标值均乘以-1可以得到其关于坐标原点的对称点。
在本申请实施例中，可以根据需求扩展的预设个数的新的质心，该预设个数可以并不限定。
步骤S150：基于扩展后各个质心的像素坐标、物理坐标以及预先获取的所述图像采集装置的内参数，获取所述目标图像对应的图像坐标系与预设标定物模型之间的映射参数。
根据图像中各个质心计算图像坐标系与预设标定物模型之间的映射参数，该映射参数可以是图像坐标系中各个点映射到预设标定物模型所在坐标系内的参数，如平面单应性矩阵。其中，用于计算的各个质心包括扩展前的原始质心以及扩展获得的新的质心。
质心的物理坐标为预先获取的、质心在标记物对应的物理坐标系内的坐标，该物理坐标系的坐标原点可以是设置于标记物所在平面标记物体或多面标记结构体上。在本申请实施例中，预设标定物模型为存储起来的包含有标记物信息的标准图像，其中包括的标记物信息包括标记物中各个特征点的物理坐标。因此，通过预设标定物模型中各个特征点的物理坐标可以计算获得各个子标记物的质心的物理坐标。具体的，获取质心的物理坐标可以包括：
步骤S151：在所述预设标定物模型中以所述目标图像中扩展质心的对应方式扩展新的质心，预设标定物模型中扩展的新的质心与目标图像中扩展的新的质心一一对应。其中，预先获取有所述预设标定物模型中的子标记物与所述目标图像中的子标记物的一一对应关系。
在预设标定物模型中，包括与目标图像中子标记物对应的子标记物。预先获取预设标定物模型中子标记物与目标图像中子标记物的对应关系，其具体获取方式在本申请实施例中并不限定，如，标记物中各个子标记物对应的特征点的形状不同，根据形状确定预设标定物模型中子标记物与目标图像中子标记物的对应关系；又如，标记物中各个子标记物包括的特征点数量不同，根据特征点的数量确定预设标定物模型中子标记物与目标图像中子标记物的对应关系等。
对预设标定物模型进行质心扩展，扩展方式与目标图像中质心扩展相同。也就是说，在预设标定物模型中，以与目标图像中进行质心扩展的质心对应的质心作为坐标原点建立坐标系。其中，目标图像与预设标定物模型中相互对应的质心，分别为目标图像与预设标定物模型相互对应的子标记物的质心。将预设标定物模型中作为坐标原点的质心对应的特征点中，满足第三预设条件的特征点位移到以坐标原点为对称中心的位置，根据位移后该质心对应的各个特征点获取新的质心。其中，该第三预设条件与目标图像中进行质心扩展的第三预设条件相同，获得的新的质心与目标图像中扩展的新的质心对应。
例如，图9为预设标定物模型中与图5所示的子标记物对应的子标记物，其中A、B、C、D为该子标记物中的特征点，以A、B、C、D的质心m作为坐标原点建立坐标系。以在该坐标系内横坐标小于零作为第三预设条件，将该坐标系中横坐标小于零的特征点A、B位移到以坐标原点m为对称中心的位置，即，将特征点A、B的横纵坐标均乘以-1后所在位置，得到结果如图10所示。如图10所示，在位移后，质心m对应的各个特征点对应存在一个新的质心，即以位移后的A、B以及C、D所在位置共同计算一个质心m’，该质心m’即为该预设标定物模型中获得的一个新的质心，该新的质心m’与目标图像获得的新的质心o’对应。
同理，在如图9所示的预设标定物模型的子标记物中，以横坐标大于零作为第三预设条件，也可以获得一个新的质心，如图11中m”，与图7中o”对应。
因此，根据预设标定物模型可以获得分别与目标图像的新的质心一一对应的新的质心。
步骤S152：根据预设标定物模型中各个特征点的物理坐标计算预设标定物模型中的每个质心的物理坐标。
预先存储有预设标定物模型的各个特征点的物理坐标，根据各个特征点的物理坐标，可以计算各个质心的物理坐标。其中，计算的质心包括扩展前的原始质心以及扩展后的新的质心。质心计算方法在本申请实施例中并不限定，如采用权重的计算方式进行计算。
步骤S153：将目标图像中每个所述质心在预设标定物模型中对应的质心的物理坐标，作为目标图像中该质心的物理坐标。
根据目标图像中质心与预设标定物中质心的对应关系，将预设标定物模型中质心的物理坐标作为目标图像中相应的质心的物理坐标，从而，获得目标图像中各个质心的物理坐标。例如，将图8中质心m的物理坐标作为与其对应的图5中质心o的物理坐标。
则在本申请实施例中，根据目标图像中各个质心的像素坐标、物理坐标以及预先获取的所述图像采集装置的内参数，可以计算获得目标图像对应的图像坐标系与预设标定物模型之间的映射参数。
具体的，图像坐标与物理坐标系之间的关系为：
Figure BDA0001571617950000121
其中，(u，v)为质心在目标图像的图像坐标系中的像素坐标，(X,Y,Z)为质心在物理坐标系的物理坐标。
Figure BDA0001571617950000122
是一个相机矩阵，或一个内在参数的矩阵，(cx，cy)为图像的中心点，(fx，fy)是以像素单位表示的焦距，该矩阵通过图像采集设备的标定操作能够获取，是一个已知量。
其中，
Figure BDA0001571617950000123
为外部参数的矩阵，前三列为旋转参数，第四列为平移参数。定义/>
Figure BDA0001571617950000124
为单应性矩阵H，则上式(1)变为：
Figure BDA0001571617950000125
因此，将所获取的多个质心的像素坐标和物理坐标，以及图像采集装置的内参数，带入上式(2)，就能够获取H，即所述图像坐标系与物理坐标系之间的映射参数。
由于预设标定物模型根据实际标记物建立，或者是根据标记物所在平面标记物体或多面标记结构体建立，预设标定物模型的坐标系与标记物对应的物理坐标系对应，各个特征点在预设标定物模型的坐标系内的坐标与物理坐标相同，因此，可以根据各个质心的像素坐标、物理坐标以及预先获取的所述图像采集装置的内参数，获得所述目标图像对应的图像坐标系与预设标定物模型之间的映射参数。
步骤S160：判断所述映射参数是否满足第二预设条件，若是，执行步骤S170，若否，执行步骤S140。
判断目标图像对应的图像坐标系与预设标定物模型之间的映射参数是否满足第二预设条件。若该映射参数满足第二预设条件，则可以继续执行后续步骤，即执行步骤S160。若该映射参数不满足第二预设条件，再次执行步骤S130的质心扩展，获取更多的质心，用获取到的更多的质心再次计算更精确的映射参数，每次获取的新的质心的个数在本申请实施例中并不限定。
在本申请实施例中，作为一种实施方式，该第二预设条件可以是目标图像中特征点与预设标定物模型中特征点之间的匹配误差满足预设的精度要求。具体的，在该实施方式中，判断映射参数是否满足第二预设条件可以是，根据所述映射参数将目标图像中每个特征点映射到所述预设标定物模型的坐标系内，以获取目标图像中每个特征点在所述预设标定物模型的坐标系内的坐标；判断在所述预设标定物模型的坐标系中，目标图像的特征点与预设标定物模型中的特征点之间的匹配误差是否小于预设误差阈值，若是，判定所述映射参数满足第二预设条件。其中，目标图像中特征点与预设标定物模型特征点之间的匹配误差可以是，在预设标定物模型的坐标系内，计算目标图像中每个特征点与预设标定物模型特征点之间的距离，目标图像中特征点与多个预设标定物模型的特征点对应的最小距离为目标图像中该特征点的匹配误差。判断目标图像中各个特征点与预设标定物模型的特征点之间的匹配误差是否小于预设误差阈值，若小于，则可以判定映射参数满足第二预设条件；或者是目标图像中有预设个数的特征点对应的匹配距离小于预设误差阈值，判定映射参数满足第二预设条件，该预设个数并不限定。
作为一种实施方式，判断所述映射参数是否满足第二预设条件可以是，判断目标图像中特征点与预设标定物模型的特征点之间的匹配误差是否在继续减小，若不再减小，则判定满足第二预设条件。
作为一种实施方式，判断所述映射参数是否满足第二预设条件可以是，判断在所述目标图像内扩展新的质心的次数是否达到预设次数，若达到预设次数，则判定映射参数满足第二预设条件。其中，每执行一次步骤S130的扩展新的质心，可以判定为一次扩展。
或者是，作为一种实施方式，判断所述映射参数是否满足第二预设条件可以是，判断扩展的新的质心个数是否达到预设的个数，该预设的个数的具体值在本申请实施例中并不限定。
第二预设条件具体为何种条件在本申请实施例中并不限定，也可以以上述多种实施方式相结合，如上述多种实施方式中，同时作为第二预设条件，满足其中任意一个则执行步骤S160。
另外，在本申请实施例中，步骤S160可以并不作为一个必要的步骤，在某些实施方式中，在步骤S150获得映射参数后，直接执行步骤S170。
步骤S170：基于所述映射参数获取所述目标图像中各个特征点与所述预设标定物模型中各个特征点的对应关系。
根据映射参数，可以将目标图像中各个特征点映射到预设标定物模型所在坐标系，从而可以获得目标图像中各个特征点与预设标定物模型中各个特征点的对应关系，也就是说，可以获得目标图像中各个特征点在预设标定物模型中对应的特征点。
具体的对应关系获取方式可以是，根据所述映射参数将目标图像中每个特征点映射到所述预设标定物模型的坐标系内，以获取每个所述特征点在所述预设标定物模型的坐标系内的坐标；将在所述预设标定物模型的坐标系中，与目标图像中每个特征点的坐标距离最近的预设标定物模型的特征点，作为目标图像中该特征点在预设标定物模型中对应的特征点。
以如图12a所示的在图像坐标系内各个特征点e、f、g为例，根据映射参数H计算各个特征点在预设标定物模型的坐标系内的坐标，将特征点e、f、g映射到预设标定物模型的坐标系内，得到映射后的目标特征点e’、f’、g’，如图12b所示。在图12b中，E、F、G为在预设标定物模型中与e、f、g形成的子标记物对应的标记物中的特征点。根据图12b中各个特征点计算距离，分别计算e’到E、F、G三个模型特征点的距离，e’到E的距离最小，则可以获得目标图像中特征点e’在预设标定物模型中对应特征点E；分别计算f’到E、F、G三个特征点的距离，f’到F的距离最小，则可以获得目标图像中特征点f’在预设标定物模型中对应特征点F；分别计算g’到E、F、G三个特征点的距离，g’到G的距离最小，则可以获得目标图像中特征点g’在预设标定物模型中对应的特征点G。
本申请实施例还提供了一种图像处理装置600，应用于上述的识别跟踪系统，该图像处理装置600可存储于存储器并由处理器执行。如图13所示，该装置包括：图像获取模块610，用于获取所述图像采集装置采集的具有标记物的目标图像，以及目标图像中标记物内的特征点的像素坐标；质心获取模块620，用于根据目标图像内各个特征点的像素坐标，获取所述目标图像内每个子标记物的质心；质心扩展模块630，用于若目标图像中获得的子标记物的质心满足第一预设条件，根据所述目标图像内子标记物的特征点，在该子标记物内扩展预设个数的新的质心；映射参数获取模块640，用于基于扩展后各个质心的像素坐标、物理坐标以及预先获取的所述图像采集装置的内参数，获取所述目标图像对应的图像坐标系与预设标定物模型之间的映射参数；判断模块650，用于判断所述映射参数是否满足第二预设条件；对应模块660，用于若所述映射参数满足第二预设条件，基于所述映射参数获取所述目标图像中各个特征点与所述预设标定物模型中各个特征点的对应关系。若判断模块判定映射参数不满足第二预设条件，质心扩展模块630再次扩展质心。
其中，第一预设条件可以是获得的质心的数量达到预设数量。
可选的，该装置600中还可以包括去畸变模块，用于对所述目标图像做去畸变处理，以去除所述目标图像中的畸变点；将经畸变处理之后的目标图像作为本次获取的目标图像。
进一步的，质心扩展模块630可以包括：坐标系建立单元，用于以目标图像中子标记物的质心作为坐标原点建立坐标系。扩展单元，用于将该质心对应的子标记物中满足第三预设条件的特征点位移到以坐标原点为对称中心的位置，根据位移后该质心对应的各个目标特征点获取新的质心，其中，第三预设条件包括在建立的坐标系中横坐标小于零、横坐标大于零、纵坐标小于零以及纵坐标大于零中的任意一个，每个第三预设条件对应一个新的质心。
在本申请实施例中，还可以包括物理坐标获取模块，用于获取目标图像中各个质心的物理坐标。具体的，该模块可以包括：质心扩展单元，用于在所述预设标定物模型中以所述目标图像中扩展质心的对应方式扩展新的质心，预设标定物模型中扩展的新的质心与目标图像中扩展的新的质心一一对应，其中，预先获取有所述预设标定物模型中的子标记物与所述目标图像中的子标记物的一一对应关系；坐标计算单元，用于根据预设标定物模型中各个特征点的物理坐标计算预设标定物模型中的每个质心的物理坐标；坐标对应模块，用于将目标图像中每个质心在预设标定物模型中对应的质心的物理坐标，作为目标图像中该质心的物理坐标。
在本申请实施例中，判断模块650可以用于根据所述映射参数将目标图像中每个所述目标特征点映射到所述预设标定物模型的坐标系内，以获取目标图像中每个所述目标特征点在所述预设标定物模型的坐标系内的坐标；判断在所述预设标定物模型的坐标系中，目标图像的特征点与预设标定物模型中的特征点之间的匹配误差是否小于预设误差阈值，若是，判定所述映射参数满足第二预设条件。
或者是，判断模块650用于判断在所述目标图像内扩展新的质心的次数是否达到预设次数；或者是判断扩展的质心个数是否达到预设的个数。
进一步的，对应模块660可以包括：映射单元，用于根据所述映射参数将目标图像中每个特征点映射到所述预设标定物模型的坐标系内，以获取目标图像中每个特征点在所述预设标定物模型的坐标系内的坐标；对应单元，用于将在所述预设标定物模型的坐标系中，与目标图像中每个特征点的坐标距离最近的特征点，作为目标图像中该特征点在预设标定物模型中对应的特征点。
综上所述，本申请实施例提供的图像处理方法及装置，通过在目标图像中扩展新的质心，与目标图像中其他质心共同计算目标图像对应的图像坐标系与预设标定模型的坐标系之间的映射参数，获得更加准确的映射参数。再根据获得的映射参数将目标图像中特征点映射到预设标定物模型中，获得目标图像中各特征点在预设标定模型中对应的特征点。本申请实施例通过扩展质心获取更多的用于计算映射参数的质心，获得的映射参数更加准确，从而最后通过映射参数映射后，获得的目标图像中特征点与预设标定物模型中特征点之间匹配误差更小，更准确找到目标图像中各个特征点在预设标定物模型中对应的特征点。
需要说明的是，本说明书中的各个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种图像处理方法，应用于一识别跟踪系统，所述系统包括图像采集装置和具有多个子标记物的视觉交互装置，每一子标记物包括一个或多个特征点；其特征在于，所述方法包括：
获取具有视觉交互装置的目标图像，以及目标图像中视觉交互装置内的特征点的像素坐标；
获取所述目标图像内每个子标记物的质心；
若目标图像中获得的子标记物的质心满足第一预设条件，以目标图像中子标记物的质心作为坐标原点建立坐标系；
将该质心对应的子标记物中满足第三预设条件的特征点位移到以坐标原点为对称中心的位置，根据位移后该质心对应的各个目标特征点获取新质心，其中，第三预设条件包括在建立的坐标系中横坐标小于零、横坐标大于零、纵坐标小于零以及纵坐标大于零中的任意一个，每个第三预设条件对应一个新质心；
基于各个质心的像素坐标、物理坐标以及预先获取的所述图像采集装置的内参数，获取所述目标图像与预设标定物模型之间的映射参数；
基于所述映射参数获取所述目标图像中各个特征点与所述预设标定物模型中各个特征点的对应关系。
2.根据权利要求1所述的方法，其特征在于，所述第一预设条件为获得的质心的数量达到预设数量。
3.根据权利要求1或2所述的方法，其特征在于，所述获取所述目标图像对应的图像坐标系与预设标定物模型之间的映射参数之前，还包括：
在所述预设标定物模型中以所述目标图像中扩展质心的对应方式扩展新质心，预设标定物模型中扩展的新的质心与目标图像中扩展的新的质心一一对应，其中，预先获取有所述预设标定物模型中的子标记物与所述目标图像中的子标记物的一一对应关系；
根据预设标定物模型中各个特征点的物理坐标计算预设标定物模型中的每个质心的物理坐标；
将目标图像中每个质心在预设标定物模型中对应的质心的物理坐标，作为目标图像中该质心的物理坐标。
4.根据权利要求1所述的方法，其特征在于，所述基于所述映射参数获取所述目标图像中各个特征点与所述预设标定物模型中各个特征点的对应关系之前，还包括：
基于所述映射参数将目标图像中每个目标特征点映射到所述预设标定物模型的坐标系内，以获取目标图像中每个所述特征点在所述预设标定物模型的坐标系内的坐标；
判断在所述预设标定物模型的坐标系中，目标图像的特征点与预设标定物模型中的特征点是否满足第二预设条件；
若是，执行所述根据所述映射参数获取所述目标图像中各个特征点与所述预设标定物模型中各个特征点的对应关系，若否，则再次执行在所述目标图像内扩展预设个数的新的质心的步骤。
5.根据权利要求4所述的方法，其特征在于，判断所述映射参数是否满足第二预设条件包括：
判断在所述预设标定物模型的坐标系中，目标图像的特征点与预设标定物模型中的特征点之间的匹配误差是否小于预设误差阈值。
6.根据权利要求4所述的方法，其特征在于，判断所述映射参数是否满足第二预设条件包括：
判断在所述目标图像内扩展新的质心的次数是否达到预设次数；或者是判断扩展的质心个数是否达到预设的个数。
7.根据权利要求1所述的方法，其特征在于，所述根据所述映射参数获取所述目标图像中各个特征点与所述预设标定物模型中各个特征点的对应关系，包括：
根据所述映射参数将目标图像中每个特征点映射到所述预设标定物模型的坐标系内，以获取目标图像中每个特征点在所述预设标定物模型的坐标系内的坐标；
将在所述预设标定物模型的坐标系中，与目标图像中每个特征点的坐标距离最近的特征点，作为目标图像中该特征点在预设标定物模型中对应的特征点。
8.根据权利要求1所述的方法，其特征在于，所述获取所述目标图像内各个目标标签的质心之前，还包括：
对所述目标图像做去畸变处理，以去除所述目标图像中的畸变点；
将经畸变处理之后的目标图像作为本次获取的目标图像。
9.一种图像处理装置，应用于一识别跟踪系统，所述系统包括标记物，所述标记物设有多个子标记物，每个子标记物包括一个或多个特征点；其特征在于，所述装置包括：
图像获取模块，用于获取具有标记物的目标图像，以及目标图像中标记物内的特征点的像素坐标；
质心获取模块，用于根据目标图像内各个特征点的像素坐标，获取所述目标图像内每个子标记物的质心；
质心扩展模块，用于若目标图像中获得的子标记物的质心满足第一预设条件，以目标图像中子标记物的质心作为坐标原点建立坐标系；
位置位移模块，用于将该质心对应的子标记物中满足第三预设条件的特征点位移到以坐标原点为对称中心的位置，根据位移后该质心对应的各个目标特征点获取新质心，其中，第三预设条件包括在建立的坐标系中横坐标小于零、横坐标大于零、纵坐标小于零以及纵坐标大于零中的任意一个，每个第三预设条件对应一个新质心；
映射参数获取模块，用于基于各个质心的像素坐标、物理坐标以及预先获取的图像采集装置的内参数，获取所述目标图像与预设标定物模型之间的映射参数；
对应模块，用于基于所述映射参数获取所述目标图像中各个特征点与所述预设标定物模型中各个特征点的对应关系。
CN201810119387.0A 2018-02-06 2018-02-06 图像处理方法及装置 Active CN110120062B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810119387.0A CN110120062B (zh) 2018-02-06 2018-02-06 图像处理方法及装置
PCT/CN2019/073578 WO2019154169A1 (zh) 2018-02-06 2019-01-29 跟踪交互装置的方法、存储介质以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810119387.0A CN110120062B (zh) 2018-02-06 2018-02-06 图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN110120062A CN110120062A (zh) 2019-08-13
CN110120062B true CN110120062B (zh) 2023-07-07

Family

ID=67519438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810119387.0A Active CN110120062B (zh) 2018-02-06 2018-02-06 图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN110120062B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111176445B (zh) * 2019-12-23 2023-07-14 广东虚拟现实科技有限公司 交互装置的识别方法、终端设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101256673A (zh) * 2008-03-18 2008-09-03 中国计量学院 用于在实时视频跟踪系统中跟踪手臂运动的方法
CN103630299A (zh) * 2013-11-29 2014-03-12 北京航空航天大学 一种大像素数光斑图像的实时质心定位方法及装置
CN105046721A (zh) * 2015-08-03 2015-11-11 南昌大学 基于Grabcut及LBP跟踪质心矫正模型的Camshift算法
CN107202982A (zh) * 2017-05-22 2017-09-26 徐泽宇 一种基于无人机位姿计算的信标布置及图像处理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI419081B (zh) * 2009-12-29 2013-12-11 Univ Nat Taiwan Science Tech 提供擴增實境的標籤追蹤方法、系統與電腦程式產品
US8907260B2 (en) * 2011-01-14 2014-12-09 The United States Of America, As Represented By The Secretary Of The Navy Extended source wavefront sensor through optical correlation with a change in centroid position of light corresponding to a magnitude of tip/tilt aberration of optical jitter
TWI499966B (zh) * 2013-10-08 2015-09-11 Univ Nat Taiwan Science Tech 互動式操作方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101256673A (zh) * 2008-03-18 2008-09-03 中国计量学院 用于在实时视频跟踪系统中跟踪手臂运动的方法
CN103630299A (zh) * 2013-11-29 2014-03-12 北京航空航天大学 一种大像素数光斑图像的实时质心定位方法及装置
CN105046721A (zh) * 2015-08-03 2015-11-11 南昌大学 基于Grabcut及LBP跟踪质心矫正模型的Camshift算法
CN107202982A (zh) * 2017-05-22 2017-09-26 徐泽宇 一种基于无人机位姿计算的信标布置及图像处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"增强现实中基于三维标志物的跟踪技术研究";刘经伟;《中国优秀硕士学位论文全文数据库信息科技辑》;20111215(第12期);7-18页，第32-37页 *

Also Published As

Publication number Publication date
CN110120062A (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
CN106643699B (zh) 一种虚拟现实系统中的空间定位装置和定位方法
CN113412614B (zh) 使用深度图像的三维定位
KR101761751B1 (ko) 직접적인 기하학적 모델링이 행해지는 hmd 보정
US11145077B2 (en) Device and method for obtaining depth information from a scene
CN110120099A (zh) 定位方法、装置、识别跟踪系统及计算机可读介质
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
CN102812416B (zh) 指示输入装置、指示输入方法、程序、记录介质以及集成电路
US20140307100A1 (en) Orthographic image capture system
CN110119190A (zh) 定位方法、装置、识别跟踪系统及计算机可读介质
US20070076090A1 (en) Device for generating three dimensional surface models of moving objects
KR101506610B1 (ko) 증강현실 제공 장치 및 그 방법
CN107103056B (zh) 一种基于局部标识的双目视觉室内定位数据库建立方法及定位方法
CN109155055B (zh) 关注区域图像生成装置
CN107509043B (zh) 图像处理方法、装置、电子装置及计算机可读存储介质
CN107517346B (zh) 基于结构光的拍照方法、装置及移动设备
CN112700484B (zh) 一种基于单目深度相机的深度图彩色化方法
US11514608B2 (en) Fisheye camera calibration system, method and electronic device
CN110120100B (zh) 图像处理方法、装置及识别跟踪系统
CN106919246A (zh) 一种应用界面的显示方法和装置
CN110737326A (zh) 虚拟对象的显示方法、装置、终端设备及存储介质
JP4193342B2 (ja) ３次元データ生成装置
McIlroy et al. Kinectrack: 3d pose estimation using a projected dense dot pattern
CN110120062B (zh) 图像处理方法及装置
CN114092668A (zh) 虚实融合方法、装置、设备及存储介质
CN113923437B (zh) 信息显示方法及其处理装置与显示系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant