CN103971400B - 一种基于标识码的三维交互的方法和系统 - Google Patents
一种基于标识码的三维交互的方法和系统 Download PDFInfo
- Publication number
- CN103971400B CN103971400B CN201310047346.2A CN201310047346A CN103971400B CN 103971400 B CN103971400 B CN 103971400B CN 201310047346 A CN201310047346 A CN 201310047346A CN 103971400 B CN103971400 B CN 103971400B
- Authority
- CN
- China
- Prior art keywords
- image
- reference image
- identification code
- obtaining
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 98
- 230000003993 interaction Effects 0.000 title claims abstract description 50
- 239000011159 matrix material Substances 0.000 claims description 118
- 238000004422 calculation algorithm Methods 0.000 claims description 88
- 238000001514 detection method Methods 0.000 claims description 30
- 230000001133 acceleration Effects 0.000 claims description 12
- UDHXJZHVNHGCEC-UHFFFAOYSA-N Chlorophacinone Chemical compound C1=CC(Cl)=CC=C1C(C=1C=CC=CC=1)C(=O)C1C(=O)C2=CC=CC=C2C1=O UDHXJZHVNHGCEC-UHFFFAOYSA-N 0.000 claims description 10
- 230000001131 transforming effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 abstract description 23
- 230000008569 process Effects 0.000 abstract description 4
- 230000010365 information processing Effects 0.000 abstract description 2
- 238000003672 processing method Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 9
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 3
- 241000985694 Polypodiopsida Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
- G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
- G06K7/1447—Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
- G06K7/1456—Methods for optical code recognition including a method step for retrieval of the optical code determining the orientation of the optical code with respect to the reader and correcting therefore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
- G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
- G06F2200/163—Indexing scheme relating to constructional details of the computer
- G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种基于标识码的三维交互的方法和系统。本申请涉及图像处理,尤其涉及一种可摄像设备的信息处理的方法。其解决的问题是,如何使用更小计算量更快捷地实现人与设备的三维交互。本申请的方法主要包括,获得可摄像设备拍摄的包含标识码实物的图像,识别标识码所对应的物品信息;获取与标识码相关的参考图像及参考图像的特征点;基于参考图像和特征点获得可摄像设备相对于标识码实物的位置和/或姿态信息;以及基于所述位置和/或姿态信息与所述标识码对应的物品信息,进行三维交互。本方法主要用于可摄像设备的三维交互。
Description
技术领域
本申请涉及图像处理,尤其涉及一种可摄像设备的信息处理的方法和系统。
背景技术
随着人们对交互体验的要求的不断增加,增强现实应用已经获得了非常迅猛的发展。三维注册是增强现实系统中最基础最重要的技术之一。三维注册即计算出世界坐标系与屏幕坐标系的转化关系,然后由此计算出当前可摄像设备的位置和姿态,进而利用此信息将虚拟物体和真实场景结合在一起。
已有方法有:1、利用sift(Scale Invariant Feature Transform,尺度不变特征转换),surf(Speed Up Robust Feature,加速鲁棒性特征)方法对特征点进行匹配,但是此类方法计算量比较大;2、利用random ferns(随机蕨类算法)等的模型的方法,但是这类方法占用内存空间比较大。
对于增强现实注册的研究,如中国专利:“一种基于标志点的增强现实三维注册方法和系统”,申请号20071011266.6,此发明将生成的人肉眼不可见的光标志点投影到现实环境的承载面上,然后采用具有不可见光滤光片的摄像机对投影在承载面上的不可见光标志点进行拍摄,获取不可见光标志点在屏幕中的二维坐标数据从而进行注册,此发明对硬件要求比较高。
又如“基于云计算的自然特征注册方法”,申请号201110180881.6,此发明首先提取参考图像的自然特征点集,在注册过程中提取从图像获取设备不断得到的图像关键帧的自然特征点,然后通过基于云计算的自然特征点匹配,根据匹配结果计算出摄像机的位置和角度,进而进行三维注册。此发明需要后台的服务器,而且对网络通信要求比较高。
另外,基于自然图片(例如商标)的三维人机交互,在设备计算能力有限时只能识别少数几种商品;或者需要网络和后台服务器配合来达到识别多种商品的目的。
另一方面,标识码(例如:二维码)图案简单、易于识别,并且标准统一,可以对应多种商品,而且计算相对简单,比较容易在手机等移动设备上实现。传统的标识码,例如二维码在手机等移动设备上的应用,用户通过手机摄像头扫描二维码或输入二维码下面的号码、关键字即可实现快速手机上网,快速便捷地浏览网页、下载图文、音乐、视频、获取优惠券、参与抽奖、了解企业产品信息,而省去了在手机上输入URL的繁琐过程,实现一键上网。同时,还可以方便地用手机识别和存储名片、自动输入短信,获取公共服务(如天气预报),实现电子地图查询定位、手机阅读等多种功能。传统的标识码的应用只是利用二维码读取一定的信息,然后利用读取的信息打开额外链接等。
发明内容
本申请的主要目的在于提供一种在进行三维的交互过程中,获得预测图像的预测单应矩阵,并将所述预测单应矩阵应用于特征点匹配,并获得从参考图像至当前图像的单应矩阵,然后以参考图像至当前图像的单应矩阵获得可摄像设备位置或姿态的方法,以及以此进行三维交互的方法。上述方法可解决现有技术存在的在三维交互中的计算量过大,或占用内存过多,或对硬件、网络有较高要求以至于较难应用在可移动摄像设备中的问题。
进一步,在上述发明的应用前提下,本申请又提供一种利用标识码进行三维交互的方法,可以以更快的速度进行三维交互,并同时获得物品的信息以进行进一步的其他应用,可实现多目标识别。
根据本申请的一个方面,提供一种基于标识码的三维交互的方法,包括:
获得可摄像设备拍摄的包含标识码实物的图像,识别标识码并获得标识码所对应的物品信息;获取与所述标识码相关的参考图像以及该参考图像的特征点;基于所述参考图像和所述特征点,计算并获得可摄像设备相对于标识码实物的位置和/或姿态信息;以及基于所述可摄像设备相对于标识码实物的位置和/或姿态与所述标识码对应的物品信息,进行三维交互。
根据本申请的实施例,在该方法中,所述物品信息可以包括通过识别标识码得到的基本信息。
根据本申请的实施例,在该方法中,所述物品信息包括依据所述基本信息通过本地数据库或网络获得进一步的用于交互的目标数据,所述目标数据中包括所述物品信息对应的三维图像。
根据本申请的实施例,在该方法中,所述三维交互可以包括:基于由物品信息获得物品的三维图像,将所述三维图像叠加到可摄像设备拍摄的当前图像中的标识码上或标识码所在的物品位置上。
根据本申请的实施例,在该方法中,所述三维交互可以包括:连续获得可摄像设备相对于标识码实物的位置和姿态,从而获得可摄像设备与标识码或标识码所在实物的相对移动速度或加速度或两者,以预定方式将所述移动速度或加速度或两者传递到用户界面。
根据本申请的实施例,在该方法中,获取与所述标识码相关的参考图像以及该参考图像的特征点可以包括:获得利用可摄像设备获取的画面中含有标识码实物的初始图像,基于初始图像获得参考图像,利用特征点检测算法对参考图像进行计算,获得参考图像中的特征点及其位置。
根据本申请的实施例,在该方法中,基于所述初始图像获得参考图像可以包括:将所述初始图像作为参考图像,或者基于所述物品信息按照标识码生成算法生成一幅标准标识码,将所述标准标识码作为参考图像。
根据本申请的实施例,在该方法中,获得可摄像设备相对于标识码实物的位置和/或姿态信息可以包括:获得可摄像设备拍摄的包含标识码实物的当前图像;基于所述参考图像和当前图像,获得从参考图像至当前图像的单应矩阵;以及基于所述单应矩阵,获得可摄像设备相对于标识码实物的位置和/或姿态信息。
根据本申请的实施例,在该方法中,基于所述参考图像和当前图像,获得从参考图像至当前图像单应矩阵可以包括:获得标识码在初始图像中4个顶点的位置;以参考图像的4个顶点与初始图像中标识码的4个顶点构成匹配点对;以及基于匹配点对获得从参考图像变换到当前图像的单应矩阵。
根据本申请的实施例,在该方法中,基于所述参考图像和当前图像、获得从参考图像至当前图像的单应矩阵可以包括:利用特征点匹配算法获得参考图像的特征点在当前图像中的匹配点;利用参考图像中的特征点和所述当前图像中的匹配点构成匹配点对;以及以所述匹配点对获得从参考图像至到当前图像的单应矩阵。
根据本申请的实施例,在该方法中,利用特征点匹配算法获得参考图像的特征点在当前图像中的匹配点,可以包括:获得预测图像,其中所述预测图像是基于当前图像之前已经获取的图像利用预定算法计算获得的用于预测当前图像的图像;计算获得参考图像中的特征点在预测图像中的预测位置;以及以参考图像中的特征点在预测图像中的预测位置在当前图像中找到相应预定位置;在所述各参考图像中的特征点在预测图像中的预测位置的周围以预定的大小和形状截取预测图像的一部分作为每个特征点的相应的预定图像匹配块;以及在当前图像各预定位置的周围,在预先设定的范围内,以预定的图像匹配块为标准,利用第二类特征点匹配算法获得参考图像的特征点在当前图像中的匹配点。
根据本申请的实施例,在该方法中,可以以如下方式获得预测图像及参考图像中的特征点在预测图像中的预测位置:获得可摄像设备拍摄的含有标识码实物的第一图像A,获得可摄像设备拍摄的含有标识码实物的第二图像B,所述第一图像A,第二图像B为在当前图像之前获取的图像,利用参考图像、第一图像A、第二图像B获得参考图像至第二图像B的单应矩阵第一图像A至第二图像B的单应矩阵计算预测图像的预测单应矩阵以预测单应矩阵P对参考图像进行变换,获得预测图像,以预测单应矩阵P对参考图像中的特征点的位置进行变换,获得参考图像中的特征点在预测图像中的预测位置。
根据本申请的实施例,在该方法中,所述第二图像B可以为当前图像的前一帧图像,所述第一图像A可以为当前图像的前两帧图像。
根据本申请的另一个方面,提供一种基于标识码的三维交互的系统,包括:
标识码获取与识别模块,用于获得可摄像设备拍摄的包含标识码实物的图像,识别标识码并获得标识码所对应的物品信息;参考图像获取模块,用于获取与所述标识码相关的参考图像以及该参考图像的特征点;位置与姿态获取模块,用于基于所述参考图像和所述特征点,计算并获得可摄像设备相对于标识码实物的位置和/或姿态信息;以及交互模块,用于基于所述可摄像设备相对于标识码实物的位置和/或姿态与所述标识码对应的物品信息,进行三维交互。
根据本申请的实施例,在所述系统中,所述交互模块可以进一步被配置成:基于由物品信息获得物品的三维图像,将所述三维图像叠加到可摄像设备拍摄的当前图像中的标识码上或标识码所在的物品位置上。
根据本申请的实施例,在所述系统中,所述交互模块可以进一步被配置成包括:连续获得可摄像设备相对于标识码实物的位置和姿态,从而获得可摄像设备与标识码或标识码所在实物的相对移动速度或加速度或两者,以预定方式将所述移动速度或加速度或两者传递到用户界面。
根据本申请的实施例,在所述系统中,参考图像获取模块可以被配置成:获得利用可摄像设备获取的画面中含有标识码实物的初始图像,基于初始图像获得参考图像;以及利用特征点检测算法对参考图像进行计算,获得参考图像中的特征点及其位置。
根据本申请的实施例,在所述系统中,位置与姿态获取模块可以被配置成:获得可摄像设备拍摄的包含标识码实物的当前图像;基于所述参考图像和当前图像,获得从参考图像至当前图像的单应矩阵;以及基于所述单应矩阵,获得可摄像设备相对于标识码实物的位置和/或姿态信息。
根据本申请的实施例,在所述系统中,基于所述参考图像和当前图像,获得从参考图像至当前图像单应矩阵可以包括:获得标识码在初始图像中4个顶点的位置;以参考图像的4个顶点与初始图像中标识码的4个顶点构成匹配点对;以及基于匹配点对获得从参考图像变换到当前图像的单应矩阵。
根据本申请的实施例,在所述系统中,基于所述参考图像和当前图像、获得从参考图像至当前图像的单应矩阵可以包括:利用特征点匹配算法获得参考图像的特征点在当前图像中的匹配点;利用参考图像中的特征点和所述当前图像中的匹配点构成匹配点对;以及以所述匹配点对获得从参考图像至到当前图像的单应矩阵。
根据本申请的另一个方面,提供一种利用参考图像获得预测图像的预测单应矩阵的方法,包括以下步骤:
获取一张参考图像S;获得利用可摄像设备获取的含有参考图像实物的第一图像A,获得利用可摄像设备获取的含有参考图像实物的第二图像B,利用参考图像S、第一图像A、第二图像B获得参考图像S至第二图像B的单应矩阵并获得第一图像A至第二图像B的单应矩阵计算预测图像的预测单应矩阵
根据本申请的实施例,在该方法中,可以采用如下步骤获得单应矩阵利用特征点检测算法对参考图像S进行计算,获得参考图像S中的特征点及其位置;利用特征点检测算法对第二图像B进行计算,获得第二图像B中的特征点及其位置;利用特征点匹配算法获得参考图像S的特征点在第二图像B中的匹配点及其位置;利用参考图像的特征点和第二图像B中的匹配点构成匹配点对;基于所述匹配点对,获得参考图像至第二图像的单应矩阵
根据本申请的实施例,在该方法中,可以采用如下方式获得第一图像至第二图像的单应矩阵利用特征点检测算法对参考图像S进行计算,获得参考图像S中的特征点及其位置;利用特征点检测算法对第一图像A进行计算,获得第一图像A中的特征点及其位置;利用特征点匹配算法获得参考图像S的特征点在第一图像A中的匹配点及其位置;利用参考图像的特征点和第一图像A中的匹配点构成匹配点对;基于所述匹配点对,获得参考图像至第一图像A的单应矩阵获得第一图像A至第二图像B的单应矩阵
根据本申请的实施例,在该方法中,可以在利用参考图像的特征点和第二图像B中的匹配点构成的步骤中采用Prosac算法或Ransac算法排除误匹配点对,并基于经过排除处理的匹配点对,获得参考图像至第二图像的单应矩阵
根据本申请的实施例,在该方法中,可以在利用参考图像的特征点和第一图像A中的匹配点构成匹配点对的步骤中采用Prosac算法或Ransac算法排除误匹配点对,并基于经过排除处理的匹配点对,获得参考图像至第一图像A的单应矩阵
与现有技术相比,根据本申请的技术方案,解决现有技术存在的上述在三维交互中的计算量过大,或占用内存过多,或对硬件、网络有较高要求以至于较难应用在可移动摄像设备中,较难实现多目标识别的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的基于标识码的三维交互的方法步骤图;
图2是图1中S102和步骤S103的优选方法步骤图。其更详细地描述了如何获取与所述标识码相关的参考图像以及该参考图像的特征点并基于其获得可摄像设备相对于标识码实物的位置和/或姿态;
图3和图4在图1及图2的基础上,更详细地描述一个例子,以详细描述获得从参考图像至当前图像的单应矩阵的优选方法步骤。其中,当k=1时,参考图3;当k>1时,参考图4;
图5是根据本申请实施例的利用参考图像获得预测图像的预测单应矩阵的方法的流程图;
图6是根据本申请实施例的利用参考图像、预测图像的预测单应矩阵,获得参考图像的特征点在当前图像的匹配点的方法的流程;
图7是根据本申请实施例的获得从参考图像至当前图像的单应矩阵的方法的流程图;以及
图8是根据本申请实施例的一种基于标识码的三维交互的系统800的结构方框图。
具体实施方式
本申请的主要思想在于,提供一种在进行三维的交互过程中,获得预测图像的预测单应矩阵的方法;并将所述预测单应矩阵应用于特征点匹配,并获得从参考图像至当前图像的单应矩阵,从而以参考图像至当前图像的单应矩阵获得可摄像设备位置或姿态的方法,及以此进行三维交互的方法。
为使本申请的目的、技术方案和优点更加清楚,以下结合附图及具体实施例,对本申请作进一步地详细说明。
为了方便下文描述,首先介绍本申请的各个实施方式中所涉及的术语的解释。
三维交互:获得物体在三维空间中的状态信息,并基于所述三维空间中的状态信息与用户进行交互。所述物体可以包括:用户、用户所持设备、用户所指定的物等;所述三维空间中的状态信息可以包括:在三维空间的位置、在三维空间中的姿态等。
标识码:以图像来存储信息的信息码。例如,条形码,二维码。
标识码实物:以实物展现的标识码,例如一张打印的标识码,一张印刷的标识码,或在显示器上显示的标识码。
标准标识码:基于信息所生成的准确无变形的标识码。
参考图像:参考图像是在一次三维交互中使用的一幅图像,其可以用于描述被摄对象的初始状态或标准状态,参考图像作为当前图像的参考,用来通过对参考图像与当前图像的计算,可以获得当前可摄像设备的位置及姿态。参考图像可以通过拍摄获得,或通过标识码生成算法生成标准标识码作为参考图像,或可依据标识码查找数据库或通过网络查询获得。
参考图像的特征点:参考图像的特征点为参考图像中特征明显的点,可通过特征点检测算法获得。参考图像的特征点可以包括参考图像的顶点,例如,若参考图像为长方型,则特征点可以包括其4个顶点。
当前图像:当前图像为通过可摄像设备获得的包含标识码实物或参考图像实物的当前的图像,其可以用于描述可摄像设备相对于被摄对象的当前状态,通过对当前图像与参考图像的计算,可以获得当前可摄像设备的位置及姿态。
预测图像:为了减少计算量,加快计算速度,在使用参考图像和当前图像计算可摄像设备的位置及姿态过程中,可先计算并获得预测图像,预测图像是一幅预估的虚拟图像。预测图像可以基于参考图像及预测单应矩阵获得。
预测单应矩阵:为获得预测图像,可以先获得预测单应矩阵,再依据预测单应矩阵获得预测图像。预测单应矩阵体现了对预测图像的计算思路,基于不同的计算思路,可以有不同的预测单应矩阵计算方式。
第一类特征点匹配算法:包括如Sift(Scale Invariant Feature Transform,尺度不变特征转换),Surf(Speed Up Robust Feature,加速鲁棒性特征)或其他功能类似的特征点匹配算法。
第二类特征点匹配算法:包括如模版匹配法、交叉相关法、归一化交叉相关法或其他功能类似的特征点匹配算法。
根据本申请的实施例,提供了一种基于标识码的三维交互的方法。本方法的一个典型场景是,一个用户面对一个粘贴有标识码的产品包装,用户拿出手机(作为一种典型的可摄像设备)开启手机的摄像功能,使画面中包含标识码,此时本方法依据手机获得的画面确定手机相对于产品的位置和姿态,将从标识码识别的产品的信息(例如三维影像)叠加到手机的当前画面的产品包装位置,从而实现良好的用户体验。下面详细描述这种交互方法的步骤。
参考图1,图1是本申请实施例的基于标识码的三维交互的方法步骤图。
根据本申请的方法,在步骤S101处,获得可摄像设备拍摄的包含标识码实物的图像,识别标识码并获得标识码所对应的物品信息。所述物品信息可以包括通过识别标识码得到的基本信息(例如:物品ID等),还可以包括依据所述基本信息通过本地数据库或网络获得进一步的用于交互的目标数据,目标数据中可以有与所述物品信息对应的三维图像。例如,可摄像设备可以是但不限于摄像机、带有摄像功能的移动设备、带有摄像功能的便携设备等等。通过可摄像设备对标识码实物进行拍摄从而获得包含标识码实物的图像。通过对该标识码进行识别得到该标识码所包含的物品信息。
在步骤S102处,获取与所述标识码相关的参考图像以及该参考图像的特征点。
优选地,在数据库中存储与标识码相关的数据,该数据可以包括:标识码对应的物品ID、与该标识码相关的参考图像、以及该参考图像的特征点等内容。
依据识别标识码得到的物品ID查找数据库。若数据库存在与该标识码相关的参考图像以及该参考图像的特征点,则直接获取之;若数据库不存在该标识码相关的参考图像以及该参考图像的特征点则可依据图2步骤S201所述方法获得标识码相关的参考图像,并且可依据图2步骤S202所述方法获得参考图像的特征点并将其存储到所述数据库中。
在步骤S103处,基于所述参考图像以及该参考图像的特征点,获得所述可摄像设备相对于标识码实物的位置和/或姿态。
在步骤S104处,基于所述可摄像设备相对于标识码实物的位置和/或姿态与所述标识码对应的物品信息,进行三维交互。通过在步骤103处得到可摄像设备与标识码实物之间的位置和/或姿态关系之后,用户例如可以将物品信息(例如物品的三维图像)叠加到包含标识码的图像上以达到该物品信息位于标识码实物的位置上的虚实结合的效果,从而实现三维交互。
可选地,通过在步骤S103处,连续获得可摄像设备相对于标识码实物的位置和/或姿态,从而在步骤S104处,获得可摄像设备与标识码或标识码所在实物的相对移动速度或加速度或两者,以预定方式将所述移动速度或加速度或两者传递到用户界面,所述预定方式可以是数据显示、三维图像显示、或示意图标(例如,箭头、柱状图)等。
下面参考图2,更详细地描述步骤S102和步骤S103。图2更详细地描述了如何获取与所述标识码相关的参考图像以及该参考图像的特征点并基于其获得可摄像设备相对于标识码实物的位置和/或姿态。
在步骤S201处,基于所获得的包含标识码实物的图像获得标识码的参考图像。所述参考图像可以是该包含标识码实物的图像本身,也可以是基于该包含标识码实物的图像生成的标准标识码图像。更具体地,获得用可摄像设备获取的画面中含有标识码实物的图像,并识别标识码所对应的物品信息,再基于该物品信息并按照标识码生成算法生成一幅标准标识码图像,将其作为参考图像。获取一张参考图像后,将此参考图像存储于存储器中,可在需要时获得参考图像的大小信息、参考图像中的选定点的位置信息、色值信息等信息。
在步骤S202处,检测参考图像特征点。例如,查找参考图像中的多个明显的特征点并记录这些特征点在参考图像中的坐标位置,特征点可以包括其参考图像的顶点。特别地,当参考图像为依据物品信息生成的标准标识码,且标准标识码为矩形,则在生成标准标识码时即获得了其4个顶点作为特征点的位置。请注意:由于本方法所涉矩阵计算需要至少4个点对信息,所以如果仅以顶点进行矩阵计算,所述标准标识码应至少有4个顶点。例如,标准标识码不应为三角形,因为无法以其3个顶点进行矩阵计算。
此后,基于该参考图像,并且以生成该参考图像的图像作为第1帧图像。
在步骤S203处,获得可摄像设备拍摄的包含标识码实物的当前图像。
在步骤S204处,获得从该参考图像至当前图像的单应矩阵。
在步骤S205处,基于所述单应矩阵计算并获得可摄像设备相对于标识码实物的位置和/或姿态。
根据本申请的实施方式,可以参照图3和图4所示出的方法来获得从参考图像至当前图像的单应矩阵。
下面参照图3和图4更详细地描述一个例子,以详细描述如何获得从参考图像至当前图像的单应矩阵。请注意:图3和图4描述中存在与图1、图2描述重复的步骤,不表示需要重复进行相关此步骤,而是旨在保持步骤的连贯。
在步骤S301处,获得用可摄像设备获取的画面中含有标识码实物的当前图像,以图像中包含标识码的帧计数,第1次出现包含标识码的当前图像设为第1帧,第k次出现包含标识码的当前图像设为第k帧。
当k=1时,如图3所示,进行如下步骤以获得从参考图像到当前图像(k=1)的单应矩阵。
在步骤S302处,利用标识码识别算法对此当前图像识别获得标识码在当前图像中的位置、标识码的4个顶点的位置。应当指出:由于在步骤S306处进行的矩阵计算至少需要4个点对的位置,所以步骤S302处,标识码应至少有4个顶点。
在步骤S303处,使用步骤S101获得的物品信息按照标识码生成算法生成一幅标准标识码图像,将其作为参考图像,生成标准标识码图像,同时获得其4个顶点位置。
在步骤S304处,利用特征点检测算法对参考图像进行计算,获得参考图像中的除4个顶点以外的特征点及其位置;特征点检测算法可以是FAST(Features from AcceleratedSegment Test,基于加速分割的检测特征)或者Harris(Harris Corner Detector,哈尔斯角点检测算法)角点检测法等方法;一般获得的特征点为多个;例如,获得了6个特征点。本步骤获得的所述特征点在步骤S404使用。
在步骤S305处,以参考图像中标识码的4个顶点与当前图像中标识码的4个顶点构成匹配点对。
在步骤S306处,基于所述匹配点对,构造方程并求解,获得从参考图像至当前图像的单应矩阵
在步骤S307处,以所述单应矩阵计算并获得可摄像设备相对于标识码实物的位置和/或姿态。
当k>1时,如图4所示进行如下步骤以获得从参考图像到当前图像(k>1)的单应矩阵。
在步骤S401处,获得预测单应矩阵Pk。
在计算参考图像至当前图像的单应矩阵之前需要获得预测图像,该预测图像是一幅预估的图像,利用预测图像可在预测图像的基础上进行参考图像的特征点的匹配点计算,减少计算量,增快计算速度。要获得预测图像首先要获得预测单应矩阵Pk。可以以不同的硬件操作与计算规则的组合获得预测单应矩阵Pk。优选的,以如下方法计算Pk:当k=2时,当k>2时,其中其中,表示第k-2帧图像到第k-1帧图像的单应矩阵,表示从参考图像S至第k-1帧图像的单应矩阵(这一单应矩阵可以参照图3来获得)。
在步骤S402处,以预测单应矩阵Pk对参考图像中的预定点的位置进行变换,获得参考图像中的预定点在预测图像中的预测位置;一般而言,所述预定点为参考图像的全部点,即获得参考图像中的全部点在预测图像中的位置。预定点也可以是参考图像中的一部分点。
在步骤S403处,基于所述预定点的预测位置和参考图像中的预定点的相应色值,获得预测图像。
在步骤S404处,以预测单应矩阵Pk对在步骤S304处获得的参考图像中的特征点的位置进行变换,获得参考图像中的特征点在预测图像中的预测位置;例如:对参考图像中的6个特征点的位置进行变换,获得了6个特征点在预测图像中的6个预测位置。
在步骤S405处,在所述各特征点在预测图像中的预测位置的周围以预定的大小和形状截取预测图像的一部分作为每个特征点的相应的图像匹配块;例如,已获得参考图像的特征点在预测图像中的6个预测位置,则以每个预测位置为中心,以预定大小9×9个像素的正方形(形状)截取预测图像,即获得了6个图像匹配块,每个图像匹配块为9×9像素。
在步骤S406处,以特征点在预测图像中的预测的位置在当前图像中找到相应位置;例如,已获得了预测图像中的6个特征点的6个预测位置,在当前图像找到相应的6个位置。
在步骤S407处,在当前图像各相应位置的周围,在预先设定的范围内,以相应的图像匹配块为标准,利用第二类特征点匹配算法(例如:模版匹配法、交叉相关法或其他功能类似的特征点匹配算法、本实施例优选归一化交叉相关法)获得参考图像的特征点在当前图像中的匹配点;例如,在步骤S406中在当前图像找到了6个相应位置;对其中1个位置,在其周围预设15×15像素的范围,在范围内,利用步骤S405所获得的相应9×9像素的图像匹配块,利用第二类特征点匹配算法找到1个匹配点,即获得匹配点在当前图像中的1个位置;以上述同样方式找到其余5个匹配点及其在当前图像中的5个位置。
在步骤S408处,利用参考图像中的特征点和所述当前图像中的匹配点构成匹配点对。例如:步骤S304中获得6个特征点位置,其中一个特征点在参考图像中的位置为(3,9),步骤S407获得6个匹配点位置,与上述特征点相应匹配点在当前图像的位置为(2,8),则[(3,9);(2,8)]构成1个匹配点对,以同样方式获得其余5个匹配点对,共6个匹配点对。优选的,可以在获得上述匹配点对后,采用Prosac(Progressive Sample Consensus,进展型采样一致性算法)算法或Ransac算法(Random Sample Consensus,随机抽样一致性算法)排除错误点对。例如,已获得6个匹配点对;采用Prosac或Ransac算法可排除其中1个错误的匹配点对,剩余5个匹配点对。
在步骤S409处,以匹配点对获得从参考图像至到当前图像的单应矩阵优选的,可采用奇异值分解算法,或LM迭代优化算法(Levenberg-Marquardt method,LM迭代优化算法),或高斯牛顿算法计算
在步骤S410处,以所述单应矩阵计算并获得可摄像设备相对于标识码实物的位置和/或姿态。
下面,参见图5,其详细地描述了如何利用参考图像获得预测图像的预测单应矩阵的方法的流程图。该方法包括以下步骤。
在步骤S510处,获取一张参考图像S;(本实施例中的参考图像皆指此参考图像,为方便标记,将参考图像记为符号S,在必要时使用),参考图像可以是预先存储在设备中,或者可以使通过可摄像设备拍摄的一张图像,或其他方式获取的图像;获取一张参考图像后,存储在存储器中,可在需要时获得参考图像的大小信息、参考图像中的选定点的位置信息、色值信息等信息。
在步骤S520处,获得利用可摄像设备获取的含有参考图像实物的第一图像A;参考图像实物指一幅以实物形式存在的参考图像,如一张打印的参考图像,或一张印刷的参考图像;如果参考图像是一张以实物拍摄的照片,则参考图像实物可以是参考图像中的实物。
在步骤S530处,获得利用可摄像设备获取的含有参考图像实物的第二图像B。
在步骤S540处,利用参考图像S、第一图像A、第二图像B获得参考图像S至第二图像B的单应矩阵并获得第一图像A至第二图像B的单应矩阵
可采用不同的方法获得和本实施例采用S541-S5410所述的方式获得之。
在步骤S541利用特征点检测算法对参考图像S进行计算,获得参考图像S中的特征点及其位置;特征点检测算法可以是FAST(Features from Accelerated Segment Test,基于加速分割的检测特征)或者Harris(Harris Corner Detector,哈尔斯角点检测算法)角点检测法等方法;一般获得的特征点为多个。
在步骤S542处,利用特征点检测算法对第二图像B进行计算,获得第二图像B中的特征点及其位置。
在步骤S543处,利用第一类特征点匹配算法获得参考图像S的特征点在第二图像B中的匹配点及其位置;所述第一类特征点匹配算法包括Sift,Surf等功能类似的特征点匹配算法。
在步骤S544,利用参考图像的特征点和第二图像B中的匹配点构成匹配点对;优选的,可采用Prosac算法或Ransac算法从所述匹配点对中排除误匹配点对。
在步骤S545处,基于所述匹配点对,获得参考图像至第二图像B的单应矩阵
在步骤S546处,利用特征点检测算法对第一图像A进行计算,获得第一图像A中的特征点及其位置。
在步骤S547处,利用第一类特征点匹配算法获得参考图像S的特征点在第一图像A中的匹配点及其位置。
在步骤S548处,利用参考图像的特征点和第一图像A中的匹配点构成匹配点对;优选的,可采用Prosac算法或Ransac算法从所述匹配点对中排除误匹配点对。
在步骤S549处,基于所述匹配点对,获得参考图像至第一图像A的单应矩阵
在步骤S5410处,获得第一图像A至第二图像B的单应矩阵
在步骤S550处,计算预测图像的预测单应矩阵
下面,参见图6,其图示了如何利用参考图像、预测图像的预测单应矩阵,获得参考图像的特征点在当前图像的匹配点的方法的流程。该方法描述了在一般情况下如何利用参考图像获得预测单应矩阵,以此获得匹配点。
在步骤S601处,获取一张参考图像S(本实施例中的参考图像皆指此参考图像,为方便标记,将参考图像记为符号S,在必要时使用)。参考图像可以是预先存储在设备中,或者可以是通过可摄像设备拍摄的一张图像,或其他方式获取的图像;获取一张参考图像后,即意味着在本方法中,可在需要时获得参考图像的大小信息、参考图像中的选定点的位置信息、色值信息等信息。
在步骤S602处,获得以可摄像设备获取的一张含有参考图像实物的当前图像。参考图像实物指一幅以实物形式存在的参考图像,如一张打印的参考图像,或一张印刷的参考图像,如果参考图像是一张以当前实物拍摄的照片,则参考图像实物可以是参考图像所指的当前实物。
在步骤S603处,获得此参考图像中的特征点及其位置。一般采用特征点检测算法对参考图像进行检测,以获得特征点的位置;特征点检测算法可以是FAST或者Harris角点检测法等方法;一般获得的特征点为多个;例如,获得了6个特征点。
在步骤S604处,基于所述参考图像获得预测图像的预测单应矩阵P。预测图像是一幅预估的图像,利用预测图像可在预测图像的基础上进行参考图像的特征点的匹配点计算,减少计算量,增快计算速度。要获得预测图像首先要获得预测图像的单应矩阵P。可以以不同的硬件操作与计算规则的组合获得预测单应矩阵P;本实施例优选图5所述方式获得预测单应矩阵P,图5中所指参考图像与本实施例中所指参考图像为同一幅。
在步骤S605处,利用预测单应矩阵P对参考图像中的预定点的位置进行变换,获得参考图像中的预定点在预测图像中的预测位置。一般,所述预定点为参考图像的全部点,即获得参考图像全部点在预测图像中的预测位置。
在步骤S606处,基于所述预定点的预测位置和参考图像中的预定点的相应色值,获得预测图像。
在步骤S607处,以预测单应矩阵P对参考图像中的特征点的位置进行变换,获得参考图像的特征点在预测图像中的预测位置;例如:对6个特征点的位置进行变换,获得了6个特征点在预测图像中的6个预测位置。
在步骤S608处,在所述各特征点在预测图像中的预测位置的周围以预定的大小和形状截取预测图像的一部分作为各特征点的相应的图像匹配块。例如,已获得参考图像的特征点在预测图像中的6个预测位置,则以每个预测位置为中心,以9×9个像素截取预测图像,即获得了6个图像匹配块,每个图像匹配块为9×9像素。
在步骤S609处,以特征点在预测图像中的预测位置在当前图像中找到相应位置。例如,已获得了预测图像中的6个特征点的6个预测位置,在当前图像找到相应的6个位置。
在步骤S610处,在当前图像中各相应位置的周围,在预先设定的范围内,以相应的图像匹配块为标准,利用第二类特征点匹配算法(例如:模版匹配法、交叉相关法或其他功能类似的特征点匹配算法、本实施例优选归一化交叉相关法)获得参考图像的特征点在当前图像中的匹配点及其位置。例如,在步骤S609中在当前图像找到了6个相应位置;对其中1个位置,在其周围预设15×15像素的范围,在范围内,利用步骤S608所获得的相应9×9像素的图像匹配块,利用特征点匹配算法找到1个匹配点,即获得匹配点在当前图像中的1个位置;以上述同样方式找到其余5个匹配点及其在当前图像中的5个位置。
参见图7,其图示了本申请的获得从参考图像至当前图像的单应矩阵的方法的另一实施例。对本方法的步骤中与上述参照图6描述的方法中功能相同的步骤,其技术细节也如上述参照图6描述的方法中相应步骤所述,不再赘述。该方法包括以下步骤。
在步骤S701处,获取一张参考图像S(本实施例中的参考图像皆指此参考图像,为方便标记,将参考图像记为符号S,在必要时使用)。
在步骤S702处,获得以可摄像设备获取的一张含有参考图像实物的当前图像。
在步骤S703处,获得参考图像中的特征点及其位置。
在步骤S704处,获得参考图像中的特征点在当前图像中的匹配点及其位置;可采用不同的方式获得参考图像的特征点在当前图像中的匹配点,本实施例优选采用图6及其方法所述方式,图6及其方法中所述参考图像、当前图像分别与本实施例中所述参考图像、当前图像相同。
在步骤S705处,利用参考图像中的特征点和所述当前图像中的匹配点构成匹配点对;即由步骤S703获得的参考图像的特征点在参考图像中的位置与步骤S704获得的当前图像中的匹配点在当前图像中的位置构成匹配点对。例如:步骤S703中获得6个特征点位置,其中一个特征点在参考图像中的位置为(3,9),步骤S704获得6个匹配点位置,与上述特征点相应匹配点在当前图像的位置为(2,8),则[(3,9);(2,8)]构成1个匹配点对,以同样方式获得其余5个匹配点对,共6个匹配点对。优选的,可以再获得上述匹配点对后,采用Prosac或Ransac算法排除错误点对。例如,已获得6个匹配点对;采用Prosac或Ransac算法可排除其中1个错误的匹配点对,剩余5个匹配点对。
在步骤S706处,以匹配点对获得从参考图像至当前图像的单应矩阵H。优选的,可采用奇异值分解算法,或LM迭代算法,或高斯牛顿算法计算H。例如;在步骤S705中获得了5个匹配点对,采用奇异值分解算法计算获得H。
下面,将描述图8,其图示了本申请的一种基于标识码的三维交互的系统的方框图。该系统可以包括标识码获取与识别模块801、参考图像获取模块802、位置与姿态获取模块803、以及交互模块804。
标识码获取与识别模块801可以用于获得可摄像设备拍摄的包含标识码实物的图像,并识别标识码所对应的物品信息。参考图像获取模块802可以用于获取与所述标识码相关的参考图像以及该参考图像的特征点。位置与姿态获取模块803可以用于基于所述参考图像和所述特征点,计算并获得可摄像设备相对于标识码实物的位置和/或姿态信息。交互模块804可以用于基于所述可摄像设备相对于标识码实物的位置和/或姿态与所述标识码对应的物品信息,进行三维交互。
优选地,所述交互模块804进一步被配置成:基于由物品信息获得物品的三维图像,将所述三维图像叠加到可摄像设备拍摄的当前图像中的标识码上或标识码所在的物品位置上。
优选地,所述交互模块804进一步被配置成:利用连续帧可摄像设备拍摄的标识码实物的图像连续获得可摄像设备相对于标识码实物的位置和姿态,从而获得可摄像设备与标识码或标识码所在实物的相对移动速度或加速度或两者,以预定方式将所述移动速度或加速度或两者传递到用户界面。
优选地,所述参考图像获取模块802被配置成:获得利用可摄像设备获取的画面中含有标识码实物的初始图像,基于初始图像获得参考图像;以及利用特征点检测算法对参考图像进行计算,获得参考图像中的特征点及其位置。
优选地,所述位置与姿态获取模块803被配置成:获得可摄像设备拍摄的包含标识码实物的当前图像;基于所述参考图像和当前图像,获得从参考图像至当前图像的单应矩阵;以及基于所述单应矩阵,获得可摄像设备相对于标识码实物的位置和/或姿态信息。
优选地,基于所述参考图像和当前图像,获得从参考图像至当前图像单应矩阵包括:获得标识码在初始图像中4个顶点的位置;以参考图像的4个顶点与初始图像中标识码的4个顶点构成匹配点对;以及基于匹配点对获得从参考图像变换到当前图像的单应矩阵。
优选地,基于所述参考图像和当前图像、获得从参考图像至当前图像的单应矩阵包括:利用特征点匹配算法获得参考图像的特征点在当前图像中的匹配点;利用参考图像中的特征点和所述当前图像中的匹配点构成匹配点对;以及以所述匹配点对获得从参考图像至到当前图像的单应矩阵。
本申请的系统所包括的各个模块的具体实施与本申请的方法中的步骤的具体实施是相对应的,为了不模糊本申请,在此省略对各个模块的具体细节进行描述。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (23)
1.一种基于标识码的三维交互的方法,其特征在于,包括:
获得可摄像设备拍摄的包含标识码实物的当前图像,识别标识码并获得标识码所对应的物品信息;
获取与所述标识码相关的参考图像,以及利用特征点检测算法对所述参考图像进行计算,获取该参考图像的特征点,其中,所述参考图像为预先存储的与所述标识码相关的图像,或者,为基于所述包含标识码实物的当前图像生成的标准标识码图像;
基于所述参考图像和所述特征点,计算并获得可摄像设备相对于标识码实物的位置和/或姿态信息;以及
基于所述可摄像设备相对于标识码实物的位置和/或姿态与所述标识码对应的物品信息,进行三维交互;
其中,获得可摄像设备相对于标识码实物的位置和/或姿态信息包括:
计算获得参考图像中的特征点在预测图像中的预测位置,所述预测图像是基于当前图像之前已经获取的图像利用预定算法计算获得的用于预测当前图像的图像;
以参考图像中的特征点在预测图像中的预测位置在当前图像中找到相应预定位置;
基于找到的相应预定位置,并利用特征点匹配算法获得参考图像的特征点在当前图像中的匹配点,基于所述匹配点,获得从参考图像至当前图像的单应矩阵;
基于所述单应矩阵,获得可摄像设备相对于标识码实物的位置和/或姿态信息。
2.根据权利要求1所述方法,其特征在于,所述物品信息包括通过识别标识码得到的基本信息。
3.根据权利要求2所述方法,其特征在于,所述物品信息包括依据所述基本信息通过本地数据库或网络获得进一步的用于交互的目标数据,所述目标数据中包括所述物品信息对应的三维图像。
4.根据权利要求1所述方法,其特征在于,所述三维交互包括:
基于由物品信息获得物品的三维图像,将所述三维图像叠加到可摄像设备拍摄的当前图像中的标识码上或标识码所在的物品位置上。
5.根据权利要求1所述方法,其特征在于,所述三维交互包括:
连续获得可摄像设备相对于标识码实物的位置和姿态,从而获得可摄像设备与标识码或标识码所在实物的相对移动速度或加速度或两者,以预定方式将所述移动速度或加速度或两者传递到用户界面。
6.根据权利要求1所述的方法,其特征在于,获取与所述标识码相关的参考图像以及该参考图像的特征点包括:
获得利用可摄像设备获取的画面中含有标识码实物的初始图像,基于初始图像获得参考图像,
利用特征点检测算法对参考图像进行计算,获得参考图像中的特征点及其位置。
7.根据权利要求6所述的方法,其特征在于,基于所述初始图像获得参考图像包括:
将所述初始图像作为参考图像,或者基于所述物品信息按照标识码生成算法生成一幅标准标识码,将所述标准标识码作为参考图像。
8.根据权利要求1所述的方法,其特征在于,基于所述参考图像和当前图像,获得从参考图像至当前图像单应矩阵包括:
获得标识码在初始图像中4个顶点的位置;
以参考图像的4个顶点与初始图像中标识码的4个顶点构成匹配点对; 以及
基于匹配点对获得从参考图像变换到当前图像的单应矩阵。
9.根据权利要求1所述的方法,其特征在于,基于所述匹配点,获得从参考图像至当前图像的单应矩阵包括:
利用参考图像中的特征点和所述当前图像中的匹配点构成匹配点对;以及
以所述匹配点对获得从参考图像至到当前图像的单应矩阵。
10.根据权利要求1所述方法,其特征在于,基于找到的相应预定位置,并利用特征点匹配算法获得参考图像的特征点在当前图像中的匹配点,包括:
在所述各参考图像中的特征点在预测图像中的预测位置的周围以预定的大小和形状截取预测图像的一部分作为每个特征点的相应的预定图像匹配块;以及
在当前图像各预定位置的周围,在预先设定的范围内,以预定的图像匹配块为标准,利用第二类特征点匹配算法获得参考图像的特征点在当前图像中的匹配点。
11.根据权利要求10所述方法,其特征在于,以如下方式获得预测图像及参考图像中的特征点在预测图像中的预测位置:
获得可摄像设备拍摄的含有标识码实物的第一图像A,
获得可摄像设备拍摄的含有标识码实物的第二图像B,
所述第一图像A,第二图像B为在当前图像之前获取的图像,
利用参考图像、第一图像A、第二图像B获得参考图像至第二图像B的单应矩阵第一图像A至第二图像B的单应矩阵
计算预测图像的预测单应矩阵
以预测单应矩阵P对参考图像进行变换,获得预测图像,
以预测单应矩阵P对参考图像中的特征点的位置进行变换,获得参考图像中的特征点在预测图像中的预测位置。
12.根据权利要求11所述方法,其特征在于,
所述第二图像B为当前图像的前一帧图像,所述第一图像A为当前图像的前两帧图像。
13.一种基于标识码的三维交互的系统,其特征在于,包括:
标识码获取与识别模块,用于获得可摄像设备拍摄的包含标识码实物的当前图像,识别标识码并获得标识码所对应的物品信息;
参考图像获取模块,用于获取与所述标识码相关的参考图像,以及利用特征点检测算法对所述参考图像进行计算,获取该参考图像的特征点,其中,所述参考图像为预先存储的与所述标识码相关的图像,或者,为基于所述包含标识码实物的当前图像生成的标准标识码图像;
位置与姿态获取模块,用于基于所述参考图像和所述特征点,计算并获得可摄像设备相对于标识码实物的位置和/或姿态信息;以及
交互模块,用于基于所述可摄像设备相对于标识码实物的位置和/或姿态与所述标识码对应的物品信息,进行三维交互;
其中,位置与姿态获取模块被配置成:
计算获得参考图像中的特征点在预测图像中的预测位置,所述预测图像是基于当前图像之前已经获取的图像利用预定算法计算获得的用于预测当前图像的图像;
以参考图像中的特征点在预测图像中的预测位置在当前图像中找到相应预定位置;
基于找到的相应预定位置,并利用特征点匹配算法获得参考图像的特征点在当前图像中的匹配点,基于所述匹配点,获得从参考图像至当前图像的 单应矩阵;
基于所述单应矩阵,获得可摄像设备相对于标识码实物的位置和/或姿态信息。
14.根据权利要求13所述的系统,其特征在于,所述交互模块进一步被配置成:
基于由物品信息获得物品的三维图像,将所述三维图像叠加到可摄像设备拍摄的当前图像中的标识码上或标识码所在的物品位置上。
15.根据权利要求13所述的系统,其特征在于,所述交互模块进一步被配置成包括:
连续获得可摄像设备相对于标识码实物的位置和姿态,从而获得可摄像设备与标识码或标识码所在实物的相对移动速度或加速度或两者,以预定方式将所述移动速度或加速度或两者传递到用户界面。
16.根据权利要求13所述的系统,其特征在于,参考图像获取模块被配置成:
获得利用可摄像设备获取的画面中含有标识码实物的初始图像,基于初始图像获得参考图像;以及
利用特征点检测算法对参考图像进行计算,获得参考图像中的特征点及其位置。
17.根据权利要求13所述的系统,其特征在于,基于所述参考图像和当前图像,获得从参考图像至当前图像单应矩阵包括:
获得标识码在初始图像中4个顶点的位置;
以参考图像的4个顶点与初始图像中标识码的4个顶点构成匹配点对;以及
基于匹配点对获得从参考图像变换到当前图像的单应矩阵。
18.根据权利要求13所述的系统,其特征在于,基于所述匹配点,获得从参考图像至当前图像的单应矩阵包括:
利用参考图像中的特征点和所述当前图像中的匹配点构成匹配点对;以及
以所述匹配点对获得从参考图像至到当前图像的单应矩阵。
19.一种利用参考图像获得预测图像的预测单应矩阵的方法,其特征在于包括以下步骤:
获取一张参考图像S;
获得利用可摄像设备获取的含有参考图像实物的第一图像A,其中,所述参考图像实物为以实物形式存在的参考图像,
获得利用可摄像设备获取的含有参考图像实物的第二图像B,
利用参考图像S、第一图像A、第二图像B获得参考图像S至第二图像B的单应矩阵并获得第一图像A至第二图像B的单应矩阵
计算预测图像的预测单应矩阵
其中,采用如下步骤获得单应矩阵
利用特征点检测算法分别对参考图像S和第二图像B进行计算,获得参考图像S中的特征点及其位置和第二图像B中的特征点及其位置;
计算获得参考图像S中的特征点在预测图像中的预测位置,所述预测图像是基于第二图像B之前已经获取的图像利用预定算法计算获得的用于预测第二图像B的图像;
以参考图像S中的特征点在预测图像中的预测位置在第二图像B中找到相应预定位置;
基于找到的相应预定位置,并利用特征点匹配算法获得参考图像S的特 征点在第二图像B中的匹配点及其位置;
基于参考图像S的特征点在第二图像B中的匹配点及其位置,获得参考图像至第二图像的单应矩阵
20.如权利要求19所述方法,其特征在于,基于参考图像S的特征点在第二图像B中的匹配点及其位置,获得参考图像至第二图像的单应矩阵 包括:
利用参考图像的特征点和第二图像B中的匹配点构成匹配点对;
基于所述匹配点对,获得参考图像至第二图像的单应矩阵
21.权利要求19或20所述方法,其特征在于,采用如下方式获得第一图像至第二图像的单应矩阵
利用特征点检测算法对参考图像S进行计算,获得参考图像S中的特征点及其位置;
利用特征点检测算法对第一图像A进行计算,获得第一图像A中的特征点及其位置;
利用特征点匹配算法获得参考图像S的特征点在第一图像A中的匹配点及其位置;
利用参考图像的特征点和第一图像A中的匹配点构成匹配点对;
基于所述匹配点对,获得参考图像至第一图像A的单应矩阵
获得第一图像A至第二图像B的单应矩阵
22.如权利要求20所述的方法,其特征在于,在利用参考图像的特征点和第二图像B中的匹配点构成的步骤中采用Prosac算法或Ransac算法排除误匹配点对,并基于经过排除处理的匹配点对,获得参考图像至第二图像的单应矩阵
23.如权利要求21所述的方法,其特征在于,在利用参考图像的特征点和第一图像A中的匹配点构成匹配点对的步骤中采用Prosac算法或Ransac算法排除误匹配点对,并基于经过排除处理的匹配点对,获得参考图像至第一图像A的单应矩阵
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310047346.2A CN103971400B (zh) | 2013-02-06 | 2013-02-06 | 一种基于标识码的三维交互的方法和系统 |
TW102126657A TWI587205B (zh) | 2013-02-06 | 2013-07-25 | Method and system of three - dimensional interaction based on identification code |
US14/172,654 US9195871B2 (en) | 2013-02-06 | 2014-02-04 | Information processing method and system |
PCT/US2014/014792 WO2014123954A2 (en) | 2013-02-06 | 2014-02-05 | Information processing method and system |
EP14710073.9A EP2954390B1 (en) | 2013-02-06 | 2014-02-05 | Image-based information processing method and system |
EP20156185.9A EP3674853A1 (en) | 2013-02-06 | 2014-02-05 | Image-based information processing method and system |
US14/885,232 US9430835B2 (en) | 2013-02-06 | 2015-10-16 | Information processing method and system |
US15/210,034 US9704247B2 (en) | 2013-02-06 | 2016-07-14 | Information processing method and system |
US15/618,469 US10121099B2 (en) | 2013-02-06 | 2017-06-09 | Information processing method and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310047346.2A CN103971400B (zh) | 2013-02-06 | 2013-02-06 | 一种基于标识码的三维交互的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103971400A CN103971400A (zh) | 2014-08-06 |
CN103971400B true CN103971400B (zh) | 2018-02-02 |
Family
ID=51240847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310047346.2A Expired - Fee Related CN103971400B (zh) | 2013-02-06 | 2013-02-06 | 一种基于标识码的三维交互的方法和系统 |
Country Status (5)
Country | Link |
---|---|
US (4) | US9195871B2 (zh) |
EP (2) | EP2954390B1 (zh) |
CN (1) | CN103971400B (zh) |
TW (1) | TWI587205B (zh) |
WO (1) | WO2014123954A2 (zh) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101757080B1 (ko) | 2012-07-13 | 2017-07-11 | 소프트키네틱 소프트웨어 | 손위의 단일한 관심 포인트를 이용한 인간-컴퓨터 제스처 기반 동시 상호작용을 위한 방법 및 시스템 |
CN103971400B (zh) * | 2013-02-06 | 2018-02-02 | 阿里巴巴集团控股有限公司 | 一种基于标识码的三维交互的方法和系统 |
EP2891950B1 (en) | 2014-01-07 | 2018-08-15 | Sony Depthsensing Solutions | Human-to-computer natural three-dimensional hand gesture based navigation method |
US9846948B2 (en) * | 2014-07-09 | 2017-12-19 | Ditto Labs, Inc. | Systems, methods, and devices for image matching and object recognition in images using feature point optimization |
JP6635037B2 (ja) * | 2014-08-01 | 2020-01-22 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
CN105515935B (zh) * | 2014-09-22 | 2019-09-27 | 阿里巴巴集团控股有限公司 | 一种交互信息中doi的处理方法及装置 |
US20180129846A1 (en) * | 2014-12-19 | 2018-05-10 | Gionee Communication Equipment Co.,Ltd. Shenzhen | Two dimension code operating method and terminal |
US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
US11308642B2 (en) * | 2017-03-30 | 2022-04-19 | Visualimits Llc | Automatic region of interest detection for casino tables |
US10650550B1 (en) * | 2016-03-30 | 2020-05-12 | Visualimits, Llc | Automatic region of interest detection for casino tables |
US10217312B1 (en) * | 2016-03-30 | 2019-02-26 | Visualimits, Llc | Automatic region of interest detection for casino tables |
CN105868733A (zh) * | 2016-04-21 | 2016-08-17 | 腾讯科技(深圳)有限公司 | 一种人脸活体验证方法及装置 |
KR101768532B1 (ko) * | 2016-06-08 | 2017-08-30 | 주식회사 맥스트 | 증강 현실을 이용한 화상 통화 시스템 및 방법 |
CN106331639B (zh) * | 2016-08-31 | 2019-08-27 | 浙江宇视科技有限公司 | 一种自动确定摄像机位置的方法及装置 |
FR3055446A1 (fr) * | 2016-09-01 | 2018-03-02 | Arjo Solutions | Procede et syteme de generation de la signature d'une surface |
US9871774B1 (en) * | 2016-09-29 | 2018-01-16 | International Business Machines Corporation | Secured file transfer management on augmented reality (AR) and virtual reality (VR) devices |
US10453204B2 (en) * | 2016-12-06 | 2019-10-22 | Adobe Inc. | Image alignment for burst mode images |
US10417738B2 (en) | 2017-01-05 | 2019-09-17 | Perfect Corp. | System and method for displaying graphical effects based on determined facial positions |
CN107633526B (zh) * | 2017-09-04 | 2022-10-14 | 腾讯科技(深圳)有限公司 | 一种图像跟踪点获取方法及设备、存储介质 |
CN109525538B (zh) * | 2017-09-20 | 2021-08-24 | 丰盛数位有限公司 | 用于增强现实认证的互动方法及系统 |
TWI649998B (zh) * | 2017-11-21 | 2019-02-01 | 鴻海精密工業股份有限公司 | 立體影像顯示方法及裝置 |
CN108022301B (zh) * | 2017-11-23 | 2020-05-19 | 腾讯科技(上海)有限公司 | 一种图像处理方法、装置以及存储介质 |
CN108711188A (zh) * | 2018-02-24 | 2018-10-26 | 石化盈科信息技术有限责任公司 | 一种基于ar的工厂实时数据展示方法及系统 |
CN110544280B (zh) * | 2018-05-22 | 2021-10-08 | 腾讯科技(深圳)有限公司 | Ar系统及方法 |
EP3667236B1 (en) * | 2018-12-13 | 2023-09-06 | Ordnance Survey Limited | A method of determining position data |
CN109815764B (zh) * | 2019-01-16 | 2022-04-08 | 王诗会 | 图像内部机读信息的读取方法及系统 |
CN111754449A (zh) * | 2019-03-27 | 2020-10-09 | 北京外号信息技术有限公司 | 基于光通信装置的场景重构方法和相应的电子设备 |
CN110210584B (zh) * | 2019-05-14 | 2022-10-21 | 武汉工程大学 | 一种基于改进surf复合算法的高速动态二维码识别方法 |
CN110852951B (zh) * | 2019-11-08 | 2023-04-07 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端设备及计算机可读存储介质 |
SG10201913798WA (en) * | 2019-12-30 | 2021-07-29 | Sensetime Int Pte Ltd | Image processing method and apparatus, and electronic device |
US11354883B2 (en) | 2019-12-30 | 2022-06-07 | Sensetime International Pte. Ltd. | Image processing method and apparatus, and electronic device |
CN111290676B (zh) * | 2020-03-02 | 2021-02-12 | 北京金山安全软件有限公司 | 客户端中指定区域的图片的截取方法、装置及设备 |
EP3893144A1 (en) * | 2020-04-06 | 2021-10-13 | Deutsche Post AG | Unique object face id |
CN113853577A (zh) * | 2020-04-28 | 2021-12-28 | 深圳市大疆创新科技有限公司 | 图像的处理方法及装置、可移动平台及其控制终端、计算机可读存储介质 |
US11416079B2 (en) | 2020-12-03 | 2022-08-16 | Motorola Mobility Llc | Snap motion gesture detection and response |
JP2022145190A (ja) * | 2021-03-19 | 2022-10-03 | 株式会社リコー | 情報処理システム、位置管理方法、情報処理装置及びプログラム |
CN113051953A (zh) * | 2021-04-08 | 2021-06-29 | 广州百视信通智能科技有限公司 | 一种基于二维码定位的ar虚拟商品展示方法 |
CN113128448B (zh) * | 2021-04-29 | 2024-05-24 | 平安国际智慧城市科技股份有限公司 | 基于肢体识别的视频匹配方法、装置、设备及存储介质 |
EP4254336A1 (en) * | 2022-03-30 | 2023-10-04 | Auki Labs AG | A computer implemented method for locating an electronic device in a coordinate system |
CN115356840A (zh) * | 2022-09-01 | 2022-11-18 | 广东粤港澳大湾区黄埔材料研究院 | 一种显微镜的锁焦方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102800065A (zh) * | 2012-07-13 | 2012-11-28 | 苏州梦想人软件科技有限公司 | 基于二维码识别跟踪的增强现实设备及方法 |
CN102821323A (zh) * | 2012-08-01 | 2012-12-12 | 成都理想境界科技有限公司 | 基于增强现实技术的视频播放方法、系统及移动终端 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3086151B2 (ja) | 1995-05-18 | 2000-09-11 | シャープ株式会社 | 二次元バーコード処理機能付き情報処理装置 |
WO2001080112A1 (en) | 2000-04-18 | 2001-10-25 | Amaskorea Co., Ltd. | Method for producing identification code, and method and system for giving electronic notice service and electronic meter reading service by using the same |
US6634552B2 (en) * | 2001-09-26 | 2003-10-21 | Nec Laboratories America, Inc. | Three dimensional vision device and method, and structured light bar-code patterns for use in the same |
KR100560735B1 (ko) | 2002-05-06 | 2006-03-14 | 이승철 | 식별코드를 이용한 맵정보 검색 방법 |
US7231063B2 (en) | 2002-08-09 | 2007-06-12 | Intersense, Inc. | Fiducial detection system |
US8073196B2 (en) * | 2006-10-16 | 2011-12-06 | University Of Southern California | Detection and tracking of moving objects from a moving platform in presence of strong parallax |
US20100020970A1 (en) * | 2006-11-13 | 2010-01-28 | Xu Liu | System And Method For Camera Imaging Data Channel |
CN101339654A (zh) | 2007-07-04 | 2009-01-07 | 北京威亚视讯科技有限公司 | 一种基于标志点的增强现实三维注册方法和系统 |
US20100045701A1 (en) * | 2008-08-22 | 2010-02-25 | Cybernet Systems Corporation | Automatic mapping of augmented reality fiducials |
US10242456B2 (en) * | 2011-06-23 | 2019-03-26 | Limitless Computing, Inc. | Digitally encoded marker-based augmented reality (AR) |
CN102254345A (zh) | 2011-06-30 | 2011-11-23 | 上海大学 | 基于云计算的自然特征注册方法 |
US20130068839A1 (en) * | 2011-09-21 | 2013-03-21 | Symbol Technologies, Inc. | Method of and apparatus for imaging targets by utilizing multiple imaging modules with on-board local microprocessors |
US20140210857A1 (en) * | 2013-01-28 | 2014-07-31 | Tencent Technology (Shenzhen) Company Limited | Realization method and device for two-dimensional code augmented reality |
CN103971400B (zh) * | 2013-02-06 | 2018-02-02 | 阿里巴巴集团控股有限公司 | 一种基于标识码的三维交互的方法和系统 |
-
2013
- 2013-02-06 CN CN201310047346.2A patent/CN103971400B/zh not_active Expired - Fee Related
- 2013-07-25 TW TW102126657A patent/TWI587205B/zh not_active IP Right Cessation
-
2014
- 2014-02-04 US US14/172,654 patent/US9195871B2/en active Active
- 2014-02-05 WO PCT/US2014/014792 patent/WO2014123954A2/en active Application Filing
- 2014-02-05 EP EP14710073.9A patent/EP2954390B1/en active Active
- 2014-02-05 EP EP20156185.9A patent/EP3674853A1/en not_active Withdrawn
-
2015
- 2015-10-16 US US14/885,232 patent/US9430835B2/en active Active
-
2016
- 2016-07-14 US US15/210,034 patent/US9704247B2/en active Active
-
2017
- 2017-06-09 US US15/618,469 patent/US10121099B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102800065A (zh) * | 2012-07-13 | 2012-11-28 | 苏州梦想人软件科技有限公司 | 基于二维码识别跟踪的增强现实设备及方法 |
CN102821323A (zh) * | 2012-08-01 | 2012-12-12 | 成都理想境界科技有限公司 | 基于增强现实技术的视频播放方法、系统及移动终端 |
Non-Patent Citations (3)
Title |
---|
: Designing Augmented Reality Environments with Visual Tags;Jun Rekimot等;《PROCEEDINGS of DARE 2000 ON DESIGNING AUGMENTED REALITY ENVIRONMENTS》;20000412;第2、8页 * |
Markerless Tracking using Planar Structures in the Scene;Gillers Simon等;《Proceedings IEEE and ACM International Symposium on Augmented Reality》;20001206;第3.1节、第4.1节 * |
Robust and unobstructive marker tracking on mobile phones;Daniel Wagner等;《7thIEEE/ACM INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY》;20080915;第4.1节,图1 * |
Also Published As
Publication number | Publication date |
---|---|
EP2954390B1 (en) | 2020-04-01 |
CN103971400A (zh) | 2014-08-06 |
US20140217178A1 (en) | 2014-08-07 |
WO2014123954A2 (en) | 2014-08-14 |
US9195871B2 (en) | 2015-11-24 |
US20160321814A1 (en) | 2016-11-03 |
TWI587205B (zh) | 2017-06-11 |
EP2954390A2 (en) | 2015-12-16 |
US20160035097A1 (en) | 2016-02-04 |
US10121099B2 (en) | 2018-11-06 |
TW201432548A (zh) | 2014-08-16 |
US9430835B2 (en) | 2016-08-30 |
EP3674853A1 (en) | 2020-07-01 |
US20170277989A1 (en) | 2017-09-28 |
WO2014123954A3 (en) | 2014-10-16 |
US9704247B2 (en) | 2017-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103971400B (zh) | 一种基于标识码的三维交互的方法和系统 | |
US11003956B2 (en) | System and method for training a neural network for visual localization based upon learning objects-of-interest dense match regression | |
US20220351473A1 (en) | Mobile augmented reality system | |
CN107330439B (zh) | 一种图像中物体姿态的确定方法、客户端及服务器 | |
US9177381B2 (en) | Depth estimate determination, systems and methods | |
EP2614487B1 (en) | Online reference generation and tracking for multi-user augmented reality | |
US9807263B2 (en) | Mobile document capture assistance using augmented reality | |
EP3206163B1 (en) | Image processing method, mobile device and method for generating a video image database | |
WO2017041731A1 (en) | Markerless multi-user multi-object augmented reality on mobile devices | |
Choi et al. | Depth analogy: Data-driven approach for single image depth estimation using gradient samples | |
US20100309226A1 (en) | Method and system for image-based information retrieval | |
CN109683699A (zh) | 基于深度学习实现增强现实的方法、装置及移动终端 | |
AU2013273829A1 (en) | Time constrained augmented reality | |
CA2898668A1 (en) | Realization method and device for two-dimensional code augmented reality | |
WO2021167586A1 (en) | Systems and methods for object detection including pose and size estimation | |
JP6017343B2 (ja) | データベース生成装置、カメラ姿勢推定装置、データベース生成方法、カメラ姿勢推定方法、およびプログラム | |
KR101586071B1 (ko) | 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법 | |
Merino‐Gracia et al. | Real‐time text tracking in natural scenes | |
CN116843754A (zh) | 一种基于多特征融合的视觉定位方法及系统 | |
JP5975484B2 (ja) | 画像処理装置 | |
KR101334980B1 (ko) | 증강현실 콘텐츠 저작 장치 및 증강현실 콘텐츠 저작 방법 | |
CN115862147A (zh) | 姿态估计方法、装置、电子设备和存储介质 | |
Kang et al. | Development of tangible user interface for linking context modeling and 3D map in smartphone | |
CN117063206A (zh) | 用于在增强现实观看环境中对齐虚拟物体的装置和方法 | |
Holzmann et al. | Vision-based distance and position estimation of nearby objects for mobile spatial interaction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1197487 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: GR Ref document number: 1197487 Country of ref document: HK |
|
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180202 |
|
CF01 | Termination of patent right due to non-payment of annual fee |