CN105023266B - 增强现实实现方法、装置和终端设备 - Google Patents
增强现实实现方法、装置和终端设备 Download PDFInfo
- Publication number
- CN105023266B CN105023266B CN201410178628.0A CN201410178628A CN105023266B CN 105023266 B CN105023266 B CN 105023266B CN 201410178628 A CN201410178628 A CN 201410178628A CN 105023266 B CN105023266 B CN 105023266B
- Authority
- CN
- China
- Prior art keywords
- cloud data
- complete
- information
- field picture
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种增强现实实现方法、装置和终端设备，用以在用户拍摄的图像上实时展示对应的AR信息，并提高AR信息展示的准确性和真实性。其中，增强现实实现方法包括：获取拍摄对象的图像序列；从图像序列中选择至少一帧关键帧图像，关键帧图像为能够恢复出所述拍摄对象的局部三维点云数据的图像，相邻的关键帧图像满足预设的图像间隔距离；并确定拍摄时间最晚的关键帧图像为当前关键帧图像；根据当前关键帧图像或者选择出的至少一帧关键帧图像确定拍摄对象的完整三维点云数据；获得待展示的AR信息；根据完整三维点云数据和当前关键帧图像，确定AR信息在当前帧图像上的展示方位；根据展示方位，在当前帧图像上展示AR信息。
Description
技术领域
本发明涉及信息处理技术领域，尤其涉及一种增强现实实现方法、装置和终端设备。
背景技术
增强现实(AR，Augmented Reality)是利用虚拟拍摄对象对真实场景进行现实增强的技术。增强现实保留用户实际所处的环境作为用户的主要感知和交互环境，通过将文本、二维图形、三维模型等虚拟生成的信息标注在显示屏上所显示的用户实际所处环境中的物体上，从而实现对用户所处的环境的注释、说明，或者增强现实环境的效果。如图1所示，用户开启移动终端摄像头并将该摄像头对准现实环境，此时，用户移动终端屏幕会显示当前现实场景中的存在物(如建筑物、街道等)，移动终端将拍摄的图像序列发送至网络侧服务器，网络侧服务器根据获取的图像进行匹配，若匹配到这些存在物的增强性、说明性或描述性信息，比如建筑物的名称、建筑物中的商家信息等等，将其返回给移动终端，这样，移动终端屏幕上不仅显示有当前现实场景中的存在物，还会显示这些存在物的说明性、描述性或增强性的信息，这使得用户能够方便、快捷地知道现实场景存在物更多更丰富的信息，为用户带来新的增强现实的应用体验。
从上述过程可知，对用户所处环境的准确定位是AR应用的关键技术之一，只有准确定位用户所处环境，才能在网络侧服务器匹配到准确的AR信息。但是现有的移动定位技术，包括从定位方法进行分类的GPS定位技术、Wifi定位技术和基站定位技术以及从地图类型进行分类的栅格地图定位技术、三维地图定位技术和街景地图定位技术等，均无法满足AR中精准定位的需求。
为了提高定位技术的准确性，现有技术提出了以下解决方案：
一、基于图像识别的技术
通过图像识别方将用户所拍摄到的场景图像与地图数据库中预存的场景图像进行匹配，来读取地图数据库中预存的准确位置信息，同时在拍摄的场景图像上实时展示AR信息。但是该方法中，在展示AR信息时，只能针对识别出的图像进行展示，对于未识别的图像则无法查找对应的AR信息并展示。
二、通过移动设备自带的传感器如陀螺仪和加速度传感器确定方向，使用传统定位方法确定用户所处的位置，并载入对应的正确方位街景图像进行展示，展示的街景图像上有AR信息。但是这种方法中，由于看到的是固定的街景图像，因此不具有实时性。
三、通过移动设备自带的传感器如陀螺仪和加速度传感器确定方向，用传统定位方法确定用户所处的位置，直接在拍摄的图像上展示AR信息。这种方法中，由于传感器存在误差积累，所以对于拍摄一段时间或者有剧烈运动时确定出的用户所处的位置并不准确，导致展示出的AR信息也不准确。同时，这种方法适合较远处的物体，进出物体位置变化会更大，且放置的AR信息浮在物体上，使得AR信息展示不够真实。
综上，如何在用户拍摄的图像上实时并真实准确的展示对应的AR信息成为增强现实实现过程中亟待解决的技术问题之一。
发明内容
本发明实施例提供一种增强现实实现方法、装置和终端设备，用以在用户拍摄的图像上实时展示对应的AR信息，并提高AR信息展示的准确性和真实性。
本发明实施例提供一种增强现实信息展示方法，包括：
获取拍摄对象的图像序列；
从所述图像序列中选择至少一帧关键帧图像，其中，关键帧图像为能够恢复出所述拍摄对象的局部三维点云数据的图像，相邻的关键帧图像满足预设的图像间隔距离；并
确定拍摄时间最晚的关键帧图像为当前关键帧图像；
根据所述当前关键帧图像或者选择出的至少一帧关键帧图像确定所述拍摄对象的完整三维点云数据；
获得待展示的增强现实AR信息；
根据所述完整三维点云数据和所述当前关键帧图像，确定所述AR信息在当前帧图像上的展示方位；
根据所述展示方位，在所述当前帧图像上展示所述AR信息。
本发明实施例提供一种增强现实信息展示装置，包括：
获取单元，用于获取拍摄对象的图像序列；
选择单元，用于从所述图像序列中选择至少一帧关键帧图像，其中，关键帧图像为能够恢复出所述拍摄对象的局部三维点云数据的图像，相邻的关键帧图像满足预设的图像间隔距离；
第一确定单元，用于确定拍摄时间最晚的关键帧图像为当前关键帧图像；
第二确定单元，用于根据所述第一确定单元确定出的当前关键帧图像或者所述选择单元选择出的至少一帧关键帧图像确定所述拍摄对象的完整三维点云数据；
获得单元，用于获得待展示的增强现实AR信息；
展示单元，用于根据所述完整三维点云数据和所述关键帧图像，确定所述AR信息在当前帧图像上的展示方位；根据所述展示方位，在所述当前帧图像上展示所述AR信息。
本发明实施例提供一种终端设备，包括上述的增强现实实现装置。
本发明实施例提供的增强现实实现方法、装置和终端设备，在对拍摄对象进行拍摄的过程中，实时获取拍摄对象的图像序列并进行分析，以获得关键帧图像和该拍摄对象对应的完整三维点云数据，并根据拍摄对象的完整三维点云数据和关键帧图像确定出AR信息在当前帧上的展示方位并进行展示，由于根据AR信息在当前帧图像上的展示方位展示AR信息，因此，使得展示AR信息的位置更加准确且能够随着当前关键帧的变化，从不同的角度展示AR信息，使得展示的AR信息更加真实。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为现有技术中，增强现实应用示意图；
图2为本发明实施例中，增强现实实现方法的实施流程示意图；
图3为本发明实施例中，确定第一帧关键帧图像的流程示意图；
图4为本发明实施例中，获得拍摄对象对应的完整三维点云数据，并在当前帧上展示完整三维点云数据中包含的AR信息的流程示意图；
图5为本发明实施例中，增强现实实现装置的结构示意图。
具体实施方式
为了在用户拍摄的图像上实时展示AR信息，并提高AR信息展示的准确性和真实性，本发明实施例提供了一种增强现实实现方法、装置和终端设备。
以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
如图2所示，为终端侧设备实施增强现实实现方法的实施流程示意图，可以包括以下步骤：
S21、获取拍摄对象的图像序列。
具体实施时，用户可以通过手机等终端设备自带的摄像头拍摄周围环境，获得被拍摄对象的图像序列。本发明实施例中，用户可以通过移动，可以获取代表拍摄对象不同区域的图像序列。
S22、从获取的图像序列中选择至少一帧关键帧图像。
其中，关键帧图像为能够恢复出所述拍摄对象的局部三维点云数据的图像，且确定出的、相邻的关键帧图像之间满足预设的图像间隔距离。
较佳的，如图3所示，可以按照图3所示的流程确定第一帧关键帧图像：
S31、从获取的图像序列中选择间隔预设距离的两帧图像；
例如，可以选择获取的第一帧图像和与其间隔20帧的图像。
S32、分别提取每一帧图像的特征点；
具体实施时，可以采用特征点提取算法如尺度不变特征变换(SIFT，ScaleInvariant Feature Transform)算法、(SURF，Speeded-Up Robust Features)算法和方向性FAST和旋转BRIEF(ORB，Oriented FAST and Rotated BRIEF)等。
S33、匹配两帧图像的特征点，得到特征点对集合；
具体实施时，可以采用与特征点提取算法对应的匹配算法，如NORM_L2和NORM_HAMMING等，得到对应的特征点对集合。
具体实施时，获取的图像为二维图像，因此提取的特征点对也是二维的，另一方面，通过两个二维数据可以恢复出一个三维数据，假设一个特征点对为(A1，B1)，其对应的二维数据为((x1,y1),(x1',y1'))。
S34、判断根据提取的特征点对集合和拍摄该拍摄对象的拍摄装置的拍摄参数是否能够恢复出拍摄对象的局部三维点云数据，如果是，执行步骤S35，否则，执行步骤S36。
具体实施时，可以利用双视几何方法恢复局部三维点云数据。具体的，利用得到的特征点对集合求解基础矩阵F，然后对F进行分解，得到拍摄两帧图像时的相对位姿(用矩阵表示)，利用得到的相对位姿和拍摄装置的拍摄参数，对每一对特征点对计算其对应的三维数据。假设((x1,y1),(x1',y1'))对应的三维点云数据据为：(x1,y1,z1)，依次类推，可以得到提取到的其它特征点对对应的三维点云数据。具体实施时，需要至少7个特征点对可以求解出基础矩阵F，即在进行特征点对提取时需要至少提取到7个特征点对，如果提取到的特征点对少于7个，则无法得到拍摄两帧图像时的相对位姿。亦即根据该两帧图像无法恢复出拍摄对象的局部三维点云数据。
具体实施时，如果能够求解出F，且F能够成功分解出两帧图像的相对位姿，则确定能够恢复出拍摄对象的局部三维点云数据，否则，确定无法恢复出拍摄对象的局部三维点云数据。
S35、确定选择出的任一帧图像为第一关键帧图像，流程结束；
S36、从获取的图像序列中重新选择间隔预设距离的两帧图像，并执行步骤S32。
需要说明的是，本发明实施例中，关键帧图像是能够代表拍摄装置(例如本例中的移动终端)当前拍摄的局部区域的图像，如果产生了新的关键帧，则表明拍摄装置运动到了新的区域。因此，在确定出第一帧关键之后，后续确定出的关键帧需要满足以下至少一个条件：
1)与上一帧关键帧图像之间的拍摄时间间隔大于时间间隔预设值。
例如，可以设置两帧关键帧图像之间的时间间隔大于20s。
2)与上一帧关键帧图像之间的物理距离大于距离预设值。
具体实施时，两帧图像之间的物理距离可以通过图像的特征点对应的三维数点云据确定出。例如，可以设定两帧图像之间的物理距离大于1米。
3)与上一帧关键帧图像之间的重叠区域不超过区域预设值。
具体实施时，两帧图像之间的物理距离可以通过图像的特征点对应的三维数点云据确定出。例如，可以设定两帧图像之间的重叠区域不超过20％。
亦即，本发明实施例中，在确定出第一帧关键帧图像之后，在后续拍摄装置的运动过程中，拍摄到当前帧图像之后，可以选择该当前帧图像与当前关键帧图像进行计算，如果成功恢复出三维数据并满足上述至少一个条件，则选择当前帧图像为当前关键帧图像，继续此过程，可以得到一系列的关键帧图像，并将拍摄时间最晚的图像确定为当前关键帧图像。
S23、确定拍摄时间最晚的关键帧图像为当前关键帧图像。
S24、根据当前关键帧图像或者选择出的至少一帧关键帧图像确定拍摄对象的完整三维点云数据。
S25、获得待展示的增强现实AR信息。
S26、根据完整三维点云数据和当前关键帧图像，确定AR信息在当前帧图像上的展示方位。
S27、根据确定出的展示方位在当前帧图像上展示获得的AR信息。
具体实施时，步骤S24中，根据当前关键帧图像确定拍摄对象的完整三维点云数据，可以包括两种方式，一种是从本地查找关键帧图像对应的完整三维点云数据，一种是从网络侧服务器查找该关键帧图像对应的完整三维点云数据。这种情况下，查找到的完整三维点云数据中包含AR信息，相应的，步骤S25中，便可以直接从查找到的完整三维点云数据中提取其包含的AR信息。其适用于以下应用场景：预先在本地或者网络侧存储的地图数据库中已经有拍摄对象的完整三维点云数据，例如，用户对面前的商场进行拍摄，根据用户拍摄的图像便能够查找到商场的完整三维点云数据，根据完整三维点云数据中包含的AR信息，用户便可以实时获取该商场内不同楼层的AR信息或者不同商家的AR信息。以下分别针对在本地以及网络侧服务器存储完整三维点云数据的方式进行描述。
方式一、根据当前关键帧图像在本地存储的图像与完整三维点云数据之间的对应关系中，查找当前关键帧图像对应的完整三维点云数据。
具体实施时，终端设备可以自行存储完整的地图数据库，在地图数据库中可以预先存储有建立好的图像与完整三维点云数据的对应关系，并根据图像信息建立索引，且完整三维点云数据中可以包含有AR信息。
相应的，步骤S26和步骤S27中，可以按照图4所示的流程确定AR信息在当前关键帧图像上的展示方位并进行展示：
S41、根据当前关键帧图像，从本地预先存储的图像与完整三维点云数据之间的对应关系中，查找与当前关键帧图像匹配的匹配图像。
具体的，可以根据当前关键帧图像进行图片搜索，查找与当前关键帧图像最为接近的图像，确定查找到的图像为匹配图像。具体实施时，为了减少终端设备的计算量，本发明实施例中，可以在得到第一帧关键帧图像之后，便将其确定为当前关键帧图像并查找其对应的匹配图像，如果没有查找到匹配图像，再继续确定后续的关键帧图像，并将后续确定出的关键帧图像作为当前关键帧图像进行查找。
S42、判断是否查找到与关键帧图像匹配的匹配图像，如果是，执行步骤S43，否则，执行步骤S410。
S43、确定匹配图像对应的完整三维点云数据为拍摄对象的完整三维点云数据。
S44、从查找到的完整三维点云数据中提取其包含的AR信息。
S45、根据当前关键帧图像和完整三维点云数据确定拍摄该拍摄对象的拍摄装置的拍摄位姿；
其中，拍摄位姿包括拍摄装置的拍摄位置和拍摄方位。
较佳的，可以按照以下方法确定拍摄装置的拍摄位姿：
步骤一、根据当前关键帧图像的局部三维点云数据，确定匹配图像上对应的局部三维点云数据；
步骤二、根据当前关键帧图像的局部三维点云数据和匹配图像上对应的局部三维点云数据，确定当前关键帧图像与匹配图像之间的相对位姿。
步骤三、将确定出的相对位姿作为拍摄装置的拍摄位姿。
具体的，可以根据有效求解二次方程最小值(ESM，Efficient Second-orderMinimisation)算法确定当前关键帧图像与匹配图像之间的相对位姿。
S46、根据确定出的拍摄位姿，确定提取到的AR信息在当前关键帧图像中的展示方位；
S47、确定当前帧图像与当前关键帧图像的相对位姿；
具体实施时，由于当前关键帧可以用于在初始定位(亦即需要确定完整三维点云数据时，利用关键帧来搜索的过程)以及丢失后重新定位(仍然为利用关键帧继进行搜索)中，其利用当前关键帧查找完整三维点云数据或者查找到的其对应的局部三维点云数据，然后再获得其对应的AR信息，在确定出AR信息在当前关键帧中的展示方位后，由于其是相对于关键帧的，但是当前关键帧是当前时刻之前已经获取的图像，而在拍摄装置的运动过程中，当前还在源源不断的获得新的图像帧序列，因此，为了在当前帧(图像序列中拍摄时间最晚的图像)图像上实时展示AR信息，还需要确定AR信息在当前帧图像上的展示方位，由于确定当前帧图像和当前关键帧图像的相对位姿的方法与确定拍摄装置的拍摄位姿的方法相同，这里不再赘述。
S48、根据确定出的相对位姿和AR在当前关键帧图像上的展示方位，确定AR信息在当前帧上的展示方位；
S49、根据确定出的展示方位，在当前帧图像上展示AR信息，流程结束；
S410、重新确定当前关键帧图像，并执行步骤S41。
方式二、在网络侧服务器上存储完整地图数据库
这种方式下，终端设备在确定出拍摄对象的局部三维点云数据和关键当前帧图像之后，可以发送给网络侧服务器，由网络侧服务器确定拍摄对象对应的完整三维点云数据和拍摄装置的拍摄位姿。
具体实施时，网络侧服务器确定拍摄对象对应的完整三维点云数据和拍摄装置的拍摄位姿的流程与终端设备确定拍摄对象对应的完整三维点云数据和拍摄装置的拍摄位姿的流程相似，具体可以参见步骤S41～S49。
需要说明的是，若网络侧未查找到与当前关键帧图像匹配的匹配图像时，将通知终端设备，由终端设备重新确定拍摄对象的局部三维点云数据集合和当前关键帧图像。具体实施时，网络侧服务器在查找到匹配图像及其对应的完整三维点云数据之后，还可以将查找到的匹配图像和其对应的完整三维点云数据下发给终端设备，由终端设备自己确定拍摄装置的拍摄位姿。
由于获知了摄像装置的拍摄位姿，从而能够将拍摄对象与完整三维点云数据精确匹配并精准展示AR信息，同时能够使得展示的AR信息更加真实。
用户通过移动拍摄装置，可以从不同角度实时获取拍摄对象的图像序列，这样，用户能够从不同角度看到在拍摄的图像上实时展示的AR信息。
上述方式二中，也可以由终端设备一次性确定出多个关键帧图像发送给服务器，由服务器从多个关键帧图像中任选择一个或者按照拍摄时间顺序选择一个关键帧图像查找匹配，如果未查找到，则再重新选择一个关键帧图像(如果按照拍摄时间进行选择的话，依序选择即可)进行匹配，直至查找到匹配图像为止。
另外，本发明实施例中，还可以根据选择出的一系列关键帧图像构建出拍摄对应的完整三维点云数据，这样，用户可以自行添加AR信息，观察AR信息在构建的完整三维点云数据中的展示效果。其适用于以下应用场景：用户通过网络购买家具，希望能够看到家具在自己家中的摆放效果时，用户可以对想要摆放家具的房间进行拍摄，例如，用户拿着拍摄装置在该房间中转一圈，便能够建立该房间的完整三维点云数据，用户将从商家获取的家具的AR信息添加至自己建立的房间的完整三维点云数据中，便能够看到家具的摆放效果了。
具体的，这种方式下，可以按照以下流程建立拍摄对象的三维点云数据以及在建立的完整三维点云数据上展示AR信息，包括以下步骤：
步骤一、从获取的图像序列中选择一系列的关键帧图像；
该步骤的实施过程可以参见上述图3所示的实施步骤，这里不再赘述。
步骤二、确定选择出的关键帧图像组成拍摄对象的完整三维点云数据；
步骤三、获取用户添加的AR信息；
即用户从商家获取的家具的三维点云数据。
步骤四、获取用户指定的、该AR信息在完整三维点云数据的展示方位；
例如，可以为用户想摆放家具的具体位置信息。
步骤五、根据当前关键帧图像和完整三维点云数据确定拍摄该拍摄对象的拍摄装置的拍摄位姿；
步骤六、根据拍摄位姿和AR信息在完整三维点云数据的展示方位，确定AR信息在当前关键帧图像中的展示方位；
步骤七、确定当前帧图像与当前关键帧图像的相对位姿；
步骤八、根据确定出的相对位姿和AR在所述当前关键帧图像上的展示方位，确定AR信息在当前帧上的展示方位；
步骤九、根据AR信息在当前帧图像中的展示方位，在当前帧图像上展示该AR信息。
本发明实施例中，通过手机等终端设备自身携带的摄像头对周围环境进行拍摄，获取拍摄对象的图像序列，通过机器视觉技术能够获得拍摄对象的三维数据信息，利用这些三维数据信息可以构建出当前环境的三维地图，那么利用这个三维地图可以知道手机在地图中的位置和方位，就可以根据位置和方位放置AR信息，这样，用户通过摄像头拍摄的实景环境中能够实时看到位置和方位均符合感官的虚拟信息了，且看到的AR信息更加真实。
较佳的，还可以建立用户添加的AR信息与用户建立的完整三维点云数据的对应关系并存储在本地的地图数据库中，也可以将建立的对应关系上传至网络侧服务器进行存储。
基于同一发明构思，本发明实施例中还提供了一种增强现实实现装置和设备，由于上述装置和设备解决问题的原理与增强现实实现方法相似，因此上述装置和设备的实施可以参见增强现实实现方法的实施，重复之处不再赘述。
实施例二
如图5所示，为本发明实施例提供的增强现实实现装置的结构示意图，包括：
获取单元51，用于获取拍摄对象的图像序列；
选择单元52、用于从获取单元51获取的图像序列中选择至少一帧关键帧图像。
其中，关键帧图像为能够恢复出所述拍摄对象的局部三维点云数据的图像，相邻的关键帧图像满足预设的图像间隔距离。
第一确定单元53，用于确定拍摄时间最晚的关键帧图像为当前关键帧图像；
第二确定单元54，用于根据第一确定单元53确定出的当前关键帧图像或者选择单元52选择出的关键帧图像确定所述拍摄对象的完整三维点云数据。
获得单元55，用于获得待展示的增强现实AR信息；
展示单元56，用于根据所述完整三维点云数据和所述关键帧图像，确定所述AR信息在当前帧图像上的展示方位；并根据所述展示方位，在当前帧图像上展示获得单元55获得的AR信息。
较佳的，选择单元52可以包括：
选择子单元，用于从获取单元51获取的图像序列中选择间隔预设距离的两帧图像；
提取子单元，用于分别提取选择子单元选择的每一帧图像的特征点；
匹配子单元，用于匹配提取子单元提取到的两帧图像的特征点，获得特征点对集合；
判断子单元，用于判断根据匹配子单元获得的特征点对集合和拍摄该拍摄对象的拍摄装置的拍摄参数是否能够恢复出拍摄对象的局部三维点云数据；
执行子单元，用于若所述判断子单元的判断结果为是，确定选择出的两帧图像中的任一帧图像为第一帧关键帧图像；若所述判断子单元的判断结果为否，通知选择子单元从所述图像序列中重新选择间隔预设距离的两帧图像。
较佳的，第二确定单元54可以包括：
查找子单元，用于根据所述当前关键帧图像在本地或者网络侧服务器预先存储的图像与完整三维点云数据之间的对应关系中，查找与所述关键帧图像匹配的匹配图像；
第一确定子单元，用于确定所述匹配图像对应的完整三维点云数据为所述拍摄对象的完整三维点云数据。
具体实施时，完整三维点云数据中可以包括该AR信息；相应的，获得单元55，可以用于从完整三维点云数据中提取该AR信息；展示单元56，可以用于根据当前关键帧图像和完整三维点云数据确定拍摄所述拍摄对象的拍摄装置的拍摄位姿；根据所述拍摄位姿，确定完整三维点云数据中包含的增强现实AR信息在所述当前关键帧图像中的展示方位；以及确定当前帧图像与所述当前关键帧图像的相对位姿；并根据确定出的相对位姿和所述AR在所述当前关键帧图像上的展示方位，确定所述AR信息在所述当前帧上的展示方位。
具体实施时，本发明实施例中，还可以由第二确定单元54，确定选择单元52选择出的至少一帧关键帧图像组成拍摄对象的完整三维点云数据。相应的，获得单元55，可以用于获取用户添加的AR信息；展示单元56，可以用于获取用户指定的、所述AR信息在所述完整三维点云数据的展示方位；根据所述当前关键帧图像和所述完整三维点云数据确定拍摄所述拍摄对象的拍摄装置的拍摄位姿；根据所述拍摄位姿和AR信息在所述完整三维点云数据的展示方位，确定AR信息在所述当前关键帧图像中的展示方位；以及确定当前帧图像与所述当前关键帧图像的相对位姿；并根据确定出的相对位姿和所述AR在所述当前关键帧图像上的展示方位，确定所述AR信息在所述当前帧上的展示方位。
具体实施时，本发明实施例提供的增强现实实现装置，还可以包括映射单元和存储单元，其中映射单元可以用于建立用户添加的AR信息与所述完整三维点云数据的对应关系；存储单元可以用于存储所述映射单元建立的对应关系。
为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
具体实施时，上述实施例提供的增强现实实现装置可以设置在终端设备中。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (16)
1.一种增强现实实现方法，其特征在于，包括：
获取拍摄对象的图像序列；
从所述图像序列中选择至少一帧关键帧图像，其中，关键帧图像为能够恢复出所述拍摄对象的局部三维点云数据的图像，相邻的关键帧图像满足预设的图像间隔距离；并
确定拍摄时间最晚的关键帧图像为当前关键帧图像；
根据所述当前关键帧图像或者选择出的至少一帧关键帧图像确定所述拍摄对象的完整三维点云数据；
获得待展示的增强现实AR信息；
根据所述完整三维点云数据和所述当前关键帧图像，确定所述AR信息在当前帧图像上的展示方位；
根据所述展示方位，在所述当前帧图像上展示所述AR信息。
2.如权利要求1所述的方法，其特征在于，按照以下方法从所述图像序列中选择第一帧关键帧图像：
从所述图像序列中选择间隔预设距离的两帧图像；
分别提取每一帧图像的特征点；
匹配两帧图像的特征点，获得特征点对集合；
判断根据所述特征点对集合和拍摄所述拍摄对象的拍摄装置的拍摄参数是否能够恢复出所述拍摄对象的局部三维点云数据；
若是，则确定选择出的两帧图像中的任一帧图像为第一帧关键帧图像；
若否，则从所述图像序列中重新选择间隔预设距离的两帧图像，并重复执行上述步骤，直至确定出第一帧关键帧图像。
3.如权利要求1或2所述的方法，其特征在于，相邻的关键帧图像满足的预设的图像间隔距离包括以下至少一种：相邻的关键帧图像之间的拍摄时间间隔大于时间间隔预设值；或者相邻的关键帧图像之间的物理距离大于距离预设值；或者相邻的关键帧图像之间的重叠区域不超过区域重叠预设值。
4.如权利要求1所述的方法，其特征在于，根据所述当前关键帧图像确定所述拍摄对象的完整三维点云数据，具体包括：
根据所述当前关键帧图像在本地或者网络侧服务器预先存储的图像与完整三维点云数据之间的对应关系中，查找与所述关键帧图像匹配的匹配图像；
确定所述匹配图像对应的完整三维点云数据为所述拍摄对象的完整三维点云数据。
5.如权利要求4所述的方法，其特征在于，所述完整三维点云数据中包括所述AR信息；以及
获得待展示的AR信息，具体包括：从所述完整三维点云数据中提取所述AR信息；以及
根据所述完整三维点云数据和所述当前关键帧图像，确定所述AR信息在所述当前帧图像上的展示方位，具体包括：
根据所述当前关键帧图像和所述完整三维点云数据确定拍摄所述拍摄对象的拍摄装置的拍摄位姿；
根据所述拍摄位姿，确定所述完整三维点云数据中包含的增强现实AR信息在所述当前关键帧图像上的展示方位；
确定当前帧图像与所述当前关键帧图像的相对位姿；
根据确定出的相对位姿和所述AR在所述当前关键帧图像上的展示方位，确定所述AR信息在所述当前帧上的展示方位。
6.如权利要求1所述的方法，其特征在于，根据选择出的关键帧图像确定所述拍摄对象的完整三维点云数据，具体包括：
确定所述选择出的至少一帧关键帧图像组成所述拍摄对象的完整三维点云数据。
7.如权利要求6所述的方法，其特征在于，获得待展示的AR信息，具体包括：
获取用户添加的AR信息；以及
根据所述完整三维点云数据和所述关键帧图像，确定所述AR信息在所述当前关键帧图像上的展示方位，具体包括：
获取用户指定的、所述AR信息在所述完整三维点云数据的展示方位；
根据所述当前关键帧图像和所述完整三维点云数据确定拍摄所述拍摄对象的拍摄装置的拍摄位姿；
根据所述拍摄位姿和AR信息在所述完整三维点云数据的展示方位，确定AR信息在所述当前关键帧图像上的展示方位；
确定当前帧图像与所述当前关键帧图像的相对位姿；
根据确定出的相对位姿和所述AR在所述当前关键帧图像上的展示方位，确定所述AR信息在所述当前帧上的展示方位。
8.如权利要求7所述的方法，其特征在于，还包括：
建立用户添加的AR信息与所述完整三维点云数据的对应关系并存储。
9.一种增强现实实现装置，其特征在于，包括：
获取单元，用于获取拍摄对象的图像序列；
选择单元，用于从所述图像序列中选择至少一帧关键帧图像，其中，关键帧图像为能够恢复出所述拍摄对象的局部三维点云数据的图像，相邻的关键帧图像满足预设的图像间隔距离；
第一确定单元，用于确定拍摄时间最晚的关键帧图像为当前关键帧图像；
第二确定单元，用于根据所述第一确定单元确定出的当前关键帧图像或者所述选择单元选择出的至少一帧关键帧图像确定所述拍摄对象的完整三维点云数据；
获得单元，用于获得待展示的增强现实AR信息；
展示单元，用于根据所述完整三维点云数据和所述当前关键帧图像，确定所述AR信息在当前帧图像上的展示方位；并根据所述展示方位，在所述当前帧图像上展示所述获得单元获得的AR信息。
10.如权利要求9所述的装置，其特征在于，所述选择单元，具体包括：
选择子单元，用于从所述获取单元获取的图像序列中选择间隔预设距离的两帧图像；
提取子单元，用于分别提取所述选择子单元选择的每一帧图像的特征点；
匹配子单元，用于匹配所述提取子单元提取到的两帧图像的特征点，获得特征点对集合；
判断子单元，用于判断根据所述特征点对集合和拍摄所述拍摄对象的拍摄装置的拍摄参数是否能够恢复出所述拍摄对象的局部三维点云数据；
执行子单元，用于若所述判断子单元的判断结果为是，确定选择出的两帧图像中的任一帧图像为第一帧关键帧图像；若所述判断子单元的判断结果为否，通知选择子单元从所述图像序列中重新选择间隔预设距离的两帧图像。
11.如权利要求9或10所述的装置，其特征在于，所述第二确定单元，包括：
查找子单元，用于根据所述当前关键帧图像在本地或者网络侧服务器预先存储的图像与完整三维点云数据之间的对应关系中，查找与所述关键帧图像匹配的匹配图像；
第一确定子单元，用于确定所述匹配图像对应的完整三维点云数据为所述拍摄对象的完整三维点云数据。
12.如权利要求11所述的装置，其特征在于，所述完整三维点云数据中包括所述AR信息；以及
所述获得单元，具体用于从所述完整三维点云数据中提取所述AR信息；
所述展示单元，具体用于根据所述当前关键帧图像和所述完整三维点云数据确定拍摄所述拍摄对象的拍摄装置的拍摄位姿；根据所述拍摄位姿，确定所述完整三维点云数据中包含的增强现实AR信息在所述当前关键帧图像上的展示方位；以及确定当前帧图像与所述当前关键帧图像的相对位姿；并根据确定出的相对位姿和所述AR在所述当前关键帧图像上的展示方位，确定所述AR 信息在所述当前帧上的展示方位。
13.如权利要求9所述的装置，其特征在于，
所述第二确定单元，具体用于确定所述选择单元选择出的至少一帧关键帧图像组成所述拍摄对象的完整三维点云数据。
14.如权利要求13所述的装置，其特征在于，
所述获得单元，具体用于获取用户添加的AR信息；
所述展示单元，具体用于获取用户指定的、所述AR信息在所述完整三维点云数据的展示方位；根据所述当前关键帧图像和所述完整三维点云数据确定拍摄所述拍摄对象的拍摄装置的拍摄位姿；根据所述拍摄位姿和AR信息在所述完整三维点云数据的展示方位，确定AR信息在所述当前关键帧图像中的展示方位；以及确定当前帧图像与所述当前关键帧图像的相对位姿；并根据确定出的相对位姿和所述AR在所述当前关键帧图像上的展示方位，确定所述AR信息在所述当前帧上的展示方位。
15.如权利要求14所述的装置，其特征在于，还包括；
映射单元，用于建立用户添加的AR信息与所述完整三维点云数据的对应关系；
存储单元，用于存储所述映射单元建立的对应关系。
16.一种终端设备，其特征在于，包括权利要求9～15任一权利要求所述的装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410178628.0A CN105023266B (zh) | 2014-04-29 | 2014-04-29 | 增强现实实现方法、装置和终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410178628.0A CN105023266B (zh) | 2014-04-29 | 2014-04-29 | 增强现实实现方法、装置和终端设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105023266A CN105023266A (zh) | 2015-11-04 |
| CN105023266B true CN105023266B (zh) | 2018-03-30 |
Family
ID=54413208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410178628.0A Active CN105023266B (zh) | 2014-04-29 | 2014-04-29 | 增强现实实现方法、装置和终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105023266B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107025661B (zh) * | 2016-01-29 | 2020-08-04 | 成都理想境界科技有限公司 | 一种实现增强现实的方法、服务器、终端及系统 |
| CN107798704B (zh) * | 2016-08-30 | 2021-04-30 | 成都理想境界科技有限公司 | 一种用于增强现实的实时图像叠加方法及装置 |
| CN106859956B (zh) * | 2017-01-13 | 2019-11-26 | 北京安云世纪科技有限公司 | 一种人体穴位识别按摩方法、装置及ar设备 |
| CN108320331B (zh) * | 2017-01-17 | 2021-10-22 | 上海掌门科技有限公司 | 一种生成用户场景的增强现实视频信息的方法与设备 |
| CN108629799B (zh) * | 2017-03-24 | 2021-06-01 | 成都理想境界科技有限公司 | 一种实现增强现实的方法及设备 |
| CN107426065B (zh) * | 2017-04-22 | 2020-08-04 | 高新兴科技集团股份有限公司 | 一种立体防控系统 |
| JP6762913B2 (ja) * | 2017-07-11 | 2020-09-30 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| CN109931923B (zh) | 2017-12-15 | 2023-07-07 | 阿里巴巴集团控股有限公司 | 一种导航引导图的生成方法和装置 |
| CN108765575A (zh) * | 2018-02-24 | 2018-11-06 | 石化盈科信息技术有限责任公司 | 一种基于ar的工业设备图鉴展示方法和系统 |
| CN110855601B (zh) * | 2018-08-21 | 2021-11-19 | 华为技术有限公司 | Ar/vr场景地图获取方法 |
| CN109326006B (zh) * | 2018-09-30 | 2023-03-28 | 阿波罗智联(北京)科技有限公司 | 地图融合方法和装置 |
| CN110490131B (zh) * | 2019-08-16 | 2021-08-24 | 北京达佳互联信息技术有限公司 | 一种拍摄设备的定位方法、装置、电子设备及存储介质 |
| WO2021237590A1 (zh) * | 2020-05-28 | 2021-12-02 | 北京小米移动软件有限公司南京分公司 | 图像采集方法、装置、设备及存储介质 |
| CN111665943B (zh) * | 2020-06-08 | 2023-09-19 | 浙江商汤科技开发有限公司 | 一种位姿信息展示方法及装置 |
| CN112802083B (zh) * | 2021-04-15 | 2021-06-25 | 成都云天创达科技有限公司 | 一种通过三维模型标记点获取对应二维图像的方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2131306A1 (en) * | 2008-06-02 | 2009-12-09 | THOMSON Licensing | Device and method for tracking objects in a video, system and method for audience measurement |
| CN102750687A (zh) * | 2011-09-23 | 2012-10-24 | 新奥特（北京）视频技术有限公司 | 一种摄像机参数标定和三维点云生成方法和装置 |
| CN103426003A (zh) * | 2012-05-22 | 2013-12-04 | 腾讯科技（深圳）有限公司 | 增强现实交互的实现方法和系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011013910A2 (ko) * | 2009-07-30 | 2011-02-03 | 에스케이텔레콤 주식회사 | 증강 현실을 제공하는 방법과 그를 위한 서버 및 휴대용 단말기 |
| TWI471821B (zh) * | 2009-11-17 | 2015-02-01 | Inst Information Industry | A system, a method, and a recording medium for establishing a correlation for a plurality of images |
| GB2489454A (en) * | 2011-03-29 | 2012-10-03 | Sony Corp | A method of annotating objects in a displayed image |
-
2014
- 2014-04-29 CN CN201410178628.0A patent/CN105023266B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2131306A1 (en) * | 2008-06-02 | 2009-12-09 | THOMSON Licensing | Device and method for tracking objects in a video, system and method for audience measurement |
| CN102750687A (zh) * | 2011-09-23 | 2012-10-24 | 新奥特（北京）视频技术有限公司 | 一种摄像机参数标定和三维点云生成方法和装置 |
| CN103426003A (zh) * | 2012-05-22 | 2013-12-04 | 腾讯科技（深圳）有限公司 | 增强现实交互的实现方法和系统 |
Non-Patent Citations (3)
| Title |
|---|
| Multiple 3d object tracking for augmented reality;Y Park 等;《Mixed and Augmented Reality》;20081003;117-120 * |
| 基于特征识别的增强现实跟踪定位算法;陈靖 等;《中国科学：信息科学》;20101120(第11期);1437-1449 * |
| 面向增强现实的实时三维跟踪;董子龙;《中国博士学位论文全文数据库_信息科技辑》;20110815(第8期);正文第51-52页，第39页，第40-41页，图3.1-3.5 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105023266A (zh) | 2015-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105023266B (zh) | 增强现实实现方法、装置和终端设备 | |
| US10803365B2 (en) | System and method for relocalization and scene recognition | |
| US11210855B2 (en) | Analyzing 2D movement in comparison with 3D avatar | |
| US9189699B2 (en) | Augmented reality interaction implementation method and system | |
| CN102959946B (zh) | 基于相关3d点云数据来扩充图像数据的技术 | |
| CN103530881B (zh) | 适用于移动终端的户外增强现实无标志点跟踪注册方法 | |
| CN106033435B (zh) | 物品识别方法和装置，室内地图生成方法和装置 | |
| CN105094335B (zh) | 场景提取方法、物体定位方法及其系统 | |
| CN106355153A (zh) | 一种基于增强现实的虚拟对象显示方法、装置以及系统 | |
| CN106845357A (zh) | 一种基于多通道网络的视频人脸检测和识别方法 | |
| CN110544301A (zh) | 一种三维人体动作重建系统、方法和动作训练系统 | |
| CN106663338A (zh) | 信息处理装置、信息处理方法和程序 | |
| CN109615703A (zh) | 增强现实的图像展示方法、装置及设备 | |
| RU2007113914A (ru) | Численное решение и построение трехмерных виртуальных моделей по аэрофотоснимкам | |
| CN112037314A (zh) | 图像显示方法、装置、显示设备及计算机可读存储介质 | |
| CN110084304A (zh) | 一种基于合成数据集的目标检测方法 | |
| CN110544302A (zh) | 基于多目视觉的人体动作重建系统、方法和动作训练系统 | |
| CN110533694A (zh) | 图像处理方法、装置、终端及存储介质 | |
| CN108829250A (zh) | 一种基于增强现实ar的对象互动展示方法 | |
| CN106054627A (zh) | 基于手势识别的控制方法、装置及空调 | |
| CN111625100A (zh) | 图画内容的呈现方法、装置、计算机设备及存储介质 | |
| CN103927530B (zh) | 一种最终分类器的获得方法及应用方法、系统 | |
| CN109934165A (zh) | 一种关节点检测方法、装置、存储介质及电子设备 | |
| Jianbang et al. | Real-time monitoring of physical education classroom in colleges and universities based on open IoT and cloud computing | |
| Zhang | Innovation of English teaching model based on machine learning neural network and image super resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200422 Address after: 310012 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: Alibaba (China) Co.,Ltd. Address before: 102200, No. 8, No., Changsheng Road, Changping District science and Technology Park, Beijing, China. 1-5 Patentee before: AUTONAVI SOFTWARE Co.,Ltd. |
|
| TR01 | Transfer of patent right |