CN110478892A - 一种三维交互的方法及系统 - Google Patents
一种三维交互的方法及系统 Download PDFInfo
- Publication number
- CN110478892A CN110478892A CN201810458559.7A CN201810458559A CN110478892A CN 110478892 A CN110478892 A CN 110478892A CN 201810458559 A CN201810458559 A CN 201810458559A CN 110478892 A CN110478892 A CN 110478892A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- scene
- stage property
- virtual
- virtual scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000003993 interaction Effects 0.000 title claims abstract description 55
- 230000033001 locomotion Effects 0.000 claims abstract description 26
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 238000005516 engineering process Methods 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 19
- 239000000463 material Substances 0.000 claims description 10
- 230000003190 augmentative effect Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 241000251468 Actinopterygii Species 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000011897 real-time detection Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005194 fractionation Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000002985 plastic film Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
- A63F2300/308—Details of the user interface
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
Abstract
本发明公开了一种三维交互的方法，包括：在二维平面上放置实体道具，所述道具置于所述三维交互系统的摄像头采集范围内；所述三维交互系统显示与所述道具对应的三维虚拟物体和/或虚拟场景；当所述道具在所述三维交互系统的采集范围内移动时，所述三维虚拟场景和/或所述虚拟物体根据所述道具的移动轨迹进行对应转换。解决了现有技术缺乏三维教学和/或游戏娱乐场景的人机交互的问题，提高了用户体验。
Description
技术领域
本发明属于信息技术领域，具体地，涉及一种三维交互的方法及系统。
背景技术
目前的教学和游戏娱乐过程中，普遍使用图书、玩具、实物教具等实体物品。随着教育信息化的不断推进，电视机(电子显示屏)、电子白板、投影仪、交互一体机等电子设备大量进入课堂，越来越多的展示内容开始以数字化的方式呈现。目前，课堂互动不仅仅是教师与学生的互动，大量的交互式游戏、交互式问答也走进课堂，为学生提供了更加丰富的展示内容。同时，在游戏娱乐方面，大量的具备新颖触摸操作功能的电子设备也慢慢取代传统的按键式个人电脑及游戏终端。使得用户体验更加丰富。
目前的数字化教学方式和游戏娱乐方式中，均采用了平面化的显示方式，例如，让学生通过键盘鼠标等方式操作教学系统、教学应用软件或游戏，从而实现教学或游戏娱乐的目的。
然而，现有技术中，并没有涉及到三维道具的应用。即使市面上有零星的三维道具应用，也只是基于二维平面的三维展示，并不能在立体的三维空间里面进行三维教学和/或游戏娱乐场景的人机交互，使得用户体验较低。
发明内容
本发明提供了一种三维交互的方法及系统，解决了现有技术缺乏三维教学和/或游戏娱乐场景的人机交互的问题。
为了实现上述目的，本发明提供了一种三维交互的方法，包括：
在二维平面上放置实体道具，所述道具置于所述三维交互系统的摄像头采集范围内；
所述三维交互系统显示与所述道具对应的三维虚拟物体和/或虚拟场景；
当所述道具在所述三维交互系统的采集范围内移动时，所述三维虚拟场景和/或所述虚拟物体根据所述道具的移动轨迹进行对应转换。
可选地，所述三维交互系统显示与所述道具对应的三维虚拟物体和/或虚拟场景，包括：
所述三维交互系统通过全息投影技术在物理三维空间中显示与所述道具对应的三维虚拟物体和/或虚拟场景，
以及，
所述三维交互系统在二维显示屏上显示与所述道具对应的虚拟场景和/或虚拟物体，所述二维显示屏上显示的虚拟场景及虚拟物体和/或所述物理三维空间上显示的三维虚拟场景及虚拟物体相对应。
可选地，所述三维交互系统显示与所述道具对应的三维虚拟物体和/或虚拟场景，包括：
所述三维交互系统利用增强现实AR技术，通过头盔式显示器HMD或移动终端显示三维虚拟物体和/或虚拟场景。
可选地，所述方法还包括：
所述三维交互系统在二维显示屏上显示与所述道具对应的虚拟场景和/或虚拟物体，所述二维显示屏上显示的虚拟场景和/或虚拟物体与所述三维虚拟场景和/或虚拟物体相对应；
则所述三维虚拟场景和/或所述虚拟物体根据所述道具的移动轨迹进行对应转换，包括：
所述二维显示屏上显示的虚拟场景和/或虚拟物体与所述通过HMD或移动终端显示的三维虚拟场景和/或虚拟物体根据所述道具的移动轨迹进行同步或异步变换。
可选地，所述三维交互系统利用增强现实AR技术，通过头盔式显示器HMD或移动终端显示三维虚拟物体和/或虚拟场景，包括：
采用计算机图形CG技术构建所述三维虚拟物体和/或三维场景模型；
采用三维跟踪注册技术对所述三维虚拟物体和/或三维场景模型以及所述HMD或移动终端采集的图像进行虚实配准处理；
将所述三维虚拟物体和/或三维场景模型进行实时绘制渲染，并根据所述虚实配准处理后的三维虚拟物体和/或虚拟场景在现实场景中的映射关系，将所述三维虚拟物体和/或三维场景模型与所述物质文化载体图像进行叠加融合，通过所述HMD或移动终端显示所述叠加融合后的图像。
可选地，所述采用三维跟踪注册技术对所述三维虚拟物体和/或三维场景模型以及所述HMD或移动终端采集的图像进行虚实配准处理，包括：
通过所述HMD或移动终端获取道具的标识信息；所述标识信息为预先设置的识别标记；
将获取的识别标记发送至云服务器，所述云服务器根据所述标识信息，确定与所述标识信息对应的三维虚拟物体或三维场景模型，再计算所述HMD或移动终端采集的道具图像，将所述图像进行三维坐标变换，基于变换后的坐标在所述图像中特定位置加载所述三维虚拟物体或三维场景模型。
可选地，所述三维虚拟场景和/或所述虚拟物体根据所述道具的移动轨迹进行对应转换，包括：
将所述虚拟物体和/或所述虚拟场景按照所述道具的移动轨迹进行移动；
将所述虚拟物体和/或虚拟场景做特效处理，和/或，将所述场景下所述虚拟物体和/或虚拟物体所在的位置区域做特效处理，和/或，将所述虚拟物体和/或虚拟场景按照特定故事情节进行互动。
可选地，所述三维虚拟场景和/或所述虚拟物体根据所述道具的移动轨迹进行对应转换，包括：
将所述虚拟物体按照所述道具的移动轨迹在所述虚拟场景内进行移动；
当所述虚拟物体移动到所述虚拟场景中预设位置时，显示三维情景交互。
本发明实施例还提供一种三维交互的系统，所述系统包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行上述三维交互的方法。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机可执行指令，该计算机可执行指令用于执行上述三维交互的方法。
本发明实施例的方法及系统具有下列优点：
通过本发明实施例提供的方法及系统，通过摄像头采集实体道具的图像，在三维空间中显示与该实体道具对应的三维虚拟物体和/或三维虚拟场景，并在实体道具移动时，将对应的三维虚拟物体和/或三维虚拟场景进行情景交互。实现了三维空间的立体虚拟场景和/或虚拟物体显示，提高了用户体验，提升了教学效果。
附图说明
图1是本发明实施例中三维交互方法流程图；
图2a是本发明实施例中道具边框及展示内容区示意图；
图2b是本发明实施例中道具带方向标识的边框及展示内容区示意图；
图2c是本发明实施例中道具边框及展示内容区另一示意图；
图3是本发明实施例中应用实例示意图；
图4是本发明实施例中应用实例另一示意图；
图5是本发明实施例中三维交互系统组成结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
为达到以上目的，如图1所示，本发明提供了一种三维交互的方法，该方法包括：
S101、在二维平面上放置实体道具，所述道具置于所述三维交互系统的摄像头采集范围内；
实体道具可以是具备射频识别码的实物，如内置有射频芯片或传感装置的智能玩具，也可以是具备二维识别码的实物，如印有二维码的桌子、印有二维码的卡片等，还可以是单独的拼音、声调、汉字或数字的展示卡(展示卡材质可以是纸片、塑料片、木质、橡胶或金属片等材质)，也可以是小玩具和小型的实物，例如小鱼、苹果，小桌子，积木、七巧板等，本发明实施例可以对该小玩具/小型实物的不同颜色，不同形状(例如多边形、圆形、椭圆形、扇形等)进行识别，不仅能精确定位该实物道具在空间哪一个具体位置，还能够给出旋转角度，是否需要摆正等提示性信息，方便与学生的教学互动。展示卡还可以是某些印有拼音、声调、汉字或数字的教具，例如书本、小棍、直尺、三角尺、教尺/教鞭、圆规等常规教具。以展示卡为例，本发明实施例中，展示卡具备一边框，该边框可以呈封闭式(或半封闭式)且具备一定宽度，边框颜色与展示内容区的底色区别明显，例如边框颜色可以是黑色，展示内容区底色可以是白色，或者，边框颜色为白色，展示内容区颜色为黑色(如图2a所示)。边框为多边形，如三角形、矩形、菱形和梯形等，边框也可以为椭圆、正圆形。为了方便说明，本发明实施例以四边形展示卡为例，如图2a所示，该四边形可以为方形或近似方形，如正方形、长方形、圆角矩形等，且边框与展示内容区间隔一定的宽度。四边形展示卡具备边框这一特征具备如下技术效果：可通过图像识别算法快速定位并识别出边框，从而快速识别出边框内的教学区的展示内容。与现有的图像识别技术相比，本发明实施例中先识别边框后识别展示内容的方案，保证了识别展示卡的时间更短，识别准度更高。此外，为方便能从任意角度采集到道具中的展示内容，对于一些不同方向看起来有歧义的内容(如6和9，u和n)，展示卡还包括方向标识，所述方向标识位于所述内容区域内，或置于所述边框上。如图2b所示，方向标识可以是较厚的其中一边的边框(即一边厚，其余三边窄)，也可以是一个点，两个矩形边角，一条横线等。如果边框是圆形，则可以在圆形边框的其中一段加入方向标识，例如圆形边框正上方的某一段加粗，或加入一个或多个点，或加入某些不规则图形。方向标识具备如下技术效果：可快速定位到展示内容的方向，从而快速定位并识别展示内容的信息，提高了识别的准确率及速度。图2c是本发明实施例中展示卡的一个组成示例，图2c是一张展示卡，卡内具备一圆角矩形的封闭式边框，边框具备一定的宽度(可分为内边框及外边框)，且边框与展示内容区有一定的间隔。此外，该边框满足底边厚其余三边薄的特征，底边即为该展示卡的方向标识。本发明实施例可快速定位并识别边框，并根据方向标识识别出该展示卡的旋转角度，从而快速识别出边框内展示内容区中的展示内容信息。
三维交互系统可以是图像处理与显示系统，其具备显示屏及摄像头，例如智能电视、PDA、平板电脑等。若实体道具处于某一水平面上，为了方便采集实体道具，该摄像头水平线可以与平面呈一夹角。此外，摄像头可以为单摄像头或双摄像头，其采集范围不仅包括平面也包括物理三维空间(例如整个教室)，故实体道具可以处于物理三维空间中，例如用户手持该实体道具在物理三维空间中，且处于摄像头的采集范围内。
S102、所述三维交互系统显示与所述道具对应的三维虚拟物体和/或虚拟场景；
在检测到该道具后，该系统即显示与其道具对应的三维虚拟物体和/或虚拟场景。
检测方式具体如下(以道具为展示卡为例)：
S1021、图像二值化处理：使用自适应阈值算法将图像转化为黑白二值图像，这样虚线点在二值图像上呈现为独立的黑色区域；
S1022、提取黑色区域的轮廓：使用轮廓追随算法对二值图像中的黑色区域进行处理以得到所有黑色区域的轮廓线，并加入到轮廓集合中；
S1023、取出一条轮廓：从轮廓集合中取出并删除一条轮廓线进行分析；
S1024、轮廓粗筛：计算轮廓的长度、所包围区域的面积、重心、周长面积比等参数，并使用特定阈值进行初步筛选，去掉形状明显与虚线点不符的候选；
S1025、虚线点切向分析：对轮廓进行椭圆拟合，取椭圆的长轴作为切向；
S1026、加入虚线点集合：将通过筛选的轮廓放入虚线点集合中供后续算法分析；
S1027、点集合分析：对通过筛选的虚线点进行后续分析，以确定游戏区域范围；
S1028、虚线点近邻分析：在虚线点集合中查找位置相邻、切方向相似的虚线点。的对轮廓进行椭圆拟合，取椭圆的长轴作为切向；
S1029、孤立点筛除：删除近邻数量小于5的虚线点(因为真实的虚线点周边会有其他同方向的虚线点)；
S10210、霍夫聚类分析：对剩下的点进行霍夫投票分析，得到一系列的聚类；
S10211、聚类筛选：首先去除虚线点数量较少的聚类，然后尝试在剩下的聚类中选取两个水平方向(与水平线夹角小于45度)且虚线点数量最多的聚类，再选取两个竖直方向(与竖起线夹角小于45度)且虚线点数量最多的聚类。如果选取失败(有效聚类数不足)，则不再对本帧图像进行处理；
S10212、直线拟合：分别对选出的水平、竖直方向的聚类进行直线拟合，以确定游戏区域的边界方程；
S10213、计算矫正参数：根据拟合得到的直线方程计算出游戏区域四个角的交点，再使用回归分析算法计算得到游戏区域的矫正参数，这一组参数可对后续图像帧进行矫正。
可选地，当道具为装载有射频识别的智能玩具时，检测区域还可以是无线感应区域，即当该智能玩具出现在该检测区域时，自动感应并显示出该智能玩具对应的虚拟场景/角色/物体。
此外，当道具为具备边框的展示卡时，识别该道具的方法具体为：
S10214、图像二值化。使用自适应阈值算法将摄像头采集的图像转换为黑白二值图像，以突显出道具的边框。自适应阈值算法的判断依据为：
其中
其中，v为像素的灰度值，N(v)为v附近的像素集合，C是预先设置的的阈值，v’代表领域N(v)里面的像素点。
S10215、对该结果进行二值轮廓提取，对二值图像中的连通区域进行扫描，得到区域的轮廓线条、区域的面积、周长等数据。
S10216、进行轮廓筛选，即对上一步提取的轮廓进行快速几何形态分析，仅保留形似四边形(本发明实施例使用场景包括但不限于四边形，仅以四边形为例进行说明)的轮廓，以减少后续步骤的处理时间。具体而言，首先使用局部平均的方法对轮廓线进行一次平滑，然后使用近邻差分法计算轮廓线上每个点的切向量，最后使用分级聚类方法对所有的切向量坐标进行分析，若形成的显著聚类恰好为4个，则认为该轮廓形似四边形。
S10217、对S110213的处理结果进行四边拆分。基于上一步的聚类分析结果，将4个显著聚类对应的轮廓点坐标提取到4个集合中，对应为四边形4条边的拟合数据。
S10218、对S1104的拟合数据进行最小二乘拟合。上一步生成的四条边的数据可分别进行直线拟合从而得到四条边的方程，本发明中使用最小二乘算法来进行直线拟合，优化目标为：
完成四条边的拟合之后即可确定展示卡的边框在图像中的具体位置。
S10219、对邻近区域图像矫正。由于拍摄角度多种多样，卡片在图像中会产生形变。使用上一步得到的边框可对卡片的形变进行矫正，此时卡片内容还可能有0度、90度、180度、270度这四种不同的朝向。
S10220、对方向标识进行检测。本发明实施例使用机器学习方法对卡片中的方向标识进行检测与识别，通过采集上千张不同朝向的卡片图像，并进行标注(例如，可以进行5个类别，分别是0度、90度、180度、270度、无方向标识)，之后使用深度神经网络进行训练，可得到一个方向标识分类器，可对上一步得到的结果进行方向标识检测与判别。该方案训练得到的分类器对方向标识的识别准确率可达到99.6％以上。
S10221a、按标识旋转图像。对于检测到方向标识的卡片，可按方向标记将卡片转正。转正即将该卡片转至水平位置。
S10221a、获取所有方向图像。对于没有检测到方向标记的卡片，本发明实施例直接生成4个不同方向的图像供后续内容识别算法分析。
S10222、对卡片内容进行识别。本发明使用机器学习方法对卡片内容进行识别，首先在样本数据库中有数百至上千张已定义的卡片，对这些样本提取方向梯度直方图特征(HOG)之后，训练SVM多类别分类器；若数据库中的样本非常多(超过一千)，也可直接使用深度神经网络进行训练。使用分类器对上一步得到的图像进行判别(若前面没有检测到方向标识，则对4个方向的图像都进行判别，只要其中一个有效即可)，判别之后根据结果再与数据库中的标准样本进行一次比对(验算)，验算通过之后认为成功检测到结果。
检测到道具后，显示对应的三维虚拟场景和/或虚拟物体，其方法具体可以为：
通过全息投影技术在物理三维空间中显示与所述道具对应的三维虚拟物体和/或虚拟场景，
以及，
所述三维交互系统在二维显示屏上显示与所述道具对应的虚拟场景和/或虚拟物体，所述二维显示屏上显示的虚拟场景及虚拟物体和/或所述物理三维空间上显示的三维虚拟场景及虚拟物体相对应。
例如，在系统的二维显示屏上显示二维的虚拟场景和/或虚拟物体，同时在三维空间上显示三维虚拟场景及虚拟物体，该场景和物体可以是同一类型，也可以是不同类型。例如，道具是一个实体的鱼玩具，在采集到该鱼玩具后，系统在二维显示屏上显示一只虚拟小猫及数条小鱼(二维虚拟物体)，以及虚拟场景，例如一条河，一个由小猫拿着的鱼竿，以及沙滩等等。给用户呈现的二维画面中，一个小猫拿着鱼竿准备钓鱼，而鱼随着实体道具(鱼玩具)的移动而在河里面游动，移动轨迹呈现一一对应，且当该游动的小鱼移动到鱼竿的钩子处，小猫将该小鱼吊起来，放在鱼缸或水桶里。此时，通过全息投影技术，鱼竿不仅在二维平面上显示，部分鱼竿可以从显示屏中“伸出来”，而小鱼的形象也可以形成一个立体虚拟小鱼，在物理空间中自由游动，此时，可同时出现三维的小鱼形象及二维的小鱼形象，此外，该三维小鱼形象可根据实体鱼玩具的移动而移动，而三维的小鱼形象则随机自由移动。
全息投影技术(Holography)，是一种记录被摄物体反射(或透射)光波中全部信息(振幅、相位)的照相技术，而物体反射或者透射的光线可以通过记录胶片完全重建，仿佛物体就在那里一样。通过不同的方位和角度观察照片，可以看到被拍摄的物体的不同的角度，因此记录得到的像可以使人产生立体视觉。全息投影技术是利用干涉和衍射原理记录并再现物体真实的三维图像的记录和再现的技术。
其第一步是利用干涉原理记录物体光波信息，此即拍摄过程：被摄物体在激光辐照下形成漫射式的物光束；另一部分激光作为参考光束射到全息底片上，和物光束叠加产生干涉，把物体光波上各点的位相和振幅转换成在空间上变化的强度，从而利用干涉条纹间的反差和间隔将物体光波的全部信息记录下来。记录着干涉条纹的底片经过显影、定影等处理程序后，便成为一张诺利德全息图，或称全息照片；
其第二步是利用衍射原理再现物体光波信息，这是成象过程：全息图犹如一个复杂的光栅，在相干激光照射下，一张线性记录的正弦型全息图的衍射光波一般可给出两个象，即原始象(又称初始象)和共轭象。再现的图像立体感强，具有真实的视觉效应。全息图的每一部分都记录了物体上各点的光信息，故原则上它的每一部分都能再现原物的整个图像，通过多次曝光还可以在同一张底片上记录多个不同的图像，而且能互不干扰地分别显示出来。
此外，除了全息投影技术实现三维虚拟物体和/或虚拟场景的实现，本发明实施例还可以借助增强现实(Augmented Reality,AR)技术来实现三维虚拟物体/场景的搭建。该方法具体为：利用增强现实AR技术，通过头盔式显示器(Head Mounted Display,HMD)(例如AR眼镜等)或移动终端显示三维虚拟物体和/或虚拟场景。此外，该系统在二维显示屏上显示与所述道具对应的虚拟场景和/或虚拟物体，所述二维显示屏上显示的虚拟场景和/或虚拟物体与所述三维虚拟场景和/或虚拟物体相对应；
其中，通过HMD或移动终端显示三维虚拟物体和/或虚拟场景，具体可以为：
采用计算机图形CG技术构建所述三维虚拟物体和/或三维场景模型；
采用三维跟踪注册技术对所述三维虚拟物体和/或三维场景模型以及所述HMD或移动终端采集的图像进行虚实配准处理；
将所述三维虚拟物体和/或三维场景模型进行实时绘制渲染，并根据所述虚实配准处理后的三维虚拟物体和/或虚拟场景在现实场景中的映射关系，将所述三维虚拟物体和/或三维场景模型与所述物质文化载体图像进行叠加融合，通过所述HMD或移动终端显示所述叠加融合后的图像。
三维跟踪注册是指系统在运行过程中，需要实时地检测、识别现实环境的图像特征，根据获取的现实环境视频图像帧的特征确定三维空间中摄像头相对于真实环境的位置和方向，从而将虚拟对象准确地放置在现实场景中的正确位置。要实现虚拟对象与现实场景的无缝融合，三维跟踪注册技术是AR系统最核心的关键技术。
三维跟踪注册技术(3D Registration)的实现一般可分为三种途径：基于计算机视觉的三维跟踪注册技术、基于硬件设备的三维跟踪注册技术和混合三维跟踪注册技术。
基于计算机视觉的三维跟踪注册技术：主要通过识别现实场景中图像的特征来确定摄像机的位置与姿态，这种注册方法可分为基于人工标记物(Marker)的方法和基于自然图像特征的方法两种。系统通过实时识别现实场景中标记物的平行线、垂直线、平面物体、角点、纹理特征等方法，获取摄像机内、外部参数。基于Marker的方法的优点是现实场景特征明显，具有较高鲁棒性和运算速度快，但需要人为事先在场景中设置黑白标记物，会影响场景的美观，基于自然图像特征的方法能克服人工标记物的上述缺点。
基于硬件设备的三维跟踪注册技术：主要是利用信号发射装置和感应装置，获取相关数据，计算三维注册所需要的位置和姿态信息。常用的有电磁式跟踪装置、光学式跟踪装置、超声波式跟踪装置、GPS定位装置、惯性导航、电子罗盘等硬件设备。电磁式跟踪装置是利用线圈信号发射器，根据磁发射信号与磁感应信号之间的耦合互动关系来确定现实场景中目标对象的相对位置与姿态信息。光学式跟踪装置是通过摄像设备或光敏元器件，根据接收的光源信息或反射球发出的光，通过获取的图像、光源信息与传感器的三维空间位置信息来确定目标对象的六自由度信息。超声波式跟踪装置是根据不同声源发出的超声波到达现实场景特定的目标对象所产生的时间差、相位差和声压来进行三维注册。通过GPS定位、惯性导航、电子罗盘等硬件装置来确定现实场景目标对象相对位置信息常用于基于位置服务的增强现实信息服务系统。
混合三维跟踪注册技术：在某些特定的应用中，综合上述多种三维跟踪注册方法来确定虚拟对象相对于真实场景的位置信息，实现系统的三维跟踪注册功能。
具体而言，本发明实施例中，系统通过HMD或移动终端上的摄像头捕获现实环境视频图像序列帧，识别出现实环境中的目标对象，进一步确定智能终端摄像机相对于现实环境中目标对象的位姿关系，系统根据获取的摄像机位姿数据信息和从真实场景获得的定位数据信息，确定虚拟对象(即虚拟物体和/或虚拟场景)在现实环境中的准确位置，最终在现实环境中完成虚拟对象的实时绘制与生成，将虚拟对象与现实环境融合显示在移动终端上，形成虚实融合的新场景，完成三维跟踪注册的过程，从而达到对现实环境文化信息增强的目的。
在系统的这一运行过程中，一方面，移动终端摄像头的位姿信息处于动态变化的状态，系统必须实时准确地获取摄像机相对于真实环境中目标对象的位置信息，才能完成后续精准的三维注册任务，另一方面，系统必须能实时地检测、识别、跟踪现实环境中的标签信息，才能快速地获取摄像机的位姿数据信息，三维空间环境下对目标对象(标签，例如实体道具可作为一个标签)的实时检测、识别、跟踪并实时完成虚实场景配准。基于计算机视觉的三维跟踪注册技术是系统在现实场景的视频图像序列帧中，以包含目标对象的图像帧为定位基准，通过对目标对象图像帧的特征点检测、识别匹配与实时跟踪的方法来实时获取摄像机与现实环境的位姿关系，并实时地更新虚拟对象到现实环境中目标对象的坐标转换关系，进而对虚实融合的场景进行实时地更新，完成三维注册的任务。基于计算机视觉的三维跟踪注册过程，主要包括图像特征点检测、识别匹配、目标对象的实时跟踪与虚实融合四个环节。
在系统中，三维跟踪注册是确保虚拟对象准确叠加、融合在现实环境中的关键性技术，这一过程中，系统是通过摄像头捕获的现实场景视频图像来获取真实场景的数据信息，三维跟踪注册的数据直接来源于摄像机捕获的图像信息，如果摄像机的内部参数不准确，将会严重影响三维注册精度，甚至导致注册失败。因此，增强现实系统需要进行摄像机标定(Camera Calibration)来确定摄像机相关参数，摄像机参数包括内部参数与外部参数，内部参数是指与摄像机本身的几何、光学特性相关的参数，外部参数是指摄像机相对于某一世界坐标系中的三维空间位置和方向，系统进行摄像机标定的过程就是确定摄像机内、外部参数的过程。此外，三维跟踪注册中的坐标变换三维跟踪注册过程的本质涉及到世界坐标系、摄像机坐标系、成像平面坐标系与像素坐标系之间的转换关系，通过这四个坐标系之间的转换矩阵的确定，系统就能将虚拟对象准确地叠加在现实环境的场景之中三维跟踪注册过程主要包括摄像机标定、实时跟踪与三维场景绘制融合三个方面的主要内容。摄像机标定的目的在于帮助系统确定摄像机内部参数与外部参数，获取真实世界坐标系、摄像机坐标系、成像平面坐标系和像素坐标系之间的转换关系，为后续的虚拟对象准确叠加在现实场景中提供数据信息。实时跟踪过程包括对现实场景目标对象的实时检测与跟踪，通过对现实场景中目标对象的实时检测、识别匹配与跟踪，获取摄像机相对于真实世界坐标系的位置与方向，以确定真实世界坐标系与摄像机坐标系之间的转换矩阵。三维场景绘制融合主要通过系统获取的世界坐标系、摄像机坐标系、成像平面坐标系与像素坐标系之间的转换关系，利用计算机图形图像绘制生成技术，将虚拟对象叠加在现实场景的目标对象区域之中，形成虚实融合的新场景。
因此，所述采用三维跟踪注册技术对所述三维虚拟物体和/或三维场景模型以及所述HMD或移动终端采集的图像进行虚实配准处理，具体可以为：
通过所述HMD或移动终端获取道具的标识信息；所述标识信息为预先设置的识别标记；
将获取的识别标记发送至云服务器，所述云服务器根据所述标识信息，确定与所述标识信息对应的三维虚拟物体或三维场景模型，再计算所述HMD或移动终端采集的道具图像，将所述图像进行三维坐标变换，基于变换后的坐标在所述图像中特定位置加载所述三维虚拟物体或三维场景模型。
S103、当所述道具在所述三维交互系统的采集范围内移动时，所述三维虚拟场景和/或所述虚拟物体根据所述道具的移动轨迹进行对应转换。
所述三维虚拟场景和/或所述虚拟物体根据所述道具的移动轨迹进行对应转换，具体可以为：所述二维显示屏上显示的虚拟场景和/或虚拟物体与所述通过HMD或移动终端显示的三维虚拟场景和/或虚拟物体根据所述道具的移动轨迹进行同步或异步变换。
其中，所述三维虚拟场景和/或所述虚拟物体根据所述道具的移动轨迹进行对应转换，具体可以为：
将所述虚拟物体和/或所述虚拟场景按照所述道具的移动轨迹进行移动；
将所述虚拟物体和/或虚拟场景做特效处理，和/或，将所述场景下所述虚拟物体和/或虚拟物体所在的位置区域做特效处理，和/或，将所述虚拟物体和/或虚拟场景按照特定故事情节进行互动。
可选地，所述三维虚拟场景和/或所述虚拟物体根据所述道具的移动轨迹进行对应转换，具体可以为：
将所述虚拟物体按照所述道具的移动轨迹在所述虚拟场景内进行移动；
当所述虚拟物体移动到所述虚拟场景中预设位置时，显示三维情景交互。
图3和图4是本发明实施例中的其中一个具体应用实例，其中，图3是前述提及的小猫钓鱼的教学游戏。可看出，道具是一个鱼玩具，放置在桌面上，且处于摄像头的采集范围内，旁边的用户通过AR眼镜进行观看，AR眼镜将二维的平面图转换为三维的虚拟对象进行显示，对于另外一个未佩戴AR眼镜的用户而言，看到的只是二维的小猫钓鱼游戏。而图4中，该用户将AR眼镜替换为移动终端，同样也可以实现三维的小猫钓鱼游戏的显示。其中，当用户移动该实体鱼玩具后，三维的小鱼也随之移动，而当小鱼移动到三维的鱼竿处，小猫则将该小鱼吊起，放在水桶里。
通过本发明实施例提供的方法及系统，通过摄像头采集实体道具的图像，在三维空间中显示与该实体道具对应的三维虚拟物体和/或三维虚拟场景，并在实体道具移动时，将对应的三维虚拟物体和/或三维虚拟场景进行情景交互。实现了三维空间的立体虚拟场景和/或虚拟物体显示，提高了用户体验，提升了教学效果。
本发明实施例还提供了一种装置，该装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时执行上述实现三维交互的方法。
本发明实施例还提供了一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述实现三维交互的方法。
图5是本发明实施例提供的一种系统结构示意图。该系统500可以包括一个或一个以上中央处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序532或数据534的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对装置中的一系列指令操作。更进一步地，中央处理器510可以设置为与存储介质530通信，在装置500上执行存储介质530中的一系列指令操作。系统500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，上述方法实施例所执行的步骤可以基于该图5所示的系统结构。
应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本说明书的各个部分均采用递进的方式进行描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点介绍的都是与其他实施例不同之处。尤其，对于装置和系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例部分的说明即可。
最后，需要说明的是：以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。显然，本领域技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种三维交互的方法，其特征在于，包括：
在二维平面上放置实体道具，所述道具置于所述三维交互系统的摄像头采集范围内；
所述三维交互系统显示与所述道具对应的三维虚拟物体和/或虚拟场景；
当所述道具在所述三维交互系统的采集范围内移动时，所述三维虚拟场景和/或所述虚拟物体根据所述道具的移动轨迹进行对应转换。
2.根据权利要求1所述的方法，其特征在于，所述三维交互系统显示与所述道具对应的三维虚拟物体和/或虚拟场景，包括：
所述三维交互系统通过全息投影技术在物理三维空间中显示与所述道具对应的三维虚拟物体和/或虚拟场景，
以及，
所述三维交互系统在二维显示屏上显示与所述道具对应的虚拟场景和/或虚拟物体，所述二维显示屏上显示的虚拟场景及虚拟物体和/或所述物理三维空间上显示的三维虚拟场景及虚拟物体相对应。
3.根据权利要求1所述的方法，其特征在于，所述三维交互系统显示与所述道具对应的三维虚拟物体和/或虚拟场景，包括：
所述三维交互系统利用增强现实AR技术，通过头盔式显示器HMD或移动终端显示三维虚拟物体和/或虚拟场景。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
所述三维交互系统在二维显示屏上显示与所述道具对应的虚拟场景和/或虚拟物体，所述二维显示屏上显示的虚拟场景和/或虚拟物体与所述三维虚拟场景和/或虚拟物体相对应；
则所述三维虚拟场景和/或所述虚拟物体根据所述道具的移动轨迹进行对应转换，包括：
所述二维显示屏上显示的虚拟场景和/或虚拟物体与所述通过HMD或移动终端显示的三维虚拟场景和/或虚拟物体根据所述道具的移动轨迹进行同步或异步变换。
5.根据权利要求3所述的方法，其特征在于，所述三维交互系统利用增强现实AR技术，通过头盔式显示器HMD或移动终端显示三维虚拟物体和/或虚拟场景，包括：
采用计算机图形CG技术构建所述三维虚拟物体和/或三维场景模型；
采用三维跟踪注册技术对所述三维虚拟物体和/或三维场景模型以及所述HMD或移动终端采集的图像进行虚实配准处理；
将所述三维虚拟物体和/或三维场景模型进行实时绘制渲染，并根据所述虚实配准处理后的三维虚拟物体和/或虚拟场景在现实场景中的映射关系，将所述三维虚拟物体和/或三维场景模型与所述物质文化载体图像进行叠加融合，通过所述HMD或移动终端显示所述叠加融合后的图像。
6.根据权利要求5所述的方法，其特征在于，所述采用三维跟踪注册技术对所述三维虚拟物体和/或三维场景模型以及所述HMD或移动终端采集的图像进行虚实配准处理，包括：
通过所述HMD或移动终端获取道具的标识信息；所述标识信息为预先设置的识别标记；
将获取的识别标记发送至云服务器，所述云服务器根据所述标识信息，确定与所述标识信息对应的三维虚拟物体或三维场景模型，再计算所述HMD或移动终端采集的道具图像，将所述图像进行三维坐标变换，基于变换后的坐标在所述图像中特定位置加载所述三维虚拟物体或三维场景模型。
7.根据权利要求1所述的方法，其特征在于，所述三维虚拟场景和/或所述虚拟物体根据所述道具的移动轨迹进行对应转换，包括：
将所述虚拟物体和/或所述虚拟场景按照所述道具的移动轨迹进行移动；
将所述虚拟物体和/或虚拟场景做特效处理，和/或，将所述场景下所述虚拟物体和/或虚拟物体所在的位置区域做特效处理，和/或，将所述虚拟物体和/或虚拟场景按照特定故事情节进行互动。
8.根据权利要求1所述的方法，其特征在于，所述三维虚拟场景和/或所述虚拟物体根据所述道具的移动轨迹进行对应转换，包括：
将所述虚拟物体按照所述道具的移动轨迹在所述虚拟场景内进行移动；
当所述虚拟物体移动到所述虚拟场景中预设位置时，显示三维情景交互。
9.一种三维交互的系统，其特征在于，所述系统包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行权利要求1至8任一项所述的三维交互的方法。
10.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，该计算机可执行指令用于执行权利要求1至8任一项所述的三维交互的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810458559.7A CN110478892A (zh) | 2018-05-14 | 2018-05-14 | 一种三维交互的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810458559.7A CN110478892A (zh) | 2018-05-14 | 2018-05-14 | 一种三维交互的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110478892A true CN110478892A (zh) | 2019-11-22 |
Family
ID=68545026
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810458559.7A Pending CN110478892A (zh) | 2018-05-14 | 2018-05-14 | 一种三维交互的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110478892A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111028603A (zh) * | 2019-12-27 | 2020-04-17 | 广东电网有限责任公司培训与评价中心 | 基于动捕和虚拟现实的变电站带电作业培训方法和系统 |
| CN111142669A (zh) * | 2019-12-28 | 2020-05-12 | 上海米哈游天命科技有限公司 | 二维界面到三维场景的交互方法、装置、设备及存储介质 |
| CN111467795A (zh) * | 2020-04-02 | 2020-07-31 | 北京代码乾坤科技有限公司 | 游戏场景内的物理结算方法和装置 |
| CN111540017A (zh) * | 2020-04-27 | 2020-08-14 | 深圳市瑞立视多媒体科技有限公司 | 优化相机位置变量的方法、装置、设备及存储介质 |
| CN112675527A (zh) * | 2020-12-29 | 2021-04-20 | 重庆医科大学 | 一种基于vr技术的家庭教育游戏系统及方法 |
| CN112711458A (zh) * | 2021-01-15 | 2021-04-27 | 腾讯科技（深圳）有限公司 | 虚拟场景中道具资源的展示方法及装置 |
| CN112932703A (zh) * | 2021-02-05 | 2021-06-11 | 四川大学 | 一种利用混合现实技术的正畸托槽粘接方法 |
| CN113101648A (zh) * | 2021-04-14 | 2021-07-13 | 北京字跳网络技术有限公司 | 一种基于地图的交互方法、设备及存储介质 |
| US11151890B2 (en) | 2020-12-30 | 2021-10-19 | Central South Normal University | 5th-generation (5G) interactive distance dedicated teaching system based on holographic terminal and method for operating same |
| CN113515790A (zh) * | 2021-07-12 | 2021-10-19 | 哈尔滨工业大学 | 一种渔具交互式定制方法及系统 |
| CN114415827A (zh) * | 2021-12-20 | 2022-04-29 | 北京理工大学 | 一种为虚拟物体提供实体交互的方法、系统及装置 |
| CN116756045A (zh) * | 2023-08-14 | 2023-09-15 | 海马云（天津）信息技术有限公司 | 应用测试方法及装置、计算机设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103366610A (zh) * | 2013-07-03 | 2013-10-23 | 熊剑明 | 基于增强现实的三维互动学习系统及方法 |
| CN104102412A (zh) * | 2014-07-24 | 2014-10-15 | 央数文化(上海)股份有限公司 | 一种基于增强现实技术的手持式阅览设备及其方法 |
| WO2017029279A2 (en) * | 2015-08-17 | 2017-02-23 | Lego A/S | Method of creating a virtual game environment and interactive game system employing the method |
| CN106710348A (zh) * | 2016-12-20 | 2017-05-24 | 江苏前景信息科技有限公司 | 一种人防互动体验方法与系统 |
| CN107610236A (zh) * | 2017-08-21 | 2018-01-19 | 武汉秀宝软件有限公司 | 一种基于图形识别的交互方法及系统 |
-
2018
- 2018-05-14 CN CN201810458559.7A patent/CN110478892A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103366610A (zh) * | 2013-07-03 | 2013-10-23 | 熊剑明 | 基于增强现实的三维互动学习系统及方法 |
| CN104102412A (zh) * | 2014-07-24 | 2014-10-15 | 央数文化(上海)股份有限公司 | 一种基于增强现实技术的手持式阅览设备及其方法 |
| WO2017029279A2 (en) * | 2015-08-17 | 2017-02-23 | Lego A/S | Method of creating a virtual game environment and interactive game system employing the method |
| CN106710348A (zh) * | 2016-12-20 | 2017-05-24 | 江苏前景信息科技有限公司 | 一种人防互动体验方法与系统 |
| CN107610236A (zh) * | 2017-08-21 | 2018-01-19 | 武汉秀宝软件有限公司 | 一种基于图形识别的交互方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 余日季: ""基于AR技术的非物质文化遗产数字化开发研究", 中国博士学位论文全文数据库 信息科技辑, 15 July 2015 (2015-07-15), pages 70 - 72 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111028603A (zh) * | 2019-12-27 | 2020-04-17 | 广东电网有限责任公司培训与评价中心 | 基于动捕和虚拟现实的变电站带电作业培训方法和系统 |
| CN111142669A (zh) * | 2019-12-28 | 2020-05-12 | 上海米哈游天命科技有限公司 | 二维界面到三维场景的交互方法、装置、设备及存储介质 |
| CN111467795A (zh) * | 2020-04-02 | 2020-07-31 | 北京代码乾坤科技有限公司 | 游戏场景内的物理结算方法和装置 |
| CN111467795B (zh) * | 2020-04-02 | 2023-06-13 | 北京代码乾坤科技有限公司 | 游戏场景内的物理结算方法和装置 |
| CN111540017B (zh) * | 2020-04-27 | 2023-05-05 | 深圳市瑞立视多媒体科技有限公司 | 优化相机位置变量的方法、装置、设备及存储介质 |
| CN111540017A (zh) * | 2020-04-27 | 2020-08-14 | 深圳市瑞立视多媒体科技有限公司 | 优化相机位置变量的方法、装置、设备及存储介质 |
| CN112675527A (zh) * | 2020-12-29 | 2021-04-20 | 重庆医科大学 | 一种基于vr技术的家庭教育游戏系统及方法 |
| US11151890B2 (en) | 2020-12-30 | 2021-10-19 | Central South Normal University | 5th-generation (5G) interactive distance dedicated teaching system based on holographic terminal and method for operating same |
| CN112711458B (zh) * | 2021-01-15 | 2022-08-30 | 腾讯科技（深圳）有限公司 | 虚拟场景中道具资源的展示方法及装置 |
| CN112711458A (zh) * | 2021-01-15 | 2021-04-27 | 腾讯科技（深圳）有限公司 | 虚拟场景中道具资源的展示方法及装置 |
| CN112932703A (zh) * | 2021-02-05 | 2021-06-11 | 四川大学 | 一种利用混合现实技术的正畸托槽粘接方法 |
| CN113101648A (zh) * | 2021-04-14 | 2021-07-13 | 北京字跳网络技术有限公司 | 一种基于地图的交互方法、设备及存储介质 |
| CN113101648B (zh) * | 2021-04-14 | 2023-10-24 | 北京字跳网络技术有限公司 | 一种基于地图的交互方法、设备及存储介质 |
| CN113515790A (zh) * | 2021-07-12 | 2021-10-19 | 哈尔滨工业大学 | 一种渔具交互式定制方法及系统 |
| CN114415827A (zh) * | 2021-12-20 | 2022-04-29 | 北京理工大学 | 一种为虚拟物体提供实体交互的方法、系统及装置 |
| CN116756045A (zh) * | 2023-08-14 | 2023-09-15 | 海马云（天津）信息技术有限公司 | 应用测试方法及装置、计算机设备和存储介质 |
| CN116756045B (zh) * | 2023-08-14 | 2023-10-31 | 海马云（天津）信息技术有限公司 | 应用测试方法及装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110478892A (zh) | 一种三维交互的方法及系统 | |
| US10803365B2 (en) | System and method for relocalization and scene recognition | |
| Liu et al. | 3D imaging, analysis and applications | |
| US9478063B2 (en) | Methods for object recognition and related arrangements | |
| CN108765548A (zh) | 基于深度相机的三维场景实时重建方法 | |
| CN109753885B (zh) | 一种目标检测方法、装置以及行人检测方法、系统 | |
| Hagbi et al. | Shape recognition and pose estimation for mobile augmented reality | |
| JP2021503131A (ja) | ホモグラフィ適合を介した完全畳み込み着目点検出および記述 | |
| CN108133495A (zh) | 用于移动设备环境的3d重建方法、相应的程序产品和设备 | |
| US20200364509A1 (en) | System and method for training a neural network for visual localization based upon learning objects-of-interest dense match regression | |
| CN111243093A (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
| Yang | Research of augmented reality for children’s books on the basis of artoolkits | |
| CN103116902A (zh) | 三维虚拟人头像生成方法、人头像运动跟踪方法和装置 | |
| CN109902541A (zh) | 一种图像识别的方法及系统 | |
| CN106155299B (zh) | 一种对智能设备进行手势控制的方法及装置 | |
| CN108564662A (zh) | 一种远距离场景下进行增强现实数字文化内容显示的方法及装置 | |
| Lopes et al. | Spherical blurred shape model for 3-D object and pose recognition: Quantitative analysis and HCI applications in smart environments | |
| CN107077739A (zh) | 使用单目相机的三维标记模型构建和实时跟踪 | |
| Khandelwal et al. | Detection of features to track objects and segmentation using grabcut for application in marker-less augmented reality | |
| Afif et al. | Vision-based tracking technology for augmented reality: a survey | |
| Álvarez et al. | Junction assisted 3d pose retrieval of untextured 3d models in monocular images | |
| Aggarwal et al. | Analyzing dynamic scenes containing multiple moving objects | |
| CN115345927A (zh) | 展品导览方法及相关装置、移动终端和存储介质 | |
| Han et al. | L-split marker for augmented reality in aircraft assembly | |
| CN114416764A (zh) | 地图更新方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |