CN106447643A - 一种基于ar技术的互动影像处理方法 - Google Patents
一种基于ar技术的互动影像处理方法 Download PDFInfo
- Publication number
- CN106447643A CN106447643A CN201610831503.2A CN201610831503A CN106447643A CN 106447643 A CN106447643 A CN 106447643A CN 201610831503 A CN201610831503 A CN 201610831503A CN 106447643 A CN106447643 A CN 106447643A
- Authority
- CN
- China
- Prior art keywords
- image
- new images
- target
- condition code
- gray level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 28
- 238000005516 engineering process Methods 0.000 title claims abstract description 26
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 239000000284 extract Substances 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 239000013589 supplement Substances 0.000 claims description 4
- 230000008901 benefit Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 3
- 238000000034 method Methods 0.000 abstract description 2
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 238000003786 synthesis reaction Methods 0.000 abstract 1
- 230000000644 propagated effect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种基于AR技术的互动影像处理方法，属于AR技术应用技术领域，包括以下步骤：步骤一：设置目标图像的宽度和高度，并将目标图像转换成灰度图像；步骤二：提取目标图像的特征码；步骤三：获取新图像，并将新图像转换成灰度图像，判断新图像的灰度图像是否与目标图像的灰度图像相匹配的场景；步骤四：得到合成图像，并显示在屏幕上。本发明使用AR技术作为支撑，可将图像以三维形式显示在显示屏上，有图形识别码，具有防伪功能，可与实物互动，增加互动影像体验，平台传播性。
Description
技术领域
本发明涉及AR技术应用技术领域，特别是一种基于AR技术的互动影像处理方法。
背景技术
AR技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验的实体信息(视觉信息、声音、味道和触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所知，从而达到超越现实的感官体验，真实的环境和虚拟的物体实时地叠加到了同一个画面或控制同时存在。
AR技术不仅在与VR技术相类似的应用领域，诸如尖端武器、飞行器的研制与开发、数据模型的可视化、虚拟训练、娱乐与艺术等领域具有广泛的应用，而且由于AR技术具有能够对真实环境进行增强显示输出的特性，在医疗研究与解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等领域，具有比VR技术更加明显的优势。
目前，互动影像因为很多媒介的感官渠道，和其本身所具有的互动特性，使其成为了在重现与模拟情境的恰当工具，在近年来无数商业应用中，互动影像都表现了良好的宣传，最重要的原因是，是互动影像特性所带来的对于情境的模拟，恰好符合了人类虚拟情境化学习的内在需要，但是现有互动影像的表现力不强，无立体感，互动影像的互动性比较差且无防伪作用。
发明内容
针对上述情况，为克服现有技术之缺陷，本发明之目的在于提供一种基于AR技术的互动影像处理方法，解决了现有互动影像表现力弱、互动性差和无防伪作用的问题。
其解决的技术方案是，包括以下步骤：
步骤一：设置目标图像的宽度和高度，并将目标图像转换成灰度图像；
步骤二：提取目标图像的特征码；
步骤三：获取新图像，并将新图像转换成灰度图像，判断新图像的灰度图像是否与目标图像的灰度图像相匹配的场景；
步骤四：得到合成图像，并显示在屏幕上。
本发明使用AR技术作为支撑，可将图像以三维形式显示在显示屏上，有图形识别码，具有防伪功能，可与实物互动，增加互动影像体验，平台传播性。
附图说明
图1为本发明的工作流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现结合图1所示，本发明的一种基于AR技术的互动影像处理方法的实施例，
包括以下步骤：
步骤一：设置目标图像的宽度和高度，并将目标图像转换成灰度图像；
步骤二：提取目标图像的特征码；
步骤三：获取新图像，并将新图像转换成灰度图像，判断新图像的灰度图像是否与目标图像的灰度图像相匹配的场景；
步骤四：得到合成图像，并显示在屏幕上。
在步骤一中，所述设置目标图像的宽度和高度是根据摄像机拍摄实物的宽度和高度来设置的，宽度和高度的单位均为像素。
在步骤二中，所述提取目标图像的特征码，是通过对比相邻像素的两颜色的色差值，利用SURF算法提取目标图像的特征码。
在步骤三中，将新图像转换成灰度图像中，确定新图像的灰度图像是否存在与目标图像的灰度图像相匹配的场景，包括以下步骤：
步骤31：，获取新图像，并用SURF算法提取新图像的特征码；
步骤32：将将新图像的特征码与目标图像的特征码进行匹配，若两者匹配，表示场景中存在目标图像则执行步骤33，否则跳出步骤；
步骤33：提取新图形的特征码与目标图像的特征码中相匹配的新图像特征点和目标图像特征点，构成映射矩阵，用映射矩阵分别乘目标图像的四边形中4个顶点坐标的齐次坐标，并对结果归一化得到新图像中四边形的4个顶点，计算新图像特征点在四边形中的张开程度，当张开程度小于扩张阔值时跳出步骤，否则执行步骤34；
步骤34：设置目标跟踪点，即将新图像的特征点作为新图形跟踪起始点，复制新图像为目标跟踪图像，复制新图形特征点为目标跟踪图像特征点，目标跟踪图像特征点作为目标跟踪起始点，目标跟踪图像的灰度图像作为前一帧图像，新图像的灰度图像作为当前帧图像，利用金字塔光流算法进行跟踪，得到新图像的灰度图像中对应的跟踪点，将所得新图像的灰度图像中对应的跟踪点作为跟踪起始点，目标跟踪图像的灰度图像作为前一帧图像，新图像的灰度图像作为当前帧图像，再次利用金字塔光流算法跟踪得到跟踪终止点，利用欧式距离函数，计算前向后向跟踪误差，利用误差阔值限定跟踪误差，重置目标跟踪图像跟踪点，计算新图像跟踪点，计算跟踪丢失比率，若跟踪丢失比率大于丢失比率阔值，则清空目标跟踪图像跟踪点，跳出步骤，否则计算新图像特征点和目标跟踪图像特征点的映射矩阵，用该映射矩阵计算得到映射后的四边形的顶点；若跟踪丢失比率小于丢失比率阔(阈)值，则补充目标跟踪图像跟踪点，否则执行步骤35；
步骤35：更新新图像为目前跟踪图像，更新新图形四边形顶点为目标跟踪图像四边形顶点，更新新图像跟踪点，更新目标跟踪图像补充跟踪点，并将更新的新图像跟踪点和更新的目标跟踪图像补充跟踪点的集合作为目标跟踪点。
在步骤四中，读取目标跟踪图像数据，使用化OPengl将其绘制到新图像的四边形内得到最终的合成图像，并显示在屏幕上。
该基于AR技术的互动影像处理方法实时计算摄像机的位置、角度并加上相应图像、视频、3D模型的技术，拉近客户与商品的距离，拥有真实的体验。
所述基于AR技术的互动影像结合特定体感装置，能够提供与现有用户体验不同的体验，三维体验模式对于互动影像的表达内容具有传播性，该互动影像有图像识别码，可以实现防伪功能，且互动影像可应用到服装的印刷品上、展城影像和现实地点，应用范围大，实用性强。
本发明使用AR技术作为支撑，可将图像以三维形式显示在显示屏上，有图形识别码，具有防伪功能，可与实物互动，增加互动影像体验，平台传播性。
Claims (5)
1.一种基于AR技术的互动影像处理方法，其特征在于，包括以下步骤：
步骤一：设置目标图像的宽度和高度，并将目标图像转换成灰度图像；
步骤二：提取目标图像的特征码；
步骤三：获取新图像，并将新图像转换成灰度图像，判断新图像的灰度图像是否与目标图像的灰度图像相匹配的场景；
步骤四：得到合成图像，并显示在屏幕上。
2.根据权利要求1所述的一种基于AR技术的互动影像处理方法，其特征在于，在步骤一中，所述设置目标图像的宽度和高度是根据摄像机拍摄实物的宽度和高度来设置的，宽度和高度的单位均为像素。
3.根据权利要求1所述的一种基于AR技术的互动影像处理方法，其特征在于，在步骤二中，所述提取目标图像的特征码，是通过对比相邻像素的两颜色的色差值，利用SURF算法提取目标图像的特征码。
4.根据权利要求1所述的一种基于AR技术的互动影像处理方法，其特征在于，确定新图像的灰度图像是否存在与目标图像的灰度图像相匹配的场景，包括以下步骤：
步骤31：，获取新图像，并用SURF算法提取新图像的特征码；
步骤32：将将新图像的特征码与目标图像的特征码进行匹配，若两者匹配，表示场景中存在目标图像则执行步骤33，否则跳出步骤；
步骤33：提取新图形的特征码与目标图像的特征码中相匹配的新图像特征点和目标图像特征点，构成映射矩阵，用映射矩阵分别乘目标图像的四边形中4个顶点坐标的齐次坐标，并对结果归一化得到新图像中四边形的4个顶点，计算新图像特征点在四边形中的张开程度，当张开程度小于扩张阔值时跳出步骤，否则执行步骤34；
步骤34：设置目标跟踪点；
步骤35：更新新图像为目前跟踪图像，更新新图形四边形顶点为目标跟踪图像四边形顶点，更新新图像跟踪点，更新目标跟踪图像补充跟踪点，并将更新的新图像跟踪点和更新的目标跟踪图像补充跟踪点的集合作为目标跟踪点。
5.根据权利要求1所述的一种基于AR技术的互动影像处理方法，其特征在于，读取目标跟踪图像数据，使用化OPengl将其绘制到新图像的四边形内得到最终的合成图像，并显示在屏幕上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610831503.2A CN106447643A (zh) | 2016-09-19 | 2016-09-19 | 一种基于ar技术的互动影像处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610831503.2A CN106447643A (zh) | 2016-09-19 | 2016-09-19 | 一种基于ar技术的互动影像处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106447643A true CN106447643A (zh) | 2017-02-22 |
Family
ID=58165784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610831503.2A Pending CN106447643A (zh) | 2016-09-19 | 2016-09-19 | 一种基于ar技术的互动影像处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106447643A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109753940A (zh) * | 2019-01-11 | 2019-05-14 | 京东方科技集团股份有限公司 | 图像处理方法及装置 |
| CN111144202A (zh) * | 2019-11-14 | 2020-05-12 | 北京海益同展信息科技有限公司 | 一种对象控制方法、装置、系统、电子设备及存储介质 |
| TWI741590B (zh) * | 2020-05-08 | 2021-10-01 | 國立臺北科技大學 | 一種用於自閉症孩童提升社交訓練之裝置及其方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102568026A (zh) * | 2011-12-12 | 2012-07-11 | 浙江大学 | 一种多视点自由立体显示的三维增强现实方法 |
| CN104156998A (zh) * | 2014-08-08 | 2014-11-19 | 深圳中科呼图信息技术有限公司 | 一种基于图片虚拟内容融合真实场景的实现方法及系统 |
| CN104270577A (zh) * | 2014-08-22 | 2015-01-07 | 北京德馨同创科技发展有限责任公司 | 用于移动智能终端的图像处理方法和装置 |
| CN105069754A (zh) * | 2015-08-05 | 2015-11-18 | 意科赛特数码科技(江苏)有限公司 | 基于在图像上无标记增强现实的系统和方法 |
-
2016
- 2016-09-19 CN CN201610831503.2A patent/CN106447643A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102568026A (zh) * | 2011-12-12 | 2012-07-11 | 浙江大学 | 一种多视点自由立体显示的三维增强现实方法 |
| CN104156998A (zh) * | 2014-08-08 | 2014-11-19 | 深圳中科呼图信息技术有限公司 | 一种基于图片虚拟内容融合真实场景的实现方法及系统 |
| CN104270577A (zh) * | 2014-08-22 | 2015-01-07 | 北京德馨同创科技发展有限责任公司 | 用于移动智能终端的图像处理方法和装置 |
| CN105069754A (zh) * | 2015-08-05 | 2015-11-18 | 意科赛特数码科技(江苏)有限公司 | 基于在图像上无标记增强现实的系统和方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109753940A (zh) * | 2019-01-11 | 2019-05-14 | 京东方科技集团股份有限公司 | 图像处理方法及装置 |
| US11288838B2 (en) | 2019-01-11 | 2022-03-29 | Beijing Boe Optoelectronics Technology Co., Ltd. | Image processing method and apparatus |
| CN111144202A (zh) * | 2019-11-14 | 2020-05-12 | 北京海益同展信息科技有限公司 | 一种对象控制方法、装置、系统、电子设备及存储介质 |
| CN111144202B (zh) * | 2019-11-14 | 2023-11-07 | 京东科技信息技术有限公司 | 一种对象控制方法、装置、系统、电子设备及存储介质 |
| TWI741590B (zh) * | 2020-05-08 | 2021-10-01 | 國立臺北科技大學 | 一種用於自閉症孩童提升社交訓練之裝置及其方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021073292A1 (zh) | 一种ar场景图像处理方法、装置、电子设备及存储介质 | |
| US10565796B2 (en) | Method and system for compositing an augmented reality scene | |
| CN102831401B (zh) | 对无特定标记目标物体跟踪、三维叠加及交互的方法及系统 | |
| CN105631861B (zh) | 结合高度图从无标记单目图像中恢复三维人体姿态的方法 | |
| CN109828658B (zh) | 一种人机共融的远程态势智能感知系统 | |
| CN106355153A (zh) | 一种基于增强现实的虚拟对象显示方法、装置以及系统 | |
| Li et al. | Research on the application of AR technology based on Unity3D in education | |
| KR20120038616A (ko) | 마커리스 실감형 증강현실 제공 방법 및 시스템 | |
| CN105096311A (zh) | 基于gpu的深度图修复和虚实场景结合技术 | |
| CN114332374A (zh) | 一种虚拟显示方法、设备以及存储介质 | |
| CN104537705A (zh) | 基于增强现实的移动平台三维生物分子展示系统和方法 | |
| CN106447643A (zh) | 一种基于ar技术的互动影像处理方法 | |
| Rallis et al. | An embodied learning game using kinect and labanotation for analysis and visualization of dance kinesiology | |
| CN104486586A (zh) | 一种基于视频地图的灾难救生模拟训练方法及系统 | |
| Rana et al. | Augmented reality engine applications: a survey | |
| Chen et al. | Research on augmented reality system for childhood education reading | |
| CN104933278A (zh) | 一种用于言语障碍康复训练的多通道交互方法和系统 | |
| Zhang | The Application of Computer Augmented Reality Technology in Ancient Murals | |
| Song et al. | Landscape Fusion Method Based on Augmented Reality and Multiview Reconstruction | |
| Jie et al. | Application of motion capture technology in the digital recreation of Tang Dynasty mural art: a case study of Han Xiu's Tomb | |
| Zheng et al. | [Retracted] Rendering and Optimization Algorithm of Digital City’s 3D Artistic Landscape Based on Virtual Reality | |
| Tao | A VR/AR-based display system for arts and crafts museum | |
| Chen et al. | Industrial Operation Training Technology Based on Panoramic Image and Augmented Reality | |
| CN114185431B (zh) | 一种基于mr技术的智能媒体交互方法 | |
| Park et al. | Improving Instance Segmentation using Synthetic Data with Artificial Distractors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170222 |