CN106327438B - 一种对高光和重复纹理消除的增强现实方法及爬行垫应用 - Google Patents
一种对高光和重复纹理消除的增强现实方法及爬行垫应用 Download PDFInfo
- Publication number
- CN106327438B CN106327438B CN201610656635.6A CN201610656635A CN106327438B CN 106327438 B CN106327438 B CN 106327438B CN 201610656635 A CN201610656635 A CN 201610656635A CN 106327438 B CN106327438 B CN 106327438B
- Authority
- CN
- China
- Prior art keywords
- texture
- image
- augmented reality
- specular
- eigenvalue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000008030 elimination Effects 0.000 title claims description 9
- 238000003379 elimination reaction Methods 0.000 title claims description 9
- 238000012545 processing Methods 0.000 claims abstract description 46
- 238000001914 filtration Methods 0.000 claims abstract description 19
- 230000009467 reduction Effects 0.000 claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 5
- 239000010410 layer Substances 0.000 description 8
- 239000000463 material Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 239000002344 surface layer Substances 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000003755 preservative agent Substances 0.000 description 2
- 230000002335 preservative effect Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 206010057315 Daydreaming Diseases 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 210000005079 cognition system Anatomy 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001579 optical reflectometry Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 239000002985 plastic film Substances 0.000 description 1
- 229920006255 plastic film Polymers 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000013022 venting Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G06T5/70—
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Abstract
本发明公开了一种对高光和重复纹理消除的增强现实方法及爬行垫应用，属于增强现实技术领域。方法包括：获取实时图像；分隔原始图像中的高光区，并对高光区进行能保留识别特征的降噪和滤波处理；判断高光去除后图像中是否含有重复纹理特征；如果有重复纹理特征，则根据纹理特征值确定纹理点位置；对纹理点进行平滑滤波处理；对纹理去除后图像进行增强现实处理。爬行垫应用包括：爬行垫、摄像头、图像处理模块、增强现实模块、移动终端。该方法具有匹配速度快、错误少和分辨率低等优点；而爬行垫应用能提高爬行垫的可玩性和教育性。
Description
技术领域
本发明属于增强现实技术领域，特别涉及一种对高光和重复纹理消除的增强现实方法及爬行垫应用，尤其涉及一种爬行垫的增强现实方法。
背景技术
有些家长照顾宝宝非常小心，即使到了宝宝会爬的月龄，也因为怕地上脏、怕宝宝在地上着凉、怕硌着等等，总是抱着或推着宝宝，没给宝宝创造学爬的条件，从而剥夺了宝宝爬的机会。如果宝宝没有经历爬行，就学会行走，虽然不会对他的生活造成严重影响，但有可能在宝宝上学后出现注意力不集中、协调能力差等问题。市场上提供了一种爬行垫产品解决上述问题。
爬行垫一般由EPE和保鲜膜组合而成，中层为EPE，表层为保鲜膜。婴儿爬行垫起源于日韩，并在日韩市场上趋于成熟，中国市场的认知度也正逐步形成。现在市场上的爬行垫材质非常丰富，不再是单纯的EPE，还有更耐用的XPE、IXPE、PVC材质以及适合拼接的EVA材质。如申请号为201110114458.6的专利公开了一种儿童爬行垫，由三大层构成，最上层为面层，最下层为底层，底层和面层之间为中间层，面层从上往下依次为面料层、气体滞留层，中间层为透气系统，底层为防滑层。
增强现实技术(简称AR)，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道和触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。
AR技术不仅在与VR技术相类似的应用领域，诸如尖端武器、飞行器的研制与开发、数据模型的可视化、虚拟训练、娱乐与艺术等领域具有广泛的应用，而且由于其具有能够对真实环境进行增强显示输出的特性，在医疗研究与解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等领域，具有比VR技术更加明显的优势。
现有技术中增强现实技术可用于儿童认知系统等幼儿产品，当前婴幼儿爬行垫领域，小孩和大人互动性差。引入增强现实技术后，可创造出教育、互动性更强的爬行垫衍生品，提升其品质。但是爬行垫由于材质、印刷方式等原因，使用计算机进行图像识别时困难，准确率不高，无法匹配或快速匹配，影响增强现实技术的使用。现有的爬行垫主要问题表现在：1、爬行垫有塑料薄膜，存在高光反射，导致识别不准。2、爬行垫由于材质(纤维、布料)原因，使其带有有规律性纹理(横竖纹理、斜纹等)。
发明内容
为了解决上述问题，本发明的目的之一为提供一种对高光和重复纹理消除的增强现实方法，该方法通过对图像进行能保留识别特征的高光消除和重复纹理消除，以实现快速识别和实时匹配，该方法具有匹配速度快、错误少和分辨率低等优点。该方法在图像处理阶段与常规的图像处理方法具有区别，本方法对图像处理只要达到能识别的程度即可，而不需要将高光和重复纹理基本全部去除以保持原有图像，减少了运算量，以保证匹配速度。本发明的目的之二为提供一种对高光和重复纹理消除的增强现实方法的爬行垫应用，能提高爬行垫的可玩性和教育性。所述技术方案如下：
一方面，本发明实施例提供了一种对高光和重复纹理消除的增强现实方法，该方法包括以下步骤：
获取实时图像；分隔原始图像中的高光区，并对高光区进行能保留识别特征的降噪和滤波处理；判断高光去除后图像中是否含有重复纹理特征；如果有重复纹理特征，则根据纹理特征值确定纹理点位置；对纹理点进行平滑滤波处理；对纹理去除后图像进行增强现实处理。
另一方面，本发明实施例还提供了一种爬行垫应用，包括：
爬行垫。
摄像头：用于获取实时图像。
图像处理模块：用于分隔原始图像中的高光区，并对高光区进行能保留识别特征的降噪和滤波处理；判断高光去除后图像中是否含有重复纹理特征，如果有重复纹理特征，则根据纹理特征值确定纹理点位置，对纹理点进行平滑滤波处理，将纹理去除后图像发送到增强现实模块；如果无重复纹理特征，将高光去除后图像发送到增强现实模块。
增强现实模块：用于对高光去除后图像或纹理去除后图像进行增强现实处理，并将增强现实处理信息推送到移动终端。
移动终端：用于实时处理和显示增强现实处理信息。
本发明实施例提供一种对高光和重复纹理消除的增强现实方法及爬行垫应用，该方法通过对图像进行能保留识别特征的高光消除和重复纹理消除，以实现快速识别和实时匹配，该方法具有匹配速度快、错误少和分辨率低等优点。该方法在图像处理阶段与常规的图像处理方法具有区别，本方法对图像处理只要达到能识别的程度即可，而不需要将高光和重复纹理基本全部去除以保持原有图像，减少了运算量，以保证匹配速度，并且该方法能保留图片的核心特征点用于识别。
附图说明
图1是本发明实施例1提供的对高光和重复纹理消除的增强现实方法的流程图；
图2是原始图1；
图3是原始图1经高光处理后的图像；
图4是原始图2；
图5是原始图2经纹理处理后的图像；
图6是本发明实施例3提供的爬行垫应用的实现框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明作进一步地详细描述。
实施例一
参见图1，实施例1提供了一种对高光和重复纹理消除的增强现实方法，该方法包括以下步骤：
S101：获取实时图像得到原始图像。
S102：通过计算高光区的轮廓和位置来分隔步骤S101得到的原始图像中的高光区，并对高光区进行能保留识别特征的降噪和滤波处理。该步骤具体可以根据颜色统计规律出发，通过最大漫反射色度局部平滑这一特性来去除高光。该步骤不一定能精确保持原有图像，但可保留足够识别的图像特征。
S103：判断步骤S102高光去除后图像中是否含有重复纹理特征，如果有重复纹理特征则执行步骤S104，如果无重复纹理特征则执行步骤S106。由于实际产品(如爬行垫)材质单一，可以只通过UNI和CON两种纹理特征值进行判定纹理。
S104：如果有重复纹理特征，则根据纹理特征值(UNI和CON纹理特征值)确定纹理点位置，具体可以根据在不同尺度下UNI和CON两种特征值近似的像素点的坐标值来确定纹理点的位置。
S105：对步骤S104确定的纹理点进行平滑滤波处理，在步骤S104确定纹理点位置后采用常规滤波方法，如采用高斯滤波对纹理点进行平滑滤波处理即可。该步骤同样不一定能精确保持原有图像，但可保留足够识别的图像特征。
S106：对步骤S102高光去除后图像或步骤S105纹理去除后图像进行增强现实处理，该步骤与现有的增强现实处理方法一样。
本实施例提供的方法，通过对分隔后的高光区(高光会导致不可识别)进行能保留识别特征的降噪和滤波处理用于消除高光，减少了处理时间；由于爬行垫等纹理比较单一和规则，对高光消除后图像通过两个特征值来判断是否具有重复纹理(相对高光影响较小，因此后处理)，对无重复纹理的图像直接进行增强现实处理加快了处理速度，而对有重复纹理的图像，则采用前面计算得到的两个特征值来确定纹理点的位置，并没有增加多少计算量，后对纹理点进行常规的平滑滤波即可，最后对有重复纹理的图像进行增强现实处理。虽然，上述过程相对于常规的图像处理的运算量较小，但是其处理后的图像含有足够多和足够重要的特征点来检索对应的模型，匹配成功率非常高。
实施例二
实施例2提供了一种对高光和重复纹理消除的增强现实方法，该方法包括以下步骤：
S201：在移动终端或现场设备上运行增强现实程序。
S202：调用摄像头对爬行垫及其上的物体进行扫描，获取实时图像。
S203：判断当前处理设备是否具有GPU，如果具有GPU，则将步骤S202得到的原始图像送GPU进行处理，执行步骤S204-207；如果无GPU，则将步骤S202得到的原始图像送CPU进行处理，执行步骤S204-207。即为了提高处理速度，优先将图像发送到GPU中进行处理。
S204：计算步骤S202得到的原始图像的灰度值，根据灰度值确定高光区(灰度平均值连续分布在220到245之间)，采用OpenCV的canny算子获取高光区的轮廓和位置，根据高光区的最大漫反射度对高光区进行降噪和滤波处理。其原理为：从高光图片的颜色统计规律出发，通过最大漫反射色度局部平滑这一特性；估计镜面反射像素最大漫反射分量，由基于线性模型对最大漫反射分量的值进行扩散传播，从图像中的漫反射像素传播到镜面反射像素；最后求出图像中每个像素的最大漫反射度。在原始图像的高光区域中，将该最大漫反射度减去，进而达到高光去除的效果。具体可以通过OpenCV的GPU加速模块计算最大漫反射分量和最大漫反射度，最终得到去除高光后的图像。
其具体过程为：根据dichromatic反射模型估算最大漫反色分量，根据最大漫反色分量计算得到最大漫反射度，在高光区中减去对应的最大漫反射度得到高光去除后的图像。具体地，反射光线可分为漫反射分量和镜面反射分量，最大漫反色分量的估算方法为： 是最大漫反射度的引导值；其中，βc＝1–(σmax-σc)/(3σmax-1)，σmax＝max(σr、σg、σb)，c＝{R，G，B}，σ为与像素颜色相关的色度(RGB)，σ(X)＝I(X)/(Ir(X)+Ig(X)+Ib(X)),I表示图像的颜色分量，X＝(x,y)表示图像中某一像素的坐标。其中，最大漫反射度的计算方法为采用来线性估算得到，i∈w，系数a、b通过能量方程得到，能量方程如下：
其中，μ和σ2分别为区域w内关于的均值和方差，|w|是区域w内像素的个数；为区域w内的均值。通过计算出a与b的取值，可求出区域内最大漫反射度
S205：对步骤S204高光去除后图像进行多尺度处理；根据灰度共生矩阵算法(GLCM)，获取不同尺度下图像中像素点在不同方向下的特征值，根据各个方向的特征值计算UNI和CON纹理特征值，如果在不同尺度下UNI和CON纹理特征值近似，则认为有重复纹理，执行步骤S206。如果在不同尺度下UNI和CON纹理特征值具有较大区别，则认为无重复纹理，执行步骤S207。其中，近似的判断依据为：判断不同尺度下UNI和CON纹理特征值是否分别在设定的偏差内。
具体过程为，建立步骤S204高光去除后图像的图像金子塔，分辨率逐层递减，层数为4-5层；如分别得到分辨率为2048*2048、1024*1024、512*512、256*256和128*128的图像。采用Opencv中自定义模板，根据灰度共生矩阵算法，获取不同分辨率下每层图像中像素点在不同方向下的特征值Pc＝p(i,j,d,θ)；其中，i和j为像素点位置，d为相邻像素点距离，θ为角度，θ取值0°、45°、90°和135°。再通过各个方向的特征值可计算1)角二阶矩UNI、2)对比度CON、3)相关COR、4)逆差距IDM、5)熵ENT、6)最大概率MAX、7)相异DIS、8)反差INV等八个主要纹理特征值。由于实际产品中爬行垫材质单一，可以只通过UNI和CON两种特征值进行判定纹理。然后采用OpenCV矩阵，根据特征值Pc计算UNI和CON纹理特征值，如果UNI纹理特征值在不同分辨率下特征值偏差不超过10％和CON纹理特征值在不同分辨率下特征值偏差不超过15％，则认为有重复纹理。具体地，如在分辨率2048*2048、1024*1024、512*512和256*256的四幅图像中同一像素点(根据相对位置确认)的UNI和CON纹理特征值分别满足10％和15％的偏差范围，则认为UNI和CON纹理特征值近似，进而认为有重复纹理。
S206：将在不同分辨率下UNI和CON纹理特征值近似的像素点(步骤S205判断是否具有重复纹理时UNI和CON纹理特征值近似的点)确定为纹理点，根据纹理点的i和j值确定纹理点的位置。具体地，采用高光去除后图像或最大分辨率图像的像素点的i和j值确定纹理点的位置，对纹理点进行平滑滤波。具体地，在不同分辨率的图像上，同一像素点(根据相对位置确认)的UNI纹理特征值的偏差不超过10％和CON纹理特征值的偏差不超过15％，根据高光去除后图像的i和j值确定纹理点的位置，采用高斯滤波对纹理点进行高斯滤波处理。
S207：对步骤S204得到的高光去除后图像或步骤S206得到的纹理去除后图像进行特征点提取；根据特征点检索对应的模型及数据(如动画或者说明等信息)，根据检索到的模型和原始图像合成虚拟现实图像。该步骤可以通过AR开源程序实现。将增强现实处理信息(模型、渲染图像、动画和/或说明等信息)发送到CPU，CPU经过处理后通过数据接口、发射芯片或通信系统(基站、服务器)推送到移动终端。
S208：移动终端实时处理和显示步骤S207推送的增强现实处理信息实现对用户的交互。
参见图2与3、图4与5，从图2和图3对比可知，本发明的高光去除后图像并没有将高光区域的高光全部去除；同理从图4和图5对比可知，本发明的纹理去除后图像并没有将纹理全部去除，图5保留了大量的纹理；但是经高光去除后和纹理去除后图像能快速识别，匹配成功率达99％以上(后台程序中保存有对应的模型和数据)，将不能或识别不稳定的图像进行稳定识别。另外，本发明简化了图像处理过程，减少了设备负担，降低了设备需求，真正实现了实时匹配(容忍限度时间内)。
当然，实施例1和2的方法也可以用于其他具有高光和重复纹理的场景，如具有塑料薄膜的外包装、反色强烈的绘色墙面、抛光的金属底纹等场景。
实施例三
参见图6，实施例3提供了一种对高光和重复纹理消除的增强现实系统，该系统包括：
爬行垫，该爬行垫为常见的爬行垫，其上印刷有各种图案。
摄像头1：用于获取实时图像。
图像处理模块2：用于获取摄像头1得到的原始图像，分隔原始图像中的高光区，并对高光区进行能保留识别特征的降噪和滤波处理；判断高光去除后图像中是否含有重复纹理特征，如果有重复纹理特征，则根据纹理特征值确定纹理点位置，对纹理点进行平滑滤波处理，将纹理去除后图像发送到增强现实模块3；如果无重复纹理特征，将高光去除后图像发送到增强现实模块3。其具体过程参见实施例2中的步骤S204-S206。
增强现实模块3：用于对高光去除后图像或纹理去除后图像进行增强现实处理，并将增强现实处理信息推送到移动终端5。其具体过程参见实施例2中的步骤S207。
移动终端5：用于实时处理和显示增强现实处理信息。
另外，该系统还可以包括通信系统4，具体可以数据接口、发射芯片或通信系统等，用于将增强现实处理信息转发到移动终端5。
具体地，图像处理模块2包括：
高光去除单元21：用于计算原始图像的灰度值，根据灰度值确定高光区，采用canny算子获取高光区的轮廓和位置，根据高光区的最大漫反射度对其进行降噪和滤波处理。
纹理去除单元22：用于对高光去除单元21处理后的图像进行多尺度处理，根据灰度共生矩阵算法，获取不同尺度下图像中像素点在不同方向下的特征值，根据各个方向的特征值计算UNI和CON纹理特征值判断是否有重复纹理；如果在不同尺度下UNI和CON纹理特征值近似，则认为有重复纹理；将在不同尺度下UNI和CON纹理特征值近似的像素点确定为纹理点，对纹理点进行平滑滤波处理。如果在不同尺度下UNI和CON纹理特征值区别较大，则认为无重复纹理，则不进行处理。
其中，图像处理模块2和增强现实模块3可以通过GPU或CPU来实现。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种对高光和重复纹理消除的增强现实方法，其特征在于，包括以下步骤：
获取实时图像；
分隔原始图像中的高光区，并对高光区进行能保留识别特征的降噪和滤波处理；
判断高光去除后图像中是否含有重复纹理特征；
如果有重复纹理特征，则根据纹理特征值确定纹理点位置；
对纹理点进行平滑滤波处理；
对纹理去除后图像进行增强现实处理；
其中，所述判断高光去除后图像中是否含有重复纹理特征，包括：
对高光去除后图像进行多尺度处理；
根据灰度共生矩阵算法，获取不同尺度下图像中像素点在不同方向下的特征值，根据各个方向的特征值计算UNI和CON纹理特征值，如果在不同尺度下UNI和CON纹理特征值近似，则认为有重复纹理。
2.根据权利要求1所述的对高光和重复纹理消除的增强现实方法，其特征在于，所述方法还包括：
在高光去除处理后，如果无重复纹理特征，则对高光去除后图像进行增强现实处理。
3.根据权利要求2所述的对高光和重复纹理消除的增强现实方法，其特征在于，所述增强现实处理包括：
对高光去除后图像或纹理去除后图像进行特征点提取；
根据特征点检索对应的模型及数据，根据检索到的模型和原始图像合成虚拟现实图像。
4.根据权利要求1所述的对高光和重复纹理消除的增强现实方法，其特征在于，所述分隔原始图像中的高光区并对高光区进行能保留识别特征的降噪和滤波处理，包括：
计算原始图像的灰度值，根据灰度值确定高光区，采用canny算子获取高光区的轮廓和位置，根据高光区的最大漫反射度对其进行降噪和滤波处理。
5.根据权利要求4所述的对高光和重复纹理消除的增强现实方法，其特征在于，所述根据高光区的最大漫反射度对其进行降噪和滤波处理，包括：
根据dichromatic反射模型估算最大漫反色分量，根据最大漫反色分量计算得到最大漫反射度，在高光区中减去对应的最大漫反射度得到高光去除后图像；
所述最大漫反色分量的估算方法为：
其中，βc＝1–(σmax-σc)/(3σmax-1)，σmax＝max(σr、σg、σb)，σ为与像素颜色相关的色度，σ(X)＝I(X)/(Ir(X)+Ig(X)+Ib(X)),I表示图像的颜色分量，X＝(x,y)表示图像中某一像素的坐标；
所述最大漫反射度的计算方法为：i∈w，系数a、b通过能量方程得到，能量方程如下：
其中，μ和σ2分别为区域w内关于的均值和方差，|w|是区域w内像素的个数；为区域w内的均值。
6.根据权利要求1所述的对高光和重复纹理消除的增强现实方法，其特征在于，所述判断高光去除后图像中是否含有重复纹理特征，具体包括：
建立高光去除后图像的图像金子塔，分辨率逐层递减，层数为4-5层；
根据灰度共生矩阵算法，获取不同分辨率下图像中像素点在不同方向下的特征值Pc＝p(i,j,d,θ)，其中，i和j为像素点位置，d为相邻像素点距离，θ为角度，θ取值0°、45°、90°和135°；
采用OpenCV矩阵，根据特征值Pc计算UNI和CON纹理特征值，如果UNI纹理特征值在不同分辨率下特征值偏差不超过10％和CON纹理特征值在不同分辨率下特征值偏差不超过15％，则认为有重复纹理。
7.根据权利要求6所述的对高光和重复纹理消除的增强现实方法，其特征在于，所述根据纹理特征值确定纹理点位置，包括：
将在不同分辨率下UNI和CON纹理特征值近似的像素点确定为纹理点，根据纹理点的i和j值确定纹理点的位置。
8.一种爬行垫应用，其特征在于，包括：
爬行垫；
摄像头：用于获取实时图像；
图像处理模块：用于分隔原始图像中的高光区，并对高光区进行能保留识别特征的降噪和滤波处理；判断高光去除后图像中是否含有重复纹理特征，如果有重复纹理特征，则根据纹理特征值确定纹理点位置，对纹理点进行平滑滤波处理，将纹理去除后图像发送到增强现实模块；如果无重复纹理特征，将高光去除后图像发送到增强现实模块；
增强现实模块：用于对高光去除后图像或纹理去除后图像进行增强现实处理，并将增强现实处理信息推送到移动终端；
移动终端：用于实时处理和显示增强现实处理信息；
其中，所述图像处理模块包括：
高光去除单元：用于计算原始图像的灰度值，根据灰度值确定高光区，采用canny算子获取高光区的轮廓和位置，根据高光区的最大漫反射度对其进行降噪和滤波处理；
纹理去除单元：用于对高光去除后图像进行多尺度处理，根据灰度共生矩阵算法，获取不同尺度下图像中像素点在不同方向下的特征值，根据各个方向的特征值计算UNI和CON纹理特征值判断是否有重复纹理；如果在不同尺度下UNI和CON纹理特征值近似，则认为有重复纹理；将在不同尺度下UNI和CON纹理特征值近似的像素点确定为纹理点，对纹理点进行平滑滤波处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610656635.6A CN106327438B (zh) | 2016-08-12 | 2016-08-12 | 一种对高光和重复纹理消除的增强现实方法及爬行垫应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610656635.6A CN106327438B (zh) | 2016-08-12 | 2016-08-12 | 一种对高光和重复纹理消除的增强现实方法及爬行垫应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106327438A CN106327438A (zh) | 2017-01-11 |
| CN106327438B true CN106327438B (zh) | 2019-02-26 |
Family
ID=57740252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610656635.6A Active CN106327438B (zh) | 2016-08-12 | 2016-08-12 | 一种对高光和重复纹理消除的增强现实方法及爬行垫应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106327438B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108665421B (zh) * | 2017-03-31 | 2021-05-14 | 北京旷视科技有限公司 | 人脸图像高光分量去除装置和方法、存储介质产品 |
| CN110321765A (zh) * | 2018-03-30 | 2019-10-11 | 深圳市掌网科技股份有限公司 | 一种图像处理方法和系统 |
| CN110807494B (zh) * | 2019-11-08 | 2023-05-30 | 深圳市深视创新科技有限公司 | 工业视觉中重复纹理的快速定位方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101246600A (zh) * | 2008-03-03 | 2008-08-20 | 北京航空航天大学 | 用球面全景摄像机实时生成增强现实环境光照模型的方法 |
| CN103035135A (zh) * | 2012-11-27 | 2013-04-10 | 北京航空航天大学 | 基于增强现实技术的儿童认知系统及认知方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7039222B2 (en) * | 2003-02-28 | 2006-05-02 | Eastman Kodak Company | Method and system for enhancing portrait images that are processed in a batch mode |
-
2016
- 2016-08-12 CN CN201610656635.6A patent/CN106327438B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101246600A (zh) * | 2008-03-03 | 2008-08-20 | 北京航空航天大学 | 用球面全景摄像机实时生成增强现实环境光照模型的方法 |
| CN103035135A (zh) * | 2012-11-27 | 2013-04-10 | 北京航空航天大学 | 基于增强现实技术的儿童认知系统及认知方法 |
Non-Patent Citations (3)
| Title |
|---|
| AR技术产品如何革新(颠覆）儿童传统科普产品;佚名;《https://www.pcbaby.com.cn/home/280/2807584.html》;20160314;第1页第5段 * |
| 基于单幅低动态范围图像的光照一致性研究;许鹏展;《万方数据 华中科技大学硕士学位论文》;20150730;第15-26页，摘要，第3章 * |
| 基于直方图统计的织物疵点识别算法;高晓丁 等;《纺织学报》;20050415;第26卷(第2期);第121-123页，第1、2节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106327438A (zh) | 2017-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dinh et al. | Reconstructing surfaces by volumetric regularization using radial basis functions | |
| KR101608253B1 (ko) | 이미지 기반 멀티 뷰 3d 얼굴 생성 | |
| CN104157010B (zh) | 一种3d人脸重建的方法及其装置 | |
| CN108898630A (zh) | 一种三维重建方法、装置、设备和存储介质 | |
| CN101916454B (zh) | 基于网格变形和连续优化的高分辨率人脸重建方法 | |
| US20170228880A1 (en) | System and method for object extraction | |
| US20100315424A1 (en) | Computer graphic generation and display method and system | |
| CN105046710A (zh) | 基于深度图分割与代理几何体的虚实碰撞交互方法及装置 | |
| CN106327438B (zh) | 一种对高光和重复纹理消除的增强现实方法及爬行垫应用 | |
| CN113012293B (zh) | 石刻模型构建方法、装置、设备及存储介质 | |
| CN109660783A (zh) | 虚拟现实视差校正 | |
| WO1999015945A2 (en) | Generating three-dimensional models of objects defined by two-dimensional image data | |
| CN109784148A (zh) | 活体检测方法及装置 | |
| JP7294788B2 (ja) | ３ｄ配置のタイプに応じた２ｄ画像の分類 | |
| US11170246B2 (en) | Recognition processing device, recognition processing method, and program | |
| Sarkar et al. | Structured low-rank matrix factorization for point-cloud denoising | |
| JP2011159329A (ja) | 自動３ｄモデリングシステム及び方法 | |
| CN110796583A (zh) | 一种风格化可见水印添加方法 | |
| CN108010122A (zh) | 一种人体三维模型重建与测量的方法及系统 | |
| CN107610236A (zh) | 一种基于图形识别的交互方法及系统 | |
| Tyler et al. | In search of leonardo: computer-based facial image analysis of renaissance artworks for identifying leonardo as subject | |
| CN113936090A (zh) | 三维人体重建的方法、装置、电子设备及存储介质 | |
| CN116309494B (zh) | 一种电子地图中兴趣点信息确定方法、装置、设备及介质 | |
| CN107895398B (zh) | 结合视觉显著性的浮雕编辑方法 | |
| US20220157016A1 (en) | System and method for automatically reconstructing 3d model of an object using machine learning model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |