CN110717866A - 基于增强现实的图像锐化方法及增强现实眼镜 - Google Patents

基于增强现实的图像锐化方法及增强现实眼镜 Download PDF

Info

Publication number
CN110717866A
CN110717866A CN201910829562.XA CN201910829562A CN110717866A CN 110717866 A CN110717866 A CN 110717866A CN 201910829562 A CN201910829562 A CN 201910829562A CN 110717866 A CN110717866 A CN 110717866A
Authority
CN
China
Prior art keywords
image
live
sharpening
user
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910829562.XA
Other languages
English (en)
Other versions
CN110717866B (zh
Inventor
张志扬
苏进
于勇
李琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aibo Tongxin Medical Technology Co Ltd
Original Assignee
Beijing Aibo Tongxin Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aibo Tongxin Medical Technology Co Ltd filed Critical Beijing Aibo Tongxin Medical Technology Co Ltd
Priority to CN201910829562.XA priority Critical patent/CN110717866B/zh
Publication of CN110717866A publication Critical patent/CN110717866A/zh
Application granted granted Critical
Publication of CN110717866B publication Critical patent/CN110717866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于增强现实的图像锐化方法和增强现实眼镜，其中该方法包括：采集并获得反映用户视野所见的实景图像；确定缩放倍率，并根据所述缩放倍率对所述实景图像进行缩放；根据所述缩放倍率对缩放后的所述实景图像进行对应程度的锐化处理，以获得锐化图像；以近眼显示的方式显示所述锐化图像。对于缩放图像，本发明不通过提升图像的分辨率而通过锐化处理凸显图像中物体边缘，进而提高图片的整体辨识度，克服了技术偏见，解决了放大后的图像往往存在图像边缘模糊不清晰的问题，特别是对于视力低下或法定盲人的用户，甚至能够通过本发明改善视力情况，极大提高了生活质量。

Description

基于增强现实的图像锐化方法及增强现实眼镜
技术领域
本发明涉及增强现实技术领域，特别涉及一种基于增强现实的图像锐化方法及一种增强现实眼镜。
背景技术
增强现实(Augmented Reality，AR)技术，是一种通过实时计算影像的位置及角度，在影像上叠加相应的图像、视频、3D模型，进而对虚拟世界与现实世界进行融合的技术。AR客户端可以结合直接存储在其本地的图片识别物料，对用户的线下环境进行实时的图像识别，并在识别出的特定的线下目标在真实场景中的位置上，按照预配置的展示效果增强显示相应的展示数据。
AR显示设备的图像质量主要取决于近眼光学，近眼光学设计最主要的参数之一为视场角(Field Of View，FOV)，在光学仪器中，以光学仪器的镜头为顶点，以被测目标的物象可通过镜头的最大范围的两条边缘所构成的夹角，称为视场角。视场角的大小决定了光学仪器的视野范围，视场角越大，视野就越大，光学倍率就越小。一方面大视场角能带来更大的视野，更多的内容展现，更加沉浸的体验，另一方面大视场角也会导致微显示屏尺寸增大，AR眼镜整体结构体积增大，从而显著降低用户的使用体验。针对AR眼镜这种轻量级近眼显示设备而言，多数FOV都不超过40度，如Google Glass的FOV为十几度，微软标杆性产品HoloLens的FOV达到了近30°。
综上，在FOV小于40°的情况下，AR眼镜为了追求图像显示清晰度的效果，光学倍率也不会调整的很大，一般对图像放大的倍率不会超过2倍。因此，目前现有技术还不存在将FOV小于40°的AR眼镜进行大倍率调整的方法及对应的装置；此外，目前AR眼镜产品也是针对视力正常及轻微近视用户(对图像分辨率要求较高)而设计的，而对于视力低下或法定盲人的用户，图像被放大更加难以清楚的辨识，所以在本领域中，图像缩放功能上的开发应用还存在技术空白。
发明内容
有鉴于此，本发明旨在提出一种基于增强现实的图像锐化方法以及一种增强现实眼镜，以提高视力低下用户对AR设备所显示的缩放图像的辨识度。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于增强现实的图像锐化方法，包括：
采集并获得反映用户视野所见的实景图像；
确定缩放倍率，并根据所述缩放倍率对所述实景图像进行缩放；
根据所述缩放倍率对缩放后的实景图像进行对应程度的锐化处理，获得锐化图像；
以近眼显示的方式显示所述锐化图像。
进一步地，所述采集并获得反映用户视野所见的实景图像，包括：
以用户自然视线中心线为中心采集所述实景图像。
进一步地，所述根据所述缩放倍率对缩放后的实景图像进行对应程度的锐化处理，获得锐化图像，包括：
在所述缩放倍率大于1的情况下，所述缩放倍率数值越大，对缩放后的实景图像的锐化程度越大；
在所述缩放倍率小于1的情况下，对缩放后的实景图像的锐化程度为零。
进一步地，所述锐化处理包括：
S1：对缩放后的所述实景图像进行低通滤波和高通滤波处理，分别得到低频部分和高频部分；
S2：将所述高频部分分割为边缘部分和噪声部分；
将所述边缘部分分割为强边缘和弱边缘；
将所述强边缘和所述弱边缘基于模糊理论建立隶属度函数；
S3：根据所述隶属度函数，利用模糊理论中模糊特征平面和基于方差的自适应增益函数求解边缘锐化结果，得到所述锐化图像。
进一步地，所述采集并获得反映用户视野所见的实景图像，包括：
连续采集并获得若干连续的反映用户视野所见的实景图像；
所述根据所述缩放倍率对缩放后的实景图像进行对应程度的锐化处理，获得锐化图像，包括：
对于根据相同的缩放倍率进行缩放的若干连续的实景图像，均进行相同程度的锐化处理。
进一步地，在获得锐化图像之后，且在以近眼显示的方式显示所述锐化图像之前，该方法还包括：
获取反映用户视野的缺损区域的视野图像缺损模式；
根据所述视野图像缺损模式对所述锐化图像进行变形处理和/或移动，获得处于用户视野缺损区域外的可见区域的锐化图像。
进一步地，所述获取反映用户视野的缺损区域的视野图像缺损模式，包括：
采集并获得反映用户视野的检测图像；
显示所述检测图像；
标注用户所见的检测图像中的缺损区域；
保存标注结果为所述视野图像缺损模式。
本发明还公开了一种增强现实眼镜，包括：
图像采集单元，用于采集并获得反映用户视野所见的实际图像；
控制单元，用于确定缩放倍率；
图像处理单元，用于：
根据确定的缩放倍率对所述实景图像进行缩放；
根据所述缩放倍率对缩放后的实景图像进行对应程度的锐化处理，获得锐化图像；
图像显示单元，用于以近眼显示的方式显示所述锐化图像。
进一步地，所述采集并获得反映用户视野所见的实景图像，包括：
以用户自然视线中心线为中心采集所述实景图像。
进一步地，在所述缩放倍率大于1的情况下，所述缩放倍率数值越大，对缩放后的实景图像的锐化程度越大；
在所述缩放倍率小于1的情况下，对缩放后的实景图像的锐化程度为零。
进一步地，所述锐化处理包括：
S1：对缩放后的所述实景图像进行低通滤波和高通滤波处理，分别得到低频部分和高频部分；
S2：将所述高频部分分割为边缘部分和噪声部分；
将所述边缘部分分割为强边缘和弱边缘；
将所述强边缘和所述弱边缘基于模糊理论建立隶属度函数；
S3：根据所述隶属度函数，利用模糊理论中模糊特征平面和基于方差的自适应增益函数求解边缘锐化结果，得到所述锐化图像。
进一步地，所述采集并获得反映用户视野所见的实景图像，包括：
连续采集并获得若干连续的反映用户视野所见的若干实景图像；
所述根据所述缩放倍率对缩放后的实景图像进行对应程度的锐化处理，获得锐化图像，包括：
对于根据相同的缩放倍率进行缩放的若干连续的实景图像，均进行相同程度的锐化处理。
进一步地，所述图像处理单元还用于：
在获得锐化图像之后，且在以近眼显示的方式显示所述锐化图像之前，获取反映用户视野的缺损区域的视野图像缺损模式；
根据所述视野图像缺损模式对所述锐化图像进行变形处理和/或移动，用于获得处于用户视野缺损区域外的可见区域的锐化图像。
进一步地，所述图像采集单元还用于采集并获得反映用户视野的检测图像；
所述图像显示单元还用于显示所述检测图像；
所述控制单元还用于标注用户所见的检测图像中的缺损区域；
所述增强现实眼镜还包括：
数据库单元，用于保存标注结果为所述视野图像缺损模式。
进一步地，所述控制单元还包括：
锐化开关，用于控制所述图像处理单元开启/关闭对所述实景图像的锐化处理。
本发明针对常见的FOV小于40°的AR产品系列，创造性地突破了本领域技术人员长期追求的不断提升图像分辨率目标的常规思维，克服了技术偏见；对于缩放图像，本发明不通过提升图像的分辨率而通过锐化处理凸显图像中物体边缘，进而提高图片的整体辨识度，解决了放大后的图像往往存在图像边缘模糊不清晰的问题，特别是对于视力低下或法定盲人的用户，甚至能够通过本发明改善视力情况，极大提高了生活质量。
本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施方式及其说明用于解释本发明，并不构成对本发明的不当限定。
在附图中：
图1为本发明实施方式所述的基于增强现实的图像锐化方法的流程图；
图2为本发明实施方式所述的方法中锐化处理的流程图；
图3为本发明实施方式所述的方法中锐化图像变形/移动的区域划分图；
图4为本发明实施方式所述的方法中标注了缺损区域的检测图像的区域划分图；
图5为本发明实施例所述的AR眼镜的控制单元的结构示意图。
附图标记说明
1-光标 2-触控板
3-标注按键
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。
如图1所示的一种基于增强现实的图像锐化方法，包括以下步骤：
(1)采集并获得反映用户视野所见的实景图像，随着用户头部转动或眼球转动所述实景图像同步变换，保证所采集的实景图像能够真实的反映用户实际视野；实景图像是锐化处理的基础，用户可以通过AR设备输出的实景图像观察身边事物，而不是直接通过肉眼观察；
(2)确定缩放倍率，并根据所述缩放倍率对所述实景图进行缩放，以实现精确缩放，本发明确定缩放倍率的方法有多种，既可以是直接输入具体的缩放倍率的数值，也可以是实时对实景图像进行缩放，并由包括AR眼镜在内的AR装置根据最终缩放情况自动确认缩放倍率；通常情况下，为了保障放大后图像仍具有较高的辨识度，在不提高分辨率的情况通常只能放大2倍，而本发明可以放大4～8倍，甚至更大，使得本发明放大功能远超现有AR设备；
(3)根据所述缩放倍率对缩放后的所述实景图像进行对应程度的锐化处理，以获得锐化图像，并且对于分别率越低的实景图像，进行对应程度越大的锐化处理，其中，锐化图像中的事物边缘更加明显，虽然没有提高分辨率，但仍保持甚至提高了对所述锐化图像中事物的辨识度；
(4)以近眼显示的方式显示所述锐化图像，近眼显示是AR眼镜中常用的显示方法。
经过现有公开的研究结论表明，人辨识物体主要通过的是物体的边缘，这也是时下热门的图像识别技术领域和机器学习领域的研发理论基础，本发明通过上述图像锐化方法增强了缩放后的图像的辨识度，锐化图像中，所示物体的边缘更加明显，不仅针对普通用户，也适用于视力低下用户，使得视力低下用户也能够具有良好的视物体验，极大改善了其生活质量。
在本发明的一些实施方式中，可以采用单个或多个摄像头采集并获得反映用户视野的实景图像，为保证后续检测的准确性，摄像头以用户自然视线中心线为中心采集所述实景图像，保证图像能够真实的反映用户的视野位置和范围。优选的，所述采集的实景图像可以大于用户视野，及用户视野包含在所述的实景图像中。
在本发明的一些实施方式中，缩放倍率的数值能够反映实景图像的放大或缩小情况，当缩放倍率(数值)为1时，实景图像保持不变，既不放大也不缩小；当缩放倍率大于1时，则对实景图像进行了放大处理，例如，缩放倍率为4，则实景图像放大了4倍，并且所述倍率的数值越大，所述图像的放大程度也就越大，导致清晰度越低，因此需要对放大后的实景图像进行锐化的程度也就越大；当缩放倍率小于1时，则对实景图像进行了缩小处理，由于缩小的实景图像并不会大幅度降低分辨率，因此可以对缩小的实景图像进行锐化处理，也可以不进行锐化处理，而采用其他方式提升辨识度，使得视力低下用户具有更好的视物体验，具体方法将在后文详细说明。
本发明公开了一种锐化处理方法，通过该方法对缩放后的所述实景图像进行锐化处理，以获得锐化图像，如图2所示，该方法具体如下：
步骤S1：分别由低通滤波和高通滤波处理实景图像F，得到低频部分Flp和高频部分Fhp；
本算法的低通滤波器选为平滑滤波，高通滤波器采用形态学梯度滤波器。对原始图像F进行低通滤波得到低频部分如公式(1)所示，对原始图像F进行高通滤波得到高频部分如公式(2)～(3)所示。
Figure BDA0002190214900000081
Figure BDA0002190214900000082
其中，
Figure BDA0002190214900000083
上式中，N为低通滤波器的尺寸；W(i,j)为以中心像素点(i,j)的像素领域；(m,n)为属于像素领域W(i,j)中的像素点；F+为像素领域W(i,j)内的最大值；F-为像素领域W(i,j)内的最小值。
步骤S2：分别建立关于弱边缘μel和强边缘μes的模糊理论的隶属度函数；
本算法中隶属度函数选择高斯隶属度函数，弱边缘μel和强边缘μes的隶属度函数如下所示：
Figure BDA0002190214900000084
Figure BDA0002190214900000091
其中，eel和δel为弱边缘的均值和均方差；ees和δes为强边缘的均值和均方差；eel、δel、ees和δes的求解步骤如下：
①采用现有的Otsu算法将Fhp分割成两部分和
Figure BDA0002190214900000093
Figure BDA0002190214900000094
使用Otsu算法选取阈值将这两部分进行分割，一幅图像的高频成分由两类成分组成：边缘成分和噪声成分。本算法中将边缘成分作为目标类，噪声成分作为背景类，利用Fhp的直方图将具有最大类间方差的数值Mo作为分割阈值，将Fhp分割成边缘部分
Figure BDA0002190214900000096
和噪声部分
②由Otsu算法将分成两部分
Figure BDA0002190214900000099
和
Figure BDA00021902149000000910
Figure BDA00021902149000000911
Figure BDA00021902149000000912
利用的直方图将具有最大类间方差的数值Mp作为Otsu算法分割阈值，将
Figure BDA00021902149000000914
分割成两部分
Figure BDA00021902149000000915
和
Figure BDA00021902149000000916
③分别统计
Figure BDA00021902149000000917
和
Figure BDA00021902149000000918
的非零部分，得到均值eel、ees和均方差δel、δes。
Figure BDA00021902149000000919
Figure BDA00021902149000000920
式中，i可以为el或es。
通过上述方法实现对隶属度函数参量的自适应调整。
步骤S3：利用模糊理论中模糊特征平面和基于方差的自适应增益函数求解边缘锐化结果；
通过确定模糊特征平面计算图像边缘锐化的加权系数α(i,j)，输出图像边缘锐化后的图像Feh为：
Feh＝Flp(i,j)+α(i,j)Fhp(i,j) (12)
其中，
α(i,j)＝k1(μes(Fhp(i,j))-μel(Fhp(i,j))) (13)
上式中，μel、μes分别由公式(4)和(5)所示。
其中，k1为自适应增益系数，采用基于方差的自适应增益函数来确定，k1的表达式如下：
Figure BDA0002190214900000101
上式中：a≤x≤b时，w＝[a·cos(K)-π/2]/(b-a)；b<x<c时，w＝(π/2)/(c-b)；输入x为局部方差D为全局方差。设置值为a＝0.1；b＝D；c＝round(255/D)；K＝1.0，为了达到不同的引导效果，可以调整Ag。使其在较低端的增益系数更大，这样可以部分起到增加低对比度区域拉伸强度的作用。通过上述自适应增益函数可以实现不同细节区域进行不同强度的增强，在低细节区域，由于人眼对噪声较敏感，只做较小增强；随着细节程度增大，增强程度也应提升，且变化较快；而到了图像较高细节区域，为了避免出现过冲现象，则也进行相对较弱程度增加，且变化应较慢。
在本发明的一些实施例中，不仅能够对单个静态的实景图像进行锐化处理，同样能够对由连续实景图像组成的视频进行锐化处理，丰富了本发明的应用场景，具体包括：
连续采集并获得若干连续的反映用户视野所见的实景图像；
确定缩放倍率，并根据所述缩放倍率对所有实景图像进行同等程度的缩放；
对于根据相同的缩放倍率进行缩放的若干连续的实景图像，均进行相同程度的锐化处理，具体的，在首次对实景图像采用上述锐化处理方法进行锐化处理后，由于进行的是相同程度的锐化处理，因此对于后续的连续实景图像，锐化处理方法中的许多计算步骤和结论可以沿用首次对实景图像锐化处理的过程/步骤，大大降低了锐化处理的计算量，提高了锐化处理的效率，十分适合处理由大量连续实景图像组成的视频。
视野缺损(defect of visual field)指视野范围受损，常见的，患者会出现管状视野、不规则视野缺损区域等病症，对于这类视力低下用户，还可以对锐化图像进一步处理，使得用户获得更好的视物体验。
在本发明的一些实施例中，在以近眼显示的方式显示所述锐化图像之前，进行如下步骤：
首先，调用反映用户视野的缺损区域的视野图像缺损模式，视野图像缺损模式可以是预先通过对反映用户视野缺损情况的缺损区域标注并保存的，可以随时被调用；
然后，根据所述视野图像缺损模式对所述锐化图像进行变形/移动处理，用于获得处于用户视野缺损区域外的可见区域的可被用户完整可见的锐化图像，即用户可见锐化图像包含的全部内容。
如图3所示，图中虚线表示视野缺损患者的管状视野，其外侧实线方框表示反映用户视野的未经缩放的实景图像，只有锐化图像处于所述的虚线中，用户才能获得锐化图像的全部信息，因此，需要将经过压缩处理的锐化图像制动至用户视野可见的可见区域，优选的，直接以所述的可见区域为缩放中心进行压缩，在进行锐化处理前，实景图像已经处于可见区域。
进一步地，本发明还公开了获取反映用户视野的缺损区域的视野图像缺损模式的方法，具体包括：
(1)采集并获得反映用户视野的检测图像，所述检测图像本质上与实景图像相同，因此，也可以采用所述的实景图像作为检测图像；
(2)显示所述检测图像，优选的，采用AR设备中常见的近眼显示方式显示所述检测图像，此时，用于视野中的图像包括一个或多个待标注的缺损区域；
(3)标注用户所见的检测图像中的缺损区域；可以根据个人的实际情况采用手动标注的方式来标注缺损区域，该标准结果具有很强的个性化，能够较为准确的反应用户的视野缺损情况；
(4)保存标注结果为视野图像缺损模式。
优选的，如图4所示，椭圆形区域即被标注的反映用户缺损视野的缺损区域，其中，可以移动的光标1用来标注缺损区域的边缘，椭圆的实线部分表示已经标注的部分，虚线区域表示尚未标注的部分。光标1可以由如图5所示的控制单元进行控制，该控制单元包括控制光标1移动的触控板2和控制光标1进行标注的标注按键3。
优选的，对于椭圆左下的缺口区域，可以对其单独放大再进行标注，保证了标注结果的准确和标注过程的方便。
值得一提的是，上述对于图像的变形处理的步骤可以在锐化处理之后，即应用于锐化图像，也可以是在锐化处理之前，即应用于实景图像。
本发明还公开了一种增强现实眼镜，能够应用上述各实施例所述的基于增强现实的图像锐化方法，实现对对缩放后图像辨识度的提高。
本发明所公开的增强现实眼镜具体包括：图像采集单元，用于采集并获得反映用户视野所见的实际图像；
控制单元，用于确定缩放倍率；
图像处理单元，用于：
根据确定的缩放倍率对所述实景图进行缩放；
根据所述缩放倍率对缩放后的所述实景图像进行对应程度的锐化处理，以获得锐化图像；
图像显示单元，用于以近眼显示的方式显示所述动态述锐化图像。
在本发明的一些实施例中，所述图像采集单元，用于以用户自然视线中心线为中心采集所述实景图像。
在本发明的一些实施例中，在所述缩放倍率大于1的情况下，所述缩放倍率数值越大，所述图像处理单元对缩放后的实景图像的锐化程度越大；
在所述缩放倍率小于1的情况下，所述图像处理单元对缩放后的实景图像的锐化程度为零。
在本发明的一些实施例中，如图2所示，图像处理单元对所述实景图像进行的锐化处理的方法包括：
S1：对采集并获得的所述实景图像，进行低通滤波和高通滤波处理，分别得到低频部分和高频部分；
S2：将所述高频部分分割为边缘部分和噪声部分；
将所述边缘部分分割为强边缘和弱边缘；
将所述强边缘和所述弱边缘基于模糊理论建立隶属度函数；
S3：根据所述隶属度函数，利用模糊理论中模糊特征平面和基于方差的自适应增益函数求解边缘锐化结果，得到所述锐化图像。
在本发明的一些实施例中：
所述图像采集单元连续采集并获得反映用户视野所见的若干实景图像；
所述图像处理单元对根据相同的缩放倍率进行缩放的若干所述实景图像，均进行相同程度的锐化处理。
在本发明的一些实施例中，所述图像处理单元还用于：
在所述以近眼显示的方式显示所述锐化图像之前，获取反映用户视野的缺损区域的视野图像缺损模式；
根据所述视野图像缺损模式对所述锐化图像进行变形处理和/或移动，用于获得处于用户视野缺损区域外的可见区域的锐化图像。
在本发明的一些实施例中：
所述图像采集单元还用于采集并获得反映用户视野的检测图像；
所述图像显示单元还用于显示所述检测图像；
所述控制单元还用于标注用户所见的所述检测图像中的缺损区域；
所述AR眼镜还包括数据库单元，用于保存标注结果为所述视野图像缺损模式。
在本发明的一些实施例中，所述控制单元还包括：
锐化开关，用于控制所述图像处理单元开启/关闭对所述实景图像的锐化处理，方便用户自行选择控制。
综上，本发明公开了所述的增强现实眼镜的一种使用流程，具体如下：
(1)用户首先佩戴自然形态的增强现实眼镜(AR眼镜)，其上设置有图像采集单元(单摄像头或多摄像头)、控制单元、图像处理单元、图像显示单元(光线可穿透性近眼显示器)；
(2)用户将头部正面、眼部朝向需要看清的现实环境；
(3)图像采集单元采集以用户自然视线中心为中心的连续实景图像；
(4)随着用户头部正面、眼部的运动，图像采集单元连续采集实景图像；
(5)通过图像处理单元，首先将原始的连续的实景图像输出到显示单元(光线可穿透性近眼显示器)；
(6)用户首先根据自身需要自行调节影像的放大缩小倍率(自行调节放大缩小倍率的方法包括：手指触控、手势控制、语音命令、按键控制)到符合其自身视力能力的最佳状态；
(7)AR眼镜的图像处理单元自动针对此特定的放大缩小倍率，在处理后的实景图像上进一步进行图像锐化，加重实景图像中所示物体的轮廓和边缘，进而提高可见性来帮助低视力患者；经锐化处理的图像依然可以使用其它图像处理方法(调节对比度、亮度等)的叠加，并行增强图像的各方面辨识度；
(8)随着用户头部正面、眼部的运动(AR眼镜随动)，图像处理单元将通过镜上视频采集单元原始采集的连续实景图像进行锐化处理，并输出到显示单元形成视频，达成持续改善用户视力的目的。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种基于增强现实的图像锐化方法，其特征在于，包括：
采集并获得反映用户视野所见的实景图像；
确定缩放倍率，并根据所述缩放倍率对所述实景图像进行缩放；
根据所述缩放倍率对缩放后的实景图像进行对应程度的锐化处理，获得锐化图像；
以近眼显示的方式显示所述锐化图像。
2.根据权利要求1所述的基于增强现实的图像锐化方法，其特征在于，所述采集并获得反映用户视野所见的实景图像，包括：
以用户自然视线中心线为中心采集所述实景图像。
3.根据权利要求1所述的基于增强现实的图像锐化方法，其特征在于，所述根据所述缩放倍率对缩放后的实景图像进行对应程度的锐化处理，获得锐化图像，包括：
在所述缩放倍率大于1的情况下，所述缩放倍率数值越大，对缩放后的实景图像的锐化程度越大；
在所述缩放倍率小于1的情况下，对缩放后的实景图像的锐化程度为零。
4.根据权利要求1所述的基于增强现实的图像锐化方法，其特征在于，所述锐化处理包括：
S1：对缩放后的所述实景图像进行低通滤波和高通滤波处理，分别得到低频部分和高频部分；
S2：将所述高频部分分割为边缘部分和噪声部分；
将所述边缘部分分割为强边缘和弱边缘；
将所述强边缘和所述弱边缘基于模糊理论建立隶属度函数；
S3：根据所述隶属度函数，利用模糊理论中模糊特征平面和基于方差的自适应增益函数求解边缘锐化结果，得到所述锐化图像。
5.根据权利要求1所述的基于增强现实的图像锐化方法，其特征在于，所述采集并获得反映用户视野所见的实景图像，包括：
连续采集并获得若干连续的反映用户视野所见的实景图像；
所述根据所述缩放倍率对缩放后的实景图像进行对应程度的锐化处理，获得锐化图像，包括：
对于根据相同的缩放倍率进行缩放的若干连续的实景图像，均进行相同程度的锐化处理。
6.根据权利要求1所述的基于增强现实的图像锐化方法，其特征在于，在获得锐化图像之后，且在以近眼显示的方式显示所述锐化图像之前，该方法还包括：
获取反映用户视野的缺损区域的视野图像缺损模式；
根据所述视野图像缺损模式对所述锐化图像进行变形处理和/或移动，获得处于用户视野缺损区域外的可见区域的锐化图像。
7.根据权利要求6所述的基于增强现实的图像锐化方法，其特征在于，所述获取反映用户视野的缺损区域的视野图像缺损模式，包括：
采集并获得反映用户视野的检测图像；
显示所述检测图像；
标注用户所见的检测图像中的缺损区域；
保存标注结果为所述视野图像缺损模式。
8.一种增强现实眼镜，其特征在于，包括：
图像采集单元，用于采集并获得反映用户视野所见的实际图像；
控制单元，用于确定缩放倍率；
图像处理单元，用于：
根据确定的缩放倍率对所述实景图像进行缩放；
根据所述缩放倍率对缩放后的实景图像进行对应程度的锐化处理，获得锐化图像；
图像显示单元，用于以近眼显示的方式显示所述锐化图像。
9.根据权利要求8所述的增强现实眼镜，其特征在于，所述采集并获得反映用户视野所见的实景图像，包括：
以用户自然视线中心线为中心采集所述实景图像。
10.根据权利要求8所述的增强现实眼镜，其特征在于，
在所述缩放倍率大于1的情况下，所述缩放倍率数值越大，对缩放后的实景图像的锐化程度越大；
在所述缩放倍率小于1的情况下，对缩放后的实景图像的锐化程度为零。
11.根据权利要求8所述的增强现实眼镜，其特征在于，所述锐化处理包括：
S1：对缩放后的所述实景图像进行低通滤波和高通滤波处理，分别得到低频部分和高频部分；
S2：将所述高频部分分割为边缘部分和噪声部分；
将所述边缘部分分割为强边缘和弱边缘；
将所述强边缘和所述弱边缘基于模糊理论建立隶属度函数；
S3：根据所述隶属度函数，利用模糊理论中模糊特征平面和基于方差的自适应增益函数求解边缘锐化结果，得到所述锐化图像。
12.根据权利要求8所述的增强现实眼镜，其特征在于，所述采集并获得反映用户视野所见的实景图像，包括：
连续采集并获得若干连续的反映用户视野所见的若干实景图像；
所述根据所述缩放倍率对缩放后的实景图像进行对应程度的锐化处理，获得锐化图像，包括：
对于根据相同的缩放倍率进行缩放的若干连续的实景图像，均进行相同程度的锐化处理。
13.根据权利要求8所述的增强现实眼镜，其特征在于，所述图像处理单元还用于：
在获得锐化图像之后，且在以近眼显示的方式显示所述锐化图像之前，获取反映用户视野的缺损区域的视野图像缺损模式；
根据所述视野图像缺损模式对所述锐化图像进行变形处理和/或移动，用于获得处于用户视野缺损区域外的可见区域的锐化图像。
14.根据权利要求13所述的增强现实眼镜，其特征在于，
所述图像采集单元还用于采集并获得反映用户视野的检测图像；
所述图像显示单元还用于显示所述检测图像；
所述控制单元还用于标注用户所见的检测图像中的缺损区域；
所述增强现实眼镜还包括：
数据库单元，用于保存标注结果为所述视野图像缺损模式。
15.根据权利要求8所述的增强现实眼镜，其特征在于，所述控制单元还包括：
锐化开关，用于控制所述图像处理单元开启/关闭对所述实景图像的锐化处理。
CN201910829562.XA 2019-09-03 2019-09-03 基于增强现实的图像锐化方法及增强现实眼镜 Active CN110717866B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910829562.XA CN110717866B (zh) 2019-09-03 2019-09-03 基于增强现实的图像锐化方法及增强现实眼镜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910829562.XA CN110717866B (zh) 2019-09-03 2019-09-03 基于增强现实的图像锐化方法及增强现实眼镜

Publications (2)

Publication Number Publication Date
CN110717866A true CN110717866A (zh) 2020-01-21
CN110717866B CN110717866B (zh) 2022-10-18

Family

ID=69209659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910829562.XA Active CN110717866B (zh) 2019-09-03 2019-09-03 基于增强现实的图像锐化方法及增强现实眼镜

Country Status (1)

Country Link
CN (1) CN110717866B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050089247A1 (en) * 2003-10-24 2005-04-28 Eastman Kodak Company Sharpening a digital image in accordance with magnification values
CN101600044A (zh) * 2008-06-03 2009-12-09 宝利微电子系统控股公司 基于缩放因子的图像清晰度增强方法及装置
KR20120065480A (ko) * 2010-12-13 2012-06-21 주식회사 팬택 증강 현실 제공 단말기 및 방법
US20130335543A1 (en) * 2012-06-13 2013-12-19 Esight Corp. Apparatus and Method for Enhancing Human Visual Performance in a Head Worn Video System
US20150010250A1 (en) * 2012-02-01 2015-01-08 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US9374478B1 (en) * 2013-12-03 2016-06-21 Marvell International Ltd. Adaptive image sharpening
CN105900415A (zh) * 2014-01-09 2016-08-24 微软技术许可有限责任公司 使用注视跟踪的增强照片和视频拍摄
CN107095733A (zh) * 2017-04-21 2017-08-29 杭州瑞杰珑科技有限公司 基于ar技术的弱视治疗系统
US20180053056A1 (en) * 2016-08-22 2018-02-22 Magic Leap, Inc. Augmented reality display device with deep learning sensors
CN108076384A (zh) * 2018-01-02 2018-05-25 京东方科技集团股份有限公司 一种基于虚拟现实的图像处理方法、装置、设备和介质
JP2018153477A (ja) * 2017-03-17 2018-10-04 株式会社豊田中央研究所 視界支援装置及びプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050089247A1 (en) * 2003-10-24 2005-04-28 Eastman Kodak Company Sharpening a digital image in accordance with magnification values
CN101600044A (zh) * 2008-06-03 2009-12-09 宝利微电子系统控股公司 基于缩放因子的图像清晰度增强方法及装置
KR20120065480A (ko) * 2010-12-13 2012-06-21 주식회사 팬택 증강 현실 제공 단말기 및 방법
US20150010250A1 (en) * 2012-02-01 2015-01-08 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20130335543A1 (en) * 2012-06-13 2013-12-19 Esight Corp. Apparatus and Method for Enhancing Human Visual Performance in a Head Worn Video System
US9374478B1 (en) * 2013-12-03 2016-06-21 Marvell International Ltd. Adaptive image sharpening
CN105900415A (zh) * 2014-01-09 2016-08-24 微软技术许可有限责任公司 使用注视跟踪的增强照片和视频拍摄
US20180053056A1 (en) * 2016-08-22 2018-02-22 Magic Leap, Inc. Augmented reality display device with deep learning sensors
JP2018153477A (ja) * 2017-03-17 2018-10-04 株式会社豊田中央研究所 視界支援装置及びプログラム
CN107095733A (zh) * 2017-04-21 2017-08-29 杭州瑞杰珑科技有限公司 基于ar技术的弱视治疗系统
CN108076384A (zh) * 2018-01-02 2018-05-25 京东方科技集团股份有限公司 一种基于虚拟现实的图像处理方法、装置、设备和介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
KUMANSIDDHAPURA，ET AL: "Design and Simulink Modelling of an Adaptive Gain Variation Sliding-Model Control Algorithm for Sensorless Permanent Magnet Synchronous Motor Drive", 《MATERIALS TODAY: PROCEEDINGS》 *
刘明坤 等: "基于图像局部方差分布的自适应反锐化掩模算法", 《贵州大学学报(自然科学版) 》 *
杨晔 等: "一种针对超声检测图像的自适应阈值设置方法", 《西安交通大学学报》 *
管志强 等: "基于模糊集的自适应红外图像边缘锐化算法", 《光子学报》 *
黄廉卿 等: "基于区域分割的自适应反锐化掩模算法", 《光学精密工程》 *

Also Published As

Publication number Publication date
CN110717866B (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
US11250241B2 (en) Face image processing methods and apparatuses, and electronic devices
US10129520B2 (en) Apparatus and method for a dynamic “region of interest” in a display system
US10599920B2 (en) Automated digital magnifier system with hand gesture controls
KR101706992B1 (ko) 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체
CN104809424B (zh) 一种基于虹膜特征实现视线追踪的方法
CN112183200B (zh) 一种基于视频图像的眼动追踪方法和系统
CN108734078B (zh) 图像处理方法、装置、电子设备、存储介质及程序
US9501689B2 (en) Image processing apparatus and image processing method
US10162997B2 (en) Electronic device, computer readable storage medium and face image display method
CN116051631A (zh) 光斑标注方法及系统
US10803677B2 (en) Method and system of automated facial morphing for eyebrow hair and face color detection
CN110728631A (zh) 基于增强现实的图像动态对比度增强方法及增强现实眼镜
CN1866292A (zh) 一种动态眼镜试戴方法
CN110728630A (zh) 基于增强现实的互联网图像处理方法及增强现实眼镜
CN110717866B (zh) 基于增强现实的图像锐化方法及增强现实眼镜
WO2018061299A1 (ja) 情報処理装置および情報処理方法
CN110597386A (zh) 基于增强现实的图像亮度提升方法及增强现实眼镜
CN110706164A (zh) 基于增强现实的管状视野图像变形显示方法及眼镜
KR102305880B1 (ko) 사용자의 시선 추적 방법 및 사용자의 시선 추적 방법을 실행시키는 프로그램이 기록된 기록 매체
US20230244307A1 (en) Visual assistance
JP2007286923A (ja) 顔パーツの位置の検出方法及び検出システム
Laco et al. Depth in the visual attention modelling from the egocentric perspective of view
Kao et al. High speed gaze tracking with visible light
KR20170101819A (ko) 적응적 심도-안내된 비-포토리얼리스틱 렌더링 방법, 대응하는 컴퓨터 프로그램 제품, 컴퓨터-판독가능 캐리어 매체 및 디바이스
CN105760848A (zh) 一种基于环形模板卷积的瞳孔定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant