CN110597386A - 基于增强现实的图像亮度提升方法及增强现实眼镜 - Google Patents
基于增强现实的图像亮度提升方法及增强现实眼镜 Download PDFInfo
- Publication number
- CN110597386A CN110597386A CN201910829560.0A CN201910829560A CN110597386A CN 110597386 A CN110597386 A CN 110597386A CN 201910829560 A CN201910829560 A CN 201910829560A CN 110597386 A CN110597386 A CN 110597386A
- Authority
- CN
- China
- Prior art keywords
- image
- live
- action
- user
- obtaining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 40
- 239000011521 glass Substances 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 75
- 230000006872 improvement Effects 0.000 claims abstract description 25
- 230000002708 enhancing effect Effects 0.000 claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims description 50
- 230000007547 defect Effects 0.000 claims description 40
- 238000001514 detection method Methods 0.000 claims description 22
- 238000005286 illumination Methods 0.000 claims description 13
- 206010047555 Visual field defect Diseases 0.000 claims description 10
- 238000011084 recovery Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 208000010415 Low Vision Diseases 0.000 abstract description 8
- 230000004303 low vision Effects 0.000 abstract description 8
- 230000004438 eyesight Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 7
- 230000002950 deficient Effects 0.000 description 5
- 238000003672 processing method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于增强现实的图像亮度提升方法和一种增强现实眼镜，其中该方法包括：采集并获得反映用户视野所见的实景图像；确定缩放倍率，并根据所述缩放倍率对所述实景图进行缩放；根据所述缩放倍率对缩放后的所述实景图像进行对应程度的亮度提升处理，以获得增强图像；以近眼显示的方式显示所述增强图像。对于缩放图像，本发明不通过提升图像的分辨率而通过加强实景图像中得细节可见性来提高图片的整体辨识度，克服了技术偏见，解决了放大后的图像存在不清晰的问题，特别是对于视力低下或法定盲人的用户，甚至能够通过本发明改善视力情况，极大提高了生活质量。
Description
技术领域
本发明涉及增强现实技术领域，特别涉及一种基于增强现实的图像亮度提升方法及增强现实眼镜。
背景技术
增强现实(Augmented Reality，AR)技术，是一种通过实时计算影像的位置及角度，在影像上叠加相应的图像、视频、3D模型，进而对虚拟世界与现实世界进行融合的技术。AR客户端可以结合直接存储在其本地的图片识别物料，对用户的线下环境进行实时的图像识别，并在识别出的特定的线下目标在真实场景中的位置上，按照预配置的展示效果增强显示相应的展示数据。
AR显示设备的图像质量主要取决于近眼光学，近眼光学设计最主要的参数之一为视场角(Field Of View，FOV)，在光学仪器中，以光学仪器的镜头为顶点，以被测目标的物象可通过镜头的最大范围的两条边缘所构成的夹角，称为视场角。视场角的大小决定了光学仪器的视野范围，视场角越大，视野就越大，光学倍率就越小。一方面大视场角能带来更大的视野，更多的内容展现，更加沉浸的体验，另一方面大视场角也会导致微显示屏尺寸增大，AR眼镜整体结构体积增大，从而显著降低用户的使用体验。针对AR眼镜这种轻量级近眼显示设备而言，多数FOV都不超过40度，如Google Glass的FOV为十几度，微软标杆性产品HoloLens的FOV达到了近30°。
综上，在FOV小于40°的情况下，AR眼镜为了追求图像显示清晰度的效果，光学倍率也不会调整的很大，一般对图像放大的倍率不会超过2倍。因此，目前现有技术还不存在将FOV小于40°的AR眼镜进行大倍率调整的方法及对应的装置；此外，目前AR眼镜产品也是针对视力正常及轻微近视用户(对图像分辨率要求较高)而设计的，而对于视力低下或法定盲人的用户，图像被放大更加难以清楚的辨识，所以在本领域中，图像缩放功能上的开发应用还存在技术空白。
发明内容
有鉴于此，本发明旨在提出一种基于增强现实的图像亮度提升方法以及一种增强现实眼镜，以提高视力低下用户对AR设备所显示的缩放图像的辨识度。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于增强现实的图像亮度提升方法，包括：
采集并获得反映用户视野所见的实景图像；
确定缩放倍率，并根据所述缩放倍率对所述实景图像进行缩放；
根据所述缩放倍率对缩放后的实景图像进行对应程度的亮度提升处理，获得增强图像；
以近眼显示的方式显示所述增强图像。
进一步地，所述采集并获得反映用户视野所见的实景图像，包括：
以用户自然视线中心线为中心采集所述实景图像。
进一步地，所述根据所述缩放倍率对缩放后的实景图像进行对应程度的亮度提升处理，获得增强图像，包括：
所述缩放倍率数值越大，对所述缩放后的实景图像的亮度提升程度越大。
进一步地，所述亮度提升处理包括：
S1：将压缩后的实景图像由RGB颜色空间转换到HSI颜色空间；
S2：在HSI颜色空间下对转换后的实景图像采用具有保边特性的线性引导滤波进行处理，获得照度分量图像；对照度分量图像根据Retinex原理通过对数变化得到反射分量图像，并通过Gamma变换校正所述反射分量图像；
S3：在HSI颜色空间下对校正后的反射分量图像的S分量饱和度进行增强；
S4：将饱和度增强图像由HSI颜色空间转换到RGB颜色空间；
S5：通过颜色恢复函数对转换后的饱和度增强图像进行颜色恢复，得到所述增强图像。
进一步地，所述采集并获得反映用户视野所见的实景图像，包括：
连续采集并获得若干连续的反映用户视野所见的实景图像；
所述根据所述缩放倍率对缩放后的实景图像进行对应程度的亮度提升处理，获得增强图像，包括：
对于根据相同的缩放倍率进行缩放的若干连续的实景图像，均进行相同程度的亮度提升处理。
进一步地，在获得增强图像之后，且在以近眼显示的方式显示所述增强图像之前，该方法还包括：
获取反映用户视野的缺损区域的视野图像缺损模式；
根据所述视野图像缺损模式对所述增强图像进行变形处理和/或移动，获得处于用户视野缺损区域外的可见区域的增强图像。
进一步地，所述获取反映用户视野的缺损区域的视野图像缺损模式，包括：
采集并获得反映用户视野的检测图像；
显示所述检测图像；
标注用户所见的检测图像中的缺损区域；
保存标注结果为所述视野图像缺损模式。
本发明还公开了一种增强现实眼镜，包括：
图像采集单元，用于采集并获得反映用户视野所见的实际图像；
控制单元，用于确定缩放倍率；
图像处理单元，用于：
根据确定的缩放倍率对所述实景图像进行缩放；
根据所述缩放倍率对缩放后的实景图像进行对应程度的亮度提升处理，获得增强图像；
图像显示单元，用于以近眼显示的方式显示所述增强图像。
进一步地，所述采集并获得反映用户视野所见的实景图像，包括：以用户自然视线中心线为中心采集所述实景图像。
进一步地，所述根据所述缩放倍率对缩放后的实景图像进行对应程度的亮度提升处理，获得增强图像，包括：
所述缩放倍率数值越大，对所述缩放后的实景图像的亮度提升程度越大。
进一步地，所述亮度提升处理包括：
S1：将所述实景图像由RGB颜色空间转换到HSI颜色空间；
S2：在HSI颜色空间下对转换后的实景图像采用具有保边特性的线性引导滤波进行处理，获得照度分量图像；对照度分量图像根据Retinex原理通过对数变化得到反射分量图像，并通过Gamma变换校正所述反射分量图像；
S3：在HSI颜色空间下对校正后的反射分量图像的S分量饱和度进行增强；
S4：将饱和度增强图像由HSI颜色空间转换到RGB颜色空间；
S5：通过颜色恢复函数对转换后的饱和度增强图像进行颜色恢复，得到所述增强图像。
进一步地，所述采集并获得反映用户视野所见的实景图像，包括：
连续采集并获得若干连续的反映用户视野所见的实景图像；
所述根据所述缩放倍率对缩放后的实景图像进行对应程度的亮度提升处理，获得增强图像，包括：
对于根据相同的缩放倍率进行缩放的若干连续的实景图像，均进行相同程度的亮度提升处理。
进一步地，所述图像处理单元还用于在获得增强图像之后，且在以近眼显示的方式显示所述增强图像之前：
获取反映用户视野的缺损区域的视野图像缺损模式；
根据所述视野图像缺损模式对所述增强图像进行变形处理和/或移动，获得处于用户视野缺损区域外的可见区域的增强图像。
进一步地，所述图像采集单元还用于采集并获得反映用户视野的检测图像；
所述图像显示单元还用于显示所述检测图像；
所述控制单元还用于标注用户所见的所述检测图像中的缺损区域；
所述增强现实眼镜还包括数据库单元，用于保存标注结果为所述视野图像缺损模式。
进一步地，所述控制单元还包括：
亮度开关，用于控制所述图像处理单元开启/关闭对所述实景图像的亮度提升处理。
本发明针对常见的FOV小于40°的AR产品系列，创造性地突破了本领域技术人员长期追求的不断提升图像分辨率目标的常规思维，克服了技术偏见；对于缩放图像，本发明不通过提升图像的分辨率而通过加强实景图像中得细节可见性来提高图片的整体辨识度，解决了放大后图像存在不清晰的问题，特别是对于视力低下或法定盲人的用户，甚至能够通过本发明改善视力情况，极大提高了生活质量。
本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施方式及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施方式所述的基于增强现实的图像亮度提升方法的流程图；
图2为本发明实施方式所述的亮度提升处理方法的流程图；
图3为本发明实施方式所述的增强图像变形/移动的区域划分图；
图4为本发明实施方式所述的标注了缺损区域的检测图像的区域划分图；
图5为本发明实施方式所述的控制单元的结构示意图。
附图标记说明：
1-光标 2-触控板
3-标注按键
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。
如图1所示的一种基于增强现实的图像亮度提升方法，包括以下步骤：
(1)采集并获得反映用户视野所见的实景图像，随着用户头部转动或眼球转动所述实景图像同步变换，保证所采集的实景图像能够真实的反映用户实际视野；实景图像是亮度提升处理的基础，用户可以通过AR设备输出的实景图像观察身边事物，而不是直接通过肉眼观察；
(2)确定缩放倍率，并根据所述缩放倍率对所述实景图进行缩放，以实现精确缩放，本发明确定缩放倍率的方法有多种，既可以是直接输入具体的缩放倍率的数值，也可以是实时对实景图像进行缩放，并由包括AR眼镜在内的AR装置根据最终缩放情况自动确认缩放倍率；通常情况下，为了保障放大后图像仍具有较高的辨识度，在不提高分辨率的情况通常只能放大2倍，而本发明可以放大4～8倍，甚至更大，使得本发明放大功能远超现有AR设备；
(3)根据所述缩放倍率对缩放后的所述实景图像进行对应程度的亮度提升处理，以获得增强图像，并且对于分别率越低的实景图像，对应程度越大的亮度提升处理，其中，增强图像中的事物边缘更加明显，虽然没有提高分辨率，但仍保持甚至提高了对所述增强图像中事物的辨识度；
(4)以近眼显示的方式显示所述增强图像，近眼显示是AR眼镜中常用的显示方法。
经过现有公开的研究结论表明，人辨识物体主要通过的是物体的边缘，这也是时下热门的图像识别技术领域和机器学习领域的研发理论基础，本发明通过上述亮度提升方法增强了缩放后的图像的辨识度，增强图像中，所示物体的边缘更加明显，不仅针对普通用户，也适用于视力低下用户，使得视力低下用户也能够具有良好的视物体验，极大改善了其生活质量。
在本发明的一些实施方式中，可以采用单个或多个摄像头采集并获得反映用户视野的实景图像，为保证后续检测的准确性，摄像头以用户自然视线中心线为中心采集所述实景图像，保证图像能够真实的反映用户的视野位置和范围。优选的，所述采集的实景图像可以大于用户视野，及用户视野包含在所述的实景图像中。
在本发明的一些实施方式中，缩放倍率的数值能够反映实景图像的放大或缩小情况，当缩放倍率(数值)为1时，实景图像保持不变，既不放大也不缩小；当缩放倍率大于1时，则对实景图像进行了放大处理，例如，缩放倍率为4，则实景图像放大了4倍，并且所述倍率的数值越大，所述图像的放大程度也就越大，导致清晰度越低，因此增强图像的增强程度也就越大；当缩放倍率小于1时，则对实景图像进行了缩小处理，由于缩小实景图像并不会大幅度降低分辨率，因此可以对缩小的实景图像按上述正比例关系进行亮度提升处理，也可以不进行亮度提升处理，而采用其他方式提升辨识度，使得视力低下用户具有更好的视物体验，具体方法将在后文详细说明。
本发明公开了一种亮度提升处理方法，通过该方法对缩放后的所述实景图像进行亮度提升处理，以获得增强图像，如图2所示，该方法具体如下：
步骤S1：将所述实景图像由RGB颜色空间转换到HSI颜色空间。具体包括根据公式(1)将原始低照度图像由RGB颜色空间转换到HSI颜色空间；
对图像的RGB颜色空间任何3个R、G、B值，对应HSI模型的H、S、I分量可用式(1)至(3)进行转换：
式中：H为像素点的色调H值；S为像素点的饱和度S值；I为像素点的亮度I值；R为像素点的R颜色分量值；G为像素点的G颜色分量值；B为像素点的B颜色分量值；R、G、B∈[0,1]；S、I∈[0,1]；H∈[0°,360°]。
步骤S2：在HSI颜色空间下对亮度图像采用具有保边特性的线性引导滤波进行处理，获得照度分量图像；并根据Retinex原理通过对数变化得到反射分量图像，通过Gamma变换校正所述反射分量图像。
具体包括以下内容：
将原低照度图像J(x)经过HSI颜色空间转换得到饱和度图像JS(x,y)、色调图像JH(x,y)和亮度图像JI(x,y)，先对亮度图像JI(x,y)进行计算来估计照度分量；
基于引导滤波的反射分量的求解公式可表示为：
式中：为对数形式下的反射分量；f为引导滤波函数；引导滤波可表示为局部线性模型：
qj＝akJI,j+bk (5)
式中：qj为图像IV窗口ωk中j像素处的线性变换灰度值，JI,j为图像JI窗口ωk中j像素值，k为窗口ωk的中心像素，系数ak和bk为常数；局部线性系数ak和bk采用以下方式求解：
bk＝(1-ak)μk (7)
式中：μk和σk分别为图像窗口ωk中像素的均值和标准差，为窗口ωk中的像素数量，δ为正则化参数，引导滤波函数为
将式(8)代入式(4)得到最后经过反对数变换得到反射分量估计值即
采用非线性的全局Gamma校正方法进行亮度调整，即
式中γ为校正参数，取值范围为1～+∞。经过试验验证γ取3时效果较好。
步骤S3：在HSI颜色空间下对图像的S分量饱和度进行增强。具体包括以下内容：
基于HSI空间，所述线性拉伸采用自适应的饱和度分量S线性拉伸算法，所述线性拉伸算法表示为公式(11)：
其中，JS(x,y)表示原始图像的饱和度，JS(x,y)'表示线性拉伸后图像的饱和度；Mv表示原始图像的均值；max(R,G,B)和min(R,G,B)分别表
示R、G、B三个颜色分量的最大值和最小值。
步骤S4：将图像由HSI颜色空间转换到RGB颜色空间。具体包括以下内容：
利用下式使HSI颜色空间转换回RGB空间：
当0°≤H≤120°时：
当120°≤H≤240°时：
当240°≤H≤360°时：
步骤S5：通过颜色恢复函数进行颜色恢复，最终得到所述增强图像。
具体包括以下内容：
设在RGB色彩空间对第四步处理后的图像为I(x,y)，每个像素设置颜色比重的权值为：
式中：G为增益参数，i表示RGB颜色空间下的颜色通道，Ii(x,y)表示I(x,y)第i个颜色通道的输入分量，α用于调节彩色整体亮度，β用于调节增强处理后图像色彩的比重；
在颜色空间由HSI变换转化为RGB之后，即得到I(x,y)，再对图像颜色进行恢复处理：
R(x,y)＝Ci(x,y)I(x,y) (16)
Ci(x,y)为(15)式得到的颜色恢复函数，R(x,y)为最终获得的亮度效果增强图像。
在本发明的一些实施例中，不仅能够对单个静态的实景图像进行亮度提升处理，同样能够对由连续实景图像组成的视频进行亮度提升处理，丰富了本发明的应用场景，具体包括：
连续采集并获得反映用户视野所见的若干实景图像；
确定缩放倍率，并根据所述缩放倍率对所有实景图进行同等程度的缩放；
对于根据相同的缩放倍率进行缩放的若干所述实景图像，均进行相同程度的亮度提升处理，具体的，在首次对实景图像采用上述亮度提升处理方法进行亮度提升处理后，由于进行的是相同程度的亮度提升处理，因此对于后续的连续实景图像，亮度提升处理方法中的许多计算步骤和结论可以沿用首次对实景图像亮度提升处理的过程/步骤，大大降低了亮度提升处理的计算量，提高了亮度提升处理的效率，十分适合处理由大量连续实景图像组成的视频。
视野缺损(defect of visual field)指视野范围受损，常见的，患者会出现管状视野、不规则视野缺损区域等病症，对于这类视力低下用户，还可以对增强图像进一步处理，使得用户获得更好的视物体验。
在本发明的一些实施例中，在以近眼显示的方式显示所述增强图像之前，进行如下步骤：
首先，调用反映用户视野的缺损区域的视野图像缺损模式，视野图像缺损模式可以是预先通过对反映用户视野缺损情况的缺损区域标注并保存的，可以随时被调用；
然后，根据所述视野图像缺损模式对所述增强图像进行变形/移动处理，用于获得处于用户视野缺损区域外的可见区域的可被用户完整可见的增强图像，即用户可见增强图像包含的全部内容。
如图3所示，图中虚线表示视野缺损患者的管状视野，其外侧实线方框表示反映用户视野的未经缩放的实景图像，只有增强图像处于所述的虚线中，用户才能获得增强图像的全部信息，因此，需要将经过压缩处理的增强图像制动至用户视野可见的可见区域，优选的，直接以所述的可见区域为缩放中心进行压缩，在进行亮度提升处理前，实景图像已经处于可见区域。
进一步地，本发明还公开了获取反映用户视野的缺损区域的视野图像缺损模式的方法，具体包括：
(1)采集并获得反映用户视野的检测图像，所述检测图像本质上于实景图像相同，因此，也可以采用所述的实景图像作为检测图像；
(2)显示所述检测图像，优选的，采用AR设备中常见的近眼显示方式显示所述检测图像，此时，用于视野中的图像包括一个或多个待标注的缺损区域；
(3)标注用户所见的所述检测图像中的缺损区域；用于根据个人的实际情况采用手动标注的方式来标注缺损区域，该标准结果具有很强的个性化，能够较为准确的反应用户的视野缺损情况；
(4)保存标注结果为视野图像缺损模式。
优选的，如图4所示，椭圆形区域即被标注的反映用户缺损视野的缺损区域，其中，可以移动的光标1用来标注缺损区域的边缘，椭圆的实线部分表示已经标注的部分，虚线区域表示尚未标注的部分。光标1可以由如图5所示的控制单元进行控制，该控制单元包括控制光标1移动的触控板2和控制光标1进行标注的标注按键3。
优选的，对于椭圆左下的缺口区域，可以对其单独放大再进行标注，保证了标注结果的准确和标注过程的方便。
值得一提的是，上述对于图像的变形处理的步骤可以在亮度提升处理之后，即应用于增强图像，也可以是在亮度提升处理之后，即应用于实景图像。
本发明还公开了一种增强现实眼镜，能够应用上述各实施例所述的基于增强现实的图像亮度提升方法，实现对对缩放后图像辨识度的提高。
本发明所公开的增强现实眼镜具体包括：图像采集单元，用于采集并获得反映用户视野所见的实际图像；
控制单元，用于确定缩放倍率；
图像处理单元，用于：
根据确定的缩放倍率对所述实景图进行缩放；
根据所述缩放倍率对缩放后的所述实景图像进行对应程度的亮度提升处理，以获得增强图像；
图像显示单元，用于以近眼显示的方式显示所述增强图像。
在本发明的一些实施例中，所述图像采集单元，用于以用户自然视线中心线为中心采集所述实景图像。
在本发明的一些实施例中，所述控制单元确定的所述缩放倍率数值越大，所述图像处理单元亮度提升处理的所述增强图像的亮度提升程度越大。
在本发明的一些实施例中，如图2所示，图像处理单元对所述实景图像进行的亮度提升处理的方法包括：
S1：将所述实景图像由RGB颜色空间转换到HSI颜色空间；
S2：在HSI颜色空间下对亮度图像采用具有保边特性的线性引导滤波进行处理，获得照度分量图像；并根据Retinex原理通过对数变化得到反射分量图像，通过Gamma变换校正所述反射分量图像；
S3：在HSI颜色空间下对图像的S分量饱和度进行增强；
S4：将图像由HSI颜色空间转换到RGB颜色空间；
S5：通过颜色恢复函数进行颜色恢复，最终得到所述增强图像。
在本发明的一些实施例中，包括：
所述图像采集单元，用于连续采集并获得反映用户视野所见的若干实景图像；
所述图像处理单元，用于对根据相同的缩放倍率进行缩放的若干所述实景图像，均进行相同程度的亮度提升处理。
在本发明的一些实施例中，所述图像处理单元，还用于：
在所述以近眼显示的方式显示所述增强图像之前，获取反映用户视野的缺损区域的视野图像缺损模式；
根据所述视野图像缺损模式对所述增强图像进行变形处理和/或移动，用于获得处于用户视野缺损区域外的可见区域的增强图像。
在本发明的一些实施例中，包括：
所述图像采集单元，还用于采集并获得反映用户视野的检测图像；
所述图像显示单元，还用于显示所述检测图像；
所述控制单元，还用于标注用户所见的所述检测图像中的缺损区域；
数据库单元，用于保存标注结果为所述视野图像缺损模式。
在本发明的一些实施例中，所述控制单元还包括：
亮度开关，用于控制所述图像处理单元开启/关闭对所述实景图像的亮度提升处理，方便用户自行选择控制。
综上，本发明公开了所述的增强现实眼镜的一种使用流程，具体如下：
(1)用户首先佩戴自然形态的增强现实眼镜(AR眼镜)，其上设置有图像采集单元(单摄像头或多摄像头)、控制单元、图像处理单元、图像显示单元(光线可穿透性近眼显示器)；
(2)用户将头部正面、眼部朝向需要看清的现实环境；
(3)图像采集单元采集以用户自然视线中心为中心的连续实景图像；
(4)随着用户头部正面、眼部的运动，图像采集单元连续采集实景图像；
(5)通过图像处理单元，首先将原始的连续的实景图像输出到显示单元(光线可穿透性近眼显示器)；
(6)用户首先根据自身需要自行调节影像的放大缩小倍率(自行调节放大缩小倍率的方法包括：手指触控、手势控制、语音命令、按键控制)到符合其自身视力能力的最佳状态；
(7)AR眼镜得图像处理单元自动针对确定的放大缩小倍率，在处理后的图像上进一步应用图像亮度提升方法，通过加强实景图像细节可见性来帮助低视力患者提高图像辨识度；经图像亮度提升的图像依然可以使用其它图像处理方法(锐化处理、对比度提升等)的叠加，并行增强图像的各方面辨识度；
(8)随着用户头部正面、眼部的运动(AR眼镜随动)，图像处理单元将通过图像采集单元原始采集的连续实景图像进行亮度提升处理，并输出到显示单元形成视频，达成持续改善用户视力的目的。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (15)
1.一种基于增强现实的图像亮度提升方法，其特征在于，包括：
采集并获得反映用户视野所见的实景图像；
确定缩放倍率，并根据所述缩放倍率对所述实景图像进行缩放；
根据所述缩放倍率对缩放后的实景图像进行对应程度的亮度提升处理，获得增强图像；
以近眼显示的方式显示所述增强图像。
2.根据权利要求1所述的基于增强现实的图像亮度提升方法，其特征在于，所述采集并获得反映用户视野所见的实景图像，包括：
以用户自然视线中心线为中心采集所述实景图像。
3.根据权利要求1所述的基于增强现实的图像亮度提升方法，其特征在于，所述根据所述缩放倍率对缩放后的实景图像进行对应程度的亮度提升处理，获得增强图像，包括：
所述缩放倍率数值越大，对所述缩放后的实景图像的亮度提升程度越大。
4.根据权利要求1所述的基于增强现实的图像亮度提升方法，其特征在于，所述亮度提升处理包括：
S1：将压缩后的实景图像由RGB颜色空间转换到HSI颜色空间；
S2：在HSI颜色空间下对转换后的实景图像采用具有保边特性的线性引导滤波进行处理，获得照度分量图像；对照度分量图像根据Retinex原理通过对数变化得到反射分量图像，并通过Gamma变换校正所述反射分量图像；
S3：在HSI颜色空间下对校正后的反射分量图像的S分量饱和度进行增强；
S4：将饱和度增强图像由HSI颜色空间转换到RGB颜色空间；
S5：通过颜色恢复函数对转换后的饱和度增强图像进行颜色恢复，得到所述增强图像。
5.根据权利要求1所述的基于增强现实的图像亮度提升方法，其特征在于，所述采集并获得反映用户视野所见的实景图像，包括：
连续采集并获得若干连续的反映用户视野所见的实景图像；
所述根据所述缩放倍率对缩放后的实景图像进行对应程度的亮度提升处理，获得增强图像，包括：
对于根据相同的缩放倍率进行缩放的若干连续的实景图像，均进行相同程度的亮度提升处理。
6.根据权利要求1所述的基于增强现实的图像亮度提升方法，其特征在于，在获得增强图像之后，且在以近眼显示的方式显示所述增强图像之前，该方法还包括：
获取反映用户视野的缺损区域的视野图像缺损模式；
根据所述视野图像缺损模式对所述增强图像进行变形处理和/或移动，获得处于用户视野缺损区域外的可见区域的增强图像。
7.根据权利要求6所述的基于增强现实的图像亮度提升方法，其特征在于，所述获取反映用户视野的缺损区域的视野图像缺损模式，包括：
采集并获得反映用户视野的检测图像；
显示所述检测图像；
标注用户所见的检测图像中的缺损区域；
保存标注结果为所述视野图像缺损模式。
8.一种增强现实眼镜，其特征在于，包括：
图像采集单元，用于采集并获得反映用户视野所见的实际图像；
控制单元，用于确定缩放倍率；
图像处理单元，用于：
根据确定的缩放倍率对所述实景图像进行缩放；
根据所述缩放倍率对缩放后的实景图像进行对应程度的亮度提升处理，获得增强图像；
图像显示单元，用于以近眼显示的方式显示所述增强图像。
9.根据权利要求8所述的增强现实眼镜，其特征在于，所述采集并获得反映用户视野所见的实景图像，包括：以用户自然视线中心线为中心采集所述实景图像。
10.根据权利要求8所述的增强现实眼镜，其特征在于，所述根据所述缩放倍率对缩放后的实景图像进行对应程度的亮度提升处理，获得增强图像，包括：
所述缩放倍率数值越大，对所述缩放后的实景图像的亮度提升程度越大。
11.根据权利要求8所述的增强现实眼镜，其特征在于，所述亮度提升处理包括：
S1：将所述实景图像由RGB颜色空间转换到HSI颜色空间；
S2：在HSI颜色空间下对转换后的实景图像采用具有保边特性的线性引导滤波进行处理，获得照度分量图像；对照度分量图像根据Retinex原理通过对数变化得到反射分量图像，并通过Gamma变换校正所述反射分量图像；
S3：在HSI颜色空间下对校正后的反射分量图像的S分量饱和度进行增强；
S4：将饱和度增强图像由HSI颜色空间转换到RGB颜色空间；
S5：通过颜色恢复函数对转换后的饱和度增强图像进行颜色恢复，得到所述增强图像。
12.根据权利要求8所述的增强现实眼镜，其特征在于，所述采集并获得反映用户视野所见的实景图像，包括：
连续采集并获得若干连续的反映用户视野所见的实景图像；
所述根据所述缩放倍率对缩放后的实景图像进行对应程度的亮度提升处理，获得增强图像，包括：
对于根据相同的缩放倍率进行缩放的若干连续的实景图像，均进行相同程度的亮度提升处理。
13.根据权利要求8所述的增强现实眼镜，其特征在于，所述图像处理单元还用于在获得增强图像之后，且在以近眼显示的方式显示所述增强图像之前：
获取反映用户视野的缺损区域的视野图像缺损模式；
根据所述视野图像缺损模式对所述增强图像进行变形处理和/或移动，获得处于用户视野缺损区域外的可见区域的增强图像。
14.根据权利要求13所述的增强现实眼镜，其特征在于：
所述图像采集单元还用于采集并获得反映用户视野的检测图像；
所述图像显示单元还用于显示所述检测图像；
所述控制单元还用于标注用户所见的所述检测图像中的缺损区域；
所述增强现实眼镜还包括数据库单元，用于保存标注结果为所述视野图像缺损模式。
15.根据权利要求8所述的增强现实眼镜，其特征在于，所述控制单元还包括：
亮度开关，用于控制所述图像处理单元开启/关闭对所述实景图像的亮度提升处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910829560.0A CN110597386A (zh) | 2019-09-03 | 2019-09-03 | 基于增强现实的图像亮度提升方法及增强现实眼镜 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910829560.0A CN110597386A (zh) | 2019-09-03 | 2019-09-03 | 基于增强现实的图像亮度提升方法及增强现实眼镜 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110597386A true CN110597386A (zh) | 2019-12-20 |
Family
ID=68857356
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910829560.0A Pending CN110597386A (zh) | 2019-09-03 | 2019-09-03 | 基于增强现实的图像亮度提升方法及增强现实眼镜 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110597386A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111784608A (zh) * | 2020-07-01 | 2020-10-16 | 广州视源电子科技股份有限公司 | 显示数据处理方法、装置、显示设备以及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102129673A (zh) * | 2011-04-19 | 2011-07-20 | 大连理工大学 | 一种随意光照下彩色数字图像增强和去噪方法 |
| CN106293452A (zh) * | 2015-06-24 | 2017-01-04 | 宏达国际电子股份有限公司 | 剪裁框调整方法及影像处理装置 |
| CN108597439A (zh) * | 2018-05-10 | 2018-09-28 | 深圳市洲明科技股份有限公司 | 基于微间距led显示屏的虚拟现实图像显示方法及终端 |
| WO2019067779A1 (en) * | 2017-09-27 | 2019-04-04 | University Of Miami | DIGITAL THERAPEUTIC GUARANTEES |
-
2019
- 2019-09-03 CN CN201910829560.0A patent/CN110597386A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102129673A (zh) * | 2011-04-19 | 2011-07-20 | 大连理工大学 | 一种随意光照下彩色数字图像增强和去噪方法 |
| CN106293452A (zh) * | 2015-06-24 | 2017-01-04 | 宏达国际电子股份有限公司 | 剪裁框调整方法及影像处理装置 |
| WO2019067779A1 (en) * | 2017-09-27 | 2019-04-04 | University Of Miami | DIGITAL THERAPEUTIC GUARANTEES |
| CN108597439A (zh) * | 2018-05-10 | 2018-09-28 | 深圳市洲明科技股份有限公司 | 基于微间距led显示屏的虚拟现实图像显示方法及终端 |
Non-Patent Citations (1)
| Title |
|---|
| 陈灿灿: "基于Retinex理论的低照度彩色图像增强算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111784608A (zh) * | 2020-07-01 | 2020-10-16 | 广州视源电子科技股份有限公司 | 显示数据处理方法、装置、显示设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110650368B (zh) | 视频处理方法、装置和电子设备 | |
| CN109844800B (zh) | 虚拟化妆装置和虚拟化妆方法 | |
| US20170208312A1 (en) | Apparatus and method for a dynamic "region of interest" in a display system | |
| JP5463866B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
| KR101685888B1 (ko) | 상세를 유지하는 이미지 블러 | |
| US20170323465A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| US10599920B2 (en) | Automated digital magnifier system with hand gesture controls | |
| WO2008012905A1 (fr) | Dispositif d'authentification et procédé d'affichage d'une image à authentifier | |
| CN105141841B (zh) | 摄像设备及其方法 | |
| CN108876753A (zh) | 使用引导图像对合成长曝光图像进行可选增强 | |
| JP6111723B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
| WO2019015477A1 (zh) | 图像矫正方法、计算机可读存储介质和计算机设备 | |
| CN109242794B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| JP2014048766A (ja) | 画像生成装置、画像生成方法及びプログラム | |
| CN108140237A (zh) | 图像处理装置以及图像处理方法 | |
| US10162997B2 (en) | Electronic device, computer readable storage medium and face image display method | |
| CN110728631A (zh) | 基于增强现实的图像动态对比度增强方法及增强现实眼镜 | |
| US9323981B2 (en) | Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored | |
| CN110728630A (zh) | 基于增强现实的互联网图像处理方法及增强现实眼镜 | |
| CN110597386A (zh) | 基于增强现实的图像亮度提升方法及增强现实眼镜 | |
| CN110706164A (zh) | 基于增强现实的管状视野图像变形显示方法及眼镜 | |
| JP4323910B2 (ja) | 画像合成装置及び方法 | |
| CN110717866B (zh) | 基于增强现实的图像锐化方法及增强现实眼镜 | |
| US11182634B2 (en) | Systems and methods for modifying labeled content | |
| US20220224822A1 (en) | Multi-camera system, control value calculation method, and control apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191220 |