CN116560089A - 一种视觉辅助方法及ar眼镜 - Google Patents

一种视觉辅助方法及ar眼镜 Download PDF

Info

Publication number
CN116560089A
CN116560089A CN202310525392.2A CN202310525392A CN116560089A CN 116560089 A CN116560089 A CN 116560089A CN 202310525392 A CN202310525392 A CN 202310525392A CN 116560089 A CN116560089 A CN 116560089A
Authority
CN
China
Prior art keywords
image
eye image
obstacle
real
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310525392.2A
Other languages
English (en)
Inventor
唐建文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shijing Medical Software Co ltd
Original Assignee
Guangzhou Shijing Medical Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shijing Medical Software Co ltd filed Critical Guangzhou Shijing Medical Software Co ltd
Priority to CN202310525392.2A priority Critical patent/CN116560089A/zh
Publication of CN116560089A publication Critical patent/CN116560089A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种视觉辅助方法及AR眼镜，包括：基于AR眼镜获取实时场景图像，所述实时场景图像包括同一时刻的左眼图像和右眼图像；根据图像特征识别算法定位所述实时场景图像中的所有障碍物，并识别各个障碍物的位置信息；所述位置信息至少包括坐标信息和空间信息；根据所述位置信息实时标记所述实时场景图像中的各个障碍物，以实现视觉辅助。通过AR眼镜实时获取实时场景中同一时刻的左眼图像和右眼图像，并根据图像特征识别算法，从而识别各个障碍物的位置信息，以对实时场景中的各个障碍物进行快速标记，并根据左眼图像和右眼图像的视差获取障碍物的位置信息，从而为用户提供实时场景中各个障碍物的空间信息和坐标信息。

Description

一种视觉辅助方法及AR眼镜
技术领域
本发明涉及视觉辅助技术领域，尤其涉及一种视觉辅助方法及AR眼镜。
背景技术
目前，存在一些视障人士，他们对颜色的辨认能力比较弱或不能将几中颜色进行区分，或者眼睛有视网膜病变，或者因为感光细胞死亡导致看不清物体、颜色的细节，或者是立体感知能力、深度识别能力差，甚至是没有立体感知能力，往往体现在视力低下、看不清物体、分辨不出物体轮廓。通常这些症状都存在对比敏感度能力差的问题。
现有的视觉辅助方法，通过相机拍摄图片进行检测，从而对图片中物体进行标记，再传回人眼可视屏中，以实现视觉辅助，但现有的视觉辅助方法，并未对图片中各个物体的位置信息进行标记，部分用户无法感知物体远近，导致视觉辅助效果不佳。
发明内容
本发明提供了一种视觉辅助方法及AR眼镜，以解决现有视觉辅助方法并未对物体位置信息进行标记，无法为空间感知弱的用户提供视觉辅助的技术问题。
为了解决上述技术问题，本发明实施例提供了一种视觉辅助方法，包括：
基于AR眼镜获取实时场景图像，所述实时场景图像包括同一时刻的左眼图像和右眼图像；
根据图像特征识别算法定位所述实时场景图像中的所有障碍物，并识别各个障碍物的位置信息；所述位置信息至少包括坐标信息和空间信息；
根据所述位置信息实时标记所述实时场景图像中的各个障碍物，以实现视觉辅助。
本发明通过AR眼镜实时获取实时场景中同一时刻的左眼图像和右眼图像，并根据图像特征识别算法，从而识别各个障碍物的位置信息，以对实时场景中的各个障碍物进行快速标记，并根据左眼图像和右眼图像的视差获取障碍物的位置信息，从而为用户提供实时场景中各个障碍物的空间信息和坐标信息。同时，由于基于AR眼镜设备对图像进行实时获取和处理，用户可实时佩戴所述AR眼镜进行日常活动，且在佩戴所真正实现实时视觉辅助。
进一步的，所述根据图像特征识别算法定位所述实时场景图像中的所有障碍物，具体为：
根据图像特征识别算法对所述左眼图像和所述右眼图像进行特征点提取；
根据所述左眼图像和所述右眼图像中的所有特征点定位所述左眼图像和所述右眼图像中的所有障碍物。
本发明通过图像特征识别算法对左眼图像和右眼图像进行特征点提取，从而快速定位同一时刻中左眼图像和右眼图像中的所有障碍物，避免图像处理时间过长导致视觉辅助滞后。
进一步的，所述识别各个障碍物的位置信息，具体为：
根据所述左眼图像和所述右眼图像的视差图，识别现实场景中各个障碍物的位置信息。
进一步的，所述根据所述左眼图像和所述右眼图像的视差图，识别现实场景中各个障碍物的位置信息，具体为：
将所述左眼图像和右眼图像映射到同一坐标平面中，比对所述左眼图像和右眼图像的横坐标，生成视差图；
根据所述视差图获取所述左眼图像和所述右眼图像中各个障碍物的水平差值；
根据所述水平差值和第一深度算法计算各个障碍物的位置信息。
本发明通过左眼图像和右眼图像的水平视差，识别实施场景中各个障碍物的位置信息，避免仅对单一平面图像进行处理，无法有效识别障碍物的空间远近信息。
进一步的，所述根据所述位置信息实时标记所述实时场景图像中的各个障碍物，具体为：
根据所述位置信息获取各个障碍物与用户之间的距离值；
根据所述各个障碍物与用户之间的距离值的大小，分类标记所述实时场景图像中的各个障碍物。
本发明通过根据障碍物与用户的远近对各个障碍物进行分类标记，通过不同标记方式，提高视觉辅助效果。
第二方面，本发明提供了一种AR眼镜，包括：图像获取模块、图像处理模块和标记模块；
所述图像获取模块，用于获取实时场景图像，所述实时场景图像包括同一时刻的左眼图像和右眼图像；
所述图像处理模块，用于所述根据图像特征识别算法定位所述实时场景图像中的所有障碍物，并识别各个障碍物的位置信息；所述位置信息至少包括坐标信息和空间信息；
所述标记模块，用于根据所述位置信息实时标记所述实时场景图像中的各个障碍物，以实现视觉辅助。
进一步的，所述图像处理模块，具体用于：
根据图像特征识别算法对所述左眼图像和所述右眼图像进行特征点提取；
根据所述左眼图像和所述右眼图像中的所有特征点定位所述左眼图像和所述右眼图像中的所有障碍物。
进一步的，所述图像处理模块，还用于：
根据所述左眼图像和所述右眼图像的视差图，识别现实场景中各个障碍物的位置信息。
进一步的，所述图像处理模块，还用于：
将所述左眼图像和右眼图像映射到同一坐标平面中，比对所述左眼图像和右眼图像的横坐标，生成视差图；
根据所述视差图获取所述左眼图像和所述右眼图像中各个障碍物的水平差值；
根据所述水平差值和第一深度算法计算各个障碍物的位置信息。
进一步的，所述标记模块，具体用于：
根据所述位置信息获取各个障碍物与用户之间的距离值；
根据所述各个障碍物与用户之间的距离值的大小，分类标记所述实时场景图像中的各个障碍物。
附图说明
图1为本发明实施例提供的视觉辅助方法的一种流程示意图；
图2为本发明实施例提供的视觉辅助方法的一种障碍物标记示意图；
图3为本发明实施例提供的AR眼镜的一种图像处理装置结构示意图；
图4为本发明实施例提供的AR眼镜的一种结构示意图；
图5为本发明实施例提供的AR眼镜的一种外观示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参照图1，图1为本发明实施例提供的视觉辅助方法的一种流程示意图，包括步骤101至步骤103，具体如下：
步骤101：基于AR眼镜获取实时场景图像，所述实时场景图像包括同一时刻的左眼图像和右眼图像；
在本实施例中，通过AR眼镜获取实时场景图像，所述AR眼镜包括；两个前置摄像头，所述前置摄像头分别放置于AR眼镜左眼镜片和右眼镜片的两侧，从而实时采集双眼观察外界的真实的场景图像。
AR(Augmented Rea l ity，增强现实)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。
在本实施例中，两个前置摄像头所捕捉到的实施场景图像和正常人双眼观察到的图像的情况是接近的，是因为两个摄像头居于不同的位置，有一定的视差，可模仿用户双眼的时差。
在本实施例中，通过两个前置摄像头同时获取实时场景图片，从而获取同一时刻的左眼图像和右眼图像，并对同一时刻的左眼图像和右眼图像的障碍物进行标记。
步骤102：根据图像特征识别算法定位所述实时场景图像中的所有障碍物，并识别各个障碍物的位置信息；所述位置信息至少包括坐标信息和空间信息；
在本实施例中，所述根据图像特征识别算法定位所述实时场景图像中的所有障碍物，具体为：
根据图像特征识别算法对所述左眼图像和所述右眼图像进行特征点提取；
根据所述左眼图像和所述右眼图像中的所有特征点定位所述左眼图像和所述右眼图像中的所有障碍物。
请参照图2，图2为本发明实施例提供的视觉辅助方法的一种障碍物标记示意图。
在本实施例中，通过如使用HOG(Hi stogram of Or iented Grad ient)特征提取算法分别对当前时刻获取的左眼图像和右眼图像进行特征点提取，识别出所述左眼图像和右眼图像中的所有障碍物，并记录所有障碍物在图像上的坐标。其中所述障碍物包括行人、车辆。
作为本发明实施例的一种具体举例，在利用HOG特征提取算法时，首先读取左眼图像和右眼图像，并两个图像分别转化为灰度图像；随后，采用伽马校正法对得到的灰度图进行归一化，伽马校正可以通过对原灰度图归一化后的结果经过一个幂函数转化，从而调节图像的对比度，降低图片背景和光照的影响，增强所述灰度图片中物体的轮廓，同时可以抑制噪声的干扰。随后，对伽马校正后的图像根据梯度算子计算各个像素点的梯度(包含大小和方向)，用于捕获试试场景图像中各个障碍物的轮廓信息。所述梯度算子可为Prewitt算子、Sobe l算子。
在本实施例中，将伽马校正后的图像划分成ce l l单元，并计算每个ce l l的梯度直方图，针对每个ce l l计算其梯度直方图，压缩所述灰度图的特征。接着，确定b l ock大小，例如将2×2个ce l l作为一组，即为一个b l ock，最终整张图片信息是通过滑动b lock窗口来获取的，此时一个b l ock中包含的是4个ce l l，每个ce l l中包含的是9个值(梯度直方图)，故而一个b l ock中包含36个值。
在本实施例中，对于灰度图片划分好每个b l ock后，则对每个b l ock进行归一化，由于图像的梯度对光照环境等因素非常敏感，为了避免特征点提取不受环境影响，需要将直方图归一化。具体的：将一个b l ock中4个ce l l拼接成长度为36的向量，通过对向量每个元素除以该向量的L2范数对b l ock归一化。所述L2范数具体为向量各元素的平方和然后求平方根。然后明确各个HOG特征的大小，对图像的HOG特征进行可视化。
在本实施例中，通过图像特征识别算法对左眼图像和右眼图像进行特征点提取，从而快速定位同一时刻中左眼图像和右眼图像中的所有障碍物，避免图像处理时间过长导致视觉辅助滞后。
在本实施例中，所述识别各个障碍物的位置信息，具体为：
根据所述左眼图像和所述右眼图像的视差图，识别现实场景中各个障碍物的位置信息。
在本实施例中，所述根据所述左眼图像和所述右眼图像的视差图，识别现实场景中各个障碍物的位置信息，具体为：
将所述左眼图像和右眼图像映射到同一坐标平面中，比对所述左眼图像和右眼图像的横坐标，生成视差图；
根据所述视差图获取所述左眼图像和所述右眼图像中各个障碍物的水平差值；
根据所述水平差值和第一深度算法计算各个障碍物的位置信息。
在本实施例中，由于左眼图像和右眼图像是基于两个不同位置的摄像头所捕捉到的图像，且与正常人双眼观察到的图像的情况是接近的，因此所述左眼图像和右眼图像具有一定的水平差异，因此通过左眼图像和右眼图像的视差图，可更精准得判断实施场景图像中各个障碍物的位置信息和空间信息。
在本实施例中，根据左眼图像和右眼图像生成视差图，生成的视差图和真实的视差图一致，提高障碍物标记的准确性。
在本实施例中，通过将左眼图像和右眼图像映射到同一坐标平面中，并根据已记录的各个障碍物的坐标信息，比对所述左眼图像和右眼图像的横向坐标，生成视差图。
在本实施例中，根据所述视差图判断实施场景中各个从障碍物的远近，通过所述是插入获取各个障碍物的水平差值；例如对于同一障碍物在同一坐标平面中，相差1个像素，则1像素为所述障碍物的水平差值。
在本实施例中，所述水平差值和第一深度算法计算各个障碍物的位置信息。所述第一深度算法具体为：
d＝a×k (1)
其中，d为障碍物位置，a为障碍物深度，k水平差值。
在本实施例中，通过左眼图像和右眼图像的水平视差，识别实施场景中各个障碍物的位置信息，避免仅对单一平面图像进行处理，无法有效识别障碍物的空间远近信息。
步骤103：根据所述位置信息实时标记所述实时场景图像中的各个障碍物，以实现视觉辅助。
在本实施例中，所述根据所述位置信息实时标记所述实时场景图像中的各个障碍物，具体为：
根据所述位置信息获取各个障碍物与用户之间的距离值；
根据所述各个障碍物与用户之间的距离值的大小，分类标记所述实时场景图像中的各个障碍物。
在本实施例中，通过障碍物位置信息可获取各个障碍物与用户之间的距离，并根据各个障碍物与用户的距离划分标记等级，从而进行分类标记，例如，若当前障碍物与用于之间的距离小于1米时，则突出标记当前障碍物。
在本实施例中，由于用户可能存在不同的视觉障碍，例如对比敏感度弱、色盲、色弱、夜盲症、立体视功能弱等等，在对物体进行标记前，需确认用户的视觉障碍，并根据视觉障碍的不同分类标记。
在本实施例中，若当前用户存在对比敏感度弱时，则此时用户难以分辨物体边界，则在进行标记时，除了标记各个障碍物的位置信息，还需对各个障碍物进行轮廓识别，并将将各个障碍物的轮廓进行突出显示，从而增强用户对物体边界的感知。
若当前用户存在色盲时，由于用户视锥不能把光的波长区分为特定的颜色，而是将其定义为大致相同的颜色。因此当用户存在色盲时，则在进行标记时，除了标记各个障碍物的位置信息，还需对各个障碍物中的颜色进行标记。
若当前用户存在色弱时，由于用户对颜色辨别能力较差，只在颜色比较饱和时才能看到颜色，则在进行标记时，除了标记各个障碍物的位置信息，可更改各个障碍物的RGB通道值，调高各个障碍物的饱和度，从而增强用户对各个障碍物的辨认。
若当前用户存在夜盲时，由于用户在光线昏暗环境下或夜晚视物不清或完全看不见东西，则在进行标记时，除了标记各个障碍物的位置信息，还需判断当前光线是否为昏暗坏境，若为昏暗环境则为用户突出显示所以有障碍物。
若当前用户存在立体视功能弱时，由于用户空间感知能力较弱，因此在进行标记时，除了标记各个障碍物的位置信息，还需对各个障碍物的空间位置进行突出标记。
在本实施例中，通过AR眼镜实时获取实时场景中同一时刻的左眼图像和右眼图像，并根据图像特征识别算法，从而识别各个障碍物的位置信息，以对实时场景中的各个障碍物进行标记，以为用户提供实时场景中各个障碍物的空间信息和坐标信息，实现实时视觉辅助。同时，由于基于AR眼镜设备对图像进行实时获取和处理，用户可实时佩戴所述AR眼镜进行日常活动，真正实现实时视觉辅助。
在本实施例中，通过根据障碍物与用户的远近对各个障碍物进行分类标记，通过不同标记方式，提高是辅助效果。
请参照图3，图3为本发明实施例提供的AR眼镜的一种图像处理装置结构示意图，包括：图像获取模块301、图像处理模块302和标记模块303；
所述图像获取模块301，用于获取实时场景图像，所述实时场景图像包括同一时刻的左眼图像和右眼图像；
所述图像处理模块302，用于所述根据图像特征识别算法定位所述实时场景图像中的所有障碍物，并识别各个障碍物的位置信息；所述位置信息至少包括坐标信息和空间信息；
所述标记模块303，用于根据所述位置信息实时标记所述实时场景图像中的各个障碍物，以实现视觉辅助。
在本实施例中，所述图像处理模块302，具体用于：
根据图像特征识别算法对所述左眼图像和所述右眼图像进行特征点提取；
根据所述左眼图像和所述右眼图像中的所有特征点定位所述左眼图像和所述右眼图像中的所有障碍物。
在本实施例中，所述图像处理模块302，还用于：
根据所述左眼图像和所述右眼图像的视差图，识别现实场景中各个障碍物的位置信息。
在本实施例中，所述图像处理模块302，还用于：
将所述左眼图像和右眼图像映射到同一坐标平面中，比对所述左眼图像和右眼图像的横坐标，生成视差图；
根据所述视差图获取所述左眼图像和所述右眼图像中各个障碍物的水平差值；
根据所述水平差值和第一深度算法计算各个障碍物的位置信息。
在本实施例中，所述标记模块303，具体用于：
根据所述位置信息获取各个障碍物与用户之间的距离值；
根据所述各个障碍物与用户之间的距离值的大小，分类标记所述实时场景图像中的各个障碍物。
请参照图4和图5，图4为本发明实施例提供的AR眼镜的一种结构示意图，图5为本发明实施例提供的AR眼镜的一种外观示意图。
在本实施例中，所述AR眼镜包括AR眼镜主机支架、图像采集模块、视觉辅助模块、图像传输模块和图像显示模块。
在本实施例中，所述AR眼镜主机支架至少包括镜框和两个镜腿，所述AR眼镜不受应用场景的限制，能够长期佩戴，实现实时视觉辅助。
在本实施例中，所述图像采集模块包括两个前置摄像头，所述摄像头分别设置在AR眼镜镜片的两侧，且所述摄像头对称设置，以获取实时场景图像。用于实时采集双眼观察外界的真实的场景图像，两个摄像头所捕捉到的图像和正常人双眼观察到的图像的情况是接近的，是因为两个摄像头居于不同的位置，有一定的视差，这种有视差的图像经过大脑处理会形成立体图像，才会让人有远近纵深的感知；若使用一个摄像头采集图像，则不会有立体纵深感。因此使用双摄像头进行采集图像是为了更好地体现正常人双眼观察物体时的情况。
在本实施例中，视觉增强模块用于接收图像采集模块传输过来的两张真实场景的图像，并标记上障碍物和远近信息。具体的，根据图像特征识别算法检测出障碍物在图像上的位置，这样做的目的是为了标记出障碍物(在图像上的坐标)和方便后续判断远近。具体方法是使用特征点提取，识别出障碍物，并标记出障碍物(车辆，行人等)的位置，如使用HOG特征提取算法(Hi stogram of Or iented Grad ient)。其次通过左右两张图像的视差，再判断出障碍物的远近：现实生活中，近物体的视差会比远物体的视差大。为了对比两张图的视差，首先将它们映射到同一平面坐标上，因为两张图像是存在水平上的差异，因此对已经标记上障碍物坐标的视差图的进行横向坐标的比对。例如对于相同的障碍物在同一坐标系下相差1个像素代表障碍物深度(远近)为a米，那么相差k个像素就代表距离a*k米。因此便可以输出左右两张标记有障碍物距离信息的图像。
在本实施例中，图像传输模块用于将视觉增强模块输出的两张图像传送至图像显示模块，以供图像显示模块进行显示。
在本实施例中，图像显示模块包括两个显示模块，所述显示模块可设置为镜片，且所述两个显示模块分别设置在AR眼镜主体支架的镜框上。所述图像显示模块用于接收来自图像传输模块传输的已标记的左眼图像和右眼图像，并将其显示在两个显示模块上。
在本实施例中，所述AR眼镜还包括视觉障碍确认模块，所述视觉障碍确认模块与客户端连接，所述客户端包括手机、平板等，用户可通过客户端在所述视觉障碍确认模块中选取视觉障碍功能，使得AR眼镜可根据用户的视觉障碍进行分类标记。
在本实施例中，若当前用户的视觉障碍为对比敏感度弱时，则此时用户难以分辨物体边界，则在进行标记时，除了标记各个障碍物的位置信息，还需对各个障碍物进行轮廓识别，并将将各个障碍物的轮廓进行突出显示，从而增强用户对物体边界的感知。
若当前用户的视觉障碍为色盲时，由于用户视锥不能把光的波长区分为特定的颜色，而是将其定义为大致相同的颜色。因此当用户存在色盲时，则在进行标记时，除了标记各个障碍物的位置信息，还需对各个障碍物中的颜色进行标记。
若当前用户的视觉障碍为色弱时，由于用户对颜色辨别能力较差，只在颜色比较饱和时才能看到颜色，则在进行标记时，除了标记各个障碍物的位置信息，可更改各个障碍物的RGB通道值，调高各个障碍物的饱和度，从而增强用户对各个障碍物的辨认。
若当前用户的视觉障碍为立体视功能弱时，由于用户空间感知能力较弱，因此在进行标记时，除了标记各个障碍物的位置信息，还需对各个障碍物的空间位置进行突出标记。
在本实施例中，所述AR眼镜的镜腿上还设置有第一按钮，所述第一按钮用于控制所述AR眼镜与普通眼镜进行转换，当所述第一按钮开启时，所述AR眼镜开启视觉辅助功能，可为用户提供障碍物标记，当所述第一按钮关闭时，所述AR眼镜则为普通眼镜，视觉辅助功能关闭。用户可根据自身需求开启第一按钮。
在本实施例中，通过AR眼镜实时获取实时场景中同一时刻的左眼图像和右眼图像，并根据图像特征识别算法，从而识别各个障碍物的位置信息，以对实时场景中的各个障碍物进行快速标记，并根据左眼图像和右眼图像的视差获取障碍物的位置信息，从而为用户提供实时场景中各个障碍物的空间信息和坐标信息。同时，由于基于AR眼镜设备对图像进行实时获取和处理，用户可实时佩戴所述AR眼镜进行日常活动，且在佩戴所真正实现实时视觉辅助。
在本实施例中，通过AR眼镜获取左眼观察的实时场景图像和右眼观察的实时场景图像，通过两个图像的视差对障碍物空间位置进行标记，从而提高障碍物位置准确信息。此外，通过根据用户的视觉障碍对不同的用户进行分类标记，提高了视觉辅助效果，使得视觉辅助与用户本身更加适配。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视觉辅助方法，其特征在于，包括：
基于AR眼镜获取实时场景图像，所述实时场景图像包括同一时刻的左眼图像和右眼图像；
根据图像特征识别算法定位所述实时场景图像中的所有障碍物，并识别各个障碍物的位置信息；所述位置信息至少包括坐标信息和空间信息；
根据所述位置信息实时标记所述实时场景图像中的各个障碍物，以实现视觉辅助。
2.如权利要求1所述的视觉辅助方法，其特征在于，所述根据图像特征识别算法定位所述实时场景图像中的所有障碍物，具体为：
根据图像特征识别算法对所述左眼图像和所述右眼图像进行特征点提取；
根据所述左眼图像和所述右眼图像中的所有特征点定位所述左眼图像和所述右眼图像中的所有障碍物。
3.如权利要求2所述的视觉辅助方法，其特征在于，所述识别各个障碍物的位置信息，具体为：
根据所述左眼图像和所述右眼图像的视差图，识别现实场景中各个障碍物的位置信息。
4.如权利要求3所述的视觉辅助方法，其特征在于，所述根据所述左眼图像和所述右眼图像的视差图，识别现实场景中各个障碍物的位置信息，具体为：
将所述左眼图像和右眼图像映射到同一坐标平面中，比对所述左眼图像和右眼图像的横坐标，生成视差图；
根据所述视差图获取所述左眼图像和所述右眼图像中各个障碍物的水平差值；
根据所述水平差值和第一深度算法计算各个障碍物的位置信息。
5.如权利要求1所述的视觉辅助方法，其特征在于，所述根据所述位置信息实时标记所述实时场景图像中的各个障碍物，具体为：
根据所述位置信息获取各个障碍物与用户之间的距离值；
根据所述各个障碍物与用户之间的距离值的大小，分类标记所述实时场景图像中的各个障碍物。
6.一种AR眼镜，其特征在于，包括：图像获取模块、图像处理模块和标记模块；
所述图像获取模块，用于获取实时场景图像，所述实时场景图像包括同一时刻的左眼图像和右眼图像；
所述图像处理模块，用于所述根据图像特征识别算法定位所述实时场景图像中的所有障碍物，并识别各个障碍物的位置信息；所述位置信息至少包括坐标信息和空间信息；
所述标记模块，用于根据所述位置信息实时标记所述实时场景图像中的各个障碍物，以实现视觉辅助。
7.如权利要求6所述的AR眼镜，其特征在于，所述图像处理模块，具体用于：
根据图像特征识别算法对所述左眼图像和所述右眼图像进行特征点提取；
根据所述左眼图像和所述右眼图像中的所有特征点定位所述左眼图像和所述右眼图像中的所有障碍物。
8.如权利要求7所述的AR眼镜，其特征在于，所述图像处理模块，还用于：
根据所述左眼图像和所述右眼图像的视差图，识别现实场景中各个障碍物的位置信息。
9.如权利要求8所述的AR眼镜，其特征在于，所述图像处理模块，还用于：
将所述左眼图像和右眼图像映射到同一坐标平面中，比对所述左眼图像和右眼图像的横坐标，生成视差图；
根据所述视差图获取所述左眼图像和所述右眼图像中各个障碍物的水平差值；
根据所述水平差值和第一深度算法计算各个障碍物的位置信息。
10.如权利要求6所述的AR眼镜，其特征在于，所述标记模块，具体用于：
根据所述位置信息获取各个障碍物与用户之间的距离值；
根据所述各个障碍物与用户之间的距离值的大小，分类标记所述实时场景图像中的各个障碍物。
CN202310525392.2A 2023-05-10 2023-05-10 一种视觉辅助方法及ar眼镜 Pending CN116560089A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310525392.2A CN116560089A (zh) 2023-05-10 2023-05-10 一种视觉辅助方法及ar眼镜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310525392.2A CN116560089A (zh) 2023-05-10 2023-05-10 一种视觉辅助方法及ar眼镜

Publications (1)

Publication Number Publication Date
CN116560089A true CN116560089A (zh) 2023-08-08

Family

ID=87499625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310525392.2A Pending CN116560089A (zh) 2023-05-10 2023-05-10 一种视觉辅助方法及ar眼镜

Country Status (1)

Country Link
CN (1) CN116560089A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146778A (ja) * 2004-11-24 2006-06-08 Konica Minolta Photo Imaging Inc ヘッドマウントディスプレイ装置
CN109730910A (zh) * 2018-11-30 2019-05-10 深圳市智瞻科技有限公司 出行的视觉辅助系统及其辅助设备、方法、可读存储介质
CN110539638A (zh) * 2018-05-30 2019-12-06 深圳疆程技术有限公司 一种交通设备辅助驾驶的方法及装置
CN113325844A (zh) * 2021-05-27 2021-08-31 天津迦自机器人科技有限公司 一种辅助自主定位导航ar教学演示的障碍物位置识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146778A (ja) * 2004-11-24 2006-06-08 Konica Minolta Photo Imaging Inc ヘッドマウントディスプレイ装置
CN110539638A (zh) * 2018-05-30 2019-12-06 深圳疆程技术有限公司 一种交通设备辅助驾驶的方法及装置
CN109730910A (zh) * 2018-11-30 2019-05-10 深圳市智瞻科技有限公司 出行的视觉辅助系统及其辅助设备、方法、可读存储介质
CN113325844A (zh) * 2021-05-27 2021-08-31 天津迦自机器人科技有限公司 一种辅助自主定位导航ar教学演示的障碍物位置识别方法

Similar Documents

Publication Publication Date Title
CN106022304B (zh) 一种基于双目相机的实时人体坐姿情况检测方法
US7825948B2 (en) 3D video conferencing
US9305206B2 (en) Method for enhancing depth maps
CN102812416B (zh) 指示输入装置、指示输入方法、程序、记录介质以及集成电路
EP3651457B1 (en) Pupillary distance measurement method, wearable eye equipment and storage medium
JP2008535116A (ja) ３次元レンダリング用の方法及び装置
CN109035307B (zh) 基于自然光双目视觉的设定区域目标追踪方法及系统
CN105913013A (zh) 双目视觉人脸识别算法
WO2018173314A1 (ja) 顔認識装置
EP3813019A1 (en) Method and system for estimating the geometry of a scene
CN112257641A (zh) 一种人脸识别活体检测方法
JP2018156408A (ja) 画像認識撮像装置
WO2019119372A1 (zh) 显示方法、装置、电子设备和计算机程序产品
CN110909571B (zh) 一种高精度面部识别空间定位方法
CN106991376A (zh) 结合深度信息的侧脸验证方法及装置与电子装置
CN102708586A (zh) 从3d范围图像进行基于绘制的界标定位
CN112801038A (zh) 一种多视点的人脸活体检测方法及系统
KR20220045862A (ko) 동적 크로스토크를 측정하는 방법 및 장치
CN106131448A (zh) 可自动调节成像亮度的三维立体视觉系统
CN116560089A (zh) 一种视觉辅助方法及ar眼镜
CN114390267A (zh) 立体图像数据合成方法、装置、电子设备及存储介质
CN113676721A (zh) 一种ar眼镜的图像获取方法及系统
Paletta et al. An integrated system for 3D gaze recovery and semantic analysis of human attention
CN105357508A (zh) 多视点裸眼立体视窗检查方法与系统
Hamid et al. Realtime object detection and recognition device for blind and partially blind People (NanoEye)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination