CN108519676A - 一种头戴式助视装置 - Google Patents

一种头戴式助视装置 Download PDF

Info

Publication number
CN108519676A
CN108519676A CN201810311520.2A CN201810311520A CN108519676A CN 108519676 A CN108519676 A CN 108519676A CN 201810311520 A CN201810311520 A CN 201810311520A CN 108519676 A CN108519676 A CN 108519676A
Authority
CN
China
Prior art keywords
image
wear
view apparatus
user
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810311520.2A
Other languages
English (en)
Other versions
CN108519676B (zh
Inventor
李响
陈铭
黄怡皓
黄焕群
张华江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Rejoin Tech Co Ltd
Original Assignee
Hangzhou Rejoin Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Rejoin Tech Co Ltd filed Critical Hangzhou Rejoin Tech Co Ltd
Priority to CN201810311520.2A priority Critical patent/CN108519676B/zh
Priority to PCT/CN2018/084024 priority patent/WO2019196133A1/zh
Publication of CN108519676A publication Critical patent/CN108519676A/zh
Application granted granted Critical
Publication of CN108519676B publication Critical patent/CN108519676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种头戴式助视装置，包括：图像采集模块，用于通过头戴结构中的前置摄像头实时采集视频图像；输入模块，用于接收用户输入的指令；图像处理模块，用于根据用户输入的指令或者预设模式对采集的视频图像进行图像增强处理，所述图像增强处理包括物体轮廓加强、画面缩放、对比度调整和颜色调整中的一种或多种；图像显示模块，用于将图像增强处理后的视频图像显示到位于双眼前方的半透视显示屏中。本发明将采集的实时视频图像以半透视的方式与现实画面叠加，方便了用户在行进过程中使用；并且本发明可以根据用户指令或者预设模式对于不同视障用户提供对应的图像增强处理操作，以实现相关视力辅助和加强。

Description

一种头戴式助视装置
技术领域
本发明涉及助视器技术领域，尤其涉及头戴式助视装置。
背景技术
目前，老年人、视障用户人群总数已占我国人口总数的20％左右，并且以一定幅度缓慢上升，在通过各类举措来解决这一基数的同时，视障人群不可避免的会使用到一些视障辅具。助视器是低视力患者扩展视觉的最佳辅助产品，对于每一位低视力患者，或多或少都会接触到这些助视器，而助视器又分为光学助视器和电子助视器。电子助视器产品指利用摄像获得影像，经数码处理给予放大，如口袋式(便携)电子助视器以及固定在桌面上的闭路电视助视器或者连接在笔记本电脑上的专用摄像头，放大倍率可达到2倍至100倍以上。
然而，目前的电子助视器不便于用户在行进过程中进行观看，并且一般只是简单的图像放大功能，不具有针对视障人员的特殊需求进行处理。
发明内容
本发明要解决的技术问题在于，针对现有技术中的以上一个或多个缺陷，提供一种头戴式助视装置。
为了解决上述技术问题，本发明提供了一种头戴式助视装置，包括：
图像采集模块，用于通过头戴结构中的前置摄像头实时采集视频图像；
输入模块，用于接收用户输入的指令；
图像处理模块，用于根据用户输入的指令或者预设模式对采集的视频图像进行图像增强处理，所述图像增强处理包括物体轮廓加强、画面缩放、对比度调整和颜色调整中的一种或多种；
图像显示模块，用于将图像增强处理后的视频图像显示到位于双眼前方的半透视显示屏中。
在根据本发明所述的头戴式助视装置中，优选地，所述图像处理模块通过以下方式对采集的视频图像进行物体轮廓加强：根据用户输入的指令或者预设模式调整索贝尔算子的矩阵数值，并通过该调整后的索贝尔算子对视频的每帧图片进行边缘强化计算。
在根据本发明所述的头戴式助视装置中，优选地，所述头戴式助视装置还包括导航模块，用于根据用户输入的目的地或者目标物名称，对采集的视频图像进行分析，识别目的地或者目标物的位置，并通过轮廓加强、虚拟形象、文字标示和/或立体语音的方式进行提示。
在根据本发明所述的头戴式助视装置中，优选地，所述导航模块包括虚拟导航单元，用于根据场景生成虚拟形象的连贯动画实时投射在所述半透视显示屏上。
在根据本发明所述的头戴式助视装置中，优选地，所述虚拟导航单元在识别当前的视频图像为上下楼梯场景时，利用安装在头戴式助视装置中的三轴加速度传感器的水平朝前方向的加速度，积分得到使用者位移与时间运动曲线，使用垂直方向的加速度记录用户的步频；
通过步频以及使用者位移与时间运动曲线，生成虚拟的按照相同频率和速度行走的楼梯的动画，叠加在视频图像中对应楼梯位置。
在根据本发明所述的头戴式助视装置中，优选地，所述导航模块包括立体语音播放单元，用于根据视频图像获取目的地或者目标物的位置，通过立体声场技术播放目的地或者目标物的提示音形成不同角度方向的声源提醒。
在根据本发明所述的头戴式助视装置中，优选地，所述立体语音播放单元至少包括位于左90°声源位置、左45°声源位置、右90°声源位置和右45°声源位置的四个喇叭，以进行声场组合形成播放角度基准值d分别为0°、±45°、±67.5°和±90°的声源方向；
所述立体语音播放单元将以用户为原点获取的目的地或者目标物的距离以及角度信息记为Bn(L,D)，其中L表示目的地或者目标物的距离，D表示目的地或者目标物的角度，并按照从近到远依次存入各个目的地或者目标物的位置信息B[]＝{B1{L1,D1}、B2{L2,D2}、….}；所述声音播放模块提取B[].D参数，并对比该参数与播放角度基准值d，取B[].D-d为最小值时的播放角度基准值，控制对应喇叭进行声场组合形成声源方向。
在根据本发明所述的头戴式助视装置中，优选地，所述立体语音播放单元在播放提示音时，还用于提取B[].L参数，并对比该参数与预设的距离区间；根据该参数所处的距离区间调取对应的音效配合立体声场技术播放提示音。
在根据本发明所述的头戴式助视装置中，优选地，所述导航模块包括记忆导航单元，用于通过预先拍摄的图像识别并记录目标物的历史位置，并在对实时视频图像进行识别时在实时视频图像上将目标物的历史位置对应的区域以轮廓加强的方式标记出来。
在根据本发明所述的头戴式助视装置中，优选地，所述导航模块包括布局导航单元，用于实时读取视频图像中的每帧图像，识别并提取图像特征，并结合预先获取的综合体或室内建筑布局图标示出目标建筑或者店面或者窗口的方向、预计距离和/或行走时间。
在根据本发明所述的头戴式助视装置中，优选地，所述图像处理模块还用于将预先拍摄的文字图片透射至半透视显示屏上，或者识别预先拍摄的文字图片中的文字转化为可编辑文本并叠加在实时采集的视频图像的文字区域。
在根据本发明所述的头戴式助视装置中，优选地，所述头戴式助视装置还包括眼动追踪模块，用于识别用户聚焦观察位置，并提供给图像处理模块作为图像增强处理的目标区域。
在根据本发明所述的头戴式助视装置中，优选地，所述头戴式助视装置还包括语音阅读模块，用于通过语音阅读功能阅读目标区域的文字，其中目标区域的文字的起始点和速度根据用户聚焦观察位置及变化进行控制。
在根据本发明所述的头戴式助视装置中，优选地，所述眼动追踪模块包括位于眼球正中的摄像头，以及位于人脸前方的投影系统，所述投影系统用于在不干扰视觉区域上向瞳孔正中投射矩形形状投影；所述眼动追踪模块通过瞳孔面积形变来计算眼球焦点位置，具体为：
预先通过所述摄像头拍摄当前用户眼球朝前方的正视眼位图像；
在需要识别用户聚焦观察位置时，拍摄实时采集的当前用户的眼位图像，并结合所述正视眼位图像计算当前用户的眼位图像中眼球表面光斑的偏移角度向量，并计算眼球映射在屏幕上的移动距离和移动角度。
在根据本发明所述的头戴式助视装置中，优选地，所述计算眼球映射在屏幕上的移动距离和移动角度的步骤包括：
将眼球表面光斑的偏移角度向量进行向量分解，拆分成在上下左右四个方向的投影值；
按照人体眼球直径参数，根据眼球映射实际距离计算公式将四个角度的投影值转换为眼表变化的距离；
根据眼表变化的距离计算模拟屏幕上对应的移动距离：
利用平面下勾股函数计算得到眼球运动时对应屏幕上注视点移动的距离，以及屏幕上对应眼球运动的移动角度。
在根据本发明所述的头戴式助视装置中，优选地，所述头戴式助视装置还包括距离报警模块，用于通过双摄像头的位置景深的相对算法检测前方物体距离，并在前方物体距离低于预设阈值时进行报警。
在根据本发明所述的头戴式助视装置中，优选地，所述头戴式助视装置还包括人脸识别模块，用于对采集的视频图像中的人脸进行识别，在与预存人脸照片匹配时获取该人脸提示信息进行播报。
实施本发明的头戴式助视装置，具有以下有益效果：本发明采用头戴式结构与半透射显示屏结合，从而将采集的实时视频图像以半透视的方式与现实画面叠加，方便了用户在行进过程中使用；并且本发明可以根据用户指令或者预设模式对于不同视障用户提供对应的图像增强处理操作，以实现相关视力辅助和加强，对于一些视力损伤和病变的病人起到改善基本生活视力的作用。
附图说明
图1为根据本发明第一实施例的头戴式助视装置的模块框图；
图2为根据本发明第二实施例的头戴式助视装置的模块框图；
图3为根据本发明第三实施例的头戴式助视装置的模块框图；
图4为根据本发明第四实施例的头戴式助视装置的模块框图；
图5为根据本发明的头戴式助视装置中立体声场技术的硬件布局图；
图6为根据本发明第五实施例的头戴式助视装置的模块框图；
图7为根据本发明第六实施例的头戴式助视装置的模块框图；
图8为根据本发明第九实施例的头戴式助视装置的模块框图；
图9为根据本发明的头戴式助视装置中眼动追踪模块的硬件布局示意图；
图10为根据本发明的头戴式助视装置拍摄的正视眼位图像的投影形变分析图；
图11为根据本发明的头戴式助视装置实时拍摄的当前用户眼位图像的投影形变分析图；
图12为眼表变化距离与屏幕移动距离的对应关系图；
图13为根据本发明第十实施例的头戴式助视装置的模块框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，为根据本发明第一实施例的头戴式助视装置的模块框图。如图1所示，本发明第一实施例的头戴式助视装置至少包括：图像采集模块100、输入模块200、图像处理模块300和图像显示模块400。
其中，图像采集模块100用于通过头戴结构中的前置摄像头实时采集视频图像。本发明的头戴式助视装置可以采用各种本领域基础技术人员熟知并能应用的头戴结构。优选地，该头戴结构包括用于可拆卸固定于头部的头戴本体，以及安装在头戴本体上双眼正上方的前置摄像头，该前置摄像头朝向使用者的前方拍摄，采集的视频图像用来替代使用者正常行进时看到的前方图像。
输入模块200用于接收用户输入的指令。优选地，该输入模块200可以采用实体硬件按键、手势动作和语音命令等方式输入用户指令。
图像处理模块300与图像采集模块100和输入模块200连接，用于根据用户输入的指令或者预设模式对采集的视频图像进行图像增强处理。该图像增强处理包括但不限于物体轮廓加强、画面缩放、对比度调整和颜色调整中的一种或多种。例如，当用户在使用时通过语音命令输入物体轮廓加强的指令后，图像处理模块300对实时采集的视频图像进行物体轮廓加强的处理。在本发明的另一些实施例中，也可以根据用户的视障情况，预先设置对应的模式，再启动对应的图像增强处理。例如预设模式可以为视力衰退或老花眼模式，或者视网膜病变模式，或者色弱模式等，分别对应不同的图像增强处理。例如，一般性的视力衰退、老花眼等用户，表现上就是看不清楚，可以通过用户主观的控制或者系统自动根据用户所属的预设模式启动，实现画面缩放的图像增强处理功能，该画面缩放包括对需要观察的区域画面的放大，从而间接达到拉近物体的效果。其放大倍率可调。针对某些视网膜病变的用户，对某些颜色或者对比度感知有问题的，则可以通过用户主观控制或者预先设置为视网膜病变模式，再由图像处理模块300进行对应的图像增强处理，例如对比度调整和颜色调整，优选地，还可以进行亮度调整和物体轮廓调整。针对另外一些病变，造成看到的物体形状有变化的，可以通过用户主观控制或者预先设置为形变纠正模式，实现形变的纠正。通常本发明中主观输入指令进行图像增强处理的方式可以是无极连续变化，当用户满意时可以停止。
图像显示模块400与图像处理模块300连接，用于将图像增强处理后的视频图像显示到位于双眼前方的半透视显示屏中。
本发明一方面采用头戴式结构，将采集的实时视频图像以半透视的方式与现实画面叠加，方便了用户在行进过程中使用；并且可以根据用户指令或者预设模式对于不同视障用户提供对应的图像增强处理操作，以实现相关视力辅助和加强，以至于对于一些视力损伤和病变的病人起到改善基本生活视力的作用。
本发明的图像处理模块300实时读取前置摄像头获取的图像，对每帧图像进行数据分析，利用索贝尔算子对图像进行边缘强化计算，运算图像亮度函数的灰度近似值，根据像素点上下左右邻点的灰度加权差，在边缘处达到极值时检测边缘。
用于轮廓加强的算法有边缘索贝尔算法，通过离散的一阶差分索贝尔算子检测图像的水平边缘和垂直边缘，计算图像亮度函数的一阶梯度之近似值，从而得到边缘图像。
其中X方向的索贝尔算子为：
计算像素的横向灰度值为：
其中Y方向的索贝尔算子为：
计算像素的纵向灰度值为：
将每一个像素的横向以及纵向灰度值结合计算该点灰度大小：
为了降低计算量，方便实现，会将上述公式替换为：
G＝|G＇x|+|G＇y|，然后针对G做[0,255]的归一化处理，得到的结果用来替换灰度值；
本专利的特点在于优化处理图像的过程，采用特有的调整索贝尔算子内的横向和纵向矩阵参数方法，修改其横向以及纵向的亮度差分近似值。
根据视力病症的对比度特殊要求，对图像进行细化处理和噪声信号处理，降低边缘模糊程度，利用修正后的卷积函数快速提取边缘信息，阈值化进行图片特征的处理，将轮廓细节描绘更为清晰，减少图片内信息的丢失，结合增强现实投影方法，可以实时的在视力病症的患者眼前区域进行映射周围包括物体、人物等环境的轮廓细节，达到针对视力病症患者的环境可视化效果。
例如，根据视力病症的如黄斑性病变、白内障等视觉障碍的特征点，设定调整轮廓的索贝尔算子矩阵数值以适应不同人群。
因此，图像处理模块300通过以下方式对采集的视频图像进行物体轮廓加强：根据用户输入的指令或者预设模式调整索贝尔算子的矩阵数值，并通过该调整后的索贝尔算子对视频的每帧图片进行边缘强化计算。其中图像处理模块300所使用的X方向的调整后的索贝尔算子为：
调整后的X方向的索贝尔算子为：
通过调整后的X方向的索贝尔算子计算像素的横向灰度值：
调整后的Y方向的索贝尔算子为：
通过调整后的Y方向的索贝尔算子计算像素的纵向灰度值
通过以下公式结合每一个像素的横向以及纵向灰度值计算图像中该点灰度大小：
为了降低计算量，方便实现，会将公式替换为：
G＝|G＇x|+|G＇y|，然后针对G做[0,255]的归一化处理，得到的结果用来替换灰度值；
上述公式中A为原始图像，n和m为根据用户输入的指令或者预设模式确定的索贝尔算子的矩阵数值，将矩阵的锚点放在该特定位置的像素上，同时，矩阵内的其他值与该像素邻域的各像素重合；首先将矩阵内各值与相应像素值相乘，并将乘积相加；而后将所得结果放到与锚点对应的像素上；对图像所有像素重复上述过程，即可得到边缘效果图像本发明可以根据不同视障情况设置n和m的数值，从而可以通过界面交互方式自定义修改满足各病症的轮廓加强程度需求。
其中针对黄斑性病变，出现中心区域视野受损，中部实例缺失区域向外辐射，调整n取值区间为[-1,3]，m取值区间为[-2,1]，增强中心缺损区域周围的轮廓对比效果；
其中针对二级盲视力障碍患者，整体视觉存在光感但视物模糊，调整n取值区间为[2,4]，m取值区间为[-2,2]，调整区间内数值增强轮廓曲线；
其中针对糖尿病性视网膜病变，视力范围内出现局部区域不可视化状态，n取值区间[1,3]，m取值区间[2,4]，调整区间数值最大化减小病变区域周围的模糊遮盖。
其中针对其他病症，可通过修改n，m数值进行轮廓增强描绘。
更优选地，本发明利用双边滤波器对图像进行区域平滑和边缘锐化处理，平坦化处理色彩过渡区域，在滤波器处理的基础上增加相似权重，调整各像素点周围色彩的相似度，而后通过图像插值法或将图片转为HSI色彩空间的方式，调整图片的色彩饱和度来增强视觉感受，通过边缘轮廓索贝尔算法与色彩饱和度调整算法获得轮廓模式加强效果。
请参阅图2，为根据本发明第二实施例的头戴式助视装置的模块框图。如图2所示，本发明第二实施例的头戴式助视装置与第一实施例基本相同，区别在于：该头戴式助视装置还包括导航模块500，用于根据用户输入的目的地或者目标物名称，对采集的视频图像进行分析，识别目的地或者目标物的位置，并通过轮廓加强、虚拟形象、文字标示和/或立体语音的方式进行提示。本发明可以基于现有的即时定位地图构建技术(SimultaneousLocalization and Mapping，即SLAM技术)包括单目结构光技术、双目结构光技术、双目摄像头立体视觉技术以及TOF技术，根据使用者目标物的位置信息或者深度信息三维图像，通过处理芯片对位置信息进行处理，分析得到眼前单一目标物或者多目标物的位置信息，包括距离以及角度信息。
请参阅图3，为根据本发明第三实施例的头戴式助视装置的模块框图。如图3所示，本发明第三实施例的头戴式助视装置与第二实施例基本相同，区别在于：导航模块500包括虚拟导航单元510，用于根据场景生成虚拟形象的连贯动画实时投射在半透视显示屏上，从而叠加到实时采集的视频图像上进行导航。本发明利用半透屏特性，实现实景结合虚拟引导指示，其中虚拟引导通过实际形象直接透射至屏幕上，该形象可通过用户主观选择更改形象，例如狗、引导小姐等。系统可接受用户通过手势、语音等交互输入需要的命令，系统根据事先获得或者即时获得的图片等，后台处理后通过虚拟形象的特有特性连贯动画实时投射在半透屏上，同时提供语音等信息补充和交互。例如，狗形象结合狗的特征动作等，实现导航。本发明叠加的虚拟形象和实景有真实的交互，比如，当走楼梯时，系统就会让虚拟形象例如狗或者引导小姐显示走楼梯的动作并且叠加在实时楼梯的位置上。这些特征让用户能够根据动作和透明环境安全而快速的知道当前路况。
优选地，虚拟导航单元510在识别当前的视频图像为上下楼梯场景时，根据九轴控制器以及视频中每帧图片的变化范围计算实时行走速度，其中应用九轴控制器内的三轴加速度传感器的水平朝前方向的加速度，积分得到使用者位移与时间运动曲线，使用垂直方向的加速度记录用户的步频，通过记录垂直方向的加速度，间隔的加速度峰值即为当前的步频，因为人体最快的跑步频率为5HZ，相邻两步的时间间隔的至少大于0.2秒，设置有效频率参数在记步过程中过滤高频噪声。同时通过和上次加速度大小进行比较，设置在一定的阀值来判断运动是否属于有效，实时计算使用者运动的步数，人平均步长设定为0.6m/步。
通过步频以及位移情况，生成虚拟的按照相同频率和速度行走的楼梯的动画，叠加在视频图像中对应楼梯位置。
请参阅图4，为根据本发明第四实施例的头戴式助视装置的模块框图。如图4所示，本发明第四实施例的头戴式助视装置与第二实施例基本相同，区别在于：导航模块500包括立体语音播放单元520，用于根据外部的视频获取目的地或者目标物的角度，通过立体声场技术播放目的地或者目标物的提示音形成不同角度方向的声源提醒。本发明采用SLAM技术结合立体声场技术来进行使用者眼前目标物的角度和距离判断和提醒，实现用户正面半球180°声场声音位置模拟。
请参阅图5，为根据本发明的头戴式助视装置中立体声场技术的硬件布局图。如图5所示，本发明的立体语音播放单元520的立体声场技术结合四方向喇叭阵列，包括位于左90°声源位置的第一喇叭501、位于左45°声源位置的第二喇叭502、位于右90°声源位置的第三喇叭503和位于右45°声源位置的第四喇叭504。图5中标号505为使用者，以该使用者为原点，双眼正前方为0°。这些喇叭通过单个或者两个组合后可以得到0°、±45°、±67.5°和±90°的声源方向。例如，第二喇叭502和第四喇叭504组合映射0°声源，第一喇叭501和第四喇叭504组合映射-67.5°声源，第二喇叭502和第三喇叭503组合映射67.5°声源。因此，对应的播放角度基准值d为0°、±45°、±67.5°和±90°。
立体语音播放单元520将以用户为原点获取的目的地或者目标物的距离以及角度信息记为Bn(L,D)，其中L表示目的地或者目标物的距离，距离的计算通过上述所采用的SLAM算法，包括单目结构光技术、双目结构光技术、双目摄像头立体视觉技术以及TOF技术等在内的距离监测技术，获得根据使用者与目标物的位置信息或者深度信息三维图像。其中D表示目的地或者目标物的角度。并按照从近到远依次存入各个目的地或者目标物的位置信息B[]＝{B1{L1,D1}、B2{L2,D2}、….}。声音播放模块510根据预设模式或者用户指令提取B[].D参数，并对比该参数与播放角度基准值d，取B[].D-d为最小值时的播放角度基准值，控制对应喇叭进行声场组合形成声源方向。例如取B[0]为首要处理点，提取B[0].D参数，并对比该参数与播放角度基准值d，设B[0].D最接近+45°，则此时B[0].D-d的取值最小，就控制第四喇叭504发声形成声源方向为+45°。假设B[0].D最接近+67.5°，则控制第二喇叭502和第三喇叭503组合发声。因此，本发明设定将目标物或目的地的角度与播放角度基准值对比，通过声场控制芯片，选择响应喇叭进行声场组合，通过该方式引导使用者在大脑中形成声源方向。
更优选地，该立体语音播放单元520在播放提示音时，还用于提取B[].L参数，并对比该参数与预设的距离区间，根据该参数所处的距离区间调取对应的音效配合立体声场技术播放提示音。例如，提醒程序内设定三种音效，音效集合为M[]＝{M1,M2,M3}，如果要提醒的目标物与使用者距离2米以外，取M1配合声源角度信息做为提醒，目标物与使用者距离1m～2m时，取M2配合声源角度信息作为提醒；目标物与使用者距离0.5m～1m时，取M3配合声源角度信息作为提醒。以此来判断物体远近籍以提示使用者。
请参阅图6，为根据本发明第五实施例的头戴式助视装置的模块框图。如图6所示，本发明第五实施例的头戴式助视装置与第二实施例基本相同，区别在于：导航模块500包括记忆导航单元530，用于通过预先拍摄的图像识别并记录目标物的历史位置，并在对实时视频图像进行识别时在实时视频图像上将目标物的历史位置对应的区域以轮廓加强的方式标记出来。
本发明中，将预先拍摄的图像作为基础图像记忆，用户可以进行图像识别并记忆后，系统记录本张标记图像场景和相关目标物的坐标位置范围后，在获取新的图像时，通过连续帧和记录场景照片比对，一旦确认某一帧出现标记图像场景，则将原有确定坐标范围通过高亮等手段框出，从而提示之前该场景中的元素的空间位置。例如，某低视力人士购买新的生活用具，在不熟悉用具的摆放位置下，选定位置，提前获取该生活用具的照片，下次再重复放置或者找寻用具时，可以选择通过轮廓加强的方式对目标物的历史位置对应的区域进行标记。例如，对于家中摆放的花瓶而言，有两种方式可以辅助使用者找到该花瓶：第一种是系统实时拍摄到的画面中通过人工智能读图看到了花瓶，则标记出来；第二种是通过该记忆导航单元530，即通过预制记忆的位置，直接轮廓出来，与第一种的区别在于系统不会判断是不会真有，只会标记出来。例如家中新买来花瓶摆放好了之后，可以拍摄一副家中图片，识别并记录该花瓶的历史位置。当使用者再次进入该场景时，头戴式助视装置可以不用重新识别就能通过轮廓加强标出该花瓶所在位置。本发明也适用于家中有多个形状类似的花瓶时，通过实时图像识别可能会识别出多个花瓶轮廓，因而没法确定想要找的花瓶的具体位置。当使用本发明之后，就可以预先拍摄并记录一号花瓶的位置，在寻找时直接进行标注即可，无需再进行识别。除了轮廓加强之外，本发明还可以采用语音位置提示，虚拟形象等方式提示方式。
请参阅图7，为根据本发明第六实施例的头戴式助视装置的模块框图。如图7所示，本发明第六实施例的头戴式助视装置与第二实施例基本相同，区别在于：导航模块500包括布局导航单元540，用于实时读取视频图像中的每帧图像，识别并提取图像特征，并结合预先获取的综合体或室内建筑布局图标示出目标建筑或者店面或者窗口的方向、预计距离和/或行走时间。本发明可以对现实场景的画面采集和数据处理后，对于场景和内容进行数字化记忆，在下次进到此场景时，启动布局导航功能，利用综合体或室内建筑布局图，通过局部数据比对后预测提示其他剩余场景信息，并通过交互方式有选择的提示。
具体地，布局导航单元540可以通过预先安装或者网络下载或者终端导入的方式来预先获取综合体或室内建筑布局图，当使用者进入综合体或者室内的公共场所时，设备可以通过摄像头识别场景来启动该布局图或者手动通过语音命令或者输入控制来启动对应的布局图的方式来打开导航功能软件，软件界面通过增强现实AR形态叠加在真实场景内，使用者可以通过语音交互或者手动输入或者移动端传输或者手势识别等交互方式来获取目的地进行导航。
导航过程中，布局导航单元540通过头戴本体上安装的六轴传感器模块记录行进的方向以及距离，距离计算方式为处理器记录按当前行走方向移动时所花时间，依据人正常行走速度与时间的乘积确定初步距离，进一步通过摄像头实时获取场景内的店面或者窗口或者指引牌的文字和图片信息，利用OCR技术实时提取文字以及图片识别技术分析场景和物体，通过文字识别与室内布局图内各标志点相对应来纠正前进的距离和方向，实时更新当前位置信息，通过比对当前位置信息和朝向来与目的地进行比对，可以通过语音反馈或者显示屏上悬停文字以及图片方式或者虚拟形象引导方式叠加与AR投影显示上，或者立体声场技术指引前进方向或者设备震动引导方向或者其他外部设备引导方式来引导使用者前往目的地。
规定导航过程中实时更新目的地路线，规定偏离路线时，导航自动调整行进线路并提示用户线路更新，规定导航过程中可以通过操作随时中断或者更换目的地导航。
例如，某低视力人士佩戴本发明的头戴式助视装置去到市民中心办事，可以事先获取室内建筑布局图，即该办事大厅正视图或平面布局图，当实际到达办事大厅后，系统对比实时拍摄的办事大厅图片与预先存储的办事大厅拍摄图片为同等图片后，可以提示办事大厅布局。当该低视力人士通过交互输入目的窗口时，则有选择通过轮廓加强、空间语音、虚拟形象等方式提示该目的窗口的位置。
本发明还提供了第七实施例的头戴式助视装置，其与第二实施例基本相同，区别在于：导航模块500包括上述虚拟导航单元510、立体语音播放单元520、记忆导航单元530和布局导航单元540中的一个或多个。
本发明还提供了第八实施例的头戴式助视装置，其与第一实施例基本相同，区别在于：图像处理模块300还用于将预先拍摄的文字图片透射至半透视显示屏上，或者识别预先拍摄的文字图片中的文字并叠加在实时采集的视频图像的文字区域。
由此可见，本发明对于文字部分的处理有两种实现形式，分别是：方式一，预先拍摄文字图片，作为图片透射到显示屏上；方式二，预先拍摄文字图片后，通过ocr技术将文字转化为可编辑文本，之后再通过系统将文字区域叠加在实时视频，合成一路视频投射至显示屏上。
其中方式一的实现过程如下：
首先，用户主观拍摄带有文字的照片，随后将照片直接投射至显示屏上。进一步的，用户可以通过交互，包括眼睛、手势、声音、头部动作和手柄等实现该图片的放大、观察范围移动、变色等，核心目的是要用户主观上更加方便和清楚的实现阅读这一目的。进一步的，用户可以通过交互将该图片通过tts(文本转语音)功能将其中的文字识别后通过原生文字种类朗读出来。进一步的，用户可以交互选择是否要将将朗读出来的文字翻译成需要的目标语言，目标语言可以在系统中设置。
方式二的实现过程如下：
首先，用户将ocr需求交互于系统，交互手段包括手势、语音，手柄盒控制等；随后系统实时将目前摄像头拍摄的视频按照帧来处理，每一帧照片分析其中的文字信息，并进相关的文字进行ocr处理；系统再将获得的文本信息根据当前的帧的图像上的文字范围进行投射，一般是漂浮在文字上方。进一步，漂浮的位置可以用户自行在系统里设置。进一步，用户可以根据自己的需求提出朗读或者翻译的需求，交互方式包括眼睛，声音，手势动作以及手柄盒子等。
请参阅图8，为根据本发明第九实施例的头戴式助视装置的模块框图。如图8所示，本发明第九实施例的头戴式助视装置与第二实施例基本相同，区别在于：头戴式助视装置还包括眼动追踪模块600，用于识别用户聚焦观察位置，并提供给图像处理模块300作为图像增强处理的目标区域。
目前，眼动追踪技术通常是通过内置摄像头来检测眼球焦点。而本发明提供了一种新的通过瞳孔面积形变来获取用户聚焦观察位置的方法。请参阅图9，为根据本发明的头戴式助视装置中眼动追踪模块的硬件布局示意图。如图9所示，眼动追踪模块600包括位于眼球603正中的摄像头601，以及位于人脸前方的投影系统602。其中投影系统602用于在不干扰视觉区域上向瞳孔正中投射矩形形状投影。图9为604为眼球的角膜。本发明中眼动追踪模块600通过瞳孔面积形变来进行计算，大致原理如下：
首先，基于人眼眼球弧度一般都大致相同，范围在8.3至8.9之间，则根据标记形状在眼球表面上面的形变推算出来的中心焦点推算，是有普适性和数学意义的。
在头戴结构内部朝人脸方向左右各在眼球正中放置摄像头，并在显示屏上不干扰视觉区域上投射一个矩形形状，此时摄像头拍摄眼位图像，图像中瞳孔正中会有一个标准矩形投射。
预先通过所述摄像头拍摄当前用户眼球朝前方的正视眼位图像，如图10所示
在需要识别用户聚焦观察位置时，拍摄实时采集的当前用户的眼位图像，如图11所示，并执行以下计算：
1、首先根据光斑的形变获得眼球的偏移角度向量：
摄像头采集图像根据一定的分辨率输出，相机位置以及矩形光阵投影位置固定，故在条件不变的情况下，考虑以图片像素位置距离作为比例数据计算实际距离。具体地，以正视眼位图像为基准，通过二值处理方式获得正视眼位图像中矩形顶点对应在眼球表面光斑最远处的像素坐标值，例如M(xM,yM)，默认图像正中心为原点位置O(x0,y0)，可以得到OM的距离为：
其中x0为图像横向大小的1/2，y0为图像纵向大小的1/2；
记图像内像素与眼球的运动距离的比值为K，则OM映射至眼球的运动距离为：
根据圆锥形角度计算方式，可以得到正中位置角度：
其中LCO为眼球距离摄像机的距离；
上述同样方法计算得到实时采集的用户眼位图像中眼球表面光斑最远处偏移的角度。以眼球向右转动为例，角膜凸点向右偏离，摄像头采集位置以及矩形光阵位置和角度不变，观测到的图像如图11所示，矩形光阵发生右边缘拉伸变形，右边顶角位置发生外部偏移，处理器得到变化后的眼球表面光斑最远处的像素坐标值M'(x'M,y'M)，在系数K不变情况下，采用上述同样方法计算得到极值眼位图像中眼球表面光斑最远处偏移的角度：
其中LOM'为OM'映射至眼球的运动距离；
计算眼球的偏移角度向量：
Δε＝θ'-θ；
2、将上述偏移角度向量进行向量分解，拆分成在上下左右四个方向的投影值作为各方向摆动角度：Δε右、Δε左、Δε上和Δε下；比较左右方向摆动的角度值，根据左右某一移动量大的方向取其为移动方向，根据|Δε左-Δε右|的大小得到左右方向的移动角度值；比较上下方向摆动的角度值，根据上下某一移动量大的方向取其为移动方向，根据|Δε上-Δε下|的大小得到上下方向的移动角度值。以此，判断具体移动的方位，然后根据平面下角度移动计算公式：得到移动角度的数值。
3、按照人体眼球直径参数，根据眼球映射实际距离计算公式将四个角度的投影值转换为眼表变化的距离；
由于人眼球直径大小约为24mm，就可以通过以下眼球映射实际距离计算公式计算出四个方向上眼表变化的距离：
ΔD左＝Δε左/2π×0.12MM；
ΔD右＝Δε右/2π×0.12MM；
ΔD上＝Δε上/2π×0.12MM
ΔD下＝Δε下/2π×0.12MM；
4、然后根据眼表变化的距离通过以下公式计算模拟屏幕上对应的移动距离：ΔD’＝ΔD/L1×L2；
参见图12，其中L1为眼球到摄像头601的距离；
其中L2为模拟屏幕与摄像头601的距离，为预设值。
通过上述方法获得了眼球在左视、右视、上视和下视四个方向上对应在模拟屏幕上移动的距离ΔD'左、ΔD'右、ΔD'上和ΔD'下；
5、利用平面下勾股函数进行计算，进而得到眼球运动时对应屏幕上注视点移动的距离为：
屏幕上对应眼球运动的移动角度为：
从而以上述注视点移动的距离和屏幕上对应眼球运动的移动角度得出用户注视在屏幕上的实际位置。
在本发明的一个实施例中，以上述根据M点计算的和作为最终的用户现注视在屏幕上的实际位置。
在本发明的另一些优选实施例中，由于单点的移动无法保证其方向移动和位置移动的准确性，设定同轴取N点的坐标值，同理，N点的计算方式与M点一致，通过上述方法，计算N点的像素坐标值N(XN，YN)，以及在眼位照片中变化后的像素坐标N’(XN′，YN′)，通过上述同样的方式，得到眼球四面摆动角度Δε右、Δε左、Δε上和Δε下；
计算M点与N点的眼球向左摆动角度Δε左的2个数值的平均值作为最终的眼球向左摆动角度，以提高计算精度。同样地，计算M点与N点其它方向摆动角度的平均值作为该方向摆动角度的最终数值。在本发明的另一些优选实施例中，还可以通过对矩形形状的4个顶点均执行上述运算后进行平均，更进一步提高减小误差。
本发明中图像处理模块300根据眼动追踪模块600判断的用户聚焦观察位置，或者用户主观交互选择文字位置，实现目标区域文字的实时视频捕捉，并通过助视相关效果实现文字加强，文字变色等，直接投射至显示屏上。
请参阅图13，为根据本发明第十实施例的头戴式助视装置的模块框图。如图13所示，本发明第十实施例的头戴式助视装置与第九实施例基本相同，区别在于：头戴式助视装置还包括语音阅读单元700，用于通过语音阅读功能阅读目标区域的文字，其中目标区域的文字的起始点和速度根据用户聚焦观察位置及变化进行控制。因此，本发明支持语音阅读文字，并且文字的阅读起始点、速度可根据当前焦点变化或者主观通过交互等控制和关联。例如，在实现眼动追踪的前提下，通过眨眼动作和语音命令实现相关控制。起始点根据聚焦位置判断，开始阅读通过语言或者眨眼(眨几下or左右眼分开眨等等实现不同命令)，通过语音命令控制阅读速度等。根据前述立体声场技术，还可以实现用户正面半球180°位置模拟，根据文字的位置和头戴本体上的距离监测，可以通过包括红外光距离传感器、双摄像头、结构光技术等在内的SLAM算法，获得所监测的位置信息，通过获得所监测的位置来实现通过阅读声音来提示相应文字位置。
本发明还提供了第十一实施例的头戴式助视装置。该十一实施例的头戴式助视装置与第二实施例基本相同，区别仅在于，还包括距离报警模块，用于通过双摄像头的位置景深的相对算法检测前方物体距离，并在前方物体距离低于预设阈值时进行报警。距离报警模块可以通过语音的形式进行报警。本发明在使用半透屏时，可以通过距离报警模块实现近距离安全实时警报，将靠近佩戴者的安全风险最高的物体进行提示。
本发明还提供了第十二实施例的头戴式助视装置。该十二实施例的头戴式助视装置与第二实施例基本相同，区别仅在于，头戴式助视装置还包括人脸识别模块，用于对采集的视频图像中的人脸进行识别，在与预存人脸照片匹配时获取该人脸提示信息进行播报。其中，通过现实场景拍摄或者第三方提供的人脸照片为模板并存储相关备注数据，当低视力用户使用产品时，产品通过焦点追踪技术或者交互手段等激活相关功能，系统比对人脸信息，并实时播报。提示的信息包括但不限于预登记信息、即时的表情、性别、年龄、穿着打扮等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (18)

1.一种头戴式助视装置，其特征在于，包括：
图像采集模块，用于通过头戴结构中的前置摄像头实时采集视频图像；
输入模块，用于接收用户输入的指令；
图像处理模块，用于根据用户输入的指令或者预设模式对采集的视频图像进行图像增强处理，所述图像增强处理包括物体轮廓加强、画面缩放、对比度调整和颜色调整中的一种或多种；
图像显示模块，用于将图像增强处理后的视频图像显示到位于双眼前方的半透视显示屏中。
2.根据权利要求1所述的头戴式助视装置，其特征在于，所述图像处理模块通过以下方式对采集的视频图像进行物体轮廓加强：
根据用户输入的指令或者预设模式调整索贝尔算子的矩阵数值，并通过该调整后的索贝尔算子对视频的每帧图片进行边缘强化计算；其中所述图像处理模块通过调整后的X方向的索贝尔算子计算像素的横向灰度值：
通过调整后的Y方向的索贝尔算子计算像素的纵向灰度值：
通过以下公式结合每一个像素的横向以及纵向灰度值计算图像中该点灰度大小：
G＝|G′x|+|G′y|，随后针对G做[0,255]的归一化处理，得到的结果用来替换灰度值；
上述公式中A为原始图像，n和m为根据用户输入的指令或者预设模式确定的索贝尔算子的矩阵数值。
3.根据权利要求1或2所述的头戴式助视装置，其特征在于，所述头戴式助视装置还包括导航模块，用于根据用户输入的目的地或者目标物名称，对采集的视频图像进行分析，识别目的地或者目标物的位置，并通过轮廓加强、虚拟形象、文字标示和/或立体语音的方式进行提示。
4.根据权利要求3所述的头戴式助视装置，其特征在于，所述导航模块包括虚拟导航单元，用于根据场景生成虚拟形象的连贯动画实时投射在所述半透视显示屏上。
5.根据权利要求4所述的头戴式助视装置，其特征在于，所述虚拟导航单元在识别当前的视频图像为上下楼梯场景时，利用安装在头戴式助视装置中的三轴加速度传感器的水平朝前方向的加速度，积分得到使用者位移与时间运动曲线，使用垂直方向的加速度记录用户的步频；
通过步频以及使用者位移与时间运动曲线，生成虚拟的按照相同频率和速度行走的楼梯的动画，叠加在视频图像中对应楼梯位置。
6.根据权利要求3所述的头戴式助视装置，其特征在于，所述导航模块包括立体语音播放单元，用于根据视频图像获取目的地或者目标物的位置，通过立体声场技术播放目的地或者目标物的提示音形成不同角度方向的声源提醒。
7.根据权利要求6所述的头戴式助视装置，其特征在于，所述立体语音播放单元至少包括位于左90°声源位置、左45°声源位置、右90°声源位置和右45°声源位置的四个喇叭，以进行声场组合形成播放角度基准值d分别为0°、±45°、±67.5°和±90°的声源方向；
所述立体语音播放单元将以用户为原点获取的目的地或者目标物的距离以及角度信息记为Bn(L,D)，其中L表示目的地或者目标物的距离，D表示目的地或者目标物的角度，并按照从近到远依次存入各个目的地或者目标物的位置信息B[]＝{B1{L1,D1}、B2{L2,D2}、….}；所述声音播放模块提取B[].D参数，并对比该参数与播放角度基准值d，取B[].D-d为最小值时的播放角度基准值，控制对应喇叭进行声场组合形成声源方向。
8.根据权利要求7所述的头戴式助视装置，其特征在于，所述立体语音播放单元在播放提示音时，还用于提取B[].L参数，并对比该参数与预设的距离区间；根据该参数所处的距离区间调取对应的音效配合立体声场技术播放提示音。
9.根据权利要求3所述的头戴式助视装置，其特征在于，所述导航模块包括记忆导航单元，用于通过预先拍摄的图像识别并记录目标物的历史位置，并在对实时视频图像进行识别时在实时视频图像上将目标物的历史位置对应的区域以轮廓加强的方式标记出来。
10.根据权利要求3所述的头戴式助视装置，其特征在于，所述导航模块包括布局导航单元，用于实时读取视频图像中的每帧图像，识别并提取图像特征，并结合预先获取的综合体或室内建筑布局图标示出目标建筑或者店面或者窗口的方向、预计距离和/或行走时间。
11.根据权利要求1或2所述的头戴式助视装置，其特征在于，所述图像处理模块还用于将预先拍摄的文字图片透射至半透视显示屏上，或者识别预先拍摄的文字图片中的文字转化为可编辑文本并叠加在实时采集的视频图像的文字区域。
12.根据权利要求1或2所述的头戴式助视装置，其特征在于，所述头戴式助视装置还包括眼动追踪模块，用于识别用户聚焦观察位置，并提供给图像处理模块作为图像增强处理的目标区域。
13.根据权利要求12所述的头戴式助视装置，其特征在于，所述头戴式助视装置还包括语音阅读模块，用于通过语音阅读功能阅读目标区域的文字，其中目标区域的文字的起始点和速度根据用户聚焦观察位置及变化进行控制。
14.根据权利要求12所述的头戴式助视装置，其特征在于，所述眼动追踪模块包括位于眼球正中的摄像头，以及位于人脸前方的投影系统，所述投影系统用于在不干扰视觉区域上向瞳孔正中投射矩形形状投影；所述眼动追踪模块通过瞳孔面积形变来计算眼球焦点位置，具体为：
预先通过所述摄像头拍摄当前用户眼球朝前方的正视眼位图像；
在需要识别用户聚焦观察位置时，拍摄实时采集的当前用户的眼位图像，并结合所述正视眼位图像计算当前用户的眼位图像中眼球表面光斑的偏移角度向量，并计算眼球映射在屏幕上的移动距离和移动角度。
15.根据权利要求14所述的头戴式助视装置，其特征在于，所述计算当前用户的眼位图像中眼球表面光斑的偏移角度向量的步骤包括：
获取正视眼位图像中眼球表面光斑最远处的像素坐标值M(xM,yM)，以及图像正中心原点位置O(x0,y0)，得到OM的距离为：
其中x0为图像横向大小的1/2，y0为图像纵向大小的1/2；
记图像内像素与实际距离的比值为K，则OM映射至实际的距离为：
根据圆锥形角度计算方式，可以得到正中位置角度：
其中LCO为眼球距离相机的距离；
采用上述同样方法计算得到当前用户的眼位图像中眼球表面光斑最远处偏移的角度：
计算眼球的偏移角度向量：
Δε＝θ'-θ。
16.根据权利要求14所述的头戴式助视装置，其特征在于，所述计算眼球映射在屏幕上的移动距离和移动角度的步骤包括：
将眼球表面光斑的偏移角度向量进行向量分解，拆分成在上下左右四个方向的投影值；
按照人体眼球直径参数，根据眼球映射实际距离计算公式将四个角度的投影值转换为眼表变化的距离；
根据眼表变化的距离计算模拟屏幕上对应的移动距离：
利用平面下勾股函数计算得到眼球运动时对应屏幕上注视点移动的距离，以及屏幕上对应眼球运动的移动角度。
17.根据权利要求1或2所述的头戴式助视装置，其特征在于，所述头戴式助视装置还包括距离报警模块，用于通过双摄像头的位置景深的相对算法检测前方物体距离，并在前方物体距离低于预设阈值时进行报警。
18.根据权利要求1或2所述的头戴式助视装置，其特征在于，所述头戴式助视装置还包括人脸识别模块，用于对采集的视频图像中的人脸进行识别，在与预存人脸照片匹配时获取该人脸提示信息进行播报。
CN201810311520.2A 2018-04-09 2018-04-09 一种头戴式助视装置 Active CN108519676B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810311520.2A CN108519676B (zh) 2018-04-09 2018-04-09 一种头戴式助视装置
PCT/CN2018/084024 WO2019196133A1 (zh) 2018-04-09 2018-04-23 一种头戴式助视装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810311520.2A CN108519676B (zh) 2018-04-09 2018-04-09 一种头戴式助视装置

Publications (2)

Publication Number Publication Date
CN108519676A true CN108519676A (zh) 2018-09-11
CN108519676B CN108519676B (zh) 2020-04-28

Family

ID=63432262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810311520.2A Active CN108519676B (zh) 2018-04-09 2018-04-09 一种头戴式助视装置

Country Status (2)

Country Link
CN (1) CN108519676B (zh)
WO (1) WO2019196133A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109298532A (zh) * 2018-11-22 2019-02-01 同方计算机有限公司 一种人机结合的增强视觉显示装置
CN109670445A (zh) * 2018-12-19 2019-04-23 宜视智能科技（苏州）有限公司 低视力助视智能眼镜系统
CN109725717A (zh) * 2018-11-30 2019-05-07 成都理想境界科技有限公司 应用于ar设备的图像处理方法及ar设备
CN109816343A (zh) * 2019-01-04 2019-05-28 平安科技（深圳）有限公司 一种业务分流方法及装置
CN109875863A (zh) * 2019-03-14 2019-06-14 河海大学常州校区 基于双目视觉与脑力影像训练的头戴式vr视力提升系统
CN110335258A (zh) * 2019-06-21 2019-10-15 上海翊视皓瞳信息科技有限公司 一种基于穿戴设备的质检方法及其系统
CN110708533A (zh) * 2019-12-16 2020-01-17 杭州融梦智能科技有限公司 基于增强现实的视觉辅助方法及智能穿戴设备
CN110728651A (zh) * 2019-09-03 2020-01-24 北京爱博同心医学科技有限公司 基于增强现实的管状视野图像变形检测方法及眼镜
CN110996049A (zh) * 2019-11-21 2020-04-10 中国联合网络通信集团有限公司 一种水下搜索方法及系统
CN112258401A (zh) * 2020-09-28 2021-01-22 北京深睿博联科技有限责任公司 一种图像增强方法及装置
CN113377210A (zh) * 2021-07-19 2021-09-10 艾视雅健康科技(苏州)有限公司 图像显示方法及头戴式电子辅助视觉设备、计算机可读介质和电子设备
CN113393404A (zh) * 2021-07-19 2021-09-14 艾视雅健康科技(苏州)有限公司 一种低视力头戴式电子辅助视觉设备及其图像修改方法
CN114125278A (zh) * 2021-11-15 2022-03-01 小艾帮帮（杭州）科技有限公司 一种多功能助视系统
CN114564108A (zh) * 2022-03-03 2022-05-31 北京小米移动软件有限公司 图像展示的方法、装置和存储介质
CN115047624A (zh) * 2022-05-24 2022-09-13 北京领为军融科技有限公司 智能眼镜操控系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633014B (zh) * 2019-10-23 2024-04-05 常州工学院 一种头戴式眼动追踪装置
CN111160136B (zh) * 2019-12-12 2021-03-12 天目爱视（北京）科技有限公司 一种标准化3d信息采集测量方法及系统
CN113709410B (zh) * 2020-05-21 2024-08-23 幻蝎科技(武汉)有限公司 基于mr眼镜的人眼视觉能力增强的方法、系统及设备
CN112164146A (zh) * 2020-09-04 2021-01-01 维沃移动通信有限公司 内容控制方法、装置和电子设备
CN114650443B (zh) * 2020-12-18 2024-04-19 广州视享科技有限公司 头戴式显示设备的播放方法、装置以及头戴式显示设备
CN112947881A (zh) * 2021-04-02 2021-06-11 浙江德维迪亚数字科技有限公司 基于即时通讯的远程冻屏指导方法
CN113050917B (zh) * 2021-04-16 2022-10-28 中国科学技术大学 一种立体感知环境的智能助盲眼镜系统
CN114338981B (zh) * 2021-12-22 2023-11-07 湖南中医药大学 一种实验用自动显距标面积、体积照相机
CN114663553A (zh) * 2022-03-18 2022-06-24 北京字跳网络技术有限公司 特效视频生成方法、装置、设备及存储介质
CN114842173B (zh) * 2022-04-15 2023-08-29 北华航天工业学院 一种增强现实系统及其控制方法
CN115100666B (zh) * 2022-05-18 2024-06-18 东北大学 基于显著性检测和超分辨率重建的ar会议系统及构建方法
CN114740749B (zh) * 2022-05-24 2024-06-25 广东顺德胜上智能家居有限公司 智能家居控制系统
CN116026317B (zh) * 2023-01-16 2024-07-02 歌尔股份有限公司 步行测速方法、头戴显示设备和可读存储介质
CN116518894B (zh) * 2023-07-05 2023-09-12 西安地山视聚科技有限公司 一种双层复合石英坩埚透明层厚度检测方法
CN118090164B (zh) * 2024-04-26 2024-08-09 甬江实验室 头显设备校准方法、装置和头显设备校准系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866215A (zh) * 2010-04-20 2010-10-20 复旦大学 在视频监控中采用视线跟踪的人机交互装置和方法
CN101887172A (zh) * 2010-06-01 2010-11-17 深圳丹邦投资集团有限公司 一种辅助阅读电子书的装置
CN103838378A (zh) * 2014-03-13 2014-06-04 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控系统
CN104306102A (zh) * 2014-10-10 2015-01-28 上海交通大学 针对视觉障碍患者的头戴式视觉辅助系统
CN104809422A (zh) * 2015-04-27 2015-07-29 江苏中科贯微自动化科技有限公司 基于图像处理的qr码识别方法
CN106168853A (zh) * 2016-06-23 2016-11-30 中国科学技术大学 一种自由空间头戴式视线跟踪系统
CN106484085A (zh) * 2015-08-31 2017-03-08 北京三星通信技术研究有限公司 在头戴式显示器中显示真实物体的方法及其头戴式显示器
CN107014395A (zh) * 2017-03-31 2017-08-04 武汉大学 基于虚拟现实技术的指向性全景导航系统
WO2017139009A1 (en) * 2016-02-08 2017-08-17 Google Inc. Control system for navigation in virtual reality environment
CN107067389A (zh) * 2017-01-05 2017-08-18 佛山科学技术学院 一种基于Sobel边缘检测与图像块亮度特征的图像篡改盲取证方法
CN107682690A (zh) * 2017-10-19 2018-02-09 京东方科技集团股份有限公司 自适应视差调节方法和虚拟现实vr显示系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1691750A (zh) * 2004-04-26 2005-11-02 明基电通股份有限公司 影像撷取方法、使用该方法的影像撷取装置及储存介质
CN101807110B (zh) * 2009-02-17 2012-07-04 由田新技股份有限公司 瞳孔定位方法及系统
EP2539883A1 (en) * 2010-02-24 2013-01-02 Ipplex Holdings Corporation Augmented reality panorama supporting visually impaired individuals
CN105989365A (zh) * 2015-01-30 2016-10-05 深圳市思路飞扬信息技术有限责任公司 助视装置、助视系统及助视方法
EP3403130A4 (en) * 2016-01-12 2020-01-01 eSIGHT CORP. METHODS AND DEVICES FOR INCREASING LANGUAGE ELEMENT VISION
CN105450783A (zh) * 2016-01-18 2016-03-30 杭州瑞杰珑科技有限公司 一种多功能台式助视器
US10667981B2 (en) * 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866215A (zh) * 2010-04-20 2010-10-20 复旦大学 在视频监控中采用视线跟踪的人机交互装置和方法
CN101887172A (zh) * 2010-06-01 2010-11-17 深圳丹邦投资集团有限公司 一种辅助阅读电子书的装置
CN103838378A (zh) * 2014-03-13 2014-06-04 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控系统
CN104306102A (zh) * 2014-10-10 2015-01-28 上海交通大学 针对视觉障碍患者的头戴式视觉辅助系统
CN104809422A (zh) * 2015-04-27 2015-07-29 江苏中科贯微自动化科技有限公司 基于图像处理的qr码识别方法
CN106484085A (zh) * 2015-08-31 2017-03-08 北京三星通信技术研究有限公司 在头戴式显示器中显示真实物体的方法及其头戴式显示器
WO2017139009A1 (en) * 2016-02-08 2017-08-17 Google Inc. Control system for navigation in virtual reality environment
CN106168853A (zh) * 2016-06-23 2016-11-30 中国科学技术大学 一种自由空间头戴式视线跟踪系统
CN107067389A (zh) * 2017-01-05 2017-08-18 佛山科学技术学院 一种基于Sobel边缘检测与图像块亮度特征的图像篡改盲取证方法
CN107014395A (zh) * 2017-03-31 2017-08-04 武汉大学 基于虚拟现实技术的指向性全景导航系统
CN107682690A (zh) * 2017-10-19 2018-02-09 京东方科技集团股份有限公司 自适应视差调节方法和虚拟现实vr显示系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭克冰: "基于灰色关联度的图像边缘检测的理论研究", 《河南大学硕士学位论文》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109298532A (zh) * 2018-11-22 2019-02-01 同方计算机有限公司 一种人机结合的增强视觉显示装置
CN109725717A (zh) * 2018-11-30 2019-05-07 成都理想境界科技有限公司 应用于ar设备的图像处理方法及ar设备
CN109670445A (zh) * 2018-12-19 2019-04-23 宜视智能科技（苏州）有限公司 低视力助视智能眼镜系统
CN109816343A (zh) * 2019-01-04 2019-05-28 平安科技（深圳）有限公司 一种业务分流方法及装置
CN109875863A (zh) * 2019-03-14 2019-06-14 河海大学常州校区 基于双目视觉与脑力影像训练的头戴式vr视力提升系统
CN110335258A (zh) * 2019-06-21 2019-10-15 上海翊视皓瞳信息科技有限公司 一种基于穿戴设备的质检方法及其系统
CN110728651A (zh) * 2019-09-03 2020-01-24 北京爱博同心医学科技有限公司 基于增强现实的管状视野图像变形检测方法及眼镜
CN110996049A (zh) * 2019-11-21 2020-04-10 中国联合网络通信集团有限公司 一种水下搜索方法及系统
CN110996049B (zh) * 2019-11-21 2021-08-17 中国联合网络通信集团有限公司 一种水下搜索方法及系统
CN110708533A (zh) * 2019-12-16 2020-01-17 杭州融梦智能科技有限公司 基于增强现实的视觉辅助方法及智能穿戴设备
CN110708533B (zh) * 2019-12-16 2020-04-14 杭州融梦智能科技有限公司 基于增强现实的视觉辅助方法及智能穿戴设备
CN112258401A (zh) * 2020-09-28 2021-01-22 北京深睿博联科技有限责任公司 一种图像增强方法及装置
CN112258401B (zh) * 2020-09-28 2022-09-16 北京深睿博联科技有限责任公司 一种图像增强方法及装置
CN113377210A (zh) * 2021-07-19 2021-09-10 艾视雅健康科技(苏州)有限公司 图像显示方法及头戴式电子辅助视觉设备、计算机可读介质和电子设备
CN113393404A (zh) * 2021-07-19 2021-09-14 艾视雅健康科技(苏州)有限公司 一种低视力头戴式电子辅助视觉设备及其图像修改方法
CN113377210B (zh) * 2021-07-19 2023-12-01 艾视雅健康科技(苏州)有限公司 图像显示方法、头戴式电子辅助视觉设备及可读介质
CN114125278A (zh) * 2021-11-15 2022-03-01 小艾帮帮（杭州）科技有限公司 一种多功能助视系统
CN114564108A (zh) * 2022-03-03 2022-05-31 北京小米移动软件有限公司 图像展示的方法、装置和存储介质
CN115047624A (zh) * 2022-05-24 2022-09-13 北京领为军融科技有限公司 智能眼镜操控系统

Also Published As

Publication number Publication date
WO2019196133A1 (zh) 2019-10-17
CN108519676B (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN108519676A (zh) 一种头戴式助视装置
JP7283506B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
CN108780578A (zh) 用于增强现实系统的直接光补偿技术
US11123031B2 (en) Augmented reality for radiation dose monitoring
CN107105333A (zh) 一种基于视线追踪技术的vr视频直播交互方法与装置
EP2203896B1 (en) Method and system for selecting the viewing configuration of a rendered figure
WO2012081194A1 (ja) 医療支援装置、医療支援方法および医療支援システム
JP5761730B2 (ja) 身体技能習得支援装置
KR101455200B1 (ko) 학습 모니터링 장치 및 학습 모니터링 방법
CN103019377A (zh) 基于头戴式可视显示设备的输入方法及装置
JP2019028509A (ja) 検出装置、検出システム、画像処理装置、検出方法、画像処理プログラム、画像表示方法、及び画像表示システム
CN108124150B (zh) 虚拟现实头戴显示设备及通过其观察真实场景的方法
KR20130061538A (ko) 가상현실 기반 콘텐츠 제공장치 및 그 방법
CN108428375A (zh) 一种基于增强现实的教学辅助方法及设备
WO2021035575A1 (zh) 支付过程中防止偷窥的方法及电子设备
US20230015732A1 (en) Head-mountable display systems and methods
CN108446011A (zh) 一种基于增强现实的医疗辅助方法及设备
US20190281280A1 (en) Parallax Display using Head-Tracking and Light-Field Display
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
JP2021177580A (ja) 情報処理装置、情報処理方法、およびプログラム
KR20120009657A (ko) 골프 시뮬레이션 시스템 및 그 제어방법
CN110060349A (zh) 一种扩展增强现实头戴式显示设备视场角的方法
CN112995523B (zh) 一种在线自助业务环境检测方法及系统
WO2022176450A1 (ja) 情報処理装置、情報処理方法、およびプログラム
GB2582106A (en) Display device and display device control method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant