CN111991198A - 头戴式避障设备的控制方法与头戴式避障设备 - Google Patents

头戴式避障设备的控制方法与头戴式避障设备 Download PDF

Info

Publication number
CN111991198A
CN111991198A CN202010817832.8A CN202010817832A CN111991198A CN 111991198 A CN111991198 A CN 111991198A CN 202010817832 A CN202010817832 A CN 202010817832A CN 111991198 A CN111991198 A CN 111991198A
Authority
CN
China
Prior art keywords
obstacle
detected
electrode
area
vibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010817832.8A
Other languages
English (en)
Inventor
李源
张平
皇甫江涛
Original Assignee
Tianjin Weituo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Weituo Technology Co ltd filed Critical Tianjin Weituo Technology Co ltd
Priority to CN202010817832.8A priority Critical patent/CN111991198A/zh
Publication of CN111991198A publication Critical patent/CN111991198A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A61H2003/063—Walking aids for blind persons with electronic detecting or guiding means with tactile perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/1604—Head
    • A61H2201/1607—Holding means therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/165—Wearable interfaces

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及一种头戴式避障设备的控制方法与头戴式避障设备，头戴式避障设备通过对待检测区域进行光学扫描和轮廓提取，实现对障碍物的识别与定位。通过将处于不同位置的障碍物的位置信息和深度信息，映射为头戴式避障设备中的电极的不同振动方式，实现在障碍物出现在头戴式避障设备的使用人的可视范围时，能够实时通过电极振动通知使用人主动避障，不受外界环境变化的影响，障碍物的分辨精确度高。

Description

头戴式避障设备的控制方法与头戴式避障设备
技术领域
本申请涉及视觉避障技术领域，特别是涉及一种头戴式避障设备的控制方法与头戴式避障设备。
背景技术
应用于人眼视觉受限或有视觉障碍情况下的避障方法一直是市场和技术关注的重点之一。对于那些无法正常依赖视觉进行日常生活的视觉障碍群体来说，无论是在室内活动还是在外出行，操作简单，实用性强，且能够实时避障的避障设备都是理想的视觉补偿工具。
传统的避障设备往往选择语音信号作为提示方案，即避障设备在检测到有障碍物出现时，会发出预设的语音信号，提示使用人规避障碍物，以达到避障目的。
然而，传统的避障设备具有一个很严重的问题：在外部环境变化的条件下，无法稳定的为使用人提供精确的避障支持。这是因为，当使用人置身于嘈杂环境时，使用人会因为听不清语音提示而导致避障功能完全失效，或使用人会听清部分语音提示而导致避障功能不精确。
发明内容
基于此，有必要针对传统避障设备在外部环境变化的条件下，无法稳定的为使用人提供精确的避障支持的问题，提供一种头戴式避障设备的控制方法与头戴式避障设备。
本申请提供一种头戴式避障设备的控制方法，包括：
对待检测区域进行光学扫描，生成所述待检测区域的深度信息；
基于所述待检测区域的深度信息，对所述待检测区域进行轮廓提取；
基于轮廓提取的结果，判断所述待检测区域内是否有障碍物出现；
若所述待检测区域内有障碍物出现，则进一步依据所述轮廓提取的结果，确定与障碍物对应的振动电极，以及所述振动电极的振动幅度；
控制与障碍物对应的振动电极以所述振动幅度振动。
其中一实施例中，对待检测区域进行光学扫描，生成所述待检测区域的深度信息的步骤，包括：
向待检测区域发射红外光，并接收所述待检测区域反射回来的红外光，采集红外光学数据；
依据所述红外光学数据，生成所述待检测区域的深度信息矩阵，所述深度信息矩阵如公式1所示；
Figure BDA0002633371300000021
其中，M为深度信息矩阵，xmn为待检测区域中一个像素的横向坐标，ymn为待检测区域中一个像素的纵向坐标，dmn为像素(xmn,ymn)到所述头戴式避障设备的距离。
其中一实施例中，在基于所述待检测区域的深度信息，对所述待检测区域进行轮廓提取的步骤之前，所述头戴式避障设备的控制方法还包括：
对所述深度信息矩阵进行噪声过滤。
其中一实施例中，基于所述待检测区域的深度信息，对所述待检测区域进行轮廓提取的步骤，包括：
基于轮廓提取算法，对经噪声过滤后的深度信息矩阵进行卷积，生成待检测区域的轮廓矩阵，所述轮廓矩阵如公式2所示；
H＝M'*f(u,v)*G(u,v) 公式2；
其中，H为轮廓矩阵，M'为经噪声过滤后的深度信息矩阵，f(u,v)为选定的滤波算子，G(u,v)为轮廓提取的传递函数，*代表进行了一次卷积；
依据所述轮廓矩阵，提取所述待检测区域中的疑似障碍物的深度信息，生成所述疑似障碍物的深度图。
其中一实施例中，在对待检测区域进行光学扫描，生成所述待检测区域的深度信息的步骤之前，所述头戴式避障设备的控制方法还包括：
将头戴式避障设备的光学扫描范围作为待检测区域，获取头戴式避障设备中电极矩阵的结构数据；
依据所述电极矩阵的结构数据，将所述待检测区域划分为多个区域单元，所述多个区域单元以矩阵式排布，且所述多个区域单元的排布方式与所述电极矩阵中多个振动电极的排布方式一致；每一个区域单元对应一个振动电极；
建立电极矩阵与待检测区域的映射关系，将所述映射关系与振动电极的预设振动规则耦合，生成电极振动函数；所述电极矩阵与待检测区域的映射关系表示为映射关系矩阵；
Figure BDA0002633371300000031
其中，η为电机振动函数，Q为预设振动规则函数，K为映射关系矩阵，i为电极矩阵的行数，j为电极矩阵的列数，xij为电极矩阵中位于第i行第j列的振动电极的横坐标，yij为电极矩阵中位于第i行第j列的振动电极的纵坐标，Aij为电极矩阵中位于第i行第j列的振动电极的振动幅度。
其中一实施例中，基于轮廓提取的结果，判断所述待检测区域内是否有障碍物出现的步骤，包括：
依据所述疑似障碍物的深度信息，计算所述疑似障碍物覆盖的像素总个数占整个待检测区域的像素总个数的比例，得到疑似障碍物像素占比；
判断所述疑似障碍物像素占比是否大于或等于预设像素占比；
若所述疑似障碍物像素占比大于或等于预设像素占比，则确定所述待检测区域内有障碍物出现，将所述疑似障碍物定义为障碍物。
其中一实施例中，依据所述轮廓提取的结果，确定与障碍物对应的振动电极，以及所述振动电极的振动幅度的步骤，包括：
调取所述电极振动函数，依据所述障碍物的深度信息与所述电极振动函数，获取与障碍物对应的振动电极和振动幅度。
其中一实施例中，在障碍物覆盖的像素总个数不变的条件下，当障碍物处于待检测区域的中心时，障碍物对应的振动电极的振动幅度，大于当障碍物处于待检测区域的边缘时，障碍物对应的振动电极的振动幅度。
其中一实施例中，当障碍物处于待检测区域的位置不变的条件下，障碍物覆盖的像素总个数越多，障碍物对应的振动电极的振动幅度越大。
本申请还提供一种头戴式避障设备，采用如前述任一实施例中提及的的头戴式避障设备的控制方法，用于实时躲避障碍物。
本申请涉及一种头戴式避障设备的控制方法与头戴式避障设备，头戴式避障设备通过对待检测区域进行光学扫描和轮廓提取，实现对障碍物的识别与定位。通过将处于不同位置的障碍物的位置信息和深度信息，映射为头戴式避障设备中的电极的不同振动方式，实现在障碍物出现在头戴式避障设备的使用人的可视范围时，能够实时通过电极振动通知使用人主动避障，不受外界环境变化的影响，障碍物的分辨精确度高。
附图说明
图1为本申请一实施例提供的头戴式避障设备的控制方法的流程示意图；
图2为本申请一实施例提供的一种深度信息下，障碍物与振动电极对应的示意图；
图3为本申请一实施例提供的另一种深度信息下，障碍物与振动电极对应的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供一种头戴式避障设备的控制方法。需要说明的是，本申请提供的头戴式避障设备的控制方法的应用于存在视觉障碍的人群佩戴的头戴式避障设备。
此外，本申请提供的头戴式避障设备的控制方法不限制其执行主体。可选地，本申请提供的头戴式避障设备的控制方法的执行主体的可以为一种头戴式避障设备。
如图1所示，在本申请的一实施例中，所述头戴式避障设备的控制方法包括如下步骤S100至步骤S900：
S100，对待检测区域进行光学扫描，生成所述待检测区域的深度信息。
具体地，所述头戴式避障设备内可以设置有光学模块和处理器。所述处理器可以是STM32，树莓派等具有信息处理和计算能力的处理器。STM32为一种具有ARM Cortex-M内核的32位微控制器。
所述光学模块可以存在一个预设的光学扫描范围。当使用人佩戴所述头戴式避障设备时，所述光学模块实时对处于光学扫描范围的场景进行光学扫描，这个场景即定义为待检测区域。所述待检测区域的深度信息可以包括待检测区域与所述头戴式避障设备的距离信息。
S300，基于所述待检测区域的深度信息，对所述待检测区域进行轮廓提取。
具体地，本步骤相当于将待检测区域看作一张图像，图像中存在一些无意义的点，即常规信息点，还有一些异常信息点，这些异常信息点可以视为与障碍物相关。本步骤可以提取这些异常信息点的轮廓，使其组成一个异常信息整体，即障碍物。
S500，基于轮廓提取的结果，判断所述待检测区域内是否有障碍物出现。
具体地，若确定所述待检测区域内没有障碍物出现，则返回步骤S100，重新实时对所述待检测区域扫描。
S700，若所述待检测区域内有障碍物出现，则进一步依据所述轮廓提取的结果，确定与障碍物对应的振动电极，以及所述振动电极的振动幅度。
具体地，若确定所述待检测区域内有障碍物出现，则需要调取障碍物与振动电极的映射关系，确定与障碍物对应的振动电极，以及所述振动电极的振动幅度。
S900，控制与障碍物对应的振动电极以所述振动幅度振动。
具体地，所述头戴式避障设备还可以同时通过报警模块进行声音报警或灯光报警。
本实施例中，头戴式避障设备通过对待检测区域进行光学扫描和轮廓提取，实现对障碍物的识别与定位。通过将处于不同位置的障碍物的位置信息和深度信息，映射为头戴式避障设备中的电极的不同振动方式，实现在障碍物出现在头戴式避障设备的使用人的可视范围时，能够实时通过电极振动通知使用人主动避障，不受外界环境变化的影响，障碍物的分辨精确度高。
在本申请的一实施例中，所述步骤S100包括如下步骤S110至步骤S120：
S110，向待检测区域发射红外光，并接收所述待检测区域反射回来的红外光，采集红外光学数据。
具体地，所述头戴式避障设备内可以设置有光学模块。所述光学模块可以实时向正前方的待检测区域主动发射红外光，并接收反射回来的红外光。本申请头戴式避障设备在使用时，使用人需要在头上佩戴所述头戴式避障设备，且所述头戴式避障设备的光学模块需要对准使用额的正前方。因此，所述光学模块是向正前方发射红外光。因此，本申请中，使用人正前方的障碍物的判定与分析是我们主要的分析方向。
进一步地，所述光学模块可以根据红外光的折返时间和光速计算红外光走过的距离，从而计算待检测区域的深度信息，生成红外光学数据。
S120，依据所述红外光学数据，生成所述待检测区域的深度信息矩阵。所述深度信息矩阵如公式1所示。
Figure BDA0002633371300000071
其中，M为深度信息矩阵。xmn为待检测区域中一个像素的横向坐标。ymn为待检测区域中一个像素的纵向坐标。dmn为像素(xmn,ymn)到所述头戴式避障设备的距离。
具体地，所述光学模块可以输出所述深度信息矩阵。所述待检测区域可以相当于一张场景图像，所述深度信息矩阵的每一个元素(xmn,ymn,dmn)，代表场景图像中的每一个像素点，且该元素包含了该像素点在场景图像中的位置信息和距离信息，位置信息即像素点的横向坐标和纵向坐标，即xmn和ymn。距离信息即像素点距离光学模块的距离，即dmn。
可选地，在步骤S120之后，还包括:
S130,依据所述深度信息矩阵，生成所述待检测区域的二维场景图像。
本实施例中，通过头戴式避障设备向待检测区域发射红外光，采集红外光学数据，实现二维横向成像和提取纵向深度信息的功能。
在本申请的一实施例中，在步骤S100之后，步骤S200之前，所述头戴式避障设备的控制方法还包括：
S200，对所述深度信息矩阵进行噪声过滤。
具体地，前述内容已经提及，可以将待检测区域看作一张图像，图像中存在一些无意义的点，即常规信息点，还有一些异常信息点，这些异常信息点可以视为与障碍物相关。异常信息点一般是连续的，有规律可循。然而光学模块在发射红外光和接收红外光的同时，会受到外界环境的杂散光的影响，或者是红外光在物体边缘处存在反射或散射的原因，都会在深度信息矩阵中体现为孤立的，dmn数值不正常，甚至出现dmn极大值的像素点。此时，需要头戴式避障设备内部设置的处理器对所述深度信息矩阵进行噪声过滤。
噪声过滤的方式有很多种。可选地，所述处理器可以将深度信息矩阵中出现dmn极大值、dmn极小值或dmn异常值的元素的dmn值替换为和常规元素相同的常dmn值。常规元素就是上述内容提及的无意义的点，即常规信息点。
当然，噪声过滤的方式也可以采取其他滤波方式，例如中值滤波、几何均值滤波等等。
本实施例中，通过对所述深度信息矩阵进行噪声过滤，实现了对深度信息矩阵中异常数据的处理，消除了异常数据对后续数据处理步骤的不利影响。
在本申请的一实施例中，所述步骤S300包括如下步骤S310至步骤S320：
S310，基于轮廓提取算法，对经噪声过滤后的深度信息矩阵进行卷积，生成待检测区域的轮廓矩阵。所述轮廓矩阵如公式2所示。
H＝M'*f(u,v)*G(u,v) 公式2
其中，H为轮廓矩阵。M'为经噪声过滤后的深度信息矩阵。f(u,v)为选定的滤波算子。G(u,v)为轮廓提取的传递函数。*代表进行了一次卷积。
具体地，所述选定的滤波算子可以为拉普拉斯算子或坎尼算子。
S320，依据所述轮廓矩阵，提取所述待检测区域中的疑似障碍物的深度信息，生成所述疑似障碍物的深度图。
具体地，所述疑似障碍物的深度图如图2(b)所示。所述深度图不但可以展示疑似障碍物的轮廓和形状，而且可以展示疑似障碍物与所述光学模块的距离，这个距离我们认为等同于疑似障碍物与整个头戴式避障设备的距离。
图2(a)是光学模块生成的所述待检测区域的二维场景图像(请参见步骤S130)。图2(b)则是经过轮廓提取后，处理器生成的疑似障碍物的深度图。从图2(b)可以知晓。疑似障碍物为一颗螺钉。
本实施例中，通过基于轮廓提取算法生成待检测区域的轮廓矩阵，生成疑似障碍物的轮廓图，实现了对待检测区域中疑似障碍物的轮廓提取，可以准确、简明了当的展示疑似障碍物的全部深度信息。
在本申请的一实施例中，在所述步骤S100之前，所述头戴式避障设备的控制方法还包括如下步骤S010至步骤S030：
S010，将头戴式避障设备的光学扫描范围作为待检测区域，获取头戴式避障设备中电极矩阵的结构数据。
具体地，所述步骤S010至步骤S030是电极矩阵与待检测区域的映射关系的建立步骤。为了使得实现步骤S700中，在确定有障碍物出现后，能够快速确定与障碍物对应的振动电极，以及所述振动电极的振动幅度，需要预先设定电极矩阵与待检测区域的映射关系。
本步骤中，需要先获取电极矩阵的结构数据，所述结构数据包括电极矩阵的排布方式，有多少行，有多少列等等信息数据。
S020，依据所述电极矩阵的结构数据，将所述待检测区域划分为多个区域单元。所述多个区域单元以矩阵式排布。所述多个区域单元的排布方式与所述电极矩阵中多个振动电极的排布方式一致。每一个区域单元对应一个振动电极。
具体地，本步骤是具体建立映射的过程。以图2中示出的实施例说明，该实施例中的电极矩阵为一个3行4列的阵列式电极矩阵，那么需要将待检测区域划分为12个大小相等的区域单元，区域单元之间也依照3行4列阵列式排布。通过这种建立映射的过程，可以将每一个区域单元与每一个振动电极对应上。
那么在图2中，螺钉在深度图中所覆盖的区域，刚好与振动电极的第3列对应，即j＝3的列，那么螺钉就与j＝3的列的3个振动电极对应。
S030，建立电极矩阵与待检测区域的映射关系。将所述映射关系与振动电极的预设振动规则耦合，生成电极振动函数。所述电极矩阵与待检测区域的映射关系表示为映射关系矩阵。
Figure BDA0002633371300000111
其中，η为电极振动函数。Q为预设振动规则函数。K为映射关系矩阵。i为电极矩阵的行数。j为电极矩阵的列数。xij为电极矩阵中位于第i行第j列的振动电极的横坐标。yij为电极矩阵中位于第i行第j列的振动电极的纵坐标。Aij为电极矩阵中位于第i行第j列的振动电极的振动幅度。
具体地，前述步骤S030已经介绍了如何将电极矩阵中的每一个振动电极与待检测区域中的每一个区域单元进行对应。本步骤中，需要建立建立电极矩阵与待检测区域的映射关系，所述映射关系呈现为公式3中的映射关系矩阵K。
然而，本实施例不光要建立电极矩阵与待检测区域的映射关系，还要在映射关系中加入振动电极的振动幅度与振动规则。那么可以预先人为制定一套预设振动规则，所述预设振动规则呈现为公式3中的预设振动规则函数。进一步地，将电极矩阵与待检测区域的映射关系，与预设振动规则耦合，生成电极振动函数，如公式3所示。
可以理解，当执行步骤S700时，通过调取电极振动函数，不但可以快速确定与障碍物对应的振动电极，还可以确定振动振动方式。振动方式包括振动幅度的大小具体是多少，振动幅度随着时间变化而变化的情况。
本实施例通过生成电极振动函数，实现将处于不同位置的障碍物的位置信息和深度信息，映射为头戴式避障设备中的电极的不同振动方式，便于头戴式避障设备在扫描到障碍物时，可以自动与振动电极匹配，及时控制振动电极振动。
在本申请的一实施例中，所述步骤S500包括如下步骤S510至步骤S530：
S510，依据所述疑似障碍物的深度信息，计算所述疑似障碍物覆盖的像素总个数占整个待检测区域的像素总个数的比例，得到疑似障碍物像素占比。
具体地，以图2为例说明，图2中的疑似障碍物为螺钉，那么需要计算螺钉覆盖的像素总个数，占整个个待检测区域的像素总个数的比例。
S520，判断所述疑似障碍物像素占比是否大于或等于预设像素占比。
具体地，所述预设像素占比由人为设定。可选地，所述预设像素占比可以为6.25％。
S530，若所述疑似障碍物像素占比大于或等于预设像素占比，则确定所述待检测区域内有障碍物出现，将所述疑似障碍物定义为障碍物。
相反的，若所述疑似障碍物像素占比小于预设像素占比，则确定所述待检测区域内没有障碍物出现，此时的疑似障碍物可以认为对使用人不会造成伤害或不会造成影响，可以忽略不计。
本实施例中，通过判断疑似障碍物像素占比是否大于或等于预设像素占比，可以实现对障碍物是否存在于待检测区域的精确判定。
在本申请的一实施例中，所述步骤S700包括如下步骤：
S710，调取所述电极振动函数，依据所述障碍物的深度信息与所述电极振动函数，获取与障碍物对应的振动电极和振动幅度。
具体地，所述电极振动函数的建立方式和工作原理已经在步骤S010至步骤S030的实施例提及，此处不再赘述。
本实施例中，通过调取所述电极振动函数，可以快速且准确的获取与障碍物对应的振动电极和振动幅度，不受周围环境变化的干扰，获取速度快。
在本申请的一实施例中，在障碍物覆盖的像素总个数不变的条件下，当障碍物处于待检测区域的中心时，障碍物对应的振动电极的振动幅度，大于当障碍物处于待检测区域的边缘时，障碍物对应的振动电极的振动幅度。
具体地，本实施例是属于步骤S030中提及的预设振动规则中包括的一种振动规则。本实施例可以预先对待检测区域进行划分，划分出中心区域或边缘区域。障碍物覆盖的像素总个数不变的条件，等价于障碍物与头戴式避障设备的距离不变，换言之，等价于障碍物与使用人的距离不变。那么在此条件下，当障碍物处于待检测区域的中心时，可以认为障碍物进入了使用人的行动范围，且障碍物在使用人的正前方。障碍物有可能干扰到使用人的正常行走。通俗来讲，这属于“挡路”了。因此，此时振动电极的振动幅度要大一些。
当障碍物处于待检测区域的边缘时，可以认为障碍物脱离了使用人的行动范围，障碍物基本不会干扰到使用人的正常行走。因此，此时，振动电极的振动幅度要小一些，但是还是会振动提示。
可选地，所述待检测区域的边缘区域和中心区域的划分需要预先进行人为划分。例如图2中，可以设定中间两列j＝2和j-3覆盖的范围为中心区域。设定i＝1和i＝4两列覆盖的范围为边缘区域。
本实施例中，通过设定障碍物处于待检测区域的边缘和中心的不同情况，控制振动电极以不同的振动幅度振动，实现了振动幅度随着危险程度的变化而变化，便于使用人对障碍物的潜在风险进行甄别。
在本申请的一实施例中，当障碍物处于待检测区域的位置不变的条件下，障碍物覆盖的像素总个数越多，障碍物对应的振动电极的振动幅度越大。
具体地，在障碍物位置不变的条件下，障碍物覆盖的像素总个数越多，表明障碍物距离头戴式避障设备的越近，障碍物也就离使用人越近。请参见图2和图3，图3中的障碍物覆盖的像素总个数明显大于图2中的障碍物覆盖的像素。因此，图3中的障碍物离使用人更近，图2中的障碍物离使用人就远一些。
可以理解，本实施例中，障碍物离使用人越近，设置障碍物对应的振动电极的振动幅度越大。可选地，此时所述头戴式避障设备中的报警模块还可以通过控制LED灯闪烁的方式，通过通过控制扬声器或蜂鸣器发出警报音的方式，提醒使用人对障碍物进行避让。
本实施例可以实现在障碍物逐渐靠近时，振动电极的振动幅度会逐渐加大，给予使用人一个越来越强的反馈，提醒使用人规避障碍物的危险。相反的，在障碍物逐渐远离使用人时，振动电极的振动幅度会逐渐减小，避免给使用人长时间高强度的心理压力。
此外，除了上述2个实施例介绍的预设振动规则，还有很多不同的振动电极位置，不同的电极振动幅度，甚至是不同的振动频率的组合，与实际的障碍物侵入场景的配合实施例，这里就不一一列举。
通过使用不同振动电极位置，不同的电极振动幅度和不同的振动频率的组合，本映射算法可以在障碍物远离使用人、靠近使用人、横向移动等多情况下，灵活且全面的为使用人提供触觉反馈。
本申请还提供一种头戴式避障设备。
在本申请的一实施例中，所述头戴式避障设备采用前述任一实施例中提及的头戴式避障设备的控制方法，用于实时躲避障碍物。
具体地，所述头戴式避障设备的工作原理与前述任一实施例中提及的头戴式避障设备的控制方法的工作原理相同，此处不再赘述。
本实施例中，所述头戴式避障设备通过对待检测区域进行光学扫描和轮廓提取，实现对障碍物的识别与定位。通过将处于不同位置的障碍物的位置信息和深度信息，映射为头戴式避障设备中的电极的不同振动方式，实现在障碍物出现在头戴式避障设备的使用人的可视范围时，能够实时通过电极振动通知使用人主动避障，不受外界环境变化的影响，障碍物的分辨精确度高。
以上所述实施例的各技术特征可以进行任意的组合，各方法步骤也并不做执行顺序的限制，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种头戴式避障设备的控制方法，其特征在于，所述头戴式避障设备的控制方法包括：
对待检测区域进行光学扫描，生成所述待检测区域的深度信息；
基于所述待检测区域的深度信息，对所述待检测区域进行轮廓提取；
基于轮廓提取的结果，判断所述待检测区域内是否有障碍物出现；
若所述待检测区域内有障碍物出现，则进一步依据所述轮廓提取的结果，确定与障碍物对应的振动电极，以及所述振动电极的振动幅度；
控制与障碍物对应的振动电极以所述振动幅度振动。
2.根据权利要求1所述的头戴式避障设备的控制方法，其特征在于，对待检测区域进行光学扫描，生成所述待检测区域的深度信息的步骤，包括：
向待检测区域发射红外光，并接收所述待检测区域反射回来的红外光，采集红外光学数据；
依据所述红外光学数据，生成所述待检测区域的深度信息矩阵，所述深度信息矩阵如公式1所示；
Figure FDA0002633371290000011
其中，M为深度信息矩阵，xmn为待检测区域中一个像素的横向坐标，ymn为待检测区域中一个像素的纵向坐标，dmn为像素(xmn,ymn)到所述头戴式避障设备的距离。
3.根据权利要求2所述的头戴式避障设备的控制方法，其特征在于，在基于所述待检测区域的深度信息，对所述待检测区域进行轮廓提取的步骤之前，所述头戴式避障设备的控制方法还包括：
对所述深度信息矩阵进行噪声过滤。
4.根据权利要求3所述的头戴式避障设备的控制方法，其特征在于，基于所述待检测区域的深度信息，对所述待检测区域进行轮廓提取的步骤，包括：
基于轮廓提取算法，对经噪声过滤后的深度信息矩阵进行卷积，生成待检测区域的轮廓矩阵，所述轮廓矩阵如公式2所示；
H＝M'*f(u,v)*G(u,v) 公式2；
其中，H为轮廓矩阵，M'为经噪声过滤后的深度信息矩阵，f(u,v)为选定的滤波算子，G(u,v)为轮廓提取的传递函数，*代表进行了一次卷积；
依据所述轮廓矩阵，提取所述待检测区域中的疑似障碍物的深度信息，生成所述疑似障碍物的深度图。
5.根据权利要求4所述的头戴式避障设备的控制方法，其特征在于，在对待检测区域进行光学扫描，生成所述待检测区域的深度信息的步骤之前，所述头戴式避障设备的控制方法还包括：
将头戴式避障设备的光学扫描范围作为待检测区域，获取头戴式避障设备中电极矩阵的结构数据；
依据所述电极矩阵的结构数据，将所述待检测区域划分为多个区域单元，所述多个区域单元以矩阵式排布，且所述多个区域单元的排布方式与所述电极矩阵中多个振动电极的排布方式一致；每一个区域单元对应一个振动电极；
建立电极矩阵与待检测区域的映射关系，将所述映射关系与振动电极的预设振动规则耦合，生成电极振动函数；所述电极矩阵与待检测区域的映射关系表示为映射关系矩阵；
Figure FDA0002633371290000031
其中，η为电极振动函数，Q为预设振动规则函数，K为映射关系矩阵，i为电极矩阵的行数，j为电极矩阵的列数，xij为电极矩阵中位于第i行第j列的振动电极的横坐标，yij为电极矩阵中位于第i行第j列的振动电极的纵坐标，Aij为电极矩阵中位于第i行第j列的振动电极的振动幅度。
6.根据权利要求5所述的头戴式避障设备的控制方法，其特征在于，基于轮廓提取的结果，判断所述待检测区域内是否有障碍物出现的步骤，包括：
依据所述疑似障碍物的深度信息，计算所述疑似障碍物覆盖的像素总个数占整个待检测区域的像素总个数的比例，得到疑似障碍物像素占比；
判断所述疑似障碍物像素占比是否大于或等于预设像素占比；
若所述疑似障碍物像素占比大于或等于预设像素占比，则确定所述待检测区域内有障碍物出现，将所述疑似障碍物定义为障碍物。
7.根据权利要求6所述的头戴式避障设备的控制方法，其特征在于，依据所述轮廓提取的结果，确定与障碍物对应的振动电极，以及所述振动电极的振动幅度的步骤，包括：
调取所述电极振动函数，依据所述障碍物的深度信息与所述电极振动函数，获取与障碍物对应的振动电极和振动幅度。
8.根据权利要求7所述的头戴式避障设备的控制方法，其特征在于，在障碍物覆盖的像素总个数不变的条件下，当障碍物处于待检测区域的中心时，障碍物对应的振动电极的振动幅度，大于当障碍物处于待检测区域的边缘时，障碍物对应的振动电极的振动幅度。
9.根据权利要求8所述的头戴式避障设备的控制方法，其特征在于，当障碍物处于待检测区域的位置不变的条件下，障碍物覆盖的像素总个数越多，障碍物对应的振动电极的振动幅度越大。
10.一种头戴式避障设备，其特征在于，采用如权利要求1-9中任一项所述的头戴式避障设备的控制方法，用于实时躲避障碍物。
CN202010817832.8A 2020-08-14 2020-08-14 头戴式避障设备的控制方法与头戴式避障设备 Pending CN111991198A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010817832.8A CN111991198A (zh) 2020-08-14 2020-08-14 头戴式避障设备的控制方法与头戴式避障设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010817832.8A CN111991198A (zh) 2020-08-14 2020-08-14 头戴式避障设备的控制方法与头戴式避障设备

Publications (1)

Publication Number Publication Date
CN111991198A true CN111991198A (zh) 2020-11-27

Family

ID=73473319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010817832.8A Pending CN111991198A (zh) 2020-08-14 2020-08-14 头戴式避障设备的控制方法与头戴式避障设备

Country Status (1)

Country Link
CN (1) CN111991198A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115966034A (zh) * 2023-03-16 2023-04-14 山东通维信息工程有限公司 一种高速公路设备状态数据处理终端

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2978855A1 (fr) * 2011-08-04 2013-02-08 Commissariat Energie Atomique Procede et dispositif de calcul d'une carte de profondeur a partir d'une unique image
CN103327151A (zh) * 2013-07-17 2013-09-25 上海华勤通讯技术有限公司 红外导盲装置、方法及手机
CN105267014A (zh) * 2015-09-22 2016-01-27 西交利物浦大学 基于深度图的盲人辅助行走装置及其辅助方法
CN106156748A (zh) * 2016-07-22 2016-11-23 浙江零跑科技有限公司 基于车载双目相机的交通场景参与者识别方法
CN106650708A (zh) * 2017-01-19 2017-05-10 南京航空航天大学 一种自动驾驶障碍物视觉检测方法与系统
CN109213138A (zh) * 2017-07-07 2019-01-15 北京臻迪科技股份有限公司 一种避障方法、装置及系统
US20190303692A1 (en) * 2016-12-19 2019-10-03 Cloudminds (Shenzhen) Robotics Systems Co., Ltd. Obstacle detection method and apparatus
KR20190119221A (ko) * 2018-04-02 2019-10-22 엘지전자 주식회사 구속 방지 필터를 구비하는 로봇 청소기
CN110612059A (zh) * 2017-05-02 2019-12-24 头部安全知识产权私人有限公司 头戴式设备
CN111191600A (zh) * 2019-12-30 2020-05-22 深圳元戎启行科技有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN111329736A (zh) * 2020-02-25 2020-06-26 何兴 借助振动反馈感知环境图像的系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2978855A1 (fr) * 2011-08-04 2013-02-08 Commissariat Energie Atomique Procede et dispositif de calcul d'une carte de profondeur a partir d'une unique image
CN103327151A (zh) * 2013-07-17 2013-09-25 上海华勤通讯技术有限公司 红外导盲装置、方法及手机
CN105267014A (zh) * 2015-09-22 2016-01-27 西交利物浦大学 基于深度图的盲人辅助行走装置及其辅助方法
CN106156748A (zh) * 2016-07-22 2016-11-23 浙江零跑科技有限公司 基于车载双目相机的交通场景参与者识别方法
US20190303692A1 (en) * 2016-12-19 2019-10-03 Cloudminds (Shenzhen) Robotics Systems Co., Ltd. Obstacle detection method and apparatus
CN106650708A (zh) * 2017-01-19 2017-05-10 南京航空航天大学 一种自动驾驶障碍物视觉检测方法与系统
CN110612059A (zh) * 2017-05-02 2019-12-24 头部安全知识产权私人有限公司 头戴式设备
CN109213138A (zh) * 2017-07-07 2019-01-15 北京臻迪科技股份有限公司 一种避障方法、装置及系统
KR20190119221A (ko) * 2018-04-02 2019-10-22 엘지전자 주식회사 구속 방지 필터를 구비하는 로봇 청소기
CN111191600A (zh) * 2019-12-30 2020-05-22 深圳元戎启行科技有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN111329736A (zh) * 2020-02-25 2020-06-26 何兴 借助振动反馈感知环境图像的系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115966034A (zh) * 2023-03-16 2023-04-14 山东通维信息工程有限公司 一种高速公路设备状态数据处理终端

Similar Documents

Publication Publication Date Title
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
US8900129B2 (en) Video otoscanner with line-of-sight probe and screen
CN103366157B (zh) 一种人眼视线距离的判断方法
US20190192348A1 (en) Active Confocal Imaging Systems and Methods for Visual Prostheses
CN108235774B (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
US20140313308A1 (en) Apparatus and method for tracking gaze based on camera array
EP3065072A1 (en) Apparatus and method for providing reliability for computer aided diagnosis
CN103617611A (zh) 一种自动阈值分割光斑中心及尺寸检测方法
US10571721B2 (en) Computer-implemented method for determining a representation of a rim of a spectacles frame or a representation of the edges of the spectacle lenses
Ali et al. Blind navigation system for visually impaired using windowing-based mean on Microsoft Kinect camera
CN111991198A (zh) 头戴式避障设备的控制方法与头戴式避障设备
CN111105881A (zh) 一种3d测量人类表型的数据库系统
US20230296405A1 (en) Method and system of detecting obstacle elements with a visual aid device
Milotta et al. An electronic travel aid to assist blind and visually impaired people to avoid obstacles
KR20150069739A (ko) 스테레오비전 기반의 어류 개체수 측정방법과 이를 적용한 패턴인식 시스템
US20200209652A1 (en) System and Method of Obtaining Fit and Fabrication Measurements for Eyeglasses Using Depth Map Scanning
CN104715234A (zh) 一种侧视检测方法及系统
Ortigosa et al. Fuzzy free path detection from disparity maps by using least-squares fitting to a plane
CN114494857A (zh) 一种基于机器视觉的室内目标物识别和测距方法
KR100651104B1 (ko) 시선기반 컴퓨터 인터페이스 장치 및 방법
US20190230460A1 (en) Method and apparatus for creating a three-dimensional scenario
CN109144442B (zh) 一种智能云白板
KR101649188B1 (ko) 입체감 측정 방법 및 장치
CN117389336A (zh) 一种智能调节的豚鼠穿戴式眼镜的控制方法及系统
CN117137427A (zh) 一种基于vr的视力检测方法及装置、智能眼镜

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211130

Address after: 300000 room 15-3201, Huaqing Jiayuan, Wuqing District, Tianjin

Applicant after: Li Yuan

Address before: 301700 541-91, No. 18, Fuyuan Road, Wuqing Development Zone, Wuqing District, Tianjin (centralized office area)

Applicant before: Tianjin Weituo Technology Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201127