CN111067767B - 行走辅助设备及其控制方法、控制装置和可读存储介质 - Google Patents

行走辅助设备及其控制方法、控制装置和可读存储介质 Download PDF

Info

Publication number
CN111067767B
CN111067767B CN201911402884.2A CN201911402884A CN111067767B CN 111067767 B CN111067767 B CN 111067767B CN 201911402884 A CN201911402884 A CN 201911402884A CN 111067767 B CN111067767 B CN 111067767B
Authority
CN
China
Prior art keywords
walking
information
mode
walking assistance
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911402884.2A
Other languages
English (en)
Other versions
CN111067767A (zh
Inventor
黄烈超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Tongli Software Development Co ltd
Original Assignee
Xian TCL Software Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian TCL Software Development Co Ltd filed Critical Xian TCL Software Development Co Ltd
Priority to CN201911402884.2A priority Critical patent/CN111067767B/zh
Publication of CN111067767A publication Critical patent/CN111067767A/zh
Application granted granted Critical
Publication of CN111067767B publication Critical patent/CN111067767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Physics & Mathematics (AREA)
  • Emergency Management (AREA)
  • Biomedical Technology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明公开了一种行走辅助设备控制方法,该方法包括:获取行走目标信息,获取所述行走辅助设备所处场景的场景特征信息;根据所述场景特征信息获取所述行走目标信息相关的特征数据;根据所述特征数据和所述行走目标信息,确定行走辅助信息;控制所述行走辅助设备输出所述行走辅助信息。本发明还公开了一种控制装置、行走辅助设备和可读存储介质。本发明旨在准确分析不同场景下的行走辅助信息,提高视障人士出行便利性。

Description

行走辅助设备及其控制方法、控制装置和可读存储介质
技术领域
本发明涉及行走辅助设备技术领域,尤其涉及行走辅助设备控制方法、控制装置、行走辅助设备和可读存储介质。
背景技术
全世界目前大约有4000万的视障人士,为了提高视障人士的生活水平,各种各样的导盲设备应运而生。其中,为了便于视障人士出行,应用于行走辅助的导盲设备会对障碍物进行探测,并基于探测的障碍物对视障人士进行提示。目前的导盲设备一般仅具有单一的探测模式,例如无论视障人士在何种场景下,仅仅采用超声波对障碍物进行探测,这样容易导致某些场景下的障碍物无法识别,大大限制了视障人士的出行。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种行走辅助设备控制方法,旨在准确分析不同场景下的行走辅助信息,提高视障人士出行便利性。
为实现上述目的,本发明提供一种行走辅助设备控制方法,所述行走辅助设备控制方法包括以下步骤:
获取行走目标信息,获取所述行走辅助设备所处场景的场景特征信息;
根据所述场景特征信息获取所述行走目标信息相关的特征数据;
根据所述特征数据和所述行走目标信息,确定行走辅助信息;
控制所述行走辅助设备输出所述行走辅助信息。
可选地,所述根据所述场景特征信息获取所述行走目标信息相关的特征数据的步骤包括:
根据所述场景特征信息确定行走辅助模式;
基于所述行走辅助模式获取所述特征数据。
可选地,所述根据所述场景特征信息确定行走辅助模式的步骤包括:
当所述场景特征信息为第一场景对应的特征信息时,确定所述行走辅助模式为第一模式;
当所述场景特征信息为第二场景对应的特征信息时,确定所述行走辅助模式包括所述第一模式和第二模式。
可选地,所述基于所述行走辅助模式获取所述特征数据的步骤包括:
当所述行走辅助模式为所述第一模式时,获取所述行走辅助设备所处场景的图像数据,作为所述特征数据;
当所述行走辅助模式包括所述第一模式和所述第二模式时,获取所述行走辅助设备所处场景的图像数据,以及获取所述行走目标信息相关的导航数据,作为所述特征数据。
可选地,所述根据所述特征数据和所述行走目标信息,确定行走辅助信息的步骤之前,还包括:
获取所述行走辅助设备的网络连接状态;
基于所述网络连接状态确定目标分析方式;
所述根据所述特征数据和所述行走目标信息,确定行走辅助信息的步骤包括:
采用所述目标分析方式分析所述特征数据和所述行走目标信息,确定所述行走辅助信息。
可选地,所述基于所述网络连接状态确定目标分析方式的步骤包括:
当所述网络连接状态为断网状态时,确定所述目标分析方式为离线分析方式;
当所述网络连接状态为联网状态时,确定所述目标分析方式为在线分析方式,或,在线与离线同步分析方式。
可选地,当所述目标分析方式为在线与离线同步分析方式时,所述采用所述目标分析方式分析所述特征数据和所述行走目标信息,确定所述行走辅助信息的步骤包括:
将所述特征数据和所述行走目标信息分别采用在线方式和离线方式同时分析;
将最早得到的分析结果,作为所述行走辅助信息。
可选地,所述基于所述行走辅助模式获取所述特征数据的步骤之前,还包括:
判断所述第一模式和所述第二模式是否均处于异常状态;
若是,则获取所述行走辅助设备所在环境中的红外探测信息;
根据所述红外探测信息生成所述行走辅助信息;
若否,则执行所述基于所述行走辅助模式获取所述特征数据的步骤。
可选地,所述行走辅助设备控制方法还包括以下步骤:
获取基于骨传导耳机采集的语音信息;
解析所述语音信息,获得解析结果;
当所述解析结果包括所述行走辅助的控制指令时,根据所述控制指令控制所述行走辅助设备运行。
可选地,所述解析所述语音信息,获得解析结果的步骤之前,还包括:
对所述语音信息进行降噪处理。
可选地,所述解析所述语音信息,获得解析结果的步骤之后,还包括:
当所述解析结果包括行走目标信息时,执行所述获取行走目标信息,获取所述行走辅助设备所处场景的场景特征信息的步骤。
可选地,所述解析所述语音信息,获得解析结果的步骤之前,还包括:
获取所述行走辅助设备的网络连接状态;
基于所述网络连接状态确定目标解析方式;
所述解析所述语音信息,获得解析结果的步骤包括:
采用所述目标解析方式解析所述语音信息,得到所述解析结果。
可选地,所述基于网络连接状态确定目标解析方式的步骤包括:
当所述网络连接状态为断网状态时,确定所述目标解析方式为离线解析方式;
当所述网络连接状态为联网状态时,确定所述目标解析方式为在线解析方式,或,在线与离线同步解析方式。
可选地,当所述目标解析方式为在线与离线同步解析方式时,采用所述目标解析方式解析所述语音信息,得到所述解析结果的步骤包括:
将所述语音信息分别采用在线方式和离线方式同时解析;
将最早得到的解析结果,作为所述语音信息的解析结果。
可选地,所述行走辅助设备控制方法还包括:
当检测到预设信号时,获取所述行走辅助设备的位置信息和/或行走辅助设备采集的声音信号;
根据所述位置信息和/或所述声音信号生成求救信号;
发送所述求救信号至预设终端;且/或,
所述控制所述行走辅助设备输出所述行走辅助信息的步骤包括:
控制所述行走辅助设备中的骨传导耳机,以语音方式输出所述行走辅助信息。
此外,为了实现上述目的,本申请还提出一种控制装置,所述控制装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的行走辅助设备控制程序,所述行走辅助设备控制程序被所述处理器执行时实现如上任一项所述的行走辅助设备控制方法的步骤。
此外,为了实现上述目的,本申请还提出一种行走辅助设备,所述行走辅助设备包括:
摄像头;
导航定位模块;
如上所述的控制装置,所述摄像头和所述导航定位模块均与所述控制装置连接。
此外,为了实现上述目的,本申请还提出一种可读存储介质,所述可读存储介质上存储有行走辅助设备控制程序,所述行走辅助设备控制程序被处理器执行时实现如上任一项所述的行走辅助设备控制方法的步骤。
本发明提出的一种行走辅助设备控制方法,该方法基于行走辅助设备所处场景的场景特征信息获取行走目标信息相关的特征数据,结合获取的特征数据和行走目标信息确定行走辅助信息,控制行走辅助设备输出行走辅助信息。其中,由于用于行走辅助信息分析的特征数据是基于行走辅助设备所处场景的场景特征信息获取的,不同类型的场景所获取的特征数据不同,因此,可使行走辅助信息可适应于不同场景准确分析,保证行走辅助设备在不同场景下应用时输出的行走辅助信息的准确性,从而使视障人士可基于接收到的行走辅助信息实现无障碍同行,提高视障人士出行便利性。
附图说明
图1是本发明行走辅助设备一实施例的结构示意图;
图2为本发明行走辅助设备一实施例运行涉及的硬件结构示意图;
图3为本发明行走辅助设备控制方法第一实施例的流程示意图;
图4为本发明行走辅助设备控制方法第二实施例的流程示意图;
图5为本发明行走辅助设备控制方法第三实施例的流程示意图;
图6为本发明行走辅助设备控制方法第四实施例的流程示意图;
图7为本发明行走辅助设备控制方法第五实施例的流程示意图;
图8为本发明行走辅助设备控制方法第六实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例的主要解决方案是:获取行走目标信息,获取所述行走辅助设备所处场景的场景特征信息;根据所述场景特征信息获取所述行走目标信息相关的特征数据;根据所述特征数据和所述行走目标信息,确定行走辅助信息;控制所述行走辅助设备输出所述行走辅助信息。
由于现有技术中的导盲设备一般仅具有单一的探测模式,例如无论视障人士在何种场景下,仅仅采用超声波对障碍物进行探测,并且探测数据的分析局限于导盲设备的内部分析,这样容易导致某些场景下的障碍物无法识别,大大限制了视障人士的出行。
本发明提供上述的解决方案,旨在准确分析不同场景下的行走辅助信息,提高视障人士出行便利性。
本发明提出一种行走辅助设备,主要用于视力障碍人士等人员的行走辅助。
参照图1,行走辅助设备可包括摄像头100、导航定位模块200和控制装置300。摄像头100和导航定位模块200均与控制装置300连接。其中,摄像头100可用于获取行走辅助设备所在场景的图像数据,以使控制装置300可基于图像识别分析行走辅助信息。导航定位模块200可用于获取行走辅助设备在导航系统(如GPRS)中的定位信息,以使控制装置300可基于导航定位数据分析行走辅助信息。
此外,参照图1,行走辅助设备还包括红外探测模块400、骨传导耳机500、按键模块600和网络通信模块700。红外探测模块400、骨传导耳机500、按键模块600和网络通信模块700均与控制装置连接。其中,红外探测模块400可获取行走辅助设备所在场景的红外探测数据,以使控制装置300可基于红外探测数据分析行走辅助信息。骨传导耳机500可用于播放语音信息(例如将行走辅助信息以语音的方式播放),也可用于拾取佩戴该耳机的用户所发出的语音信息,以使控制装置可基于语音信息分析用户的语音控制指令和行走目标信息等。按键模块600可包括一个或多个通过接触触发的功能按键,例如,按键模块600可包括导航定位键、求救键、语音识别控制开关等,当视障人士无法语音控制导航定位功能时,可通过触发导航定位键开启导航定位功能,当视障人士遇到紧急情况时,可通过触发求救键发出求救信号。网络通信模块700具体用于行走辅助设备联网,以实现行走辅助设备可使用网络数据在线分析图像数据和/或导航定位数据得到行走辅助信息、在线语音识别等。网络通信模块700具体为5G通信模块。
在其他实施例中,行走辅助设备可只包括红外探测模块400、骨传导耳机500、按键模块600和网络通信模块700中的一个或几个,可根据实际需求的功能进行选择。
在本实施例中,参照图1,行走辅助设备具体为行走辅助眼镜,上述各部件(摄像头100、导航定位模块200、控制装置300、红外探测模块400、骨传导耳机500、按键模块600和网络通信模块700等)均集成安装于行走辅助眼镜。行走在其他实施例中,行走辅助设备还可以是其他的头部穿戴设备。上述各部件可根据需求分体设置,例如行走辅助设备可以是包括骨传导耳机和盲杖分体形成的设备,上述部件可根据需求设置在两个分体装置上。
在本发明实施例中,参照图2,控制装置300包括:处理器3001,例如CPU,存储器3002等。存储器1002可以是高速RAM存储器,也可以是稳定的存储器(non-volatilememory),例如磁盘存储器。存储器3002可选的还可以是独立于前述处理器3001的存储装置。
存储器3002与处理器3001连接。其中,存储器3002可存储有图像识别、导航定位等分析行走辅助信息所需的离线数据。上述的摄像头100、导航定位模块200、红外探测模块400、骨传导耳机500、按键模块600和网络通信模块700均与处理器3001连接。
本领域技术人员可以理解,图2中示出的装置结构并不构成对装置的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图2所示,作为一种可读存储介质的存储器3002中可以包括行走辅助设备控制程序。在图2所示的装置中,处理器3001可以用于调用存储器3002中存储的行走辅助设备控制程序,并执行以下实施例中行走辅助设备控制方法的相关步骤操作。
本发明还提供一种行走辅助设备控制方法。
参照图3,提出本发明行走辅助设备控制方法第一实施例,所述行走辅助设备控制方法包括:
步骤S10,获取行走目标信息,获取所述行走辅助设备所处场景的场景特征信息;
行走目标信息具体指的是表征行走辅助设备的用户行走所需到达的地点、所需获取的物件和/或偏向路线等的信息。行走目标信息可具体包括地名、地址、物件名称等。行走目标信息可通过语音、按键等方式进行输入,因此通过识别语音信息或按键信息等便可获取到用户的行走目标信息。例如,用户需要到医院,则可输入“医院”的行走目标信息;用户需要使用冰箱,则可输入“冰箱”的行走目标信息。
场景特征信息具体为表征行走辅助设备所处的不同场景的特征信息。不同的场景对应不同的场景特征信息,例如室外场景与室内场景对应的场景特征信息不同。场景特征信息可依据用户输入的指令分析得到,例如,用户进入室内,可向行走辅助设备输入包含“室内”的第一指令信息,第一指令信息可作为场景特征信息,用户来到室外,可向行走辅助设备输入包含“室外”的第二指令信息,第二指令信息可作为场景特征信息。此外,场景特征信息也可通过图像和/或导航定位等实时分析得到,例如识别到室内场景对应的特征图像时,表明场景特征信息为室内;识别到室外场景对应的特征图像时,表明场景特征信息为室外。
步骤S20,根据所述场景特征信息获取所述行走目标信息相关的特征数据;
这里的特征数据指的表征使用行走辅助设备的用户在其所在位置,与行走目标信息对应的行走目标之间场景情况的数据。
不同场景特征信息对应不同的特征数据的获取方式(如不同的特征数据的类型、不同的数据采集方式等)。因此,可基于场景特征信息确定的特征数据的获取方式,采用所确定的获取方式对应获取行走目标信息相关的特征数据。
步骤S30,根据所述特征数据和所述行走目标信息,确定行走辅助信息;
行走辅助信息具体包括障碍物信息、行走方向信息、离目标距离等所有可为行走辅助设备的用户的行走提供场景感知、行走指引的信息。
具体的,可基于特征数据和行走目标信息,分析得到行走辅助设备的用户所在位置与行走目标之间的障碍物情况和可通行通道情况,基于障碍物情况和可通行通道情况,生成行走辅助信息。
步骤S40,控制所述行走辅助设备输出所述行走辅助信息。
控制行走辅助设备可通过语音、振动等方式输出行走辅助信息。具体的,控制所述行走辅助设备中的骨传导耳机,以语音方式输出所述行走辅助信息。
本发明实施例提出的一种行走辅助设备控制方法,该方法基于行走辅助设备所处场景的场景特征信息获取行走目标信息相关的特征数据,结合获取的特征数据和行走目标信息确定行走辅助信息,控制行走辅助设备输出行走辅助信息。其中,由于用于行走辅助信息分析的特征数据是基于行走辅助设备所处场景的场景特征信息获取的,不同类型的场景所获取的特征数据不同,因此,可使行走辅助信息可适应于不同场景准确分析,保证行走辅助设备在不同场景下应用时输出的行走辅助信息的准确性,从而使视障人士可基于接收到的行走辅助信息实现无障碍同行,提高视障人士出行便利性。
进一步的,基于第一实施例,提出本申请行走辅助设备控制方法第二实施例。在第二实施例中,参照图4,所述步骤S20包括:
步骤S21,根据所述场景特征信息确定行走辅助模式;
不同的场景特征信息对应不同的行走辅助模式。不同的行走辅助模式所获取的特征数据类型不同,基于特征数据分析得到行走辅助信息的方式不同。具体的,当所述场景特征信息为第一场景对应的特征信息时,确定所述行走辅助模式为第一模式;当所述场景特征信息为第二场景对应的特征信息时,确定所述行走辅助模式包括所述第一模式和第二模式。例如,场景特征信息为室内的特征信息时,确定行走辅助模式为图像识别模式;场景特征信息为室外的特征信息时,确定行走辅助模式为图像识别模式结合导航定位模式。
步骤S22,基于所述行走辅助模式获取所述特征数据。
不同行走辅助模式对应获取的特征数据不同。具体的,当所述行走辅助模式为所述第一模式时,获取所述行走辅助设备所处场景的图像数据,作为所述特征数据;当所述行走辅助模式包括所述第一模式和所述第二模式时,获取所述行走辅助设备所处场景的图像数据,以及,获取所述行走目标信息相关的导航数据,作为所述特征数据。
进一步的,在执行根据所述特征数据和所述行走目标信息,确定行走辅助信息的步骤时,基于所确定的行走辅助模式分析特征数据和行走目标信息,确定行走辅助信息。不同的行走辅助模式对应不同的行走辅助信息的分析过程。具体的,当行走辅助设备所处的场景为第一场景(如室内),行走辅助模式为图像识别模式时,特征数据仅包含行走辅助设备所处场景的图像数据,则根据特征数据和行走目标信息确定行走辅助信息时,可分析图像数据中是否包含有行走目标信息对应的图像,当图像数据中包含行走目标信息对应的图像时,可基于行走目标信息对应的图像在图像数据中的图像位置信息,分析用户的行走方向、行走距离等。同时,还可在所分析的用户上进一步基于图像数据分析路径上的障碍物信息等场景信息,将行走方向、行走距离和障碍物信息等作为行走辅助信息。
此外,当行走辅助设备所处的场景为第二场景(如室外),行走辅助模式为导航定位模式结合图像识别模式,特征数据既包括行走目标信息相关的导航数据(如行走路线、行走辅助设备的实时位置等),则根据特征数据和行走目标信息确定行走辅助信息时,可基于导航数据和行走目标信息(导航路线和用户实时定位等)分析用户的行走方向和行走距离,同时基于图像数据分析用户行走路径上的障碍物信息(如障碍物大小、障碍物距离等),将行走方向、行走距离和障碍物信息等作为行走辅助信息。
在本实施例中,不同的场景特征信息对应不同的行走辅助模式,针对不同的行走辅助模式差异性获取特征数据,结合所获取的特征数据和行走目标信息,便可准确分析在不同场景下的行走辅助信息。其中,由于导航数据在室内场景中一般无法应用,因此在室内场景中结合图像数据和行走目标信息,分析行走辅助信息,从而实现对室内场景中的行走辅助信息的准确分析,保证视障人士可在室内场景中无障碍行走。此外,由于室外场景较为复杂多变,因此在室外场景中结合导航数据、图像数据和行走目标信息分析行走辅助信息,从而实现室外场景中的行走辅助信息的准确分析,保证视障人士可在室外场景中无障碍行走。
进一步的,基于上述任一实施例,提出本申请行走辅助设备控制方法第三实施例。在第三实施例中,参照图5,所述步骤S30之前,还包括:
步骤S01,获取所述行走辅助设备的网络连接状态;
网络连接状态表征的是行走辅助设备是否联网的状态信息。网络连接状态具体包括断网状态和联网状态。
步骤S02,基于所述网络连接状态确定目标分析方式;
不同的网络连接状态,对应不同的目标分析方式。这里的目标分析方式指的是对特征数据和行走目标信息进行数据处理的渠道。具体的,当所述网络连接状态为断网状态时,确定所述目标分析方式为离线分析方式;当所述网络连接状态为联网状态时,确定所述目标分析方式为在线分析方式,或,在线与离线同步分析方式。
其中,当所述网络连接状态为联网状态时,不同的行走辅助模式可对应不同的目标分析方式。例如,图像识别模式在联网状态下对应的目标分析方式为在线与离线同步分析;导航定位模式在在联网状态下对应的目标分析方式为在线分析。而行走辅助模式包括图像识别模式和导航定位模式时,所对应的特征数据可分别采用对应的目标分析方式进行分析。
所述步骤S30包括:
步骤S31,采用所述目标分析方式分析所述特征数据和所述行走目标信息,确定所述行走辅助信息。
具体的,当目标分析方式包括离线分析方式时,将特征数据和行走目标信息通过行走辅助设备的内部处理器进行数据处理分析,以分析得到行走辅助信息;当目标分析方式包括在线分析方式时,将特征数据和行走目标信息通过网络发送到云端,由云端进行数据处理分析,以分析得到行走辅助信息返回到行走辅助设备。
在本实施例中,不同的网络连接状态下采用不同的分析方式对特征数据和行走目标信息进行分析得到行走辅助信息,其中,断网状态下采用离线分析方式,从而保证无网络状态下行走辅助设备也可保证用户的基本行走需求;由于云端搜集的数据样本丰富,因此云端的分析更为准确,在联网状态下引入在线分析方式,从而保证有网络状态下所分析得到的行走辅助信息更为准确。
在第三实施例中,当所述目标分析方式为在线与离线同步分析方式时,所述采用所述目标分析方式分析所述特征数据和所述行走目标信息,确定所述行走辅助信息的步骤包括:将所述特征数据和所述行走目标信息分别采用在线方式和离线方式同时分析;将最早得到的分析结果,作为所述行走辅助信息。通过此方式,可保证行走辅助信息输出的效率。
进一步的,基于上述第二或第三实施例,提出本申请行走辅助设备控制方法第四实施例。在第四实施例中,参照图6,所述步骤S22之前,还包括:
步骤S201,判断所述第一模式和所述第二模式是否均处于异常状态;
若是,则执行步骤S202、步骤S203;若否,则执行步骤S22。
步骤S202,获取所述行走辅助设备所在环境中的红外探测信息;
步骤S203,根据所述红外探测信息生成所述行走辅助信息;
第一模式和第二模式处于异常状态,指的是无法获取第一模式和第二模式所对应的特征数据或者无法基于所获取的特征数据分析得到行走辅助信息。若行走辅助设备无法基于第一模式和第二模式输出行走辅助信息时,用户可通过语音、按键等方式输入表征其异常状态的指令信息,通过识别用户的输入指令信息便可确定第一模式和第二模式是否处于异常状态。此外,还可通过检测第一模式和第二模式相关的功能模块(如摄像头和导航定位模块等)的工作参数,判断该工作参数是否满足预设条件,从而实现对第一模式和第二模式是否处于异常状态的判断。
当第一模式和第二模式处于异常状态时,可则打开红外探测功能,基于红外探测信息检测障碍物的距离,基于障碍物的距离生成行走辅助信息,从而实现第一模式和第二模式无法输出精确的行走辅助信息时,也可基于红外探测信息生成行走辅助信息,从而为用户提供基本的行走辅助保障。
进一步的,基于上述任一实施例,提出本申请行走辅助设备控制方法第五实施例。在第五实施例中,参照图7,所述行走辅助设备控制方法还包括以下步骤:
步骤S100,获取基于骨传导耳机采集的语音信息;
步骤S200,解析所述语音信息,获得解析结果;
其中,在解析语音信息之前,可先对所述语音信息进行降噪处理,以保证解析结果的准确性。
步骤S300,当所述解析结果包括所述行走辅助的控制指令时,根据所述控制指令控制所述行走辅助设备运行。
这里的控制指令可以是行走辅助设备运行相关的任意控制指令。
在本实施例中,基于骨传导耳机采集的语音信息解析得到相应的行走辅助设备的控制指令,对行走辅助设备进行控制,实现用户可通过发出语音便可实现对行走辅助设备的控制,提高用户使用行走辅助设备的便利性。其中,骨传导耳机的使用具有很多优点,例如不受外接噪声干扰,而且自己的声音也不会干扰到外接,解放双耳不会堵塞耳朵,解决的入耳式耳机佩戴的不适感和长时间佩戴对耳听力造成不可逆的损失,而且除了行走辅助信息以外,用户也不会错过外接环境中的信息,有效避免危险情况的发生,提高视障人士行走的安全性。
基于此,上述任一实施例中,步骤S200之后,当所述解析结果包括行走目标信息时,执行所述获取行走目标信息,获取所述行走辅助设备所处场景的场景特征信息的步骤。用户通过发出语音,便可使行走辅助设备获取到其行走目标信息。例如,用户发出“冰箱在哪里”的语音信息,对该语音信息进行解析,便可得到“冰箱”作为用户的行走目标信息。用户发出“想去医院”的语音信息,对该语音信息进行解析,便可得到“医院”作为用户的行走目标信息。
具体的,在第五实施例中,所述步骤S200之前,还包括:
步骤S001,获取所述行走辅助设备的网络连接状态;
步骤S002,基于所述网络连接状态确定目标解析方式;
不同的网络连接状态,对应不同的目标解析方式。这里的目标解析方式指的是对语音信息进行数据处理的渠道。当所述网络连接状态为断网状态时,确定所述目标解析方式为离线解析方式;当所述网络连接状态为联网状态时,确定所述目标解析方式为在线解析方式,或,在线与离线同步解析方式。
所述步骤S200包括:
步骤S210,采用所述目标解析方式解析所述语音信息,得到所述解析结果。
具体的,当目标解析方式包括离线解析方式时,将语音信息通过行走辅助设备的内部处理器进行数据处理解析,以解析得到行走辅助信息;当目标解析方式包括在线解析方式时,将语音信息通过网络发送到云端,由云端进行数据处理解析,以解析得到行走辅助信息返回到行走辅助设备。
在本实施例中,不同的网络连接状态下采用不同的解析方式对语音信息进行解析,其中,断网状态下采用离线解析方式,从而保证无网络状态下行走辅助设备也可满足用户的使用需求;由于云端搜集的数据样本丰富,因此云端的解析更为准确,在联网状态下引入在线解析方式,从而保证有网络状态下所解析得到的行走目标信息或控制指令更为准确。
其中,当所述目标解析方式为在线与离线同步解析方式时,采用所述目标解析方式解析所述语音信息,得到所述解析结果的步骤包括:将所述语音信息分别采用在线方式和离线方式同时解析;将最早得到的解析结果,作为所述语音信息的解析结果。通过此方式,可保证语音信息的解析效率。
进一步的,基于上述任一实施例,提出本申请行走辅助设备控制方法第六实施例。在第六实施例中,参照图8,所述行走辅助设备控制方法还包括:
步骤S1,当检测到预设信号时,获取所述行走辅助设备的位置信息和/或行走辅助设备采集的声音信号;
用户可通过求救按键触发所述预设信号。这里的位置信息具体可通过行走辅助设备的导航定位模块获取,声音信号具体可通过行走辅助设备的骨传导耳机采集。
步骤S2,根据所述位置信息和/或所述声音信号生成求救信号;
步骤S3,发送所述求救信号至预设终端。
预设终端可以是指定的手机或公安机关的报警平台。
在本实施例中,通过上述方式,可在用户遇到危急情况时,及时通过发出求救信息,从而保证使用行走辅助设备的用户的安全。
此外,本发明实施例还提出一种可读存储介质,所述可读存储介质上存储有行走辅助设备控制程序,所述行走辅助设备控制程序被处理器执行时实现如上行走辅助设备控制方法任一实施例的相关步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,行走辅助设备,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (14)

1.一种行走辅助设备控制方法,其特征在于,所述行走辅助设备控制方法包括以下步骤:
获取行走目标信息,获取所述行走辅助设备所处场景的场景特征信息;
根据所述场景特征信息确定行走辅助模式;其中,当所述场景特征信息为第一场景对应的特征信息时,确定所述行走辅助模式为第一模式;当所述场景特征信息为第二场景对应的特征信息时,确定所述行走辅助模式包括所述第一模式和第二模式;
基于所述行走辅助模式获取特征数据;其中,当所述行走辅助模式为所述第一模式时,获取所述行走辅助设备所处场景的图像数据,作为所述特征数据;当所述行走辅助模式包括所述第一模式和所述第二模式时,获取所述行走辅助设备所处场景的图像数据,以及获取所述行走目标信息相关的导航数据,作为所述特征数据;
获取所述行走辅助设备的网络连接状态;
基于所述网络连接状态确定目标分析方式;
采用所述目标分析方式分析所述特征数据和所述行走目标信息,确定行走辅助信息;
控制所述行走辅助设备输出所述行走辅助信息。
2.如权利要求1所述的行走辅助设备控制方法,其特征在于,所述基于所述网络连接状态确定目标分析方式的步骤包括:
当所述网络连接状态为断网状态时,确定所述目标分析方式为离线分析方式;
当所述网络连接状态为联网状态时,确定所述目标分析方式为在线分析方式,或,在线与离线同步分析方式。
3.如权利要求2所述的行走辅助设备控制方法,其特征在于,当所述目标分析方式为在线与离线同步分析方式时,所述采用所述目标分析方式分析所述特征数据和所述行走目标信息,确定所述行走辅助信息的步骤包括:
将所述特征数据和所述行走目标信息分别采用在线方式和离线方式同时分析;
将最早得到的分析结果,作为所述行走辅助信息。
4.如权利要求1至3中任一项所述的行走辅助设备控制方法,其特征在于,所述基于所述行走辅助模式获取所述特征数据的步骤之前,还包括:
判断所述第一模式和所述第二模式是否均处于异常状态;
若是,则获取所述行走辅助设备所在环境中的红外探测信息;
根据所述红外探测信息生成所述行走辅助信息;
若否,则执行所述基于所述行走辅助模式获取所述特征数据的步骤。
5.如权利要求1至3中任一项所述的行走辅助设备控制方法,其特征值在于,所述行走辅助设备控制方法还包括以下步骤:
获取基于骨传导耳机采集的语音信息;
解析所述语音信息,获得解析结果;
当所述解析结果包括所述行走辅助的控制指令时,根据所述控制指令控制所述行走辅助设备运行。
6.如权利要求5所述的行走辅助设备控制方法,其特征在于,所述解析所述语音信息,获得解析结果的步骤之前,还包括:
对所述语音信息进行降噪处理。
7.如权利要求5所述的行走辅助设备控制方法,其特征在于,所述解析所述语音信息,获得解析结果的步骤之后,还包括:
当所述解析结果包括行走目标信息时,执行所述获取行走目标信息,获取所述行走辅助设备所处场景的场景特征信息的步骤。
8.如权利要求7所述的行走辅助设备控制方法,其特征在于,所述解析所述语音信息,获得解析结果的步骤之前,还包括:
获取所述行走辅助设备的网络连接状态;
基于所述网络连接状态确定目标解析方式;
所述解析所述语音信息,获得解析结果的步骤包括:
采用所述目标解析方式解析所述语音信息,得到所述解析结果。
9.如权利要求8所述的行走辅助设备控制方法,其特征在于,所述基于网络连接状态确定目标解析方式的步骤包括:
当所述网络连接状态为断网状态时,确定所述目标解析方式为离线解析方式;
当所述网络连接状态为联网状态时,确定所述目标解析方式为在线解析方式,或,在线与离线同步解析方式。
10.如权利要求9所述的行走辅助设备控制方法,其特征在于,当所述目标解析方式为在线与离线同步解析方式时,采用所述目标解析方式解析所述语音信息,得到所述解析结果的步骤包括:
将所述语音信息分别采用在线方式和离线方式同时解析;
将最早得到的解析结果,作为所述语音信息的解析结果。
11.如权利要求1至3中任一项所述的行走辅助设备控制方法,其特征在于,所述行走辅助设备控制方法还包括:
当检测到预设信号时,获取所述行走辅助设备的位置信息和/或行走辅助设备采集的声音信号;
根据所述位置信息和/或所述声音信号生成求救信号;
发送所述求救信号至预设终端;且/或,
所述控制所述行走辅助设备输出所述行走辅助信息的步骤包括:
控制所述行走辅助设备中的骨传导耳机,以语音方式输出所述行走辅助信息。
12.一种控制装置,其特征在于,所述控制装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的行走辅助设备控制程序,所述行走辅助设备控制程序被所述处理器执行时实现如权利要求1至11中任一项所述的行走辅助设备控制方法的步骤。
13.一种行走辅助设备,其特征在于,所述行走辅助设备包括:
摄像头;
导航定位模块;
如权利要求12所述的控制装置,所述摄像头和所述导航定位模块均与所述控制装置连接。
14.一种可读存储介质,其特征在于,所述可读存储介质上存储有行走辅助设备控制程序,所述行走辅助设备控制程序被处理器执行时实现如权利要求1至11中任一项所述的行走辅助设备控制方法的步骤。
CN201911402884.2A 2019-12-30 2019-12-30 行走辅助设备及其控制方法、控制装置和可读存储介质 Active CN111067767B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911402884.2A CN111067767B (zh) 2019-12-30 2019-12-30 行走辅助设备及其控制方法、控制装置和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911402884.2A CN111067767B (zh) 2019-12-30 2019-12-30 行走辅助设备及其控制方法、控制装置和可读存储介质

Publications (2)

Publication Number Publication Date
CN111067767A CN111067767A (zh) 2020-04-28
CN111067767B true CN111067767B (zh) 2022-12-23

Family

ID=70320088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911402884.2A Active CN111067767B (zh) 2019-12-30 2019-12-30 行走辅助设备及其控制方法、控制装置和可读存储介质

Country Status (1)

Country Link
CN (1) CN111067767B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186141A (zh) * 2011-05-06 2011-09-14 中国华录集团有限公司 基于gps和3g网络的盲人导航服务系统
CN107830866A (zh) * 2017-10-27 2018-03-23 林向阳 盲人导航方法
WO2018119588A1 (zh) * 2016-12-26 2018-07-05 深圳前海达闼云端智能科技有限公司 一种盲人安全出行实现方法、系统以及可穿戴设备
WO2018161251A1 (zh) * 2017-03-07 2018-09-13 深圳市欸阿技术有限公司 一种智能导盲系统及方法、具有智能导盲功能的服装
CN109481248A (zh) * 2018-12-26 2019-03-19 浙江师范大学 一种智能导盲眼镜
CN109674628A (zh) * 2019-01-29 2019-04-26 桂林电子科技大学 一种智能眼镜
CN109925171A (zh) * 2019-04-18 2019-06-25 四川大学 一种多功能导航设备
CN110246178A (zh) * 2019-07-09 2019-09-17 华东师范大学 一种模块化智能视障辅助系统
CN209405201U (zh) * 2018-07-11 2019-09-20 福建(泉州)哈工大工程技术研究院 一种辅助盲人导航的智能装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186141A (zh) * 2011-05-06 2011-09-14 中国华录集团有限公司 基于gps和3g网络的盲人导航服务系统
WO2018119588A1 (zh) * 2016-12-26 2018-07-05 深圳前海达闼云端智能科技有限公司 一种盲人安全出行实现方法、系统以及可穿戴设备
WO2018161251A1 (zh) * 2017-03-07 2018-09-13 深圳市欸阿技术有限公司 一种智能导盲系统及方法、具有智能导盲功能的服装
CN107830866A (zh) * 2017-10-27 2018-03-23 林向阳 盲人导航方法
CN209405201U (zh) * 2018-07-11 2019-09-20 福建(泉州)哈工大工程技术研究院 一种辅助盲人导航的智能装置
CN109481248A (zh) * 2018-12-26 2019-03-19 浙江师范大学 一种智能导盲眼镜
CN109674628A (zh) * 2019-01-29 2019-04-26 桂林电子科技大学 一种智能眼镜
CN109925171A (zh) * 2019-04-18 2019-06-25 四川大学 一种多功能导航设备
CN110246178A (zh) * 2019-07-09 2019-09-17 华东师范大学 一种模块化智能视障辅助系统

Also Published As

Publication number Publication date
CN111067767A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
JP6520878B2 (ja) 音声取得システムおよび音声取得方法
US9485474B2 (en) System and method for learning driving information in vehicle
CN107336243B (zh) 基于智能移动终端的机器人控制系统及控制方法
US9805619B2 (en) Intelligent glasses for the visually impaired
JP6402748B2 (ja) 音声対話装置および発話制御方法
EP1375084A1 (en) Robot audiovisual system
KR100543376B1 (ko) 이동로봇의 화상 송신 장치
EP3002753A1 (en) Speech enhancement method and apparatus for same
KR100593688B1 (ko) 이동로봇의 화상 송신 장치
US10775794B2 (en) Following system for mobile robot to follow moving object
KR101687296B1 (ko) 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 시스템 및 객체 추적 방법
KR20150097043A (ko) 스마트 안경 및 지팡이를 이용한 시각 장애인 보조 시스템 및 방법
JP2022526702A (ja) 盲人及び視覚障害者用の立体音響装置
CN111667824A (zh) 智能体装置、智能体装置的控制方法及存储介质
US10499315B2 (en) Information processing apparatus and information processing method
CN111067767B (zh) 行走辅助设备及其控制方法、控制装置和可读存储介质
CN107548483B (zh) 控制方法、控制装置、系统以及包括这样的控制装置的机动车辆
CN117095680A (zh) 车辆控制方法、装置、设备及存储介质
CN113257251B (zh) 机器人使用者的识别方法、设备及存储介质
US11792484B2 (en) Information providing system, information providing method and management apparatus for information providing system for providing information obtained through a robot
KR20160005989A (ko) 청각장애인용 안전보조시스템
KR20160015704A (ko) 글라스형 웨어러블 디바이스를 이용한 지인 인식시스템 및 인식방법
KR20160023226A (ko) 글라스형 웨어러블 디바이스를 이용한 글라스형 웨어러블 디바이스와 연동된 외부단말기 위치 탐색 시스템 및 탐색 방법
US20230298340A1 (en) Information processing apparatus, mobile object, control method thereof, and storage medium
Kumar et al. Visual Impaired Assist Mobile App using CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 710065 Yinghua five Rd floor, 50 Jinye Road, Xi'an High-tech Zone, Shaanxi

Patentee after: Xi'an Tongli Software Development Co.,Ltd.

Address before: 710065 Yinghua five Rd floor, 50 Jinye Road, Xi'an High-tech Zone, Shaanxi

Patentee before: XI'AN TCL SOFTWARE DEVELOPMENT Co.,Ltd.

CP01 Change in the name or title of a patent holder