CN113032521A - 导盲方法、导盲装置、导盲设备及计算机可读存储介质 - Google Patents

导盲方法、导盲装置、导盲设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113032521A
CN113032521A CN202110245928.6A CN202110245928A CN113032521A CN 113032521 A CN113032521 A CN 113032521A CN 202110245928 A CN202110245928 A CN 202110245928A CN 113032521 A CN113032521 A CN 113032521A
Authority
CN
China
Prior art keywords
user
target
blind guiding
searched
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110245928.6A
Other languages
English (en)
Inventor
郑健彦
潘建宁
郭销淳
毛茂德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Technology Co Ltd
Original Assignee
Guangzhou Huya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Technology Co Ltd filed Critical Guangzhou Huya Technology Co Ltd
Priority to CN202110245928.6A priority Critical patent/CN113032521A/zh
Publication of CN113032521A publication Critical patent/CN113032521A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3343Query execution using phonetics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/3332Query translation
    • G06F16/3334Selection or weighting of terms from queries, including natural language queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/387Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Alarm Systems (AREA)

Abstract

本申请提供一种导盲方法、导盲装置、导盲设备及计算机可读存储介质。导盲方法包括:基于用户的语音信息,识别出用户的待找寻目标;从数据库中查找出待找寻目标的位置信息,并计算待找寻目标与预设的目标的相对位置;检测用户与待找寻目标之间是否有障碍物;若检测到障碍物,通过语音播报相对位置和障碍物的信息。本申请的导盲方法过程简单,能够帮助用户在室内快速准确地找到待找寻目标,且能提高用户的安全性,具有较强的实用性。

Description

导盲方法、导盲装置、导盲设备及计算机可读存储介质
技术领域
本申请涉及导盲技术领域,特别是涉及导盲方法、导盲装置、导盲设备及计算机可读存储介质。
背景技术
在室内准确地寻找物品一直是困扰弱视人群的重要问题,如何为弱视人群找物提供智能引导成为社会关注的焦点。另外,弱视人群在寻找物品时,可能会被室内椅子或垃圾桶等物体绊倒。这些都给弱视人群的生活带来了大大的不便。弱视人群对于相应的导盲设备的需求一直都很迫切。
现有的一些导盲设备使用麻烦且不能帮助弱视人群快速精确地寻找室内的物品。
发明内容
本申请提供一种导盲方法、导盲装置、导盲设备及计算机可读存储介质,以解决现有技术中导盲装置设备使用不便且不能帮助弱势人群准确找到室内物品的技术问题。
为解决上述技术问题,本申请提出一种导盲方法,该导盲方法包括:基于用户的语音信息,识别出用户的待找寻目标;从数据库中查找出待找寻目标的位置信息,并计算待找寻目标与预设的目标的相对位置;检测用户与待找寻目标之间是否有障碍物;若检测到障碍物,通过语音播报相对位置和障碍物的信息。
进一步地,若检测到障碍物,通过语音播报相对位置和障碍物的信息的步骤之后,导盲方法还包括:通过语音向用户播报行走指引,以引导用户进行取物。
进一步地,检测用户与待找寻目标之间是否有障碍物,包括:检测用户与待找寻目标的直线上,用户的预设距离内是否有障碍物;通过语音向用户播报行走指引,以引导用户进行取物,包括:当确认用户与障碍物之间的距离小于预设距离时,通过语音向用户播报该行走指引。
进一步地,障碍物的信息包括:障碍物相对预设的目标的位置信息、障碍物的种类和障碍物与用户之间的距离中的至少一种。
进一步地,基于用户的语音信息,识别出用户的待找寻目标的步骤之前,导盲方法还包括:获取用户的语音信息;根据语音信息判断用户是否需要识别物品;若确认用户需要识别物品,则识别用户的待识别目标,并将识别结果通过语音播报给用户;若确认用户不需要识别物品,则进一步确认用户是否需要寻找物品;若确认用户需要寻找物品,则执行基于用户的语音信息,识别出用户的待找寻目标的步骤。
进一步地,识别用户的待识别目标,包括:获取第一图像,第一图像中包括有用户的待识别目标,通过深度学习模型从第一图像中识别待识别目标。
进一步地,从数据库中查找出待找寻目标的位置信息的步骤之前,导盲方法还包括:通过摄像头获取用户所处的环境的图像;通过深度学习模型从图像中获取环境内的物品的信息,并将物品的信息存储到数据库中,其中物品的信息包括物品的名称和物品的位置信息。
进一步地,通过语音播报相对位置和障碍物的信息的步骤之后,导盲方法还包括:用户行走的过程中,获取用户的位置信息,并根据用户的位置信息和待找寻目标的位置信息,计算待找寻目标与用户之间的距离;当确认待找寻目标与用户之间的距离逐渐增大,则提醒用户。
为解决上述技术问题,本申请又提出一种导盲装置,该导盲装置包括:识别模块,用于基于用户的语音信息,识别出用户的待找寻目标;查找模块,用于从数据库中查找出待找寻目标的位置信息,并计算待找寻目标与预设的目标的相对位置;检测模块,用于检测用户与待找寻目标之间是否有障碍物;播报模块,用于在检测模块检测到障碍物时,通过语音播报相对位置和障碍物的信息。
为解决上述技术问题,本申请又提出一种导盲设备,该导盲设备包括相互耦接的存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述任一实施例的导盲方法。
为解决上述技术问题,本申请又提出一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述任一实施例的导盲方法。
本申请的有益效果为:区别于现有技术的情况,本申请的导盲方法中通过计算待找寻目标与预设的目标的相对位置,以使盲人知晓待找寻物品的具体位置,然后再检测用户与待找寻目标之间是否有障碍物,以使用户能够及时知晓取物路线上障碍物情况。本申请的导盲方法使用简单,且用户能够根据待找寻目标与预设的目标的相对位置和障碍物的信息快速准确地取到待找寻目标,提高用户的安全性,具有较强的实用性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本申请提供的导盲设备的一实施例的结构示意图;
图2是本申请提供的导盲方法的一实施例的流程示意图;
图3是图1中步骤S12的一实施例的流程示意图;
图4是本申请提供的导盲方法的另一实施例的流程示意图;
图5是本申请提供的导盲方法的又一实施例的流程示意图;
图6是图5中步骤S33的一实施例的流程示意图;
图7是本申请提供的导盲装置的一实施例的框架示意图;
图8是本申请提供的导盲设备的一实施例的框架示意图;
图9是本申请提供的计算机可读存储介质一实施例的框架示意图。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明,本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
另外,若本发明实施例中有涉及“第一”、“第二”等的描述,则该“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本申请要求的保护范围之内。
本申请提供一种导盲设备,应用于室内,如图1所示,该导盲设备至少包括摄像头11、拾音器12和扬声器13以及云端处理器14,摄像头11可以安装于室内的顶部,具体地,可以安装于室内顶部的中央位置,用于拍摄室内的图像,并将拍摄的室内图像上传至云端处理器14,其中,室内的图像中包括有室内物品30,拾音器12用于获取用户20的语音,扬声器13用于向用户20发出语音播报。上述导盲设备能够实现下述实施例的导盲方法。
请参阅图2所示,图2是本申请提供的导盲方法的一实施例的流程示意图,该导盲方法包括:
S11:基于用户的语音信息,识别出用户的待找寻目标。
当用户需要在室内找寻物品时,用户首先向导盲设备发送语音信息,其中,语音信息中包括有待找寻目标的名称。比如,用户需要寻找水杯时,水杯为待找寻目标,然后用户发出“寻找水杯”的语音信息,导盲设备的拾音器接收到语音信息,并将该语音信息上传到云端处理器,云端处理器从语音信息中识别出待找寻目标。
具体地,云端处理器通过语音识别技术将语音转换成文字,然后通过自然语音处理器技术处理文字,提取文字中的关键字“寻找”和“水杯”,从而达到提取用于语音中的指令和需求的目的,比如从关键字中找出待找寻目标为“水杯”。
S12:从数据库中查找出待找寻目标的位置信息,并计算待找寻目标与预设的目标的相对位置。
云端处理器从语音信息中识别出待找寻目标后,就从数据库中查找出待找寻目标的位置信息。比如,当用户需要寻找水杯时,则查找水杯的位置信息。然后根据待找寻目标的位置信息计算出待找寻目标与预设的目标的相对位置。其中,预设的目标可以为用户比较熟悉的物品,比如,预设的目标可以为沙发、茶几或者电视等。预设的目标可以选用位置并不会经常挪动的物品,以方便用户根据用户常用的物品找到待找寻目标。
比如,当预设的目标可以为茶几,待找寻目标为水杯,然后计算出待找寻目标水杯与茶几的相对位置为水杯位于茶几上。
在一个实施例中,云端处理器可以计算待找寻目标与一个预设的目标的相对位置。在另一个实施例中,云端处理器可以计算待找寻目标与至少两个预设的目标的相对位置,比如,多个预设的目标可以为沙发、茶几、电视等,分别计算待找寻目标与沙发、茶几和电视等的相对位置,从而能够对待找寻目标进行更加准确地定位。
数据库中存储有室内的物品的相关信息,比如物品的名称及该物品对应的位置信息等。在另一个实施例中物品的相关信息还包括物品的尺寸,如此能够使用户了解物品的大小,从而有利于用户寻找待找寻目标。
在一个具体的实施例中,如图3所示,数据库的建立方法为:
S121:通过摄像头获取用户所处的环境的图像。
在室内部署智能摄像头,摄像头需安装在顶部,视野覆盖到整个室内,摄像头可以采用深度摄像头或者双目摄像头。
摄像头将拍摄的视频或者图像实时发送到云端处理器。其中,摄像头所拍摄的图像或者视频中包括有室内的物品,可以包括室内的部分物品或者室内的所有物品,具体可以根据实际需要进行布置摄像头的位置。
S122:通过深度学习模型从图像中获取环境内的物品的信息,并将物品的信息存储到数据库中。
通过深度学习模型从所拍摄的图像或者视频中获取室内环境中的物品的信息,并将物品的名称及该物品对应的物品信息存储到数据库中,方便后续查找。其中,物品的信息包括物品的名称和物品的位置信息。在其他实施中,物品的信息还可以包括物品的尺寸等信息。
进一步地,通过深度学习模型对包含室内物品的图像进行识别,以获取到室内物品的信息。具体地,可以利用深度学习物体识别技术对常用物品的数据集进行训练,将训练后的模型存储在云端,可供导盲设备对室内的物品进行识别使用,达到精确识别室内常用物品的要求。可以理解的是,也可以在云端对模型进行更新,以提高识别的可靠性。
S13:检测用户与待找寻目标之间是否有障碍物。
当云端处理器获取到待找寻目标的位置信息后,云端处理器检测用户与待找寻目标之间是否有障碍物。
具体地,云端处理器根据用户的位置信息和待找寻目标的位置信息,查找出用户与待找寻目标的直线上是否有障碍物。比如当用户需要找寻水杯,水杯位于茶几上,云端处理器查找出用户与水杯的直线上有个障碍物凳子。通过此种方式,能够使用户了解去取待找寻目标的途中的障碍物情况,提高用户取物的安全性,提高导盲设备的智能化程度。
进一步地,用户在寻找待找寻目标的过程中,云端处理器可以检测出用户与待找寻目标的直线上,用户的预设距离内是否有障碍物。具体地,该预设的距离可以为1米、1.5米或者2米等,具体可以根据实际需要选择设置,在此不做具体限定。比如,云端处理器可以检测出用户与待找寻目标的直线上,距离用户1米内是否有障碍物,以使用户能够准确及时的避开障碍物。
S14:若检测到障碍物,通过语音播报相对位置和障碍物的信息。
当云端处理器在用户与待找寻目标之间检测到障碍物,则导盲设备通过扬声器向用户语音播报待找寻目标与预设的目标的相对位置和障碍物的信息。
其中,障碍物的信息包括:障碍物相对预设的目标的位置信息、障碍物的种类和障碍物的尺寸等。上述障碍物的信息能够使用户知晓障碍物的位置、障碍物的种类以及障碍物的大小。在其他实施例中,障碍物的信息还可以包括障碍物与用户的直线距离,比如障碍物与用户的距离为1m或者2m等,如此,能使用户在寻找待找寻目标时准确预测躲避障碍物的时机,提高用户取物的安全性。
比如,待找寻目标为水杯,预设的目标为茶几,云端处理器计算出水杯与茶几的相对位置关系为,水杯位于茶几上,用户与水杯之间有障碍物凳子,则扬声器对用户进行语音播报。以让用户根据水杯与茶几的相对位置找到水杯的位置,并在靠近水杯的过程中,能够知道途中有障碍物凳子,以便于用户能够及时躲开障碍物,提高用户的安全性。
S15:若未检测到障碍物,通过语音播报相对位置。
若云端处理器在用户与待找寻目标之间未检测到障碍物,则导盲设备只通过扬声器向用户语音播报待找寻目标与预设的目标的相对位置,以使用户能够根据该相对位置快速准确地找到待找寻目标。
上述实施例中,导盲方法的过程简单,用户能够根据待找寻目标与预设的目标的相对位置准确地找到待找寻目标,方便用户寻物,且通过检测用户与待找寻目标之间是否有障碍物,能够使用户在取物的过程中及时躲开障碍物,提高用户取物的安全性。
请参阅图4所示,图4是本申请提供的导盲方法的另一实施例的流程示意图,本实施例中,导盲方法的包括:
S21:基于用户的语音信息,识别出用户的待找寻目标。
步骤S21与步骤S11相同,在此不再赘述。
S22:从数据库中查找出待找寻目标的位置信息,并计算待找寻目标与预设的目标的相对位置。
步骤S22与步骤S12相同,在此不再赘述。
S23:检测用户与待找寻目标之间是否有障碍物。
步骤S23与步骤S13相同,在此不再赘述。
S24:若检测到障碍物,通过语音播报相对位置和障碍物的信息。
步骤S24与步骤S14相同,在此不再赘述。
S25:通过语音向用户播报行走指引,以引导用户进行取物。
当云端处理器确认待找寻目标的位置信息后,导盲设备可以通过语音向用户播报行走指引,以引导用户进行取物。
具体地,摄像头可以拍摄图片,图片中包括有用户,云端处理器能够根据所拍摄的图片获取到用户的位置信息,然后根据障碍物信息、用户的位置信息以及待找寻目标的位置信息,对用户的取物行走路线进行规划,以得到用户的行走指引,从而引导用户进行取物。进一步地,云端处理器可以对图片中用户的脸部进行识别,以确定出用户脸部的朝向,比如用户正对待找寻目标或者背对待找寻目标,或者用户脸部的朝向与待找寻目标的行走路线垂直等,通过此种方式,来对用户进行方向指引,以使其沿着规划的路线进行行走。
在一个实施例中,当摄像头、用户以及待找寻目标在地面上的投影大致在一条直线上时,导盲设备可以通过摄像头进行人脸识别,如果摄像头能够识别到人脸,则确认用户是面对摄像头的,如果摄像头识别不到人脸,则确认用户背对摄像头。然后再根据待找寻目标、用户以及摄像头的位置关系确认指引用户是往前走还是往后走。比如,当确认用户面对摄像头,待找寻目标在用户和摄像头之前的区域,就通过语音指引用户往前走,如果用户在待找寻目标和摄像头之间的区域,则通过语音指引用户往后走。如此,以指引用户进行取物。
在另一个实施例中,当用户在行走的过程中,导盲设备可以检测用户与与障碍物之间距离。当该距离小于预设距离时,则向用户发送行走指引,以帮助用户绕过障碍物,提高用户的安全性。
可选地,导盲设备可以通过摄像头拍摄用户的图像,以通过含有用户的图像,找出用户的实时位置信息,然后根据用户的位置信息和障碍物的位置信息计算出用户与障碍物之间的实时距离。通过此种方式,能够节约硬件成本。
可选地,导盲设备可以包括测距传感器,用户在找物的过程中,通过测距传感器测量用户与障碍区之间的距离。此种方式,能够快速测量用户与待找寻目标之间的距离,测量过程中简单,且测量结果的准确性较高。
当云端处理器确认用户与障碍物之间的距离小于预设距离时,即用户与障碍物之间的距离很近时,可以通过语音给用户发送行走指引,比如向左走或者向右走等。其中,该预设距离可以为0.5米或者1米等。比如,当用户左边有障碍物,右边无障碍物时,则可以通过语音向用户发送向右的行走指引,使用户能够及时躲避障碍物,提高用户行走的安全性。优选地,云端处理器可以根据障碍物的尺寸,向用户发出向右行走多少米的指引,比如向右行走1m等。如此,能够指引用户快速地躲避障碍物,有效保障用户寻物的安全性。
S26:用户行走的过程中,获取用户的位置信息,并根据用户的位置信息和待找寻目标的位置信息,计算待找寻目标与用户之间的距离。
用户可能会出现将常用物品的方位记错的情形,因此,在取物的过程中,可能出现走错方向的情况。本实施例中,在用户行走的时候,可以测量用户与待找寻目标之间的距离。以通过用户与待找寻目标之间的距离变化确定用户行走的方向是否正确。
具体地,在一个实施例中,用户在取物的过程中,间隔预设的时间拍摄一次用户的图像,以通过用户在行走过程中的图像,来确定出用户的实时位置信息,然后根据该实时位置信息与待找寻目标的位置信息,计算出用户与待找寻目标之间的距离。通过此种方式,不增加硬件成本,以对用户行走的方向的正确性进行判断。
在另一个实施例中,导盲设备还包括测距传感器,用于实时测量用户与待找寻目标之间的距离。此种方式,能够快速测量出用户与待找寻目标之间的距离,且测量结果的准确性较高。
S27:当确认待找寻目标与用户之间的距离逐渐增大,则提醒用户。
当云端处理器确认待找寻目标与用户之间的距离逐渐增大,则可确认用户的取物路线错误,此时则提醒用户偏离正常的取物路线,以使用户能够及时地调整取物路线,更准确地取到待找寻目标。
本实施例的导盲方法能够使用户准确地取到待找寻目标,且能够在用户找物的过程中,给用户提供指引,使用户能够及时躲避障碍物,当用户行走路线错误时,也能够及时提醒用户,具有较强的实用性。
请参阅图5所示,图5是本申请提供的导盲方法的另一实施例的流程示意图,本实施例中,该导盲方法包括:
S31:获取用户的语音信息。
导盲设备首先通过拾音器获取用户的语音信息。具体地,当用户需要使用导盲设备时,则向导盲设备发送语音信息,以对导盲设备输入相应的指令或者需求。导盲设备通过拾音器获取到用户发送的语音信息。比如,当用户需要识别物品时,则向导盲设备发送“识别物品”的语音信息。
拾音器获取到用户的语音信息后,可以将用户的语音信息发送给云端处理器,以使云端处理器能够对用户的语音信息进行识别。
S32:根据语音信息判断用户是否需要识别物品。
导盲设备的云端处理器接收到用户的语音信息后,对该语音信息进行识别,以判断用户是否需要识别物品。具体地,云端处理器通过语音识别技术将语音转换成文字,然后通过自然语音处理器技术处理文字,提取文字中的关键字,比如提取到“识别”“物品”等关键词,从而达到提取用于语音中的指令和需求的目的。
S33:若确认用户需要识别物品,则识别用户的待识别目标,并将识别结果通过语音播报给用户。
若云端处理器通过语音信息确认用户需要识别物品,则对用户的待识别目标进行识别,并将识别后的结果通过语音播报给用户。
可选地,待识别目标可以位于用户的手中,当用户需要识别物品时,则只需将物品拿在手中,云端处理器确认用户需要识别物品时,则直接识别用户手中的待识别目标。待识别目标还可以位于特定的位置,比如位于凳子上,当用户需要识别物品时,则将该物品放置在凳子上,云端处理器确认用户需要识别物品时,则对凳子上的物品进行识别。
进一步地,云端处理器可以通过图像识别的方式来对用户的待识别目标进行识别。
在一个实施例中,如图6所示,导盲设备识别用户的待识别目标的步骤包括:
S331:获取第一图像,第一图像中包括有用户的待识别目标。
当云端处理器确认用户需要识别物品时,则通过摄像头获取到第一图像,其中第一图像中包括有用户的待识别目标。
具体地,摄像头可以拍摄多张图片,并传送给云端处理器,云端处理器可以将包括待识别目标的图片作为第一图像,云端处理器从第一图像中识别出用户的待识别目标。
S332:通过深度学习模型从第一图像中识别待识别目标。
云端处理器通过深度学习模型识别第一图像中的待识别目标,并将识别结果通过语音播报给用户。
具体地,可以利用深度学习物体识别技术对常用物品的数据集进行训练,将训练后的模型存储在云端,可供导盲设备对物品进行识别使用,达到精确识别待识别目标的要求。可以理解的是,也可以在云端对模型进行更新。
S34:若确认用户不需要识别物品,则进一步确认用户是否需要寻物。
云端处理器确认用户不需要识别物品后,再进一步确认用户是否需要寻物。此种方式,增加导盲设备的功能,使导盲设备既能帮助用户识物还能帮助用户寻物。
S35:若确认用户需要寻物,则执行基于用户的语音信息,识别出用户的待找寻目标的步骤。
若云端处理器确认用户需要寻物,则进入寻物的步骤,此步骤与步骤S11相同,在此不再赘述。
S36:从数据库中查找出待找寻目标的位置信息,并计算待找寻目标与预设的目标的相对位置。
步骤S36与步骤S12相同,在此不再赘述。
S37:检测用户与待找寻目标之间是否有障碍物。
步骤S37与步骤S13相同,在此不再赘述。
S38:若检测到障碍物,通过语音播报相对位置和障碍物的信息。
步骤S38与步骤S14相同,在此不再赘述。
本实施例的导盲方法中,使导盲设备只使用简单的硬件,就能够帮助用户识别物品,且能够帮助用户准确寻找到待找寻目标,节约导盲设备的成本,增加导盲设备的功能,且使导盲设备更加智能。
本申请还提供一种导盲装置,请参阅图7所示,图7是本申请提供的导盲装置的一实施例的框架示意图。该导盲装置70包括:识别模块71,用于基于用户的语音信息,识别出用户的待找寻目标;查找模块72,用于从数据库中查找出待找寻目标的位置信息,并计算待找寻目标与预设的目标的相对位置;检测模块73,用于检测用户与待找寻目标之间是否有障碍物;播报模块74,用于在检测模块73检测到障碍物时,通过语音播报待找寻目标与预设的目标的相对位置和障碍物的信息。
进一步地,检测模块73还用于检测用户与待找寻目标的直线上,用户的预设距离内是否有障碍物。其中,障碍物的信息包括:障碍物相对预设的目标的位置信息、障碍物的种类以及障碍物与用户之间的直线距离等。
播报模块74还用于通过语音向用户播报行走指引,以引导用户进行取物。
进一步地,导盲装置70还包括:获取模块75,用于获取用户的语音信息;判断模块76,用于根据语音信息判断用户是否需要识别物品;若确认用户不需要识别物品,则进一步确认用户是否需要寻找物品。
识别模块71还用于在判断模块76确定用户需要识别物品时,进行识别用户的待识别目标。具体地,识别模块71用于获取第一图像,第一图像中包括有待识别目标,并通过深度学习模型从第一图像中识别待识别目标。
播报模块74还用于将识别模块71的识别结果通过语音播报给用户。
查找模块72还用于通过摄像头获取用户所处的环境的图像;通过深度学习模型从图像中获取环境内的物品的信息,并将物品的信息存储到数据库中,其中物品的信息包括物品的名称和物品的位置信息。
检测模块73还用于:用户行走的过程中,检测待找寻目标与用户之间的距离是否在逐渐增大。
播报模块74还用于当检测模块73确认待找寻目标与用户之间的距离逐渐增大时,提醒用户偏离路线。
上述实施例的导盲装置70能够辅助用户快速准确地找到待找寻目标,能提高用户的安全性,且能帮用户识别物品,具有较高的实用性。
本申请还提供一种导盲设备,请参阅图8,图8是本申请提供的导盲设备的一实施例的框架示意图。导盲设备80包括相互耦接的存储器81和处理器82,处理器82用于执行存储器81中存储的程序指令,以实现上述任一实施例的导盲方法的步骤。在一个具体的实施场景中,导盲设备80可以包括但不限于:摄像头、拾音器和扬声器等。
具体而言,处理器82连接摄像头、拾音器和扬声器。处理器82用于控制摄像头、拾音器和扬声器以实现上述任一实施例的导盲方法的步骤。处理器82还可以称为CPU(Central Processing Unit,中央处理单元)。处理器82可能是一种集成电路芯片,具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器82也可以是任何常规的处理器等。另外,处理器82可以由集成电路芯片共同实现。
上述导盲设备80能够帮助用户快速准确地找到待找寻目标,且使寻物过程更加安全可靠。
本申请还提供一种计算机可读存储介质,请参阅图9所示,图9是本申请提供的计算机可读存储介质一实施例的框架示意图。计算机可读存储介质90存储有能够被处理器运行的程序指令91,程序指令91用于实现上述任一实施例的导盲方法的步骤。
其中,该程序指令91可以以软件产品的形式存储在上述计算机可读存储介质90中,包括若干指令用以使得一个设备或处理器执行本申请各个实施方式方法的全部或部分步骤。
计算机可读存储介质90是计算机存储器中用于存储某种不连续物理量的媒体。其中,计算机可读存储介质90包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序指令91代码的介质。
上述方案,能够帮助用户快速准确地找到待找寻目标,且使寻物过程更加安全可靠。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。

Claims (11)

1.一种导盲方法,其特征在于,所述导盲方法包括:
基于用户的语音信息,识别出所述用户的待找寻目标;
从数据库中查找出所述待找寻目标的位置信息,并计算所述待找寻目标与预设的目标的相对位置;
检测所述用户与所述待找寻目标之间是否有障碍物;
若检测到所述障碍物,通过语音播报所述相对位置和所述障碍物的信息。
2.根据权利要求1所述的导盲方法,其特征在于,所述若检测到所述障碍物,通过语音播报所述相对位置和所述障碍物的信息的步骤之后,所述导盲方法还包括:
通过语音向所述用户播报行走指引,以引导所述用户进行取物。
3.根据权利要求2所述的导盲方法,其特征在于,所述检测所述用户与所述待找寻目标之间是否有障碍物,包括:
检测所述用户与所述待找寻目标的直线上,所述用户的预设距离内是否有障碍物;
所述通过语音向所述用户播报行走指引,以引导所述用户进行取物,包括:
当确认所述用户与所述障碍物之间的距离小于预设距离时,通过语音向所述用户播报所述行走指引。
4.根据权利要求1所述的导盲方法,其特征在于,所述障碍物的信息包括:所述障碍物相对所述预设的目标的位置信息、所述障碍物的种类和所述障碍物与所述用户之间的距离中的至少一种。
5.根据权利要求1所述的导盲方法,其特征在于,所述基于用户的语音信息,识别出所述用户的待找寻目标的步骤之前,所述导盲方法还包括:
获取所述用户的所述语音信息;
根据所述语音信息判断所述用户是否需要识别物品;
若确认所述用户需要识别物品,则识别所述用户的待识别目标,并将识别结果通过语音播报给所述用户;
若确认所述用户不需要识别物品,则进一步确认所述用户是否需要寻找物品;
若确认所述用户需要寻找物品,则执行基于用户的语音信息,识别出所述用户的待找寻目标的步骤。
6.根据权利要求5所述的导盲方法,其特征在于,所述识别所述用户的待识别目标,包括:
获取第一图像,所述第一图像中包括有所述用户的所述待识别目标,
通过深度学习模型从所述第一图像中识别所述待识别目标。
7.根据权利要求1所述的导盲方法,其特征在于,所述从数据库中查找出所述待找寻目标的位置信息的步骤之前,所述导盲方法还包括:
通过摄像头获取所述用户所处的环境的图像;
通过深度学习模型从所述图像中获取所述环境内的物品的信息,并将所述物品的信息存储到所述数据库中,其中所述物品的信息包括所述物品的名称和所述物品的位置信息。
8.根据权利要求1所述的导盲方法,其特征在于,所述通过语音播报所述相对位置和所述障碍物的信息的步骤之后,所述导盲方法还包括:
所述用户行走的过程中,获取所述用户的位置信息,并根据所述用户的位置信息和所述待找寻目标的位置信息,计算所述待找寻目标与所述用户之间的距离;
当确认所述待找寻目标与所述用户之间的距离逐渐增大,则提醒所述用户。
9.一种导盲装置,其特征在于,所述导盲装置包括:
识别模块,用于基于用户的语音信息,识别出所述用户的待找寻目标;
查找模块,用于从数据库中查找出所述待找寻目标的位置信息,并计算所述待找寻目标与预设的目标的相对位置;
检测模块,用于检测所述用户与所述待找寻目标之间是否有障碍物;
播报模块,用于在所述检测模块检测到所述障碍物时,通过语音播报所述相对位置和所述障碍物的信息。
10.一种导盲设备,其特征在于,包括相互耦接的存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现如权利要求1至8任一项所述的导盲方法。
11.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现如权利要求1至8任一项所述的导盲方法。
CN202110245928.6A 2021-03-05 2021-03-05 导盲方法、导盲装置、导盲设备及计算机可读存储介质 Pending CN113032521A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110245928.6A CN113032521A (zh) 2021-03-05 2021-03-05 导盲方法、导盲装置、导盲设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110245928.6A CN113032521A (zh) 2021-03-05 2021-03-05 导盲方法、导盲装置、导盲设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113032521A true CN113032521A (zh) 2021-06-25

Family

ID=76468116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110245928.6A Pending CN113032521A (zh) 2021-03-05 2021-03-05 导盲方法、导盲装置、导盲设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113032521A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114704926A (zh) * 2022-02-18 2022-07-05 青岛海尔空调器有限总公司 空调的控制方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107536699A (zh) * 2017-08-16 2018-01-05 广东小天才科技有限公司 一种用于盲人的信息提示的方法、装置及电子设备
CN110446104A (zh) * 2019-08-30 2019-11-12 腾讯科技(深圳)有限公司 视频处理方法、装置及存储介质
CN110664593A (zh) * 2019-08-21 2020-01-10 重庆邮电大学 基于HoloLens的盲人导航系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107536699A (zh) * 2017-08-16 2018-01-05 广东小天才科技有限公司 一种用于盲人的信息提示的方法、装置及电子设备
CN110664593A (zh) * 2019-08-21 2020-01-10 重庆邮电大学 基于HoloLens的盲人导航系统及方法
CN110446104A (zh) * 2019-08-30 2019-11-12 腾讯科技(深圳)有限公司 视频处理方法、装置及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114704926A (zh) * 2022-02-18 2022-07-05 青岛海尔空调器有限总公司 空调的控制方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN101095149B (zh) 图像比较设备和图像比较方法
CN101033955B (zh) 一种实现视力保护的方法、装置及一种显示器
US11910275B2 (en) Method to correlate an object with a localized tag
Peng et al. A smartphone-based obstacle sensor for the visually impaired
CN103248822A (zh) 摄像终端的对焦方法及摄像终端
CN102542247A (zh) 信息处理设备、信息处理方法以及程序
CN107480129A (zh) 一种基于视觉识别和语音识别的物品位置识别方法及系统
WO2021128834A1 (zh) 基于计算机视觉的导航方法、装置、计算机设备及介质
US10991124B2 (en) Determination apparatus and method for gaze angle
CN106920260B (zh) 立体惯性导盲方法及装置和系统
CN113032521A (zh) 导盲方法、导盲装置、导盲设备及计算机可读存储介质
TWI712903B (zh) 商品資訊查詢方法和系統
EP4040268A1 (en) Object sharing method and apparatus
CN110084187B (zh) 基于计算机视觉的位置识别方法、装置、设备及存储介质
CN111858993A (zh) 用于特殊物品的寻物指引系统
CN113033266A (zh) 人员运动轨迹追踪方法、装置、系统及电子设备
KR20180068483A (ko) 도로표지판의 위치정보 데이터베이스 구축 시스템 및 그 방법과 이를 이용한 차량의 위치 추정 장치 및 그 방법
US20150379352A1 (en) Method for estimating a distance from a first communication device to a second communication device, and corresponding communication devices, server and system
US9536152B2 (en) Methods and systems for multimedia trajectory annotation
KR101273634B1 (ko) 모바일 기기를 이용하는 증강현실 환경에서 복수 객체 추적방법 및 이를 이용한 시스템
JP2012124553A (ja) 撮影システムおよびレンズ装置
KR20160141087A (ko) 증강현실 기반의 멀티미디어 영상 촬영지의 동영상 컨텐츠 제공 시스템 및 방법
JP6435640B2 (ja) 混雑度推定システム
US10735902B1 (en) Method and computer program for taking action based on determined movement path of mobile devices
KR101502683B1 (ko) 3차원 센서를 이용한 강사 추적 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination