CN111263001A - 基于影像的盲人远程协助方法及系统 - Google Patents

基于影像的盲人远程协助方法及系统 Download PDF

Info

Publication number
CN111263001A
CN111263001A CN202010052197.9A CN202010052197A CN111263001A CN 111263001 A CN111263001 A CN 111263001A CN 202010052197 A CN202010052197 A CN 202010052197A CN 111263001 A CN111263001 A CN 111263001A
Authority
CN
China
Prior art keywords
terminal
assistance
assistor
helped
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010052197.9A
Other languages
English (en)
Inventor
朱文俊
许煌志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Chunshenghai Technology Co Ltd
Original Assignee
Shenzhen Chunshenghai Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Chunshenghai Technology Co Ltd filed Critical Shenzhen Chunshenghai Technology Co Ltd
Priority to CN202010052197.9A priority Critical patent/CN111263001A/zh
Publication of CN111263001A publication Critical patent/CN111263001A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72475—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
    • H04M1/72481—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users for visually impaired users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72406—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by software upgrading or downloading

Abstract

本发明涉及一种基于影像的盲人远程协助方法及系统，所述方法包括：基于所述受助者终端生成携带协助信息的协助指令，通过所述受助者终端将所述协助指令发送至所述云服务器，以指示所述云服务器根据所述协助信息呼叫与所述云服务器预先关联的协助者终端；基于所述协助者终端生成响应指令，并通过所述云服务器建立所述协助者终端与所述受助者终端之间的通信连接；所述受助者终端根据所述响应指令获取盲人所处环境的影像信息及音频信息，将所述影像信息及音频信息发送至所述协助者终端，所述协助者终端根据所述影像信息及音频信息为盲人提供协助。通过上述方法，能够实现远程协助盲人，使得盲人能够及时获得不同人群的救助。

Description

基于影像的盲人远程协助方法及系统
技术领域
本发明涉及影像技术领域，特别是涉及一种基于影像的盲人远程协助方法及系统。
背景技术
盲人因其视力缺陷，在生活中难免会遇到各种不便与困扰，同时盲人家人也因自身工作等活动的限制，不可能对盲人进行实时陪护。目前盲人独立出门有基本障碍，需要有人从旁协助，要独立完成一些事情也颇不容易。
传统的盲人协助方法往往通过声音提示或定位等方式帮助盲人解决出行、阅读等障碍，或是向家人求助，但是，这些传统的方法仅能在一定程度上缓解盲人在生活中遇到的各种不便，并不能远程的协助盲人，也无法向陌生人取得有效的求助。
因此，如何实现远程协助盲人，使得盲人能够及时获得不同人群的救助，成为亟待解决的问题。
发明内容
基于此，有必要提供一种基于影像的盲人远程协助方法及系统，能够实现远程协助盲人，使得盲人能够及时获得不同人群的救助。
一种基于影像的盲人远程协助方法，应用于基于影像的盲人远程协助系统，所述系统包括受助者终端、协助者终端和云服务器，所述受助者终端、协助者终端分别与云服务器通信连接，所述方法包括：
基于所述受助者终端生成携带协助信息的协助指令，通过所述受助者终端将所述协助指令发送至所述云服务器，以指示所述云服务器根据所述协助信息呼叫与所述云服务器预先关联的协助者终端；
基于所述协助者终端生成响应指令，并通过所述云服务器建立所述协助者终端与所述受助者终端之间的通信连接；
所述受助者终端根据所述响应指令获取盲人所处环境的影像信息及音频信息，将所述影像信息及音频信息发送至所述协助者终端，所述协助者终端根据所述影像信息及音频信息为盲人提供协助。
在其中一个实施例中，所述受助者终端包括协助按钮和麦克风；所述基于所述受助者终端生成携带协助信息的协助指令，包括：
当接收到作用在所述受助者终端的协助按钮的输入操作时，根据所述麦克风获取待协助的盲人发出的协助信息，生成携带所述协助信息的协助指令。
在其中一个实施例中，所述受助者终端还包括SoC芯片，所述SoC芯片分别与所述协助按钮、麦克风电连接；
所述通过所述受助者终端将所述协助指令发送至所述云服务器，以指示所述云服务器根据所述协助信息呼叫与所述云服务器预先关联的协助者终端，包括：
基于所述SoC芯片中的网络通讯功能将所述协助指令发送至所述云服务器；
所述云服务器识别所述协助指令中的协助信息后，将所述协助信息同时传达至多个与所述云服务器建立通讯连接的协助者终端。
在其中一个实施例中，所述协助者终端上安装有预设应用程序，所述基于所述协助者终端生成响应指令，并通过所述云服务器建立所述协助者终端与所述受助者终端之间的通信连接，包括：
基于所述协助者终端上的预设应用程序显示所述协助信息，获取最先响应所述协助信息的协助者终端生成的响应指令；
通过所述最先响应所述协助信息的协助者终端将所述响应指令发送至所述云服务器，以指示所述云服务器建立所述最先响应所述协助信息的协助者终端与所述受助者终端之间的通信连接。
在其中一个实施例中，所述受助者终端还包括影像模块和扬声器，所述影像模块、扬声器分别与所述SoC芯片电连接；
所述受助者终端根据所述响应指令获取盲人所处环境的影像信息及音频信息，将所述影像信息及音频信息发送至所述协助者终端，所述协助者终端根据所述影像信息及音频信息为盲人提供协助，包括：
当所述受助者终端与协助者终端建立通信连接后，基于所述受助者终端上的影像模块获取盲人所处环境的影像信息，基于所述受助者终端上的麦克风获取盲人所处环境的音频信息；
通过所述SoC芯片将所述影像信息及音频信息发送至所述协助者终端，所述协助者终端根据所述影像信息及音频信息返回协助语音，基于所述受助者终端上的扬声器播放所述协助语音，以实现对盲人的协助。
在其中一个实施例中，所述协助者终端根据所述影像信息及音频信息为盲人提供协助，还包括：
基于所述影像模块获取所述影像信息的距离数据、方向数据和角度数据，将携带所述距离数据、方向数据和角度数据的影像信息发送至所述协助者终端，以使得所述协助者终端根据所述影像信息为盲人提供协助。
在其中一个实施例中，所述方法还包括：
当接收到作用在所述受助者终端的协助按钮的中断操作时，中断所述受助者终端与所述协助者终端之间的通信连接；
当接收到所述协助者终端发出的中断指令时，中断当前协助者终端与所述受助者终端之间的通信连接，通过所述云服务器建立所述受助者终端与另一个协助者终端之间的通信连接。
一种基于影像的盲人远程协助系统，包括受助者终端、协助者终端和云服务器，所述受助者终端、协助者终端分别与云服务器通信连接，
所述受助者终端包括协助按钮、麦克风和SoC芯片，所述SoC芯片分别与所述协助按钮、麦克风电连接，基于所述协助按钮和麦克风生成携带协助信息的协助指令，通过所述SoC芯片将所述协助指令发送至所述云服务器，以指示所述云服务器根据所述协助信息呼叫与所述云服务器预先关联的协助者终端；
所述协助者终端上安装有预设应用程序，基于所述预设应用程序生成响应指令，并通过所述云服务器建立所述协助者终端与所述受助者终端之间的通信连接；
所述受助者终端还包括影像模块和扬声器，所述影像模块、扬声器分别与所述SoC芯片电连接；通过所述影像模块和麦克风获取盲人所处环境的影像信息及音频信息，通过所述SoC芯片将所述影像信息及音频信息发送至所述协助者终端，通过所述扬声器播放所述协助者终端根据所述影像信息及音频信息为盲人提供的协助语音。
一种终端，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行上述的方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
上述基于影像的盲人远程协助方法及系统，通过受助者终端生成携带协助信息的协助指令，通过受助者终端将协助指令发送至云服务器，以指示云服务器根据协助信息呼叫与云服务器预先关联的协助者终端；基于协助者终端生成响应指令，并通过云服务器建立协助者终端与受助者终端之间的通信连接；受助者终端根据响应指令获取盲人所处环境的影像信息及音频信息，将影像信息及音频信息发送至协助者终端，协助者终端根据影像信息及音频信息为盲人提供协助。通过上述方法，盲人在需要协助时可以可快速有效的请求协助，协助者可以远程连线受助者，通过影像及音频实现对盲人的在线协助，并且通过云服务器发布盲人的协助信息至协助者终端，使得盲人能够及时获得不同人群的救助，在必要时刻为盲人提供及时援助，从而确保盲人能够正常有序的生活。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中基于影像的盲人远程协助方法的应用环境示意图；
图2为一个实施例中基于影像的盲人远程协助方法的流程图；
图3为一个实施例中基于影像的盲人远程协助系统的结构框图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施方式。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本发明的公开内容理解的更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
可以理解，本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本发明的范围的情况下，可以将第一器件称为第二器件，且类似地，可将第二器件称为第一器件。第一器件和第二器件两者都是具有共同属性的器件，但其不是同一器件。
图1为一个实施例中基于影像的盲人远程协助方法的应用环境示意图。如图1所示，该应用环境包括受助者终端110、云服务器120和协助者终端130，受助者终端110、协助者终端130分别与云服务器120通信连接，具体可以通过无线网络通信连接，例如WiFi网络、4G移动网络、5G移动网络等。
其中，受助者终端110包括SoC芯片、协助按钮、麦克风、影像模块和扬声器，该SoC芯片分别与协助按钮、麦克风、影像模块、扬声器电连接，通过上述元器件使得受助者终端能够在盲人需要协助时顺利帮助盲人获得及时的协助。受助者终端110可以是类似于手机的电子设备，在其他实施例中，受助者终端110还可以包括手机、平板、智能手表、智能手环、智能眼睛、智能帽子等设备，本实施例对此不进行限定。
云服务器120为云端服务器，在其他实施例中，云服务器120也可以是独立的物理服务器，还可以是物理服务器集群等。
协助者终端130上安装有预设应用程序，例如该预设应用程序为“盲人协助APP”，通过该预设程序提供的用户管理界面接收盲人的协助信息，并通过该预设应用程序实现对盲人的远程协助。
图2为一个实施例中的基于影像的盲人远程协助方法的流程图，通过本实施例提供的基于影像的盲人远程协助方法，能够实现远程协助盲人，使得盲人能够及时获得不同人群的救助。该基于影像的盲人远程协助方法，以应用于图1所示的应用环境为例进行描述，如图2所示，该基于影像的盲人远程协助方法包括以下步骤202～步骤206：
步骤202：基于所述受助者终端生成携带协助信息的协助指令，通过所述受助者终端将所述协助指令发送至所述云服务器，以指示所述云服务器根据所述协助信息呼叫与所述云服务器预先关联的协助者终端。
具体的，如图3所示，受助者终端310包括协助按钮314和麦克风313，当接收到作用在受助者终端310的协助按钮314的输入操作时，根据麦克风313获取待协助的盲人发出的协助信息，生成携带该协助信息的协助指令。也即是说，在盲人需要他人协助时，可以对受助者终端310的协助按钮314进行输入操作，例如按压操作、旋转操作、触控操作等，触发协助按钮314后，可以通过麦克风313获取待协助的盲人发出的协助信息，以便于系统能够更清楚待协助的盲人的协助需求，从而快速的为待协助的盲人寻找合适的协助者。
进一步的，受助者终端310还包括SoC芯片315，SoC芯片315分别与协助按钮314、麦克风313电连接。基于SoC芯片315中的网络通讯功能将所述协助指令发送至云服务器320，以使得云服务器320识别所述协助指令中的协助信息后，将所述协助信息同时传达至多个与云服务器320建立通讯连接的协助者终端330。其中，SoC芯片315为系统级芯片，其具有专用目标的集成电路，包含完整系统并有嵌入软件的全部内容，因此通过SoC芯片315可以实现受助者终端310与云服务器320之间的信息传输。多个协助者终端330可以通过预设应用程序331接收云服务器发送的协助信息，并通过该应用程序响应受助者终端310发出的协助指令。需要说明的是，可以是由社会上的爱心人士自发的下载该预设应用程序331以完成在协助者终端330上的协助工作，也可以通过招募义工方式或是由社会企业/政府提供诱因奖励协助者通过协助者终端330对待协助的盲人进行协助，以构建文明和谐社会。
步骤204：基于所述协助者终端生成响应指令，并通过所述云服务器建立所述协助者终端与所述受助者终端之间的通信连接。
具体的，协助者终端330上安装有预设应用程序331，基于协助者终端330上的预设应用程序331显示所述协助信息，获取最先响应所述协助信息的协助者终端330生成的响应指令，通过该最先响应所述协助信息的协助者终端330将所述响应指令发送至云服务器320，以指示云服务器320建立该最先响应所述协助信息的协助者终端330与受助者终端310之间的通信连接。
步骤206：所述受助者终端根据所述响应指令获取盲人所处环境的影像信息及音频信息，将所述影像信息及音频信息发送至所述协助者终端，所述协助者终端根据所述影像信息及音频信息为盲人提供协助。
具体的，受助者终端310还包括影像模块311和扬声器312，影像模块311、扬声器312分别与SoC芯片315电连接。当受助者终端310与协助者终端330建立通信连接后，基于受助者终端310上的影像模块311获取盲人所处环境的影像信息，基于受助者终端310上的麦克风313获取盲人所处环境的音频信息。通过SoC芯片315将所述影像信息及音频信息发送至协助者终端320，协助者终端330根据所述影像信息及音频信息返回协助语音，基于受助者终端330上的扬声器312播放所述协助语音，以实现对盲人的协助。
其中，影像模块311可以包括影像传感器，例如利用高清摄像机通过CCD(Charge-coupled Device，电荷耦合器件)影像传感器或者CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)影像传感器采集盲人所处环境的影像信息。
举例来说，受助者与协助者取得联机，协助者能透过语音与受助者沟通，同时受助者终端310将现场影像传输至协助者终端330，受助者透过语音说明自己需要哪些协助，协助者则透过受助者的说明与现场实时影像协助受助者。
上述基于影像的盲人远程协助方法，通过受助者终端生成携带协助信息的协助指令，通过受助者终端将协助指令发送至云服务器，以指示云服务器根据协助信息呼叫与云服务器预先关联的协助者终端；基于协助者终端生成响应指令，并通过云服务器建立协助者终端与受助者终端之间的通信连接；受助者终端根据响应指令获取盲人所处环境的影像信息及音频信息，将影像信息及音频信息发送至协助者终端，协助者终端根据影像信息及音频信息为盲人提供协助。通过上述方法，盲人在需要协助时可以可快速有效的请求协助，协助者可以远程连线受助者，通过影像及音频实现对盲人的在线协助，并且通过云服务器发布盲人的协助信息至协助者终端，使得盲人能够及时获得不同人群的救助，在必要时刻为盲人提供及时援助，从而确保盲人能够正常有序的生活。
在一个实施例中，所述协助者终端根据所述影像信息及音频信息为盲人提供协助，也即步骤206还包括：
基于所述影像模块获取所述影像信息的距离数据、方向数据和角度数据，将携带所述距离数据、方向数据和角度数据的影像信息发送至所述协助者终端，以使得所述协助者终端根据所述影像信息为盲人提供协助。本实施例通过在影像上提供测距、指南针与角度显示等公能，能让协助者从影像中给出待协助的盲人更明确的指示。
在一个实施例中，该基于影像的盲人远程协助方法还包括：当接收到作用在所述受助者终端的协助按钮的中断操作时，中断所述受助者终端与所述协助者终端之间的通信连接；当接收到所述协助者终端发出的中断指令时，中断当前协助者终端与所述受助者终端之间的通信连接，通过所述云服务器建立所述受助者终端与另一个协助者终端之间的通信连接。本实施例通过为受助者终端和协助者终端提供中断操作，一方面在待协助的盲人出现不方便的情况时能够保护隐私，另一方面在协助者中途有事时也能随时中断，系统会为待协助的盲人再连接另一位协助者来协助盲人，提升了系统的灵活性。
在一个具体的实施例中，盲人(受助者端)通过一个可以连上互联网的装置，装置上连接摄影机、耳机、麦克风与一个按钮，盲人只需按下按钮就能开启协助，再按一次取消协助。当受助者端有需要协助时，按下按钮，系统通过互联网呼叫APP用户(协助者端)，协助者看到APP显示需求，最先按下者能够连接至受助者终端，这时受助者终端的影像和声音开启，受助者与协助者取得联机，协助者能透过语音与受助者沟通，同时受助者现场影像传输至协助者，受助者透过语音说明自己需要哪些协助，协助者则透过受助者的说明与现场实时影像协助受助者，例如受助者要买东西，需要知道东西位置与价钱，这时协助者能够透过声音引导受助者走到欲买的商品位置，并且告知价钱，还能协助确认付钱金额是否正确。
进一步的，受助者终端同时在影像上提供测距、指南针与角度显示，能让协助者从影像中更明确指示受助者。受助者能随时透过此系统链接至协助者，也能随时中断确保隐私，如果协助者中途有事，也能随时中断，受助者只需再连接另一位协助者。
进一步的，APP系统能够在受助者按下协助按钮时，同时呼叫协助者，再由能提供实时协助的协助者选取APP取得联机，协助者能够以招募义工方式或是由社会企业/政府提供诱因奖励协助者，达到构建文明和谐社会的目的。
上述基于影像的盲人远程协助方法，盲人在需要协助时可以可快速有效的请求协助，协助者可以远程连线受助者，通过影像及音频实现对盲人的在线协助，并且通过云服务器发布盲人的协助信息至协助者终端，使得盲人能够及时获得不同人群的救助，在必要时刻为盲人提供及时援助，从而确保盲人能够正常有序的生活。
基于相同的发明构思，以下提供一种基于影像的盲人远程协助系统，请继续参阅图3所示，该刺痛包括受助者终端310、协助者终端330和云服务器320，受助者终端310、协助者终端330分别与云服务器320通信连接。
受助者终端310包括协助按钮314、麦克风313和SoC芯片315，SoC芯片315分别与协助按钮314、麦克风313电连接，基于协助按钮314和麦克风313生成携带协助信息的协助指令，通过SoC芯片315将所述协助指令发送至云服务器320，以指示云服务器320根据所述协助信息呼叫与云服务器320预先关联的协助者终端330.
协助者终端330上安装有预设应用程序331，基于预设应用程序331生成响应指令，并通过云服务器320建立协助者终端330与受助者终端310之间的通信连接。
受助者终端310还包括影像模块311和扬声器312，影像模块311、扬声器312分别与SoC芯片315电连接；通过影像模块311和麦克风313获取盲人所处环境的影像信息及音频信息，通过SoC芯片315将所述影像信息及音频信息发送至协助者终端330，通过扬声器312播放协助者终端330根据所述影像信息及音频信息为盲人提供的协助语音。
上述基于影像的盲人远程协助系统，盲人在需要协助时可以可快速有效的请求协助，协助者可以远程连线受助者，通过影像及音频实现对盲人的在线协助，并且通过云服务器发布盲人的协助信息至协助者终端，使得盲人能够及时获得不同人群的救助，在必要时刻为盲人提供及时援助，从而确保盲人能够正常有序的生活。
本申请还提供一种终端，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行上述实施例中的基于影像的盲人远程协助方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中的基于影像的盲人远程协助方法的步骤。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于影像的盲人远程协助方法，其特征在于，应用于基于影像的盲人远程协助系统，所述系统包括受助者终端、协助者终端和云服务器，所述受助者终端、协助者终端分别与云服务器通信连接，所述方法包括：
基于所述受助者终端生成携带协助信息的协助指令，通过所述受助者终端将所述协助指令发送至所述云服务器，以指示所述云服务器根据所述协助信息呼叫与所述云服务器预先关联的协助者终端；
基于所述协助者终端生成响应指令，并通过所述云服务器建立所述协助者终端与所述受助者终端之间的通信连接；
所述受助者终端根据所述响应指令获取盲人所处环境的影像信息及音频信息，将所述影像信息及音频信息发送至所述协助者终端，所述协助者终端根据所述影像信息及音频信息为盲人提供协助。
2.根据权利要求1所述的方法，其特征在于，所述受助者终端包括协助按钮和麦克风；所述基于所述受助者终端生成携带协助信息的协助指令，包括：
当接收到作用在所述受助者终端的协助按钮的输入操作时，根据所述麦克风获取待协助的盲人发出的协助信息，生成携带所述协助信息的协助指令。
3.根据权利要求2所述的方法，其特征在于，所述受助者终端还包括SoC芯片，所述SoC芯片分别与所述协助按钮、麦克风电连接；
所述通过所述受助者终端将所述协助指令发送至所述云服务器，以指示所述云服务器根据所述协助信息呼叫与所述云服务器预先关联的协助者终端，包括：
基于所述SoC芯片中的网络通讯功能将所述协助指令发送至所述云服务器；
所述云服务器识别所述协助指令中的协助信息后，将所述协助信息同时传达至多个与所述云服务器建立通讯连接的协助者终端。
4.根据权利要求3所述的方法，其特征在于，所述协助者终端上安装有预设应用程序，所述基于所述协助者终端生成响应指令，并通过所述云服务器建立所述协助者终端与所述受助者终端之间的通信连接，包括：
基于所述协助者终端上的预设应用程序显示所述协助信息，获取最先响应所述协助信息的协助者终端生成的响应指令；
通过所述最先响应所述协助信息的协助者终端将所述响应指令发送至所述云服务器，以指示所述云服务器建立所述最先响应所述协助信息的协助者终端与所述受助者终端之间的通信连接。
5.根据权利要求4所述的方法，其特征在于，所述受助者终端还包括影像模块和扬声器，所述影像模块、扬声器分别与所述SoC芯片电连接；
所述受助者终端根据所述响应指令获取盲人所处环境的影像信息及音频信息，将所述影像信息及音频信息发送至所述协助者终端，所述协助者终端根据所述影像信息及音频信息为盲人提供协助，包括：
当所述受助者终端与协助者终端建立通信连接后，基于所述受助者终端上的影像模块获取盲人所处环境的影像信息，基于所述受助者终端上的麦克风获取盲人所处环境的音频信息；
通过所述SoC芯片将所述影像信息及音频信息发送至所述协助者终端，所述协助者终端根据所述影像信息及音频信息返回协助语音，基于所述受助者终端上的扬声器播放所述协助语音，以实现对盲人的协助。
6.根据权利要求5所述的方法，其特征在于，所述协助者终端根据所述影像信息及音频信息为盲人提供协助，还包括：
基于所述影像模块获取所述影像信息的距离数据、方向数据和角度数据，将携带所述距离数据、方向数据和角度数据的影像信息发送至所述协助者终端，以使得所述协助者终端根据所述影像信息为盲人提供协助。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当接收到作用在所述受助者终端的协助按钮的中断操作时，中断所述受助者终端与所述协助者终端之间的通信连接；
当接收到所述协助者终端发出的中断指令时，中断当前协助者终端与所述受助者终端之间的通信连接，通过所述云服务器建立所述受助者终端与另一个协助者终端之间的通信连接。
8.一种基于影像的盲人远程协助系统，其特征在于，包括受助者终端、协助者终端和云服务器，所述受助者终端、协助者终端分别与云服务器通信连接，
所述受助者终端包括协助按钮、麦克风和SoC芯片，所述SoC芯片分别与所述协助按钮、麦克风电连接，基于所述协助按钮和麦克风生成携带协助信息的协助指令，通过所述SoC芯片将所述协助指令发送至所述云服务器，以指示所述云服务器根据所述协助信息呼叫与所述云服务器预先关联的协助者终端；
所述协助者终端上安装有预设应用程序，基于所述预设应用程序生成响应指令，并通过所述云服务器建立所述协助者终端与所述受助者终端之间的通信连接；
所述受助者终端还包括影像模块和扬声器，所述影像模块、扬声器分别与所述SoC芯片电连接；通过所述影像模块和麦克风获取盲人所处环境的影像信息及音频信息，通过所述SoC芯片将所述影像信息及音频信息发送至所述协助者终端，通过所述扬声器播放所述协助者终端根据所述影像信息及音频信息为盲人提供的协助语音。
9.一种终端，其特征在于，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
CN202010052197.9A 2020-01-17 2020-01-17 基于影像的盲人远程协助方法及系统 Pending CN111263001A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010052197.9A CN111263001A (zh) 2020-01-17 2020-01-17 基于影像的盲人远程协助方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010052197.9A CN111263001A (zh) 2020-01-17 2020-01-17 基于影像的盲人远程协助方法及系统

Publications (1)

Publication Number Publication Date
CN111263001A true CN111263001A (zh) 2020-06-09

Family

ID=70948875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010052197.9A Pending CN111263001A (zh) 2020-01-17 2020-01-17 基于影像的盲人远程协助方法及系统

Country Status (1)

Country Link
CN (1) CN111263001A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103327081A (zh) * 2013-06-05 2013-09-25 中国科学院计算技术研究所 一种盲人亲情沟通监护系统及其方法
CN104244168A (zh) * 2014-09-01 2014-12-24 武汉理工大学 基于android系统与微信平台的盲人帮扶系统
CN104983511A (zh) * 2015-05-18 2015-10-21 上海交通大学 针对全盲视觉障碍者的语音帮助智能眼镜系统
CN206414469U (zh) * 2016-10-18 2017-08-18 深圳市看见智能科技有限公司 基于智能眼镜的导盲服务系统
US9789024B2 (en) * 2014-11-03 2017-10-17 Eric J. Alexander White cane navigational device for the visually impaired
CN108186298A (zh) * 2017-12-28 2018-06-22 河海大学常州校区 一种远程协助的盲人智能眼镜系统及其方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103327081A (zh) * 2013-06-05 2013-09-25 中国科学院计算技术研究所 一种盲人亲情沟通监护系统及其方法
CN104244168A (zh) * 2014-09-01 2014-12-24 武汉理工大学 基于android系统与微信平台的盲人帮扶系统
US9789024B2 (en) * 2014-11-03 2017-10-17 Eric J. Alexander White cane navigational device for the visually impaired
CN104983511A (zh) * 2015-05-18 2015-10-21 上海交通大学 针对全盲视觉障碍者的语音帮助智能眼镜系统
CN206414469U (zh) * 2016-10-18 2017-08-18 深圳市看见智能科技有限公司 基于智能眼镜的导盲服务系统
CN108186298A (zh) * 2017-12-28 2018-06-22 河海大学常州校区 一种远程协助的盲人智能眼镜系统及其方法

Similar Documents

Publication Publication Date Title
KR100783550B1 (ko) 무선 통신 시스템에서 휴대 단말기의 위치정보 제공 시스템및 방법
CN111083516B (zh) 直播处理的方法和装置
CN104509089A (zh) 信息处理设备、信息处理方法以及程序
EP3327548A1 (en) Method, device and terminal for processing live shows
KR20150099317A (ko) 이미지 처리 방법 및 장치
WO2017154136A1 (ja) 携帯情報端末及びそれに用いる情報処理方法
EP4099690A1 (en) Enhanced video call method and system, and electronic device
CN104767860A (zh) 来电提示方法、装置及终端
CN105357653A (zh) 一种提醒方法及终端
US20210160424A1 (en) Mobile information terminal, information presentation system and information presentation method
JP5698858B1 (ja) 携帯端末プログラム、要請受付装置及び要請受付システム
CN111158576A (zh) 基于直播场景的社交关系建立方法、装置及存储介质
CN105611341A (zh) 一种传输图像的方法、装置及系统
CN110827830B (zh) 基于语音数据的声纹识别方法、装置、终端及存储介质
CN111263001A (zh) 基于影像的盲人远程协助方法及系统
CN111130985B (zh) 关联关系建立方法、装置、终端、服务器及存储介质
CN106028277A (zh) 提醒消息处理方法和装置
CN107071859B (zh) 网络连接处理方法、装置及终端
KR20150001329A (ko) 전자장치 및 전자장치를 이용한 정보교환 방법
CN111726558B (zh) 现场查勘信息采集方法、装置、计算机设备以及存储介质
CN112163862A (zh) 目标功能的处理方法、装置、终端及存储介质
KR102429901B1 (ko) 부분 영상을 생성하기 위한 전자 장치 및 그의 동작 방법
US10650832B2 (en) Information processing device and information processing method
CN105516465A (zh) 取消提醒事件的方法、装置及系统
CN111490979B (zh) 信息交互方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200609