CN112789020B - 一种用于智能轮椅的可视化方法及系统 - Google Patents

Abstract

一种用于智能轮椅的可视化方法，包括：获取智能轮椅所处场景的环境数据；基于环境数据生成场景的可视化数据；获取智能轮椅的定位数据和/或移动数据；基于定位数据和/或移动数据，生成代表轮椅的轮椅模型可视化数据，并将轮椅模型可视化数据融合到场景的可视化数据中得到融合可视化数据；将融合可视化数据发送至显示设备以呈现可视化图像。还提供一种用于智能轮椅的可视化系统。

Description

一种用于智能轮椅的可视化方法及系统

技术领域

本申请智能轮椅领域，尤其涉及一种用于智能轮椅的可视化方法及系统。

背景技术

随着社会老龄化进程的加快以及由于各种疾病、工伤、交通事故等原因造成下肢损伤的人数的增加，为老年人和残疾人提供性能优越的代步工具已成为整个社会重点关注的问题之一。智能轮椅作为一种服务机器人，具有自主导航、避障、人机对话以及提供特种服务等多种功能，可以大大提高老年人和残疾人的日常生活和工作质量，使他们重新获得生活自理能力和融入社会成为可能。目前，世界各国的研究者都在广泛开展智能轮椅相关技术的研究。

发明内容

本申请的一个方面提供一种用于智能轮椅的可视化方法，所述方法包括：获取智能轮椅所处场景的环境数据；基于所述环境数据生成所述场景的可视化数据；获取所述智能轮椅的定位数据和/或移动数据；基于所述定位数据和/或所述移动数据，生成代表轮椅的轮椅模型可视化数据，并将所述轮椅模型可视化数据融合到所述场景的可视化数据中得到融合可视化数据；将所述融合可视化数据发送至显示设备以呈现可视化图像。

在一些实施例中，所述环境数据包括障碍物数据。

在一些实施例中，所述方法还包括：根据所述障碍物数据确定提示信息。

在一些实施例中，所述方法还包括：确定用户任务，生成用户任务可视化数据，所述用户任务需要用户操作所述智能轮椅来完成；将用户任务可视化数据发送至显示设备，引导用户完成所述用户任务。

在一些实施例中，所述方法还包括：追踪用户头部运动和/或眼球运动；根据用户的头部运动和/或眼球运动确定用户的感兴趣区域；更新所述融合可视化数据，突出显示用户的感兴趣区域。

在一些实施例中，所述方法还包括：追踪用户的肢体运动；根据用户的肢体运动控制所述智能轮椅的移动。

本申请的另一方面提供一种用于智能轮椅的可视化系统，所述系统包括：信息获取模块，用户获取智能轮椅所处场景的环境数据；定位和移动数据获取模块，用于获取所述智能轮椅的定位数据和/或移动数据；可视化数据生成模块，用于：基于所述环境数据生成所述场景的可视化数据；基于所述定位数据和/或所述移动数据，生成代表轮椅的轮椅模型可视化数据，并将所述轮椅模型可视化数据融合到所述场景的可视化数据中得到融合可视化数据；通信模块，用于将所述融合可视化数据发送至显示设备以呈现可视化图像。

本申请的另一方面提供一种用于智能轮椅的可视化系统，所述系统包括至少一个处理器和至少一个存储设备，所述存储设备用于存储指令，当所述至少一个处理器执行所述指令时，实现以下操作：获取智能轮椅所处场景的环境数据；基于所述环境数据生成所述场景的可视化数据；获取所述智能轮椅的定位数据和/或移动数据；基于所述定位数据和/或所述移动数据，生成代表轮椅的轮椅模型可视化数据，并将所述轮椅模型可视化数据融合到所述场景的可视化数据中得到融合可视化数据；将所述融合可视化数据发送至显示设备以呈现可视化图像。

本申请的另一方面提供一种计算机可读存储介质，所述存储介质存储计算机程序，当计算机读取存储介质中的计算机程序后，计算机运行如下操作：获取智能轮椅所处场景的环境数据；基于所述环境数据生成所述场景的可视化数据；获取所述智能轮椅的定位数据和/或移动数据；基于所述定位数据和/或所述移动数据，生成代表轮椅的轮椅模型可视化数据，并将所述轮椅模型可视化数据融合到所述场景的可视化数据中得到融合可视化数据；将所述融合可视化数据发送至显示设备以呈现可视化图像。

附图说明

图1是根据本申请的一些实施例所示的用于智能轮椅的可视化系统的应用场景图；

图2是用于实现本申请技术方案的专用系统的示例性计算设备的框图；

图3是根据本申请的一些实施例所示的用于智能轮椅的可视化方法的示例性流程图；

图4是根据本申请的一些实施例所示的用于智能轮椅的可视化系统的模块图；

图5是根据本申请的一些实施例所示的提示智能轮椅用户障碍物的方法的示例性流程图；

图6是根据本申请的一些实施例所示的训练智能轮椅用户操纵能力的方法的示例性流程图；

图7是根据本申请的一些实施例所示的根据智能轮椅用户的眼球运动切换图像的方法的示例性流程图；以及

图8是根据本申请的一些实施例所示的根据智能轮椅用户的肢体动作操纵智能轮椅移动的方法的示例性流程图。

具体实施方式

为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

虽然本申请对根据本申请的实施例的系统中的某些模块或单元做出了各种引用，然而，任何数量的不同模块或单元可以被使用并运行在客户端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”系用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

图1是根据本申请的一些实施例所示的用于智能轮椅的可视化系统的应用场景图。该用于智能轮椅的可视化系统100可以将智能轮椅所处场景可视化呈现给用户。该系统100还可以在可视化画面中融入智能轮椅的图像，使智能轮椅用户在了解当前所处场景的同时，也了解智能轮椅的位置、移动等状态信息。在一些实施例中，该系统100可以提示智能轮椅用户周围的障碍物信息。在一些实施例中，该系统100确定需要用户通过轮椅完成的用户任务，通过让用户完成任务提高用户操作轮椅的能力。在一些实施例中，该系统100可以追踪用户的眼球运动，从而确定用户感兴趣的物体，并切换画面，突出显示用户感兴趣的物体。在一些实施例中，该系统100还可以允许用户通过肢体动作来操纵轮椅。

在一些实施例中，智能轮椅110上可以安装有信息采集设备120、定位和移动检测装置130、处理设备140、显示设备150，由此构成用于智能轮椅的可视化系统100。

信息采集设备120可以采集智能轮椅所处场景的环境数据。在一些实施例中，信息采集设备可以包括图像采集设备120-1、传感器120-2等。图像采集设备120-1可以采集环境图像。传感器120-2可以采集其他的环境数据，包括但不限于物体的轮廓、尺寸、位置、不同物体之间的距离等信息。传感器120-2可以包括电磁传感器、微机械传感器、超声波传感器、惯性传感器等。在一些实施例中，信息采集设备120可以安装在智能轮椅110的底盘(图中未示出)上。在一些实施例中，信息采集设备120可以与处理设备140连接，将采集到的环境数据发送给处理设备140。

定位和移动检测装置130可以采集智能轮椅110的位置信息和/或移动信息。在一些实施例中，位置信息可以包括经纬度。在一些实施例中，当智能轮椅110在建筑物内部时，位置信息可以包括智能轮椅110在该建筑物中的位置。移动信息包括但不限于移动速度、加速度、角速度、角加速度、移动方向等。在一些实施例中，定位和移动检测装置130可以包括彼此独立的定位装置和移动检测装置。定位装置可以采用至少一种定位技术进行定位，所述定位技术包括但不限于全球定位系统(Global Positioning System，GPS)定位技术、蓝牙定位技术、WiFi网络定位技术、北斗卫星定位技术、基站定位技术等。移动检测装置可以通过传感器获取轮椅的移动信息。例如，可以通过超声波传感器、红外传感器、激光传感器等获取轮椅的速度信息。在一些实施例中，定位和移动检测装置130可以安装在智能轮椅110的底盘上。在一些实施例中，定位和移动检测装置130可以与处理设备140连接，将采集到的位置信息和/或移动信息发送给处理设备140。

处理设备140可以处理与智能轮椅可视化相关的信息和/或数据。在一些实施例中，处理设备140可以是独立的服务器或者服务器组。该服务器组可以是集中式的或者分布式的。在一些实施例中该处理设备140可以是区域的或者远程的。例如，处理设备140可访问信息采集装置120、定位和移动检测装置130中的信息和/或资料。

在一些实施例中，处理设备140可以处理用户的操作请求。例如处理设备112可以处理用户通过眼球运动和/或肢体动作对智能轮椅进行的操作。在一些实施例中，处理设备112可包含一个或多个子处理设备(如：单芯处理设备或多核多芯处理设备)。仅仅作为范例，处理设备112可包含中央处理器(CPU)、专用集成电路(ASIC)、专用指令处理器(ASIP)、图形处理器(GPU)、物理处理器(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编辑逻辑电路(PLD)、控制器、微控制器单元、精简指令集电脑(RISC)、微处理器等或以上任意组合。

显示装置150可以显示与智能轮椅相关的可视化图像。用户可以在显示装置150上看到智能轮椅所处场景的环境图像、智能轮椅的位置和/或移动情况。在一些实施例中，显示装置150可以包括智能头盔150-1、智能眼镜150-2、显示器150-3等。在一些实施例中，显示装置150可以与处理设备140连接，接收处理设备140发送的可视化数据。在一些实施例中，显示装置150可以与用户进行交互。例如，显示装置150可以捕捉用户的眼球运动和/或肢体动作。在一些实施例中，显示装置150和处理设备140可以设计为同一个装置。例如，智能显示装置内部可以设置有处理器，所述处理器可以实现处理设备140的功能。

图2是用于实现本申请技术方案的专用系统的示例性计算设备的框图。

如图2所示，计算设备200可以包括处理器210、存储器220、输入/输出接口230和通信通信端口240。

处理器210可以执行计算指令(程序代码)并执行本申请描述的用于智能轮椅的可视化系统100的功能。所述计算指令可以包括程序、对象、组件、数据结构、过程、模块和功能(所述功能指本申请中描述的特定功能)。例如，处理器210可以处理从用于智能轮椅的可视化系统100的其他任何组件获得的图像或文本数据。在一些实施例中，处理器210可以包括微控制器、微处理器、精简指令集计算机(RISC)、专用集成电路(ASIC)、应用特定指令集处理器(ASIP)、中央处理器(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高级RISC机(ARM)、可编程逻辑器件以及能够执行一个或多个功能的任何电路和处理器等，或其任意组合。仅为了说明，图2中的计算设备200只描述了一个处理器，但需要注意的是本申请中的计算设备200还可以包括多个处理器。

存储器220可以存储从系统100的任何其他组件获得的数据/信息。在一些实施例中，存储器220可以包括大容量存储器、可移动存储器、易失性读取和写入存储器和只读存储器(ROM)等，或其任意组合。示例性大容量存储器可以包括磁盘、光盘和固态驱动器等。可移动存储器可以包括闪存驱动器、软盘、光盘、存储卡、压缩盘和磁带等。易失性读取和写入存储器可以包括随机存取存储器(RAM)。RAM可以包括动态RAM(DRAM)、双倍速率同步动态RAM(DDR SDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容(Z-RAM)等。ROM可以包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(PEROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)和数字通用盘ROM等。

输入/输出接口230可以用于输入或输出信号、数据或信息。在一些实施例中，输入/输出接口230可以使用户与用于智能轮椅的可视化系统100进行联系。在一些实施例中，输入/输出接口230可以包括输入装置和输出装置。示例性输入装置可以包括键盘、鼠标、触摸屏和麦克风等，或其任意组合。示例性输出设备可以包括显示设备、扬声器、打印机、投影仪等，或其任意组合。示例性显示装置可以包括液晶显示器(LCD)、基于发光二极管(LED)的显示器、平板显示器、曲面显示器、电视设备、阴极射线管(CRT)等，或其任意组合。通信端口240可以连接到网络以便数据通信。所述连接可以是有线连接、无线连接或两者的组合。有线连接可以包括电缆、光缆或电话线等，或其任意组合。无线连接可以包括蓝牙、Wi-Fi、WiMax、WLAN、ZigBee、移动网络(例如，3G、4G或5G等)等，或其任意组合。在一些实施例中，通信端口240可以是标准化端口，如RS232、RS485等。在一些实施例中，通信端口240可以是专门设计的端口。例如，通信端口240可以根据数字成像和医学通信协议(DICOM)进行设计。

为了实现在本申请中描述的各种模块、单元及其功能，计算设备可以用作本申请所描述的一个或多个组件的硬件平台。这些计算设备的硬件元件、操作系统和编程语言本质上是常规的，并且本领域技术人员熟悉这些技术后可将这些技术适应于本申请所描述的用于智能轮椅的可视化系统。具有用户界面元件的计算设备可以用于实现个人计算机(PC)或其他类型的工作站或终端设备，如果适当地编程，计算机也可以充当服务器。

图3是根据本申请的一些实施例所示的一种用于智能轮椅的可视化方法的示例性流程图。具体的，该用于智能轮椅的可视化方法300可以由处理设备140执行。

步骤310，获取智能轮椅所处场景的环境数据。在一些实施例中，处理设备140可以与信息采集设备120连接，获取智能轮椅所处场景的环境数据。在一些实施例中，所述环境数据可以包括图像数据，例如静态图像、视频等。图像数据可以包括二维图像、三维图像等。所述图像数据可以包括至少一个物体(例如障碍物)的图像数据。在一些实施例中，所述环境数据可以包括其他的传感器数据，传感器数据可以反映各物体的轮廓、尺寸、位置、不同物体之间的距离等信息。

步骤320，基于所述环境数据生成智能轮椅所处真实场景的可视化数据。在一些实施例中，处理设备140可以直接将步骤310中获取的图像数据确定为真实场景的可视化数据。具体地，如果步骤310中获取的图像数据为二维图像数据，则处理设备140确定的真实场景的可视化数据也为二维图像数据；如果步骤310中获取的图像数据为三维图像数据，则处理设备140确定的真实场景的可视化数据就为三维图像数据。又例如，处理设备140可以结合步骤310中获取的图像数据和传感器数据重建真实场景的可视化数据。例如，步骤310中获取的图像数据为二维图像数据，传感器数据可以反映物体的尺寸、深度、距离等，则处理设备140可以结合所述二维图像数据和所述传感器数据生成真实场景的三维图像数据。

步骤330，获取智能轮椅的定位数据和/或移动数据。在一些实施例中，处理设备140可以与定位和移动检测装置130连接，获取智能轮椅的定位数据和/或移动数据。在一些实施例中，定位数据可以是智能轮椅所处的经纬度。在一些实施例中，当智能轮椅在建筑物内部时，定位数据可以是智能轮椅在该建筑物内的位置。移动数据包括但不限于智能轮椅的移动速度、加速度、角速度、角加速度、移动方向等。

步骤340，基于所述定位数据和/或移动数据，生成代表智能轮椅的轮椅模型可视化数据，并将所述轮椅模型可视化数据融合到轮椅所处真实场景的可视化数据中，得到融合可视化数据。

轮椅所处场景的可视化数据可以反映真实的环境状况，但无法反映轮椅的状况，通过融入轮椅模型可视化数据，可以使得用户在了解真实环境状况的同时，了解轮椅当前的状况，从而辅助用户更好地操控轮椅。在一些实施例中，所述融合可视化数据可以是AR或MR数据。在一些实施例中，可以预先设定智能轮椅的基本模型，该基本模型包括轮椅的外形、尺寸等基本信息，再将轮椅的定位数据和/或移动数据与该基本模型结合，得到可以反映轮椅真实状况的轮椅模型可视化数据。在一些实施例中，轮椅模型可视化数据可以是静态的可视化数据，如图像数据。在一些实施例中，轮椅模型可视化数据可以是动态的可视化数据，如视频数据。在一些实施例中，处理设备140可以采用至少一种三维空间注册方法将轮椅模型可视化数据融合到轮椅所处真实场景的可视化数据中，生成所述融合可视化数据。三维空间注册方法可以实现虚实配准，将虚拟物体的可视化数据和真实场景的可视化数据融合。

在一些实施例中，处理设备140可以采用基于图像的三维空间注册方法将轮椅模型可视化数据融合到真实场景的可视化数据中。具体地，处理设备140可以获取图像采集设备(例如，图像采集设备120-1)的内外部参数(例如镜头的焦距、传感器像元的高度、宽度、高度比等)，通过坐标变换确定图像采集设备坐标系与真实场景坐标系之间的转换关系；对图像采集设备采集到的图像数据进行标识提取，从而确定图像采集设备在真实场景中的位置和姿态；根据所述位置和姿态确定轮椅模型在真实场景的图像中所应放置的位置和方向；在真实场景图像中渲染所述轮椅模型，实现轮椅模型可视化数据与轮椅所处场景的可视化数据的融合。

在一些实施例中，处理设备140可以采用基于传感器的三维空间注册方法将轮椅模型可视化数据融合到真实场景的可视化数据中。具体地，可以首先利用传感器获取真实场景中各物体的位置和姿态，物体的位置可以通过至少一种定位技术获取，物体的姿态可以通过带陀螺仪的姿态传感器、电子罗盘、重力加速计等传感器获取。接着处理设备140可以根据真实场景中各物体的位置和姿态计算出需要融合的轮椅模型在真实场景中所应放置的位置和方向，实现两种数据的融合。

在一些实施例中，处理设备140可以结合上述两种三维空间注册方法，采用基于图像和传感器的三维空间注册方法，实现两种数据的融合。

在一些实施例中，除了轮椅模型的可视化数据外，处理设备140还可以将其他虚拟物体的可视化数据融合到轮椅所处真实场景的可视化数据中。虚拟物体可以包括虚拟障碍物、虚拟道路、虚拟路标、虚拟台阶等。在一些实施例中，可以采用至少一种三维空间注册方法生成所述可视化数据。如上文所述，三维空间注册方法可以包括基于图像的三维空间注册方法、基于传感器的三维空间注册方法等。

步骤350，将所述融合可视化数据发送至显示设备以呈现可视化图像。在一些实施例中，处理设备140在生成融合可视化数据后，将该融合可视化数据发送至显示设备150。在一些实施例中，显示设备150可以是AR和/或MR显示设备，用户通过该显示设备可以直观地了解当前所处场景的情况及智能轮椅的移动情况。在一些实施例中，显示设备可以是头戴式设备，如头盔、眼镜等；或者，显示设备也可以是非头戴式设备，如手持显示器、投影显示器等。

图4为根据本申请一些实施例所示的处理设备的模块图。处理设备140可以包括信息获取模块410、定位和移动数据获取模块420、可视化数据生成模块430、融合模块440以及通信模块450。

信息获取模块410可以获取智能轮椅所处场景的环境数据。在一些实施例中，信息获取模块410可以与信息采集设备120通信，以获取信息采集设备120采集到的环境数据。所述环境数据可以包括图像数据和/或其他传感器数据。

定位和移动数据获取模块420可以获取智能轮椅的定位数据和/或移动数据。在一些实施例中，定位和移动数据获取模块420可以与定位和移动检测装置130通信，获取智能轮椅的定位数据和/或移动数据。

可视化数据生成模块430可以生成智能轮椅所处真实场景的可视化数据。在一些实施例中，可视化数据生成模块430可以根据真实场景的图像数据和/或传感器数据生成真实场景的可视化数据。可视化数据生成模块430还可以根据智能轮椅的定位数据和/或移动数据，生成代表智能轮椅的轮椅模型可视化数据。在一些实施例中，可视化数据生成模块430还可以生成其他虚拟物体的可视化数据。

融合模块440可以将轮椅模型可视化数据融合到轮椅所处真实场景的可视化数据中。在一些实施例中，融合模块440还可以将其他虚拟物体的可视化数据融合到轮椅所处场景的可视化数据中。在一些实施例中，融合模块440可以采用三维空间注册方法进行可视化数据的融合。

通信模块450可以接收和/或发送信息和/或数据。在一些实施例中，通信模块450可以将融合的可视化数据发送到显示设备(例如，显示设备150)，使用户在显示设备上直观地看到智能轮椅所处场景及智能轮椅的位置和移动情况。

图5是根据本申请的一些实施例所示的提示智能轮椅用户障碍物的方法的示例性流程图。该方法500可以包括以下步骤：

步骤510，获取智能轮椅所处场景的环境数据。在一些实施例中，所述环境数据包括图像数据和其他传感器数据。步骤510与步骤310类似，此处不再赘述。

步骤520，根据环境数据确定障碍物信息。在一些实施例中，处理设备140可以根据环境数据确定智能轮椅与周围物体的位置。在一些实施例中，处理设备140可以确定智能轮椅与周围物体之间的距离。具体地，可以根据传感器(如超声波传感器、红外传感器、激光传感器、视觉传感器等)数据确定智能轮椅与周围物体之间的距离。在一些实施例中，如果智能轮椅与某一物体之间的距离小于设定阈值，则将该物体确定为障碍物。在一些实施例中，处理设备140可以确定智能轮椅的行进方向以及智能轮椅周围物体之间的相对位置关系，如果某一物体位于智能轮椅行进方向或行进路径上，则将该物体确定为障碍物。在一些实施例中，可以根据环境数据(例如视觉传感器获取的数据)确定障碍物的轮廓、尺寸等信息。在一些实施例中，可以根据环境数据确定障碍物的类型。例如，在获取了障碍物的图像后，可以用深度学习模型处理障碍物图像，识别出障碍物的类型。

步骤530，确定障碍物提示信息。在一些实施例中，所述提示信息可以包括图像信息、文本信息、语音信息等。在一些实施例中，处理设备140可以将障碍物信息融合到可视化数据中。例如，可以在可视化数据中融合障碍物类型的文字信息，用户可以通过显示设备看到障碍物类型。又例如，在显示设备所显示的图像中，障碍物可以被突出显示，如被标记上醒目的颜色等。

图6是根据本申请的一些实施例所示的训练智能轮椅用户操纵能力的方法的示例性流程图。对于轮椅用户来说，轮椅是他们日常行动的主要工具。用户会在轮椅操纵中可能会遇到一些障碍，特别是新手用户，如果让他们直接上手使用，他们很可能因为不熟练导致操纵效率低下，甚至引发事故。通过对智能轮椅用户进行训练，可以有效地提高他们的轮椅操纵水平。该方法600可以包括以下步骤：

步骤610，确定用户任务，生成用户任务可视化数据，所述用户任务需要由用户操作智能轮椅来完成。在一些实施例中，可以根据用户的个人信息(如性别、年龄、是否有轮椅操纵经验等)确定用户任务。作为示例，可以引导用户通过轮椅上的输入终端(如键盘、触摸屏、麦克风等)输入其个人信息。例如，如果用户没有轮椅操纵经验，则可以确定控制轮椅直线运动、转弯等简单的用户任务；如果用户有一定操纵经验，则可以确定控制轮椅避障等稍微复杂的用户任务。在一些实施例中，可以根据轮椅所处真实场景的环境数据确定用户任务。例如，如果轮椅处在平地上，则可以确定控制轮椅直线移动、转弯等用户任务；如果轮椅处在斜坡上，则可以确定控制轮椅爬坡等用户任务。在一些实施例中，用户任务可视化数据中可以包括虚拟物体。例如，可以设计一款壁球游戏，游戏画面中包括虚拟的壁球和球拍，用户可以通过操作轮椅的操纵杆来控制球拍以击打壁球，为了成功“击中”壁球，用户需要掌握好操作操纵杆的时机。通过该游戏，可以训练用户对于操作轮椅时机的把控能力。在一些实施例中，可以将虚拟物体的可视化数据融合到真实场景的可视化数据中，生成用户任务可视化数据。例如，可以设计一款爬坡游戏，游戏画面中包括虚拟的梯田，用户需要爬到梯田适当的位置收割农作物。当轮椅所处真实环境为斜坡时，可以将虚拟的梯田画面融入真实的斜坡画面中，用户可以通过操作轮椅实现爬坡、收割农作物等。通过该游戏，可以训练用户操作轮椅爬坡的能力。又例如，还可以设计一款避障游戏，游戏画面中包括虚拟的若干障碍物，用户需要操控轮椅运动避免障碍物。具体的，可以将游戏画面投影到地面，训练用户操作轮椅避障的能力

步骤620，将用户任务可视化数据发送至显示设备，让用户完成所述用户任务。在一些实施例中，可以通过专门的显示设备(如头盔、眼镜、显示器等)向用户展现用户任务。在一些实施例中，可以利用其他设备向用户展现用户任务。例如，可以通过投影仪将用户任务的图像投影到用户附近的地面或墙面上。

步骤630，获取用户的完成情况，给予相应反馈。在一些实施例中，处理设备140可以获取轮椅的定位和/或移动数据，通过分析所述数据确定用户是否完成任务。例如，处理设备140可以将避障游戏画面投影到真实场景中，如轮椅所在环境的地面上。处理设备140可以预先估算出游戏画面中障碍物位置与投影画面中障碍物位置的对应关系。如，可以根据投影仪内外参数、投影仪相对地面的距离、角度进行确定。处理设备140可以进一步根据所述对应关系确定障碍物可视化数据在真实场景中的位置。用户操控轮椅避开投影在地面上的虚拟障碍物。期间，位置和移动检测装置130获取轮椅的位置信息并传输给处理设备140，处理设备将轮椅的位置信息与虚拟障碍物在真实场景中的位置进行匹配，可以确定轮椅是否成功避开了虚拟障碍物。在一些实施例中，如果用户成功完成当前用户任务，则可以进行任务升级，向用户展示难度更高的任务；如果用户未能完成当前用户任务，则重复向用户展示当前任务或与当前任务难度一致的任务，直到用户完成。

图7是根据本申请的一些实施例所示的根据智能轮椅用户的眼球运动切换图像的方法的示例性流程图。该方法700可以包括以下步骤：

步骤710，向用户呈现可视化图像。在一些实施例中，可以通过头戴式设备，如头盔、眼镜等向用户呈现可视化图像。在一些实施例中，可以通过非头戴式设备，如手持显示器、投影显示器等向用户呈现可视化图像。

步骤720，追踪用户的头部运动和/或眼球运动。用户在观看可视化图像时，头部或眼球会发生运动。在一些实施例中，可以先建立头动模型，模型包括多个参数(如头部转动角度等)，再通过图像采集设备和/或传感器获取用户头部运动时所述参数的数值，将获取到的参数数值输入头动模型中，确定用户的头部运动。在一些实施例中，可以采用至少一种眼球追踪方法追踪用户的眼球运动。所述眼球追踪方法包括但不限于眼电图法、巩膜接触镜法、电磁感应法、虹膜-巩膜边缘跟踪法、角膜反射法、双普金野法等。

步骤730，根据用户的头部运动和/或眼球运动确定所述可视化图像中用户的感兴趣区域。用户在观看图像时，通常需要头部和眼球一起运动配合进行，头部运动和眼球运动对于视线移动均有贡献，因此可以结合头部运动和眼球运动确定用户的视线。在一些实施例中，可以根据用户的头部位置和朝向、眼球运动以及显示画面(或显示屏)与用户头部和/或眼睛的相对位置关系，确定用户在显示画面上的视野范围。在一些实施例中，可以结合用户的眼球运动确定用户在所述视野范围内的视线方向，沿着视线方向确定用户的注视区域。在一些实施例中，如果用户的视线在某一注视区域的停留时间超过设定阈值，则将该注视区域确定为用户的感兴趣区域。

步骤740，更新可视化图像，突出显示用户的感兴趣区域。在一些实施例中，在更新后的可视化图像中，用户的感兴趣区域具有比其他区域更高的显示分辨率。在一些实施例中，更新后的可视化图像保留并放大用户的感兴趣区域，删去了用户不感兴趣的其他区域。

图8是根据本申请的一些实施例所示的根据智能轮椅用户的肢体动作操纵智能轮椅移动的方法的示例性流程图。传统轮椅需要用户对轮椅上的实体部件进行操作来控制轮椅的移动，例如转动轮子、拨动操纵杆等。本申请可以让用户通过肢体动作而不用接触实体部件就能实现对轮椅的控制。该方法800包括以下步骤：

步骤810，向用户呈现可视化图像。在一些实施例中，可以通过头戴式设备，如头盔、眼镜等向用户呈现可视化图像。在一些实施例中，可以通过非头戴式设备，如手持显示器、投影显示器等向用户呈现可视化图像。

步骤820，追踪用户的肢体运动。在一些实施例中，可以获取用户图像，从图像中分割出用户的至少一个肢体(如手部)。以识别手部为例，在一些实施例中，可以采用基于肤色的图像识别方法，这类方法利用颜色信息进行手部检测和分割，这类方法包括但不限于基于YCbCr颜色空间的肤色分割法、基于R/G比例的肤色分割法、基于亮度的高斯肤色分割法、基于颜色的平面概率分布的手部分割法等。在一些实施例中，可以采用基于运动信息的图像识别方法，这类方法根据图像序列中不同灰度分布的变化进行手部分割，这类方法包括但不限于基于光流法的手部分割方法、结合椭圆肤色模型及帧间差分法的手部分割方法等。在从图像中分割出用户的肢体后，可以采用至少一种肢体识别方法识别出肢体的姿态。以手势识别为例，可以分为静态手势识别和动态手势识别。对于静态手势识别来说，在一些实施例中，可以采用基于模板的方法进行识别，包括但不限于模板匹配法、动态规划法、动态时间规整法。对于动态手势识别来说，可以采用的识别方法包括但不限于有限状态机(Finite State Machine，FSM)法、基于隐马尔可夫模型的方法、动态贝叶斯网络法、基于压缩时间轴的方法等。在一些实施例中，显示设备150具有交互功能，可以采集用户图像，并根据采集到的图像识别出用户的肢体运动。在一些实施例中，显示设备150和/或信息采集设备120可以采集用户图像，并将采集到的用户图像发送给处理设备140，由处理设备140识别出用户的肢体运动。

步骤830，根据用户的肢体运动控制智能轮椅的移动。在一些实施例中，可以根据用户的肢体运动控制智能轮椅做直线运动。例如，用户的手势为手掌向前或手掌向后，表明用户想要向前运动或向后运动，则可以控制智能轮椅直线前进或后退。在一些实施例中，可以根据用户的肢体运动控制轮椅拐弯。例如，用户的手势为指尖向左或向右，表明用户想要左转或右转，则可以控制智能轮椅左转或右转。

本申请实施例可能带来的有益效果包括但不限于：(1)生成轮椅所处真实场景的可视化数据，让轮椅用户可以了解自己所处的环境，避免用户直接观察时的视觉死角；(2)将轮椅模型融入真实场景画面中，让用户了解轮椅状况；(3)提示用户周围的障碍物信息，保障用户安全；(4)对用户进行训练，提升用户轮椅操纵水平；(5)用户可以通过眼动、肢体运动等操作轮椅，升级人机交互方式，改善用户体验。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

Claims (12)

1.一种用于智能轮椅的可视化方法，其特征在于，包括：

获取智能轮椅所处场景的环境数据；

基于所述环境数据生成所述场景的可视化数据；

获取所述智能轮椅的定位数据和/或移动数据；

基于所述定位数据和/或所述移动数据，生成代表轮椅的轮椅模型可视化数据，并将所述轮椅模型可视化数据融合到所述场景的可视化数据中得到融合可视化数据；

将所述融合可视化数据发送至显示设备以呈现可视化图像，所述显示设备突出显示用户的感兴趣区域，其中，所述突出显示包括使用户的感兴趣区域具有比其他区域更高的显示分辨率，或删去用户不感兴趣的其他区域而保留并放大用户的感兴趣区域。

2.如权利要求1所述的可视化方法，其特征在于，所述智能轮椅的移动数据包括以下数据中的至少一种：

所述智能轮椅的移动速度、加速度、角速度、角加速度、移动方向。

3.如权利要求1所述的可视化方法，其特征在于，所述环境数据包括：环境图像数据和/或环境传感器数据。

4.如权利要求1所述的可视化方法，其特征在于，所述环境数据包括障碍物数据。

5.如权利要求4所述的可视化方法，其特征在于，所述方法还包括：根据所述障碍物数据确定提示信息。

6.如权利要求1所述的可视化方法，其特征在于，所述方法还包括：

确定用户任务，生成用户任务可视化数据，所述用户任务需要用户操作所述智能轮椅来完成，其中，所述生成用户任务可视化数据包括将虚拟物体的可视化数据融合到真实场景的可视化数据中；

将用户任务可视化数据发送至显示设备，引导用户完成所述用户任务，其中，所述显示设备包括用于将用户任务的图像投影到地面上的投影仪，所述用户完成所述用户任务包括用户操控轮椅避开投影在地面上的虚拟物体。

7.如权利要求6所述的可视化方法，其特征在于，所述方法还包括：

获取用户的操作数据；

根据所述操作数据判断用户是否成功完成所述用户任务，如果成功完成，则升级任务难度和/或对用户进行奖励；如果未成功完成，则提示用户继续完成所述用户任务。

8.如权利要求1所述的可视化方法，其特征在于，所述方法还包括：

追踪用户头部运动和/或眼球运动；

根据用户的头部运动和/或眼球运动确定用户的感兴趣区域；

更新所述融合可视化数据。

9.如权利要求1所述的可视化方法，其特征在于，所述方法还包括：

追踪用户的肢体运动；

根据用户的肢体运动控制所述智能轮椅的移动。

10.一种用于智能轮椅的可视化系统，其特征在于，包括：

信息获取模块，用于获取智能轮椅所处场景的环境数据；

定位和移动数据获取模块，用于获取所述智能轮椅的定位数据和/或移动数据；

可视化数据生成模块，用于：

基于所述环境数据生成所述场景的可视化数据；

基于所述定位数据和/或所述移动数据，生成代表轮椅的轮椅模型可视化数据，并将所述轮椅模型可视化数据融合到所述场景的可视化数据中得到融合可视化数据；

通信模块，用于将所述融合可视化数据发送至显示设备以呈现可视化图像，所述显示设备突出显示用户的感兴趣区域，其中，所述突出显示包括使用户的感兴趣区域具有比其他区域更高的显示分辨率，或删去用户不感兴趣的其他区域而保留并放大用户的感兴趣区域。

11.一种用于智能轮椅的可视化系统，其特征在于，所述系统包括至少一个处理器和至少一个存储设备，所述存储设备用于存储指令，当所述至少一个处理器执行所述指令时，实现以下操作：

获取智能轮椅所处场景的环境数据；

基于所述环境数据生成所述场景的可视化数据；

获取所述智能轮椅的定位数据和/或移动数据；

基于所述定位数据和/或所述移动数据，生成代表轮椅的轮椅模型可视化数据，并将所述轮椅模型可视化数据融合到所述场景的可视化数据中得到融合可视化数据；

将所述融合可视化数据发送至显示设备以呈现可视化图像，所述显示设备突出显示用户的感兴趣区域，其中，所述突出显示包括使用户的感兴趣区域具有比其他区域更高的显示分辨率，或删去用户不感兴趣的其他区域而保留并放大用户的感兴趣区域。

12.一种计算机可读存储介质，其特征在于，所述存储介质存储计算机程序，当计算机读取存储介质中的计算机程序后，计算机运行如下操作：

获取智能轮椅所处场景的环境数据；

基于所述环境数据生成所述场景的可视化数据；

获取所述智能轮椅的定位数据和/或移动数据；

基于所述定位数据和/或所述移动数据，生成代表轮椅的轮椅模型可视化数据，并将所述轮椅模型可视化数据融合到所述场景的可视化数据中得到融合可视化数据；

将所述融合可视化数据发送至显示设备以呈现可视化图像，所述显示设备突出显示用户的感兴趣区域，其中，所述突出显示包括使用户的感兴趣区域具有比其他区域更高的显示分辨率，或删去用户不感兴趣的其他区域而保留并放大用户的感兴趣区域。

Images