CN108140362B - 显示方法、装置、电子设备和计算机程序产品 - Google Patents

Abstract

显示方法、装置、电子设备和计算机程序产品，所述方法包括：采集环境的深度数据；确定各深度值与色彩组合的映射关系；根据所述深度数据和所述映射关系，生成所述环境的伪彩色图像；将所述伪彩色图像与所述环境的图像叠加显示。本申请中，将环境的深度数据映射得到伪彩色图像，并将所述伪彩色图像与当前环境图像叠加进行增强显示，能够在基本不影响低视力患者视野的情况下，充分利用低视力患者的残余视力，并协助其有效的感知环境中物体的距离。

Description

显示方法、装置、电子设备和计算机程序产品

技术领域

本申请涉及导盲技术领域，特别涉及显示方法、装置、电子设备和计算机程序产品。

背景技术

视力残疾是世界范围内严重的公共卫生、社会和经济问题，不同经济地区致盲的主要原因不同，经济发达地区为年龄性相关性黄斑变性、糖尿病性视网膜病变等，而发展中国家则以老年性白内障和感染性眼病为主。视力残疾患者通常分为盲人和低视力患者，其中盲人仅占全部视力残疾患者的四分之一左右，而低视力患者则占到了近四分之三。据统计，全世界已有4000-4500万盲人和约1.35亿低视力患者，并且每年约新增约700万盲人和2100万低视力患者。可见视力残疾患者，尤其是其中数量巨大的低视力患者的辅助和康复都面临十分严峻的挑战。虽然低视力患者中的一部分可以通过手术及屈光矫正得以恢复或提高视力，但是仍有大量低视力患者需要低视力设备进行辅助。

由于低视力还没有得到社会的广泛认识，仍有残余视力的患者往往被淹没在人群中，被认为是盲人对待，现有技术中针对低视力患者开发的视觉辅助设备主要是低视力助视器。现有的助视器主要是通过光学原理对低视力患者看到的图像进行体积放大或者投影放大，以及对成像距离或者成像角度进行调整等，以协助低视力患者获得清晰的图像。

现有技术的不足在于：

现有的助视器通常对用户视野范围影响较大，不能较好的利用用户的残余视力，并且不能辅助低视力患者通过图像有效感知环境中物体的距离。

发明内容

本申请实施例提出了显示方法、装置、设备和计算机程序产品，主要用以辅助低视力患者有效的感知环境中物体的距离。

在一个方面，本申请实施例提供了一种显示方法，其特征在于，所述方法包括：采集环境的深度数据；确定各深度值与色彩组合的映射关系；根据所述深度数据和所述映射关系，生成所述环境的伪彩色图像；将所述伪彩色图像与所述环境的图像叠加显示。

在另一个方面，本申请实施例提供了一种显示装置，其特征在于，所述装置包括：数据采集模块，用于采集环境的深度数据；色彩映射模块，用于确定各深度值与色彩组合的映射关系；伪彩色图像生成模块，用于根据所述深度数据和所述映射关系，生成所述环境的伪彩色图像；显示模块，用于将所述伪彩色图像与所述环境的图像叠加显示。

在另一个方面，本申请实施例提供了一种电子设备，其特征在于，所述电子设备包括：存储器，一个或多个处理器；以及一个或多个模块，所述一个或多个模块被存储在所述存储器中，并被配置成由所述一个或多个处理器执行，所述一个或多个模块包括用于执行上述方法中各个步骤的指令。

在另一个方面，本申请实施例提供了一种与电子设备结合使用的计算机程序产品，所述计算机程序产品包括内嵌于计算机可读的存储介质中的计算机程序，所述计算机程序包括用于使所述电子设备执行上述方法中的各个步骤的指令。

本申请实施例的有益效果如下：

本申请中，将环境的深度数据映射得到伪彩色图像，并将所述伪彩色图像与当前环境图像叠加进行增强显示，能够在基本不影响低视力患者视野的情况下，充分利用低视力患者的残余视力，并协助其有效的感知环境中物体的距离。

附图说明

下面将参照附图描述本申请的具体实施例，其中：

图1示出了本申请实施例一中显示方法的流程示意图；

图2示出了本申请其中一种深度值与色彩组合映射关系的示意图；

图3示出了本申请实施例二中显示方法的流程示意图；

图4示出了本申请其中一种深度值与色彩组合映射关系的示意图；

图5示出了本申请实施例三中显示方法的流程示意图；

图6示出了本申请其中一种深度值和灰度值与色彩组合映射关系的示意图；

图7a-7d示出了本申请实施例四中四种实现场景的示意图；

图8示出了本申请实施例五中显示装置的结构示意图；

图9示出了本申请实施例六中电子设备的结构示意图。

具体实施方式

为了使本申请的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。

发明人在发明过程中注意到：现有的助视器通常对用户视野范围影响较大，不能较好的利用用户的残余视力，并且不能辅助低视力患者通过图像有效感知环境中物体的距离。

针对上述不足，本申请提供了一种显示方法，将环境的深度数据映射得到伪彩色图像，并将所述伪彩色图像与当前环境图像叠加进行增强显示，能够在基本不影响低视力患者视野的情况下，充分利用低视力患者的残余视力，并协助其有效的感知环境中物体的距离。

本申请实施例通常在低视力辅助设备中实现，例如AR(Augmented Reality，增强现实)眼镜，VR(Virtual Reality，虚拟现实)眼镜或者导盲头盔等；也可以在用户的随身设备如手机或者平板电脑等实现。

以下通过具体示例，进一步阐明本发明实施例技术方案的实质。

实施例一：

图1示出了本申请实施例一中显示方法流程示意图，如图1所示，所述显示方法包括：

步骤101，采集环境的深度数据；

步骤102，确定各深度值与色彩组合的映射关系；

步骤103，根据所述深度数据和所述映射关系，生成所述环境的伪彩色图像；

步骤104，将所述伪彩色图像与所述环境的图像叠加显示。

以低视力患者佩戴AR眼镜为例，在步骤101中，低视力患者佩戴的AR眼镜采集环境的深度数据。这里的深度数据可以是AR眼镜搭载的深度传感器、景深摄像头直接采集得到的，也可以是AR眼镜搭载的双目摄像头等采集前方环境图像进行计算后得到的。所述深度数据可以单独采集，并以表格或者矩阵的形式对应当前的环境图像位置进行存储；所述深度数据的采集也可以伴随着环境图像的采集而采集，此时深度数据将与环境图像的各像素对应。

因设备的限制，深度数据通常具有极限识别范围，对于超出该范围的深度传感器无法识别的区域，通常将其深度数据记为0或者缺省值。

在步骤102中，确定各深度值与色彩组合的映射关系。以深度传感器为例，其有效工作距离通常可以为0.5m到5m，因此以毫米为单位时，其采集前方环境的深度数据的范围是[500，5000]，建立该范围内各深度值与色彩组合的映射关系。

图2示出了本申请其中一种深度值与色彩组合映射关系的示意图，如图2所示，深度值与三种色彩的组合，即红色、绿色和蓝色的组合具有映射关系，其中深度值在[500，1500]间时，其映射为单一的红色，并且红色色彩分量的灰度值随深度值的变化而变化，深度值在[1500，2500]间时，其映射为红色和绿色的组合，并且红色和绿色的色彩分量分别随深度值的变化而变化，以此类推。可见深度值在[500，5000]的全范围内，将依深度值的变化而对应渐变的“红色-绿色-蓝色”。当深度值在[500，5000]范围外已被记录为0或者缺省值的，可以直接映射为0，即各种彩色分量均为零，该处灰度值为0，对应黑色。

实际上深度值可以与两种或者多种色彩存在线性或者非线性，连续或者离散的映射关系，并且各种色彩不限于蓝色、红色和绿色三种颜色，还可以为橙色、黄色、青色、紫色或者粉色等，或者这些彩色与黑色或白色的组合等。

此外各深度值与色彩组合的映射关系可以是预设的也可以是根据环境情况如亮度、光线等动态改变的。

在一些实施方式中，在所述步骤102之前还包括：获取当前用户信息，所述步骤102中，根据所述用户信息确定各深度值与色彩组合的映射关系；

通常，低视力患者对于颜色分辨也有障碍，例如一些患者只能区分红色和蓝色，而认为黄色、青色与灰色相同，另一些患者能感觉到红色、黄色、青色和蓝色四种色不同，但是并不知道具体是什么颜色；一些用户能够明显区分出某些色彩的渐变，而另一些患者仅能区分边界分明的色彩组合等。因此可事先为每一位低视力患者匹配其适用的色彩的组合以及其与深度值的映射方式，确定各用户能够敏感区分的色彩的组合以及用户习惯的映射方式。例如，对于无法区分红色的患者，则不将红色列入色彩组合；对能够非常敏感的辨别渐变蓝色的用户，则可适当扩大色彩组合中蓝色所占的映射范围；对于不能区分或者不适应渐变颜色的患者，则采用阶梯状的映射方式，即在某一深度值范围映射为单一的颜色，各深度值范围间色彩存在明显边界。

在事先调试和设定了各用户对应的深度值与色彩组合的映射关系后，当用户佩戴了AR眼镜后，其可以识别和获取当前用户的用户信息，并匹配其对应的深度值与色彩组合的映射关系，进行后续伪彩色转换的处理。所述识别和获取的方式可以通过用户手动菜单操作选择、或者通过用户语音、虹膜等生物特征识别获得。

需要说明的是上述步骤101和步骤102的实现顺序不限，即只要在步骤103前采集了环境的深度数据，并确定了各深度值与色彩组合的映射关系即可。

在步骤103中，根据采集的环境深度数据和所述各深度值与色彩组合的映射关系生成所述环境的伪彩色图像。

将采集的环境的深度数据中的深度值逐一根据映射关系转换为该深度值对应的色彩，对应的转换完成当前的环境图像各位置处对应的色彩后，即得到了当前环境的伪彩色图像，伪彩色图像中的各种色彩对应的表明了该处环境中物体到用户的深度传感器的距离，若伪彩色图像中某处为黑色，则可能表明该处的距离已经超出了深度传感器的范围。

在步骤104中，将所述环境的伪彩色图像与所述环境的图像叠加显示。当用户佩戴的为AR眼镜时，用户能够通过透明镜片看到环境图像，此时根据所述环境的伪彩色图像与环境深度数据的对应关系，或者所述环境的伪彩色图像与环境图像的对应关系在透明镜片上叠加当前的环境图像实时显示处理得到的伪彩色图像。当用户佩戴的为VR眼镜、导盲头盔或者使用其他终端时，可同步采集当前环境图像，并与伪彩色图像叠加后进行显示。

由于人眼对色彩的辨别能力相对较强，可分辨出上千种颜色，在原环境图像的基础上叠加对应的伪彩色图像能够使患者更有效的提取图形信息，更易辨认环境图像细节，能够更敏感、形象的感知和识别各种距离的物体。

本实施例中，将环境的深度数据映射得到伪彩色图像，并将所述伪彩色图像与当前环境图像叠加进行增强显示，能够在基本不影响低视力患者视野的情况下，充分利用低视力患者的残余视力，并协助其有效的感知环境中物体的距离。针对不同的患者用户可以为其调试不同的深度值与色彩组合的映射关系，以生成更适合各用户观看的特有的伪彩色图像。

实施例二：

图3示出了本申请实施例二中显示方法流程示意图，如图3所示，所述显示方法包括：

步骤201，采集环境的深度数据；

步骤202，确定在预设范围内的各深度值与色彩组合的映射关系；

步骤203，根据在预设范围内的所述环境的深度数据和所述映射关系，生成所述环境的伪彩色图像；

步骤204，将所述伪彩色图像与所述环境的图像叠加显示。

步骤201的实施可参照上述实施例一中对步骤101的说明，在步骤201中采集环境的深度数据。

在步骤202中，确定在预设范围内的各深度值与色彩组合的映射关系，这里的预设范围落入深度数据的极限采集范围内，并且小于所述深度数据的极限采集范围。

深度值的预设范围的意义在于，用户可以根据自己感兴趣的范围进行后续的伪彩色处理。通常低视力患者更对周围2m内的障碍物更感兴趣，因此可将深度值限定在1m到2m对应的深度值范围。例如，若深度传感器的极限采集范围是0.5m到5m，即以毫米为单位时，其采集前方环境的深度数据的极限范围是[500，5000]，此时用户可自定义一个预设范围，该预设范围在[500，5000]的范围内，并且小于该范围，例如可选取[1000，2000]。

预设范围内的各深度值与色彩组合的映射关系与全范围内各深度值与色彩组合的映射关系类似。图4示出了本申请其中一种深度值与色彩组合映射关系的示意图，如图4所示，预设范围内，即[1000，2000]中的各深度值与三种色彩的组合，即红色、绿色和蓝色的组合具有映射关系，可见深度值在[1000，2000]的预设范围内，将依深度值的变化而对应渐变的“红色-绿色-蓝色”。当深度值在[1000，2000]范围外已被记录为0或者缺省值的，可以直接映射为0，即各种彩色分量均为零，该处灰度值为0，对应黑色。

对比上述实施例一中的图2可知，本实施例在[1000，2000]较小的深度值范围内即完成了“红色-绿色-蓝色”的渐变对应，距离用户1m和1.5m的物体能够轻易的通过红色和绿色的区别进行识别，而在实施例一中，距离用户1m和1.5m的物体则基本均显示为红色，并且色差较小。可见，当与色彩组合的映射方式确定时，所述深度值的预设范围越小，越能够将该范围内各种不同距离的物体通过不同色彩进行更细致的区分。当用户进行近距离的精细操作时，甚至可以将深度范围调整的更小，使低视力用户也能高精度的分辨特定距离范围内物体细微的距离差异。

同样的，在预设范围内的各深度值可以与两种或者多种色彩存在线性或者非线性，连续或者离散的映射关系，并且各种色彩不限于蓝色、红色和绿色三种颜色，还可以为橙色、黄色、青色、紫色或者粉色等，或者这些彩色与黑色或白色的组合等。

此外在预设范围内的各深度值与色彩组合的映射关系可以是预设的也可以是根据环境情况如亮度、光线等动态改变的。

在一些实施方式中，在所述步骤102之前还包括：获取当前用户信息，所述步骤102中，根据所述用户信息确定各深度值与色彩组合的映射关系。对该步骤的实施可参照上述实施例一中对步骤102的相关说明。

需要说明的是上述步骤201和步骤202的实现顺序不限，即只要在步骤203前采集了环境的深度数据，并确定了预设范围内的各深度值与色彩组合的映射关系即可。

在步骤203中，根据采集的在预设范围内的所述环境的深度数据，以及所述在预设范围内的各深度值与色彩组合的映射关系，生成所述环境的伪彩色图像。

将采集的环境的深度数据中符合预设范围的深度值逐一根据映射关系转换为该深度值对应的色彩，对应的转换完成当前的环境图像各位置处对应的色彩后，即得到了当前环境的伪彩色图像，伪彩色图像中的各种色彩对应的表明了该处环境中物体到用户的深度传感器的距离，并且生成了伪彩色图像的彩色部分是符合预设深度值范围的物体的图像部分，也即用户最关注的距离范围内物体的图像部分。此时若伪彩色图像中某处为黑色，则可能表明该处的距离已经超出了深度传感器的范围，或者该处距离没有在用户指定的预设范围内。

在步骤204中，将所述环境的伪彩色图像与所述环境的图像叠加显示。当用户佩戴的为AR眼镜时，用户能够通过透明镜片看到环境图像，此时根据所述环境的伪彩色图像与环境深度数据的对应关系，或者所述环境的伪彩色图像与环境图像的对应关系在透明镜片上叠加当前的环境图像实时显示处理得到的伪彩色图像。当用户佩戴的为VR眼镜、导盲头盔或者使用其他终端时，可同步采集当前环境图像，并与伪彩色图像叠加后进行显示。

由于人眼对色彩的辨别能力相对较强，可分辨出上千种颜色，在原环境图像的基础上叠加对应的伪彩色图像能够使患者更有效的提取图形信息，更易辨认环境图像细节，能够更敏感、形象的感知和识别各种距离的物体。

本实施例中，将预设深度值范围内的环境的深度数据映射得到伪彩色图像，并将所述伪彩色图像与当前环境图像叠加进行增强显示，能够在基本不影响低视力患者视野的情况下，充分利用低视力患者的残余视力，并协助其有效的感知环境中物体的距离，针对不同的患者用户可以为其调试不同的深度值与色彩组合的映射关系，以生成更适合各用户观看的特有的伪彩色图像。此外，本实施例尤其能够着重处理用户最关注的距离范围部分，当色彩组合的映射方式确定时，所述预设深度值范围越小，越能够将该范围内各种不同距离的物体通过不同色彩进行更细致的区分。

实施例三：

图5示出了本申请实施例三中显示方法流程示意图，如图5所示，所述显示方法包括：

步骤301，采集环境的深度数据；根据所述环境的深度数据生成灰度图；

步骤302，确定各深度值与色彩组合的映射关系；根据所述各深度值与所述色彩组合的映射关系确定各灰度值与色彩组合的映射关系；

步骤303，根据由所述深度数据生成的灰度图和所述各灰度值与色彩组合的映射关系，生成所述环境的伪彩色图像；

步骤304，将所述伪彩色图像与所述环境的图像叠加显示。

以低视力患者佩戴AR眼镜为例，在步骤301中，低视力患者佩戴的AR眼镜采集环境的深度数据，并根据该深度数据生成当前环境的灰度图。

这里的深度数据可以是AR眼镜搭载的深度传感器、景深摄像头直接采集得到的，也可以AR眼镜搭载的双目摄像头等采集前方环境图像进行计算后得到的。所述深度数据可以单独采集，并以表格或者矩阵的形式对应当前的环境图像位置进行存储；所述深度数据的采集也可以伴随着环境图像的采集，此时深度数据将与环境图像的各像素对应。

灰度图是将白色与黑色按对数关系分为若干等级，灰度图可分为256阶或者65536阶等。以256阶灰度图为例，在生成灰度图时，通常建立深度值与灰度值的映射关系，因设备的限制，深度数据通常具有极限识别范围，超出该范围的，即深度传感器无法识别的通常将该处深度数据记为0或者缺省值。将深度值的极限采集范围缩放对应至[0，255]的灰度值，在极限范围外的深度值对应的灰度值均对应为0或者255。同时，深度值与灰度值可以为线性或者非线性，连续或者离散的映射关系；既可以将近距离映射为白，远距离映射为黑，也可以将近距离映射为黑，远距离映射为白。

在步骤302中，确定各深度值与色彩组合的映射关系，并根据所述各深度值与所述色彩组合的映射关系确定各灰度值与色彩组合的映射关系。

以深度传感器为例，其有效工作距离通常可以为0.5m到5m，因此以毫米为单位时，其采集前方环境的深度数据的范围是[500，5000]，可以建立该范围内各深度值与色彩组合的映射关系。又因为在步骤301中通常存在深度值与灰度值的映射关系，因此可根据深度值与色彩组合的映射关系以及深度值与灰度值的映射关系确定各灰度值与色彩组合的映射关系。

图6示出了本申请其中一种深度值和灰度值与色彩组合映射关系的示意图，如图6所示，深度值与三种色彩的组合，即红色、绿色和蓝色的组合具有映射关系，其中深度值在[500，1500]间时，其映射为单一的红色，并且红色色彩分量的灰度值随深度值的变化而变化，深度值在[1500，2500]间时，其映射为红色和绿色的组合，并且红色和绿色的色彩分量分别随深度值的变化而变化，以此类推。可见深度值在[500，5000]的全范围内，将依深度值的变化而对应渐变的“红色-绿色-蓝色”。当深度值在[500，5000]范围外已被记录为0或者缺省值的，可以直接映射为0，即各种彩色分量均为零，该处灰度值为0，对应黑色。由横坐标的深度值与灰度值的映射关系可以进一步确定灰度值与色彩组合的映射关系。可见当灰度值在[0，255]间变化时，将对应“蓝色-绿色-红色”的渐变色彩。

实际上深度值可以与两种或者多种色彩存在线性或者非线性，连续或者离散的映射关系，并且各种色彩不限于蓝色、红色和绿色三种颜色，还可以为橙色、黄色、青色、紫色或者粉色等，或者这些彩色与黑色或白色的组合等。因此灰度值同样可以与不同的色彩组合构成不同的映射方式。

在一些实施方式中，在所述步骤302之前还包括：获取当前用户信息，所述步骤302中，根据所述用户信息确定各深度值与色彩组合的映射关系，并根据所述各深度值与所述色彩组合的映射关系确定各灰度值与色彩组合的映射关系。

通常，低视力患者对于颜色分辨也有障碍，例如一些患者只能区分红色和蓝色，而认为黄色、青色与灰色相同，另一些患者能感觉到红色、黄色、青色和蓝色四种色不同，但是并不知道具体是什么颜色；一些用户能够明显区分出某些色彩的渐变，而另一些患者仅能区分边界分明的色彩组合等。因此可事先为每一位低视力患者匹配其适用的色彩的组合以及其与深度值的映射方式，确定各用户能够敏感区分的色彩的组合以及用户习惯的映射方式。例如，对于无法区分红色的患者，则不将红色列入色彩组合；对能够非常敏感的辨别渐变蓝色的用户，则可适当扩大色彩组合中蓝色所占的映射范围；对于不能区分或者不适应渐变颜色的患者，则采用阶梯状的映射方式，即在某一深度值范围映射为单一的颜色，各深度值范围间色彩存在明显边界。

在事先调试和设定了各用户对应的深度值与色彩组合的映射关系后，当用户佩戴了AR眼镜后，其可以识别和获取当前用户的用户信息，并匹配其对应的深度值与色彩组合的映射关系，进而根据该用户特定的深度值与色彩组合的映射关系确定该用户特定的灰度值与色彩组合的映射关系，进行后续伪彩色转换的处理。

需要说明的是上述步骤301和步骤302的实现顺序不限，即只要在步骤303前采集了环境的深度数据，生成了灰度图，确定了各深度值与色彩组合的映射关系，也确定了各灰度值与色彩组合的映射关系即可。

在步骤303中，根据由所述深度数据生成的灰度图和所述各灰度值与色彩组合的映射关系，生成所述环境的伪彩色图像。

将根据采集的环境的深度数据生成的灰度图中的灰度值逐一根据灰度值与色彩组合的映射关系转换为该灰度值对应的色彩，对应的转换完成当前环境的灰度图各位置处对应的色彩后，即由灰度图得到了当前环境的伪彩色图像，伪彩色图像中的各种色彩对应的表明了该处环境中物体到用户的深度传感器的距离，若伪彩色图像中某处为黑色，则可能表明该处的距离已经超出了深度传感器的范围。

在现有的图像处理技术中，尤其是应用于具有双目摄像头的用户可穿戴设备中，可能已经存在对环境图像处理的某些中间步骤能够得到基于深度信息生成的灰度图，本实施例可通过深度值与色彩组合的映射关系得到灰度值与色彩组合的映射关系，进而直接利用这些中间步骤产出的灰度图进行伪彩色处理。

步骤304的实施可参照上述实施例一和实施例二中对步骤104和步骤204的说明，在步骤304中将所述环境的伪彩色图像与所述环境的图像叠加显示。

由于人眼对色彩的辨别能力相对较强，可分辨出上千种颜色，在原环境图像的基础上叠加对应的伪彩色图像能够使患者更有效的提取图形信息，更易辨认环境图像细节，能够更敏感、形象的感知和识别各种距离的物体。

在一些实施方式中，本实施例的步骤302和步骤303可以为：

步骤302，确定在预设范围内的各深度值与色彩组合的映射关系；根据所述在预设范围内的各深度值与所述色彩组合的映射关系确定对应范围内各灰度值与色彩组合的映射关系；

步骤303，根据由所述深度数据生成的灰度图和所述对应范围内各灰度值与色彩组合的映射关系，生成所述环境的伪彩色图像。

即在步骤302中，首先确定在预设范围内的各深度值与色彩组合的映射关系，这里的预设范围落入深度数据的极限采集范围内，并且小于所述深度数据的极限采集范围。

深度值的预设范围的意义在于，用户可以根据自己感兴趣的范围进行后续的伪彩色处理。通常低视力患者更对周围2m内的障碍物更感兴趣，因此可将深度值限定在1m到2m对应的深度值范围。例如，若深度传感器的极限采集范围是0.5m到5m，即以毫米为单位时，其采集前方环境的深度数据的极限范围是[500，5000]，此时用户可自定义一个预设范围，该预设范围在[500，5000]的范围内，并且小于该范围，例如可选取[1000，2000]。

预设范围内的各深度值与色彩组合的映射关系与全范围内各深度值与色彩组合的映射关系类似，可参考图4。可以理解，当与色彩组合的映射方式确定时，所述深度值的预设范围越小，越能够将该范围内各种不同距离的物体通过不同色彩进行更细致的区分。当用户进行近距离的精细操作时，甚至可以将深度范围调整的更小，使低视力用户也能高精度的分辨特定距离范围内物体细微的距离差异。

在确定了在预设范围内的各深度值与色彩组合的映射关系后，可根据生成灰度图时深度值与灰度值的映射关系，确定预设范围内的各深度值映射得到的对应范围内的各灰度值，进而确定对应范围内各灰度值与色彩组合的映射关系。例如当深度值的预设范围为[1000，2000]时，对应范围内的灰度值约在220-160之间。

同样的，在预设范围内的各深度值也即对应范围内各灰度值可以与两种或者多种色彩存在线性或者非线性，连续或者离散的映射关系，并且各种色彩不限于蓝色、红色和绿色三种颜色，还可以为橙色、黄色、青色、紫色或者粉色等，或者这些彩色与黑色或白色的组合等。

相应的在步骤303中，根据由所述深度数据生成的灰度图和所述对应范围内各灰度值与色彩组合的映射关系，生成所述环境的伪彩色图像。即将根据采集的环境的深度数据生成的灰度图中灰度值落入对应范围内的灰度值逐一根据映射关系转换为该灰度值对应的色彩，对应的转换完成当前环境的灰度图各位置处对应的色彩后，即由灰度图得到了当前环境的伪彩色图像。因为对应范围外的各灰度值与色彩组合不存在对应关系，所以通常记为黑色。

可见该种实施方式中，实际仅根据预设的深度值范围对灰度图中某些灰度值范围内的图像进行了处理，当与色彩组合的映射方式确定时，所述深度值的预设范围越小，对应范围内的灰度值越少，越能够在对灰度图进行处理时将该范围内各种不同距离的物体通过不同色彩进行更细致的区分。当用户进行近距离的精细操作时，甚至可以将深度范围调整的更小，使低视力用户也能高精度的分辨特定距离范围内物体细微的距离差异。

本实施例中，根据环境的深度数据生成灰度图，并基于灰度值与色彩组合的映射关系得到伪彩色图像，并将所述伪彩色图像与当前环境图像叠加进行增强显示，能够利用现有图像处理方案某些中间步骤得到的灰度图，易于与现有的图像处理技术相结合，能够在基本不影响低视力患者视野的情况下，充分利用低视力患者的残余视力，并协助其有效的感知环境中物体的距离；此外还能够着重针对用户最关注的距离范围部分的灰度图部分进行处理，当色彩组合的映射方式确定时，所述预设深度值范围越小，需要处理的灰度图部分约小，越能够将该范围内各种不同距离的物体通过不同色彩进行更细致的区分。

实施例四：

图7a-7d示出了本申请实施例四中四种实现场景的示意图，其中，用户头戴AR眼镜，所述AR眼镜具有深度传感器，当用户低头注视前方时，深度传感器引出的实线为用户AR眼镜的上下视野范围，虚线为深度传感器能够有效探测的距离范围。在最大识别距离之外的物体的深度值均为0或者缺省值。各附图右侧为各场景中在AR眼镜中为用户叠加的伪彩色图像示意图。

图7a示出了本申请一种实现场景的示意图，如图7a所示，用户前方为平地且无障碍物。以图2中深度值与色彩组合的映射关系为例，患者在下边缘A处看到的为少量绿色与少量红色合成的色彩叠加至实际环境图像；在视野的中部附近B处以下看到的是蓝色叠加至实际环境图像；视野中部附近B处以上则因为超出深度探测所以叠加的伪彩色为黑色，也即在AR眼镜上的该部分区域未进行处理，是透明的。

用户可通过视野中A与B间的颜色变化很好的识别前方平地的距离变化。

图7b示出了本申请另一种实现场景的示意图，如图7b所示，用户前方为凸起台阶。以图2中深度值与色彩组合的映射关系为例，患者在下边缘A处看到的为少量绿色与少量红色合成的色彩叠加至实际环境图像；在视野的上部附近B处以下看到的是蓝色叠加至实际环境图像；在视野的A和B之间用户能够区分出分界线C和D，也即台阶的轮廓，因为在A-C和D-B间颜色由绿色向蓝色渐变，而在C-D间，色彩由蓝色向绿色渐变。视野中B处以上则因为超出深度探测所以叠加的伪彩色为黑色，也即在AR眼镜上的该部分区域未进行处理，是透明的。

用户可通过视野中较高的彩色边界线B，以及A与B间的颜色变化很好的识别前方障碍的位置和距离。

图7c示出了本申请另一种实现场景的示意图，如图7c所示，用户前方为下行台阶。以图2中深度值与色彩组合的映射关系为例，患者在下边缘A处看到的为少量绿色与少量红色合成的色彩叠加至实际环境图像；在视野的下部附近B处以下看到的是少量绿色与少量蓝色叠加至实际环境图像；因为该台阶边缘未达到距离最远值，因此在视野中B处暂未达到深蓝色的显示，在B处以上则因为超出深度探测所以叠加的伪彩色为黑色，也即在AR眼镜上的该部分区域未进行处理，是透明的，

可见该种情况下叠加显示的伪彩色边界较低，并且在边界处，由蓝绿色直接变为无色，在用户经过训练后，其可以知道根据色彩映射关系，缺失了蓝色对应的距离值处的物体，因此该位置处可能有下台阶的情况。

图7d示出了本申请另一种实现场景的示意图，如图7d所示，用户前方为下行台阶。在该实现场景中，用户预先设定了其关注的距离范围为2m-4m，也即图中阴影标记的距离范围内的物体，此时以图4中在预设范围内的深度值与色彩组合的映射关系为例，患者在下边缘A处看到的为红色叠加至实际环境图像；在视野的下部附近B处以下看到的是蓝色叠加至实际环境图像；在视野中的A-B基本实现了“红色-绿色-蓝色”的全色彩组合的渐变；在B处以上则因为超出深度探测所以叠加的伪彩色为黑色，也即在AR眼镜上的该部分区域未进行处理，是透明的，

可见该种情况下能够在较小的视野范围内显示更多的色彩以便用户区分。当用户前进时，将由于前方台阶边缘未达到用户关注的距离范围的最远值而缺失蓝色的显示，使用户能够更明显的感知到3主色彩中某种的缺失而注意前方道路情况。

图7c示出的场景中，用户视野内叠加的伪彩色主要为绿色，与之相比，容易理解在预设了更小的用户关注的距离范围时，在同样的视野范围内能够显示更丰富的色彩，更加便于低视力患者进行区分。

实施例五：

基于同一发明构思，本申请实施例中还提供了一种显示装置，由于这些装置解决问题的原理与显示方法相似，因此这些装置的实施可以参见方法的实施，重复之处不再赘述。如图8所示，所述显示装置500包括：

数据采集模块501，用于采集环境的深度数据；

色彩映射模块502，用于确定各深度值与色彩组合的映射关系；

伪彩色图像生成模块503，用于根据所述深度数据和所述映射关系，生成所述环境的伪彩色图像；

显示模块504，用于将所述伪彩色图像与所述环境的图像叠加显示。

在一些实施方式中，所述色彩映射模块502，用于确定在预设范围内的各深度值与色彩组合的映射关系；

所述伪彩色图像生成模块503，用于根据在预设范围内的所述环境的深度数据和所述映射关系，生成所述环境的伪彩色图像。

在一些实施方式中，所述装置500还包括：

灰度图生成模块505，用于根据所述环境的深度数据生成灰度图；

所述色彩映射模块502还用于，根据所述各深度值与所述色彩组合的映射关系确定各灰度值与色彩组合的映射关系；

所述伪彩色图像生成模块503，用于根据由所述深度数据生成的灰度图和所述各灰度值与色彩组合的映射关系，生成所述环境的伪彩色图像。

在一些实施方式中，所述色彩映射模块502，用于确定在预设范围内的各深度值与色彩组合的映射关系；以及，根据所述在预设范围内的各深度值与所述色彩组合的映射关系确定对应范围内各灰度值与色彩组合的映射关系；

所述伪彩色图像生成模块503，用于根据由所述深度数据生成的灰度图和所述对应范围内各灰度值与色彩组合的映射关系，生成所述环境的伪彩色图像。

在一些实施方式中，所述装置500还包括：

用户信息获取模块506，用于获取当前用户信息；

所述色彩映射模块502，用于根据所述用户信息确定各深度值与色彩组合的映射关系。

实施例六：

基于同一发明构思，本申请实施例中还提供了一种电子设备，由于其原理与显示方法相似，因此其实施可以参见方法的实施，重复之处不再赘述。如图9所示，所述电子设备600包括：存储器601，一个或多个处理器602；以及一个或多个模块，所述一个或多个模块被存储在所述存储器中，并被配置成由所述一个或多个处理器执行，所述一个或多个模块包括用于执行任一上述方法中各个步骤的指令。

实施例七：

基于同一发明构思，本申请实施例还提供了一种与电子设备结合使用的计算机程序产品，所述计算机程序产品包括内嵌于计算机可读的存储介质中的计算机程序，所述计算机程序包括用于使所述电子设备执行任一上述方法中的各个步骤的指令。

为了描述的方便，以上所述装置的各部分以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

Claims (10)

1.一种显示方法，其特征在于，所述方法包括：

深度传感器采集环境的深度数据，确定所述深度数据的各深度值与色彩组合的映射关系，所述深度值与两种或者多种色彩存在线性或者非线性，连续或者离散的映射关系；

根据所述深度数据和所述映射关系，生成所述环境的伪彩色图像，所述伪彩色图像中的各种色彩对应表明所述环境中物体到所述深度传感器的距离；

将所述伪彩色图像与所述环境的图像叠加显示；

其中，所述深度数据的各深度值与色彩组合的映射关系具体为将采集的环境的深度数据中的深度值逐一根据映射关系转换为该深度值对应的色彩，对应的转换完成当前的环境图像各位置处对应的色彩；

在所述确定所述深度数据的各深度值与色彩组合的映射关系之前，还包括：

获取当前用户信息；

所述确定所述深度数据的各深度值与色彩组合的映射关系包括：

根据所述用户信息确定所述深度数据的各深度值与色彩组合的映射关系。

2.如权利要求1所述的方法，其特征在于，

所述确定所述深度数据的各深度值与色彩组合的映射关系包括：

确定在预设范围内的各深度值与色彩组合的映射关系；

所述根据所述深度数据和所述映射关系，生成所述环境的伪彩色图像包括：

根据在预设范围内的所述环境的深度数据和所述映射关系，生成所述环境的伪彩色图像。

3.如权利要求1所述的方法，其特征在于，

在所述根据所述深度数据和所述映射关系，生成所述环境的伪彩色图像之前，还包括：

根据所述环境的深度数据生成灰度图；

根据所述各深度值与所述色彩组合的映射关系确定各灰度值与色彩组合的映射关系；

所述根据所述深度数据和所述映射关系，生成所述环境的伪彩色图像包括：

根据由所述深度数据生成的灰度图和所述各灰度值与色彩组合的映射关系，生成所述环境的伪彩色图像。

4.如权利要求3所述的方法，其特征在于，

所述确定所述深度数据的各深度值与色彩组合的映射关系包括：

确定在预设范围内的各深度值与色彩组合的映射关系；

所述根据所述各深度值与所述色彩组合的映射关系确定各灰度值与色彩组合的映射关系；包括：

根据所述在预设范围内的各深度值与所述色彩组合的映射关系确定对应范围内各灰度值与色彩组合的映射关系；

所述根据由所述深度数据生成的灰度图和所述各灰度值与色彩组合的映射关系，生成所述环境的伪彩色图像包括：

根据由所述深度数据生成的灰度图和所述对应范围内各灰度值与色彩组合的映射关系，生成所述环境的伪彩色图像。

5.一种显示装置，其特征在于，所述装置包括：

数据采集模块，位于深度传感器，用于采集环境的深度数据；

色彩映射模块，用于确定所述深度数据的各深度值与色彩组合的映射关系，所述深度值与两种或者多种色彩存在线性或者非线性，连续或者离散的映射关系；

伪彩色图像生成模块，用于根据所述深度数据和所述映射关系，生成所述环境的伪彩色图像，所述伪彩色图像中的各种色彩对应表明所述环境中物体到所述深度传感器的距离；

显示模块，用于将所述伪彩色图像与所述环境的图像叠加显示；

其中，所述深度数据的各深度值与色彩组合的映射关系具体为将采集的环境的深度数据中的深度值逐一根据映射关系转换为该深度值对应的色彩，对应的转换完成当前的环境图像各位置处对应的色彩；

用户信息获取模块，用于获取当前用户信息；

所述色彩映射模块，用于根据所述用户信息确定所述深度数据的各深度值与色彩组合的映射关系。

6.如权利要求5所述的装置，其特征在于，

所述色彩映射模块，用于确定在预设范围内的各深度值与色彩组合的映射关系；

所述伪彩色图像生成模块，用于根据在预设范围内的所述环境的深度数据和所述映射关系，生成所述环境的伪彩色图像。

7.如权利要求5所述的装置，其特征在于，所述装置还包括：

灰度图生成模块，用于根据所述环境的深度数据生成灰度图；

所述色彩映射模块还用于，根据所述各深度值与所述色彩组合的映射关系确定各灰度值与色彩组合的映射关系；

所述伪彩色图像生成模块，用于根据由所述深度数据生成的灰度图和所述各灰度值与色彩组合的映射关系，生成所述环境的伪彩色图像。

8.如权利要求7所述的装置，其特征在于，

所述色彩映射模块，用于确定在预设范围内的各深度值与色彩组合的映射关系；以及，

根据所述在预设范围内的各深度值与所述色彩组合的映射关系确定对应范围内各灰度值与色彩组合的映射关系；

所述伪彩色图像生成模块，用于根据由所述深度数据生成的灰度图和所述对应范围内各灰度值与色彩组合的映射关系，生成所述环境的伪彩色图像。

9.一种电子设备，其特征在于，所述电子设备包括：

存储器，一个或多个处理器；以及一个或多个模块，所述一个或多个模块被存储在所述存储器中，并被配置成由所述一个或多个处理器执行，所述一个或多个模块包括用于执行权利要求1 至4中任一所述方法中各个步骤的指令。

10. 一种与电子设备结合使用的计算机程序产品，所述计算机程序产品包括内嵌于计算机可读的存储介质中的计算机程序，所述计算机程序包括用于使所述电子设备执行权利要求1 至4中任一所述方法中的各个步骤的指令。

Images