CN104076930A - 盲操作控制方法、装置和系统 - Google Patents

Abstract

本申请公开了一种盲操作控制方法、装置和系统，其中，所述盲操作控制方法包括：至少根据手部信息确定操控区域的待显示区；进行第一显示控制，以在外部区域显示与所述待显示区对应的显示图像；获取手部位与所述待显示区的相对位置信息；根据所述相对位置信息进行第二显示控制，以在所述显示图像上显示与所述相对位置信息对应的控制图像。采用本申请实施例提供的技术方案可匹配不同手部信息进行灵活的盲操作选择控制，由此满足用户多样化的应用需求，提高操控的便利性。

Description

盲操作控制方法、装置和系统

技术领域

本申请涉及交互控制技术领域，特别是涉及一种盲操作控制方法、装置和系统。

背景技术

人们操控电子设备时视线通常需要注视该电子设备的操控区域。

但是，有些场景下人们视线不便或不愿意进行转移。例如：在开车过程中司机要对车载触控屏进行操作但其视线又需要保持注视前方；又例如：用户观看影视节目时其需要对操控区域进行操作但其视线又不想移开正在播放影视节目的显示屏；再例如：报告人在陈述报告时需要对操控区域进行操作但又希望其视线能面向听众；等等。

因此，亟待提供一种有效的盲操作控制方案，以提高操控的便利性。

发明内容

在下文中给出了关于本申请的简要概述，以便提供关于本申请的某些方面的基本理解。应当理解，这个概述并不是关于本申请的穷举性概述。它并不是意图确定本申请的关键或重要部分，也不是意图限定本申请的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本申请提供一种盲操作控制方法、装置和系统。

一方面，本申请实施例提供了一种盲操作控制方法，包括：

至少根据手部信息确定操控区域的待显示区；

进行第一显示控制，以在外部区域显示与所述待显示区对应的显示图像；

获取手部位与所述待显示区的相对位置信息；

根据所述相对位置信息进行第二显示控制，以在所述显示图像上显示与所述相对位置信息对应的控制图像。

另一方面，本申请实施例还提供了一种盲操作控制装置，包括：

一待显示区确定模块，用于至少根据手部信息确定操控区域的待显示区；

一第一显示控制模块，用于进行第一显示控制，以在外部区域显示与所述待显示区对应的显示图像；

一相对位置信息获取模块，用于获取手部位与所述待显示区的相对位置信息；

一第二显示控制模块，用于根据所述相对位置信息进行第二显示控制，以在所述显示图像上显示与所述相对位置信息对应的控制图像。

再一方面，本申请实施例提供了一种盲操作控制系统，包括：一上述盲操作控制装置以及一设有所述操控区域的第一电子设备，所述盲操作控制装置与所述第一电子设备通信连接。

本申请实施例提供的技术方案，至少根据手部信息确定操控区域的待显示区，由于不同人的手部信息不尽相同，同一人不同场景下的手部信息也不尽相同，因此本申请实施例可匹配相应手部信息进行灵活的盲操作选择控制，由此满足用户多样化的应用需求，提高操控的便利性；此外，本申请实施例提供的技术方案，将操控区域的待显示区对应的显示图像以及与手部位和所述待显示区的相对位置信息对应的控制图像显示在外部区域，这样，通过所述外部区域的所述显示图像可看到所述待显示区的内容，通过所述控制图像可以看到手部当前相对所述待显示区的位置，由此使得人眼视线无需注视所述操控区域可以对其进行操作，为实现盲操作提供了一种有效的解决方案。

通过以下结合附图对本申请的可选实施例的详细说明，本申请的这些以及其它的优点将更加明显。

附图说明

本申请可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本申请的可选实施例和解释本申请的原理和优点。在附图中：

图1为本申请实施例提供的一种盲操作控制方法的流程图；

图2a-图2c为本申请实施例提供的一种盲操作控制方法可选应用场景的示意图；

图3为本申请实施例提供的第一种盲操作控制装置的结构框图；

图4为本申请实施例提供的第二种盲操作控制装置的结构框图；

图5为本申请实施例提供的第三种盲操作控制装置的结构框图；

图6为本申请实施例提供的第四种盲操作控制装置的结构框图；

图7为本申请实施例提供的第五种盲操作控制装置的结构框图；

图8为本申请实施例提供的第一种盲操作控制系统的架构框图；

图9为本申请实施例提供的第二种盲操作控制系统的架构框图；

图10为本申请实施例提供的第三种盲操作控制系统的架构框图；

图11为本申请实施例提供的第四种盲操作控制系统的架构框图。

本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的，而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以便有助于提高对本申请实施例的理解。

具体实施方式

在下文中将结合附图对本申请的示范性实施例进行详细描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本申请，在附图和说明中仅仅描述了与根据本申请的方案密切相关的装置结构和/或处理步骤，而省略了对与本申请关系不大的、本领域普通技术人员已知的部件和处理的表示和描述。

下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请，但不用来限制本申请的范围。

本领域技术人员可以理解，本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

图1为本申请实施例提供的一种盲操作控制方法的流程图。本申请提供的盲操作控制方法的执行主体可为某一盲操作控制装置，该盲操作控制装置的设备表现形式不受限制，例如所述盲操作控制装置可为某一独立的电子设备；或者，所述盲操作控制装置可作为某一功能模块集成在一电子设备中，本申请实施例对此并不限制。具体如图1所示，本申请实施例提供的一种盲操作控制方法包括：

S101：至少根据手部信息确定操控区域的待显示区。

所述手部信息可包括但不限于以下至少之一：人手在处于某种手势状态下人手整体或局部手部位的轮廓、形状、特征信息、活动范围、几何中心、热源中心等信息。

所述操控区域为人手对如电子设备等操作对象进行操作控制的区域，可包括但不限于以下至少之一：键盘区域、触摸屏、触控板等。

所述待显示区的大小根据所述手部信息确定。可根据所述手部信息确定所述操控区域的整体或部分区域为所述待显示区。所述显示区的形状和大小可根据实际需要确定，如可为具有一定大小的矩形区域、圆形区域、椭圆形区域等等。

S102：进行第一显示控制，以在外部区域显示与所述待显示区对应的显示图像。

所述外部区域为所述操控区域以外的区域，可为但不限于用户视线关注的区域。在实际应用中，所述外部区域和所述操控区域的组合形态非常灵活，本申请实施例对此并不限制。一种可选的实现方式，所述外部区域和所述操控区域为某一电子设备的不同部件，如：所述操控区域为电子设备的触摸屏、而所述该电子设备的显示屏，等等。另一种可选的实现方式，所述外部区域和所述操控区域分别为不同电子设备的部件，如：所述操控区域为智能手机的触摸屏，所述外部区域为智能眼镜作为显示区域的镜片区域，等等。再一种可选的实现方式，所述操控区域为智能终端，所述外部区域为投影区域，该投影区域可包括但不限于投影幕、墙面、空中区域、车辆的挡风玻璃，等等。

所述显示图像的显示控制方式可采用但不限于投影成像、全息成像等方式。显示所述显示图像所需的显示控制元件，如光源、摄像头、投影仪等元件可根据实际显示方式的匹配需要进行选取，本申请实施例在此不赘述。所述显示图像与所述待显示区的缩放比例，可根据实际需要进行设置，以便于在所述外部区域上放大、缩小或等比例显示所述待显示区的相应内容。

S103：获取手部位与所述待显示区的相对位置信息。

所述手部位可为整手，或者，所述手部位可为手的某局部部位，如手掌、手指、指尖等。在实际应用中，可检测所述手部位与所述待显示区的相对位置，如检测指尖相对所述待显示区的相对位置。

在确定所述相对位置时，所述手部位相对所述待显示区可处于不同的控制状态，例如：手部位可以处于对所述待显示区没有进行触发控制的状态(如手部位停留在所述待显示区上方，等等)、准备触发控制的状态(如手部位选中了所述待显示区的某个按钮但是还没有按下，等等)、正在触发控制的状态(如手部位点击所述待显示区的某个按钮，等等)，本申请实施例对此并不限制。触发控制可通过接触或非接触的控制方式实现对所述待显示区的至少部分被控对象进行选中、激活、移动、复制、删除等操作；接触的控制方式例如触控、按键等方式；非接触控制方式例如悬停、红外、超声控制等方式。

S104：根据所述相对位置信息进行第二显示控制，以在所述显示图像上显示与所述相对位置信息对应的控制图像。

与所述相对位置信息对应的被控对象与所述待显示区的位置关系，与所述控制图像相对所述显示图像的位置关系对应。所述手部位相对所述待显示区所处的不同控制状态，可在所述控制图像上用不同的形状、颜色等方式进行区分显示。本申请实施例提供的技术方案，至少根据手部信息确定操控区域的待显示区，由于不同人的手部信息不尽相同，同一人不同场景下的手部信息也不尽相同，因此本申请实施例可匹配相应手部信息进行灵活的盲操作选择控制，由此满足用户多样化的应用需求，提高操控的便利性；此外，本申请实施例提供的技术方案，将操控区域的待显示区对应的显示图像以及与手部位和所述待显示区的相对位置信息对应的控制图像显示在外部区域，这样，通过所述外部区域的所述显示图像可看到所述待显示区的内容，通过所述控制图像可以看到手部当前相对所述待显示区的位置，由此使得人眼视线无需注视所述操控区域可以对其进行操作，为实现盲操作提供了一种有效的解决方案。

所述显示图像上显示所述控制图像的方式非常灵活。例如，在所述显示图像上覆盖显示所述控制图像，如在所述显示图像上的相应位置上覆盖不同的颜色，以表示手部当前指向的控制对象是哪些。又例如，在所述显示图像上替代显示所述控制图像。再例如，在所述显示图像上半透明显示所述控制图像，所述的半透明指的介于不透明和完全透明的具有一定透明度的中间状态。上述方式可直观的看到所述待显示区以及手部指向的控制对象。

可选的，所述盲操作控制方法还包括：获取显示区属性限制信息。相应的，至少根据所述手部信息确定所述操控区域的所述待显示区，包括：根据所述手部信息和所述显示区属性限制信息确定所述操控区域的所述待显示区。其中，所述显示区属性限制信息用于限制所述待显示区的大小、形状等属性，可包括但不限于轮廓形状、长度、宽度、长宽比、伸缩比、曲率半径等等。该方案结合手部信息和显示区属性限制信息在所述操控区域上选择待显示区，实现方式非常灵活。

进一步的，所述手部信息可包括：第一手部位信息。相应的，根据所述手部信息和所述显示区属性限制信息确定所述操控区域的所述待显示区，包括：根据所述第一手部位信息在所述操控区域上确定显示区选择基点；根据所述显示区选择基点和所述显示区属性限制信息，确定所述待显示区。例如，在所述操控区域上确定以所述显示区选择基点为几何中心、以所述显示区属性限制信息对应的一定大小和形状的区域，为所述待选择区。该方案结合所述显示区选择基点和所述显示区属性限制信息确定所述待选择区，实现方式非常灵活，方便用户操控。

所述第一手部位信息的获取方式非常灵活。例如，所述第一手部位信息可预先获取，或者，所述第一手部位信息可通过图像识别、光学感应、触摸屏电容检测等方式实时获取，本申请对此并不限制。一种可选的实现方式中，所述第一手部位信息包括：第一手部位在所述操控区域上的投影信息，该方案实现方式简单。所述第一手部位可包括但不限于手掌或手掌心，基于手掌或手掌心确定所述显示区选择基点，便于检测，方案简单易实现，即便手指等其他手部位发生变化也不改变所述显示区选择基点，便于用户操控。

此外，本申请实施例中，所述显示区属性限制信息的获取方式非常灵活。例如所述显示区域属性限制信息可预先确定，或者，所述显示属性限制信息可通过图像识别、光学感应、触摸屏电容检测等方式实时获取，本申请对此并不限制。一种可选的实现方式中，所述手部信息包括：第二手部位信息；所述待显示区属性限制信息根据所述第二手部位信息确定，采用该方案确定的所述待显示区，与用户的手部特征更为匹配，提高了用户操控的便利性。

所述第二手部位信息的获取方式非常灵活。例如，所述第二手部位信息可预先获取，或者，所述第二手部位信息可通过图像识别、光学感应、触摸屏电容检测等方式实时获取，本申请对此并不限制。一种可选的实现方式中，所述第二手部位包括：第二手部位的特征信息和/或活动范围信息。所述第二手部位可包括至少一个手指。所述第二手部位特征信息例如某手指的长度等信息。所述第二手部位的活动范围信息例如：以食指到无名指伸展开到收缩的扫描范围，或者，某手指指尖伸展和收缩时的距离差，等等。在确定所述待显示区时，可根据所述第二手部位信息确定所述待显示区的所有属性；或者，可根据所述第二手部位信息确定所述待显示区的部分属性(如矩形待显示区的宽度)，再依据某些预定规则确定所述待显示区的其他属性(如将矩形待显示区的宽度按一定比例伸展来确定其长度)，或者，依据其他规则确定所述待显示区的其他属性(如将待显示区的长度设为某固定值)，等等。该方案可根据用户第二手部信息针对性选取所述待显示区，提高用户盲操作的便利性。

可选的，本申请实施例中，获取所述相对位置信息包括：获取至少一个手指尖与所述待显示区的相对位置信息。所述手指尖为自手指末端的部位，所述手指尖的识别可采用但不限于图像识别、所述操控区域的电容检测等方式实现。采用该方案，用户在所述待显示区移动手指夹的位置，在所述显示图像上可以看到相应的控制图像的移动，好比手指尖就是所述显示图像上的游标，该方案与用户通常的操作习惯更为吻合，使得用户盲操作控制更为方便和自然。

可选的，获取所述显示区属性限制信息，包括：确定手部与所述操控区域的距离；根据所述距离确定所述显示区属性限制信息。例如：当手部距离所述操控区域较远时，所述显示区属性限制信息中关于所述待显示区大小的设置值增大，反之，所述待显示区大小的设置值减小，表现为当手部距离所述操控区域较远则选择的所述待选择区较大，为当手部距离所述操控区域较近则选择的所述待选择区较小。手部与所述操控区域的距离可通过红外传感器等方式确定，本申请对此并不限制。该方案根据手部与所述操控区域的距离调节所述待选择区的大小，提高了用户对所述待选择区选择的方便性和趣味性。

可选的，所述盲操作控制方法还包括：确定所述显示区选择基点在所述操控区域的运动轨迹；根据所述运动轨迹和所述显示区属性限制信息，更新所述待显示区。一种可能的场景例如，根据用户的手掌掌心确定所述显示区选择基点，当用户的手掌掌心移动时，所述显示区选择基点也相应移动，表现为所述待选择区发生相应变化，所述外部区域上的显示图像的内容随所述待选择区的变化同步变化。该方案进一步提高了用户盲操作控制的便利性。

可选的，所述外部区域小于所述操控区域。对于所述外部区域小于所述操控区域的情形下，采用本申请实施例提供的技术方案可根据手部信息确定的所述操控区域的局部内容显示在所述外部区域上，通过如掌心移动等方式可以改变所述操控区域显示在所述外部区域上的内容，非常方便用户使用，极大提高了用户盲控制的便利性。

可选的，所述盲操作控制方法还包括：根据预设触发条件确定是否启动盲操作控制。所述触发条件可根据实际需要预先确定，本申请实施例对此并不限制，例如：是否检测到人手伸展置于所述操控区域上方，如果是，则启动盲操作控制，启动盲操作控制后的方法如上所述；否则，不启动盲操作控制。又例如：确定用户视线是否对准所述外部区域，如果是，则启动盲操作控制，启动盲操作控制后的方法如上所述；否则，不启动盲操作控制。该方案可进行盲操作是否启动的控制，提高用户盲操作控制的便利性。

下面结合可选场景对本申请实施例的应用进行举例说明。

可选场景1：用户在开车过程中需要对车载触屏进行一些操作，但不方便改变视线到屏幕上，此时可采用本申请实施例提供的技术方案，如通过投射到车前挡风玻璃来辅助定位手指在车载屏幕上的位置来进行盲操作。该方案可以在行车过程中方便地进行车载屏幕的盲操作。

可选场景2：戴有智能眼镜的用户在观看电视、电影、球赛等节目时，需要对手机或平板等触屏进行一些操作，但不想改变视线到屏幕上，此时可通过投射到智能眼镜上的屏幕进行盲操作。该方案可以在观看节目时对触屏手机或电脑进行盲操作。

可选场景3：用户在进行陈述报告时，视线面向观众或观众看到的大屏，此时需要对放映幻灯片的电脑或平板进行一些触屏操作，但不希望被观众看到交互内容，可以通过投射到智能眼镜上或在大屏上显示一块只有自己能看到的小区域来进行盲操作。该方案可以在作陈述报告时对触屏电脑进行盲操作。

可选场景4：戴有智能眼镜的用户首先将手掌摊开悬停在触摸屏上方以启动盲操作控制，此时用户视线不对准触摸屏也可以作为盲操作启动的条件。然后根据用户触摸和/或悬停在触摸屏上的手掌掌心来确定需要投射到智能眼镜屏幕进行显示的待显示区的显示区选择基点。所述待显示区可以为矩形，宽度根据用户中指(也可以是其他指)指尖伸展和伸缩时的距离差来确定。所述待显示区的长度可以为一预设固定值或根据宽度进行等比例缩放，因此对于不同用户所述待显示区的大小也不一致，以可适应不同手掌大小的用户进行盲操作。所述待显示区的几何中心为以食指到无名指伸展开到收缩的扫描范围的几何中心，根据落在所述待显示区内的指尖位置信息对应的控制图像也同时显示在智能眼镜屏幕上，以使用户了解当前指尖的位置并将其移动到可以触摸点击的位置上。

请参考图2a-图2c，图中，21表示触摸屏(即所述被操控区域)，22表示待选择区，23表示智能眼镜屏幕(智能眼镜屏幕的局部区域即为所述外部区域)，“+”表示掌心位置，“·”表示手指尖相对所述待选择区的相对位置信息，不妨以手指尖相对所述待选择区的触摸点位置作为所述相对位置信息进行说明。所述待选择区对应的显示图像以及与手指触摸点对应的控制图像都在所述外部区域中显示。如果掌心位置“+”从图2a移动到图2b的位置，所述待显示区22跟随掌心移动；如图2b和图2c所示，当掌心位置“+”不移动时所述待显示区22也不变，智能眼镜上与所述待显示区对应的显示图像内容不变；此时改变手指的触摸点位置，智能眼镜上与手指触摸点的位置信息对应的控制图像也同步改变。掌心位置可通过图像识别的方式得到，此时移动任一指尖到触屏上按钮位置不影响眼镜屏幕上看到的显示内容(所述待选择区不变)。通过该方案，用户可移动手掌来改变所述待显示区，通过移动指尖来将手指放到可触摸点击的按钮位置上，以便捷的进行盲操作。在如智能眼镜可作为所述外部区域的显示屏远小于触摸屏的大小的情形及其类似情形下，采用本申请实施例提供的技术方案极大提高了用户盲控制的便利性。

此外，所述相对位置信息也不局限于触摸点位置，手指尖对所述待显示区的不同操作状态往往表现为处于不同的所述相对位置，可在所述控制图像上区分表示这些不同的所述相对位置，例如可在所述外部区域显示的控制图像用“。”表示手指尖处于对所述待显示区没有进行触发控制的状态时的相对位置，用“·”表示手指尖处于对所述待显示区正在进行触发控制的状态时的相对位置，等等，以提高用户盲操作的便利性，改善用户体验。

本领域技术人员可以理解，在本申请具体实施方式的上述任一方法中，各步骤的序号大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请具体实施方式的实施过程构成任何限定。

图3为本申请实施例提供第一种盲操作控制装置的结构框图。如图3所示，所述盲操作控制装置包括：一待显示区确定模块31、一第一显示控制模块32、一相对位置信息获取模块33和一第二显示控制模块34。

待显示区确定模块31用于至少根据手部信息确定操控区域的待显示区。

第一显示控制模块32用于进行第一显示控制，以在外部区域显示与所述待显示区对应的显示图像。

相对位置信息获取模块33用于获取手部位与所述待显示区的相对位置信息。

第二显示控制模块34用于根据所述相对位置信息进行第二显示控制，以在所述显示图像上显示与所述相对位置信息对应的控制图像。

本申请实施例提供的盲操作控制装置至少根据手部信息确定操控区域的待显示区，由于不同人的手部信息不尽相同，同一人不同场景下的手部信息也不尽相同，因此本申请实施例可匹配相应手部信息进行灵活的盲操作选择控制，由此满足用户多样化的应用需求，提高操控的便利性；此外，本申请实施例提供的技术方案，将操控区域的待显示区对应的显示图像以及与手部位和所述待显示区的相对位置信息对应的控制图像显示在外部区域，这样，通过所述外部区域的所述显示图像可看到所述待显示区的内容，通过所述控制图像可以看到手部当前相对所述待显示区的位置或操作情况，由此使得人眼视线无需注视所述操控区域可以对其进行操作，为实现盲操作提供了一种有效的解决方案。

本申请实施例提供的盲操作控制装置的设备表现形式不受限制，例如所述盲操作控制装置可为某一独立的电子设备；或者，所述盲操作控制装置可作为某一功能模块集成在一电子设备中，本申请实施例对此并不限制。

此外，本申请实施例提供的盲操作控制装置与所述操控区域、所述外部区域的设备归属关系可根据实际需要确定，非常灵活。例如：所述盲操作控制装置、所述操控区域、所述外部区域分别归属不同的电子设备。又例如：所述盲操作控制装置与所述操控区域同属于一电子设备，而所述外部区域不属于该电子设备的一部分。再例如：所述盲操作控制装置、所述操控区域和所述外部区域属于同一电子设备。

可选的，如图4所示，所述盲操作控制装置还包括：一显示区属性限制信息获取模块35。显示区属性限制信息获取模块35用于获取显示区属性限制信息。相应的，所述待显示区确定模块31包括：一第一待显示区确定子模块311。第一待显示区确定子模块311用于根据所述手部信息和所述显示区属性限制信息确定所述操控区域的所述待显示区。该方案结合手部信息和显示区属性限制信息在所述操控区域上选择待显示区，实现方式非常灵活。

可选的，所述盲操作控制装置还包括：一第一手部位信息获取模块36。第一手部位信息获取模块36用于获取第一手部位信息。相应的，所述第一待显示区确定子模块311包括：一显示区基点确定单元3111和一显示区确定单元3112。显示区基点确定单元3111用于根据所述第一手部位信息在所述操控区域上确定显示区选择基点；显示区确定单元3112用于根据所述显示区选择基点和所述显示区属性限制信息，确定所述待显示区。该方案结合所述显示区选择基点和所述显示区属性限制信息确定所述待选择区，实现方式非常灵活，方便用户操控。所述第一手部位可包括但不限于手掌或手掌心，基于手掌或手掌心确定所述显示区选择基点，便于检测，方案简单易实现，即便手指等其他手部位发生变化也不改变所述显示区选择基点，便于用户操控。

可选的，如图5所示，所述盲操作控制装置还包括：一第二手部位信息获取模块37。第二手部位信息获取模块37用于第二手部位信息。相应的，所述显示区属性限制信息获取模块35包括：一第一显示区属性限制信息获取子模块351。第一显示区属性限制信息获取子模块351用于根据所述第二手部位信息确定所述待显示区属性限制信息。采用该方案确定的所述待显示区，与用户的手部特征更为匹配，提高了用户操控的便利性。所述第二手部位包括：第二手部位的特征信息和/或活动范围信息。所述第二手部位可包括但不限于至少一个手指。该方案可根据用户第二手部信息针对性选取所述待显示区，提高用户盲操作的便利性。

可选的，所述显示区属性限制信息获取模块35包括：一距离确定子模块352和一第二显示区属性限制信息获取子模块353。距离确定子模块352用于确定手部与所述操控区域的距离。第二显示区属性限制信息获取子模块353用于根据所述距离确定所述显示区属性限制信息。该方案根据手部与所述操控区域的距离调节所述待选择区的大小，提高了用户对所述待选择区选择的方便性和趣味性。

可选的，如图6所示，所述盲操作控制装置还包括：一运动轨迹确定模块38和一待显示区更新模块39。运动轨迹确定模块38用于确定所述显示区选择基点在所述操控区域的运动轨迹。待显示区更新模块39用于根据所述运动轨迹和所述显示区属性限制信息，使能所述待显示区确定模块31更新所述待显示区。该方案进一步提高了用户盲操作控制的便利性。可选的，所述外部区域小于所述操控区域。对于所述外部区域小于所述操控区域的情形下，采用本申请实施例提供的技术方案可根据手部信息确定的所述操控区域的局部内容显示在所述外部区域上，通过如掌心移动等方式可以改变所述操控区域显示在所述外部区域上的内容，非常方便用户使用，极大提高了用户盲控制的便利性。

可选的，所述盲操作控制装置还包括：一触发控制模块310。触发控制模块310用于根据预设触发条件确定是否启动盲操作控制。该方案可进行盲操作是否启动的控制，提高用户盲操作控制的便利性。

图7为本申请实施例提供的第五种盲操作控制装置的结构框图，本申请具体实施例并不对盲操作控制装置700的具体实现方式做限定。如图7所示，盲操作控制装置700可以包括：

处理器(Processor)710、通信接口(Communications Interface)720、存储器(Memory)730、以及通信总线740。其中：

处理器710、通信接口720、以及存储器730通过通信总线740完成相互间的通信。

通信接口720，用于与显示元件或比如光源、投影仪等外部设备通信。

处理器710，用于执行程序732，具体可以执行上述任一盲操作控制方法实施例中的相关步骤。

例如，程序732可以包括程序代码，所述程序代码包括计算机操作指令。

处理器710可能是一个中央处理器(Central Processing Unit，简称CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。

存储器730，用于存放程序732。存储器730可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(Non-volatile memory)，例如至少一个磁盘存储器。

例如，在一种可选的实现方式中，处理器710通过执行程序732可执行以下步骤：至少根据手部信息确定操控区域的待显示区；进行第一显示控制，以在外部区域显示与所述待显示区对应的显示图像；获取手部位与所述待显示区的相对位置信息；根据所述相对位置信息进行第二显示控制，以在所述显示图像上显示与所述相对位置信息对应的控制图像。

在其他可选的实现方式中，处理器710通过执行程序732还可执行上述其他任一实施例提及的步骤，在此不再赘述。

程序732中各步骤的具体实现可以参见上述实施例中的相应步骤、模块、子模块、单元中对应的描述，在此不再赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

图8为本申请实施例提供的一种盲操作控制系统的架构示意图。如图8所示，所述盲操作控制系统包括：本申请实施例任一技术方案提供的盲操作控制装置81、以及设有操控区域83的第一电子设备82，盲操作控制装置81与第一电子设备82通信连接。根据手部信息确定的操控区域的待显示区的显示图像和控制信息显示在外部区域84上。

本申请实施例提供的盲操作控制系统为实现盲操作提供了一种有效的解决方案，可匹配不同手部信息进行灵活的盲操作选择控制，由此满足用户多样化的应用需求，提高操控的便利性。

根据所述盲操作控制装置、所述操控区域部署方式的不同，还可包括其他方式的系统架构。例如，如图9所示，盲操作控制装置81设在第一电子设备82中。又例如，如图10所示，所述外部区域84设在第一电子设备82中。上述方案实现方式灵活，可满足用户在不同场景下的应用需求。

根据所述盲操作控制装置、所述外部区域部署方式的不同，可选的，如图11所示，所述盲操作控制系统还包括：设有所述外部区域84的第二电子设备85，所述盲操作控制装置81与所述第二电子设备85通信连接。上述方案实现方式灵活，可满足用户在不同场景下的应用需求。

所述第一电子设备或所述第二电子设备可包括但不限于手机、掌上电脑、笔记本电脑、智能眼镜、车载触控屏等。所述外部区域可为某电子设备的显示屏或显示屏的局部、或者如墙面、空中区域、车辆的挡风玻璃等显示载体。所述操控区域可包括但不限于键盘区域、触摸屏、触控板等。本申请实施例对此均不限制。

在本申请上述各实施例中，实施例的序号和/或先后顺序仅仅便于描述，不代表实施例的优劣。对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。有关装置、设备或系统实施例的实施原理或过程的相关描述，可参见相应方法实施例的记载，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请的装置、方法、系统等实施例中，显然，各部件(系统、子系统、模块、子模块、单元、子单元等)或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本申请的等效方案。同时，在上面对本申请具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

最后应说明的是：以上实施方式仅用于说明本申请，而并非对本申请的限制，有关技术领域的普通技术人员，在不脱离本申请的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请的范畴，本申请的专利保护范围应由权利要求限定。

Claims (28)

1.一种盲操作控制方法，其特征在于，包括：

至少根据手部信息确定操控区域的待显示区；

进行第一显示控制，以在外部区域显示与所述待显示区对应的显示图像；

获取手部位与所述待显示区的相对位置信息；

根据所述相对位置信息进行第二显示控制，以在所述显示图像上显示与所述相对位置信息对应的控制图像。

2.根据权利要求1所述的盲操作控制方法，其特征在于，

所述方法还包括：获取显示区属性限制信息；

至少根据所述手部信息确定所述操控区域的所述待显示区，包括：根据所述手部信息和所述显示区属性限制信息确定所述操控区域的所述待显示区。

3.根据权利要求2所述的盲操作控制方法，其特征在于，所述手部信息包括：第一手部位信息；

根据所述手部信息和所述显示区属性限制信息确定所述操控区域的所述待显示区，包括：

根据所述第一手部位信息在所述操控区域上确定显示区选择基点；

根据所述显示区选择基点和所述显示区属性限制信息，确定所述待显示区。

4.根据权利要求3所述的盲操作控制方法，其特征在于，还包括：获取所述第一手部位信息。

5.根据权利要求3或4所述的盲操作控制方法，其特征在于，所述第一手部位信息包括：第一手部位在所述操控区域上的投影信息。

6.根据权利要求5所述的盲操作控制方法，其特征在于，所述第一手部位包括：手掌或手掌心。

7.根据权利要求2-6任一所述的盲操作控制方法，其特征在于，所述手部信息包括：第二手部位信息；

获取所述显示区属性限制信息，包括：根据所述第二手部位信息确定所述待显示区属性限制信息。

8.根据权利要求7所述的盲操作控制方法，其特征在于，还包括：获取所述第二手部位信息。

9.根据权利要求1-8任一所述的盲操作控制方法，其特征在于，所述第二手部位信息包括：第二手部位的特征信息和/或活动范围信息。

10.根据权利要求9所述的盲操作控制方法，其特征在于，所述第二手部位包括至少一个手指。

11.根据权利要求1-10任一所述的盲操作控制方法，其特征在于，获取所述相对位置信息包括：

获取至少一个手指尖与所述待显示区的相对位置信息。

12.根据权利要求2-11任一所述的盲操作控制方法，其特征在于，获取所述显示区属性限制信息，包括：

确定手部与所述操控区域的距离；

根据所述距离确定所述显示区属性限制信息。

13.根据权利要求3-12任一所述的盲操作控制方法，其特征在于，还包括：

确定所述显示区选择基点在所述操控区域的运动轨迹；

根据所述运动轨迹和所述显示区属性限制信息，更新所述待显示区。

14.根据权利要求1-13任一所述的盲操作控制方法，其特征在于，还包括：

根据预设触发条件确定是否启动盲操作控制。

15.根据权利要求1-14任一所述的盲操作控制方法，其特征在于，在所述显示图像上显示所述控制图像，包括：

在所述显示图像上覆盖显示所述控制图像；或者，

在所述显示图像上替代显示所述控制图像；或者，

在所述显示图像上半透明显示所述控制图像。

16.根据权利要求1-15任一所述的盲操作控制方法，其特征在于，所述外部区域小于所述操控区域。

17.一种盲操作控制装置，其特征在于，包括：

一待显示区确定模块，用于至少根据手部信息确定操控区域的待显示区；

一第一显示控制模块，用于进行第一显示控制，以在外部区域显示与所述待显示区对应的显示图像；

一相对位置信息获取模块，用于获取手部位与所述待显示区的相对对象位置信息；

一第二显示控制模块，用于根据所述相对位置信息进行第二显示控制，以在所述显示图像上显示与所述相对位置信息对应的控制图像。

18.根据权利要求17所述的盲操作控制装置，其特征在于，

所述盲操作控制装置还包括：一显示区属性限制信息获取模块，用于获取显示区属性限制信息；

所述待显示区确定模块包括：一第一待显示区确定子模块，用于根据所述手部信息和所述显示区属性限制信息确定所述操控区域的所述待显示区。

19.根据权利要求18所述的盲操作控制装置，其特征在于，

所述盲操作控制装置还包括：一第一手部位信息获取模块，用于获取第一手部位信息；

所述第一待显示区确定子模块包括：

一显示区基点确定单元，用于根据所述第一手部位信息在所述操控区域上确定显示区选择基点；

一显示区确定单元，用于根据所述显示区选择基点和所述显示区属性限制信息，确定所述待显示区。

20.根据权利要求18或19所述的盲操作控制装置，其特征在于，

所述盲操作控制装置还包括：一第二手部位信息获取模块，用于第二手部位信息；

所述显示区属性限制信息获取模块包括：一第一显示区属性限制信息获取子模块，用于根据所述第二手部位信息确定所述待显示区属性限制信息。

21.根据权利要求18-20任一所述的盲操作控制装置，其特征在于，所述显示区属性限制信息获取模块包括：

一距离确定子模块，用于确定手部与所述操控区域的距离；

一第二显示区属性限制信息获取子模块，用于根据所述距离确定所述显示区属性限制信息。

22.根据权利要求19-21任一所述的盲操作控制装置，其特征在于，所述盲操作控制装置还包括：

一运动轨迹确定模块，用于确定所述显示区选择基点在所述操控区域的运动轨迹；

一待显示区更新模块，用于根据所述运动轨迹和所述显示区属性限制信息，使能所述待显示区确定模块更新所述待显示区。

23.根据权利要求17-22任一所述的盲操作控制装置，其特征在于，所述盲操作控制装置还包括：

一触发控制模块，用于根据预设触发条件确定是否启动盲操作控制。

24.根据权利要求17-23任一所述的盲操作控制装置，其特征在于，所述外部区域小于所述操控区域。

25.一种盲操作控制系统，其特征在于，包括：如权利要求17-24任一所述的盲操作控制装置以及一设有所述操控区域的第一电子设备，所述盲操作控制装置与所述第一电子设备通信连接。

26.根据权利要求25所述的盲操作控制系统，其特征在于，所述盲操作控制装置设在所述第一电子设备中。

27.根据权利要求25或26所述的盲操作控制系统，其特征在于，所述外部区域设在所述第一电子设备中。

28.根据权利要求25或26所述的盲操作控制系统，其特征在于，还包括：一设有所述外部区域的第二电子设备，所述盲操作控制装置与所述第二电子设备通信连接。