CN113095243A

CN113095243A - 一种鼠标控制的方法、装置、计算机设备和介质

Info

Publication number: CN113095243A
Application number: CN202110414210.5A
Authority: CN
Inventors: 杨桦林; 王征; 张华杰; 陈宽; 王少康
Original assignee: Infervision Medical Technology Co Ltd
Current assignee: Infervision Medical Technology Co Ltd
Priority date: 2021-04-16
Filing date: 2021-04-16
Publication date: 2021-07-09
Anticipated expiration: 2041-04-16
Also published as: CN113095243B

Abstract

本申请提供了一种鼠标控制的方法、装置、计算机设备和介质，该方法包括：获取控制对象的手与摄像头之间的距离，以及所述手在所述摄像头所拍摄的每一帧图像中的像素位置信息和姿态信息；针对每一帧图像，根据所述像素位置信息和所述距离，确定所述手所控制的鼠标在屏幕中的屏幕位置信息；根据每一帧图像中所述手的姿态信息和每一帧图像中的手所控制的鼠标的所述屏幕位置信息，控制所述屏幕中的所述鼠标对目标对象进行操作。

Description

一种鼠标控制的方法、装置、计算机设备和介质

技术领域

本申请涉及人机交互领域，具体而言，涉及一种鼠标控制的方法、装置、计算机设备和介质。

背景技术

随着社会的不断发展，科技也在不断的进步，现代社会越来越智能化，手势控制逐渐成为一种方便人们生活的技术手段。手势控制可以实现与设备没有接触的情况下，实现人机交互。

在比较特殊的环境下，比如，疫情期间，人与其他对象过多的接触，会增加病毒的传播途径，因此，像手势控制这样的非接触式的人机交互成为一种减少病毒传播的方式。

发明内容

有鉴于此，本申请的目的在于提供一种鼠标控制的方法、装置、计算机设备和介质，用于解决现有技术中如何在精准识别的情况下计算过于复杂的问题。

第一方面，本申请实施例提供了一种鼠标控制的方法，包括：

获取控制对象的手与摄像头之间的距离，以及所述手在所述摄像头所拍摄的每一帧图像中的像素位置信息和姿态信息；

针对每一帧图像，根据所述像素位置信息和所述距离，确定所述手所控制的鼠标在屏幕中的屏幕位置信息；

根据每一帧图像中所述手的姿态信息和每一帧图像中的手所控制的鼠标的所述屏幕位置信息，控制所述屏幕中的所述鼠标对目标对象进行操作。

可选的，所述根据所述像素位置信息和所述距离，确定所述手所控制的鼠标在屏幕中的屏幕位置信息，包括：

根据预设测量距离、预设测量范围、所述距离和所述摄像头的第一分辨率，确定所述手对所述鼠标的控制比例；

根据所述控制比例和所述屏幕的第二分辨率，确定所述鼠标在所述屏幕中的所述屏幕位置信息。

可选的，所述根据每一帧图像中所述手的姿态信息和每一帧图像中的手所控制的鼠标的所述屏幕位置信息，控制所述屏幕中的所述鼠标对目标对象进行操作，包括：

根据每一帧图像中所述手的所述姿态信息，确定所述手所控制的所述鼠标的控制事件；

根据每一帧图像中的手所控制的所述鼠标的控制事件和所述手所控制的所述鼠标的所述屏幕位置信息，控制所述屏幕中的所述鼠标对目标对象进行操作。

可选的，所述根据每一帧图像中的手所控制的所述鼠标的控制事件和所述手所控制的所述鼠标的所述屏幕位置信息，控制所述屏幕中的所述鼠标对目标对象进行操作，包括：

若所述鼠标控制事件为左键事件，且当前帧图像中的手所控制的所述鼠标的屏幕位置信息与上一帧图像中的手所控制的所述鼠标的屏幕位置信息不一致，则根据当前帧图像中的手所控制的所述鼠标的屏幕位置信息调整所述目标对象在所述屏幕中的位置；或，

若所述鼠标控制事件为滚轮事件，且当前帧图像中的手与摄像头之间的距离与上一帧图像中的手与摄像头之间的距离不一致，则根据当前帧图像和上一帧图像中的手与摄像头之间的距离的变化程度，对所述屏幕中的所述目标对象进行缩放。

可选的，所述屏幕包括图像显示区和控件显示区；所述方法还包括：

若根据所述屏幕位置信息确定所述鼠标位于所述图像显示区，则不显示所述鼠标的图标；

若根据所述屏幕位置信息确定所述鼠标位于所述控件显示区，则显示所述鼠标的图标。

可选的，所述图像显示区包括至少两个候选对象；所述目标对象通过以下步骤确定：

针对每一帧图像，根据所述图像中的手所控制的鼠标的所述屏幕位置信息和每个候选对象的显示位置信息，将所述鼠标选中的待操作对象进行突出显示；

针对每一帧图像，根据所述图像中手的姿态信息，将突出显示的所述待操作对象确定为所述目标对象。

可选的，所述突出显示包括以下显示方式中的任意一种或多种：高亮显示、颜色加深显示和描边显示。

第二方面，本申请实施例提供了一种鼠标控制的装置，包括：

获取模块，用于获取控制对象的手与摄像头之间的距离，以及所述手在所述摄像头所拍摄的每一帧图像中的像素位置信息和姿态信息；

确定模块，用于针对每一帧图像，根据所述像素位置信息和所述距离，确定所述手所控制的鼠标在屏幕中的屏幕位置信息；

控制模块，用于根据每一帧图像中所述手的姿态信息和每一帧图像中的手所控制的鼠标的所述屏幕位置信息，控制所述屏幕中的所述鼠标对目标对象进行操作。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。

本申请所提供的鼠标控制的方法，首先，获取控制对象的手与摄像头之间的距离，以及所述手在所述摄像头所拍摄的每一帧图像中的像素位置信息和姿态信息；然后，针对每一帧图像，根据所述像素位置信息和所述距离，确定所述手所控制的鼠标在屏幕中的屏幕位置信息；最后，根据每一帧图像中所述手的姿态信息和每一帧图像中的手所控制的鼠标的所述屏幕位置信息，控制所述屏幕中的所述鼠标对目标对象进行操作。

在某些实施例中，实现了仅通过手在图像中的像素位置信息和姿态信息，以及手与摄像头之间的距离，实现了对屏幕中鼠标的准确控制，计算方式简单，通过鼠标对屏幕中的目标对象进行操作，实现了人机无接触式操作。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种鼠标控制的方法的流程示意图；

图2为本申请实施例提供的屏幕的示意图；

图3为本申请实施例提供的一种鼠标控制的装置的结构示意图；

图4为本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

人机交互可以应用在必要的非接触式场景中，比如，手术室，在手术室中，医生通常会通过计算机设备的屏幕查看病人的CT影像或者根据CT影像重建出来的三维模型，以方便医生做出准确的判断，但是在手术室中如果医通过鼠标或键盘对计算机设备进行操控，很容易增加细菌的传播。

为了解决上述问题，减少医生在手术过程中细菌的传播途径，本申请实施例提供了一种鼠标控制的方法，如图1所示，包括以下步骤：

S101，获取控制对象的手与摄像头之间的距离，以及所述手在所述摄像头所拍摄的每一帧图像中的像素位置信息和姿态信息；

S102，针对每一帧图像，根据所述像素位置信息和所述距离，确定所述手所控制的鼠标在屏幕中的屏幕位置信息；

S103，根据每一帧图像中所述手的姿态信息和每一帧图像中的手所控制的鼠标的所述屏幕位置信息，控制所述屏幕中的所述鼠标对目标对象进行操作。

在上述步骤S101中，控制对象是想要控制屏幕中的鼠标的对象，比如，医生、护士等，也可以是其他工作人员(可以根据所述方法在具体的应用场景而定)，摄像头用于获取控制对象的手的图像，摄像头的设置位置为能够清晰的获取到控制对象的手图像，摄像头可以是固定不动的，也可以是可以实现自动摆头的旋转摄像头。手与摄像头之间的距离可以通过第三方设备获取，比如第三方设备为红外摄像头。像素位置信息是摄像头所拍摄的图像中手在图像中的位置信息。姿态信息是手的姿态，姿态信息包括五指张开、握拳、点赞手势、OK手势、比一的手势、比二的手势等。

具体实施中，只有在获取了手与摄像头之间的距离，以及在摄像头所拍摄的每一帧图像中手的像素位置信息和姿态信息之后，才能执行后续的步骤S102和步骤S103。

在上述步骤S102中，屏幕位置信息是鼠标在显示鼠标的屏幕中的位置信息。具体实施中，每一帧图像中手的姿态信息和手的像素位置信息可能是不一样的，所以每获取一次帧图像，都需要计算一次手所控制的鼠标在屏幕中的屏幕位置信息。只通过手在图像中的像素位置信息和手与摄像头之间的距离，就可以计算出鼠标在屏幕中的位置，减少了计算依赖，简化了计算步骤。

在上述步骤S103中，目标对象是显示在屏幕中的对象，目标对象可以是图像、控件等。图像可以是CT影像或者根据CT影像重建出来的三维模型等，控件可以是虚拟控件，比如，查看病例控件、查看影像控件等。对目标对象进行操作包括：选中屏幕中的目标对象、调整目标对象在屏幕中的位置、调整目标对象的缩放等。

具体实施中，随着手的移动或者手的姿态信息不同，鼠标所对应的屏幕位置信息以及控制事件也可能会发生变化，因此，需要根据鼠标的屏幕位置信息和手的姿态信息所确定的鼠标的控制事件，对鼠标选中的目标对象进行操作。

本申请实施例中，通过上述三个步骤，实现了仅通过手在图像中的像素位置信息和姿态信息，以及手与摄像头之间的距离，实现了对屏幕中鼠标的准确控制，计算方式简单，通过鼠标对屏幕中的目标对象进行操作，实现了人机无接触式操作。

本申请提供了一种详细的确定手所控制的鼠标在屏幕中的屏幕位置信息的方法，步骤S102包括：

步骤1021，根据预设测量距离、预设测量范围、所述距离和所述摄像头的第一分辨率，确定所述手对所述鼠标的控制比例；

步骤1022，根据所述控制比例和所述屏幕的第二分辨率，确定所述鼠标在所述屏幕中的所述屏幕位置信息。

在上述步骤1021中，预设测量距离是控制对象与摄像头之间的距离，是人为设置的，比如，1米。预设测量范围是根据预设测量距离确定的，比如，控制对象站在距离摄像头1米处的位置时，控制对象的手所能移动的范围在摄像头所拍摄的图像中的映射位置，第一分辨率是摄像头所拍摄的图像的分辨率，也就会，摄像头所拍摄图像的长和宽。

具体实施中，首先根据相似三角形公式计算出控制对象在当前所站的位置处手的可移动范围，然后，预设测量范围和当前手的可移动范围计算手对鼠标的控制比例。

使用如下公式计算手对鼠标的控制比例。

其中，基于摄像头所拍摄的图像建立第一坐标系，KX为坐标系中横轴坐标所需要进行乘积的控制比例，KY坐标系中纵轴坐标所需要进行乘积的控制比例，在第一坐标系下摄像头所拍摄图像的像素坐标的第一分别率为(XC,YC)，预设测量距离为a，预设测量范围为在第一坐标系下的左上角坐标为(X1,Y1)，右下角坐标为(X2,Y2)，控制对象与摄像头之间的距离为Z，控制对象的手在摄像头所拍摄的图像中的位置为第一坐标系下的(X,Y)；以及根据相似性三角形公式，可以计算出控制对象在与摄像头之间的距离为Z处，手在第一坐标下的可移动范围为左上角坐标为

右下角坐标为

在上述步骤1022中，第二分辨率是屏幕所显示画面的分别率，也就是说屏幕所显示画面的长和宽。

具体实施中，根据所述控制比例和所述屏幕的第二分辨率的乘积，可以确定鼠标在屏幕中的屏幕位置信息。

具体的，通过如下公式计算鼠标在屏幕中的屏幕位置信息。

(B，D)＝(XS*KX,YS*KY)；

其中，基于屏幕所显示画面建立第二坐标系，(B，D)是在第二坐标系下鼠标在屏幕中的屏幕位置信息，(XS,YS)是摄像头所拍摄的图像建立的第一坐标系下该图像的第一分辨率，KX为坐标系中横轴坐标所需要进行乘积的控制比例，KY坐标系中纵轴坐标所需要进行乘积的控制比例。

对鼠标进行操作可以实现多种控制事件，控制事件可以包括左键事件、滚轮事件、右键事件等。根据不同的控制事件可以实现对屏幕中目标对象的不同操作，步骤S103，包括：

步骤1031，根据每一帧图像中所述手的所述姿态信息，确定所述手所控制的所述鼠标的控制事件；

步骤1032，根据每一帧图像中的手所控制的所述鼠标的控制事件和所述手所控制的所述鼠标的所述屏幕位置信息，控制所述屏幕中的所述鼠标对目标对象进行操作。

在上述步骤1031中，控制事件是鼠标的基本操作，可以包括左键事件、滚轮事件、右键事件等。左键事件又包括单击、双击等。

具体实施中，为了实现对鼠标更准确的控制，鼠标不同控制事件可以对应不同的姿态信息，因此，针对每一帧图像，可以根据图像中手的姿态信息确定鼠标的控制事件。

比如，手的姿态信息为握拳，则为左键点击事件，手部姿态为OK手势，则有右键点击事件，手部姿态为点赞手势，则为滚轮事件。

本方案中可以实现仅通过一只手对鼠标的控制，也可以是通过两只手实现对鼠标的控制，为了提高对鼠标的控制的准确度，本方案优选的通过两只手对鼠标进行控制，比如，双手张开，鼠标状态为无按键点击；右手握拳，左手张开，鼠标状态为右键点击；双手握拳，之前的状态为双手张开，鼠标状态为右键点击；双手握拳，之前的状态为双手握拳，鼠标状态不变；双手握拳，之前的状态为右手张开，右键点击；右手张开，左手握拳，且左手靠近或远离摄像头的速度未超过阈值(此阈值自行定义)，鼠标状态为中键点击；双手握拳，之前的状态为左手张开，且左手没有靠近或远离摄像头，鼠标状态为中键点击；双手握拳，之前的状态为左手张开，且左手靠近或远离摄像头的速度超过阈值(此阈值自行定义)，鼠标状态为滚轮滚动等。

在上述步骤1032中，根据不同的控制事件，以及手所控制的鼠标的屏幕位置信息，可以实现屏幕中鼠标对目标对象的操作。

具体的，通过鼠标对屏幕中的目标对象进行操作，可以是控制目标对象在屏幕中移动，或者控制目标对象进行缩放。因此，步骤1032，包括：

步骤10321，若所述鼠标控制事件为左键事件，且当前帧图像中的手所控制的所述鼠标的屏幕位置信息与上一帧图像中的手所控制的所述鼠标的屏幕位置信息不一致，则根据当前帧图像中的手所控制的所述鼠标的屏幕位置信息调整所述目标对象在所述屏幕中的位置；或，

步骤10322，若所述鼠标控制事件为滚轮事件，且当前帧图像中的手与摄像头之间的距离与上一帧图像中的手与摄像头之间的距离不一致，则根据当前帧图像和上一帧图像中的手与摄像头之间的距离的变化程度，对所述屏幕中的所述目标对象进行缩放。

在上述步骤10321中，连续两帧中手的姿态信息是一致的，且手的姿态行信息对应的鼠标的控制事件为左键事件，则可以确定出屏幕中的目标对象，在确定了目标对象的情况下，如果连续两帧中手所控制的鼠标的屏幕位置信息不同，说明用户可能存在通过手控制鼠标在屏幕中进行移动的倾向，因此可以根据当前帧图像中的手所控制的所述鼠标的屏幕位置信息调整所述目标对象在所述屏幕中的位置。

在上述步骤10322中，连续两帧中手的姿态信息是一致的，且手的姿态行信息对应的鼠标的控制事件为滚轮事件，则可以确定出屏幕中的目标对象，在确定了目标对象的情况下，如果连续两帧中的手与摄像头的距离不同，则根据当前帧图像和上一帧图像中的手与摄像头之间的距离的变化程度，对所述屏幕中的所述目标对象进行缩放。具体的，根据当前帧图像中的手与摄像头之间的第一距离和上一帧图像中的手与摄像头之间的第二距离的差值，确定目标对象的放大或缩小的倍数；可以根据手在手与摄像头之间的移动方向确定目标对象放大或缩小。

比如，手在手与摄像头之间的移动方向为手靠近摄像头，则控制目标对象放大，手在手与摄像头之间的移动方向为手原理摄像头，则控制目标对象缩小。

控制对象并不是一个机器，而是一个人，因此，控制对象的手可能出现微小的抖动，这样可能会导致对目标对象的控制不准确，为了达到防抖的目的，步骤10321包括：

步骤103211，若当前帧图像中的手所控制的所述鼠标的屏幕位置信息与上一帧图像中的手所控制的所述鼠标的屏幕位置信息之间的差值小于预设距离，则将当前帧图像中的手所控制的所述鼠标的屏幕位置信息确定为上一帧图像中的手所控制的所述鼠标的屏幕位置信息。

在上述步骤103211中，如果计算得到的当前帧图像中的手所开工至的鼠标的屏幕位置信息与上一帧图像中的手所开工至的鼠标的屏幕位置信息的差值较小，说明手的移动距离较小，可能是手出现了抖动，因此，如果计算得到的当前帧图像中的手所开工至的鼠标的屏幕位置信息与上一帧图像中的手所开工至的鼠标的屏幕位置信息的差值小于预设距离，则可以保持鼠标的屏幕位置信息不变，也就是保持上一帧图像中的手所开工至的鼠标的屏幕位置信息。

当然也有可能是用户真的想控制鼠标移动很小的距离，为了区分防抖的情况，本申请的方法在步骤10321还包括：

步骤103212，判断所述手的第一姿态信息是否为预设姿态信息；

步骤103213，若所述手的第一姿态信息是否为预设姿态信息，则继续获取所述手的第二姿态信息，若所述手的第二姿态信息所对应的鼠标的控制事件为左键事件，且当前帧图像中的手所控制的所述鼠标的屏幕位置信息与上一帧图像中的手所控制的所述鼠标的屏幕位置信息不一致，则根据当前帧图像中的手所控制的所述鼠标的屏幕位置信息调整所述目标对象在所述屏幕中的位置。

在上述步骤103212和步骤103213中，预设姿态信息是人为设置的，用于提示手所控制的鼠标对目标对象进行移动操作。

具体实施中，如果在获取的第一姿态信息为预设姿态信息后，可以确定手所控制的鼠标是需要实现对目标对象的移动操作，因此，当第二姿态信息对应的是鼠标的左键事件，并且连续的两帧图像中的手所控制的鼠标的屏幕位置信息不一致，进一步的确定了，鼠标需要控制目标对象进行移动。通过正价第一姿态信息，可以减少了操控对象的手的抖动导致的对目标对象不准确的问题。

屏幕中可以包括图像显示区和控件显示区，如图2所示，针对鼠标在不同的显示区域，鼠标可以有不同的显示方式，本方案包括：

步骤104，若根据所述屏幕位置信息确定所述鼠标位于所述图像显示区，则不显示所述鼠标的图标；

步骤105，若根据所述屏幕位置信息确定所述鼠标位于所述控件显示区，则显示所述鼠标的图标。

在上述步骤104中，如果鼠标的位置在图像显示区，则在图像显示区中不显示鼠标的图标，图标可以是箭头图形、圆点图形、小手图形等。不在图像显示区域显示鼠标的图形，减少了鼠标图形对目标对象的干扰，提高了目标对象显示的清晰度。比如，如果医生需要查看的是病人的CT影像，如果将鼠标的图形也显示在影像上，很容易给医生造成干扰。

在上述步骤105中，如果鼠标位置在控件显示区，则为了让控制对象能够更清楚的看到所选的控件，则可以显示鼠标图像。

在某些情况下，图像显示区中可能会存在多个候选对象，本申请提供了一种确定目标对象的方法，包括：

步骤106，针对每一帧图像，根据所述图像中的手所控制的鼠标的所述屏幕位置信息和每个候选对象的显示位置信息，将所述鼠标选中的待操作对象进行突出显示；

步骤107，针对每一帧图像，根据所述图像中手的姿态信息，将突出显示的所述待操作对象确定为所述目标对象。

在上述步骤106中，候选对象是显示在图像显示区中的图像，显示位置信息可以是候选对象所覆盖的区域的位置信息。待操作对象是显示位置信息与鼠标的屏幕位置信息相匹配的候选对象，也就是显示位置信息中的某一个位置信息与屏幕位置信息一致。突出显示包括以下显示方式中的任意一种或多种：高亮显示、颜色加深显示和描边显示。其中，高亮显示指的是选中的待操作对象的显示亮度比未选中之前的显示亮度超过了预设亮度数值。颜色加深显示指的是选中的待操作对象的颜色值比未选中之前的颜色值加深了预设颜色数值(颜色值指的是像素值)。描边显示指的是选中的待操作对象的边框进行加粗。

具体实施中，针对每一帧图像，根据所述图像中的手所控制的鼠标的所述屏幕位置信息和每个候选对象的显示位置信息，判断候选对象中是否存在显示位置信息与鼠标的屏幕位置信息相匹配，如果存在显示位置信息与鼠标的屏幕位置信息相匹配的候选对象，则将该候选对象确定为待操作对象，并控制该待操作对象进行突出显示。在不显示鼠标的图标的情况下，让待操作对象进行突出显示，提高了确定出鼠标所选中的待操作对象的准确度。

在上述步骤107中，针对每一帧图像，在确定了待操作对象之后，手部姿态信息对应的鼠标控制事件为左键事件、滚轮事件或右键事件的任意一种，均可以将待操作对象确定为目标对象，具体的可以根据实际情况人为设置。

本申请提供了一种鼠标控制的装置，如图3所示，包括：

获取模块301，用于获取控制对象的手与摄像头之间的距离，以及所述手在所述摄像头所拍摄的每一帧图像中的像素位置信息和姿态信息；

确定模块302，用于针对每一帧图像，根据所述像素位置信息和所述距离，确定所述手所控制的鼠标在屏幕中的屏幕位置信息；

控制模块303，用于根据每一帧图像中所述手的姿态信息和每一帧图像中的手所控制的鼠标的所述屏幕位置信息，控制所述屏幕中的所述鼠标对目标对象进行操作。

可选的，所述确定模块，包括：

比例确定单元，用于根据预设测量距离、预设测量范围、所述距离和所述摄像头的第一分辨率，确定所述手对所述鼠标的控制比例；

位置确定单元，用于根据所述控制比例和所述屏幕的第二分辨率，确定所述鼠标在所述屏幕中的所述屏幕位置信息。

可选的，所述控制模块，包括：

事件确定单元，用于根据每一帧图像中所述手的所述姿态信息，确定所述手所控制的所述鼠标的控制事件；

操作单元，用于根据每一帧图像中的手所控制的所述鼠标的控制事件和所述手所控制的所述鼠标的所述屏幕位置信息，控制所述屏幕中的所述鼠标对目标对象进行操作。

可选的，所述操作单元，包括：

第一操作子单元，用于若所述鼠标控制事件为左键事件，且当前帧图像中的手所控制的所述鼠标的屏幕位置信息与上一帧图像中的手所控制的所述鼠标的屏幕位置信息不一致，则根据当前帧图像中的手所控制的所述鼠标的屏幕位置信息调整所述目标对象在所述屏幕中的位置；或，

第二操作子单元，用于若所述鼠标控制事件为滚轮事件，且当前帧图像中的手与摄像头之间的距离与上一帧图像中的手与摄像头之间的距离不一致，则根据当前帧图像和上一帧图像中的手与摄像头之间的距离的变化程度，对所述屏幕中的所述目标对象进行缩放。

可选的，所述装置还包括：

第一显示模块，用于若根据所述屏幕位置信息确定所述鼠标位于所述图像显示区，则不显示所述鼠标的图标；

第二显示模块，用于若根据所述屏幕位置信息确定所述鼠标位于所述控件显示区，则显示所述鼠标的图标。

可选的，所述控制模块包括：

突出显示单元，用于针对每一帧图像，根据所述图像中的手所控制的鼠标的所述屏幕位置信息和每个候选对象的显示位置信息，将所述鼠标选中的待操作对象进行突出显示；

对象确定单元，用于针对每一帧图像，根据所述图像中手的姿态信息，将突出显示的所述待操作对象确定为所述目标对象。

本申请所提供的鼠标控制的方法可以应用在医疗场景中，也可以应用在能够实现本方案的其他场景，上述论述仅是一个示例性实施例。

对应于图1中的鼠标控制的方法，本申请实施例还提供了一种计算机设备400，如图4所示，该设备包括存储器401、处理器402及存储在该存储器401上并可在该处理器402上运行的计算机程序，其中，上述处理器402执行上述计算机程序时实现上述鼠标控制的方法。

具体地，上述存储器401和处理器402能够为通用的存储器和处理器，这里不做具体限定，当处理器402运行存储器401存储的计算机程序时，能够执行上述鼠标控制的方法，解决了现有技术中如何在精准识别的情况下计算过于复杂的问题。

对应于图1中的鼠标控制的方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述鼠标控制的方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述鼠标控制的方法，解决了现有技术中如何在精准识别的情况下计算过于复杂的问题，本申请实现了仅通过手在图像中的像素位置信息和姿态信息，以及手与摄像头之间的距离，实现了对屏幕中鼠标的准确控制，计算方式简单，通过鼠标对屏幕中的目标对象进行操作，实现了人机无接触式操作。

在本申请所提供的实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种鼠标控制的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述像素位置信息和所述距离，确定所述手所控制的鼠标在屏幕中的屏幕位置信息，包括：

3.根据权利要求1所述的方法，其特征在于，所述根据每一帧图像中所述手的姿态信息和每一帧图像中的手所控制的鼠标的所述屏幕位置信息，控制所述屏幕中的所述鼠标对目标对象进行操作，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据每一帧图像中的手所控制的所述鼠标的控制事件和所述手所控制的所述鼠标的所述屏幕位置信息，控制所述屏幕中的所述鼠标对目标对象进行操作，包括：

5.根据权利要求1所述的方法，其特征在于，所述屏幕包括图像显示区和控件显示区；所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述图像显示区包括至少两个候选对象；所述目标对象通过以下步骤确定：

7.根据权利要求6所述的方法，其特征在于，所述突出显示包括以下显示方式中的任意一种或多种：高亮显示、颜色加深显示和描边显示。

8.一种鼠标控制的装置，其特征在于，包括：

9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1-7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1-7中任一项所述的方法的步骤。