CN102508548A - 一种电子信息设备的操作方法及系统 - Google Patents

Abstract

本发明公开了一种电子信息设备的操作方法，包括：确定操作点在系统显示界面的坐标；采集操作者肢体动作信息获得其空间坐标信息和图像数据，将所获得的图像数据以镜像形式通过显示屏输出；计算肢体映射在显示屏中的镜像点坐标；识别肢体动作并判断肢体镜像点与操作点是否对应？若对应，则系统进行该肢体动作响应操作，否则不响应。另外还提供相应到的基于立体视觉的操作显示系统。本发明基于镜像显示技术和机器视觉技术，将显示屏上图像坐标和人的肢体在空间中的坐标对应，在2D/3D显示情况下，使用户可以在显示屏上看到自己相对与屏幕的操作位置，从而实现准确的隔空操作。

Description

一种电子信息设备的操作方法及系统

技术领域

本发明涉及三维图像处理及图像映射技术领域，具体涉及一种电子信息设备的操作方法及系统。

背景技术

人观察2D/3D显示的系统界面，在不通过任何传感装置，也不接触主机的情况下，通过摄像头或者景深传感器，将人所处场景的2D/3D信息映射到显示屏上，在显示屏的镜像指示下，对系统进行准确的隔空操作。

类似的有非接触式显示系统，用户能通过将手指或指示器移向图像的所选择部分来与显示的图像交互，对显示区域内出现的人的手部进行动态监测和识别，对手部进行识别，使用者可以不接触任何物体而控制系统。

针对现有的非触摸屏操作系统，手在操作时不清楚自己手部处在显示屏的位置，只能通过手部的移动，去寻找要显示屏上要操作的目标（操作图标、软键盘按钮），这种操作模式用户不能精确的找到操作位置，给操作带来了一定困难。

发明内容

有鉴于此，本发明所要解决的技术问题是提供一种电子信息设备的操作方法及系统，操作者可看到自己手部或者肢体的操作位置，使得操作更加精确。

本发明实施例提供一种电子信息设备的操作方法，包括：

确定操作点在系统显示界面的坐标；

采集操作者肢体动作信息获得其空间坐标信息和图像数据，将所获得的图像数据以镜像形式通过显示屏输出；

计算肢体映射在显示屏中的镜像点坐标；

识别肢体动作并判断肢体镜像点与操作点是否对应？若对应，则系统进行该肢体动作响应操作，否则不响应。

本发明实施例提供的一种基于立体视觉的操作显示系统，包括：

操作点定位单元，确定操作点在系统显示界面的坐标；

操作信息采集单元，采集操作者肢体动作信息获得其空间坐标信息和图像数据，并输出所获得的图像数据；

坐标映射单元，计算肢体映射在显示屏中的镜像点坐标；

识别单元，识别肢体动作并判断肢体镜像点与操作点是否对应？若对应，则指示系统进行该肢体动作响应操作，否则不响应；

显示单元，用于显示包含操作者肢体图像信息的视频输出信号。

本发明基于镜像显示技术和机器视觉技术，将显示屏上图像坐标和人的肢体在空间中的坐标对应，在2D/3D显示情况下，使用户可以在显示屏上看到自己相对与屏幕的操作位置，从而实现准确的隔空操作。

本发明在2D/3D显示中，通过肢体动作对2D/3D显示的系统进行操作，将摄像头拍摄到的场景映射到显示屏上，使用户可以实时的看到自己手部和肢体所处的位置，当用户想操作时，可以根据肢体在显示屏的移动，来操作控制系统，而用户本身并不需要接触任何设备，但是能精确的，实时的控制系统。

本发明与这些专利的区别是：在2D/3D显示的技术下，利用机器视觉技术，实现了不通过任何输入设备，也不需要触摸到主机，且将摄像头或者景深传感器拍摄到图像映射到显示屏上，使用户面对显示器可以直接更直观的看清楚自己所处的环境，而现有技术虽然也是属于非接触式操作，但是用户在显示屏上不能看到自己手部或者肢体的操作位置，本发明在镜像指引下，对2D/3D显示的操作系统进行操作，更加精确，更加灵活的实现了人机交互，有益于用户的操作体验。

附图说明

图1 为本发明提供的非接触式操作系统的原理示意图；

图2 为本发明提供的一种电子信息设备的操作方法流程图；

图3 为本发明实施例提供的非接触式操作方法流程图；

图4 为本发明实施例中摄像头空间坐标系与镜像坐标系之间的关系示意图；

图5为本发明实施例中的显示界面为二维2D时的原理示意图；

图6为本发明实施例中的显示界面为三维3D时的原理示意图；

图7为本发明实施例中的3D显示光学原理示意图；

图8（a）和图8（b）为本发明实施例中的3D显示系统双目视觉距离传感器模型图；

图9为本发明提供的基于立体视觉的操作显示系统的架构示意图。

具体实施方式

鉴于现有技术中存在的不足，本发明提供一种电子信息设备的操作方法及操作显示系统，可在2D/3D显示系统中，通过肢体动作对2D/3D显示的系统进行操作，将摄像头或者景深传感器拍摄到的场景映射到显示屏上，使操作者可以实时的看到自己手部和肢体所处的位置，当需要操作时，可以根据肢体在显示屏的移动进行操作控制，而操作者本身并不需要接触任何设备，但是可以精确地，实时进行操作控制。

参照图1及图2，本发明一种电子信息设备的操作方法，包括如下步骤：

S201，确定操作点在系统显示界面的坐标；

S202，采集操作者肢体动作信息获得其空间坐标信息和图像数据，将所获得的图像数据以镜像形式通过显示屏输出；

S203，计算肢体映射在显示屏中的镜像点坐标；

S204，识别肢体动作并判断肢体镜像点与操作点是否对应？若对应，则系统进行该肢体动作响应操作，否则不响应。

步骤S201中所述确定操作点在系统显示界面的坐标，在本发明实施例中具体包括：

若系统的显示界面为二维2D，则以显示器的左上角为空间原点，显示界面为XOY二维坐标平面，得到系统操作界面中操作点在显示器二维平面坐标D(x,y)；或

若系统的显示界面为三维3D，则以显示器的左上角为空间原点，显示界面为XYZ三维立体图像，显示器为XOY面，垂直显示器方向为Z轴，得到系统操作界面中操作点三维空间中的坐标D(x,y,z)。

步骤S202中所述采集操作者肢体动作信息获得其空间坐标信息和图像数据，将所获得的图像数据以镜像形式通过显示屏输出，在本发明实施例中具体包括：

当操作者在显示界面镜像指引下移动手部或肢体时，计算出肢体运动时的空间坐标，不断更新肢体在显示界面中的映射坐标，在显示界面实时显示手部或肢体的位置。

步骤S203中，所述计算肢体映射在显示屏中的镜像坐标，在本发明实施例中具体包括：

若系统的显示界面为二维2D，摄像头采集到的图像映射到显示屏上，以平面形式呈现，以显示器的左上角为空间原点，显示界面为坐标平面，计算手或肢体相对于原点的位置，实时的得到手或肢体坐标P(x,y)；

若系统的显示界面为三维3D，图像以三维立体形式呈现，基于所确定的操作点坐标D(x,y,z)和操作时肢体相对于摄像头的空间坐标P(x,y,z)，根据摄像头和显示界面的位置关系，将P点转换到和D点相同的坐标系下，得到在同一坐标系下的镜像点坐标P^’(x,y,z)。

步骤S204中所述识别肢体动作并判断肢体镜像点与操作点是否对应，在本发明实施例中具体包括：

若系统的显示界面为二维2D，则检测手部或肢体的位置映射在显示界面上的２Ｄ坐标和显示界面上操作点坐标是否重合，若重合，则判定肢体镜像坐标与操作点坐标对应；

若系统的显示界面为三维3D，操作时手部或肢体动作需要触碰到在三维空间某一位置的操作点，若操作点坐标D和镜像点坐标P^’重合，则判定肢体镜像坐标与操作点坐标对应。

为使本发明的原理、特性和优点，下面结合具体实施例对本发明进行详细描述。

参照图1和图3，本发明实施例中提供的一种电子信息设备的操作方法，包括如下步骤：

S301. 确定操作点在显示器的坐标；

对于2D显示界面，以显示器的左上角为空间原点O，显示器面为XＯY平面，可以得到系统操作界面中操作点在显示器二维平面坐标D(x,y)。对于3D显示系统，通过3D显示原理，以显示器的左上角为空间原点O，显示器面为XＯY平面，垂直显示器方向为Z轴，可以得到系统操作界面中操作点三维空间中的坐标D(x,y,z)。

   S302. 通过采集设备获得空间坐标信息和图像数据。操作者看到2D/3D显示屏操作界面，通过肢体动作对看到的界面进行操作，并用摄像头（包括单目摄像头，双目摄像头，景深传感器等）采集肢体动作。

   S303. 将采集的图像数据以镜像形式通过显示屏输出。通过显示屏用户看到自己所处场景，当用户在显示器中镜像指引下移动手部或肢体时，显示器可以实时显示手部或肢体的位置，并对它进行动作识别，同时计算出肢体运动时的空间坐标，不断更新肢体在显示器中的映射坐标。

   S30. 计算肢体在显示器中的坐标。对于２Ｄ显示器，摄像头采集到的图像映射到显示屏上，以平面形式呈现，以显示器的左上角为空间原点O，显示器面为XＯY平面，因此只需计算肢体相对于原点Ｏ的位置，实时的得到肢体坐标P(x,y)。  

对于３Ｄ显示系统，通过计算出了操作点坐标D(x,y,z)的和人做动作时的肢体相当于摄像头的空间坐标P(x,y,z)，由于坐标D和Ｐ不是在同一坐标系下，根据摄像头和显示器的位置关系，将P点转换到和D点相同的坐标系下，得到在同一坐标系下的P^’(x,y,z)。具体坐标转换方式如下：

由于摄像头空间坐标系与镜像坐标系不是同一个坐标系，需要将摄像头空间坐标映射到镜像坐标系下，设摄像头空间坐标原点与镜像坐标原点O距离为l，即在以O为原点的空间坐标系的X轴上，其光轴与X轴垂直，与XＯY平面夹角为θ，P(x,y,z)与光轴夹角为                                               

，与XOY平面夹角为

，两空间坐标关系如图4所示。

计算肢体坐标时，以左摄像头光轴为Z轴，那么设肢体坐标点为P(x,y,z),则将P转换到以O为原点的空间坐标系下的P^’，计算公式如下所示：

            

               （1）

S305.利用识别技术判断出人的肢体动作，识别肢体动作并判断肢体镜像点与操作点是否对应？若对应，则系统进行该肢体动作响应操作，否则不响应。

对于2D显示系统，肢体的位置映射在显示器上的２Ｄ坐标和显示器上操作点坐标重合后，操作系统作出响应。

对于３D显示系统，此动作需要触碰到在三维空间某一位置的操作点，若D和P^’两点重合，说明此动作在空间中触碰到视觉上三维显示的操作点，但并非触到显示器本身，此时操作系统进行动作响应，否则不响应。

在上述方法流程中，通过摄像头采集数据，将操作者所处的空间的坐标映射到显示器，并在显示器上显示镜像，操作者可以观察显示器中的镜像，在镜像指引，移动手部或肢体去操作显示器上操作点，人体任何部分始终不用接触显示器，也不用借助其它的传感装置，仅仅在空间中系统界面显示区域进行运动，就可实现对系统准确操作，即基于镜像显示技术实现的操作方法。

本发明的一实施例中，系统的显示界面为二维2D，采集2D数据且显示2D图像。

参照图5，操作者站在显示屏前，摄像头拍摄到用户，将采集的数据以镜像形式映射到显示界面上，铺满整个显示屏，按钮R是操作点，以显示器左上角为原点，显示器为坐标平面，计算按钮R坐标D(x,y)；

当用户有需要操作时，在空间移动自己手或者肢体时，可以在显示屏上，看到自己肢体或者手部移动的位置，使用户更清楚自己所做的动作，并且实时的计算手在显示器屏幕上的位置坐标P(x,y)，如图5所示，当用户想要去触发按钮R时，用户只需要观察显示屏上的手，当显示屏上的手移动到按钮R处，Ｐ点和Ｄ点重合，用户准确的触发按钮，而不需要凭空的在空间中去寻找按钮的位置。

本发明的另一实施案例中，系统的显示界面为三维3D，采集3D数据且显示3D图像。

参照图6，用户站在显示器前，利用3D眼镜或者其它技术看到在空间显示的操作界面对于系统操作界面，该系统利用3D显示技术，将系统操作界面在三维空间中显示。3D显示技术就是利用一系列的光学方法，使人的左右眼产生视差从而接收不同的画面，在大脑形成3D立体效果。人双眼能同时看同一方向，但是眼间距离约65mm，因此不能瞄上同一直线，在一定范围内双眼看到的图像有差异。

如图7所示，左右眼分别看到左眼图和右眼图，那么视线在中间会有一个交点，在这个交叉处，视觉上会形成两图合成的立体图像，这样大脑将两幅图合成为一个在交点处立体图。

通过3D显示原理，以显示器的左上角为空间原点O，显示器面为XＯY平面，垂直显示器方向为Z轴，可以得到系统操作界面中操作点在三维空间中的坐标D(x,y,z)。

用户想要对界面操作，在空间中移动手，就可以从３Ｄ显示屏上看到自己手移动的方向和位置，当在显示屏上看到手移动到按钮R处时，去点击按钮R，处于显示器处的两个摄像机对手运动进行采集，判断是手指点击动作后，通过式(2)计算出手指的3D坐标P。其次，人看到三维显示的立体操作界面，并通过肢体动作对看到的界面进行操作。用双目摄像头采集的肢体动作。并对它进行动作识别，同时计算出肢体在运动中的3D坐标。

如图8所示，两台焦距为f的摄像机平行放置，光轴之间的距离为T，图8（a）中的两个矩形分辨表示左右摄像机的成像平面，O_l和O_r为左右摄像机的焦点，对于场景中的任意一点P，在左右摄像机成像平面上的成像点分别为p _l 和p _r ，它们在成像平面上的成像坐标（图像坐标）为x ^l 和x ^r ，则视差定义为d = x^l - x^r，如图8（b）所示。

以图8中的左摄像机焦点O_l为原点，O_lO_r所在直线为X轴，左摄像机光轴为Z轴，垂直于XZ轴的为Y轴，则P点在O _l 坐标系中的坐标可以按照公式（2）计算：

               (2)

通过上述步骤已计算出了操作点D(x,y,z)的坐标和人做动作时的肢体坐标P(x,y,z),由于两个坐标不是在同一坐标系下，根据左摄像头和显示器的位置关系，将P点转换到和D点相同的坐标系下，得到在同一坐标系下的P^’(x,y,z)。

利用识别技术判断出人的肢体动作，此动作需要触碰到在三维空间某一位置的操作点，若D和P^’两点重合，说明此动作在空间中触碰到视觉上三维显示的操作点，但并非触到显示器本身，此时操作系统进行动作响应，否则不响应。

参照图9，本发明还提供一种基于立体视觉的操作显示系统900，包括：

操作点定位单元910，确定操作点在系统显示界面的坐标；

操作信息采集单元920，采集操作者肢体动作信息获得其空间坐标信息和图像数据，并输出所获得的图像数据；

坐标映射单元930，计算肢体映射在显示屏中的镜像点坐标；

显示单元940，用于显示包含操作者肢体图像信息的视频输出信号；

识别单元950，识别肢体动作并判断肢体镜像点与操作点是否对应？若对应，则指示系统进行该肢体动作响应操作，否则不响应。

在具体实施例中，坐标映射单元930包括：

三维坐标计算模块，用于计算操作者手部的镜像点三维3D坐标；基于所确定的操作点坐标D(x,y,z)和操作时肢体相对于摄像头的空间坐标P(x,y,z)，根据摄像头和显示界面的位置关系，将P点转换到和D点相同的坐标系下，得到在同一坐标系下的镜像点坐标P^’(x,y,z)。

具体实施例中识别单元950，具体包括：

三维坐标检测模块，用于检测比较操作点坐标D和镜像点坐标P^’重合是否重合；

若系统的显示界面为三维3D，操作时手部或肢体动作需要触碰到在三维空间某一位置的操作点，若操作点坐标D和镜像点坐标P^’重合，则判定肢体镜像坐标与操作点坐标对应。

该系统的操作方法与前述实施例基本相同，在此不再赘述。

综上所述，本发明基于镜像显示技术和机器视觉技术，将显示屏上图像坐标和人的肢体在空间中的坐标对应，在2D/3D显示情况下，使用户可以在显示屏上看到自己相对与屏幕的操作位置，从而实现准确的隔空操作。

本发明在2D/3D显示中，通过肢体动作对2D/3D显示的系统进行操作，将摄像头拍摄到的场景映射到显示屏上，使用户可以实时的看到自己手部和肢体所处的位置，当用户想操作时，可以根据肢体在显示屏的移动，来操作控制系统，而用户本身并不需要接触任何设备，但是能精确的，实时的控制系统。

本发明与这些专利的区别是：在2D/3D显示的技术下，利用机器视觉技术，实现了不通过任何输入设备，也不需要触摸到主机，且将摄像头或者景深传感器拍摄到图像映射到显示屏上，使用户面对显示器可以直接更直观的看清楚自己所处的环境，而现有技术虽然也是属于非接触式操作，但是用户在显示屏上不能看到自己手部或者肢体的操作位置，本发明在镜像指引下，对2D/3D显示的操作系统进行操作，更加精确，更加灵活的实现了人机交互，有益于用户的操作体验。

结合本文的实施例所描述的方法可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。

对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。

本发明虽然以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。

Claims (8)

1.一种电子信息设备的操作方法，其特征在于，包括：

确定操作点在系统显示界面的坐标；

采集操作者肢体动作信息获得其空间坐标信息和图像数据，将所获得的图像数据以镜像形式通过显示屏输出；

计算肢体映射在显示屏中的镜像点坐标；

识别肢体动作并判断肢体镜像点与操作点是否对应？若对应，则系统进行该肢体动作响应操作，否则不响应。

2.如权利要求1所述的操作方法，其特征在于，所述确定操作点在系统显示界面的坐标，具体包括：

若系统的显示界面为二维2D，则以显示器的左上角为空间原点，显示界面为XOY二维坐标平面，得到系统操作界面中操作点在显示器二维平面坐标D(x,y)；或

若系统的显示界面为三维3D，则以显示器的左上角为空间原点，显示界面为XYZ三维立体图像，显示器为XOY面，垂直显示器方向为Z轴，得到系统操作界面中操作点三维空间中的坐标D(x,y,z)。

3.如权利要求1所述的操作方法，其特征在于，所述采集操作者肢体动作信息获得其空间坐标信息和图像数据，将所获得的图像数据以镜像形式通过显示屏输出，具体包括：

当操作者移动肢体时，计算出肢体运动时的空间坐标，不断更新肢体在显示界面中的映射坐标，在显示界面实时显示肢体的位置。

4.如权利要求1所述的操作方法，其特征在于，所述计算肢体映射在显示屏中的镜像坐标，具体包括：

若系统的显示界面为二维2D，摄像头采集到的图像映射到显示屏上，以平面镜像形式呈现，以显示器的左上角为空间原点，显示界面为坐标平面，计算手或肢体相对于原点的位置，实时的得到手或肢体坐标P(x,y)；

若系统的显示界面为三维3D，以立体镜像形式呈现，基于所确定的操作点坐标D(x,y,z)和操作时肢体相对于摄像头的空间坐标P(x,y,z)，根据摄像头和显示界面的位置关系，将P点转换到和D点相同的坐标系下，得到在同一坐标系下的肢体镜像点坐标P^’(x,y,z)。

5.如权利要求1所述的操作方法，其特征在于，所述识别肢体动作并判断肢体镜像点与操作点是否对应，具体包括：

若系统的显示界面为二维2D，则检测手部或肢体的位置映射在显示界面上的２Ｄ坐标和显示界面上操作点坐标是否重合，若重合，则判定肢体镜像坐标与操作点坐标对应；

若系统的显示界面为三维3D，操作时手部或肢体动作需要触碰到在三维空间某一位置的操作点，若操作点坐标D和镜像点坐标P^’重合，则判定肢体镜像坐标与操作点坐标对应。

6.一种基于立体视觉的操作显示系统，其特征在于，包括：

操作点定位单元，确定操作点在系统显示界面的坐标；

操作信息采集单元，采集操作者肢体动作信息获得其空间坐标信息和图像数据，并输出所获得的图像数据；

坐标映射单元，计算肢体映射在显示屏中的镜像点坐标；

显示单元，用于显示包含操作者肢体图像信息的视频输出信号；

识别单元，识别肢体动作并判断肢体镜像点与操作点是否对应？若对应，则指示系统进行该肢体动作响应操作，否则不响应。

7.权利要求6所述的操作显示系统，其特征在于，所述坐标映射单元包括：

三维坐标计算模块，用于计算操作者手部的镜像点三维3D坐标；基于所确定的操作点坐标D(x,y,z)和操作时肢体相对于摄像头的空间坐标P(x,y,z)，根据摄像头和显示界面的位置关系，将P点转换到和D点相同的坐标系下，得到在同一坐标系下的镜像点坐标P^’(x,y,z)。

8.如权利要求6所述的操作显示系统，其特征在于，所述识别单元，具体包括：

三维坐标检测模块，用于检测比较操作点坐标D和镜像点坐标P^’重合是否重合；

若系统的显示界面为三维3D，操作时手部或肢体动作需要触碰到在三维空间某一位置的操作点，若操作点坐标D和镜像点坐标P^’重合，则判定肢体镜像坐标与操作点坐标对应。

Images