CN104899361B - 一种远程操控方法及装置 - Google Patents

一种远程操控方法及装置 Download PDF

Info

Publication number
CN104899361B
CN104899361B CN201510257853.8A CN201510257853A CN104899361B CN 104899361 B CN104899361 B CN 104899361B CN 201510257853 A CN201510257853 A CN 201510257853A CN 104899361 B CN104899361 B CN 104899361B
Authority
CN
China
Prior art keywords
picture
terminal
value
mrow
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510257853.8A
Other languages
English (en)
Other versions
CN104899361A (zh
Inventor
宋星光
廉士国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201510257853.8A priority Critical patent/CN104899361B/zh
Publication of CN104899361A publication Critical patent/CN104899361A/zh
Priority to EP16163700.4A priority patent/EP3096489B1/en
Priority to US15/094,360 priority patent/US9785266B2/en
Application granted granted Critical
Publication of CN104899361B publication Critical patent/CN104899361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及控制技术领域，尤其涉及一种远程操控方法及装置，用以在能够呈现终端的除屏幕内容之外的信息及演示者演示内容的情况下，实现对终端的远程操控。本发明实施例提供一种远程操控方法包括：获得演示图像，所述演示图像为用于演示终端操作的图像；根据终端的检测参数信息，在所述演示图像中检测演示屏幕画面，所述演示屏幕画面为所述演示图像中所述终端的屏幕画面；根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系；根据用户对演示屏幕画面的操作信息，以及所述映射关系，操控终端。

Description

一种远程操控方法及装置
技术领域
本发明涉及多媒体技术领域，尤其涉及一种远程操控方法及装置。
背景技术
当前，电子设备种类及功能越来越多，给人们生活带来了极大的便利。当设计了终端产品，在不方便将产品直接呈现给参观者的情况下，可以远程演示给参观者。演示者一般需要一边介绍产品的使用，一边让用户操控终端，进行切身体验。
已有的远程操控方式中，控制端需要通过与被控端建立起连接，获得对被控端的控制权限，并在控制端的显示屏幕上显示被控端的显示屏幕内容。这种远程操控方式虽然可以实现远程控制，但却无法满足终端演示的需求。比如，采用这种方式，用户无法在控制端看到终端(也即被控端)的屏幕内容之外的信息(比如终端的外壳)，并且，被控端在将终端控制权交给控制端后，演示者将无法在被控端演示终端使用过程，显然，这种远程操控方式影响了终端的远程演示的效果。
发明内容
本发明实施例提供一种远程操控方法及装置，用以在能够呈现终端的屏幕内容之外的信息及演示者演示内容的情况下，实现对终端的远程操控。
第一方面，提供一种远程操控方法，包括：
获得演示图像，所述演示图像为用于演示终端操作的图像；
根据终端的检测参数信息，在所述演示图像中检测演示屏幕画面，所述演示屏幕画面为所述演示图像中所述终端的屏幕画面；
根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系；
根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端。
结合第一方面，在第一种可能的实现方式中，所述操作信息包括操作动作信息和第一操作位置信息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；
根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端，包括：
根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应在所述终端的显示屏幕上第二像素点集合的信息；
根据所述第二像素点集合的信息和所述操作动作信息，操控所述终端。
结合第一方面，在第二种可能的实现方式中，所述操作信息包括第一操作位置信息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；
根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端，包括：
根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应在所述终端的显示屏幕上第二像素点集合的信息；
在所述终端的显示屏幕上，将轨迹图标移动至所述第二像素点集合的位置处。
结合第一方面，或第一方面的第一或第二种可能的实现方式，在第三种可能的实现方式中，所述演示屏幕画面的参数信息包括以下信息中的至少一项：演示屏幕画面的宽度值、所述演示屏幕画面的高度值以及所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值，所述屏幕参数信息包括所述终端的屏幕分辨率；
根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系，包括：根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，根据以下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
其中，(X，Y)为所述演示屏幕画面上的像素点的坐标值，(Gx，Gy)为与(X，Y)对应的所述显示屏幕上的像素点的坐标值，TrX为所述显示屏幕的宽度值，TrY为所述显示屏幕的高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，(PtX，PtY)为所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐标原点。
结合第一方面，或第一方面的第一或第二种可能的实现方式，在第五种可能的实现方式中，所述终端的屏幕参数信息包括所述终端的放置状态信息、所述终端的屏幕分辨率，所述演示屏幕画面的参数信息包括演示屏幕画面的宽度值、所述演示屏幕画面的高度值、和所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值；
根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系，包括：
根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考像素点在所述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信息，确定所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
结合第一方面的第五种可能的实现方式，在第六种可能的实现方式中，所述放置状态信息包括所述终端的放置状态相对参考状态的倾斜角，其中，所述倾斜角为在所述演示图像上，所述终端的放置状态相对参考状态沿逆时针方向旋转的角度，在所述终端的放置状态为所述参考状态时，所述显示屏幕的顶边所在的方向为水平方向，所述显示屏幕的侧边所在的方向为垂直方向，根据以下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
其中，(X，Y)为所述演示屏幕画面上的像素点的坐标值，(Gx，Gy)为与(X，Y)对应的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，(PtX，PtY)为所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐标原点，θ为基于所述倾斜角的角度值β确定的角度值，，θ为像素点(X，Y)与参考像素点(PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度值。
结合第一方面的第六种可能的实现方式，在第七种可能的实现方式中，基于所述倾斜角的角度值β确定所述第一锐角夹角的角度值θ包括：
当所述倾斜角的角度值β为0时，确定所述第一锐角夹角的角度值θ为α，其中，α为像素点(X，Y)与参考像素点(PtX，PtY)之间的连线与水平方向的第二锐角夹角的角度值；或者
当所述倾斜角的角度值β大于0、且所述倾斜角的角度值β小于π时，确定所述第一锐角夹角的角度值θ为所述倾斜角的角度值β减去角度值α后的差值；或者
当所述倾斜角的角度值β大于或等于π、且所述倾斜角的角度值β小于3π/2时，确定所述第一锐角夹角的角度值θ为所述倾斜角的角度值β与角度值α相加、再减去π后的值；或者
当所述倾斜角的角度值β大于或等于3π/2、且所述倾斜角的角度值β小于2π时，确定所述第一锐角夹角的角度值θ为所述倾斜角的角度值β减去角度值α、再减去π后的值。
结合第一方面，或第一方面的第一至第七种可能的实现方式中的任意一种，在第八种可能的实现方式中，所述根据终端的检测参数信息，在所述演示图像中检测演示屏幕画面，包括：
在所述演示图像中检测所有具有四边形轮廓的物体；
在检测到的所述所有具有四边形轮廓的物体中，查找出具有终端四边形轮廓的所述演示屏幕画面，所述终端四边形轮廓与所述终端的检测参数信息匹配。
结合第一方面的第八种可能的实现方式，在第九种可能的实现方式中，在所述演示图像中检测所有具有四边形轮廓的物体，包括：
在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。
结合第一方面的第九种可能的实现方式，在第十种可能的实现方式中，根据包括以下信息中的至少一种确定所述图像检测范围：所述演示屏幕画面的在所述演示图像中的移动信息、所述演示图像中的演示所述终端操作的演示者手部位置信息、预设的区域范围信息。
第二方面，提供一种远程操控装置，包括：
获取模块，用于获得演示图像，所述演示图像为用于演示终端操作的图像；
检测模块，用于根据终端的检测参数信息，在所述获取模块获取到的所述演示图像中检测演示屏幕画面，所述演示屏幕画面为所述演示图像中所述终端的屏幕画面；
确定模块，用于根据所述检测模块检测出的所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系；
操控模块，用于根据用户对所述演示屏幕画面的操作信息，以及所述确定模块确定的所述映射关系，操控所述终端。
结合第二方面，在第一种可能的实现方式中，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；
所述操控模块具体用于：
根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应在所述终端的显示屏幕上第二像素点集合的信息；根据所述第二像素点集合的信息和所述操作动作信息，操控所述终端。
结合第二方面，在第二种可能的实现方式中，所述操作信息包括第一操作位置信息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；
所述操控模块具体用于：
根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应在所述终端的显示屏幕上第二像素点集合的信息；在所述终端的显示屏幕上，将轨迹图标移动至所述第二像素点集合的位置处。
结合第二方面，或第二方面的第一或第二种可能的实现方式，在第三种可能的实现方式中，所述演示屏幕画面的参数信息包括以下信息中的至少一项：演示屏幕画面的宽度值、所述演示屏幕画面的高度值以及所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值，所述屏幕参数信息包括所述终端的屏幕分辨率；
所述确定模块具体用于：
根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述确定模块具体用于根据以下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
其中，(X，Y)为所述演示屏幕画面上的像素点的坐标值，(Gx，Gy)为与(X，Y)对应的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，(PtX，PtY)为所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐标原点。
结合第二方面，或第二方面的第一或第二种可能的实现方式，在第五种可能的实现方式中，所述终端的屏幕参数信息包括所述终端的放置状态信息、所述终端的屏幕分辨率，所述演示屏幕画面的参数信息包括演示屏幕画面的宽度值、所述演示屏幕画面的高度值、和所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值；
所述确定模块具体用于：
根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考像素点在所述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信息，确定所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
结合第二方面的第五种可能的实现方式，在第六种可能的实现方式中，所述放置状态信息包括所述终端的放置状态相对参考状态的倾斜角，其中，所述倾斜角为在所述演示图像上，所述终端的放置状态相对参考状态沿逆时针方向旋转的角度，在所述终端的放置状态为所述参考状态时参考状态时，所述显示屏幕的顶边所在的方向为水平方向，所述显示屏幕的侧边所在的方向为垂直方向，所述确定模块具体用于根据以下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
其中，(X，Y)为所述演示屏幕画面上的像素点的坐标值，(Gx，Gy)为与(X，Y)对应的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，(PtX，PtY)为所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐标原点。θ为基于所述倾斜角的角度值β确定的角度值，θ为像素点(X，Y)与参考像素点(PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度值。
结合第二方面的第六种可能的实现方式，在第七种可能的实现方式中，所述确定模块具体用于：
当所述倾斜角的角度值β为0时，确定所述第一锐角夹角的角度值θ为α，其中，α为像素点(X，Y)与参考像素点(PtX，PtY)之间的连线与水平方向的第二锐角夹角的角度值；或者
当所述倾斜角的角度值β大于0、且所述倾斜角的角度值β小于π时，确定所述第一锐角夹角的角度值θ为所述倾斜角的角度值β减去角度值α后的差值；或者
当所述倾斜角的角度值β大于或等于π、且所述倾斜角的角度值β小于3π/2时，确定所述第一锐角夹角的角度值θ为所述倾斜角的角度值β与角度值α相加、再减去π后的值；或者
当所述倾斜角的角度值β大于或等于3π/2、且所述倾斜角的角度值β小于2π时，确定所述第一锐角夹角的角度值θ为所述倾斜角的角度值β减去角度值α、再减去π后的值。
结合第二方面，或第二方面的第一至第七种可能的实现方式中的任意一种，在第八种可能的实现方式中，所述检测模块具体用于：
在所述演示图像中检测所有具有四边形轮廓的物体；在检测到的所述所有具有四边形轮廓的物体中，查找出具有终端四边形轮廓的所述演示屏幕画面，所述终端四边形轮廓与所述终端的检测参数信息匹配。
结合第二方面的第八种可能的实现方式，在第九种可能的实现方式中，所述检测模块具体用于：
在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。
结合第二方面的第九种可能的实现方式，在第十种可能的实现方式中，所示检测模块具体用于根据包括以下信息中的至少一种确定所述图像检测范围：所述演示屏幕画面的在所述演示图像中的移动信息、所述演示图像中的演示所述终端操作的演示者手部位置信息、预设的区域范围信息。
第三方面，提供一种远程操控设备，包括：处理器、存储器和总线；所述存储器存储执行指令，当所述远程操控设备运行时，所述处理器与所述存储器之间通过总线通信，使得所述处理器执行如下执行指令：
获得演示图像，所述演示图像为用于演示终端操作的图像；
根据终端的检测参数信息，在所述演示图像中检测演示屏幕画面，所述演示屏幕画面为所述演示图像中所述终端的屏幕画面；
根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系；
根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端。
结合第三方面，在第一种可能的实现方式中，所述操作信息包括操作动作信息和第一操作位置信息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；所述处理器执行的所述执行指令中，根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端，包括：
根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应在所述终端的显示屏幕上第二像素点集合的信息；
根据所述第二像素点集合的信息和所述操作动作信息，操控所述终端。
结合第三方面，在第二种可能的实现方式中，所述操作信息包括第一操作位置信息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；所述处理器执行的所述执行指令中，根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端，包括：
根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应在所述终端的显示屏幕上第二像素点集合的信息；
在所述终端的显示屏幕上，将轨迹图标移动至所述第二像素点集合的位置处。
结合第三方面，或第三方面的第一或第二种可能的实现方式，在第三种可能的实现方式中，所述演示屏幕画面的参数信息包括以下信息中的至少一项：演示屏幕画面的宽度值、所述演示屏幕画面的高度值以及所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值，所述屏幕参数信息包括所述终端的屏幕分辨率；
所述处理器执行的所述执行指令中，根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系，包括：
根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
结合第三方面的第三种可能的实现方式，在第四种可能的实现方式中，所述处理器执行的所述执行指令中，根据以下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
其中，(X，Y)为所述演示屏幕画面上的像素点的坐标值，(Gx，Gy)为与(X，Y)对应的所述显示屏幕上的像素点的坐标值，TrX为所述显示屏幕的宽度值，TrY为所述显示屏幕的高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，(PtX，PtY)为所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐标原点。
结合第三方面，或第三方面的第一或第二种可能的实现方式，在第五种可能的实现方式中，所述终端的屏幕参数信息包括所述终端的放置状态信息、所述终端的屏幕分辨率，所述演示屏幕画面的参数信息包括演示屏幕画面的宽度值、所述演示屏幕画面的高度值、和所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值；所述处理器执行的所述执行指令中，根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系，包括：
根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考像素点在所述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信息，确定所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
结合第三方面的第五种可能的实现方式，在第六种可能的实现方式中，所述放置状态信息包括所述终端的放置状态相对参考状态的倾斜角，其中，所述倾斜角为在所述演示图像上，所述终端的放置状态相对参考状态沿逆时针方向旋转的角度，在所述终端的放置状态为所述参考状态时，所述显示屏幕的顶边所在的方向为水平方向，所述显示屏幕的侧边所在的方向为垂直方向，所述处理器执行的所述执行指令中，根据以下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
其中，(X，Y)为所述演示屏幕画面上的像素点的坐标值，(Gx，Gy)为与(X，Y)对应的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，(PtX，PtY)为所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐标原点。θ为基于所述倾斜角的角度值β确定的角度值，θ为像素点(X，Y)与参考像素点(PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度值。
结合第三方面的第六种可能的实现方式，在第七种可能的实现方式中，所述处理器执行的所述执行指令中，基于所述倾斜角的角度值β确定所述第一锐角夹角的角度值θ，包括：
当所述倾斜角的角度值β为0时，确定所述第一锐角夹角的角度值θ为α，其中，α为像素点(X，Y)与参考像素点(PtX，PtY)之间的连线与水平方向的第二锐角夹角的角度值；或者
当所述倾斜角的角度值β大于0、且所述倾斜角的角度值β小于π时，确定所述第一锐角夹角的角度值θ为所述倾斜角的角度值β减去角度值α后的差值；或者
当所述倾斜角的角度值β大于或等于π、且所述倾斜角的角度值β小于3π/2时，确定所述第一锐角夹角的角度值θ为所述倾斜角的角度值β与角度值α相加、再减去π后的值；或者
当所述倾斜角的角度值β大于或等于3π/2、且所述倾斜角的角度值β小于2π时，确定所述第一锐角夹角的角度值θ为所述倾斜角的角度值β减去角度值α、再减去π后的值。
结合第三方面，或第三方面的第一至第七种可能的实现方式中的任意一种，在第八种可能的实现方式中，所述处理器执行的所述执行指令中，根据终端的检测参数信息，在所述演示图像中检测演示屏幕画面，包括：
在所述演示图像中检测所有具有四边形轮廓的物体；
在检测到的所述所有具有四边形轮廓的物体中，查找出具有终端四边形轮廓的所述演示屏幕画面，所述终端四边形轮廓与所述终端的检测参数信息匹配。
结合第一方面的第八种可能的实现方式，在第九种可能的实现方式中，所述处理器执行的所述执行指令中，在所述演示图像中检测所有具有四边形轮廓的物体，包括：
在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。
结合第三方面的第九种可能的实现方式，在第十种可能的实现方式中，，所述处理器执行的所述执行指令中，根据包括以下信息中的至少一种确定所述图像检测范围：所述演示屏幕画面的在所述演示图像中的移动信息、所述演示图像中的演示所述终端操作的演示者手部位置信息、预设的区域范围信息。
根据上述任一方面提供的方案，采用图像采集设备采集用于演示终端操作的演示图像，呈现给远端的参观者，并在该演示图像中检测终端的演示屏幕画面，建立演示图像中终端的演示屏幕画面上的像素点与终端实际的显示屏幕上的像素点之间的映射关系；根据用户对终端的演示屏幕画面的操作信息，以及所述映射关系，操控所述终端。从而采用本发明实施例，不仅可以在演示图像中呈现终端的屏幕内容之外的信息(如终端外壳形貌)及演示者演示内容，还可以实现对终端的远程操控。
附图说明
图1为本发明实施例一提供的远程操控方法流程图；
图2为本发明实施例二提供的远程操控方法流程图；
图3(a)为对演示图像中的终端屏幕画面进行操作的示意图；
图3(b)为在终端的屏幕上，轨迹球按照激光点移动的位置进行移动，的示意图；
图4(a)为倾斜角β＝0时，计算映射关系的示意图；
图4(b)为0＜β≤π/2时计算映射关系的示意图；
图4(c)为π/2＜β＜π时计算映射关系的示意图；
图4(d)为π≤β＜3π/2时计算映射关系的示意图；
图4(e)为β≥3π/2时计算映射关系的示意图；
图5为本发明实施例三提供的支持远程远程操控的系统架构示意图；
图6为本发明实施例在演示场景下的应用示意图；
图7为本发明实施例在家庭远程视频聊天场景中的应用示意图；
图8为本发明实施例在远程可视手写签名场景中的应用示意图；
图9为本发明实施例四提供的远程操控装置结构示意图；
图10为本发明实施例五提供的远程操控设备结构示意图。
具体实施方式
本发明实施例的基本思想是：采用图像采集设备采集用于演示终端操作的演示图像，呈现给远端的参观者，并在该演示图像中检测终端的演示屏幕画面，建立演示图像中终端的演示屏幕画面上的像素点与终端实际的显示屏幕上的像素点之间的映射关系；根据用户对终端的演示屏幕画面的操作信息，以及所述映射关系，操控所述终端。从而采用本发明实施例，不仅可以在演示图像中呈现终端的屏幕内容之外的信息(如终端外壳形貌)及演示者演示内容，还可以实现对终端的远程操控。
下面结合说明书附图对本发明实施例作进一步详细描述。
实施例一
如图1所示，为本发明实施例一提供的远程操控方法流程图，包括以下步骤：
S101：获得演示图像，所述演示图像为用于演示终端操作的图像。
在具体实施中，可以采用图像采集设备采集演示者演示终端操作时的演示图像。这里的演示者为向其它用户演示终端操作过程的用户。
本发明实施例的终端可以是移动终端，或具有触摸屏的终端。
S102：根据终端的检测参数信息，在所述演示图像中检测演示屏幕画面，所述演示屏幕画面为所述演示图像中所述终端的屏幕画面。
在具体实施中，本发明实施例的执行主体可以为独立于终端之外的控制设备，比如可以为独立的个人电脑(Personal Computer，PC)等，也可以是安装在终端之上的功能模块，本发明实施例中并不限定。
在具体实施过程中，可以根据终端的检测参数信息，比如终端的宽高比(宽度与高度的比值，这里，终端的宽度值可以认为是终端的显示屏幕的顶边的长度值，高度值可以认为是终端的显示屏幕的侧边的长度值)、屏幕分辨率(这里，屏幕分辨率可以包括终端的显示屏幕在顶边所在的方向上的分辨率(对应宽度值)，及在侧边所在的方向上的分辨率(对应高度值))、放置状态信息(比如横屏、竖屏、放置倾斜角等)等中的一种或多种，在演示图像中检测匹配该终端的检测参数信息的演示屏幕画面(即演示图像中终端的屏幕画面)。这里，图像采集设备采集到的演示图像中，可能包含演示者的图像、终端的图像(包含终端的演示屏幕画面)、以及其它的背景图像，本发明实施例需要从中检测出与用户操作相关的演示屏幕画面，为下述步骤S103作铺垫。
S103：根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系。
这里，所述演示屏幕画面的参数信息可以包括以下信息中的至少一项：演示屏幕画面的宽度值、演示屏幕画面的高度值以及所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值；终端的屏幕参数信息可以包括以下信息中的至少一项：所述终端的屏幕分辨率、所述终端的放置状态信息、所述终端的宽度值和高度值。
在S102检测到演示图像中的终端的演示屏幕画面后，可以建立该演示屏幕画面上的像素点在演示图像中的坐标值与终端实际的显示屏幕上的像素点在该终端的显示屏幕上的坐标值之间的映射关系，以便基于该映射关系，将用户在演示图像中的演示屏幕画面上的操作位置转换为在终端的实际的显示屏幕上的操作位置。
S104：根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端。
这里的用户为对演示图像中的演示屏幕画面进行操作的用户，为与演示者对应的参观者。
这里的操作信息可以包括操作动作信息和第一操作位置信息，该第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；
S104中，根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端，可以包括：根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应在所述终端的显示屏幕上第二像素点集合的信息；根据所述第二像素点集合的信息和所述操作动作信息，操控所述终端。或者，可以只根据第一像素点集合的信息执行漫游操作，也即，根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应在所述终端的显示屏幕上第二像素点集合的信息；根据所述第二像素点集合的信息，将所述终端的显示屏幕上的轨迹图标进行移动。详见下述实施例的描述。
下面通过实施例二，对本发明实施例的思想作进一步详细说明。
实施例二
如图2所示，为本发明实施例二提供的远程操控方法流程图，包括以下步骤：
S201：在获取的演示图像中检测所有具有四边形轮廓的物体；在检测到的所有具有四边形轮廓的物体中，查找出具有终端四边形轮廓的演示屏幕画面，所述终端四边形轮廓与所述终端的检测参数信息匹配。
本发明实施例中所述四边形轮廓可以是四个角具有一定弧度的四边形的轮廓。
这里，终端的检测参数信息可以包括终端的宽高比、屏幕分辨率、放置状态信息中的一种或多种。其中，若检测参数信息中包括终端的屏幕分辨率，不包括宽高比，则通过屏幕分辨率可以计算得到终端的宽高比，比如屏幕分辨率对应的在显示屏幕的顶边所在的方向上的像素个数为600(即为宽度值)，在显示屏幕的侧边所在的方向上的像素个数为800(即为高度值)，则终端的宽高比为3:4。在具体实施中，可以设置终端的默认放置状态，比如默认放置状态为：终端的显示屏幕的顶边所在的方向为水平方向，终端的显示屏幕的侧边所在的方向为垂直方向，这种情况下就要求演示者(演示终端操作的用户)在演示终端时将终端置于默认的放置状态下。若不设置终端的默认放置状态，则可以通过放置状态信息来指示终端当前的放置角度，也即终端的放置状态相对参考状态的倾斜角，参考状态可以就是所述默认放置状态。
在具体实施中，若本发明实施例的执行主体为独立于终端之外的实体，则需要获取终端传输的参数信息，具体地，终端可以通过无线传输将参数信息传输给本发明实施例的执行主体。
可选地，在演示图像中检测所有具有四边形轮廓的物体，包括：
在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。
在具体实施中，可以遍历演示图像中的各个像素点来检测所有具有四边形轮廓的物体，但由于屏幕轮廓检测耗时比较大，在具体实施中，可以首先确定图像检测范围，在确定的图像检测范围内检测具有四边形轮廓的物体。
可选地，可以根据以下信息中至少一种确定图像检测范围：
所述演示屏幕画面的在所述演示图像中的移动信息、所述演示图像中的演示所述终端操作的演示者手部位置信息、预设的区域范围信息。
在具体实施中，演示者在演示终端操作时，一般会移动终端，而演示图像中的背景画面通常不会发生变化，因此，可以基于演示图像中的演示屏幕画面变动信息，确定一个图像检测范围，使得确定的图像检测范围内包含变动的画面；除此之外，考虑应用场景的特点，终端一般会在手部附近，因此可以通过检测演示图像中演示者手部位置来确定图像检测范围，手部位置检测可采用已有的比如基于Kinect的手势识别算法等。除此之外，还可以根据演示者身高、演示屏幕大小、对演示者所处位置的限定等来预先设置一个区域范围作为图像检测范围。在具体实施中，可以基于上述三种信息的综合分析来确定图像检测范围，比如，将分别基于每一种信息得到的图像检测范围的交集或合集作为最终确定的图像检测范围。
在确定图像检测范围后，可以根据终端的屏幕分辨率(对应终端的宽高比)、放置状态信息(比如横屏、竖屏、放置倾斜角等)、终端的演示屏幕画面的面积(可以基于终端的屏幕分辨率和演示图像对应的拍摄时的缩放比例来确定该面积)等，在演示图像中检测匹配该终端的检测参数信息的演示屏幕画面。
S202：根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系。
这里，可以根据检测到的演示图像中终端的演示屏幕画面和所述终端的屏幕参数信息，确定演示屏幕画面上的像素点所对应的终端的显示屏幕上的像素点，基于该映射关系执行相关操作指令。在S203之后将介绍两种具体的映射方式。
S203：根据用户对演示图像中终端的演示屏幕画面的第一操作位置信息(所述演示屏幕画面上的被操作的第一像素点集合的信息)，以及所述映射关系，确定所述第一操作位置信息所对应的终端的显示屏幕上的第二操作位置信息(所述终端的显示屏幕上第二像素点集合的信息)；根据所述第二操作位置信息和所述操作动作信息，操控所述终端。
可选地，获得所述第一像素点集合对应在所述终端的显示屏幕上第二像素点集合的信息后，还可以在所述终端的显示屏幕上，将轨迹图标移动至所述第二像素点集合的位置处。
在具体实施中，操作动作信息所指示的操作动作可以是点击操作、滑动操作等。除此之外，还可以基于第二操作位置信息在显示屏幕上显示参观者(基于演示图像中终端的演示屏幕画面进行操作的用户)的漫游操作；这里的漫游操作是指操作指示图标在演示屏幕画面上移动的操作，比如，参观者采用激光笔，用激光点指向演示屏幕画面并移动位置。针对漫游操作，为了使演示者看到参观者的漫游操作轨迹，可以在终端的显示屏幕上设置轨迹图标，使该轨迹图标按照漫游操作的操作位置进行移动。如图3(a)所示，参观者用激光笔打出激光点指向演示图像中终端的演示屏幕画面并进行移动，这时，在终端的显示屏幕上轨迹图标(可以为轨迹球)按照激光点移动的位置进行移动，如图3(b)所示。
下面，对S202中确定映射关系的方式作进一步说明。
在S202中，根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系。本发明实施例中提供以下两种方式确定所述映射关系：
方式一：终端的放置状态为默认状态：比如，终端的显示屏幕的顶边(如图4(a)所示)所在的方向为水平方向，终端的显示屏幕的侧边所在的方向为垂直方向；所述屏幕参数信息包括所述终端的屏幕分辨率；所述演示屏幕画面的参数信息包括：演示屏幕画面的宽度值、所述演示屏幕画面的高度值、和所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值；
具体地，根据所述演示屏幕画面的宽度值(可以采用像素点个数来表示)、所述演示屏幕画面的高度值(可以采用像素点个数来表示)、所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定演示图像中终端的演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系。
例如，如图4(a)所示，可以根据以下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
其中，(X，Y)为所述演示屏幕画面上的像素点的坐标值，(Gx，Gy)为所述显示屏幕上的像素点的坐标值，TrX为终端在所述显示屏幕的顶边所在方向上的分辨率，即为显示屏幕的宽度值，TrY为终端在所述显示屏幕的侧边所在方向上的分辨率，即为显示屏幕的高度值；CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值；(PtX，PtY)为所述参考像素点在所述演示图像中的坐标值；所述参考像素点对应于所述显示屏幕上的坐标原点。
在图4(a)中，演示图像中的坐标原点为演示图像左上角的像素点；在演示图像中，横坐标轴方向为水平向右的方向，纵坐标轴方向为垂直向下的方向。终端的显示屏幕上的坐标原点为终端在默认放置状态(显示屏幕的顶边所在的方向为水平方向、显示屏幕的侧边所在的方向为垂直方向，比如处于竖屏状态下)下时终端显示屏幕左上角的像素点，在终端的显示屏幕中，横坐标轴方向即为处于默认放置状态时的水平向右的方向，纵坐标轴方向即为处于默认放置状态时的垂直向下的方向。
这里需要说明的是，上述公式仅是方式一的实例之一，任何基于方式一的思想、通过上述公式的简单变形得到的实例均在本发明保护范围内。
方式二，终端的放置状态相对参考状态(比如上述默认状态)能够具有一定的倾斜角；所述屏幕参数信息包括所述终端的屏幕分辨率和放置状态信息；所述演示屏幕画面的参数信息包括演示屏幕画面的宽度值、所述演示屏幕画面的高度值、和所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值；
具体地，根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考像素点在所述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信息，确定所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
在具体实施中，所述放置状态信息可以包括所述终端的放置状态相对参考状态的倾斜角，其中，所述倾斜角为在所述演示图像上，所述终端的放置状态相对参考状态沿逆时针方向旋转的角度，在所述终端的放置状态为所述参考状态时，所述显示屏幕的顶边所在的方向为水平方向，所述显示屏幕的侧边所在的方向为垂直方向；可以根据以下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
其中，(X，Y)为所述演示屏幕画面上的像素点的坐标值，(Gx，Gy)为与(X，Y)对应的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，(PtX，PtY)为所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐标原点。θ为基于所述倾斜角的角度值β确定的角度值，θ为像素点(X，Y)与参考像素点(PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度值(也可以是像素点(X，Y)与参考像素点(PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的钝角夹角的角度值，此时上述公式中sinθ、cosθ取绝对值)。
在具体实施中，基于倾斜角的角度值β的不同，θ的具体计算方式也不同。以参考状态为上述方式一中所述默认放置状态为例：
如图4(a)所示，β＝0，此时：θ＝α；
如图4(b)所示，0＜β≤π/2，此时：θ＝β-α；
如图4(c)所示，π/2＜β＜π，此时：θ＝β-α；
如图4(d)所示，π≤β＜3π/2，此时：θ＝α+β-π；
如图4(e)所示，β≥3π/2，此时：θ＝β-α-π；
其中，或，
在图4(a)～(e)中，演示图像中的坐标原点为演示图像左上角的像素点；在演示图像中，横坐标轴方向为水平向右的方向，纵坐标轴方向为垂直向下的方向。终端的显示屏幕上的坐标原点为终端在默认放置状态(显示屏幕的顶边所在的方向为水平方向、显示屏幕的侧边所在的方向为垂直方向，比如处于竖屏状态下)下时终端显示屏幕左上角的像素点，在终端的显示屏幕中，横坐标轴方向即为处于默认放置状态时的水平向右的方向，纵坐标轴方向即为处于默认放置状态时的垂直向下的方向。
为了更好地说明本发明实施例支持远程操控的思想，下面从系统的角度作下介绍。
实施例三
如图5所示，为本发明实施例三提供的支持远程操控的系统架构示意图。在该系统中，上述方法步骤的执行主体为独立于终端之外的设备，比如为个人电脑(PersonalComputer，PC)，终端可以通过无线套接字(Socket)将参数信息传输给PC。
在该系统中，实现本发明实施例功能的主要模块包括：
终端算法模块51，部署在终端，用于将终端参数信息(如屏幕分辨率、放置状态信息等)传输给映射模块53，并响应映射模块53传输的操控指令(如响应参观者的点击、滑动、漫游操作等)；
终端屏幕检测模块52，部署在PC端，用于在图像检测范围计算模块55确定的图像检测范围内检测四边形轮廓，在检测到的所有四边形轮廓中，查找匹配映射模块53传输的终端参数信息的四边形轮廓，并将查找到的四边形轮廓内的画面作为所述终端的演示屏幕画面；
映射模块53，部署在PC端，用于接收终端算法模块51传输的终端参数信息，并将其传输给终端屏幕检测模块52；并，根据终端参数信息和终端屏幕检测模块52检测到的终端的演示屏幕画面，生成演示图像中终端的演示屏幕画面上的像素点与终端的显示屏幕上的像素点之间的映射关系；根据生成的映射关系，将操控信息检测模块54传输的操作信息转换成针对终端的操控指令，并传输给终端算法模块51；
操控信息检测模块54，部署在PC端，用于检测用户的操控信息(如参观者手持激光笔的漫游或点击操作等)，并将操控信息发送至映射模块53；
图像检测范围计算模块55，部署在PC端，根据检测的演示者手部位置信息，确定图像检测范围，并传输给终端屏幕检测模块52。
关于本发明实施例应用场景的说明：
本发明实施例不仅可以应用于终端产品演示的场景，在其它需要远程操控的场景下同样适用，比如还可以适用于类似亲情关怀的辅助操控场景、远程可视手写签名场景等。
场景一：终端产品演示。
如图6所示，演示者拿起终端，将终端显示屏幕朝向图像采集设备，PC机中网络传输模块将图像采集设备采集的演示图像传输给远端，并通过远端的显示屏幕呈现给远端的参观者。参观者可以通过显示屏幕清晰的看到终端的演示屏幕画面，并可以使用交互工具远程对该演示屏幕画面执行操作；交互设备检测参观者的操作信息，并传输给演示端的PC机；PC机结合远端操作信息和确定的演示图像中终端的演示屏幕画面的像素点与终端的显示屏幕上的像素点之间的映射关系，生成针对终端的操控指令，并传输给终端；终端响应接收到的操控指令，演示者可以通过终端的显示屏幕的反馈看到本地参观者的操作。
场景二：协助操作。
如图7所示，在家庭远程视频聊天场景中，A端成员可以通过视频聊天窗口看到B端成员手持的终端，该终端与B端成员用于视频聊天的PC机通过有线或无线连接。A端成员可以通过鼠标控制B端成员手持的终端，实现方式与上述实施例介绍的方式一致：在A端用于视频聊天的PC机接收的演示图像中检测终端，并生成所述映射关系，基于该映射关系，将检测到的A端成员的操作信息生成针对终端的操作指令，发送至B端的终端，B端的终端响应该操作指令。
场景三：远程可视手写签名。
随着数字手写签名变得越来越广泛，本地进行数字手写签名的方式已越来越无法满足签名需求，比如，如果仅是将本地签名文件传输至远端，则无论是在安全性上还是在用户体验上都有所欠缺，采用本发明实施例可以实现远程可视手写签名。
如图8所示，在本地终端屏幕上，签名者(对应上述场景一的参观者)可以看到远端终端显示屏幕上的待签名文档，签名者可持签名工具(如签字笔)在待签名文档的签名位置上签名，并将操作信息(如签名轨迹信息)传输至远端。在远端，根据生成的映射关系，将签名者的操作信息映射为针对终端的操控指令，也即控制终端显示屏幕上显示签名者的签名轨迹。
除签名轨迹外，还可以采用终端摄像头采集签名者脸部等视觉生物特征，用终端麦克风采集签名者声音数据，结合多种特征生成对特定的目标文件的多模态签名。在签名认证时，同样可以通过采集用户的脸部、声音以及签名轨迹等数据进行认证；这种多模态签名方式可以提高签名认证的安全性。
基于同一发明构思，本发明实施例中还提供了一种与远程操控方法对应的远程操控装置，由于该装置解决问题的原理与本发明实施例远程操控方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
实施例四
如图9所示，为本发明实施例四提供的远程操控装置结构示意图，包括：
获取模块91，用于获得演示图像，所述演示图像为用于演示终端操作的图像；
检测模块92，用于根据终端的检测参数信息，在所述获取模块91获取到的所述演示图像中检测演示屏幕画面，所述演示屏幕画面为所述演示图像中所述终端的屏幕画面；
确定模块93，用于根据所述检测模块92检测出的所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系；
操控模块94，用于根据用户对所述演示屏幕画面的操作信息，以及所述确定模块93确定的所述映射关系，操控所述终端。
可选地，所述操作信息包括操作动作信息和第一操作位置信息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；
所述操控模块94具体用于：
根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应在所述终端的显示屏幕上第二像素点集合的信息；根据所述第二像素点集合的信息和所述操作动作信息，操控所述终端。
可选地，所述操作信息包括第一操作位置信息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；
所述操控模块94具体用于：
根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应在所述终端的显示屏幕上第二像素点集合的信息；在所述终端的显示屏幕上，将轨迹图标移动至所述第二像素点集合的位置处。
可选地，所述演示屏幕画面的参数信息包括以下信息中的至少一项：演示屏幕画面的宽度值、所述演示屏幕画面的高度值以及所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值，所述屏幕参数信息包括所述终端的屏幕分辨率；
所述确定模块93具体用于：
根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
可选地，所述确定模块93具体用于根据以下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
其中，(X，Y)为所述演示屏幕画面上的像素点的坐标值，(Gx，Gy)为与(X，Y)对应的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，(PtX，PtY)为所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐标原点。
可选地，所述终端的屏幕参数信息包括所述终端的放置状态信息、所述终端的屏幕分辨率，所述演示屏幕画面的参数信息包括演示屏幕画面的宽度值、所述演示屏幕画面的高度值、和所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值；
所述确定模块93具体用于：
根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考像素点在所述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信息，确定所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系；
可选地，所述放置状态信息包括所述终端的放置状态相对参考状态的倾斜角，其中，所述倾斜角为在所述演示图像上，所述终端的放置状态相对参考状态沿逆时针方向旋转的角度，在所述终端的放置状态为所述参考状态时，所述显示屏幕的顶边所在的方向为水平方向，所述显示屏幕的侧边所在的方向为垂直方向，所述确定模块93具体用于根据以下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
其中，(X，Y)为所述演示屏幕画面上的像素点的坐标值，(Gx，Gy)为与(X，Y)对应的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，(PtX，PtY)为所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐标原点。θ为基于所述倾斜角的角度值β确定的角度值，θ为像素点(X，Y)与参考像素点(PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度值。
可选地，所述确定模块93具体用于：
当所述倾斜角的角度值β为0时，确定所述第一锐角夹角的角度值θ为α，其中，α为像素点(X，Y)与参考像素点(PtX，PtY)之间的连线与水平方向的第二锐角夹角的角度值；或者
当所述倾斜角的角度值β大于0、且所述倾斜角的角度值β小于π时，确定所述第一锐角夹角的角度值θ为所述倾斜角的角度值β减去角度值α后的差值；或者
当所述倾斜角的角度值β大于或等于π、且所述倾斜角的角度值β小于3π/2时，确定所述第一锐角夹角的角度值θ为所述倾斜角的角度值β与角度值α相加、再减去π后的值；或者
当所述倾斜角的角度值β大于或等于3π/2、且所述倾斜角的角度值β小于2π时，确定所述第一锐角夹角的角度值θ为所述倾斜角的角度值β减去角度值α、再减去π后的值。
可选地，所述终端的检测参数信息包括以下信息中的至少一种：所述终端的宽高比、所述终端的屏幕分辨率、所述终端的放置状态信息。
可选地，所述终端的映射参数信息包括以下信息中的至少一种：所述终端的屏幕分辨率、所述终端的放置状态信息、所述终端的宽度值和高度值。
可选地，所述检测模块92具体用于：
在所述演示图像中检测所有具有四边形轮廓的物体；在检测到的所述所有具有四边形轮廓的物体中，查找出具有终端四边形轮廓的所述演示屏幕画面，所述终端四边形轮廓与所述终端的检测参数信息匹配。
可选地，所述检测模块92具体用于：
在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。
可选地，所述检测模块92具体用于根据包括以下信息中的至少一种确定所述图像检测范围：所述演示屏幕画面的在所述演示图像中的移动信息、所述演示图像中的演示所述终端操作的演示者手部位置信息、预设的区域范围信息。
实施例五
如图10所示，为本发明实施例五提供的远程操控设备100结构示意图，包括：处理器101、存储器102和总线103；所述存储器102存储执行指令，当所述远程操控设备100运行时，所述处理器101与所述存储器102之间通过总线103通信，使得所述处理器101执行如下执行指令：
获得演示图像，所述演示图像为用于演示终端操作的图像；
根据终端的检测参数信息，在所述演示图像中检测演示屏幕画面，所述演示屏幕画面为所述演示图像中所述终端的屏幕画面；
根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系；
根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端。
可选地，所述操作信息包括操作动作信息和第一操作位置信息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；所述处理器101执行的所述执行指令中，根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端，包括：
根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应在所述终端的显示屏幕上第二像素点集合的信息；
根据所述第二像素点集合的信息和所述操作动作信息，操控所述终端。
可选地，所述操作信息包括第一操作位置信息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；
所述处理器101执行的所述执行指令中，根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端，包括：
根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应在所述终端的显示屏幕上第二像素点集合的信息；
在所述终端的显示屏幕上，将轨迹图标移动至所述第二像素点集合的位置处。
可选地，所述演示屏幕画面的参数信息包括以下信息中的至少一项：演示屏幕画面的宽度值、所述演示屏幕画面的高度值以及所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值，所述屏幕参数信息包括所述终端的屏幕分辨率；
所述处理器101执行的所述执行指令中，根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系，包括：
根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
可选地，所述处理器101执行的所述执行指令中，根据以下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
其中，(X，Y)为所述演示屏幕画面上的像素点的坐标值，(Gx，Gy)为与(X，Y)对应的所述显示屏幕上的像素点的坐标值，TrX为所述显示屏幕的宽度值，TrY为所述显示屏幕的高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，(PtX，PtY)为所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐标原点。
可选地，所述终端的屏幕参数信息包括所述终端的放置状态信息、所述终端的屏幕分辨率，所述演示屏幕画面的参数信息包括演示屏幕画面的宽度值、所述演示屏幕画面的高度值、和所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值；所述处理器101执行的所述执行指令中，根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系，包括：
根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考像素点在所述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信息，确定所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
可选地，所述放置状态信息包括所述终端的放置状态相对参考状态的倾斜角，其中，所述倾斜角为在所述演示图像上，所述终端的放置状态相对参考状态沿逆时针方向旋转的角度，在所述终端的放置状态为所述参考状态时，所述显示屏幕的顶边所在的方向为水平方向，所述显示屏幕的侧边所在的方向为垂直方向，所述处理器101执行的所述执行指令中，根据以下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
其中，(X，Y)为所述演示屏幕画面上的像素点的坐标值，(Gx，Gy)为与(X，Y)对应的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，(PtX，PtY)为所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐标原点。θ为基于所述倾斜角的角度值β确定的角度值，θ为像素点(X，Y)与参考像素点(PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度值。
可选地，所述处理器101执行的所述执行指令中，基于所述倾斜角的角度值β确定所述第一锐角夹角的角度值θ包括：
当所述倾斜角的角度值β为0时，确定所述第一锐角夹角的角度值θ为α，其中，α为像素点(X，Y)与参考像素点(PtX，PtY)之间的连线与水平方向的第二锐角夹角的角度值；或者
当所述倾斜角的角度值β大于0、且所述倾斜角的角度值β小于π时，确定所述第一锐角夹角的角度值θ为所述倾斜角的角度值β减去角度值α后的差值；或者
当所述倾斜角的角度值β大于或等于π、且所述倾斜角的角度值β小于3π/2时，确定所述第一锐角夹角的角度值θ为所述倾斜角的角度值β与角度值α相加、再减去π后的值；或者
当所述倾斜角的角度值β大于或等于3π/2、且所述倾斜角的角度值β小于2π时，确定所述第一锐角夹角的角度值θ为所述倾斜角的角度值β减去角度值α、再减去π后的值。
可选地，所述终端的检测参数信息包括以下信息中的至少一种：所述终端的宽高比、所述终端的屏幕分辨率、所述终端的放置状态信息。
可选地，所述终端的映射参数信息包括以下信息中的至少一种：所述终端的屏幕分辨率、所述终端的放置状态信息、所述终端的宽度值和高度值。
可选地，所述处理器101执行的所述执行指令中，根据终端的检测参数信息，在所述演示图像中检测演示屏幕画面，包括：
在所述演示图像中检测所有具有四边形轮廓的物体；
在检测到的所述所有具有四边形轮廓的物体中，查找出具有终端四边形轮廓的所述演示屏幕画面，所述终端四边形轮廓与所述终端的检测参数信息匹配。
可选地，所述处理器101执行的所述执行指令中，在所述演示图像中检测所有具有四边形轮廓的物体，包括：
在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。
可选地，所述处理器101执行的所述执行指令中，根据包括以下信息中的至少一种确定所述图像检测范围：所述演示屏幕画面的在所述演示图像中的移动信息、所述演示图像中的演示所述终端操作的演示者手部位置信息、预设的区域范围信息。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (20)

1.一种远程操控方法，其特征在于，所述方法包括：
获得演示图像，所述演示图像为用于演示终端操作的图像；
根据终端的检测参数信息，在所述演示图像中检测演示屏幕画面，所述演示屏幕画面为所述演示图像中所述终端的屏幕画面，包括，在所述演示图像中检测所有具有四边形轮廓的物体，在检测到的所述所有具有四边形轮廓的物体中，查找出具有终端四边形轮廓的所述演示屏幕画面，所述终端四边形轮廓与所述终端的检测参数信息匹配；
根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系；
根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端。
2.如权利要求1所述的方法，其特征在于，所述操作信息包括操作动作信息和第一操作位置信息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；
根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端，包括：
根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应在所述终端的显示屏幕上第二像素点集合的信息；
根据所述第二像素点集合的信息和所述操作动作信息，操控所述终端。
3.如权利要求1所述的方法，其特征在于，所述操作信息包括第一操作位置信息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；
根据用户对所述演示屏幕画面的操作信息，以及所述映射关系，操控所述终端，包括：
根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应在所述终端的显示屏幕上第二像素点集合的信息；
在所述终端的显示屏幕上，将轨迹图标移动至所述第二像素点集合的位置处。
4.如权利要求1至3任一项所述的方法，其特征在于，所述演示屏幕画面的参数信息包括以下信息中的至少一项：演示屏幕画面的宽度值、所述演示屏幕画面的高度值以及所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值，所述屏幕参数信息包括所述终端的屏幕分辨率；
根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系，包括：
根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
5.如权利要求4所述的方法，其特征在于，根据以下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
<mrow> <mi>G</mi> <mi>x</mi> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <mi>X</mi> <mo>-</mo> <mi>P</mi> <mi>t</mi> <mi>X</mi> <mo>)</mo> <mi>C</mi> <mi>W</mi> </mrow> <mrow> <mi>T</mi> <mi>r</mi> <mi>X</mi> </mrow> </mfrac> <mo>;</mo> </mrow>
<mrow> <mi>G</mi> <mi>y</mi> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <mi>Y</mi> <mo>-</mo> <mi>P</mi> <mi>t</mi> <mi>Y</mi> <mo>)</mo> <mi>C</mi> <mi>H</mi> </mrow> <mrow> <mi>T</mi> <mi>r</mi> <mi>Y</mi> </mrow> </mfrac> <mo>;</mo> </mrow>
其中，(X，Y)为所述演示屏幕画面上的像素点的坐标值，(Gx，Gy)为与(X，Y)对应的所述显示屏幕上的像素点的坐标值，TrX为所述显示屏幕的宽度值，TrY为所述显示屏幕的高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，(PtX，PtY)为所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐标原点。
6.如权利要求1至3任一项所述的方法，其特征在于，所述终端的屏幕参数信息包括所述终端的放置状态信息、所述终端的屏幕分辨率，所述演示屏幕画面的参数信息包括演示屏幕画面的宽度值、所述演示屏幕画面的高度值、和所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值；
根据所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系，包括：
根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考像素点在所述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信息，确定所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
7.如权利要求6所述的方法，其特征在于，所述放置状态信息包括所述终端的放置状态相对参考状态的倾斜角，其中，所述倾斜角为在所述演示图像上，所述终端的放置状态相对参考状态沿逆时针方向旋转的角度；在所述终端的放置状态为所述参考状态时，所述显示屏幕的顶边所在的方向为水平方向，所述显示屏幕的侧边所在的方向为垂直方向；根据以下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
<mrow> <mi>G</mi> <mi>x</mi> <mo>=</mo> <mfrac> <mrow> <mi>C</mi> <mi>W</mi> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <mi>X</mi> <mo>-</mo> <mi>P</mi> <mi>t</mi> <mi>X</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <msup> <mrow> <mo>(</mo> <mi>Y</mi> <mo>-</mo> <mi>P</mi> <mi>t</mi> <mi>Y</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;theta;</mi> </mrow> <mrow> <mi>T</mi> <mi>r</mi> <mi>X</mi> </mrow> </mfrac> <mo>;</mo> </mrow>
<mrow> <mi>G</mi> <mi>y</mi> <mo>=</mo> <mfrac> <mrow> <mi>C</mi> <mi>H</mi> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <mi>X</mi> <mo>-</mo> <mi>P</mi> <mi>t</mi> <mi>X</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <msup> <mrow> <mo>(</mo> <mi>Y</mi> <mo>-</mo> <mi>P</mi> <mi>t</mi> <mi>Y</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&amp;theta;</mi> </mrow> <mrow> <mi>T</mi> <mi>r</mi> <mi>Y</mi> </mrow> </mfrac> <mo>;</mo> </mrow>
其中，(X，Y)为所述演示屏幕画面上的像素点的坐标值，(Gx，Gy)为与(X，Y)对应的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，(PtX，PtY)为所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐标原点，θ为基于所述倾斜角的角度值β确定的角度值，θ为像素点(X，Y)与参考像素点(PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度值。
8.如权利要求7所述的方法，其特征在于，基于所述倾斜角的角度值β确定所述第一锐角夹角的角度值θ，包括：
当所述倾斜角的角度值β为0时，确定所述第一锐角夹角的角度值θ为α，其中，α为像素点(X，Y)与参考像素点(PtX，PtY)之间的连线与水平方向的第二锐角夹角的角度值；或者
当所述倾斜角的角度值β大于0、且所述倾斜角的角度值β小于π时，确定所述第一锐角夹角的角度值θ为所述倾斜角的角度值β减去角度值α后的差值；或者
当所述倾斜角的角度值β大于或等于π、且所述倾斜角的角度值β小于3π/2时，确定所述第一锐角夹角的角度值θ为所述倾斜角的角度值β与角度值α相加、再减去π后的值；或者
当所述倾斜角的角度值β大于或等于3π/2、且所述倾斜角的角度值β小于2π时，确定所述第一锐角夹角的角度值θ为所述倾斜角的角度值β减去角度值α、再减去π后的值。
9.如权利要求1所述的方法，其特征在于，在所述演示图像中检测所有具有四边形轮廓的物体，包括：
在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。
10.如权利要求9所述的方法，其特征在于，根据包括以下信息中的至少一种确定所述图像检测范围：所述演示屏幕画面的在所述演示图像中的移动信息、所述演示图像中的演示所述终端操作的演示者手部位置信息、预设的区域范围信息。
11.一种远程操控装置，其特征在于，该装置包括：
获取模块，用于获得演示图像，所述演示图像为用于演示终端操作的图像；
检测模块，用于根据终端的检测参数信息，在所述获取模块获取到的所述演示图像中检测演示屏幕画面，所述演示屏幕画面为所述演示图像中所述终端的屏幕画面，包括，在所述演示图像中检测所有具有四边形轮廓的物体，在检测到的所述所有具有四边形轮廓的物体中，查找出具有终端四边形轮廓的所述演示屏幕画面，所述终端四边形轮廓与所述终端的检测参数信息匹配；
确定模块，用于根据所述检测模块检测出的所述演示屏幕画面的参数信息和所述终端的屏幕参数信息，确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系；
操控模块，用于根据用户对所述演示屏幕画面的操作信息，以及所述确定模块确定的所述映射关系，操控所述终端。
12.如权利要求11所述的装置，其特征在于，所述操作信息包括操作动作信息和第一操作位置信息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；
所述操控模块具体用于：
根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应在所述终端的显示屏幕上第二像素点集合的信息；根据所述第二像素点集合的信息和所述操作动作信息，操控所述终端。
13.如权利要求11所述的装置，其特征在于，所述操作信息包括第一操作位置信息，所述第一操作位置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息；
所述操控模块具体用于：
根据所述第一像素点集合的信息，以及所述映射关系，获得所述第一像素点集合对应在所述终端的显示屏幕上第二像素点集合的信息；在所述终端的显示屏幕上，将轨迹图标移动至所述第二像素点集合的位置处。
14.如权利要求11至13任一项所述的装置，其特征在于，所述演示屏幕画面的参数信息包括以下信息中的至少一项：演示屏幕画面的宽度值、所述演示屏幕画面的高度值以及所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值，所述屏幕参数信息包括所述终端的屏幕分辨率；
所述确定模块具体用于：
根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值、以及所述终端的屏幕分辨率，确定所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
15.如权利要求14所述的装置，其特征在于，所述确定模块具体用于根据以下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
<mrow> <mi>G</mi> <mi>x</mi> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <mi>X</mi> <mo>-</mo> <mi>P</mi> <mi>t</mi> <mi>X</mi> <mo>)</mo> <mi>C</mi> <mi>W</mi> </mrow> <mrow> <mi>T</mi> <mi>r</mi> <mi>X</mi> </mrow> </mfrac> <mo>;</mo> </mrow>
<mrow> <mi>G</mi> <mi>y</mi> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <mi>Y</mi> <mo>-</mo> <mi>P</mi> <mi>t</mi> <mi>Y</mi> <mo>)</mo> <mi>C</mi> <mi>H</mi> </mrow> <mrow> <mi>T</mi> <mi>r</mi> <mi>Y</mi> </mrow> </mfrac> <mo>;</mo> </mrow>
其中，(X，Y)为所述演示屏幕画面上的像素点的坐标值，(Gx，Gy)为与(X，Y)对应的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，(PtX，PtY)为所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐标原点。
16.如权利要求11至13任一项所述的装置，其特征在于，所述终端的屏幕参数信息包括所述终端的放置状态信息、所述终端的屏幕分辨率，所述演示屏幕画面的参数信息包括演示屏幕画面的宽度值、所述演示屏幕画面的高度值、和所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值；
所述确定模块具体用于：
根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考像素点在所述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信息，确定所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
17.如权利要求16所述的装置，其特征在于，所述放置状态信息包括所述终端的放置状态相对参考状态的倾斜角，其中，所述倾斜角为在所述演示图像上，所述终端的放置状态相对参考状态沿逆时针方向旋转的角度；在所述终端的放置状态为所述参考状态时，所述显示屏幕的顶边所在的方向为水平方向，所述显示屏幕的侧边所在的方向为垂直方向；所述确定模块具体用于根据以下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系：
<mrow> <mi>G</mi> <mi>x</mi> <mo>=</mo> <mfrac> <mrow> <mi>C</mi> <mi>W</mi> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <mi>X</mi> <mo>-</mo> <mi>P</mi> <mi>t</mi> <mi>X</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <msup> <mrow> <mo>(</mo> <mi>Y</mi> <mo>-</mo> <mi>P</mi> <mi>t</mi> <mi>Y</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;theta;</mi> </mrow> <mrow> <mi>T</mi> <mi>r</mi> <mi>X</mi> </mrow> </mfrac> <mo>;</mo> </mrow>
<mrow> <mi>G</mi> <mi>y</mi> <mo>=</mo> <mfrac> <mrow> <mi>C</mi> <mi>H</mi> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <mi>X</mi> <mo>-</mo> <mi>P</mi> <mi>t</mi> <mi>X</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <msup> <mrow> <mo>(</mo> <mi>Y</mi> <mo>-</mo> <mi>P</mi> <mi>t</mi> <mi>Y</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&amp;theta;</mi> </mrow> <mrow> <mi>T</mi> <mi>r</mi> <mi>Y</mi> </mrow> </mfrac> <mo>;</mo> </mrow>
其中，(X，Y)为所述演示屏幕画面上的像素点的坐标值，(Gx，Gy)为与(X，Y)对应的所述显示屏幕上的像素点的坐标值，TrX所述显示屏幕的宽度值，TrY为所述显示屏幕的高度值，CW为所述演示屏幕画面的宽度值，CH为所述演示屏幕画面的高度值，(PtX，PtY)为所述参考像素点在所述演示图像中的坐标值，所述参考像素点对应于所述显示屏幕上的坐标原点，θ为基于所述倾斜角的角度值β确定的角度值，θ为像素点(X，Y)与参考像素点(PtX，PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度值。
18.如权利要求17所述的装置，其特征在于，所述确定模块具体用于：
当所述倾斜角的角度值β为0时，确定所述第一锐角夹角的角度值θ为α，其中，α为像素点(X，Y)与参考像素点(PtX，PtY)之间的连线与水平方向的第二锐角夹角的角度值；或者
当所述倾斜角的角度值β大于0、且所述倾斜角的角度值β小于π时，确定所述第一锐角夹角的角度值θ为所述倾斜角的角度值β减去角度值α后的差值；或者
当所述倾斜角的角度值β大于或等于π、且所述倾斜角的角度值β小于3π/2时，确定所述第一锐角夹角的角度值θ为所述倾斜角的角度值β与角度值α相加、再减去π后的值；或者
当所述倾斜角的角度值β大于或等于3π/2、且所述倾斜角的角度值β小于2π时，确定所述第一锐角夹角的角度值θ为所述倾斜角的角度值β减去角度值α、再减去π后的值。
19.如权利要求11所述的装置，其特征在于，所述检测模块具体用于：
在所述演示图像的确定的图像检测范围内检测所有具有四边形轮廓的物体。
20.如权利要求19所述的装置，其特征在于，所述检测模块具体用于根据包括以下信息中的至少一种确定所述图像检测范围：所述演示屏幕画面的在所述演示图像中的移动信息、所述演示图像中的演示所述终端操作的演示者手部位置信息、预设的区域范围信息。
CN201510257853.8A 2015-05-19 2015-05-19 一种远程操控方法及装置 Active CN104899361B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510257853.8A CN104899361B (zh) 2015-05-19 2015-05-19 一种远程操控方法及装置
EP16163700.4A EP3096489B1 (en) 2015-05-19 2016-04-04 Remote control method and apparatus
US15/094,360 US9785266B2 (en) 2015-05-19 2016-04-08 Remote control method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510257853.8A CN104899361B (zh) 2015-05-19 2015-05-19 一种远程操控方法及装置

Publications (2)

Publication Number Publication Date
CN104899361A CN104899361A (zh) 2015-09-09
CN104899361B true CN104899361B (zh) 2018-01-16

Family

ID=54032023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510257853.8A Active CN104899361B (zh) 2015-05-19 2015-05-19 一种远程操控方法及装置

Country Status (3)

Country Link
US (1) US9785266B2 (zh)
EP (1) EP3096489B1 (zh)
CN (1) CN104899361B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469247A (zh) * 2015-11-14 2016-04-06 安徽大学 一种远程签名的方法及系统
CN106331809A (zh) * 2016-08-31 2017-01-11 北京酷云互动科技有限公司 电视控制方法和电视控制系统
CN109657171B (zh) * 2018-11-27 2022-05-20 浙江万朋教育科技股份有限公司 一种基于移动终端和浏览器的网页内容同屏批注方法
CN111625210B (zh) * 2019-02-27 2023-08-04 杭州海康威视系统技术有限公司 一种大屏控制方法、装置及设备
USD962978S1 (en) * 2019-08-20 2022-09-06 Beijing Xiaomi Mobile Software Co., Ltd. Cell phone with graphical user interface
CN115643359B (zh) * 2020-02-28 2023-08-22 华为技术有限公司 一种增强的视频通话方法和系统、电子设备
CN114528031A (zh) * 2020-10-30 2022-05-24 武汉斗鱼鱼乐网络科技有限公司 一种图片展示方法及相关设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000058933A1 (en) * 1999-03-17 2000-10-05 Tegrity, Inc. Method and apparatus for visual pointing and computer control
CN103365572A (zh) * 2012-03-26 2013-10-23 联想(北京)有限公司 一种电子设备的远程操控方法及电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7576766B2 (en) * 2005-06-30 2009-08-18 Microsoft Corporation Normalized images for cameras
US9465451B2 (en) * 2009-12-31 2016-10-11 Flick Intelligence, LLC Method, system and computer program product for obtaining and displaying supplemental data about a displayed movie, show, event or video game
US8400548B2 (en) 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
KR101733115B1 (ko) * 2011-11-08 2017-05-10 한국전자통신연구원 원격 스크린내 콘텐츠 원격 제어 방법 및 장치
US8774556B2 (en) * 2011-11-30 2014-07-08 Microsoft Corporation Perspective correction using a reflection
CN103631471B (zh) 2012-08-20 2016-12-07 华为技术有限公司 媒体交互方法、装置和系统，以及用户设备
CN103984494A (zh) 2013-02-07 2014-08-13 上海帛茂信息科技有限公司 用于多种设备间的直觉式用户互动系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000058933A1 (en) * 1999-03-17 2000-10-05 Tegrity, Inc. Method and apparatus for visual pointing and computer control
CN103365572A (zh) * 2012-03-26 2013-10-23 联想(北京)有限公司 一种电子设备的远程操控方法及电子设备

Also Published As

Publication number Publication date
US20160342224A1 (en) 2016-11-24
EP3096489B1 (en) 2019-09-04
CN104899361A (zh) 2015-09-09
EP3096489A1 (en) 2016-11-23
US9785266B2 (en) 2017-10-10

Similar Documents

Publication Publication Date Title
CN104899361B (zh) 一种远程操控方法及装置
CN102129290B (zh) 图像处理设备和对象选择方法
CN105931263B (zh) 一种目标跟踪方法及电子设备
EP1899793B1 (en) Control device for information display, corresponding system, method and program product
US6594616B2 (en) System and method for providing a mobile input device
JP6372487B2 (ja) 情報処理装置、制御方法、プログラム、および記憶媒体
CN102395948A (zh) 信息处理设备、信息处理方法以及程序
CN107833276A (zh) 二维地图转换三维地图的方法、装置和计算机存储介质
CN103150009A (zh) 信息处理装置、信息处理方法和程序
CN109034095A (zh) 一种人脸对齐检测方法、装置和存储介质
US10296096B2 (en) Operation recognition device and operation recognition method
CN103942524A (zh) 手势辨识模块及手势辨识方法
CN111309203A (zh) 一种鼠标光标的定位信息的获取方法及装置
CN104252228B (zh) 显示装置及控制显示装置的方法
CN103885571A (zh) 一种信息处理方法及电子设备
CN105630440B (zh) 多屏幕辨识方法
CN110378095A (zh) 基于验证码的交互验证方法、装置、介质和计算设备
KR20140040527A (ko) 영상으로부터 신체 골격 및 신체 부위 정보 검출 방법 및 장치
CN104076961A (zh) 信息处理系统、信息处理装置以及画笔装置
CN103761011B (zh) 一种虚拟触摸屏的方法、系统及计算设备
Jiang et al. A SLAM-based 6DoF controller with smooth auto-calibration for virtual reality
CN104699228B (zh) 一种智能tv屏终端鼠标实现方法和系统
CN110489026A (zh) 一种手持输入设备及其指示图标的消隐控制方法和装置
CN103869941B (zh) 具虚拟触控服务的电子装置及虚拟触控即时校正方法
CN103677550B (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant