CN101997561A - 数据传送方法与系统 - Google Patents

数据传送方法与系统 Download PDF

Info

Publication number
CN101997561A
CN101997561A CN2010102632690A CN201010263269A CN101997561A CN 101997561 A CN101997561 A CN 101997561A CN 2010102632690 A CN2010102632690 A CN 2010102632690A CN 201010263269 A CN201010263269 A CN 201010263269A CN 101997561 A CN101997561 A CN 101997561A
Authority
CN
China
Prior art keywords
terminal
data
screen
transferring method
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010102632690A
Other languages
English (en)
Other versions
CN101997561B (zh
Inventor
埃亚·托莱达诺
鲁本·巴雷利
丹·西尔伦
埃拉德·哈维夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101997561A publication Critical patent/CN101997561A/zh
Application granted granted Critical
Publication of CN101997561B publication Critical patent/CN101997561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/22—Processing or transfer of terminal data, e.g. status or physical capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W92/00—Interfaces specially adapted for wireless communication networks
    • H04W92/16—Interfaces between hierarchically similar devices
    • H04W92/18—Interfaces between hierarchically similar devices between terminal devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/64—Details of telephonic subscriber devices file transfer between terminals

Abstract

一种数据传送方法，包括：通过使用第一终端的摄像头识别显示在第二终端屏幕上的对象，数据将被发送到第一终端；确定由第一终端识别的对象的坐标；将显示在第二终端屏幕上的对象和/或所述对象的元数据发送到第一终端。

Description

数据传送方法与系统
技术领域
本发明涉及到能够执行数据传输和接收的终端之间的数据传送。
背景技术
移动装置在应用方面变得更加集成，它们的使用者使之代替更笨重的计算机设备的一些功能。所以，近年来小的移动装置(诸如移动电话)的能力已经提高，使得它们能够产生数据(诸如媒体文件、文本文件、数据文件)和其它数据(诸如GPS产生的位置数据)，以及接收和使用由其它系统产生的数据及数据文件。然而，本技术领域还未能够提供一种直观的和即时的方法，使文件或数据(如图像、文本、HTML文件、URL等)能够以对于用户有效和方便的方式从个人计算机(PC)传送到移动装置(反之亦然)。最近，例如，要求想要将记事本文本从PC传送到移动电话的用户执行若干个动作，诸如将文本保存成文件、建立连接、拖放文件、在移动电话中找到文件、打开文件、剪切和粘贴等。
在现有技术中可用的所有方法和系统都受困于由于它们耗时、使用繁琐造成的缺点，并不能为用户提供直观的、晚用的、即时的使文件或数据可从PC传送到移动电话(反之亦然)的传送方法。
发明内容
因此，本发明用来解决现有技术中出现的上述问题，本发明提供了一种方法和系统，使对象(诸如文件或数据)能够在移动装置和个人计算机(PC)之间简单、直观和快速地传送。
在一方面中，本发明针对数据传送方法，其步骤包括：通过使用第一终端的摄像头识别显示在第二终端屏幕上的对象，数据将被发送到第一终端；确定由第一终端识别的对象的坐标；将显示在第二终端屏幕上的对象和/或所述对象的元数据发送到第一终端。
在另一方面中，本发明针对数据传送方法，其步骤包括：通过使用第一终端的摄像头预览显示在第二终端屏幕上的对象，数据将被发送到第一终端；确定由第一终端预览的对象的坐标；将与确定的坐标对应的对象发送给第一终端。
在另一方面中，本发明针对数据传送系统，包括：数据对象提取器，基于在能够发送和接收数据的终端的屏幕上具有预设的特定式样的区域，来识别和提取显示的数据对象；图像处理器，处理能够发送和接收数据的终端的屏幕的图像，并基于在屏幕上的具有预设的特定式样的区域来对显示的对象提取位置信息；应用程序服务处理器，接收通过通信线路发送的数据对象，并将接收的数据对象嵌入接收终端的操作中，其中，能够发送和接收数据的终端通过通信线路将数据对象发送给另一个能够发送和接收数据的终端或从另一个能够发送和接收数据的终端接收数据对象。
在根据本发明的方法与系统中，能够在能够执行数据传送和接收的终端之间实现简单、直观和快速地传送对象(诸如文件或数据)。
附图说明
在附图中：
图1是本发明的系统的主要块的示意图；
图2示出由根据本发明的一个特定示例性实施例的系统执行的技术顺序；
图3示出用于说明本发明的一个实施例的标记的三个不同示例，；
图4-图7示出根据本发明的用于在移动装置中识别移动装置的摄像头指向的PC屏幕上的位置的一种方法的特定示例；
图8-图10示出根据本发明的用于PC提取位于其屏幕上的由移动装置计算的特定坐标的对象的一种方法的特定示例；
图11是从浏览器获得图像的使用的示例；
图12是从记事本获得文本的使用的示例；
图13是从日历获得会议详情的使用的示例；
图14是从移动装置将图像“推”(pushed)入PC的使用的示例；
图15是移动装置与两台PC交互的使用的示例；
图16(A和B)示出当从IE(Internet Explorer)浏览器获得图片并将其传送到移动电话时本发明的操作；
图17(A和B)示出当将选择的文本从PC的记事本传送到移动电话上时本发明的操作；
图18(A和B)示出当将MP3音乐文件从Windows文件资源管理器传送到移动电话上时本发明的操作；
图19(A和B)示出当通过推入而将图片从移动电话传送到PC文件资源管理器时本发明的操作；
图20(A和B)示出当通过推入而将图片从移动电话传送到PC并使所述图 片成为Outlook的发出电子邮件消息的附件时本发明的操作；
图21(A和B)示出从web应用软件商店上将移动电话软件直接安装在移动电话中。
具体实施方式
除非另外规定，整个说明书交替使用术语“移动装置”和“移动电话”用于表示通信装置，该通信装置除具有通信功能外，还装备有计算功能，这允许其产生可被PC使用的数据或允许其使用不同系统(如PC)产生的数据，或允许其进行以上两者。
此外，为达到本说明书的目的，术语“PC”、“个人计算机”、“计算设备”、“台式计算机”等被用来表示广泛意义上的计算装备和系统，包括：笔记本计算机、固定或移动终端、装备有计算功能的屏幕和装备有CPU和通信功能的数据处理装备。
此外，作为对以下本发明的说明书的假设，下面所述的第一终端表示用于接收数据的接收端终端，下面所述的第二终端表示发送端终端。
本发明提供了一种将数据从PC或其它移动装置传送到移动电话(反之亦然)的的、用户友好的方案。本发明的系统，当操作将数据从PC传送给移动电话时，操作如下：
a)用户将移动电话的摄像头指向PC屏幕上的想在移用电话上使用的对象；
b)用户在移动电话上按下铵键(例如)来激活识别摄像头指向的程序；
c)PC利用适当的传送信道(蓝牙、WiFi、USB线、蜂窝网络或其它)将识别的对象和/或其元数据传送到移动电话上；
d)移动电话利用适当的应用程序来识别对象类型并将所述对象存储/显示/运行/等。
在一个实施例中，本发明利用基于标记的解决方案(图像处理)，采用第二终端(PC)的能力来“识别”用户使用移动电话的摄像头瞄准的位置。在这样的解决方案中，第二终端(PC)基于屏幕上的具有特定式样(即，标记)的区域来显示预定的图像，且第一终端(移动装置)的摄像头可捕捉所述图像。以这样的易于使用已知图像处理算法(如条形码读取)来理解移动电话的摄像头捕捉的位置的方式来选择标记。或者可由技术人员提供另一种第二终端(PC)了解摄像头瞄准的对象的坐标的方式，例如，将移动电话的摄像头浏览图像发送给PC，并使用图像处理算法(如SURF算法[Herbert Bay，Andreas Ess，TinneTuytelaars，Luc Van Gool，“SURF：快速鲁棒性特征”，计算机视觉与图像理解(CVIU)，卷110，号3，页码346-359])或其它算法来将其登记(Register)在桌面图像里(反之亦然)。或者使用与第二终端(PC)相连的摄像头来识别第一终端(移动装置)的运动，或通过使用与第二终端(PC)屏幕相关的第一终端(移动装置)的三维位置信息来识别第一终端(移动装置)的运动。
在本发明的另一实施例中，指向的坐标是实时计算的。在这种情况下，有利于在移动预览中显示关于对象的增加的元数据(例如，选择的对象的文件大小或其同周的高亮)。当用户选择与对象交互时可启动处理(例如，按下按键或触摸屏幕)。
图1示意性地示出根据本发明的系统的主要块。在这个系统中，第一终端(移动电话)150经由任何适当的通信信道(包括(但不受限于)：蓝牙、WiFi、USB线或蜂窝网络)与第二终端(PC)100进行通信。第二终端(PC)100装备有数据对象提取器(DOE)103，一旦对象的坐标被确定并提供给它DOE 103，DOE 103就处理将传送到第一终端(移动电话)150的数据对象和/或其元数据并。DOE 103包括在第二终端(PC)100上运行的软件服务，或第二终端(PC)100的部分OS。
移动装置被提供有图像处理模块155和应用程序服务(AS)154，将在以下解释其作用。图像处理模块155从摄像头获得来自第二终端(PC)主服务器100的屏幕的包括嵌入的标记的光学图像，计算用户摄像头指向的图像的坐标，并将上述坐标发送到第二终端(PC)100。DOE 103使用由第一终端(移动电话)150发送的坐标来识别用户选择的数据对象，并将其提取为可传输的形式。当然，使用的可传输的形式取决于数据对象的类型，例如，对web网页上出现的图像采用原始图像文件。如果选择文本字段，则其内容将被用作文本数据。
随后经由通信线路将根据上述内容提取的数据文件或对象发送给第一终端(移动装置)150，并被AS接收，这使得所述数据文件或对象 可供适当的移动应用程序使用。
正如对现有技术人员明显的，一些步骤的执行可以是不同的，诸如在第二终端(PC)100的屏幕上由用户选择的对象的坐标的识别可在第二终端(PC)100本身中执行，而非在第一终端(移动装置)150上执行，为了达到这个目的可将第一终端(移动装置)150获得的包括充足信息的图像提供给第二终端(PC)。或者，可使用移动装置和第二终端(PC)100的组合的图像处理。
参考图2，图2示意性地示出图1的系统的操作的示例性顺序。顺序包括将第一终端250的摄像头(以及这个特殊示例，第一终端250)指向在第二终端数字广播收接器200的屏幕上显示的对象(步骤210)。在第一终端250中预定按键来激活以下的步骤。在以下的步骤中，移动电话对PC屏幕拍摄图片，并随后将命令发送给第二终端200来显示标记(步骤211)。第二终端200显示标记并告知移动电话(步骤213)。然后移动电话再拍摄一张图片，这次包含标记(步骤214)。移动电话图像处理模块使用两幅图片来计算坐标(见图4-图7的详细描述)。一旦所述坐标被移动电话识别，坐所述标就会被发送到第二终端200。DOE 103识别哪个对象显示在屏幕上的已经确定的坐标上的对象，并将对象从应用程序中提取，再将对象发送到第一终端250以供进一步的使用。
图3示出标记的三种说明性的不同类型。标记A包括黑色和蓝色邮戳(indicia)(蓝色是黑白图像中的浅色)，标记B包括黑色和红色邮戳(红色是黑白图像中的浅色)。注意，利用不同大小的标记(蓝色的具有比红色的更大的元素)，可成功地在距第二终端的屏幕不同距离中进行图像处理。显示在第二终端屏幕上的实际的标记将是红色和蓝色的混合，而在标记被移动电话摄像头端捕捉到后，它将会再次分成红色分量和蓝色分量。标记C是标记与被摄像头捕捉的桌面图像的混合。在当前活动桌面中混合标记可使其不那么明显并不会刺激观看者。制作不明显的标记的其它方法在[Anselm Grundh¨ofer，Manja Seeger，Ferry H¨antsch，and Oliver Bimber，Bauhaus-University Weimar，“预计细微代码的动态适应”(“Dynamic Adaptation of Projected ImperceptibleCodes”)]中被讨论。
图4-图7根据本发明的实施例示出识别第二终端屏幕上的由第一终端的用户使用摄像头指向的对象的真实的X，Y坐标的处理。图4示出使用第一终端捕捉两幅图像的处理。第一幅图像(A)是在第二终端将标记放置在屏幕上之前的图像，而第二幅图像(B)包含了标记。在第二终端显示标记之前由第一终端获得的屏幕图像(A)和在第二终端显示标记之后由第一终端获得的屏幕图像(B)分别被登记(步骤400)。
然后，计算两幅图像之间的移动(该移动是手运动的结果)(步骤402)，并且将图像B排列以与A匹配(步骤404)。这样就产生了图像B’。两幅图像(A和B)相减提供了没有桌面背景(C)的标记的图像。此外，我们随后可以得到图像的红色分量(C(红))和蓝色分量(C(蓝))。
图5示出了在图4的操作后，如何识别在接收到的标记图像里的特定式样。
首先，运行本地门限滤波器以创建二值图像。换句话说，通过运行本地门限滤波器来使图像二值化(步骤500)。
然后，通过搜索与通过步骤500的操作二值化的图像连接的分量(步骤510)以及搜索连接的图形结构(步骤512)，来识别连接的分量。然后，将识别的结果安排在表中(步骤514)，以便挑选最佳的分量来匹配标记式样特征(宽高比、大小等)。
在图6中，读取式样的代码以尝试确定其真实性。首先，通过搜索选择的标记角落来识别标记角落(步骤600)。然后，通过本地搜索通过步骤600选择的分量的四个角落(步骤602)，将图像转置(transposed)成精确的正方形并将其以该尺寸初始显示在屏幕上(步骤603)。然后，计算式样代码并通过错误检测/校正算法使其有效，以执行代码操作和奇偶校验(步骤604)。如果代码无效，则选择下一个最合适的式样并重复步骤2。如果代码有效，则继续进行处理。
在图7中，根据表示标记位置的代码提取标记位置。然后，找到标记位置相对于第一终端的屏幕中心的位置(用户瞄准的点)，并将该位置发送到第二终端。
具体而言，作为在步骤700中的有效的奇偶校验的结果，当代码有效时，执行步骤702，从代码中提取标记位置。然后，检测关于提取的标记位置的第一终端的图像中心，并计算第二终端的屏幕平面上的X和Y，以便识别第二终端的实际的坐标(步骤706)。
同时，作为在步骤700中有效的奇偶校验的结果，当代码无效时，检测是否有另一连接的分量(步骤708)。作为检测的结果，当有另一连接的分量时，处理将移动到阶段②。当另一连接的分量不存在时，检测第一终端的图像中心是否为蓝色(步骤709)。作为检测的结果，当第一终端的图像中心是蓝色时，处理将移动到阶段①。当第一终端的图像中心不是蓝色时，断定搜索失败并且停止处理。
图8-图10示出当在第二终端200上使用Windows XP操作系统时，位于第二终端屏幕上已经由第一终端计算的坐标上的对象的提取的一个示例。
参考图8，识别显示在第二终端屏幕上的对像的坐标[X，Y](步骤802)，并在步骤804中，通过“Window From Point”系统调用，在坐标[X，Y]执行到前台窗口的句柄接收。在步骤806中，通过“GetClassName”系统调用，接收包含有窗口类名的字符串。然后，在步骤808中，检测应用程序的编辑框(诸如记事本)。之后，在步骤810中，通过“GetWindowText”系统调用，接收包含控制文本的字符串。接下来，在步骤812中，传送文本。
参考图9，在根据图4中所示的流程图的操作之后，当产生的图像是web浏览器时(步骤910)，在步骤912中插入hook dll，并在步骤914中，请求hook发送[X，Y]的HTML对象。然后，在hook DLL 900中，示出页面的HTML接口(步骤916)，并提取在[X，Y]上的对象(步骤918)。当提取的对象是图像时(步骤920)，传送URO和缓存文件(步骤921)。当提取的对象是文本时(步骤922)，传送文本(步骤923)。当提取的对象是非文件或文本的对象时(步骤924)，则传送web网页地址(步骤925)。
参考图10，在根据图5中所示的流程图的操作后，当已经选择与标记式样特征匹配的最佳分量时，即，在与shell(如浏览器、桌面、文件对话框等)对应的“SysListView32”的情况下(步骤180)，在处理中插入hook dll(步骤182)，请求控制[X，Y]上的“HitTest”(步骤183)。在步骤184中，在hook DLL 190中，通过请求控制[X，Y]上的“HitTest”来接收标识符列表指针(PIDL)，在步骤185中，通过执行“SHGetDataFromIDList”系统调用来接收列表项目信息(文件名、图标等)，并随后在步骤186中传送文件。
图11示出由第一终端获取在第二终端屏幕上打开的浏览器中找到的图片。
首先，当第一终端的摄像头指向浏览器的图片，并随后按下第一终端的开始按钮时(步骤1110)，通过搜索找到摄像头指向的第一终端屏幕中的预定点(步骤1112)。此时，将找到的点和相应的图片存储在第一终端中(步骤1112)。然后，在步骤1114中，从第二终端中提取对象，并在步骤1116中，检测显示在第二终端上的对象是否是图片。作为检测的结果，当对象不是图片时，处理移动到相应的操作(图12或图13)。当对象是图片时，在步骤1118中，在第一终端屏幕上显示预览图片。然后，在步骤1120中，选择当将显示的图片发送到第二终端时采用的应用程序，并随后将图片发送到第二终端。
图12示出由第一终端250从第二终端200的屏幕上显示的记事本中获取文本。
首先，当第一终端的摄像头指向浏览器的图片，并随后按下第一终端的开始按钮时(步骤1120)，通过搜索找到摄像头指向的第一终端屏幕中的预定点(步骤1122)。
此时，将找到的点和相应的备忘录存储在第一终端中并打开相应的备忘录(步骤1123)。然后，在步骤1124中，从第二终端中提取对象，通过在步骤1131中打开SMS/MMS应用程序并将文本插入应用程序的操作来执行从第二终端中提取对象。然后，在步骤1126中，检测显示在第二终端的对象是否是文本。作为检测的结果，当对象不是文本时，处理移动到相应的操作(图12或图13)。当对象是文本时，在步骤1128中，在第一终端的屏幕上显示预览文本。之后，在步骤1132中，在第一终端中分析文本，并随后将其存储到许可请求和联系人列表中。
在步骤1130中，选择当将显示的文本发送到第二终端时采用的应用程序，并将文本发送到第二终端。
图13示出由第一终端获得在第二终端屏幕上的日历显示中显示的关于会议的日历数据。
首先，当第一终端的摄像头指向显示在第二终端上的关于会议的日历数据，并随后按下第一终端的开始按钮时(步骤1130)，通过搜索找到摄像头指向的第一终端屏幕中的预定点(步骤1132)。
然后，在步骤1134中，从第二终端中提取对象。
在步骤1136中，检测显示在第二终端上的对象是否是约会。作为检测的结果，当对象不是约会时，处理移动到相应的操作(图12或图13)。当对象是约会时，在步骤1138中，在第一终端屏幕上显示预览文本。
然后，在步骤1140中，选择当将显示的日历数据发送到第二终端时采用应用程序，并将文本发送到第二终端。
图14示出第一终端将图片拖到第二终端数据存储器上或第二终端浏览器应用程序上。用户首先在移动端选择期望推到计算机上的对象(在示例中是图片)。然后，用户将装置指向第二终端屏幕上的期望将对象推入的位置。支持推入选择的支持文件类型的可以是打开文件夹或打开阅读器应用程序(仅仅作为示例，图14涉及打开文件夹)。然后用户按下第一终端“动作”按钮并开始推入处理。在步骤1140中，第一终端和第二终端“识别”移动电话瞄准的点。然后，第二终端得知哪个对象出现在当前屏幕上的所述点。如果是打开文件夹，则将文件复制到这个文件夹中，如果是浏览器应用程序，则将文件复制到临时目录中并在应用程序中打开文件。
也就是说，在步骤1142中，通过搜索找到第一终端的摄像头指向的第一终端屏幕中的预定点。在步骤1144中，检测对象是否与文件的文件夹相同。作为检测的结果，当对象与文件的文件夹相同时，在步骤1145中，将对象存储在第二终端的文件夹中。当对象与文件的文件夹不相同时，在步骤1146中，检测对象是否与图像编辑器相同。当对象与图像编辑器相同时，显示图像(步骤1147)。当对象与图像编辑器不相同时，终止处理。
图15示出第一终端用作两个分离的PC之间的桥梁的本发明的另一实施例。在这种模式中，如在附图中清楚地示出，第一终端首先从第二终端1中获得对象，然后将其推入第二终端2中。以这样方式，第一终端变成不同的第二终端之间的数据传送设备(“通用剪贴板”)。
更具体地说，参考图15，在步骤1150中，首先第一终端的摄像头指向第二终端，通过搜索找到摄像头指向的第一终端屏幕中的预定点(步骤1152)。
然后，在步骤1154中，从第二终端中提取对象，在步骤1156中，将提取的对象复制到第一终端中。然后，在步骤1158中，第一终端的摄像头指向第二终端的屏幕，通过搜索找到摄像头指向的预定点(步骤1160)。之后，在步骤1162中，将在步骤1156中复制的对象粘贴到第二终端中。
在本发明的另一实施例中，通过使用指向装置并直接指向期望的对象或位置来识别在第二终端屏幕上的将被传送到第一终端的对象的识别处理(或识别在第二终端屏幕上的对象将被推入的位置的识别处理)。可使用任何适当的指向装置，如鼠标或手指，如果使用触摸屏，则具有或不具有键盘按键、鼠标按钮指向或其它输入装置的附加用途。如技术人员理解的，利用指向装置简化了定位和识别处理，从而其在一些实例中是合适的。
接下来的附加示例将进一步示出本发明。
示例1
从IE浏览器将图片获取到移动电话上
下面参考图16(A和B)详细地描述将在IE浏览器的第二终端的屏幕上显示的图片传送到移动电话上的处理。首先，用户激活应用程序。观察到移动电话摄像头捕捉的包括屏幕中心的十字线的预览，。当十字线瞄准了所要传送的图片时(图16A)，用户按下移动电话的动作按钮。
在图2-8中描述的处理开始，并产生在第二终端屏幕上的十字线的坐标。将坐标发送到第二终端，开始数据对象提取处理(在图8-10中描述)。首先，调用‘WindowFromPoint′系统调用，向IE窗口返回句柄。然后，利用该句柄调用′GetClassName′系统调用以得到描述窗口类名(在本示例中是InternetExplorer_Server)的字符串。软件将hook dll插入处理，然后将请求发送到hook，以在由移动电话找到的位置上传送HTML对象。hook dll在该位置提取对象(在本示例中是图片)并返回图片URL和缓存图像文件。然后将该文件发送到移动电话端，并调用用户接口来允许对图片的各种操作(图16B)(诸如发送MMS、在默认移动电话浏览器中打开图片等)。
示例2
从记事本中将选择的文本获取到移动电话上
下面参考图17(A和B)详细地描述传送在记事本应用程序中选择的文本的处理。首先，用户打开选择了想要传送的特定文本的记事本文件，。然后，用户激活应用程序。观察到移动电话摄像头捕捉的包括屏幕中心的十字线的预览。当十字线瞄准了记事本应用程序时(图17A)，用户按下移动电话的动作按钮。在图2-8中描述的处理开始，并产生在第二终端屏幕上的十字线的坐标。将坐标发送到第二终端，开始数据挖掘处理(在图8-10中描述)。首先，调用‘WindowFromPoint′系统调用，向记事本窗口返回句柄。然后，利用该句柄调用′GetClassName′系统调用以得到描述窗口类名(在本示例中是′EditBox′)的字符串。软件调用′GetWindowText′系统调动并得到选择的文本。从接收的文本创建文本文件并将该文件发送到移动电话端。移动电话软件接收文件并调用合适的用户接口来允许对文本的各种操作(图17B)(如发送SMS、在Notes应用程序中打开文本等)。
示例3
将音乐文件(mp3)从Windows文件浏览器传送到移动电话上
下面详细地描述从Windows文件浏览器传送mp3音乐文件的处理。首先，用户在文件浏览器中打开包含mp3文件的目录。然后，用户激活应用程序。观察到移动电话摄像头捕捉的包括屏幕中心的十字线的预览。当十字线瞄准了期望的音乐文件时(图18A)，用户按下移动电话的动作按钮。
在图2-8中描述的处理开始，并产生在第二终端屏幕上的十字线的坐标。将坐标发送到第二终端，开始数据挖掘处理(在图8-10中描述)。首先，调用‘WindowFromPoint′系统调用，向文件浏览器窗口返回句柄。然后，利用该句柄调用′GetClassName′系统调用以得到描述窗口类名(在我们的例子中是′SysListView32′)的字符串。软件将hook dll插入处理，然后将请求发送到hook，以发送在由移动电话找到的位置上的shell对象。hook dll在该位置提取PIDL标识符列表(指针)并调用′SHGetDataFromDList′系统调用以得到关于文件的项目信息(文件名、图标等)。该信息被用来定位文件并将文件发送给移动电话。移动电话软件接收文件并调用适当的用户接口以允许对文件的各种操作(图18B)(如在默认浏览器中打开文件等)。
示例4
将图片从第一终端传送到第二终端的文件浏览器
下面详细地描述将图片从第一终端传送到windows文件浏览器的处理。首先，用户使用移动电话应用程序来选择uqf要传送的图片。然后，用户从软件的GUI激活上推入操作。观察到移动电话摄像头捕捉的包括屏幕中心的十字线的预览。当十字线瞄准了期望的文件浏览器窗口时(图19A)，用户按下移动电话的动作按钮。
在图2-8中描述的处理开始，并产生在第二终端屏幕上的十字线的坐标。将坐标发送到第二终端，开始数据挖掘处理(在图8-10中描述)。首先，调用‘WindowFromPoint′系统调用，向文件浏览器窗口返回句柄。然后，使用该句柄调用′GetClassName′系统调用以得到描述窗口类名(在我们的例子中是′SysListView32′)的字符串。然后，将响应发送给移动电话，根据被拖的文件类型(在本示例中是图像文件)告知已经识别的对象(在我们的例子中是文件夹)是否是支持“推入”操作的合格目标。
然后移动电话将图片文件从移动电话发送到第二终端软件(图19B)。第二终端软件将文件写入系统临时文件夹，并将其移动到目标位置，该目标位置是利用‘GetWindowText’系统调用确定的，‘GetWindowText’系统调用指示使用‘SHGetSpecialFolderPath’系统调用处理的文件夹的路径(除了特定文件夹(诸如‘桌面’、‘我的文件’等)的情况下)。
示例5
将图片作为Outlook发出电子邮件消息的附件从移动电话发送到的第二终端
下面详细地描述将图片从移动电话发送到作为Outlook发出电子邮件消息的附件的处理。首先，用户打开新的或现有的Outlook发出电子邮件消息。然后用户使用移动电话软件来选择将要传送的图片。然后，用户从软件的GUI激活推入操作。观察到移动电话摄像头捕捉的包括屏幕中心的十字线的预览。当十字线瞄准了第二终端中的打开的outlook消息窗口时(图20A)，用户按下移动电话的动作按钮。
在图2-8中描述的处理开始，并产生在第二终端屏幕上的十字线的坐标。将坐标发送到第二终端，开始数据挖掘处理(在图8-10中描述)。首先，调用‘WindowFromPoint′系统调用，向Outlook新消息对话框中的部件返回句柄。然后，使用该句柄调用′GetClassName′系统调用以得到描述组成部分类名的字符串。然后，将字符串与有关Outlook新消息对话框由于不同版本和不同视图类型而不同的可能的值的列表进行比较。启动得到先前的部件的parent句柄和检索其类名的处理，直到匹配或得到‘parentless’句柄。如果找到匹配，则通知移动装置并将对象发送到第二终端。然后，使用COM对象，产生表示Outlook应用程序的对象以访问新消息对话框“消息部件”(题目、正文等)，并将已经发送的对象的文件路径加入消息附件中(图20B)。
示例6
从web应用软件商店上将移动电话软件直接安装到第一终端中
下面详细地描述仅通过在web应用软件商店中指向或点击web页面或图标来安装移动电话软件的处理。首先，用户打开网络浏览器并进入应用软件商店。然后，用户激活应用程序。观察到移动电话摄像头捕捉的包括屏幕中心的十字线的预览。当十字线瞄准了期望的应用软件时(可以是屏幕截图或描述应用软件的文字-图21A)，用户按下移动电话的动作按钮。
在图2-8中描述的处理开始，并产生在第二终端屏幕上的十字线的坐标。将坐标发送到第二终端，开始数据挖掘处理(在图8-10中描述)。首先，调用‘WindowFromPoint′系统调用，向IE浏览器窗口返回句柄。然后，使用该句柄调用′GetClassName′系统调用以得到描述窗口类名(在本示例中是InternetExplorer_Server)的字符串。软件将hook dll插入处理，然后将请求发送到hook，以发送在由移动电话找到的位置上的HTML对象。hook dll在该位置提取对象(在本示例中是图片)并返回图片URL。数据对象提取器识别图像对象包含参照应用安装文件的HTML URL(例如，<img src＝″TennisGame.jpg″href＝http://uk.samsungmobile.com/games/TennisGame.jad/>)，并使用URL数据来从web上下载安装文件。然后将该文件发送到移动电话上。移动电话软件接收文件并调用合适的用户接口来允许进行安装(在各种操作中)(图21B)。
正如对于技术人员明显的，本发明允许执行许多不能由本技术领域公知的传统方法明显的执行的一些动作。仅为了说明而非以任何方式限制这些使用而提供了本发明的使用说明性列表，如下所示：
1、第二终端到移动电话-文件传送
a.图片从第二终端->移动电话的传送(如壁纸)
b.文件
2、Outlook
a.联系人同步(特定或全部)
b.日历同步(特定或今天)
c.指向邮件文件夹要求携带所有、未读、今天等
3、移动电话到移动电话-在移动电话之间传送数据
4、视频(第二终端->移动电话)：指向flash视频播放器
a.将URL发送给移动电话
b.将流转换成文件并将文件发送给移动电话
c.从第二终端到移动电话的流(本地、通过移动电话网络)
5、文本(记事本、word)
a.简单快速地编写SMS
b.文本->联系人
c.以纯文本编写收件地址->移动导航应用程序
6、文件从第二终端->(移动装置)->第二终端的传送示例：
a.办公室<->家(学生)
b.学校<->家
c.工作计算机<->演示计算机
7、指向地图并将坐标发送给第一终端上的导航应用程序。易于安装目的文件。
8、音乐服务器指向歌曲
a.复制播放列表(私人或公共场所-咖啡馆)并能够购买
b.将歌曲上传到互联网服务器
c.第二终端将选择的歌曲传给移动装置而不是直接复制
9、应用软件商店-指向应用软件并将其安装到移动电话中(单击)
10、在选择的搜索引擎中将移动电话指向预览图像并携带原始图像
11、备份我的SMS
12、将移动电话指向新闻并接收来自相同的馈给(feed)或主题的更新(例如，八卦新闻)
13、无第二终端
a.快餐-指向柜员机屏幕上的移动电话来传递关于我的电话号码，当食物准备好时接收SMS
b.公告板-将广告复制/粘贴到第一终端
14、在一个第一终端和其它终端之间交换名片
给出上述的说明书的所有内容是为了达到说明的目的而非为了以任何方式限制本发明，除了在权利要求中所限定的之外。

Claims (15)

1.一种数据传送方法，包括步骤：
通过使用第一终端的摄像头识别显示在第二终端屏幕上的对象，数据将被发送到第一终端；
确定由第一终端识别的对象的坐标；
将显示在第二终端屏幕上的对象和/或所述对象的元数据发送到第一终端。
2.如权利要求1所述的数据传送方法，还包括：执行与从第二终端接收的对像相关联的操作。
3.根据权利要求1所述的数据传送方法，其中，对象是从数据对象、可执行对象、文件文件夹和/或数据对象、可执行对象、文件文件夹的元数据中选择的。
4.如权利要求1所述的数据传送方法，其中，在确定对象的坐标的步骤中，基于屏幕上具有预设的特定式样的区域来识别显示的对象。
5.如权利要求1所述的数据传送方法，其中，用与屏幕相关联的指向装置来识别对象及其坐标。
6.根据权利要求1所述的数据传送方法，其中，用光学设备和指向装置的组合来识别对象及其坐标。
7.根据权利要求1所述的数据传送方法，其中，对像包括数据或数据组合。
8.根据权利要求1所述的数据传送方法，其中，对象是图像、文本或媒体文件。
9.根据权利要求1所述的数据传送方法，其中，对象与软件安装处理相关联。
10.根据权利要求1所述的数据传送方法，其中，识别对象的步骤包括：
用第一终端的摄像头预览显示在第二终端屏幕上的对象，数据将被发送到第一终端；
确定由第一终端预览的对象的坐标；
将与确定的坐标对应的对象发送给第一终端。
11.根据权利要求10所述的数据传送方法，其中，发送对象的步骤包括：在第二终端中创建可传送数据对象并将数据对象发送给第一终端。
12.根据权利要求10所述的数据传送方法，其中，通过处理由移动装置的摄像头获得的屏幕的图像来执行坐标的确定。
13.根据权利要求10所述的数据传送方法，其中，显示在第二终端的屏幕上的对象代表第二终端的存储区域或与第二终端相关联，存在于第一终端上的数据对象将被复制或传送到第二终端。
14.一种数据传送系统，包括：
数据对象提取器，基于在能够发送和接收数据的终端的屏幕上具有预设的特定式样的区域来识别和提取显示的数据对象；
图像处理器，处理能够发送和接收数据的终端的屏幕的图像，并基于屏幕上具有预设的特定式样的区域来对显示的对象提取位置信息；
应用程序服务处理器，接收通过通信线路发送的数据对象，并将接收的数据对象嵌入接收终端的操作中；
其中，能够发送和接收数据的终端通过通信线路将数据对象发送给另一个能够发送和接收数据的终端或从另一个能够发送和接收数据的终端接收数据对象。
15.根据权利要求14所述的数据传送系统，其中，通信线路从蓝牙、WiFi、USB线和蜂窝网络的一个或多个中选择。
CN201010263269.0A 2009-08-20 2010-08-20 数据传送方法与系统 Active CN101997561B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/544,315 2009-08-20
US12/544,315 US8566713B2 (en) 2009-08-20 2009-08-20 Data transfer method and system

Publications (2)

Publication Number Publication Date
CN101997561A true CN101997561A (zh) 2011-03-30
CN101997561B CN101997561B (zh) 2015-06-03

Family

ID=43088407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010263269.0A Active CN101997561B (zh) 2009-08-20 2010-08-20 数据传送方法与系统

Country Status (4)

Country Link
US (1) US8566713B2 (zh)
EP (2) EP2299349B1 (zh)
KR (1) KR101759349B1 (zh)
CN (1) CN101997561B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103840859A (zh) * 2012-11-27 2014-06-04 深圳市腾讯计算机系统有限公司 传输文件的方法、终端及系统
CN104321737A (zh) * 2012-09-24 2015-01-28 东莞宇龙通信科技有限公司 用于界面内容转移显示的系统和方法、终端
CN104598545A (zh) * 2014-12-31 2015-05-06 深圳市金立通信设备有限公司 一种文件操作方法
CN104639608A (zh) * 2014-12-31 2015-05-20 深圳市金立通信设备有限公司 一种终端
CN104679695A (zh) * 2013-11-28 2015-06-03 联想(北京)有限公司 一种信息处理方法及电子设备
CN104714833A (zh) * 2013-12-16 2015-06-17 联想(北京)有限公司 一种信息处理方法及装置
CN109842816A (zh) * 2017-11-29 2019-06-04 三星电子株式会社 拍摄图像的电子设备和用于显示图像的方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI597613B (zh) * 2011-05-25 2017-09-01 群邁通訊股份有限公司 遠端操作共用系統及方法
KR101245714B1 (ko) * 2012-05-22 2013-03-25 주식회사 모리아타운 카메라를 이용한 단말 간 파일 관리 장치 및 방법
FR2999847A1 (fr) 2012-12-17 2014-06-20 Thomson Licensing Procede d'activation d'un dispositif mobile dans un reseau, dispositif d'affichage et systeme associes
US10139925B2 (en) * 2013-03-04 2018-11-27 Microsoft Technology Licensing, Llc Causing specific location of an object provided to a device
JP2015032934A (ja) * 2013-08-01 2015-02-16 ソニー株式会社 制御装置、制御方法、送信端末、送信方法、受信端末、受信方法および制御システム
JP6148170B2 (ja) * 2013-12-27 2017-06-14 日立マクセル株式会社 携帯情報端末
US10015230B1 (en) * 2016-02-09 2018-07-03 Robert Buergi Copying and pasting among networked devices
CN107102937B (zh) * 2016-02-19 2021-03-02 腾讯科技（深圳）有限公司 一种用户界面测试方法和装置
CN109819432A (zh) * 2016-06-20 2019-05-28 腾讯科技（深圳）有限公司 一种开启设备发现功能的方法、服务器及终端设备
KR102629412B1 (ko) 2019-01-04 2024-01-26 삼성전자주식회사 외부 장치의 콘텐트를 편집하는 전자 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007003682A1 (en) * 2005-06-30 2007-01-11 Nokia Corporation Camera control means to allow operating of a destined location of the information surface of a presentation and information system
CN101393477A (zh) * 2007-09-19 2009-03-25 索尼株式会社 图像处理设备和方法及其程序
GB2454482A (en) * 2007-11-07 2009-05-13 Symbian Software Ltd Image based pointing and selection

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4868195B2 (ja) * 2000-10-24 2012-02-01 ソニー株式会社 電子機器および情報処理装置
US7458074B2 (en) * 2001-03-30 2008-11-25 International Business Machiens Corporation Method and apparatus for installing and upgrading an application in a computer system
US7391917B2 (en) * 2003-02-13 2008-06-24 Canon Kabushiki Kaisha Image processing method
JP2005293240A (ja) * 2004-03-31 2005-10-20 Fujitsu Ltd 端末間情報転送システム
JP4945372B2 (ja) * 2007-08-28 2012-06-06 株式会社リコー 多機能入出力装置及びその制御方法、並びに多機能入出力装置制御プログラム及び記録媒体
US20090108057A1 (en) * 2007-10-24 2009-04-30 Hong Mu Using Quick Response Codes to Provide Interactive Services

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007003682A1 (en) * 2005-06-30 2007-01-11 Nokia Corporation Camera control means to allow operating of a destined location of the information surface of a presentation and information system
CN101393477A (zh) * 2007-09-19 2009-03-25 索尼株式会社 图像处理设备和方法及其程序
GB2454482A (en) * 2007-11-07 2009-05-13 Symbian Software Ltd Image based pointing and selection

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104321737A (zh) * 2012-09-24 2015-01-28 东莞宇龙通信科技有限公司 用于界面内容转移显示的系统和方法、终端
CN104321737B (zh) * 2012-09-24 2018-02-13 东莞宇龙通信科技有限公司 用于界面内容转移显示的系统和方法、终端
CN103840859A (zh) * 2012-11-27 2014-06-04 深圳市腾讯计算机系统有限公司 传输文件的方法、终端及系统
WO2014082549A1 (zh) * 2012-11-27 2014-06-05 腾讯科技（深圳）有限公司 多终端文件传输方法、终端及系统
CN104679695A (zh) * 2013-11-28 2015-06-03 联想(北京)有限公司 一种信息处理方法及电子设备
CN104679695B (zh) * 2013-11-28 2018-03-27 联想(北京)有限公司 一种信息处理方法及电子设备
CN104714833A (zh) * 2013-12-16 2015-06-17 联想(北京)有限公司 一种信息处理方法及装置
CN104714833B (zh) * 2013-12-16 2018-12-14 联想(北京)有限公司 一种信息处理方法及装置
CN104598545A (zh) * 2014-12-31 2015-05-06 深圳市金立通信设备有限公司 一种文件操作方法
CN104639608A (zh) * 2014-12-31 2015-05-20 深圳市金立通信设备有限公司 一种终端
CN109842816A (zh) * 2017-11-29 2019-06-04 三星电子株式会社 拍摄图像的电子设备和用于显示图像的方法

Also Published As

Publication number Publication date
CN101997561B (zh) 2015-06-03
EP2624102B1 (en) 2017-09-06
EP2299349B1 (en) 2013-05-29
KR20110019704A (ko) 2011-02-28
US20110047458A1 (en) 2011-02-24
EP2299349A1 (en) 2011-03-23
EP2624102A3 (en) 2014-03-12
EP2624102A2 (en) 2013-08-07
KR101759349B1 (ko) 2017-07-18
US8566713B2 (en) 2013-10-22

Similar Documents

Publication Publication Date Title
CN101997561B (zh) 数据传送方法与系统
US9871903B2 (en) Mobile computing terminal with more than one lock screen and method of using the same
US9652704B2 (en) Method of providing content transmission service by using printed matter
US6698660B2 (en) Electronic recording and communication of information
CN100596187C (zh) 电子会议系统、电子会议支持方法以及电子会议控制装置
CN102375752A (zh) 与便携式终端共享应用的装置及方法
CN101582083A (zh) 基于万维网的图像内容的检测、提取以及识别
CN102685175A (zh) 手持式装置及其相关数据传输方法
US20140152543A1 (en) System, data providing method and electronic apparatus
CN104049887A (zh) 数据传输方法及其电子装置及其手写数据的输入装置
CN101373403A (zh) 一种通过名片识别技术在地址簿中自动生成并添加图标的方法
CN103425718A (zh) 信息处理系统及信息处理方法
KR101261753B1 (ko) 전자책 상의 애너테이션을 생성 및 관리하는 방법 및 그 시스템
CN110858198A (zh) 撷取联系人信息的系统、非暂时性计算机可读介质和方法
KR101595797B1 (ko) 지도 서비스를 제공하기 위한 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
Rattanarungrot et al. Development of service oriented mobile AR applications for museum learning activities
JP2004508632A (ja) 情報の電子的な記録と通信
US8989498B2 (en) System, information providing method and electronic device
CN112287131A (zh) 信息交互方法、信息交互装置
CN112183149B (zh) 图形码处理方法及装置
CN104102891A (zh) 基于二维码进行信息交互的方法及移动终端
KR20120000045A (ko) 터치 스크린 가상 키보드 및 마우스 제어 방법 및 시스템
CN103544194A (zh) 信息处理设备和笔迹检索方法
JP5345049B2 (ja) 検索サーバ及びその制御方法、並びに検索システム
TWI327299B (en) Electronic map positioning and route planning system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant