CN113093929B - 触控移动终端和触控固定终端多屏嵌套式互动的方法 - Google Patents

Abstract

本发明涉及一种触控移动终端和触控固定终端多屏嵌套式互动的方法，适用于至少包含两个显示设备D1、D2，两个触摸设备T1、T2，以及至少包含两个显示坐标系的场景，方法包括：当检测到移动终端和固定终端的空间位置关系发生变化且同时满足设定条件时，设置D1和D2显示坐标系间的旋转平移缩放转换参数；移动终端和固定终端建立数据连接并同步数字内容；利用坐标转换参数，将数字内容投射到至少一个显示设备；在T1,T2设备中采集至少一个触摸设备的触摸信息，对数字内容进行几何变换，重新投射到D1显示设备，或D2显示设备，或部分D1显示设备和部分D2显示设备。与现有技术相比，本发明既给人带来沉浸式的多屏嵌套式无缝触控的自然体验，又高效同步等优点。

Description

触控移动终端和触控固定终端多屏嵌套式互动的方法

技术领域

本发明涉及多屏互动技术，尤其是涉及一种触控移动终端和触控固定终端多屏嵌套式互动的方法及装置。

背景技术

多屏互动是指通过无线网络连接，在不同的多媒体终端设备上(如常见的手机与电视之间等等)，可进行多媒体(音频，视频，图片)内容的传输、解析、展示、控制等一系列操作，可以在不同终端设备显示同样的内容，并实现各个终端之间的内容互通。

经过检索，比较相关的专利分别如下：

中国专利公开号CN103248952B公开了一种智能终端与智能电视机多屏互动方法，包括以下步骤：(1)、智能电视机、智能终端、服务器两两之间建立网络连接；(2)、智能电视机、智能终端分别从服务器获取同一界面；(3)、智能终端在其本地界面执行操作，同时将操作指令发送至智能电视机，智能电视机在其本地界面相应位置处执行同样的操作。该发明的智能终端与智能电视机多屏互动方法，无需在智能终端和智能电视机之间传递大量数据，各端访问自己的，等于是独立操作，只不过在画面同步时发送了很短的同步指令，不仅节约带宽，而且速度快，界面同步性强。

中国专利公开号CN102595239A公开了一种终端系统的多屏互动方法、装置及智能电视机，所述方法包括：所述目标终端设备与多个源终端设备建立无线网络连接；在目标终端设备显示屏上，生成与每一源终端设备对应的显示子窗口；在每一显示子窗口上，显示对应的源终端设备分享的媒体数据。该发明实现将不同终端设备的内容可以在同一终端设备上进行显示分享，从而多个终端设备用户可以在同一显示设备上进行显示、分享，提升了用户体验。

中国专利公开号CN103279320B公开了一种互动投影系统多个不同分辨率的屏幕进行互动显示的方法，它包括以下步骤：获取第一显示设备显示参数并计算像素高和像素宽；第一显示设备获取显示文件并显示；获取第二显示设备显示参数并计算像素高和像素宽；对显示文件图帧进行大小转换和位置转换；将转换后的显示文件图帧发送至第二显示设备；第二显示设备获取显示文件，将显示文件图帧显示出来。该发明通过分辨率的转换，确保了同一显示目标在不同显示设备上显示的尺寸也能保持一致并且显示目标在不同显示设备间衔接紧密，解决了不同显示设备多屏拼接显示衔接效果差的问题。

但是上述现有的多屏互动系统，有基于拼接显示方案的，虽然解决了多显示设备下的画面尺寸一致问题，但是不适用于非拼接的智能移动终端和智能显示设备间的跨屏互动显示，而且需要对每个像素点都进行一次坐标转换，效率不高；有基于画面分享并各自可独立操作的多屏互动，虽然同步操作指令节约了带宽提升了同步速度，但是每个屏的画面内容是相同的，没有嵌套式显示带来的沉浸式的无缝体验，两个屏物理上是分离的，另外也没有跨屏嵌套式触控的互动体验。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种触控移动终端和触控固定终端多屏嵌套式互动的方法。

本发明的目的可以通过以下技术方案来实现：

根据本发明的一个方面，提供了一种触控移动终端和触控固定终端多屏嵌套式互动的方法，该方法适用于至少包含两个显示设备D1、D2，两个触摸设备T1、T2，以及至少包含两个显示坐标系的场景，所述方法包括：

当检测到移动终端和固定终端的空间位置关系发生变化且同时满足设定条件时，设置D1和D2显示坐标系间的旋转平移缩放转换参数；

移动终端和固定终端建立数据连接并同步数字内容；

利用坐标转换参数，将数字内容投射到至少一个显示设备；

在T1，T2设备中采集至少一个触摸设备的触摸信息，对数字内容进行几何变换，重新投射到D1显示设备，或D2显示设备，或部分D1显示设备和部分D2显示设备。

作为优选的技术方案，所述检测到移动终端和固定终端的空间位置关系发生变化且同时满足设定条件，具体包括：

201)移动终端和固定终端通过低精度距离传感器检测终端间距离，距离小于预定的阈值时，执行202)；

202)通过模拟量传感器或图像采集设备，检测移动终端和固定终端的空间位置；

203)移动终端和固定终端的空间位置同时满足以下条件：

·x0<＝x0’<＝x1或者x0<＝x1’<＝x1

·y0<＝y0’<＝y1或者y0<＝y1’<＝y1

·abs(z0’-z0)<epsilon

其中(x0,y0,z0)–(x1,y1,z0)为固定终端的空间位置，(x0’,y0’,z0’)–(x1’,y1’,z1’)为移动终端的空间位置，其中abs(z0’-z0)表示移动终端和固定终端在z方向的距离绝对值，epsilon为设定的距离阈值。

作为优选的技术方案，所述设置D1和D2显示坐标系间的旋转平移缩放转换参数，具体包括：

301)D1和T1属于移动终端，D2和T2属于固定终端，设置T1，D1的坐标系间的旋转平移缩放转换参数Param(T1,D1)；

302)设置T2，D2的坐标系间的旋转平移缩放转换参数Param(T2,D2)；

303)移动终端在固定终端的触摸平面上，固定终端的触摸设备T2采集触摸信息，采集到移动终端的外边沿在T2触摸坐标系中的轮廓信息PhoneBound；

304)通过移动终端外边沿在其触摸设备T1的触摸坐标系中的TouchBound，303)中的PhoneBound，以及T1，T2的触摸坐标系分辨率和坐标刻度，计算T1，T2的触摸坐标系间的旋转平移缩放转换参数Param(T1,T2)；

305)通过移动终端外边沿在其显示设备D1的显示坐标系中的ShowBound，D1、D2的显示DPI，Param(T1,D1),Param(T2,D2),Param(T1,T2)，计算获得D1，D2的显示坐标系间的转换参数Param(D1,D2)。

作为优选的技术方案，所述移动终端和固定终端建立数据连接并同步数字内容，具体包括：

401)移动终端和固定终端建立数据连接；

402)每个终端依次发起同步请求，并将本地数字内容同步给其他终端；

403)完成数字内容同步。

作为优选的技术方案，所述终端发起同步请求，并将本地数字内容同步给其他终端，包含：

501)每个终端维护本地的数字内容，并维护一个数字内容哈希值列表，数字内容哈希值是根据数字内容计算得来，不同的数字内容哈希值不同，一个哈希值唯一对应一份数字内容，根据数字内容哈希值可快速索引到具体的数字内容；

502)终端B发起同步请求，传输本地数字内容哈希值列表给终端A；

503)终端A将本地数字内容哈希值列表和终端B发送来的数字内容哈希值列表进行对比，发现本地缺少的数字内容哈希值，通过哈希值构造索取内容请求，发送索取内容请求给终端B；

504)终端B在收到索取内容请求后，根据哈希值找到本地对应的数字内容并发送给终端A；

505)终端A收到终端B发出的数字内容，更新本地数字内容以及数字内容哈希值列表；

506)终端B的数字内容到终端A的同步过程完成。

作为优选的技术方案，所述移动终端和固定终端同步数字内容，还包含数字内容的更新和同步过程，该过程具体包括：

601)终端A添加、删除或修改本地数字内容；

602)更新本地数字内容哈希值列表：

·添加Word/PowerPoint/Excel/PDF文件，将每页转换成一个图片文件，每个图片文件文件名不同，每个图片文件代表一份数字内容，为每份数字内容生成哈希值，并更新本地数字内容以及数字内容哈希值列表；

·添加图片文件，生成哈希值，更新本地数字内容以及数字内容哈希值列表；

·添加视频或者图片序列帧文件，提取视频或者图片序列帧中的特定帧图片存为该视频或者图片序列帧的摘要图片文件，为视频或者图片序列帧文件以及摘要图片文件分别生成哈希值，并更新本地数字内容，摘要图片文件和视频或者图片序列帧文件时一一对应并且可互相索引；

·删除本地文件，删除本地对应的数字内容以及数字内容哈希值列表中的对应项；

·修改本地文件，重新计算哈希值并更新本地数字内容以及数字内容哈希值列表；

603)向其他终端通知发起同步请求；

604)其他终端响应同步请求，完成终端A本地数字内容到其他终端的同步。

作为优选的技术方案，所述利用坐标转换参数，将数字内容投射到至少一个显示设备，具体包括：

701)设置统一的显示坐标系DisplayWorld，DisplayWorld为以下任意一种：

·固定终端的显示坐标系；

·移动终端的显示坐标系；

·物理坐标系；

·虚拟的逻辑坐标系；

702)设置移动终端显示设备D1的显示坐标系和DisplayWorld之间的转换参数Param(D1，DisplayWorld)，设置固定终端显示设备D2的显示坐标系和DisplayWorld之间的转换参数Param(D2,DisplayWorld)，设置数字内容在DisplayWorld上的显示范围MediaScope，D1在DisplayWorld中的显示范围D1Scope，D2在DisplayWorld中的显示范围D2Scope；

703)D1Scope∩MediaScope＝>MediaScopeD1，D2Scope∩MediaScope＝>MediaScopeD2，这里∩表示几何范围进行求交，＝>表示几何运算得到的新范围，MediaScopeD1、MediaScopeD2可以为空，若MediaScopeD1为空，表示D1Scope和MediaScope没有交集，也即数字内容不在D1设备上显示；

704)MediaScopeD2–MediaScopeD1＝>MediaScopeD2SubD1，这里-表示减法，即A-B＝A–(A∩B)；

705)如果MediaScopeD1不为空，利用Param(D1,DisplayWorld)将数字内容在MediaScopeD1范围内的部分转换到D1的坐标系下并在D1的显示设备上显示；如果MediaScopeD2不为空，利用Param(D2,DisplayWorld)将数字内容在MediaScopeD2或者MediaScopeD2SubD1范围内的部分转换到D2的坐标系下并在D2的显示设备上显示；

706)如果MediaD2SubD1为空，且选择了MediaD2SubD1作为在D2显示设备上的显示范围，则M不在D2上显示。

作为优选的技术方案，所述在T1,T2设备中采集至少一个触摸设备的触摸信息，对数字内容进行几何变换，具体包括：

801)设置统一的触摸坐标系TouchWorld，TouchWorld为以下任意一种：

οT1的触摸坐标系；

οT2的触摸坐标系；

ο物理坐标系；

ο虚拟的逻辑坐标系；

802)设置T1,T2的触摸坐标系到TouchWorld触摸坐标转换参数Param(T1，TouchWorld)，Param(T2,TouchWorld)；

803)采集T1,T2中至少一个触摸设备的触摸信息TouchPoints，包括：

ο在T1或者T2设备中采集单个的触摸信息；

ο在T1或者T2设备中采集两个以上的触摸信息；

ο在t1时刻在T1设备中采集触摸信息，t2时刻在T2设备中采集触摸信息，其中t1<＝t2；

804)通过Param(T1,TouchWorld),Param(T2,TouchWorld)，将触摸信息TouchPoints转换到坐标系TouchWorld中得到TouchPoints’；

805)利用TouchPoints对数字内容进行几何变换。

作为优选的技术方案，所述在T1,T2设备中采集至少一个触摸设备的触摸信息，对数字内容进行几何变换，具体包括：

901)通过数字内容在终端间的分布信息，决定触摸采集策略，如果数字内容在终端上未显示，则不采集该终端触摸设备上的触摸信息；

902)如果仅在一个触摸设备上采集触摸信息，则直接对数字内容进行几何变换并更新数字内容在终端间的分布信息；

903)如果在固定终端触摸设备上采集检测到移动终端的外边沿轮廓PhoneBound发生变化，利用PhoneBound更新D1和D2显示坐标系间的旋转平移缩放转换参数，更新数字内容在终端间的分布信息；

904)当在T1，T2两个触摸设备上都采集触摸信息时，T1上采集触摸信息TouchPoint1，T2上采集触摸信息TouchPoint2，则通过数据连接，T1和T2同步触摸信息并分别在各自的显示设备上对数字内容进行几何变换。

作为优选的技术方案，所述数字内容重新投射到D1显示设备，或D2显示设备，或部分D1显示设备和部分D2显示设备，具体包括：

·数字内容仅完整显示在D1；

·数字内容仅完整显示在D2；

·数字内容部分显示在D1，部分显示在D2，D2上显示的数字内容从视觉上被D1显示设备遮住的部分；

·数字内容完整显示在D1，也完整显示在D2上，但是D2上显示的数字内容从视觉上被D1显示设备遮住。

与现有技术相比，本发明具有以下优点：

1)本发明触控移动终端和触控固定终端多屏嵌套式互动的技术，既给人带来沉浸式的多屏嵌套式无缝触控的自然体验，又高效同步，速度快；

2)本发明充分利用终端的特性，触控移动终端和触控固定终端的区别在于移动终端体积小，适合随身携带，而固定终端体积相对较大，触摸和显示面积也更大，相对“移动”终端而言更加“固定”一点。

附图说明

图1为图片跨屏展示示意图；

图2为固定终端的触摸和显示坐标原点以及移动终端的触摸和显示区域角点示意图；

图3为素材同步更新展示示意图；

图4为单指触控操作示意图；

图5为移动终端触摸坐标到固定终端触摸坐标转换示意图；

图6为双指分别同时在固定终端和移动终端上触摸对数字内容进行几何变换示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

本发明一种触控移动终端和触控固定终端多屏嵌套式互动的方法，该方法实现了沉浸式的多屏嵌套式无缝触控的自然体验，为方便说明，本实施例固定终端为一个红外触摸桌，移动终端为一个智能手机，移动终端具备触摸设备T1，显示设备D1，固定终端具备触摸设备T2，显示设备D2，本实施例具体包括以下步骤：

1.固定终端通过蓝牙iBeacon发送信号，移动终端通过扫描iBeacon信号，当扫描到的信号低于预先设定的阈值，表明移动终端靠近固定终端；

2.移动终端和固定终端建立数据连接并同步数字内容，包括：

2a)移动终端和固定终端建立数据连接；

2b)初始各终端本地数字内容为空，通过以下步骤添加、修改、删除文件构建和变更本地数字内容:

·添加Word/PowerPoint/Excel/PDF文件，将每页转换成一个图片文件，每个图片文件文件名不同，每个图片文件代表一份数字内容，为每份数字内容生成哈希值，并更新本地数字内容以及数字内容哈希值列表；

·添加图片文件，生成哈希值，更新本地数字内容以及数字内容哈希值列表；

·添加视频或者图片序列帧文件，提取视频或者图片序列帧中的特定帧图片存为该视频或者图片序列帧的摘要图片文件，为视频或者图片序列帧文件以及摘要图片文件分别生成哈希值，并更新本地数字内容，摘要图片文件和视频或者图片序列帧文件时一一对应并且可互相索引；

·删除本地文件，删除本地对应的数字内容以及数字内容哈希值列表中的对应项；

·修改本地文件，重新计算哈希值并更新本地数字内容以及数字内容哈希值列表；

2c)每个终端依次按以下步骤发起同步请求，将自身本地的数字内容同步给其他终端：

·终端B发起同步请求，传输本地数字内容哈希值列表给其它终端A；

·终端A将本地数字内容哈希值列表和终端B发送来的数字内容哈希值列表进行对比，发现本地缺少的数字内容哈希值，通过哈希值向终端B发起索取数字内容请求；

·终端B在收到数字内容请求后，根据哈希值找到本地对应的数字内容并发送给终端A；

·终端A收到终端B发出的数字内容，并更新本地数字内容哈希值列表，确保本地数字内容哈希值列表包含所有503)中终端B发送来的哈希值；

·完成终端B的数字内容同步给其它终端；

2d)数字内容同步完成；

3.识别移动终端和固定终端的空间位置满足预先设定的条件:

3a)通过移动终端上的陀螺仪，加速度传感器，重力传感器，或者摄像头，识别到t1时刻移动终端放置在固定终端的触控显示平面上；

3b)固定终端通过触控检测，t2时刻检测到类似移动终端外形的触摸物体；

3c)移动终端将t1通知固定终端，固定终端检测发现abs(t1-t2)<e(e为预先设定的时间阈值)，则认为移动终端放置到了固定终端上，这个时候满足条件:

固定终端的空间位置为(x0,y0,z0)–(x1,y1,z0),移动终端的空间位置为(x0’,y0’,z0’)–(x1’,y1’,z1’)，同时满足以下条件时：

·x0<＝x0’<＝x1或者x0<＝x1’<＝x1

·y0<＝y0’<＝y1或者y0<＝y1’<＝y1

·abs(z0’-z0)<epsilon

3d)记录固定终端检测到的移动终端触摸外边沿轮廓PhoneBound，PhoneBound通常是矩形，但也可以是带旋转角度的矩形或者多边形(至少3边)；

4.设置T1，T2，D1，D2的坐标系间转换参数，包括：

4a)取物理坐标系作为统一的坐标系World，World取0.1mm作为精度，取T2的左上角作为物理坐标系的原点；

4b)设置T2的触摸坐标系到World的转换参数Param(T2,World)；

4c)获得D2的DPI以及显示分辨率，以及T2的触摸坐标系到D2的显示坐标系的转换参数Param(T2,D2)，计算得到D2的显示坐标系到World的转换参数Param(D2,World)；

4d)根据T2检测到的移动终端的外边沿轮廓PhoneBound(至少含有3个顶点)，以及移动终端外边沿在T1中的TouchBound，T1的触摸坐标系分辨率和坐标刻度，计算得到T1的触摸坐标系到T2的触摸坐标系的转换参数Param(T1,T2)；

4d)根据Param(T2,World),Param(T1,T2)计算得到T1的触摸坐标系到World的坐标转换参数Param(T1,World)；

4e)获得D1的DPI以及显示分辨率，以及T1的触摸坐标系到D1的显示坐标系的转换参数Param(T1,D1)，计算得到D1的显示坐标系到World的转换参数Param(D1,World)；

5.利用坐标转换参数，将数字内容投射到至少一个显示设备，包括：

5a)假定初始选择数字内容M以其在D2的原始像素大小作为显示大小SizeD2，并选择World的原点作为显示区域左上角，则将SizeD2通过Param(D2,World)计算得到M在World中的显示范围MediaScope；

5b)利用Param(D1,World),将D1设备的显示范围换算World得到D1Scope,利用Param(D2,World)，将D2的显示范围换算到World得到D2Scope；

5c)利用D1Scope和MediaScope求交得到MediaScopeD1，利用D2Scope和MediaScope求交得到MediaScopeD2，这里如果MediaScopeD1为空，则表示M的显示范围和D1的显示范围没有交集，也即M不在D1上显示，同理如果MediaScopeD2为空，则M不在D2上显示；

5d)从MediaScopeD2中去掉和MediaScopeD1相交的部分得到MediaScopeD2SubD1；

5e)如果MediaScopeD1不为空，利用Param(D1,DisplayWorld)将数字内容在MediaScopeD1范围内的部分转换到D1的坐标系下并在D1的显示设备上显示；如果MediaScopeD2不为空，利用Param(D2,DisplayWorld)将数字内容在MediaScopeD2或者MediaScopeD2SubD1范围内的部分转换到D2的坐标系下并在D2的显示设备上显示；

5f)如果MediaD2SubD1为空，且选择了MediaD2SubD1作为在D2显示设备上的显示范围，则M不在D2上显示；

6.在T1,T2设备中采集至少一个触摸设备的触摸信息，对数字内容进行几何变换，重新投射到D1显示设备，或D2显示设备，或部分D1显示设备部分D2显示设备，包括：

6a)固定终端采集触摸信息，检测移动终端的外边沿轮廓PhoneBound，如果PhoneBound发生变化，则更新相关坐标转换参数Param(T1,World)、Param(D1,World)，并按步骤5将数字内容重新投射到D1显示设备，或D2显示设备，或者部分D1显示设备部分D2显示设备；

6b)固定终端和移动终端的触摸设备均在扫描，当其中一个终端采集到触摸信息或者两个终端都采集到触摸信息，按以下步骤对数字内容进行几何变换操作：

·将T1采集到的触摸信息TouchPoints1通过Param(T1,World)转换到World中得到TouchPoints1’，将T2采集到的触摸信息TouchPoints2(不包含PhoneBound对应的触摸信息)通过Param(T2,World)转换到World中得到TouchPoints2’，这里如果TouchPoints1为空表示T1没有采集到触摸信息，同理，如果TouchPoints2为空，则表示T2没有采集到触摸信息；

·利用TouchPoints1’和TouchPoints2’对数字内容在World中进行几何变换，并按步骤5将数字内容重新投射到D1显示设备，或D2显示设备，或者部分D1显示设备部分D2显示设备；

6c)步骤6b中的利用TouchPoints1’和TouchPoints2’对数字内容尽心几何变换，包括：

·单点对数字内容进行旋转平移缩放；

·两点或多点对数字内容进行旋转平移缩放，这里的两点或多点可以都来自TouchPoints1’,可以都来自TouchPoints2’,也可以部分来自TouchPoints1’部分来自TouchPoints2’；

6d)数字内容几何变换完，按步骤5对数字内容进行重新投射；

具体实施案例如下：

如图1所示，为图片多屏嵌套式展示示意图，其中S1001表示固定终端显示区域；S1002表示移动终端显示区域；S1003、S1005、S1007、S1009表示数字内容在固定终端上的显示部分；S1004、S1006、S1008、S1010表示数字内容在移动终端上的显示部分；S1005表示数字内容在固定终端上是完整显示的，S1009表示数字内容在固定终端上仅显示未被移动终端物理遮挡的部分；S1006表示数字内容在移动终端上先进行裁切后再进行显示，S1010表示数字内容在移动终端上是完整显示的，但是部分在显示区域外的则不可见；

如图2所示，为固定终端的触摸和显示坐标原点以及移动终端的触摸和显示区域角点示意图，其中S201表示固定终端的触摸区域原点，S202表示固定终端的显示区域原点；S203表示固定终端，S204表示移动终端；S205表示移动终端触摸区域右上角点，S206表示移动终端显示区域右上角点；

如图3所示，为数字内容同步更新展示示意图，其中S301表示固定终端显示区域，S302表示同步更新展示的数字内容，S303表示数字内容在固定终端显示的部分，S304表示数字内容在移动终端显示的区域，S305表示移动终端显示区域，

如图4所示，为单指触控操作示意图，其中S401表示固定终端显示区域，S402表示触控选中的数字内容，S403表示数字内容在固定终端显示的部分，S404表示手指触控位置，S405表示数字内容在移动终端显示的区域，S406表示移动终端显示区域，当手指拖拽图片移动时，手指触摸位置S404产生的物理位移，使得S402、S403、S405同步产生相同的物理位移，产生的效果是数字内容整体流畅的移动，S403和S406显示的数字内容无缝衔接变换；比方单指先在固定终端上进行触摸，之后向右移动到达移动终端边沿，并继续向右移动，这时手指切换到移动终端上进行触摸，在这整个过程，数字内容始终跟随着手指进行等量位移的移动，并保持整体显示自然变换衔接；

如图5所示，为移动终端触摸坐标到固定终端触摸坐标转换示意图，其中S501表示固定终端的触摸区域，S502表示移动终端触摸区域右上角点，S503表示固定终端检测到的移动终端外边沿轮廓四边形的左上角点，S504表示移动终端触摸区域的一个触摸点，S505表示将S504进行坐标变换到固定终端触摸坐标系时对应的位置坐标。

如图6所示，为双指分别同时在固定终端和移动终端上触摸对数字内容进行几何变换示意图，S601为数字内容，S602为数字内容在固定终端上的显示部分，S603为数字内容在移动终端上的显示部分，S604为固定终端触摸显示平面，S605为移动终端触摸显示平面，S606为在固定终端触摸平面触摸的手指，S607为在移动终端触摸平面触摸的手指；S606触摸在了S602，S607触摸在了S603，而S602和S603属于同一个数字内容S601，所以S606和S607是在触摸操作同一个数字内容，将二者联合起来对S601进行几何变换，比如当S606向左平移而S607像右平移，则通过坐标转换在物理世界坐标系中这两个手指对S601进行了一个放大操作，将S601放大后，再重新计算S602，S603并显示。

通过上述技术，既给人带来沉浸式的多屏嵌套式无缝触控的自然体验，又高效同步，速度快。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种触控移动终端和触控固定终端多屏嵌套式互动的方法，该方法适用于至少包含两个显示设备D1、D2，两个触摸设备T1、T2，以及至少包含两个显示坐标系的场景，其特征在于，所述方法包括：

当检测到移动终端和固定终端的空间位置关系发生变化且同时满足设定条件时，设置D1和D2显示坐标系间的旋转平移缩放转换参数；

移动终端和固定终端建立数据连接并同步数字内容；

利用坐标转换参数，将数字内容投射到至少一个显示设备；

在T1，T2设备中采集至少一个触摸设备的触摸信息，对数字内容进行几何变换，重新投射到D1显示设备，或D2显示设备，或部分D1显示设备和部分D2显示设备；

所述检测到移动终端和固定终端的空间位置关系发生变化且同时满足设定条件，具体包括：

201)移动终端和固定终端通过低精度距离传感器检测终端间距离，距离小于预定的阈值时，执行202)；

202)通过模拟量传感器或图像采集设备，检测移动终端和固定终端的空间位置；

203)移动终端和固定终端的空间位置同时满足以下条件：

·x0<＝x0’<＝x1或者x0<＝x1’<＝x1

·y0<＝y0’<＝y1或者y0<＝y1’<＝y1

·abs(z0’-z0)<epsilon

其中(x0,y0,z0)–(x1,y1,z0)为固定终端的空间位置，(x0’,y0’,z0’)–(x1’,y1’,z1’)为移动终端的空间位置，其中abs(z0’-z0)表示移动终端和固定终端在z方向的距离绝对值，epsilon为设定的距离阈值；

所述设置D1和D2显示坐标系间的旋转平移缩放转换参数，具体包括：

301)D1和T1属于移动终端，D2和T2属于固定终端，设置T1，D1的坐标系间的旋转平移缩放转换参数Param(T1,D1)；

302)设置T2，D2的坐标系间的旋转平移缩放转换参数Param(T2,D2)；

303)移动终端在固定终端的触摸平面上，固定终端的触摸设备T2采集触摸信息，采集到移动终端的外边沿在T2触摸坐标系中的轮廓信息PhoneBound；

304)通过移动终端外边沿在其触摸设备T1的触摸坐标系中的TouchBound，303)中的PhoneBound，以及T1，T2的触摸坐标系分辨率和坐标刻度，计算T1，T2的触摸坐标系间的旋转平移缩放转换参数Param(T1,T2)；

305)通过移动终端外边沿在其显示设备D1的显示坐标系中的ShowBound，D1、D2的显示DPI，Param(T1,D1),Param(T2,D2),Param(T1,T2)，计算获得D1，D2的显示坐标系间的转换参数Param(D1,D2)；

所述利用坐标转换参数，将数字内容投射到至少一个显示设备，具体包括：

701)设置统一的显示坐标系DisplayWorld，DisplayWorld为以下任意一种：

·固定终端的显示坐标系；

·移动终端的显示坐标系；

·物理坐标系；

·虚拟的逻辑坐标系；

702)设置移动终端显示设备D1的显示坐标系和DisplayWorld之间的转换参数Param(D1，DisplayWorld)，设置固定终端显示设备D2的显示坐标系和DisplayWorld之间的转换参数Param(D2,DisplayWorld)，设置数字内容在DisplayWorld上的显示范围MediaScope，D1在DisplayWorld中的显示范围D1Scope，D2在DisplayWorld中的显示范围D2Scope；

703)D1Scope∩MediaScope＝>MediaScopeD1，D2Scope∩MediaScope＝>MediaScopeD2，这里∩表示几何范围进行求交，＝>表示几何运算得到的新范围，MediaScopeD1、MediaScopeD2可以为空，若MediaScopeD1为空，表示D1Scope和MediaScope没有交集，也即数字内容不在D1设备上显示；

704)MediaScopeD2–MediaScopeD1＝>MediaScopeD2SubD1，这里-表示减法，即A-B＝A–(A∩B)；

705)如果MediaScopeD1不为空，利用Param(D1,DisplayWorld)将数字内容在MediaScopeD1范围内的部分转换到D1的坐标系下并在D1的显示设备上显示；如果MediaScopeD2不为空，利用Param(D2,DisplayWorld)将数字内容在MediaScopeD2或者MediaScopeD2SubD1范围内的部分转换到D2的坐标系下并在D2的显示设备上显示；

706)如果MediaD2SubD1为空，且选择了MediaD2SubD1作为在D2显示设备上的显示范围，则M不在D2上显示；

所述在T1,T2设备中采集至少一个触摸设备的触摸信息，对数字内容进行几何变换，具体包括：

801)设置统一的触摸坐标系TouchWorld，TouchWorld为以下任意一种：

o T1的触摸坐标系；

o T2的触摸坐标系；

o物理坐标系；

o虚拟的逻辑坐标系；

802)设置T1,T2的触摸坐标系到TouchWorld触摸坐标转换参数Param(T1，TouchWorld)，Param(T2,TouchWorld)；

803)采集T1,T2中至少一个触摸设备的触摸信息TouchPoints，包括：

o在T1或者T2设备中采集单个的触摸信息；

o在T1或者T2设备中采集两个以上的触摸信息；

o在t1时刻在T1设备中采集触摸信息，t2时刻在T2设备中采集触摸信息，其中t1<＝t2；

804)通过Param(T1,TouchWorld),Param(T2,TouchWorld)，将触摸信息TouchPoints转换到坐标系TouchWorld中得到TouchPoints’；

805)利用TouchPoints对数字内容进行几何变换。

2.根据权利要求1所述的方法，其特征在于，所述移动终端和固定终端建立数据连接并同步数字内容，具体包括：

401)移动终端和固定终端建立数据连接；

402)每个终端依次发起同步请求，并将本地数字内容同步给其他终端；

403)完成数字内容同步。

3.根据权利要求2所述的方法，其特征在于，所述终端发起同步请求，并将本地数字内容同步给其他终端，包含：

501)每个终端维护本地的数字内容，并维护一个数字内容哈希值列表，数字内容哈希值是根据数字内容计算得来，不同的数字内容哈希值不同，一个哈希值唯一对应一份数字内容，根据数字内容哈希值可快速索引到具体的数字内容；

502)终端B发起同步请求，传输本地数字内容哈希值列表给终端A；

503)终端A将本地数字内容哈希值列表和终端B发送来的数字内容哈希值列表进行对比，发现本地缺少的数字内容哈希值，通过哈希值构造索取内容请求，发送索取内容请求给终端B；

504)终端B在收到索取内容请求后，根据哈希值找到本地对应的数字内容并发送给终端A；

505)终端A收到终端B发出的数字内容，更新本地数字内容以及数字内容哈希值列表；

506)终端B的数字内容到终端A的同步过程完成。

4.根据权利要求2所述的方法，其特征在于，所述移动终端和固定终端同步数字内容，还包含数字内容的更新和同步过程，该过程具体包括：

601)终端A添加、删除或修改本地数字内容；

602)更新本地数字内容哈希值列表：

·添加Word/PowerPoint/Excel/PDF文件，将每页转换成一个图片文件，每个图片文件文件名不同，每个图片文件代表一份数字内容，为每份数字内容生成哈希值，并更新本地数字内容以及数字内容哈希值列表；

·添加图片文件，生成哈希值，更新本地数字内容以及数字内容哈希值列表；

·添加视频或者图片序列帧文件，提取视频或者图片序列帧中的特定帧图片存为该视频或者图片序列帧的摘要图片文件，为视频或者图片序列帧文件以及摘要图片文件分别生成哈希值，并更新本地数字内容，摘要图片文件和视频或者图片序列帧文件时一一对应并且可互相索引；

·删除本地文件，删除本地对应的数字内容以及数字内容哈希值列表中的对应项；

·修改本地文件，重新计算哈希值并更新本地数字内容以及数字内容哈希值列表；

603)向其他终端通知发起同步请求；

604)其他终端响应同步请求，完成终端A本地数字内容到其他终端的同步。

5.根据权利要求1所述的方法，其特征在于，所述在T1,T2设备中采集至少一个触摸设备的触摸信息，对数字内容进行几何变换，具体包括：

901)通过数字内容在终端间的分布信息，决定触摸采集策略，如果数字内容在终端上未显示，则不采集该终端触摸设备上的触摸信息；

902)如果仅在一个触摸设备上采集触摸信息，则直接对数字内容进行几何变换并更新数字内容在终端间的分布信息；

903)如果在固定终端触摸设备上采集检测到移动终端的外边沿轮廓PhoneBound发生变化，利用PhoneBound更新D1和D2显示坐标系间的旋转平移缩放转换参数，更新数字内容在终端间的分布信息；

904)当在T1，T2两个触摸设备上都采集触摸信息时，T1上采集触摸信息TouchPoint1，T2上采集触摸信息TouchPoint2，则通过数据连接，T1和T2同步触摸信息并分别在各自的显示设备上对数字内容进行几何变换。

6.根据权利要求1所述的方法，其特征在于，所述数字内容重新投射到D1显示设备，或D2显示设备，或部分D1显示设备和部分D2显示设备，具体包括：

·数字内容仅完整显示在D1；

·数字内容仅完整显示在D2；

·数字内容部分显示在D1，部分显示在D2，D2上显示的数字内容从视觉上被D1显示设备遮住的部分；

·数字内容完整显示在D1，也完整显示在D2上，但是D2上显示的数字内容从视觉上被D1显示设备遮住。

Images