CN106791041B - 一种智能终端间的信息传输方法 - Google Patents

Abstract

本发明提出一种智能终端间的信息传输方法，该方法包括：第一智能终端通过第一摄像头拍摄第二智能终端的第二显示功能部件，所述第二智能终端通过第二摄像头拍摄所述第一智能终端的第一显示功能部件，所述第一智能终端和所述第二智能终端通过相互间的拍摄进行数据信息传输，从而生成移动指导图示，用户根据所述移动指导图示移动所述第一智能终端或是所述第二智能终端，使得所述第一智能终端和所述第二智能终端快速的到达较佳的相互拍摄位置。采用本发明可以很快速的建立起通信通道，更快的达到最大的通信速率潜力或所需的通信速率，以减少交互所需要的时间，改善客户体验，从而使用户更容易达到使用要求，更便于客户操作。

Description

一种智能终端间的信息传输方法

技术领域

本发明涉及一种信息传输方法，特别涉及一种无任何网络情况下，在两个或两个以上智能终端间快速、安全传输信息的信息传输方法。

背景技术

现有技术中，智能终端(如手机)在利用摄像头拍摄图形码进行信息转递时，普遍都是单向的、效率低，且存在信息易被复制窃取的风险。两个智能终端通过摄像头的互拍，信息双向实时传递，效率高，大大降低了信息传递过程的被复制冒领的风险，并且在两个智能终端互拍的过程中存在一个关键问题：但由于存在两个图形码、两个摄像头，如何方便的指导用户放置智能终端的位置(包括平移位置、角度、距离)，使得两个显示屏上的目标显示区域 (即图形码的显示区域)分别以适当大小位于对方摄像头能拍摄到的范围内一直长期困扰着本领域中的技术人员。由于下面的原因，致使上述目标难以实现：

第一，如图1所示，第一智能终端S1，其摄像头和屏幕都朝下，和第二智能终端S2相对并相互拍摄，任何一个用户在移动手机时，必须同时反复观察两个目标显示区域在对应摄像头中的位置、形状、大小，才能确定是否两个摄像头都拍摄到了对方的屏幕的目标区域。由于手机的移动方式和目标显示区域在摄像头里面的位置的移动关系并不直观，实际上非常抽象，如图15所示，第一、第二摄像头中的两个拍摄画面，怎么移动，应该移动多少都是很抽象的，即使是通过各种办法看到了两个摄像头中的目标显示区域的位置、大小、形状，也无法用于直接指导用户如何移动手机，以达到更优的结果。

第二，由于某一智能终端的移动，不仅会导致对方目标显示区域在己方摄像头中的位置、大小、形状的变动，同时也会导致自己的目标显示区域在对方摄像头中的位置、大小、形状的变动，比如若已经把第一图形码置于第二摄像头较佳的拍摄区域中，当用户试图进一步尝试把第二图形码也置于第一摄像头较佳的拍摄区域中，需要移动某一智能终端，这时反而极有可能会破坏第一个图形码在第二摄像头中较佳的拍摄区域。因此一个智能终端移动会同时导致两个图形码在两个摄像头中的位置的变化，因此要凑出一个较优的相对位置，必须同时照顾到两个目标显示区域在摄像头中的位置、大小形状才能提供移动指导，而这个过程是非常抽象的。

第三，在移动过程中，需要反复观察两个摄像头中的内容，而两个智能终端又是较近距离相向而放置，因此非常不便利同时看两块屏幕，需要反复的移动用户的头部，并调整眼睛观察的角度。

第四，两个智能终端除了平移、角度位置重要外，适当的距离也很重要，而距离会和屏幕大小、摄像头的分辨率、要传送的数据量关系密切，必须根据当时的情景找出较优的间距，间距大，相对来讲容易找到合适的位置，但是图形码在摄像头中的区域就会变小，传输的信息就会变少，从而影响用户体验并影响应用范围。

第五，每个智能终端的屏幕大小不一，摄像头分辨率不一，摄像头和屏幕的相对位置不一(可能在靠左的位置，也可能在很靠右的位置)，等效焦距不一(等效焦距大致与摄像头的拍摄张角对应)，导致任何两个手机相互互拍，最佳的理论位置都可能不相同。

发明内容

本发明针对上述现有技术存在的诸多问题，提供一种只通过观察单个屏幕的移动指导区域，就可以知道如何移动智能终端，以获得较佳的拍摄效果的信息传输方法，以实现在两个或两个以上智能终端间快速、安全的传输信息。

为实现本发明的目的，本发明采用的技术方案是：

一种智能终端间的信息传输方法，其特征在于，包括：第一智能终端，具有第一摄像头和第一显示功能部件；第二智能终端，具有第二摄像头和第二显示功能部件；所述第一智能终端通过所述第一摄像头拍摄所述第二智能终端的所述第二显示功能部件，所述第二智能终端通过所述第二摄像头拍摄所述第一智能终端的所述第一显示功能部件，所述第一智能终端和所述第二智能终端通过相互间的拍摄进行数据信息传输，从而生成移动指导图示，用户根据所述移动指导图示移动所述第一智能终端或是所述第二智能终端，使得所述第一智能终端和所述第二智能终端快速的到达较佳的相互拍摄位置。进一步地，通过所述第一智能终端和所述第二智能终端相互间的拍摄传输数据信息，仅观察单个的所述第一显示功能部件或是所述第二显示功能部件中的移动指导图示来指导移动所述第一智能终端和/或所述第二智能终端。进一步地，所述第一智能终端和所述第二智能终端通过相互拍摄对方的图形码来传输数据信息。

进一步地，所述图形码为：所述第一智能终端和所述第二智能终端只要拍摄到所述图形码较小的部分区域，就能够得到被拍摄的所述较小的部分区域位于整个所述图形码中的位置区域，并能够恢复出被拍摄部分的数据信息。

进一步地，通过所述图形码传递相关参数，重建整个所述第一智能终端和所述第二智能终端的三维空间位置模型，从而推测出己方图形码在对方摄像头拍摄区域中的位置。

进一步地，所述相关参数包括：图形码横向和竖向色块的个数；每个色块所占的像素数；摄像头屏幕的物理尺寸和屏幕的分辨率；图形码的某一个顶点和屏幕的某一个顶点的位置关系；己方摄像头和己方屏幕左上角的位置关系；摄像头水平和竖直方向的拍摄区域的夹角。

进一步地，所述图形码在对方拍摄区域中的位置是通过分析拍摄画面实现的或是分析重建的三维空间位置模型实现。

进一步地，在所述第一智能终端和/或所述第二智能终端上同时获得两个图形码分别在对方摄像头拍摄画面中的位置。

进一步地，所述移动指导图示的生成过程包括：步骤U1：几何校正步骤，将拍摄到的图像转化成标准图形；步骤U2：三维空间位置关系图构建步骤，所述第一智能终端或是所述第二智能终端分析所拍摄到的画面，确定相应摄像头和图形码的位置关系，构建三维空间位置模型；步骤U3：移动指导图示生成步骤，由拍摄画面生成移动指导图示。

进一步地，所述第一智能终端和所述第二智能终端通过相互间的拍摄进行数据信息传输在无网络情况下完成。

根据事先约定的图形码，摄像头只要拍到图形码较小的部分区域，就可以推测出被拍摄的部分位于整个图形码的什么位置区域，并能恢复出被拍摄部分的信息。通过图形码把对方的一些关键参数传递过来，从而重建整个3D空间位置模型，进一步推测己方图形码在对方摄像头拍摄区域中的位置。从而在任一单个终端上同时获得两个图形码分别在对方摄像头拍摄画面中的位置。从而仅通过单个终端上的单个画面就可以知道用户如何移动智能终端。从两个画面中综合出单个移动指导画面。由于当智能终端移动时，导致的图形码在拍摄画面中的移动规则非常复杂，因此，有必要将这些复杂的抽象的信息统一到一个直观的指导画面中。

本发明提供了一种具有良好体验的可实践方案，只需要最低的外界条件(对外界要求越低意味着最好的用户体验和最好的适应性)，即可先建立起基础通信连接，借此直观指导用户移动智能终端，使得通信双方可以大幅度提高他们之间的通信速度。而避免用户反复尝试，反复思考才能达到的技术效果。

在两个智能终端用摄像头互拍对方图形码进行数据通信的应用中，只观察单个屏幕的移动指导区域即可有效指导如何移动智能终端；

至少有一智能终端把己方的关键信息通过图形码传送给对方，使得对方可以获知己方的一些关键信息，包括下列参数的部分或全部(有些信息，可以采用默认值)，亦可以是这些参数的等效参数(即通过传递其他信息却可等效获得相应参数)，从而可以重建两智能终端中参与通信的关键要素的三维位置关系，所述三维位置关系包含第一、第二图形码和对方摄像头的位置关系。这些参数包括：1.)图形码横向和竖向色块的个数；2.)每个色块所占的像素数； 3.)屏幕的物理尺寸和屏幕分辨率；4.)图形码的某一个顶点和屏幕的某一个顶点的位置关系； 5.)己方摄像头和己方屏幕左上角的位置关系；6.)摄像头水平和竖直方向的拍摄区域的夹角，即图1中的角WP1M和角WP1N。

至少有一智能终端，通过分析第一图形码在第二摄像头拍摄区域中的位置，及第二图形码在第一摄像头拍摄区域中的位置，综合得出一图案，用于直观的指导用户如何移动智能终端。

上述分析第一图形码在第二摄像头拍摄区域中的位置是通过分析拍摄画面实现。

上述分析第二图形码在第一摄像头拍摄区域中的位置是通过分析重构的三维模型实现。

上述图形码的位置，是推测的位置，而不是基于最近一次拍摄取得或计算出来的位置。

图形码设计成只通过局部拍摄到的信息就可以定位被拍摄到的部分在整个图形码中的位置，且可以提取出拍摄到的信息。其中，图形码设计成通过拍摄到任意连续N个色块就可以定位并恢复相关数据；图形码设计成只通过黑白图像来实现。

本发明可以很快速的建立起通信通道，更快的达到最大的通信速率潜力或所需的通信速率，以减少交互所需要的时间，改善客户体验，或在相同的通信速率下，降低智能终端放置的相对位置要求，从而使用户更容易达到使用要求，更便于客户操作。

附图说明

图1是本发明智能终端互拍状态示意图；

图2是本发明智能终端屏幕区域划分示意图；

图3是本发明智能终端互拍三维空间坐标示意图；

图4是本发明位置码型生成机制示意图；

图5是本发明图形码合成示意图；

图6是本发明图形码布局生成示意图；

图7是本发明摄像头成像过程示意图；

图8是本发明第一智能终端特征信息示意图；

图9是本发明第二智能终端拍摄第一智能终端位置信息示意图

图10是本发明摄像头拍摄图形码实际画面示意图；

图11是本发明图形码实际拍摄画面几何校正示意图；

图12是本发明第二摄像头拍摄画面示意图；

图13是本发明平面EFGH相对第一智能终端LIJK位置示意图；

图14是本发明坐标计算过程中间示意图；

图15是本发明移动指导图示生成原理过程示意图；

图16是本发明cox5坐标系建立示意图；

图17是本发明第一画面和第二画面拍摄到图形码示意图；

图18是本发明移动指导图示生成过程示意图；

图19是本发明移动指导图示的解析示意图。

附图标记的说明：S1—第一智能终端、S2—第二智能终端、S10—第一摄像头、S20—第二摄像头、S11—第一智能终端中的图形码区域、S21—第二智能终端中的图形码区域、S12 —第一智能终端中的移动指导区域、S22—第二智能终端中的移动指导区域。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

为便于后续技术方案的清楚描述和便于理解，对具体实施方式中用到的技术术语进行统一约定：

如图2所示，把智能终端的屏幕至少划分出两个区域，一个叫做目标显示区域S11(用于显示图形码)，另一个叫移动指导区域S12，用户可以只观察某一个智能终端的移动指导区域，就可以直观的知道如何移动智能终端；

图形码:按照一定规则约定的色块阵列，将要发送的信息通过编码处理后，编入到图形码中，接收端用摄像头拍下后，对其进行解码处理，从而恢复出发送端要发送的相关信息。目前典型的图形码是二维码，但本申请所提的图形码不仅限于黑白颜色，也可以是彩色的，色块大小可以大小一样，也可以大小不一样；

较佳的相互拍摄位置：是指在特定的应用及约束条件(实际使用智能终端的软硬件约束、以及实际应用的环境光线场景约束等)下，双方的摄像头都能相互拍摄到对方的完整图形码，且图形码占据较大的拍摄画面，不导致摄像头拍摄区域的过大浪费，同时“较佳”还要考虑： 1.)用户为达到此位置需要付出的操作代价，即不可以单一为了达到最佳的拍摄位置，而牺牲效率，要求用户执行复杂繁琐的操作；2.)结合应用对数据量的要求，及随着软硬件条件的改善，“较佳”的定义并不是一个固定不变的值。“较佳”是下述两个因素的一个良好平衡点：其一是应用对通信带宽的要求；其二是用户为达到上述通信带宽而需要付出的操作代价，从而实现用户花最少的注意力，在最短的时间内，获得最佳的用户体验。较佳的判断标准在不同的应用条件下，也会有所差别，比如第一图形码在第二摄像头中所占的面积比例为p1，第二图形码在第一摄像头中所占的面积比例为p2,第一图形码在第二摄像头中所占的像素数为 pixel1，第二图形码在第一摄像头中所占的像素数为pixel2，“较佳”的判断标准可以是为实现智能终端双方共同最佳拍摄效果而采用的MIN(p1,p2)，MIN(pixle1,pixel2)，p1*p2，pixel1*pixel2等某一值达到较大，也即为实现双方共同拍摄效果的“参数最大公约数”的概念；

如果一个智能终端有多个摄像头或屏幕，那么本发明里面提到的摄像头和屏幕是指在本发明中实际应用的摄像头和屏幕；

第一智能终端上显示的图形码称为第一图形码，第二智能终端上显示的图形码称为第二图形码，第一智能终端上显示的移动指导区称为第一移动指导区，第二智能终端上显示的移动指导区称为第二移动指导区，第一智能终端上的摄像头称为第一摄像头，第二智能终端上的摄像头称为第二摄像头。第一摄像头拍摄到的画面称第一画面，第二摄像头拍摄到的画面称第二画面。

第一说明部分：

如图1所示,第一智能终端S1和第二智能终端S2面对面平行(或接近平行)放置，摄像头分别可以拍摄到对方的屏幕，面对面是指把智能终端有摄像头和屏幕的一面面对另一智能终端有摄像头和屏幕的一面放置。

虽然第一用户可以持有第一智能终端，也可以持有第二智能终端，其间没有对应关系，但是为了简化实施例的描述，做如下假定，其一，假定第一用户持有第一智能终端，第二用户持有第二智能终端。

更为具体的实施方式一为：第二智能终端被第二用户持有或被机械结构固定，屏幕面向第一用户，使得第一用户可以便利的观察到第二智能终端屏幕上的移动指导区域，从而有效的移动所持有的第一智能终端，从而两个智能终端相互处于较佳的拍摄位置。

更为具体的实施方式二为：第一智能终端被第一用户持有或被机械结构固定，屏幕面向第二用户，使得第二用户可以便利的观察到第一智能终端上的移动指导区域，从而有效的移动所持的第二智能终端，从而两个智能终端相互处于较佳的拍摄位置。

更为具体的实施方式三为：第二智能终端被第二用户持有或被机械结构固定，屏幕背向第一用户，由于第一用户所持有的第一智能终端与第二智能终端面对面放置，第一用户可以观察第一智能终端的移动指导区域，从而有效的移动所持的第一智能终端，从而两个智能终端相互处于较佳的拍摄位置。

更为具体的实施方式四为：第一智能终端被第一用户持有或被机械结构固定，屏幕背向第二用户，由于第二用户所持有的第二智能终端与第一智能终端面对面放置，第二用户可以观察第二智能终端的移动指导区域，从而有效的移动所持的第二智能终端，从而两个智能终端相互处于较佳的拍摄位置。

上述实施方式一和实施方式二类似，实施方式三和实施方式四类似，因此实施例仅以实施方式一和实施方式三为例。

更进一步，实施方式一和实施方式三的区别是：实施方式一是观察对方的指导移动区域，实施方式三是观察己方的移动指导区域，借以指导如何移动自己持有的智能终端，一个智能终端往某个方向移动，导致相对位置的变化和另一个智能终端往相反方向移动导致的相对位置变化是对应的，而本发明针对的就是两智能终端相对位置的变化，因此，如果在两个智能终端的屏幕上都显示移动指导区域，那么他们指导的移动方式在同一个坐标系下移动方向恰好相反。因此，后面的实施例仅针对上述方式一展开更为具体的实施描述。

由于本发明关注的是两个智能终端的相对位置，因此即使两个用户同时观察对方或己方的移动指导区域并同时进行移动，亦不影响，用户可以根据实际应用场景的便利性进行自由选择。为了便于说明问题，这里以移动一个智能终端为例来说明。

第二说明部分：

如图3所示，S1、S2分别表示第一智能终端和第二智能终端，S10、S20分别表示第一智能终端、第二智能终端中和己方屏幕同侧的摄像头，S11、S21分别表示第一智能终端、第二智能终端中的图形码区域，S12、S22分别表示第一智能终端、第二智能终端中的移动指导区域。

以第二智能终端S2的图形码区域的中心建立如图3中的XYZ坐标系。

点P1为第二摄像头S20的位置，四棱锥P1-ABCD为第二摄像头S20的示意拍摄区，点E、F、G、H是S1的显示屏所在平面和四棱锥P1-ABCD相交得到的四个顶点，M、N分别是BC和CD的中点，W是四边形ABCD的中心，R、Q、T、V分别是第一智能终端S1屏幕的四个顶点的位置，L、I、J、K分别是其图形码区域的四个顶点位置。

点P为第一摄像头S10的位置，四棱锥P-A1B1C1D1为第一摄像头S10的示意拍摄区，E1、F1、G1、H1是第二智能终端S2的显示屏所在平面和四棱锥P-A1B1C1D1相交得到的四个顶点，M1、N1分别是B1C1和C1D1的中点，W1是四边形A1B1C1D1的中心，R1、Q1、 T1、V1分别是第二智能终端S2屏幕的四个顶点的位置，L1、I1、J1、K1分别是其图形码区域的四个顶点位置。

第三说明部分：

一种图形码，其主要有如下功能以辅助本发明的实现：

第一步，本发明的实施例采用的是基于线性反馈移位寄存器(LFSR)找到一组码，如图4 所示，bit0作为下一步要用的编码序列，每3比特表示一个位置，这种编码序列的特点是，只要知道1.)任意连续的N比特的值(实施例中是3比特)，2.)且知道此3比特bit中的哪几位是来自于前一个编码位置，哪几位来自于紧随其后的一个编码位置，就可以判断出这3bit位于整个码流中的位置。比如有3比特010且知道第一个0来自于前一个编码位置的最后的一位(不需要知道其是来自于编码位置序号2的位置)，而10来自于后一个编码位置的前两位(同样不需要知道其来自于编码位置序号3的位置)，就可以判定此3比特010必定来源于编码位置序号2和编码位置序号3的交界处。

第二步，把每个3比特拆成2部分，分别插入到M个(本实施例中M＝7)111x0xx0中，x表示插入的地方，码型合成过程见图5，把这7个8bit的码首位连接起来，并标上位置编号，按顺时针方向把上述序列布置到第一智能终端或是第二智能终端的图形码区域的最外一圈，见图6中的图a所示。

以上两步实现定位功能，即当摄像头仅拍摄到上述第一智能终端或是第二智能终端的图形码区域的任意局部区域(本实施例中需要包含最少8个连续边缘色块，从而含有上述第一步中的图4中所示的bit0中的3比特信息)，就能知晓被拍摄的图形码部分位于整个图形码区域的位置。

第三步，由于接收端在识别图形码时，无法判断图形码每个色块的大小，进而，还需要将色块的尺寸大小信息内嵌到图形码中，以便于后续的解码，在实施中，分为了两种情况，一种是以黑白为代表的2值图像，则在第二步获得图形码的外围加上黑白相间的相同大小的色块，参见图6中的图b1。如果是针对多个颜色的彩色图像，则可以把本步骤中的信息和第二步定位信息合并，每个信息各占1bit，见图6中的图b2。如果实际每个色块可传输的信息多于2bit，那么多于出来的bit可用于传输其他各类信息，见图5中的“3bit合成”部分和图6的图b3所示。

第四步，把需要传递的信息(所述要传递的信息可能为数据信息、控制信息、应答信息、版本信息等的全部或部分)编入图形码的数据区，分别见图6中的图c1，图c2，图c3。如果需要传输的信息在单幅图形码中无法全部传完，可以把信息分割成多份，通过多幅图形码把信息传递过去。

第五步，在距离图形码四角的较远的区域加上辅助定位的色块，用于更好的定位，如图 6中的图d1、图d2、图d3所示。

第四说明部分：

坐标系及本发明所述的拍摄图像的约定：

以图3中第二智能终端S2的图形码区域的中心为坐标原点，建立图3所示的XYZ三维坐标系，简称为cox1。

针对摄像头拍摄到的画面建立二维的直角坐标系，智能终端按如图2方式面向观察者放置，假设被拍摄的物体如图7中的图a，被拍摄的物体翻转过来置于镜头对面，因此在智能终端中直接成像的是如图7中的图b，但一般智能终端在最后输出后又会将其镜像一次，形成图c的样子，为了便于避免混淆，本专利所提及的拍摄到的画面均指再一次镜像过的画面 (特殊说明的除外)，即图c所示的画面，并建立图c所示的坐标系。

在做了以上解释说明的基础上，具体实施的过程如下：

当用户想让两个智能终端要面对面进行互拍通信时，用户只要至少移动其中一个智能终端，使得两个智能终端的摄像头都能较佳的拍摄到对方图形码。

从能对用户进行移动指导到找到相互较佳的拍摄位置的过程，分成两个阶段，第一个阶段为第二智能终端能拍摄到第一智能终端相关部位到能从第一智能终端的图形码读到有效信息之前，这一阶段第二智能终端可以判断第一智能终端大概从哪个方向过来，给出一个大概的指导。第二阶段为第二智能终端拍摄到第一智能终端的图形码，并从中得到有效的信息后直到移动指导结束，所述有效的信息是指和第一智能终端相关的要素在第二智能终端摄像头所拍摄图像中的位置信息，和或第一智能终端通过其图形码的内容需要传递给第二智能终端的信息(冗余数据或辅助定位)。第二阶段可以提供更为精确的移动指导。

需要说明的是：第一阶段持续时间可能很短或不存在，在整个指导过程中，可能没有起到什么显著的作用，比如一开始用户放置智能终端的位置就满足了第二阶段的要求，而且按照本发明对图形码的约定也正是降低了进入第二阶段条件的门槛，使得可以更容易进入第二阶段，进行更为精确的指导。或者可以直接放弃/越过第一阶段不用，用户根据直觉移动智能终端，直到第二阶段条件满足，才进行移动指导，一旦满足第二阶段的条件，第一阶段的指导将被第二阶段的指导方法取代。

第一阶段的移动指导：根据第二智能终端摄像头中拍摄到的关于第一智能终端的信息，提取出第一智能终端在图像中的位置信息(包括角度)，从而判断如何移动。

假设第一智能终端被提取的特征信息(主要包含轮廓信息，方位信息)可抽象为图8，以图 9中的位置1为例说明，拍摄到的图像如图9中位置1最上面的那个图像，根据图像中“A”和“B”的位置和第一智能终端S1在图像中的位置，可以判定第一智能终端S1在cox1坐标系下X轴的正方向，且第一智能终端S1如图8所示的AB侧朝向X的负方向，第一智能终端应该要向X轴的负方向运动，从而给出位置1所对应的“第二智能终端移动指导图示”，来指导用户进行移动。

要说明的是：1.)由于本发明要针对的是各类智能终端，因此无法假设智能终端的摄像头和屏幕的位置关系，如果针对某类特殊的智能终端，比如智能手机，现在市面上的主流产品，摄像头和屏幕位置具有一定的约束关系，比如总在屏幕的上方，且在离屏幕一定的距离范围内，在提供移动指导时，也可以把这些信息一并纳入，上述做法也在本发明的发明构思范围内，一并保护。

2.)图9中只给出三个典型的角度位置，由于角度太多，无法一一列明，其它角度下的移动指导，可以从这个三个角度类推得知，比如如果智能终端在X、Y轴的45度位置，实际上就可以是结合位置1和位置3得出。

第二阶段的移动指导：

第二智能终端通过对拍摄到第一智能终端的第一图形码进行解码分析，由于图形码经过事先的约定，可以知晓第一智能终端上的第一图形码被拍摄部分和第二摄像头的空间相对位置关系，又由于通过被拍摄的部分可以解码分析出被拍摄的图形码部分位于整个第一图形码中的位置，因此可以进一步知晓第一智能终端上的第一图形码的四个顶点和第二摄像头的空间相对位置关系。

又由于第二智能终端知晓第二摄像头和第二智能终端上的第二图形码的相互位置关系，因此，第二智能终端可以知晓第一智能终端上的第一图形码的四个顶点在cox1三维坐标系中的坐标。

更近一步，如果第一智能终端能够把如下参数K通过第一图形码的内容传递到第二智能终端，那么第二智能终端就可以完全虚拟重构第一摄像头和第二图形码的位置关系，以及第一摄像头能够拍摄到的区域。从而可以判断出第二图形码是否位于第一摄像头的拍摄区域内。加上第二智能终端本身可以轻易获得第一图形码在第二摄像头拍摄区域中的位置。

由于第二智能终端已经同时具有第一图形码在第二画面中的位置，和第二图形码在第一画面中的位置，那么把这两个画面里面的位置关系综合起来，并用可视化的界面展现出来，就实现了本发明关于移动指导的目的。

需要说明的是：上述提到的参数K是指如下的参数，但要注意如下几点，1.)这些参数的组合形式是可以变化的，比如可以不传送色块的像素数，改为传送色块的物理尺寸，由于通过其它参数，可以算出每个象素的物理大小，从而可以得知每个色块的像素数，又或者摄像头的拍摄交角可以用焦距及感光器件的大小等效取代。2.)实施例中举例说明传输这些参数，是便于清晰的说明实施，并达到较佳的实施效果，实际上也可以不传输某些参数，也能达到一定效果，比如进行通信的第一智能终端和第二智能终端双方一开始就为每个色块的物理尺寸协商好一个固定值，从而免除传输，又或者由于每个摄像头的拍摄交角比较相近，而直接取用其中的较小值也能取得一定的效果。3.)本发明的重点是第二智能终端通过第一图形码获得相关信息，以重建两个智能终端间的相互位置空间模型，至于传递具体什么参数信息，不做限制性规定。

参数k：

首先智能设备在交互通信前都知晓自身的参数k，且参数k已经事先存放在相应的智能终端上。

1.)图形码横向和竖向色块的个数(2个参数)

2.)每个色块所占的像素数(1个参数)

3.)屏幕的物理尺寸和屏幕分辨率(4个参数)

4.)图形码某一个顶点和屏幕某个顶点的位置关系(2个参数)

5.)摄像头和己方屏幕左上角的位置关系(2个参数)

6.)摄像头水平和竖直方向的拍摄区域的夹角，即角WP1M,和角WP1N(2个参数)

作为本发明的核心内容，第二阶段的移动指导过程主要包括如下U1、U2、U3三个主要步骤：

(U1)几何校正步骤，将拍摄到的图像转化成标准图形：

第二智能终端分析第二画面，从拍摄到的图形码的内容中获取上述参数k，如果这些参数k无法在一帧画面中传递过来，可以分多帧传递过来。

针对某一帧的参数提取和恢复如下：

由于在实际中摄像头拍摄到真实图形码部分可能会如图10所示，并不都是横平竖直，均匀分布，无法直接进行取样解码，需要先做几何校正，转化为如图11所示，从而可以为下一步取样做好准备，转化过程可以采用matlab软件工具的函数cp2tform。

具体的转化过程是：

1.)由于图形码经过前述的约定，能够实现轻易的找到如图10所示的5个色块，把他们的中心作为定位点，且容易取得其在图10中的坐标，假设实测为input_points_1＝[129,885；260,792；420,674；550,798；669,913]；

2.)而要恢复的目标图像，是规则的方正的块状图，假设边长为20，则此5个点坐标在目标图像中的坐标分别为(90,10)，(50,10)，(10,10)，(10,50)，(10,90)，得到base_points＝ [50,10；90,10；10,10；10,90；10,50]；

3.)调用t_proj＝cp2tform(input_points,base_points,'projective')；根据上述方法可得到一个结构体t_proj，t_proj.tdata.Tinv为一个3x3的变换矩阵，根据一个点的标准坐标[x,y]既可预测它在照片中的位置[u,v]，具体的为[a,b,c]＝[x,y,1]*t_proj.tdata.Tinv，u＝a/c，v＝b/c。

4.)如果想恢复出NxN个色块的区域，则在目标区域中(x分别取值1，2，...N*20,y分别取值1，2，...N*20)循环调用N*20*N*20次从[x,y]求解[u,v]的过程，并在目标图像的[x,y] 位置用[u,v]的颜色取代，如果u、v的值超出图10的边界范围，则用0取代，可得图11的标准图形(本实施例恢复了N＝17的色块图像)，完成几何校正，便于后续的取样。

(U2)三维位置关系图构建步骤，第二智能终端分析第二画面，确定第二摄像头和第一图形码的位置关系、构建三维位置关系图。

第二摄像头p1拍摄到的画面如图12所示，p1坐标可以根据现有条件得出，为已知数据，设p1为(Xp1,Yp1,0)，设角WP1M大小为m，角WP1N大小为n。

步骤一，从第二摄像头反馈的画面(E、F、G、H规则显示)可以得到L、I、J、K的像素坐标值(单位pixel)，如图12所示。

步骤二，根据L、I、J、K和E、F、G、H的像素坐标值计算相对位置关系进而进行投影模式的仿射变换(使用matlab中为cp2tform函数base_points为LIJK的坐标值，input_points为EFGH的坐标值，求得变换关系，在物理坐标系下根据LIJK坐标可求出EFGH坐标)，可以得到E、F、G、H四点相对于第一智能终端(L、I、J、K规则显示)的物理位置，如图13所示。如以显示屏幕的左上角为坐标原点，则可以知道E、F、G、H在该坐标系下的实际坐标(单位meter)。

步骤三，设线段E-G和线段F-H的交点为IP(intersection point)，可以根据E-G和F-H 的直线方程求出其坐标。因为平面EGP1和平面FHP1的相交线为W-P1，交点IP即在E-G上又在F-H上，所以交点IP在W-P1线上，如图14所示。

步骤四，可以计算得到E-IP和G-IP的长度，也可以计算得到角AP1W的值：设已知的角WP1M大小为m，角WP1N大小为n，则角AP1W值为

arctan((tan(m)*tan(m)+tan(n)*tan(n))^0.5)。

步骤五，从而可以求得E-P1和G-P1的长度，设分别为LEIP和LGIP(具体的，设E坐标(x,y)，则G坐标(-x*LGIP/LEIP，y*LGIP/LEIP)，IP坐标(0,2*y*LGIP/(LGIP+LEIP))，又E-IP长度已知，结合步骤四，即可求出x和y的值。至此，已经求得E-IP和G-IP长度，根据角度关系，即可求出E、G在以S1的图形码的中心为原点的坐标系中的坐标，同理可求得F,H。

步骤六，求得E、F、G、H四个点坐标后，根据仿射变换关系tform即可求出LIJK的坐标(或者根据图12的位置关系用双线性插值计算也可获得)。

另外，要获得第一摄像头在cox1坐标系中的坐标也可以通过第二摄像头直接拍摄同时含有第一摄像头和第一图形码的画面，通过(U2)的方法也可以直接获得第一摄像头的坐标。

通过(U1)，(U2)及其他相关步骤，确定图形码四个顶点在cox1坐标系里面的坐标，由于第二智能终端的已知参数k，因此对第二智能终端来说，已经可以确定图3中的所有和摄像头、图形码有关的几何位置关系，同时也获知摄像头的拍摄张角大小，因此可以构建出图3 中的三维相互位置关系图。

(U3)指导画面生成步骤，由拍摄画面生成移动指导画面：

移动指导图示生成原理过程如图15所示，由第一图形码在第二画面中的位置以及第二图形码在第一画面中的位置，生成移动指导图示，用以指导用户移动。

建立如图16的坐标系x5o5y5(后面称为cox5)，其中，M是AB的中点，N是CD的中点，M1、N1是M、N在xoy坐标平面的投影，记y轴的负方向和y1轴的正方向的夹角为t，针对t,第二智能终端可以通过查看第一图形码在第二画面中的旋转角度获得，参见前述图9所述，虽然图9中的ABCD不是从图形码中抽象出来，但是类似的分析过程可获得旋转角度。

1.)假设根据图16拍到画面如图17所示，第一画面拍到的图形码区域见图17中的第一画面，第二画面拍到的图形像码区域见图17的第二画面。

2.)I.)保持第一摄像头的拍摄角度不变，保持其在Z轴的坐标不变，分别在cox5坐标系下，在x、y方向以规定步长(比如以第一图形码物理尺寸的1/10)进行移动；II.)记录每个位置对应的状态，约定如下：针对某一具体位置，移动后，分别推算第一画面和第二画面，其一，是否能拍到更多的图形码画面或保持不变；其二，没有图形码的顶点从拍摄区域内移动到拍摄区域外，如果是，则计为移动有效，否则计为移动无效，见图18的图a和图b，图a表示根据第一画面的分析得出第一智能终端可以移动的范围的区域；图b表示根据第二画面的分析得出第一智能终端可以移动的范围的区域。III.)取图a和图b的交集，即公共区域得到图c； IV.)把图17画面中的第一画面的图形码部分，按照图c的可移动区域的的外围轮廓进行移动 (为了便于图示，图d中并没有针对轮廓上的每个点都进行移动，只是示意出了关键点)。V.) 根据IV的移动，形成可拍摄区域的轮廓，对应虚线部分，见图e。

3.)建立移动指导坐标系cox6,把图17画面中的第一画面的图形码部分置于其坐标原点，用一个固定大小的正方形套框(两个框，外框的边长是内宽的3倍左右)去套或是去切除，实施例中，套框的外框大小大约为两智能终端相距15cm时，第二画面中第一图形码边长的两倍大小(见图18中的图g)，套框的位置要确保对步骤V.)形成的轮廓进行等比例的切割或填补 (详细还可参见图18中的图k)。

4.)针对不同区域显示不同颜色，生成移动指导图示，见图h，把填补部分显示深灰色(表示禁止移入的区域)，把原始图形码的拍摄形状显示成亮色(表示当前位置和当前角度)，其他区域显示浅灰色(表示可以移动进入的区域)。

为了更细致的说明如何放置套框的位置，参见图18中的图i，图j，图k，图L。图i表示可移动区域轮廓，图j表示可拍摄区域的的轮廓，图k表示用一个固定大小的套框去套或是去切除，详细位置(放框的一般性规则)为：图k中，d1/d2＝d3/d4；d5/d6＝d7/d8，图L用不同颜色填充不同的区域，以指导用户可移动的空间范围。

作为优选部分：

1.)假设基于前一时刻(t0)拍到的第二画面分析得到的E,F,G,H的坐标分别为(Ex0,Ey0,Ez0), (Fx0,Fy0,Fz0),(Gx0,Gy0,Gz0),(Hx0,Hy0,Hz0),而基于其后一时刻(t1,假设是最近一次拍到的画面的时刻)拍到的第二画面分析得到的E,F,G,H的坐标分别为(Ex1,Ey1,Ez1),(Fx1,Fy1,Fz1), (Gx1,Gy1,Gz1),(Hx1,Hy1,Hz1)。

2.)当前时刻(t2)的位置预测(Ex2,Ey2,Ez2),(Fx2,Fy2,Fz2),(Gx2,Gy2,Gz2),(Hx2,Hy2,Hz2)。 Ex2＝Ex1+((Ex1-Ex0)/(t1-t0))*(t2-t1)，其他点或其他维度的坐标算法类似，不再重复叙述。同时针对第一画面分析也可得到的E1,F1,G1,H1的坐标。

3.)把t2时刻的预测坐标值作为(U3)步骤中判断图形码是否超出拍摄区域时的位置参数。其他步骤可参照(U3)中的实施。

需要强调说明的是：

第一，本发明的移动指导的模型所需要的数据来源于三维模型，涉及参数种类繁多，有远近，平移，角度等，无法把各种组合一一列出，本发明对体验影响较大的因数一一作了说明。

第二，本发明持续的为用户提供了移动指导，如果在某一时刻，出现一些小的计算误差不影响用户体验，因为在下一时刻(时间极短，从十几毫秒到100毫秒)会自动得到修复，会基于新的位置提供较佳的移动指导。

第三，(U3)步骤中，套框大小的选择，虽说是固定的大小，但这个固定是指应用场景确定的情况下是固定的，比如已经知道双方摄像头的拍摄张角，拍摄头在智能终端上的位置，图形码的大小，及应用需求等已经确定的情况下是固定的，当然在实际实施中，也可以将其固定为一个折中值，使得能满足绝大部分场景的应用。这个框的大小，主要是引导用户去调整两智能终端的距离。移动指导图案期望拍摄区域(亮色区域)总体上不小于内框的大小以充分发挥摄像头的拍摄区域(虽然小于也是可以的，但是针对不同的应用，体验可能会受到不同程度的影响)。虽然本实施例中，外框和内框的比例是3:1，但实际上内框和外框的大小比例也可以根据实际应用做出适度调整。

第四，虽然在(U3)的2.)步骤中，确定移动轮廓时，假设的移动是平行移动，但不意味着本发明不支持非平行的移动或者转动，因为用户一旦发生转动或非平行的移动，会在下一次拍摄画面中立刻体现出来，此步骤中假设只是便于找到一种方法求得当前位置的下的移动裕量，而并非限制移动方式。

第五，关于优选方式中的位置预测，说明了基于平均速度的预测方式，实际上可以在t0 时刻前再取一个点t(-1)时刻的拍摄画面，根据在t(-1)、t(0)和t(1)时刻得到的EFGH的坐标，可以算得移动的速度和加速度，从而可以更加精确的预测当前的位置，这些做法都是很容易想到的，而且预测的方法不局限于此，宗旨是要根据当前时间和最后一次拍得画面的时间差，并分析最近几次拍得的图像，获得更为综合的信息，以获得更加准确的位置预测，从而得到更优的用户体验。

第六，上述描述的实施例中，是假设两个智能终端靠近时，移动指导图案中高亮区域越来越大，也可以设计成越来越小，但这些都和本实施例原理相通。

第七，本发明是用一幅画面来综合体现两个图形码在两个摄像头中的位置关系，从而把极其复杂的抽象关系转化为可以直接指导用户移动的画面，这类思想都在本发明覆盖的范围内。

移动指导图示的解析：见图19，其中图a表示较佳的位置；图b表示要做一定的角度调整，使得中间的高亮区域更为方正；图c表示要往第二智能终端方向移动；图d表示要使两个智能终端靠的更进；图e表示目前第二智能终端没有有效拍摄到第一智能终端，无法提供相关指导，请用户根据直觉判断进行移动；图f表示两智能终端的距离太近，需要拉大其相互距离。

只通过摄像头和屏幕同时进行双向通信的优势是非常巨大的，但目前现有技术中没有任何一种方法可以获得像本发明一样良好的用户体验：

第一，现在用摄像头和屏幕进行通信主要还是单向的，比如微信当中的扫二维码，但实际上，有很多场合双方都需要交换信息，而不仅是单向的，比如交换电子名片,如果采用扫描二维码的方式，需要两个系列动作完成一往一来两次相反的数据流向，即第一方稍描第二方，完成后，第二方或者需要扫描第一方，或者需要通过其他的通信渠道获得第一方的名片信息。而如果采用双方相互拍摄的方式，那么一个动作即可同时完成两个目标，优势不言而明。更有很多应用场合需要多次来回交互信息才能完成交易，这种应用，传统的单向通信理论上可行，但在智能终端的实际操作上，由于过于繁琐，变的基本不可行了。

第二，由于传统方案是单向通信，发送方无法知道接受方的潜能，而为了通用性考虑，往往只能按照较低性能要求去显示每帧图形码(比如：只能以较大色块，且是黑白图像)，而实际上也许他们之间可以通过彩色、更小的色块进行通信，从而能在单位时间内传输更多的信息，这就需要双向通信的机制来协商出他们两者之前的共有最低性能，而不是传统方案中所有可能参与交互的设备的共有最低性能，从而极大的提高通信速度。

第三，可以解决传输的信息被复制的问题，比如第一智能终端要把信息A通过图形码传递到第二智能终端，传统方案下，信息A可能会被第三智能终端截取，显示同样的信息A来冒充第一智能终端，第二智能终端无从判断，但如果他们通过相互传输信息就可以避免这个问题，过程简单描述可以如下：第二智能终端先传一个随机数给第一智能终端，第一智能终端用这个随机数和前面信息A进行某种加密算法后变成AA显示在屏幕上，第二显示终端得到AA之后，再采用上述的逆算法恢复出A，这样即使第一智能终端每次都传输A到第二智能终端，但每次实际显示的图像都不一样，而显示的图像和第二智能终端相关(随机数由第二智能终端提供)，第三终端无法冒充第一智能终端，从而使整个通信过程的安全性大大提高，为双方的通讯安全提供了可能。上述只是做了简单的描述来提高安全性，实际上，双向通信可以设计很复杂的通信方案，以满足不同的安全要求，而单向通信却无论如何都无法满足。

虽然本发明所揭露的实施方式如上，但的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但都应落在本申请的保护范围内。

Claims (7)

1.一种智能终端间的信息传输方法，其特征在于，包括：

第一智能终端，具有第一摄像头和第一显示功能部件；

第二智能终端，具有第二摄像头和第二显示功能部件；

所述第一智能终端通过所述第一摄像头拍摄所述第二智能终端的所述第二显示功能部件，所述第二智能终端通过所述第二摄像头拍摄所述第一智能终端的所述第一显示功能部件，所述第一智能终端和所述第二智能终端通过相互间的拍摄进行数据信息传输，所述第一智能终端和所述第二智能终端通过相互拍摄对方的图形码来传输数据信息，从而生成移动指导图示；

所述移动指导图示的生成过程包括：

步骤U1：几何校正步骤，将拍摄到的图像转化成标准图形；

步骤U2：三维空间位置关系图构建步骤，所述第一智能终端或是所述第二智能终端分析所拍摄到的画面，确定相应摄像头和图形码的位置关系，构建三维空间位置模型；

步骤U3：移动指导图示生成步骤，由拍摄画面生成移动指导图示；

用户根据所述移动指导图示移动所述第一智能终端或是所述第二智能终端，使得所述第一智能终端和所述第二智能终端快速的到达较佳的相互拍摄位置，通过所述第一智能终端和所述第二智能终端相互间的拍摄传输数据信息，仅观察单个的所述第一显示功能部件或是所述第二显示功能部件中的移动指导图示来指导移动所述第一智能终端和/或所述第二智能终端。

2.根据权利要求1所述的智能终端间的信息传输方法，其特征在于，还包括：

所述图形码为：所述第一智能终端和所述第二智能终端只要拍摄到所述图形码较小的部分区域，就能够得到被拍摄的所述较小的部分区域位于整个所述图形码中的位置区域，并能够恢复出被拍摄部分的数据信息。

3.根据权利要求2所述的智能终端间的信息传输方法，其特征在于，还包括：

通过所述图形码传递相关参数，重建整个所述第一智能终端和所述第二智能终端的三维空间位置模型，从而推测出己方图形码在对方摄像头拍摄区域中的位置。

4.根据权利要求3所述的智能终端间的信息传输方法，其特征在于，还包括：

所述相关参数包括：图形码横向和竖向色块的个数；每个色块所占的像素数；摄像头屏幕的物理尺寸和屏幕的分辨率；图形码的某一个顶点和屏幕的某一个顶点的位置关系；己方摄像头和己方屏幕左上角的位置关系；摄像头水平和竖直方向的拍摄区域的夹角。

5.根据权利要求3所述的智能终端间的信息传输方法，其特征在于，还包括：

所述图形码在对方拍摄区域中的位置是通过分析拍摄画面实现的或是分析重建的三维空间位置模型实现。

6.根据权利要求3所述的智能终端间的信息传输方法，其特征在于，还包括：

在所述第一智能终端和/或所述第二智能终端上同时获得两个图形码分别在对方摄像头拍摄画面中的位置。

7.根据权利要求1所述的智能终端间的信息传输方法，其特征在于，还包括：

所述第一智能终端和所述第二智能终端通过相互间的拍摄进行数据信息传输过程在无网络情况下完成。