CN104754497B - 一种视觉注意力驱动的通信连接建立方法 - Google Patents

Abstract

本发明涉及通信移动应用技术领域，尤其涉及一种视觉注意力驱动的通信连接建立方法。本发明提出了一种新的连接建立方法，用户可以通过注视某一目标便实现与该目标建立通信连接的目的。本发明提出的方法优势体现在建立连接无需事先交换通信地址，根据用户的眼睛注视建立连接，操作使用方便。为避免错误的连接建立，本发明中加入了用户确认环节，并且实时性好，能准确根据用户的实时兴趣建立连接，同时兼容性好，该方法能实现在各类现有的网络通信设备上，普适性好，应用前景广泛，该方法能应用于各类移动应用，为应用提供方便的连接建立方式。

Description

一种视觉注意力驱动的通信连接建立方法

技术领域

本发明涉及通信移动应用技术领域，尤其涉及一种基于视觉注意力驱动的通信连接的建立方法。

背景技术

通信连接建立是各类通信应用中的第一步，也是通信应用中不可缺少的基本组成要素。只有首先建立通信连接，用户终端才能够进行信息交换并实现各种通信功能。现有的通信连接的建立通常是基于预先交换的通信地址，如IP地址、电子邮件地址、聊天工具账号(如QQ号、飞信号等)等。然而在很多如社交活动、学术会议、景点参观、周边广告推荐等应用场景中，预先交换通信地址的方式不能满足上述应用场景对通信简单、快捷的需求，难以满足很多应用的需求甚至阻碍了一些应用的实现。

现有的技术采用用户兴趣匹配的方式进行消息推送，其兴趣分析通常基于历史数据，精准度难以保证的同时难以预测用户当前的兴趣点。现有的技术采用基于手势(如一起摇动手机)为临近设备实现通信连接的建立，然而此类方式仅适用于两方设备均为手持设备的情景，难以满足与头戴设备、固定设备建立通信连接的需要。现有的技术基于扫描二维码的方式建立通信连接，然而二维码可识别的距离通常小于1米、角度通常小于30度，限制了此类方式的可应用场景。

发明内容

本发明要解决的技术问题是提供了一种视觉注意力驱动的通信连接建立方法，自动为用户与该用户注视的目标设备之间建立通信连接。

本发明公开了一种视觉注意力驱动的通信连接建立方法，所述方法包括以下步骤：

S1、追踪用户的眼球运动状态，并在眼球注视一方向超过第一预定时间阀值时获取眼球注视方向；

S2、向用户发起准备连接的提醒，并在用户确认发起连接请求时，向周围的设备发送连接请求，所述连接请求中包含所述注视方向；

S3、所述周围的设备缓存所述连接请求，确定自己相对用户的相对方向，并回复用户其网络地址以及所述相对方向；

S4、用户在第二预定时间阀值内等待其周围的设备的回复，若得到回复则用户将所述注视方向和接收的所述相对方向进行比较，若两者插值的绝对值小于设定值，则用户建立与对应设备的连接；若用户在所述第二预定时间阀值内没有得到回复则回到所述步骤S1。

优选地，所述步骤S1中，通过智能眼镜追踪所述眼球运动状态，所述智能眼镜包括方向传感器、加速度传感器、定位模块、通信模块以及控制模块；

所述控制模块根据所述方向传感器、加速度传感器、定位模块、通信模块传递来的信息，利用图像分析技术分析眼球的所述运动状态，判断所述眼球注视一方向是否超过所述预定时间阀值。

优选地，所述步骤S3中，所述周围的设备缓存所述连接请求之后，每个所述周围的设备通过追踪其眼球运动状态，判断其眼球注视一方向是否超过所述第一预定时间阀值，若是则获取对应设备的注视方向，并判断用户的注视方向与对应设备的注视方向是否相反，若相反则对应设备确定自己相对用户的相对方向，并回复用户其网络地址以及所述相对方向。

优选地，所述周围的设备为智能眼镜。

优选地，所述步骤S1中，通过注视方向分析技术计算所述眼球的注视方向。

优选地，所述步骤S1中，所述注视方向以所述方向传感器的坐标轴为参考坐标系。

优选地，所述步骤S3中，所述周围的设备通过定位技术确定所述相对方向。

优选地，所述定位技术为基于无线信号的定位及技术。

优选地，所述步骤S2中，向周围的设备发送连接请求之前，所述加速度传感器检测到用户的点头动作时，确认发起连接请求。

优选地，所述步骤S2中，通过声音或振动的方式向用户发起准备连接的提醒。

本发明的上述技术方案具有如下优点：本发明提供的建立方法在建立连接时无需事先交换通信地址；根据用户的视线注视建立通信连接，操作方便；实时性好，能够准确捕捉用户的实时兴趣；兼容性好，能够实现在各类现有网络通信设备上(如Wi-Fi、蓝牙)；普适性好，应用前景广泛能够应用于各类移动应用，并提供各类移动应用方便的连接建立方式。

附图说明

图1是本发明的一种视觉注意力驱动的通信连接建立方法流程图。

具体实施方式

下面结合附图和实施例对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1是本发明的一种视觉注意力驱动的通信连接建立方法流程图；所述方法包括以下步骤：

S1、追踪用户的眼球运动状态，并在眼球注视一方向超过第一预定时间阀值时获取眼球注视方向；

进一步地，通过智能眼镜追踪所述眼球运动状态，所述智能眼镜包括方向传感器、加速度传感器、定位模块、通信模块以及控制模块；

所述控制模块根据所述方向传感器、加速度传感器、定位模块、通信模块传递来的信息，利用图像分析技术分析眼球的所述运动状态，判断所述眼球注视一方向是否超过所述预定时间阀值；

进一步地，通过注视方向分析技术计算所述眼球的注视方向。

进一步地，所述注视方向以所述方向传感器的坐标轴为参考坐标系；

S2、向用户发起准备连接的提醒，并在用户确认发起连接请求时，向周围的设备发送连接请求，所述连接请求中包含所述注视方向；

进一步地，向周围的设备发送连接请求之前，所述加速度传感器检测到用户的点头动作时，确认发起连接请求。

进一步地，通过声音或振动的方式向用户发起准备连接的提醒；

S3、所述周围的设备缓存所述连接请求，确定自己相对用户的相对方向，并回复用户其网络地址以及所述相对方向；

进一步地，此步骤中，所述周围的设备缓存所述连接请求之后，每个所述周围的设备通过追踪其眼球运动状态，判断其眼球注视一方向是否超过所述第一预定时间阀值，若是则获取对应设备的注视方向，并判断用户的注视方向与对应设备的注视方向是否相反，若相反则对应设备确定自己相对用户的相对方向，并回复用户其网络地址以及所述相对方向；

进一步地，所述周围的设备为智能眼镜；

进一步地，所述周围的设备通过定位技术确定所述相对方向。

进一步地，所述定位技术为基于无线信号的定位及技术；

S4、用户在第二预定时间阀值内等待其周围的设备的回复，若得到回复则用户将所述注视方向和接收的所述相对方向进行比较，若两者插值的绝对值小于设定值，则用户建立与对应设备的连接；若用户在所述第二预定时间阀值内没有得到回复则回到所述步骤S1。

本发明提出的视觉注意力驱动的通信连接建立方法，分为两种应用场景。在社交应用场景中，该发明目的是当佩戴智能眼镜的双方互相注视对方时，为佩戴智能眼镜的双方建立通信连接；在其他应用场景中，该发明的目的是当佩戴智能眼镜的用户注视任何智能设备时，为佩戴智能眼镜的用户与智能设备之间建立通信连接。

实施例一：

在社交应用场景中，该发明提出的方法要求连接参与方均佩戴智能眼镜，且该智能眼镜具备眼球运动跟踪能力、方向传感器、加速度传感器、定位能力以及近距离无线通信能力(如具备Wi-Fi、蓝牙)。在该场景下，本发明提供的通信连接建立方法具体步骤包括：

(1)眼球追踪。智能眼镜通过智能眼镜的眼球运动拍摄摄像头，利用图像分析技术实时分析眼球的运动状态，并检测眼球是否注视某一方向超过一定阈值(即第一预定时间阀值，该阈值可以由用户动态调整)。

(2)注视方向获取。当用户注视某一方向超过一定阈值时，智能眼镜通过注视方向分析技术(gaze tracking)计算出当前用户的注视方向α。该方向可以以用户佩戴的智能眼镜的方向传感器坐标轴为参考坐标系，然后以声音或振动等方式向用户发起准备连接提醒。

(3)如果用户点头，则智能眼镜通过加速度传感器检测到用户的点头动作，则发起设备开始向周围的设备发送连接请求，该请求中包含发起用户的注视方向α。

(4)周围的每一个接收设备均缓存该连接请求，其中，由于是社交应用场景所以接收设备均为智能眼镜。在一定的匹配时间窗口内(该窗口大小为系统可调参数)，同样通过步骤(1)判断该设备佩戴用户是否在注视任何目标，若该用户在注视某一方向，则通过步骤(2)的方式得到注视的方向α’，然后判断π-θ<|α-α’|<π+θ是否成立(即该用户的注视方向是否与发起用户相反)，如果成立(即该用户和发起用户可能互相注视)，则该接收设备继续执行步骤(5)，否则该接收设备不再对此次连接请求做任何响应。

(5)接收设备开始利用定位技术(基于wifi信号的定位，声波的定位等等)确定自己相对发起设备的方向β。然后接收设备回复发起者接收设备的网络地址(如IP地址)和方向β。

(6)发起者在一定时间窗口(第二预定时间阀值)内等待周围用户的回复。如果在等待时间窗口(该窗口大小为系统可调参数，且应该大于匹配时间窗口)内有用户回复，发起者便将自己的注视方向与接收设备回复发起者的方向β进行比较。如果|α-β|<θ，表明发起者与回复发起者的接收者用户互相注视，则发起者根据回复的网络地址与该用户建立连接。如果在等待时间窗口无任何回复，则无法与任何对象建立连接。

实施例二：

在非社交应用场景的其他应用场景中，本发明提供的方法要求发起者佩戴智能眼镜，且该智能眼镜具备眼球运动跟踪能力、方向传感器、加速度传感器、定位能力以及近距离无线通信能力(如具备Wi-Fi、蓝牙)。其他接收设备可以是任何智能设备，且需要具备定位能力以及近距离无线通信能力。在该场景下，该发明包括以下步骤：

(1)眼球追踪。智能眼镜通过眼球运动拍摄摄像头，利用图像分析技术实时分析发起者的眼球运动状态，并检测眼球是否注视某一方向超过一定阈值(第一预定时间阀值，该阈值可以由用户动态调整)。

(2)注视方向获取。当发起用户注视某一方向超过一定阈值时，智能眼镜通过注视方向分析技术计算出当前用户注视的方向α。该方向可以以用户佩戴的智能眼镜的方向传感器坐标轴为参考坐标系，然后以声音或振动等方式向用户发起准备连接提醒。

(3)如果用户点头，则智能眼镜通过加速度传感器检测到用户的点头动作，则发起设备开始向周围的设备发送连接请求，该请求中包含发起用户的注视方向α。

(4)周围的每一个接收设备均缓存该连接请求，并利用定位技术确定自己相对发起设备的方向β。然后接收设备回复发起者自己的网络地址(如IP地址)和方向β。

(5)发起者在一定时间窗口(第二预定时间阀值)内等待周围用户的回复。如果在等待时间窗口(该窗口大小为系统可调参数)内有用户回复，发起者便将自己的注视方向与回复的β进行比较。如果|α-β|<θ，表明该设备为发起用户注视的目标设备，则发起者根据回复的网络地址与该用户建立连接。如果在等待时间窗口无任何回复，则无法与任何对象建立连接。

本发明通过使用智能眼镜捕捉用户的视觉注意点，为用户和其视觉上管柱的对象自动建立通信连接。用户可以直接通过注视某对象实现发送消息给该对象，或者直接获取注视对象的信息而无需事先交换网络通信地址。例如在会议现场参加会议时，与会者可以直接与初次见面的其他参会者交换兴趣和资料；在博物馆或景点进行游览时，游览者可以通过个人移动设备直接读取展品或者景点介绍信息，无需预装任何游览应用；在商场逛街时，当用户注视某个店铺或者商品时，商家可以直接将介绍和折扣信息发送给用户。本发明提供的自动建立通信连接的方法有很强的实时性且不受环境等因素的影响干扰，同时可以产生各种新的增强现实的互动类游戏，例如射击类游戏。

随着智能眼镜的广泛应用，大部分智能眼镜如谷歌眼镜等集成了眼球运动追踪摄像头，同时配备了方向传感器能够实时捕捉视线方向。而视线的停留是人们实时兴趣最直观、最准确的表现，实时、准确的捕捉用户视线即可确认用户的实时兴趣进而建立通信连接。本发明为智能眼镜用户提出了一种新的通信连接的建立方法，用户可以通过注视某一目标便视线与该目标建立通信连接的目的。综上所述，本发明提供的建立方法在建立连接时无需事先交换通信地址；根据用户的视线注视建立通信连接，操作方便；实时性好，能够准确捕捉用户的实时兴趣；兼容性好，能够实现在各类现有网络通信设备上(如Wi-Fi、蓝牙)；普适性好，应用前景广泛能够应用于各类移动应用，并提供各类移动应用方便的连接建立方式。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种视觉注意力驱动的通信连接建立方法，其特征在于，所述方法包括以下步骤：

S1、追踪用户的眼球运动状态，并在眼球注视一方向超过第一预定时间阀值时获取眼球注视方向，通过智能眼镜追踪所述眼球运动状态，所述智能眼镜包括方向传感器、加速度传感器、定位模块、通信模块以及控制模块；

所述控制模块根据所述方向传感器、加速度传感器、定位模块、通信模块传递来的信息，利用图像分析技术分析眼球的所述运动状态，判断所述眼球注视一方向是否超过所述预定时间阀值；

S2、向用户发起准备连接的提醒，并在用户确认发起连接请求时，向周围的设备发送连接请求，所述连接请求中包含所述注视方向；

S3、所述周围的设备缓存所述连接请求，确定自己相对用户的相对方向，并回复用户其网络地址以及所述相对方向，所述周围的设备缓存所述连接请求之后，每个所述周围的设备通过追踪每个所述周围设备对应的眼球运动状态，判断每个所述周围设备对应的眼球注视一方向是否超过所述第一预定时间阀值，若是则获取眼球注视一方向超过所述第一预定时间阀值对应设备的注视方向，并判断用户的注视方向与对应设备的注视方向是否相反，若相反则对应设备确定自己相对用户的相对方向，并回复用户其网络地址以及所述相对方向，所述周围的设备为所述用户周围的设备；

S4、用户在第二预定时间阀值内等待其周围的设备的回复，若得到回复则用户将所述注视方向和接收的所述相对方向进行比较，若两者插值的绝对值小于设定值，则用户建立与对应设备的连接；若用户在所述第二预定时间阀值内没有得到回复则回到所述步骤S1。

2.根据权利要求1所述的方法，其特征在于，所述周围的设备为智能眼镜。

3.根据权利要求2所述的方法，其特征在于，所述步骤S1中，通过注视方向分析技术计算所述眼球的注视方向。

4.根据权利要求3所述的方法，其特征在于，所述步骤S1中，所述注视方向以所述方向传感器的坐标轴为参考坐标系。

5.根据权利要求4所述的方法，其特征在于，所述步骤S3中，所述周围的设备通过定位技术确定所述相对方向。

6.根据权利要求5所述的方法，其特征在于，所述定位技术为基于无线信号的定位及技术。

7.根据权利要求6所述的方法，其特征在于，所述步骤S2中，向周围的设备发送连接请求之前，所述加速度传感器检测到用户的点头动作时，确认发起连接请求。

8.根据权利要求7所述的方法，其特征在于，所述步骤S2中，通过声音或振动的方式向用户发起准备连接的提醒。