CN112399167B - 一种用于无线通信的智能眼镜 - Google Patents

Abstract

本公开涉及一种用于无线通信的智能眼镜。所述智能眼镜包括第一眼镜部和第二眼镜部。所述第一眼镜部和第二眼镜部的每一个包括：第一摄像单元，其配置为拍摄佩戴者的眼部的图像；无线通信单元，其配置为进行无线通信。其中，所述第一眼镜部和第二眼镜部中的一个眼镜部的无线通信单元进一步配置为：基于其同步时钟生成同步相关信息；向另一眼镜部的无线通信单元传输所述同步相关信息；所述另一眼镜部的无线通信单元还配置为：接收所述同步相关信息，并基于所述同步相关信息来生成所述另一眼镜部的同步时钟。如此能够摆脱在第一眼镜部和第二眼镜部之间的线缆，同时依然在两者之间实现视频数据的良好同步和各种操作的良好同步。

Description

一种用于无线通信的智能眼镜

技术领域

本公开涉及智能眼镜以及用于智能眼镜的控制方法，更具体地，涉及用于无线通信的智能眼镜及其控制方法。

背景技术

随着社会进步和人民生活水平的提高，具有多种功能（例如通信、AR和监测）的智能眼镜渐渐走进人们生活。目前的很多智能眼镜在第一眼镜部（例如左眼镜部）和第二眼镜部（例如右眼镜部）之间设有线缆（例如数据导线），这会限制佩戴者的行动，尤其在运动场合十分不便。同时，线缆的缠绕和拉扯影响用户体验和外观美感。一些蓝牙眼镜并非真正的无线眼镜，在左眼镜部和右眼镜部之间仍然存在连线。

目前，左眼镜部和右眼镜部上分别设有视频显示单元以显示针对该眼镜的视频内容，例如AR眼镜，左眼镜部和右眼镜部需要分别显示具有双目视差的视频内容，以给予用户身临其境的立体感觉。除此以外，左眼镜部和右眼镜部有时需要配合执行同步的操作。但是，目前的智能眼镜多依赖于左眼镜部和右眼镜部之间的有线传输，来确保视频数据的同步性和各种操作的同步性。

发明内容

提供了本公开以解决现有技术中存在的上述问题。

需要一种用于无线通信的智能眼镜，该智能眼镜能够摆脱在第一眼镜部和第二眼镜部之间的线缆，同时依然在两者之间实现视频数据的良好同步和各种操作的良好同步。

根据本公开的第一方案，提供一种用于无线通信的智能眼镜，所述智能眼镜包括第一眼镜部和第二眼镜部。所述第一眼镜部和第二眼镜部的每一个包括第一摄像单元和无线通信单元。第一摄像单元可以配置为拍摄佩戴者的眼部的图像。无线通信单元可以配置为进行无线通信。其中，所述第一眼镜部和第二眼镜部中的一个眼镜部的无线通信单元可以进一步配置为：基于其同步时钟生成同步相关信息；向另一眼镜部的无线通信单元传输所述同步相关信息。相应地，所述另一眼镜部的无线通信单元还可以配置为：接收所述同步相关信息，并基于所述同步相关信息来生成所述另一眼镜部的同步时钟。

在一些实施例中，所述第一眼镜部和第二眼镜部的每一个还可以包括惯性测量单元（IMU），其配置为检测所述智能眼镜的姿态相关参数。所述第一眼镜部和第二眼镜部中的一个眼镜部的无线通信单元可以进一步配置为向另一眼镜部的无线通信单元传输由其的IMU检测的姿态相关参数或其中的低频信息。所述另一眼镜部的IMU可以进一步配置为：利用所述姿态相关参数中的低频信息来校准零偏值。

在一些实施例中，每个眼镜部还可以包括姿态相关参数处理单元、第一触发单元、时钟计数单元和第一同步单元。姿态相关参数处理单元可以配置为：获取姿态相关参数并据此进行相关处理。第一触发单元可以配置为触发该眼镜部的IMU向所述姿态相关参数处理单元传输姿态相关参数。时钟计数单元可以配置为确定在第一触发单元的触发时刻该眼镜部的同步时钟的计数值。第一同步单元可以配置为：基于所述同步时钟的计数值对IMU的检测进行同步处理。

在一些实施例中，每一个眼镜部还可以包括视频显示单元、锁相环、直接内存访问（DMA）单元和第二触发单元。视频显示单元可以配置为基于各自的显示时钟来同步显示视频。锁相环可以配置为产生所述各自的显示时钟。直接内存访问（DMA）单元可以配置为：基于所述显示时钟工作，以及响应于触发而向所述视频显示单元传输视频数据。第二触发单元可以配置为：对于初始同步显示，在所述各自的同步时钟的计数值等于第一预设值的情况下，触发DMA单元向所述视频显示单元传输视频数据。

在一些实施例中，所述第二触发单元可以进一步配置为：对于后续的同步显示，每隔第二预设值的计数值的显示时钟，触发DMA单元向所述视频显示单元传输视频数据。其中，每一个眼镜部还可以包括第二同步单元，其配置为，对于后续的同步显示：经由调整所述锁相环，使得各个眼镜部的第二触发单元触发时同步时钟的计数值之间的差值与参考值一致。

利用根据本公开各个实施例的用于无线通信的智能眼镜，该智能眼镜能够摆脱在第一眼镜部和第二眼镜部之间的线缆，同时依然在两者之间实现视频数据的良好同步和各种操作（例如但不限于IMU数据检测、视频显示）的良好同步。

附图说明

在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的相同附图标记可以表示相似部件的不同实例。附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。

图1示出根据本公开实施例的用于无线通信的智能眼镜的示意图。

图2示出根据本公开实施例的基于来自一眼镜部的同步相关信息利用另一眼镜部的无线通信单元生成所述另一眼镜部的同步时钟的流程的图示。

图3示出根据本公开实施例的用于无线通信的智能眼镜的主处理芯片的配置图。

图4（a）示出根据本公开实施例的各个眼镜部的初始同步显示的工作流程的示意图。

图4（b）示出根据本公开实施例的各个眼镜部的后续同步显示的工作流程的示意图。

图5示出根据本公开实施例的用于无线通信的智能眼镜中的图像活动检测单元和眼球跟踪单元与其他构件协同工作的示意图。

具体实施方式

为使本领域技术人员更好的理解本公开的技术方案，下面结合附图和具体实施方式对本公开作详细说明。下面结合附图和具体实施例对本公开的实施例作进一步详细描述，但不作为对本公开的限定。

图1示出根据本公开实施例的用于无线通信的智能眼镜的示意图。如图1所示，所述智能眼镜可以包括第一眼镜部和第二眼镜部（即左眼镜部和右眼镜部），每一个眼镜部可以包括第一摄像单元101和无线通信单元1021，在图中这两个单元连同包含无线通信单元1021的主处理芯片102仅仅在右眼镜部上示出作为示例，但也可以设置在左眼镜部上。第一摄像单元101可以配置为拍摄佩戴者的眼部的图像，其可以采用图像传感器、眼动跟踪摄像头等来实现。所述无线通信单元1021可以配置为进行无线通信，例如在第一眼镜部和第二眼镜部之间的无线通信，在智能设备与当前眼镜部之间的无线通信，等等。在一些实施例中，所述无线通信单元1021可以用于不同无线通信方式，例如但不限于WIFI、经典蓝牙、低功耗蓝牙、LE（低功耗）音频、ANT通信、RF4CE通信、Zigbee通信、NFC通信中的一种。例如，所述无线通信单元1021可以包括用于其中一种或多种通信方式的无线通信子单元。

作为示例，为每个眼镜部设置的无线通信单元1021以及其他处理单元（例如图2中示出的那些）可以承载在主处理芯片102上（也就是说实现为SOC）。作为示例，无线通信单元1021以及其他处理单元（例如图2中示出的那些）也可以采用其他实现方式。在一些实施例中，主处理芯片102上可以设有多组单元（后续会结合图2具体说明）以实现相应的处理。在本公开中的各个单元视需要可以为硬件，也可以为软件，也可以为硬件和软件的组合。在单元通过软件来实现的情况下，可以在相应存储器上存储计算机可执行指令，该计算机可执行指令由相应处理器执行时实现相应单元的功能。各个处理器可以实现为FPGA、ASIC、DSP芯片、SOC（片上系统）、MPU（例如但不限于Cortex）等中的任何一种。处理器可以通信地耦合到存储器并且被配置为执行存储在其中的计算机可执行指令。存储器可以包括只读存储器（ROM）、闪存、随机存取存储器（RAM）、诸如同步DRAM（SDRAM）或Rambus DRAM的动态随机存取存储器（DRAM）、静态存储器（例如，闪存、静态随机存取存储器）等，其上以任何格式存储计算机可执行指令。在一些实施例中，计算机可执行指令可以被处理器访问，从ROM或者任何其他合适的存储位置读取，并加载到RAM中供处理器执行。

左右眼镜部之间可以经由无线通信单元1021的无线连接，实现两者的时钟同步，从而摆脱了在左右眼镜部之间的线缆。具体说来，可以由一个眼镜部（可以是第一眼镜部或第二眼镜部的任何一个，下文中以第一眼镜部为例）的无线通信单元1021，基于其同步时钟生成同步相关信息，并向另一眼镜部（例如为第二眼镜部）的无线通信单元1021传输所述同步相关信息。所述同步相关信息表示可以从其获取定时同步误差和/或载波同步误差等来实现时钟同步的相关信息。所述第二眼镜部的无线通信单元1021还可以配置为：接收所述同步相关信息，并基于接收到的同步相关信息来生成自身的同步时钟。通过接收同步相关信息，第二眼镜部的无线通信单元1021得到了对其时钟振荡器如何调整才能与第一眼镜部的同步时钟彼此同步的依据，如此，可以使得第一眼镜部和第二眼镜部的基准时钟（也称为同步时钟）在频率和相位上同步，各个眼镜部的若干操作是依据该同步时钟的，两者的同步时钟的严格同步，有利于在两者之间实现视频数据的良好同步和各种操作的良好同步。

下面以无线通信单元1021为蓝牙通信单元，且由第一眼镜部的无线通信单元1021发送同步相关信息而第二眼镜部的无线通信单元1021接收同步相关信息为例，对两个眼镜部的时钟同步流程进行说明。

如图2所示，第二眼镜部的无线通信单元1021（即蓝牙通信单元）可以包括射频前端201、模数转换器202、同步和解调模块203、第一锁相环206和分频器207。可以由第一眼镜部的无线通信单元1021基于其同步时钟（例如但不限于调制时钟）生成包含同步码的蓝牙帧（采用其他无线通信方式的情况下也可以是包含同步码的其他无线帧），并发送该包含同步码的蓝牙帧。该蓝牙帧以射频信号的形式被图2所示的射频前端201接收，利用模数转换器202对所接收的射频信号进行采样以得到数字信号，再利用同步和解调模块203进行处理以得到定时同步误差304和载波同步误差305。定时同步误差204和载波同步误差205两者或者两者之一可以馈送到第一锁相环206，以便利用第一锁相环206去调整其中的时钟振荡器（未示出）的晶体振荡频率，使得解调时钟与第一眼镜部的无线通信单元1021的调制时钟在频率上能够同频，并且使得定时同步信号跟第一眼镜部的无线通信单元1021的蓝牙发送信号的时隙的起点同步上，这样两个眼镜部的（基准）时钟就实现了同步，也称为各个眼镜部各自的同步时钟。由第一锁相环206馈送的射频载波可以馈送到射频前端201，并经由分频器207进行降频以得到用于模数转换器202的模数采样时钟。由此，第一锁相环206可以为第二眼镜部生成与第一眼镜部的基准时钟在频率和相位上均同步的基准时钟，分别称为两个眼镜部各自的同步时钟。

在一些实施例中，利用同步时钟，可以左右眼镜同步采集IMU数据，和/或同步采集佩戴者的眼部的图像。例如但非限制，所述IMU 106可以进一步配置为基于对应眼镜部的同步时钟来检测所述智能眼镜的姿态相关参数；第一摄像单元101也可以进一步配置为基于对应眼镜部的同步时钟来拍摄佩戴者的眼部的图像。

回到图1，鉴于第一和第二眼镜部之间是无线连接，每一个眼镜部还可以包括惯性测量单元（IMU）106，其配置为检测所述智能眼镜的姿态相关参数。通过为每个眼镜部分设对应的IMU 106，可以避免经由无线连接的IMU数据传输所导致的时延问题（可能从几ms到几百ms），从而确保测得的IMU数据的良好实时性。IMU是测量物体三轴姿态角(或角速率)以及加速度的装置。在一些实施例中，一个IMU可以包含三个单轴的加速度计和三个单轴的陀螺，加速度计可用于检测物体在载体坐标系上的独立三轴的加速度信号，而陀螺则可用于检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。在一些实施例中，IMU也可以包括磁力计。各种IMU测得的数据，包括或不限于加速度、速度、角速度等，或者对这些数据进行进一步处理所得的衍生数据，只要可以用于确定智能眼镜的姿态，均包含在本公开的术语“姿态相关参数”的范畴内。

所述第一眼镜部和第二眼镜部中的一个眼镜部（可以为第一眼镜部或第二眼镜部中的任何一个，下文以第二眼镜部为例）的无线通信单元1021可以进一步配置为：向另一眼镜部即第一眼镜部的无线通信单元1021传输由其IMU 106检测的姿态相关参数或其中的低频信息。相应地，该第二眼镜部的IMU 106可以进一步配置为：利用所述姿态相关参数中的低频信息来校准零偏值。具体说来，当IMU 106保持静止时, 它依然会有一个很小输出,这个输出的数值就是零偏。零偏会严重影响由IMU 106得到的眼镜的姿态，但零偏变化缓慢，其估计所要求的实时性不高。因此，可以通过无线连接传送第二眼镜部的IMU数据或IMU数据的低频信息（例如但不限于直流信息）给第一眼镜部，第一眼镜部可以利用这些信息以及自身的IMU数据，来校准自身的IMU数据的零偏。

在一些实施例中，所述智能眼镜还可以包括第二摄像单元107，该第二摄像单元107可以为外部图像传感器或摄像头，位置可如图2所示设置在镜框上，也可以设置在其他位置，其配置为：拍摄外部环境的图像。注意，本文中的“图像”可以包括静态图像和动态图像（即视频）。对IMU 106的零偏进行校准。第二摄像单元107可以采集在不同时间的图像，这些图像跟眼镜的姿态相关也能反映出眼镜姿态的变化，可以基于这些图像利用SLAM（同步定位与地图构建）技术对IMU 106的零偏进行校准。IMU 106的特点是在短时间内可以精确得到眼镜的姿态变化，但长时间容易受到零偏影响，而第二摄像单元107采集的图像虽然会受到噪声的影响，也会有轻微的抖动，但长时候来看不会有零偏影响，可以用来校准IMU106的零偏。

在一些实施例中，智能眼镜可以包括一对扬声器103，分设于左右侧上，以便通过分别播放针对左右耳的音频信号来实现立体声播放效果。通常，该智能眼镜还可以包括至少一个麦克风105用于收音。该至少一个麦克风105可以设于左右两个眼镜部或其中间任一位置，也可以是包括多个麦克风的麦克风组。在一些实施例中，所述麦克风组中可以具有波束成形构件以按照关注方向进行波束成形，从而优化麦克风组针对关注方向的收音效果并减少噪音或其他方向杂音的混入，优化麦克风采集的音频信号的信噪比。

在一些实施例中，智能眼镜的每个眼镜部可以具有视频显示单元104，其可以配置为显示视频内容。虽然图1中仅为右眼镜部示出了该视频显示单元104，但须知这也可以为左眼镜部设置，在此不赘述。在一些实施例中，视频显示单元104可以包括影像投影源（即要播放的视频源）。例如，视频显示单元104可以进一步包括成像屏幕以将影像投影源反射到相应的眼睛中。又例如，视频显示单元104也可以将影像投影源利用波光导入射到对应的眼睛中。

图3示出根据本公开实施例的用于无线通信的智能眼镜的每个眼镜部的主处理芯片102的配置图。

除了无线通信单元1021以外，主处理芯片102还可以设有姿态相关参数处理单元1022、第一触发单元1023、时钟计数单元1024和第一同步单元1025，以用于IMU的检测的同步化。具体说来，姿态相关参数处理单元1022可以配置为获取来自IMU的姿态相关参数并据此进行相关处理。第一触发单元1023可以配置为触发该眼镜部的IMU向所述姿态相关参数处理单元1022传输姿态相关参数，例如在需要传输IMU检测的数据给该眼镜部的主处理芯片102时，可以发送硬件触发信号给该主处理芯片102。时钟计数单元1024可以配置为确定在第一触发单元1023的触发时刻该眼镜部的同步时钟的计数值。例如，该时钟计数单元1024可以实现为该眼镜部的同步时钟的周期计数器。第一同步单元1025可以配置为基于所述同步时钟的计数值对IMU的检测进行同步处理。作为示例而非限制，如果左右眼镜部的触发时刻计数值有偏差时，可以据此对左右眼镜部的IMU的检测数据进行时域上的校正以抵消该偏差。又例如，可以对左右眼镜部各自的第一触发单元1023的触发设置进行修正，以使得左右眼镜部的触发时刻计数值没有偏差，等等。

为了更清楚示出，图3中将用于IMU同步和左右视频显示同步的单元模组分别用虚线标出。如图3所示，左右视频显示同步的单元模组可以包括视频显示单元104、第二锁相环1026、直接内存访问（DMA）单元1027、第二触发单元1028和第二同步单元1029。

具体说来，第二锁相环1026可以配置为产生该眼镜部自身的显示时钟；第一锁相环206可以配置为产生该眼镜部自身的同步时钟；视频显示单元104可以配置为基于各自的显示时钟来同步显示视频。如图4（a）所示，对于初始同步显示，可以由第二触发单元1028查看同步时钟计数（步骤401），并判定同步时钟的计数值是否等于第一预设值（步骤402）。在步骤402的判定结果为肯定的情况下，第二触发单元1028可以触发（例如通过产生硬件触发信号的方式，步骤403）DMA单元1027向所述视频显示单元104传输用于初始显示的视频数据（步骤410a）。第二触发单元1028可以实现为硬件触发电路，从而减少处理器的负荷；通过在两个眼镜部的同步时钟的计数值等于第一预设值的情况下触发视频数据的传输，初始同步显示的精度可以达到同步时钟的精确度。同步时钟可以是1MHz，13MHz等。注意，不同眼镜部的第一预设值可以有差异，只要为两个眼镜部预设的各个第一预设值代表相同的时间点即可。相同时间点的取得，可以以两个眼镜部的同步时钟互相同步上为前提。

DMA单元1027可以响应于触发而向所述视频显示单元104传输视频数据，例如用于初始显示的视频数据（步骤410a）。通过由DMA单元1027向视频显示单元104传送视频数据，可以减少处理器的负荷。

图4（b）示出根据本公开实施例的各个眼镜部的后续同步显示的工作流程的示意图。如图4（b）所示，由第二锁相环1026产生显示时钟；DMA单元1027可以工作在显示时钟上。对于后续的同步显示，可以由第二触发单元1028每隔第二预设值的计数值的显示时钟（步骤405的判定结果为肯定），就触发（例如通过产生硬件触发信号的方式，步骤406）DMA单元1027向所述视频显示单元104传输用于后续显示的视频数据（步骤410b）。如此，DMA单元1027每次传送的数据量相同，可以避免处理器频繁配置DMA参数进而避免该频繁配置导致的处理器资源占用。

每一个眼镜部还可以包括第二同步单元1029，其可以配置为对于后续的同步显示：经由调整所述第二锁相环1026，使得各个眼镜部的第二触发单元1028触发时同步时钟的计数值之间的差值与参考值一致。参考值被预先测定使得差值与其一致的两个眼镜部的同步时钟的计数值对应相同的时间点；通过使得各个眼镜部的第二触发单元1028触发时同步时钟的计数值之间的差值与参考值一致，可以实现两个眼镜部的显示同步。

具体说来，第二同步单元1029也可以对同步时钟进行计数（步骤404），在接收到来自第二触发单元1028的触发通知（步骤407）时，确定此时的同步时钟计数（即第二触发单元1028触发时的同步时钟的计数值）。可以在步骤408判定该第二触发单元1028触发时的同步时钟的计数值与另一眼镜部的对应计数值之间的差值是否等于参考值（步骤408）。如果不同，则向第二锁相环1026发送调整指令（步骤409），以调整第二锁相环1026（尤其其中的时钟振荡器），直至第二触发单元1028触发时的同步时钟的计数值之差等于参考值，从而实现左右眼镜部的显示同步。如此，左右眼镜部的后续视频同步显示的精度也可以达到同步时钟的精确度。

在一些实施例中，左右眼镜部各自的同步时钟的精确度受左右眼镜部的无线帧的接收同步的精确度限制，可由无线帧的码片周期来决定。比如，对于经典蓝牙，精确度可以为1us；对于WIFI，精确度可以小于1µs，比如1/11µs, 1/10µs等。由此可以达到很高的视频同步显示精度。

虽然没有示出，智能眼镜可以设有MIPI接口。在一些实施例中，智能眼镜可以经由一路MIPI与多路传感器相连，包括但不限于摄像单元、IMU等。在一些实施例中，DMA单元1027可以通过MIPI接口向视频显示单元104传送视频数据。DMA单元1027可以内置在主处理芯片102中，而视频显示单元104可以是外设构件。

回到图3，在一些实施例中，所述姿态相关参数处理单元1022可以进一步配置为：基于姿态相关参数，对要播放的3D音频信号进行处理，以使得所述3D音频信号的感知音源保持方位稳定。姿态相关参数可以基于IMU 106的检测结果得到，也可以基于第二摄像单元107采集的视频内容推导得到，也可以融合两者计算得到。在佩戴者的姿态发生变化的时候，例如在佩戴者背过身的时候，原本前方的音源的感知方位就可以保持在原地（背过身的佩戴者的后方），而不会突然跳转闪现在背过身的佩戴者的前方，从而提升佩戴者对于虚拟场景的持续稳定的空间感知，提升用户听觉体验。

在一些实施例中，主处理芯片102还可以包括眼球跟踪单元1030。眼球跟踪单元1030可以配置为基于由所述第一摄像单元104拍摄的眼部的图像，确定佩戴者的注视点。眼球跟踪单元1030可以识别眼部图像，并计算眼球运动向量，获取眼睛运动坐标，等。利用眼球跟踪单元1030不仅可以得到眼球的注视点，还可以获知眼睛的各种动作，比如眨眼、转动眼球等。根据检测到的各种眼睛动作，可以完成各种交互。例如，可以利用眨眼的动作作为菜单、对话框的确认。通过在空间某处利用智能眼镜虚拟显示菜单和/或对话框按钮，让佩戴者注视菜单、对话框按钮超过一定时间，以作为对此按钮的按键动作。

在一些实施例中，经由眼球跟踪单元1030所跟踪到的眼球的状态，包括但不限于各种眼睛动作、注视点等等，可以与其他构件以各种方式协同工作以自动响应佩戴者通过眼睛的各种动作和注视点所隐含的实际需求。

如图5所示，注视点信息可以被馈送到音频处理单元1031、麦克风组105和第二摄像单元107中的任何一个或多个。

具体说来，音频处理单元1031可以配置为基于所述佩戴者的注视点相对于所述佩戴者方位，对麦克风组105采集的一路音频信号进行处理，例如由该路音频信号以及佩戴者的注视点相对佩戴者的方位，根据HRTF（Head Related Transfer Function，头相关变换函数）等模型，得到相对于左耳的一路音频信号以及相对于右耳的另一路音频信号，以得到3D录音信号。HRTF的使用仅仅作为示例，也可以预先建立各种方位与左右耳的提供立体感知效果的处理后的两路信号之间的对应关系（预先测量并建立对应列表等等），如此由该路音频信号以及佩戴者的注视点相对佩戴者的方位即可得到左右耳的处理后的两路信号。如此得到的3D录音信号可以再现左右耳处倾听注视点处发出的声音的立体感知效果。

在一些实施例中，麦克风组105可以进一步配置为在所述佩戴者的注视点的方向上进行波束成形（步骤501），例如经由波束成形器进行该方向上的波束成形（即该方向作为波束成形的主瓣方向）。如此，可以聚焦于在佩戴者关注的声源方向（通常注视点的方向与关注的声源方向一致）上的收音，从而避免其他方向上的杂音和噪音的混入，进而改善声音采集效果。波束成形后，得到一路音频信号，再由该路音频信号以及佩戴者的注视点相对佩戴者方位，根据HRTF（Head Related Transfer Function，头相关变换函数）等模型得到相对于左耳的一路音频信号以及相对于右耳的另一路音频信号，以得到3D录音信号。

在又一些实施例中，第二摄像单元107还可以配置为；基于所述佩戴者的注视点，来调节或确定成像焦点（步骤502）。鉴于佩戴者注视点即其关注的地点，据此来调节或确定成像焦点，可以以尽量高的清晰度拍摄佩戴者关注的外部环境处的图像。

在一些实施例中，每一个眼镜部还可以进一步包括图像活动检测单元1032。该图像活动检测单元1031可以对所述眼部的图像进行图像活动检测，例如眼珠的活动情况。在检测到图像活动的情况下，才开启所述眼球跟踪单元1030。图像活动检测单元可以以硬件电路来实现，其工作时（尚未检测出图像活动时），处理器可以不工作或工作在低功耗模式下（比如工作在很低的工作频率下，1 MHz，2MHz，6.5MHz，13MHz等），眼球跟踪单元1030可以关闭，以节约功耗和降低处理器的负荷；而当检测到有图像活动时，再开启处理器或提高处理器的工作频率，并开启眼球跟踪单元1030，以实现眼球活动的精确实时检测。

在一些实施例中，图像活动检测单元1032接收来自第一摄像单元101的眼部图像以进行活动检测，还可以将其工作状态通知第一摄像单元101，例如低功耗工作、未检出活动等等，使得第一摄像单元101可以根据其具体工作状态来调节其摄像工作的分辨率/帧率。具体说来，在图像活动检测单元1032工作的情况下，以较低的第一分辨率和/或第一帧率工作，由此，可以在进一步降低功耗的同时，降低其处理的视频内容的数据量，从而能够更快地检出图像活动。而在所述图像活动检测单元1032未工作的情况下，以第二分辨率和/或第二帧率工作，使得所述第二分辨率和/或第二帧率高于第一分辨率和/或第一帧率，由此，可以实现对眼部图像的更精细的但实时性要求不高的拍摄，以满足相应需求。例如，佩戴者需要利用瞳孔图像登录时，需要利用第一摄像单元101拍摄更精细的眼部图像，此时无需检测眼部活动，就可以以较高的第二分辨率和/或第二帧率工作。

以上描述旨在是说明性的而不是限制性的。例如，上述示例（或其一个或更多方案）可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本公开。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反，本发明的主题可以少于特定的公开的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。

Claims (14)

1.一种用于无线通信的智能眼镜，所述智能眼镜包括第一眼镜部和第二眼镜部，其特征在于，所述第一眼镜部和第二眼镜部的每一个包括：

第一摄像单元，其配置为拍摄佩戴者的眼部的图像；

无线通信单元，其配置为进行无线通信；

其中，所述第一眼镜部和第二眼镜部中的一个眼镜部的无线通信单元进一步配置为：基于其同步时钟生成同步相关信息；向另一眼镜部的无线通信单元传输所述同步相关信息；

所述另一眼镜部的无线通信单元还配置为：接收所述同步相关信息，并基于所述同步相关信息来生成所述另一眼镜部的同步时钟；

视频显示单元，其配置为基于各自的显示时钟来同步显示视频；

锁相环，其配置为产生所述各自的显示时钟；

直接内存访问单元，其配置为：基于所述显示时钟工作，以及响应于触发而向所述视频显示单元传输视频数据；

第二触发单元，其配置为：对于初始同步显示，在所述各自的同步时钟的计数值等于第一预设值的情况下，触发直接内存访问单元向所述视频显示单元传输视频数据；对于后续的同步显示，每隔第二预设值的计数值的显示时钟，触发直接内存访问单元向所述视频显示单元传输视频数据；

第二同步单元，其配置为，对于后续的同步显示：经由调整所述锁相环，使得各个眼镜部的第二触发单元触发时同步时钟的计数值之间的差值与参考值一致。

2.根据权利要求1所述的智能眼镜，其特征在于，所述第一眼镜部和第二眼镜部的每一个还包括惯性测量单元，其配置为检测所述智能眼镜的姿态相关参数；

所述第一眼镜部和第二眼镜部中的一个眼镜部的无线通信单元进一步配置为：向另一眼镜部的无线通信单元传输由其惯性测量单元检测的姿态相关参数或其中的低频信息；

所述另一眼镜部的惯性测量单元进一步配置为：利用所述姿态相关参数中的低频信息来校准零偏值。

3.根据权利要求2所述的智能眼镜，其特征在于，每个眼镜部还包括：

姿态相关参数处理单元，其配置为：获取姿态相关参数并据此进行相关处理；

第一触发单元，其配置为：触发该眼镜部的惯性测量单元向所述姿态相关参数处理单元传输姿态相关参数；

时钟计数单元，其配置为：确定在第一触发单元的触发时刻该眼镜部的同步时钟的计数值；以及

第一同步单元，其配置为：基于所述同步时钟的计数值对惯性测量单元的检测进行同步处理。

4.根据权利要求3所述的智能眼镜，其特征在于，所述姿态相关参数处理单元进一步配置为：基于姿态相关参数，对要播放的3D音频信号进行处理，以使得所述3D音频信号的感知音源保持方位稳定。

5.根据权利要求1所述的智能眼镜，其特征在于，每一个眼镜部还包括：

眼球跟踪单元，其配置为：基于由所述第一摄像单元拍摄的眼部的图像，确定佩戴者的注视点。

6.根据权利要求5所述的智能眼镜，其特征还在于，所述智能眼镜还包括至少一个麦克风，其配置为采集音频信号；

所述智能眼镜还包括音频处理单元，其配置为：基于所述佩戴者的注视点相对于所述佩戴者的方位，对所述至少一个麦克风采集的一路音频信号进行处理，得到相对于左耳的一路音频信号以及相对于右耳的另一路音频信号，以得到3D录音信号。

7.根据权利要求6所述的智能眼镜，其特征在于，所述至少一个麦克风进一步配置为包括多个麦克风的麦克风组并在所述佩戴者的注视点的方向上进行波束成形。

8.根据权利要求5所述的智能眼镜，其特征在于，所述智能眼镜还包括第二摄像单元，其配置为：拍摄外部环境的图像；并基于所述佩戴者的注视点，确定成像焦点。

9.根据权利要求5所述的智能眼镜，其特征在于，每一个眼镜部进一步包括图像活动检测单元，其配置为：对所述眼部的图像进行图像活动检测；在检测到图像活动的情况下，开启所述眼球跟踪单元。

10.根据权利要求9所述的智能眼镜，其特征在于，所述第一摄像单元进一步配置为：在图像活动检测单元工作的情况下，以第一分辨率和/或第一帧率工作；而在所述图像活动检测单元未工作的情况下，以第二分辨率和/或第二帧率工作，使得所述第二分辨率和/或第二帧率高于第一分辨率和/或第一帧率。

11.根据权利要求9所述的智能眼镜，其特征在于，所述图像活动检测单元以硬件电路来实现。

12.根据权利要求1所述的智能眼镜，其特征在于，所述同步相关信息包括含有同步码的无线帧。

13.根据权利要求1所述的智能眼镜，其特征在于，所述第一摄像单元进一步配置为基于对应眼镜部的同步时钟来拍摄佩戴者的眼部的图像。

14.根据权利要求2所述的智能眼镜，其特征在于，所述惯性测量单元进一步配置为基于对应眼镜部的同步时钟来检测所述智能眼镜的姿态相关参数。

Images