CN104243959A - 基于偏振定向和组合定位的智能复合眼镜 - Google Patents

Abstract

本发明涉及一种基于偏振定向和组合定位的智能复合眼镜，其结构是在镜框上安装了四组前视摄像头和偏振片，以完成场景图像和偏振图像的摄取；通过嵌入在镜腿中的嵌入式信息处理与综合控制模块，进行偏振、场景、运动等信号的数据处理，以产生方位、距离、位置等相关信息；在将这些信息进行可视化处理、并与场景等图像合成之后，传送至安装在镜框上沿的显示单元中予以显示。本发明既可保留普通眼镜的基本功能、直接观看到实际景象，还能在佩戴之后通过显示单元看到一个虚拟的图像，该虚拟图像既可以是实际景象的一部分，也可以是各类有关定向、测距、查询、提示等以文字或图形方式显现的信息。

Description

基于偏振定向和组合定位的智能复合眼镜

技术领域

本发明涉及一种智能眼镜，具体地说是一种基于偏振定向和组合定位的智能复合眼镜。

背景技术

定向与定位是人们在户外（尤其是在地标不明确的地区，如沙漠或海洋之中）活动时所需要的最基本的条件之一。目前能够为个人使用的定向与定位工具，主要包括有指南针、六分仪、GPS以及车载惯性导航设备等，这些设备的使用准确有效，但是这些装备多为独立设备，携带和使用有所不便；另外，指南针仅有定向功能，不能实现定位；六分仪的操作比较复杂，耗时较长；GPS依靠卫星通讯，时常受制于人，且更新速率有限；单纯的惯导定向设备价格高昂，并存在有较大的积累误差。

目前虽有多款具有显示功能的智能眼镜上市，但这些智能眼镜无法通过简单的技术改进，而使其满足定向和定位的要求。尽管现在的定位、定向技术本身已经较为成熟，而且具有不同的实现方式、得到了广泛的应用，但相关产品多属专用的设备，相对于眼镜而言，都有体积和功耗太大之虞，无法实现与眼镜的直接结合。

另外，眼镜本身是一款增强视力或扩大视角的光学设备，对于眼镜的改造和功能的添加，应以不影响、至少是少影响眼镜的常规功能为前提。而目前流行的智能眼镜多属单目、单摄像头方式。对于EyeTap类型的智能眼镜而言，摄像头的位置完全与观察者某侧瞳孔的位置相重合（如图1所示），其目的是使得获取的影像能从视角方面完全复现观察者裸眼看到的景象（如图2所示）。

然而，由于摄像头对瞳孔的全面遮挡，被遮挡的眼睛就只能看到通过光学系统所传输的屏幕图像，其他所有视觉信息就只能由另一侧未被遮挡的眼睛获取。此外，这种设置方式还可能使得双目所视的两侧图像之间出现同步不畅等问题，并影响纵深感。所以，另外一些智能眼镜就将摄像头偏移至眼镜的其它位置，以便进行瞳孔避让或偏离（如图3、图4所示）。

但是，这种瞳孔避让或偏离的设置方式，会因摄像头的位置偏离了瞳孔实际观察的位置而导致了“视差”的出现。其结果是发生了经过处理的虚拟图像和直接观察的现实图像在观测角度上产生偏离，进而造成了虚实图像重组后的失真问题（如图5所示）。

图中，由于摄像头与瞳孔不在同一位置而出现的视差，导致了T型走廊墙面上虚拟显示的窗口与实际物理墙面成一夹角，使得图像变形，匹配欠佳。

对此，尚可根据摄像头到瞳孔的距离，使用特定的算法进行图像补偿。但使用单独的摄像头无法确定景深，即便是获得补偿，也只能是作用于一个固定距离或是固定焦点，难以同时照顾近景和远景的更多情况。

尽管上述多种智能眼镜各有优缺点，但在现有模式下，难以相互协调。即，要么牺牲一侧眼睛直视的效果和相应的视野，要么接受可视信息重组后的变形。况且，两者均有一个共同的问题，就是只能使用一侧的眼睛进行虚拟影像的观察。

发明内容

本发明的目的就是提供一种基于偏振定向和组合定位的智能复合眼镜，主要是为方便使用者的户外或野外的活动而设计，并且解决现有智能眼镜存在的瞳孔遮挡和图形的失真及偏离问题。

本发明是这样实现的：一种基于偏振定向和组合定位的智能复合眼镜，包括镜框和镜腿，其特征是，还包括有：

偏振与摄像传感单元，由呈阵列分布并安装于所述镜框上的若干摄像组件所组成，用于完成场景图像和偏振图像的摄取；每个所述摄像组件是在前视摄像头的前端设置有偏振片和滤光片；

红外传感单元，安装在所述镜框的鼻梁架上，用于对所述偏振与摄像传感单元中的所述前视摄像头进行焦距调整； 

嵌入式信息处理与综合控制模块，安装在所述镜腿中，用于对各传感单元的输入信息进行数据处理，得出显示单元目视遮挡部分的场景图像信息、目视前方的方向信息、眼镜佩戴者从初始位置至当前位置的位置变化信息，并根据操作指令将得出的相关信息送显示单元予以显示；

显示单元，由微型显示器和光学投影组件所组成，安装在所述镜框上左、右眼框上沿的中部，但不遮挡人眼对前方的观察视线，用于显示目视前方遮挡区域的场景图像、显示目视前方的方向信息、显示眼镜佩戴者从初始位置至当前位置的位置变化信息，并可兼做计算机显示器；

无线通讯单元，安装在所述镜框或所述镜腿上，用于接收眼镜佩戴者通过可穿戴输入设备发出的操作指令，并向所述嵌入式信息处理与综合控制模块进行传输；以及

电源管理单元，安装在所述镜腿中，通过对电源的管理，为上述各部分中的电路提供工作电压。

本发明还包括有：

惯性传感单元，安装在所述镜腿中，用于将眼镜佩戴者的运动方向、加速度、速度的变化信息输入到所述嵌入式信息处理与综合控制模块，进行运动距离的估算。

所述嵌入式信息处理与综合控制模块包括有通讯与总控单元、偏振信息处理单元、摄像信息处理单元、红外信息处理单元、图像合成单元以及存储基础信息数据库的存储单元。 

在所述镜框中可以安装或不安装镜片，所述镜片可以是有色镜片、无色镜片、平光镜片、曲面镜片或视力矫正镜片。 

各所述摄像组件中的前视摄像头的中心轴线相互平行，所述偏振片和所述滤光片的光学平面均分别垂直于摄像头的中心轴线。

各所述摄像组件中的前视摄像头的焦距均可调整，各所述前视摄像头的焦距可以相同或不同。

在所述镜腿的外侧面安装有用于扩展观测视野的侧视摄像头。

在两条所述镜腿之间连接一条拱形头带，所述头带可以调整长度，还可挂接附加功能单元。

在两条所述镜腿之间连接一条头带，所述头带可以调整长度，还可挂接附加的功能单元。

基于偏振光的定位和导航方法，是以太阳光在大气中的自然偏振特性为理论依据，利用大气偏振光获取装置提取大气偏振模式的信息并结合地理坐标和太阳位置，计算得到观察者测量方向与地理南北方向之间的角度数据。同时，结合惯性传感等信息，也可完成定位任务。这种偏振光定位方法充分利用了大气偏振模式的稳定性和不变性，在技术上具有抗干扰能力强、适用范围广、定位误差不随时间累积等特点。尤其是在没有或难以检测出GPS信号的情况下，其应用价值更显重要。

本发明通过在镜框上安装呈阵列分布的前视摄像头，并且在每个前视摄像头前加装偏振片和滤光片，形成偏振与摄像传感单元，以完成场景图像和偏振图像的摄取。通过嵌接在镜框或镜腿中的红外传感单元、惯性传感单元和嵌入式信息处理与综合控制模块，进行偏振、场景、运动等各类信号的采集和处理，以生成方位、距离、位置等相关数据信息。在将这些数据信息进行可视化处理、并与场景等图像合成之后，实时传送至显示单元予以显示。

这样，佩戴者便能以最为便捷的方式，直接“看到”目视前方的方向信息，以及从初始位置到当前位置的出行距离信息。使用者在佩戴本发明智能复合眼镜后，在保留普通眼镜的基本功能、能够直接看到实际景象的同时，还可通过显示单元看到一个虚拟的图像。该虚拟图像既可以是所遮挡的实际景象的一部分，也可以是有关定向、测距、查询或提示等以文字或图形方式显现的各类信息。

以下是本发明所涉及和所采用技术内容的详细说明。

一、偏振定向概念与基于智能眼镜的可穿戴定向方法。

天空偏振光分布模式和生物偏振光导航机理，为偏振光导航技术奠定了基础。通过偏振光图景，结合时间基准和太阳路径表，便可计算得出使用者目视的方向信息。例如Lambrinos D 与 Wehner R 等结合其偏振信息处理机制，设计了六通道偏振光导航传感器。对该方法的进一步简化和改进，又形成了偏振光导航的四通道传感电路。

按照这些方法，每个检测通道中均需设置一只光电二极管，用以接收检测通道中的大气偏振光信息，并转换为传感器硬件电路模块的输入信号。通过以模拟方式工作的对数放大器、运算放大器、滤波电路和模数转换等一系列环节，进行增益与数字化处理。然后，进行偏振方向特征提取和偏振主方向角度的解算，最终获得偏振航向角度信息。

尽管这种使用模数结合的处理方法作为独立仪器使用时较为有效，但毕竟难以直接装入可穿戴设备中。同时，仪器级别的偏振检测定向设备具有非常高的精度要求，对其工作环境同样要求苛刻，传感器平台本身甚至需要具有良好的暗室效应，需要传感单元之间精确的位置关系，以及测量过程中的运动要求等。

本发明将偏振定向技术与作为可穿戴设备之一的智能眼镜相结合，使之能为使用者提供一个相对准确的方位，而并非制作一款较高精度的定位设备。因此，本发明采用双目结构以及相对简单的四通道检偏定向技术，并使用中心轴线相互平行的四只摄像头代替传统的光敏二极管，由此实现了检偏定向与智能眼镜的有机结合。

本发明充分利用已经微型化的相关器件和组件，充分结合眼镜的自身结构，很好地解决了现有智能眼镜中双目视觉欠缺、瞳孔遮挡和虚拟图形偏离等问题，并且还派生出视场拓展技术、自动对焦方法以及固定焦距图像合成等功能。

二、基于“数字分光”技术的偏振定向信息获取。

为了获得偏振光的光强数据，在前视摄像头的前端装配了滤光片和偏振片，形成一个镜头护罩。这样，既保护了摄像头免受污染和划伤，又使摄像头成为一个“偏振光传感器”，由此取代了传统的光敏二极管的设置。而且，用摄像头替代光敏二极管，还可在获得偏振信息的同时，与传统智能眼镜一样，进行场景图像的获取。所以，数据处理系统实际上是在处理每个摄像头的图像信息以供显示的过程中，再按照一定的比例选定其中部分帧数，进行“图像抽取-灰度处理-光强转换”的运算，得出每个摄像头相应的偏振光强等信息，再计算处理得出方向信息。

其最大的优点是，这种对于摄像头摄入的整个光束分别进行图像信息和光强信息的处理方式，并不因为对于光学通路的“拆分”而在各自的光通量方面产生任何影响。这恰恰相当于能将一束光线拆分并服务于两种用途的物理分光器，而且没有任何由于拆分而引起的光线衰减。因此，可称其为“数字分光器”。这样，从光敏二极管到带通滤波器，偏振定向系统中所使用的模拟器件几乎可以全部被替代，并使其体积、功耗等整体参数基本取决于数字电路。这样对系统的数据处理和存储能力尽管有很高的要求，但依目前的芯片技术和软件技术而言，均是可以实现的，并且也已经可以使系统做得小巧和精致，直接用于智能眼镜等可穿戴设备中。

三、基于偏振定向方式的组合定位问题。

使用GPS等设备可以进行“绝对定位”，即获得目标方位的详细的经纬度参数。与之不同的是，本发明所述的定位是一种“相对定位”，其主要目的是在于解决勘察、旅行、远足等工作或运动过程中，使用者在任意时刻相对于初始位置的确定以及行程的记录，即解决“向何方走多远”的问题。

通过前述偏振光检测的数字化和可视化方法，可以解决可穿戴设备的定向问题。但是，按此方式仅仅依靠偏振方式还是无法实现定位要求的。在不求助于GPS等定位系统的情况下，使用惯性器件，就是一个较为现实和可行的远距定位方式。

随着三轴加速度传感芯片等新型技术和器件的出现，惯性传感的小型、微型化，使其应用领域日趋扩展和成熟。所以，可穿戴运动系统的基准位置定标和测量等问题均可借助此类技术，通过对加速度、速度、位移等物理量的检测来实现。在本人在先前申请专利的“用于电子设备的可穿戴式输入装置”中（申请号：CN201410272210.6），也公开了与之类似的惯性传感定位的技术解决方式。

在上述发明中，惯性传感单元与地面之间的任何运动均会被悉数记录。动作单元中的加速度信息通过一次积分、二重积分运算和相关角速度数值的修正后，得到各自的速度、距离等参数。然而，这些参数并不包含方向信息。若与本发明按照偏振方式所提供的方向信息进行“组合”，作为“第一手资料”实时传至数据处理单元，便可一并进行运动辨识与方向、路径的统计。进而，在初始位置已知的情况下，根据实测距离和定向信息，在完成“重复路径消隐”等工作后，即可推算得出使用者二维的相对位置坐标，由此得到使用者在任意时刻相对初始位置的定位。

四、图像显示的“同位虚拟”技术

本发明采用的“同位虚拟”技术，正是为了解决现有智能眼镜存在的处理后的虚拟图像与直接观察的现实图像在观测角度上会产生偏离，造成虚实图像重组后的失真问题，以及只能使用一侧的眼睛进行虚拟影像的观察的问题而设计。

本发明的眼镜基本形状与传统的眼镜近似，如图6所示，但在镜框的四角又各安装一个前视摄像头，并在每个摄像头前端设置一个偏振片。这样，既保证了偏振定向必须具有四个通道的基本要求，又能使前视摄像头完全避开了眼镜镜片的主要可视区域（即瞳孔区域）。

鉴于目前尚无能在2-3cm的极近距离直接投射观看的薄膜类液晶产品，所以本发明只能选用带有光学系统的液晶投射模块，分别用作虚拟图像对应于左、右双目的显示单元，并且，显示单元的设置也基本避开了主要的瞳孔区域。这种具有双目效应的显示单元的设置方式，与现有智能眼镜的单侧显示结构和效果自然大不相同。

在图像处理的过程中，因需兼顾偏振检测时的分组需要，特选定偏振与摄像传感单元中左侧的两个摄像组件为第一组，右侧的两个摄像组件为第二组。每一组内偏振片的起始偏振化方向相互垂直，构成相互正交的感受通道。两组之间的偏振化方向可固定于直角之内的任意角度，一般多以60°或90°为佳。

此外，各摄像组件中摄像头的光学参数需要完全一致，且光轴平行。但因其安装位置不同，使得对于同一时刻摄入的四幅图像而言，除了可能具有亮度的差异之外，取景范围自然有所不同。为了合成可供左、右镜框上的两个显示单元各自的显示内容，首先要对四个前视摄像头的摄入内容作为子图进行分别处理，再进行合成。

为了简化虚拟图像的处理过程，可暂不考虑亮度的偏差。因镜框一侧的上、下两个摄像头的光轴均与该侧瞳孔的光轴并不相重合，所以需结合二者的信息，先形成与瞳孔在高度上一致的虚拟图像，即在位置上纵向取中。若以左侧两个摄像组件为例，可如图7所示。同样，横向范围的位置修正需要分别借鉴左边的两个摄像头和右边的两个摄像头的纵向取中后的虚拟图像进行（如图8所示）。

当然，此时不能简单地进行横向位置取中，而是需要按照一定的距离比例，将虚拟的图像进行“右移”，使其恰到瞳孔位置。右侧图像同样需要在纵向居中的基础上进行横向的左移，其原理与左侧图像处理方式相同。

左、右两侧的图像信息各自经过纵向、横向的数字处理后，合成为左、右虚拟图像，分别显示于左侧的显示单元和右侧的显示单元。在视觉上，也就相当于具有了左、右两个“虚拟摄像头”的观察效果。

若是考虑到每个摄像头因为偏振片的偏差带来的亮度的变化，情况则略显复杂，但仍可通过实验，建立相应的数学模型，并通过软件方式进行补偿。

本发明采用的“同位虚拟”技术，就是使用多个摄像头摄像并将所摄图像综合处理，使其相对于从与瞳孔位置相同的“虚拟摄像头”进行场景拍摄，以使摄像角度与瞳孔观察的角度保持一致。这样，既可避开瞳孔位置、不会影响正常视场，又能形成相对于从瞳孔角度所见的信息，即与瞳孔“同位”。因此，从显示单元上看到的虚拟图像和直接看到的真实图像可以保持观察角度的一致。具体体现在能够达到图2所显示的效果，使墙面上的虚拟显示窗口所显示的内容与直接看到的实际墙面从方位、比例等方面，尽可能地贴合。

五、基于摄像阵列的图像重组技术。

在本发明中，“同位虚拟”技术的实现尚需基于图像重组的技术，而在不需进行同位虚拟的情况下，还可通过图像重组，特别是通过安装在两侧镜腿上的侧视摄像头的并入，可在更大程度上拓展视野。该项技术的核心主要在于图像的拼接和剪裁。为此，可首先考虑简化后的单目双摄像及其图像显示的情况（如图9所示）。

该方式可由一个微型显示屏和两个摄像头所组成，构成“图像双采、合成显示”的模式。虚拟瞳孔两侧的摄像头所拍摄的左、右视野内容有所重和并相关。因视角不同，还可由此而确定景深。进而，可将视角的解码信息和视差通过相应的算法，形成虚拟的瞳孔视角。即，映射到虚拟瞳孔区的虚拟图像应是左、右两侧摄像内容重组的结果。如有需要，还可相应地拓展视野。

现阶段较为流行的二维变形技术（例如基于View Morphing等方法的中间视角图像合成软件）可将一幅数字图像以一种自然流畅的方式变换成另外一幅数字图像。但由于其预处理过程复杂且运算量太大，一般只是多见于以离线方式进行影像作品的后期效果制作。尽管随着嵌入式处理器运算能力的提高，将来亦可实时完成此类工作，但在目前的可穿戴技术条件下尚难实现。

若是考虑到本发明每一时刻仅对虚拟瞳孔四周以阵列方式同时产生的四幅“图片”进行处理、使其成为分别对应于双眼瞳孔位置的视觉信息的具体特点，则可大大简化重组方案与算法，使之能用现有嵌入式处理器实时完成。

六、基于红外测距技术的近距快速定位对焦方法。

本发明智能复合眼镜主要是为满足户外活动的需求而设计，此时以观察远处景物为主，焦距问题并不明显，定于无穷远即可。尽管如此，本发明仍需考虑许多近距离或室内使用的情况。在这种情况下，能使智能眼镜迅速、准确地聚焦，即解决近距离的定位问题尤显重要。

实际上，目前许多类似于手机应用的微型摄像头已经具备了电子对焦的功能。当摄像头捕捉到图像后，处理器便会选择部分区域作为对焦区域，相关原始数据就会在处理器中得到分析，并用一个对焦评价函数对图像清晰度进行评价，即检查图像中毗邻像素之间的密度差异。如果对焦不准，原始图像毗邻的像素密度将十分接近。从数字信号处理角度而言，就是高频分量不足。于是，处理器根据评价结果，通过摄像头中的调焦电路实施对焦动作。

本发明使用红外传感单元进行红外测距，利用红外测距方式可以实时得到距离信息，在进行数据处理后，即能够形成近距离的快速定位调焦参数，使得眼镜上的摄像阵列具有了宽广的焦距调节范围和更为灵活的图像处理方式。同时，本发明智能复合眼镜还可使人眼观察的景物通过摄像头反映在显示单元中，使其更加清晰。即，通过这种调焦方式，达到普通的双光眼镜的变焦或是液晶眼镜的液晶调焦的作用效果。

目前，从工业机器人的运动定位，到医疗领域中的静脉定位，甚至是具有定位功能的玩具小车，数米之内的红外测距技术已经非常成熟。本发明使用红外测距技术的最大特点，就是在数厘米至数米的较近距离内，都能够准确定位本眼镜所朝向的物体，并进行实时测距。数据处理器将距离信息进行处理后，立即控制眼眶上相应位置的摄像组件中的摄像头，并使其迅速完成调焦动作，以保证虚拟显示区域的内容始终清晰。

另外，根据对于所目视的物体测距后的结果和其他要求，甚至可将不同焦距范围的摄像头进行组合使用。这样，既可将其调整到同一焦距，又可选用其不同焦距范围进行单独的图像处理和显示，以“多焦距”方式从整体获得更大的调焦范围。而此类功能对于目前的软件控制技术而言，已经不是问题，只是需要使用者在实际使用过程中进行适应或选择。

由此即可将可视物体的焦距与使用者具体的视力情况以更为灵活、方便的方式进行匹配，不必手工控制，同时还能够解决自动调焦的范围受限的问题。甚至可将最为常用的一组焦距或方式按照佩戴时所适合的习惯进行“固定”，即根据不同的焦距适应情况，通过软件的调整，进行适合佩戴者自身特点的焦距“定制”，以满足个性化的使用要求。

这不仅对于难以避免“花眼”症状的中老年人来说意义重大，而且对于某些处于长时间近距离阅读的青年使用者同样会有所帮助。即，有望使其在使用屏幕的阅读过程中，改变阅读模式，能因不必强制其调节晶体曲率的睫状肌进行近距离聚焦而得到放松，进而减轻视觉疲劳。特别是，尚有可能预防或缓解年轻人群中比较广泛的近视问题。

近距离、多焦距的定位技术还可以协助实现不同景深、更大视场的图像拼接。如果此时再将侧视摄像头所拍摄的画面并入，则可在一定程度上产生广泛应用于虚拟现实和计算机视觉等多种领域的全景信息的效果。这样就可在不方便转头、转身的情况下，满足扩大视野和观察、拍摄周边环境等特殊需求。

综上所述，本发明将偏振光定向技术应用于智能眼镜之上，辅之以惯性传感和红外定位等技术，形成了以偏振检测、综合定位、数据处理、信息整合和虚实显示等一体化为技术特征的新型智能复合眼镜。通过全环节、全过程数字化处理的方法和技术，使相关信息能以图形图像方式直接通过液晶-光学投影系统投射于佩戴者的眼睛中。由此可在保证具有正常的视觉内容和足够的视野范围的同时，还能直接读出方向、位置和距离等多种信息，以满足使用者的户外或野外活动的使用需要。

本发明智能复合眼镜的主要特点是：①将四通道检偏组件直接装配于眼镜框架上，形成具有一定精度的定向功能模块；②使用摄像头与相应的处理器组合，通过“数字分光”取代传统的光电二极管进行入射光的强度信号采集；③在摄像头表面装配具有滤光片和偏振片，并以此作为保护玻璃片，在使摄像头成为偏振光“传感器”的同时，保护其免受污染和划伤；④使用“同位虚拟”的瞳孔视野合成技术，既相当于能从瞳孔角度拍摄景象，又可避免摄像头对于瞳孔的直接遮挡；⑤通过多个摄像头所摄图像的处理，可在虚拟图像中也形成具有立体效果的双目视觉；⑥在两个镜腿的前端外侧面各装一个不带偏振检测功能的侧视摄像头，以便必要时扩大眼镜视野，或在需要时对身边两侧的人或物进行不动声色的观察或拍照；⑦因为各种功能模块的添加，使得眼镜自身增重不少，为了减轻眼镜佩戴时鼻梁和耳根所承受的压力，可在两个镜腿之间增加一条可调节、可拆卸的头带，以利于分压和稳定；甚至，还可将一些附带的功能模块挂接或装入至该头带，以增加眼镜的其他功能。

本发明从重新规划眼镜自身结构和功能的角度，很好地解决了传统智能眼镜存在的瞳孔遮挡和图形偏离等相关问题。通过对方向、距离信息的采样、处理和显示，实现了智能眼镜的定向与定位。将本发明与本人在先申请专利的“用于电子设备的可穿戴式输入装置”相配合，可在充分获得各类信息的同时，尽量“解放”使用者的双手。本发明最大的优势还在于，完全利用自然参数和自身数据工作，具有适应不同气候的特点和较强的电磁抗扰能力，并且不会受类似GPS等他人因素的影响和制约，使用更加灵活自如。

附图说明

图1是现有EyeTap智能眼镜的使用状态图。

图2是佩戴EyeTap智能眼镜时虚实图像重组后的显示效果图。

图3是一种摄像头避让瞳孔位置的智能眼镜的局部结构示意图。

图4是一种摄像头偏离瞳孔位置的智能眼镜的使用状态参考图。

图5是佩戴图3类型眼镜时虚实图像重组后的显示效果图。

图6是本发明的外观结构示意图。

图7是本发明采用的“同位虚拟”技术中纵向取中的虚拟图像处理方式示意图。

图8是本发明采用的“同位虚拟”技术中横向修正的虚拟图像处理方式示意图。

图9是本发明采用的“同位虚拟”技术中简化后的单目双摄像的图像显示示意图。

图10是本发明具体实现方式的结构框图。

图11是偏振与摄像传感单元中单个摄像组件的结构示意图。

图12是偏振定向信息获取方式的工作流程图。

图13是佩戴本发明眼镜观看时实际场景与虚拟区域叠加所形成的图像。

图14是佩戴本发明眼镜观看时实际场景与虚拟图像在眼镜中的显示效果示意图。

图15是佩戴本发明眼镜的两个视觉区域的大致划分图。

图16是本发明智能复合眼镜的工作流程图。

图中：01、左侧镜腿，02、左下摄像组件，03、左上摄像组件，04、左侧镜腿空腔，05、左侧显示单元，06、左侧光学镜片，07、红外收发器，08、镜框，09、右侧光学镜片，10、右侧显示单元，11、右上摄像组件，12、右下摄像组件，13、右侧镜腿，14、侧视摄像头，15、右侧镜腿空腔，16、头带，21、前视摄像头，22、摄像组件安装底座，23、内固定环，24、外固定环，25、偏振片，26、滤光片，27、橡胶压紧与密封圈。

具体实施方式

本发明智能复合眼镜的外形结构如图6所示，在镜框08的两边安装有左侧镜腿01和右侧镜腿13，构成传统的眼镜框架；在左侧镜腿01中开设有左侧镜腿空腔04，在右侧镜腿13中开设有右侧镜腿空腔15。上述眼镜框架是本发明中所有硬件模块的载体，且不影响传统镜片的安装。所以，在镜框08中既可不装镜片，也可安装光学镜片。图6中的左侧光学镜片06和右侧光学镜片09可以是平光镜片、有色镜片，还可是具有视力矫正功能的各类光学镜片。后者可以实现矫正眼镜与智能眼镜的合二为一，以满足不同使用者的使用需要。在镜框08的四角各装一个摄像组件，左上角的是左上摄像组件03，左下角的是左下摄像组件02，右上角的是右上摄像组件11，右下角的是右下摄像组件12，四个摄像组件在同一基面构成一个前向摄像阵列，构成偏振与摄像传感单元。

如图11所示，每个摄像组件的一种具体实现和装配方式是：先将具有外螺扣的摄像组件安装底座22通过具有双面螺扣的内固定环23旋紧在镜框08的预留孔内，前视摄像头21安装在摄像组件安装底座22所形成的空腔中。在摄像组件安装底座22的前端口安装有偏振片25和滤光片26，偏振片25与滤光片26之间夹衬有橡胶压紧与密封圈27，再通过具有内螺扣的外固定环24对内固定环23前端口的旋接紧固，即可将摄像组件固定于镜框08上。摄像组件中的偏振片25和滤光片26的光学平面分别垂直于前视摄像头21的光轴线。

为了构成有效的检偏器，左下摄像组件02和左上摄像组件03可设定为第一组，右上摄像组件11和右下摄像组件12可设定为第二组；每一组内偏振片的起始偏振化方向相互垂直，构成相互正交的感受通道，两组之间的偏振化方向可固定于60°，由此形成光轴相互平行的左、右两组偏振检测单元。

图6中，在镜框08的两个眼眶的上沿中部各安装一个显示单元，即左侧显示单元05和右侧显示单元10。两个显示单元均是由微型显示器和光学投影组件所组成。微型显示器用于近距离提供可视图像；光学投影组件是由菲涅尔透镜和棱镜等所组成的一个光学系统，可将微型显示器中所显示的图形或图像予以放大，并转换成平行光束投射到观察者的瞳孔之中，等效于将晶体前端的物距大大延伸，从而，使得使用者能够以很大的视角对微型显示器所显示的画面进行轻松和清晰的观看。

在镜框08中心的鼻梁架上安装有红外收发器07，作为红外传感单元，用于对摄像组件中的前视摄像头21进行焦距调整，还可用于测距。

本发明智能复合眼镜的总体结构如图10所示，包括有偏振与摄像传感单元、红外传感单元、惯性传感单元、嵌入式信息处理与综合控制模块、显示单元、无线通讯单元和电源管理单元等部分。其中，嵌入式信息处理与综合控制模块、无线通讯单元以及惯性传感单元等以电路形式构成的电路组件可安装在左侧镜腿空腔04内，电池及与之相关的电路组件可安装在右侧镜腿空腔15内（图6）。

在硬件电路足够强大的时候，嵌入式信息处理与综合控制模块可以采用单一的集成处理器电路。由于本发明中的嵌入式信息处理与综合控制模块的数据处理量巨大，单一的数据处理器的运算速度很可能无法满足本发明眼镜的实际观察和使用需要。因此，在目前的条件下，可设置若干个专用数据处理器。每个数据处理器进行单一功能的数据处理，再由一个数据处理器进行总控协调和对外通讯，即由ARM、DSP以及基于FPGA的处理器等不同类型的数据处理器组成一个处理器阵列，所有处理器和智能器件之间均通过I²C等总线进行连接与通信。

嵌入式信息处理与综合控制模块包括通讯与总控单元、偏振信息处理单元、摄像信息处理单元、红外信息处理单元、惯性信息处理单元、图像合成单元、电源管理单元以及存储单元等，在存储单元中存储有自然偏振等基础信息数据库，如图10所示。

其中，通讯与总控单元分别与各信息处理单元通过总线连接，对其进行总控与协调；并且直接与所述无线通讯单元相接，用以接收穿戴式输入设备输入的相应操作指令。

偏振与摄像传感单元分别与偏振信息处理单元和摄像信息处理单元相接，用以输入阵列摄像组件摄取的偏振光强信息和景物图像信息；对于摄像信息处理单元处理后的景物图像数据信息，通过图像合成单元的合成处理，输出到显示单元，形成虚实结合的景物图像；对于偏振信息处理单元处理得到的偏振光强信息，比较基础信息存储单元中存入的偏振基础数据库信息，得出眼镜目视前方的方向信息，再经图像合成单元，送显示单元予以显示。

红外传感单元与红外信息处理单元相接，仅仅在近距观察时使用。红外距离信息经红外信息处理单元处理后，直接用于调整各对应摄像组件中前视摄像头的焦距。

惯性传感单元与惯性信息处理单元相接，用以输入惯性传感单元与地面之间的运动信息。经惯性信息处理单元的数据处理结果并结合方向信息，可以推算得出眼镜使用者的相对位置坐标，以得到眼镜使用者在任意时刻相对初始位置的定位信息，经图像合成单元，送显示单元予以显示。

本发明是实际眼镜与虚拟眼镜的复合体，而且其虚拟图像同样可有类同于双目视觉的立体效果和景深。使用者在佩戴本发明眼镜之后，各传感检测单元感知方向便与使用者脸部的朝向保持一致。因此，若需调整各传感检测单元对于天空的感知视角，仅需轻松、缓慢、稳定地转动头部即可。同时，还可以从微型显示器中同步看到定向的过程和效果。

偏振传感器的功能是获得偏振图像，在本发明中使用带有偏振片的摄像头完成偏振光的检测和信号转换，偏振信息处理单元用于信号的调理和误差补偿。

在不同的天气环境下，使用不同的滤镜有助于提高摄像头对于相应光照的敏感程度。所以，本发明在摄像组件中加装滤光片，以便对于入射光进行特定波段的选择，避免不同波段之间的干扰，增加稳定性。

滤光片26和偏振片25在提供相应功能的同时，也形成了对前视摄像头21的保护。摄像组件通过外固定环24的旋紧方式予以固定，以便拆卸和调换。偏振片25可以绕其轴向进行一定角度的旋转安放，以供装配和使用过程中的调试。

在测向过程中，需要尽量使眼镜的观测方向与太阳矢量相垂直，即令前视摄像头21的光轴从正对太阳的方向侧转90°，这样就可避开太阳光的直射，转而向垂直于阳光的方向观测，此时能使测量通道处于最大偏振方向，且具有很强的稳定性，以利于快速定向。若遇阴雨等光线不好、无法大致定位太阳方向的情况时，则需要面向不同高度和方向多做几次尝试即可。初次定向后，镜框内的惯性传感装置就可提供连续的角度变化信息。其累积误差可由下一次偏振定向所纠正。此外，因阳光照度在一日之内的变化极大，所以，摄像组件应当具备灵敏度高、响应范围大和线性度好的特点。

DigitalOptics公司推出的自动对焦摄像头模块mems|cam在Z轴方向高度5.1mm，并集成了OmniVision8835图像传感器和富士通Milbeaut图像信号处理器。其聚焦范围从10cm到无穷远，而峰值功耗仅为0.45mW，非常适合安装在本发明以及其他可穿戴设备中使用。

对于场景图像的获取而言，本发明同样可在前述使用摄像阵列完成组合模式使用的基础上，对其各个摄像头进行分别使用，以便在需要对精细图像或某物品的局部进行仔细观察时，选定某一摄像头单独工作。此时，根据使用者的视力情况等具体要求，可对于每侧镜片的四个摄像头进行焦距的初步“固定”，即进行“粗调”，分为很近（精细操作，物距20cm左右）、较近（正常阅读，物距40cm左右）、较远（观看电视，物距4m左右）和很远（眺望远方，物距无限远）共四个档次。然后，数据处理器根据红外传感单元07的检测输出结果，实现精确的对焦调整动作。

另一方面，若是某个摄像头出现故障，本发明也能通过软件选择和屏蔽的方法，保证主要功能的实现。实际上，只要左右两侧各有一个前视摄像头完好无损，其基本的立体视觉就能够保证。

本发明中的惯性传感单元包括惯性传感器芯片和相应的数据处理电路，以进行加速度、速度和距离的运动信息测量。通过加速度、速度的变化情况，进行运动距离的估计，再与不同时刻的运动方向变化等数据进行对照、组合后，能够处理成为运动过程中的定位结果。惯性传感器芯片可选Bosch公司的9轴MEMS惯性测量单元BMX055，其内部集成了12位三轴加速度计、16位三轴陀螺仪和宽量程三轴磁力计，封装尺寸仅为4.5×3.0×0.95mm，功耗小于15mW。

由于各摄像组件之间固有的设置距离，使得图像不能完全重合。对于相邻摄像头之间的重叠部分，也可以直接形成具有立体视觉效果的图像，分别显示于左、右两个微型显示器中，或者是进行具有瞳孔直视效果的“同位虚拟”工作。此外，还可将相邻图像予以对齐，并拼接成为一幅图片，以便在保证高分辨率的同时，对视场也有适度的扩大。

此后的显示工作则与现有的智能眼镜技术相同。高精度的微型显示器可以使用基于Himax Display公司的0.37"彩色串行LCOS组件HX7318完成，其分辨率为1366×768。装于智能眼镜之后，能令使用者感到这种显示效果能与2.4米外的25英寸高清屏幕近似。

所以，使用此类微型显示器并辅之以相应技术后，同样可以用其播放影视类内容。不过，若考虑能使眼睛长时间、舒适地观看此类内容，显示单元最好设计成为位置可调的结构，使其既能以避开主要瞳孔视区的常规方式工作，又能在需要时正对瞳孔，使佩戴者以平视、且“全屏”的方式观看。

在本发明智能复合眼镜中，因采用了数字分光技术而使得摄像环节能够“一分为二”，既提供场景图像数据，又提供偏振定向数据；同时，又需要进行与智能眼镜相关的多项服务。所以，数据处理系统的工作量非常之大。如前所述，目前的单一数据处理器结构难以满足智能眼镜的数据处理内容与要求。为此，本发明采用了多核处理方式，使得核心处理器能够根据总的任务统一协调。而基于专用处理器所构成的各个处理单元，则按其特点和任务接收指令，各自进行相关的数据处理，并最终在图像合成处理单元合成，以图形或图像方式显示于微型显示器中。

鉴于视频图像的显示一般要求每秒钟24幅以上，不仅数据量大，实时要求亦高，所以，系统对此类内容需优先处理。另外，结合惯性传感单元对于运动状态的检测，可以判断使用者究竟是处于行进间的观察状态，还是处于静止时的阅读状态。所以，无论所视景物的远近，均能根据使用者的使用情况，由数据处理器自动选定合适焦距。特别是在使用者处于稳定、平静的环境（例如阅读）时，系统也可选定某一焦距合适的摄像头，将其所摄图像可以不经处理，直接映射于使用者观看时感到最为轻松与合适的“虚拟平面”上。

同样，基于红外检测的自动对焦工作也同样需要迅速、准确。鉴于现有的红外近程测距、控制方法已经非常成熟，并且，在本发明中不需要红外远程测距，所以可选用功耗较低、指向性好的器件即可。

在本发明中，可以使用具有较强事件管理能力的ARM处理器进行系统控制、通讯等工作， 在数字信号处理等领域则使用DSP以及可实现专用逻辑和重新配置的FPGA芯片。例如，使用Freescale公司封装尺寸为2×1.61×0.56 mm、功耗10mW左右的32位嵌入式处理器KL02，以及Movidius Myriad 1 等类型的专用视觉处理器。

图10中，嵌入式信息处理与综合控制模块可由ARM、DSP以及基于FPGA的处理器等不同类型的数据处理器所构成的一个处理器阵列，包括偏振检测处理单元和相应的基础信息数据存储单元、摄像信息处理单元、惯性信息处理单元、红外信息处理单元、图像合成处理单元，以及通讯与总控单元。所有数据处理器和智能器件之间均通过I²C等总线进行连接，而对外则可使用蓝牙等无线通讯技术，以接收使用者发出的系统启停或功能选择等指令。

偏振定向信息获取方式的工作流程如图12所示，偏振定向部分通过测量偏振滤光器接收到的光强度之差来计算偏振的方向。对于检偏方向垂直的两个偏振光传输通道（通道1和通道2）中的光强信号进行对数运算，理论上能够降低光强的变化对检测结果的影响。具体说来，就是数字分光处理后，由偏振检测处理单元先行提取图像灰度信息，予以数字滤波、累计并加权平均处理，综合成为该通道有效像素点的灰度信息，进而解算为偏振光光强值。通过偏振方向特征提取、偏振主方向角度解算，以及进行太阳的方位、误差、亮度等补偿运算，可以推算出地理北的位置。

在偏振定向的计算过程中，需要以时间信息和太阳方位作为参考数据。精准的实时时钟可由系统自身提供，而太阳在任何时刻、任何地点的标高和方位需要经由太阳路径表得到。所以，系统还需要将其形成一个基础信息数据库，供定向模块随时调用。

在本发明中，定向信息与惯性传感单元记录的速度、距离等信息结合后，可以形成一个完整的“运动路径图”。在初始位置已知或将出发位置设为原点的情况下，可随时完成其当前时刻的行程统计和重复路径消隐等工作，并迅速推算出使用者此时相对于原点的二维或三维位置坐标。另外，尚可按照惯性单元得到的相关数据，“顺便”进行佩戴者的运动方式、动作次数等详细统计。

对于使用传统智能眼镜观看得到的图2、图5两个虚实图像重组后的显示场景，使用本发明眼镜观看，可以得到图13所示的显示效果图。可以看到，下半部的实际场景和上半部的虚拟图像在整个可视的视野中实现了较好的影像复合。对于定向、定位等文本信息，既可以与场景图像重叠显示，也可按照淡化场景、直至无背景的方式显示，如图14所示。

佩戴本发明眼镜的视觉范围如图15所示，其大致可以分为上下两个部分：即通过眼镜能够直接看到的实际区域，为“直接观察区”。因装于眼镜框架上的微型显示组件的遮挡而无法直接看到的区域，通过由摄像方式拍摄，并通过微型显示器的显示而“间接”看到的区域，为“虚拟显示区”。在虚拟显示区中，除了能够显示被微型显示器遮挡的场景之外，还可按照图形、图像或文本等方式显示方向、距离等各类本发明特有的提示信息。

在图6中还可看到，在两个镜腿的前端外侧，各安装一个外侧摄像头14，以与前视摄像头结合，扩大眼镜的视野。在两个镜腿之间，还连接一根拱形头带16，以减少眼镜对佩戴者的鼻梁和耳部的压力，同时，该头带16还可扩展嵌入系统的安装位置，附加更多的使用功能。

本发明整个系统的工作流程如图16所示。系统的初始化过程包括位置坐标系的清零和基础方向的标定。此后，自动进入“行进”模式。摄像组件的输出经数字分光处理后，由嵌入式信息处理与综合控制模块生成场景和方向信息。同时，方向信息与经由惯性传感器所得到的速度、距离等信息共同生成当前的位置信息。所有的场景、方向、位置等信息均可显示于左右两侧的显示单元，以供使用者实时观看。具体的系统功能和显示方式可有多种，均由所述的无线通讯单元接收使用者通过其它可穿戴设备以蓝牙等方式发出的指令，进行选择、操作和控制。若是系统仅仅是处于阅读等“静观”模式，则可将与之无关的方向、距离等信息处理单元予以关闭，以便加快显示功能部分的运算速度、提高显示质量，并尽量节约能源。

另外，即便是整个系统的工作结束、全部处于关闭状态，本发明则因装配有普通镜片而仍然可以起到一个普通眼镜的基本作用。

Claims (8)

1.一种基于偏振定向和组合定位的智能复合眼镜，包括镜框和镜腿，其特征是，还包括有：

偏振与摄像传感单元，由呈阵列分布并安装于所述镜框上的若干摄像组件所组成，用于完成场景图像和偏振图像的摄取；每个所述摄像组件是在前视摄像头的前端设置有偏振片和滤光片；

红外传感单元，安装在所述镜框的鼻梁架上，用于对所述偏振与摄像传感单元中的所述前视摄像头进行焦距调整； 

嵌入式信息处理与综合控制模块，安装在所述镜腿中，用于对各传感单元的输入信息进行数据处理，得出显示单元目视遮挡部分的场景图像信息、目视前方的方向信息、眼镜佩戴者从初始位置至当前位置的位置变化信息，并根据操作指令将得出的相关信息送显示单元予以显示；

显示单元，由微型显示器和光学投影组件所组成，安装在所述镜框的左、右眼框上沿中部，但不遮挡人眼对前方的观察视线，用于显示目视前方遮挡区域的场景图像、显示目视前方的方向信息、显示眼镜佩戴者从初始位置至当前位置的位置变化信息，并可兼做计算机显示器；

无线通讯单元，安装在所述镜框或所述镜腿上，用于接收眼镜佩戴者通过可穿戴输入设备发出的操作指令，并向所述嵌入式信息处理与综合控制模块进行传输；以及

电源管理单元，安装在所述镜腿中，通过对电源的管理，为上述各部分中的电路提供工作电压。

2.根据权利要求1所述的基于偏振定向和组合定位的智能复合眼镜，其特征是，还包括有：

惯性传感单元，安装在所述镜腿中，用于将眼镜佩戴者的运动方向、加速度、速度的变化信息输入到所述嵌入式信息处理与综合控制模块，进行运动距离的估算。

3.根据权利要求2所述的基于偏振定向和组合定位的智能复合眼镜，其特征是，所述嵌入式信息处理与综合控制模块包括有通讯与总控单元、偏振信息处理单元、摄像信息处理单元、红外信息处理单元、图像合成单元以及存储单元。

4.根据权利要求1所述的基于偏振定向和组合定位的智能复合眼镜，其特征是，在所述镜框中可以安装或不安装镜片，所述镜片可以是有色镜片、无色镜片、平光镜片、曲面镜片或视力矫正镜片。

5.根据权利要求1所述的基于偏振定向和组合定位的智能复合眼镜，其特征是，各所述摄像组件中的前视摄像头的中心轴线相互平行，所述偏振片和所述滤光片的光学平面均垂直于摄像头的中心轴线。

6.根据权利要求1所述的基于偏振定向和组合定位的智能复合眼镜，其特征是，各所述摄像组件中的前视摄像头的焦距均可调整，各所述前视摄像头的焦距可以相同或不同。

7.根据权利要求1所述的基于偏振定向和组合定位的智能复合眼镜，其特征是，在所述镜腿的外侧面安装有用于扩展观测视野的侧视摄像头。

8.根据权利要求1所述的基于偏振定向和组合定位的智能复合眼镜，其特征是，在两条所述镜腿之间连接一条拱形头带，所述头带可以调整长度，还可挂接附加功能单元。