CN102200445B - 实时扩增实境装置及其实时扩增实境方法 - Google Patents

Abstract

本发明是关于一种实时扩增实境装置及其实时扩增实境方法。实时扩增实境装置可与一导航装置、一实景影像撷取装置以及一使用者影像撷取装置搭配使用，该导航装置可根据导航装置的一目前位置，产生一导航信息，实景影像撷取装置用以撷取一包含一实景对象的实时实景影像，使用者影像撷取装置用以撷取一包含一人脸对象的实时使用者影像，实时扩增实境装置可根据导航信息、实时实景影像以及实时使用者影像，产生一导航影像。

Description

实时扩增实境装置及其实时扩增实境方法

技术领域

本发明是关于一种实时扩增实境装置及其实时扩增实境方法。具体而言，本发明是关于一种可根据导航信息、实时实景影像以及实时使用者影像，产生一指引信息的扩增实境装置及其扩增实境方法。

背景技术

近几年来，随着定位导航技术快速成熟，各式各样辅助定位导航技术的显示器亦大量见于人们日常生活中，例如抬头显示器(HUD)、微型显示眼镜(HMD)以及一内含LCD/OLED显示器的玻璃窗板等等，其中抬头显示器(HUD)更已被消费市场广泛接受，下文将说明现有的抬头显示器(HUD)定位导航系统的运作机制。

抬头显示器(HUD)是一种可帮助驾驶员认清所有需要的驾驶信息，同时保持视线在前方的显示技术。HUD是利用光学反射的原理，将重要的驾驶相关信息投射在一片玻璃上，这片玻璃位于驾驶者前端，驾驶者通过HUD往前方看的时候，能够轻易将外界的景象与HUD显示的数据融合在一起。其设计用意是使驾驶者不需低头查看仪表，仅需保持抬头姿势即可通过HUD看到显示数据。

只是现有的抬头显示器(HUD)定位导航系统，显示面板必定介于驾驶员的眼睛与后方景物之间，同时显示面板与驾驶员的眼睛距离，远小于与后方景物的距离。HUD显示的信息与后方景物通常具有一定关连性，因此，若使用固定式HUD，当驾驶员的头部偏移(例如上半身向左及右方倾斜)时，HUD上显示的信息自驾驶员的视角观看，就会与原本的景物产生偏移，另外，若使用移动式HUD，当驾驶员的视线方向改变时，HUD显示的信息同样也会与原后方景物产生偏移。

综上所述，如何克服HUD显示的信息会与后方景物产生偏移的缺点，进而使抬头显示器(HUD)定位导航系统具备根据驾驶员视线角度，自动修正显示偏移的能力，实为该领域的技术者极需解决的课题。

发明内容

本发明的目的在于提供一种实时扩增实景装置及其实时扩增实景方法，克服HUD显示的信息会与后方景物产生偏移的缺点，进而使抬头显示器(HUD)定位导航系统具备根据驾驶员视线角度，自动修正显示偏移的能力。

根据本发明一方面提供一种实时扩增实境(augmented reality)装置，此实时扩增实境装置可与一导航装置、一实景影像撷取装置以及一使用者影像撷取装置搭配使用，该导航装置可根据导航装置的一目前位置，产生一导航信息，实景影像撷取装置用以撷取一包含一实景对象的实时实景影像，使用者影像撷取装置用以撷取一包含一人脸对象的实时使用者影像。

本发明的实时扩增实境装置包含一传送/接收接口、一储存器以及一微处理器，传送/接收接口与导航装置、影像撷取装置以及使用者影像撷取装置呈电性连接，微处理器与传送/接收接口以及储存器呈电性连接，传送/接收接口用以接收导航信息、实时实景影像以及实时使用者影像，储存器用以储存实景对象的一实际尺寸以及人脸对象的一预设位置以及一预设视线角度，微处理器用以判断人脸对象于实时使用者影像中所具有的一虚拟视线角度、判断人脸对象于实时使用者影像中所具有的一虚拟位置、判断实景对象于实时实景影像中所具有的一虚拟尺寸以及根据实际尺寸、预设位置、预设视线角度、虚拟视线角度、虚拟位置、虚拟尺寸以及导航信息，产生一指引信息。

根据本发明另一方面提供一种用于前述实时扩增实境装置的实时扩增实境方法，该实时扩增实境方法包含下列步骤：(A)令一传送/接收接口接收导航信息、实时实景影像以及实时使用者影像；(B)令一微处理器判断人脸对象于实时使用者影像中所具有的一虚拟视线角度；(C)令该微处理器判断该人脸对象于该实时使用者影像所具有的一虚拟位置；(D)令该微处理器判断该实景对象于该实时实景影像中所具有的一虚拟尺寸；以及(E)令该微处理器根据该实际尺寸、该预设位置、该预设视线角度、该虚拟视线角度、该虚拟位置、该虚拟尺寸以及该导航信息，产生一指引信息。

本发明是有益技术效果是：本发明的实时扩增实境装置可根据包含一人脸对象的实时使用者影像、包含一实景对象的实时实景影像以及导航信息，产生符合驾驶人视觉识别习惯的指引信息，换言之，该指引信息是应因驾驶者头部偏移以及视线改变做修正而产生，藉此，现有的HUD显示信息会与原后方景物产生偏移的缺点得以被有效克服，进而增加抬头显示器(HUD)定位导航系统的整体附加价值。

附图说明

图1是本发明的第一实施例的示意图；

图2是装载第一实施例的实时扩增实境导航显示系统的车辆行驶于路面的示意图；以及

图3A至图3E是本发明的第二实施例的流程图。

具体实施方式

以下将通过实施例来解释本发明内容，本发明的实施例并非用以限制本发明须在如实施例所述的任何特定的环境、应用或特殊方式方能实施。因此，以下实施例的描述仅为说明目的，并非本发明的限制。须说明的是，以下实施例及附图中，与本发明非直接相关的元件已省略而未绘示；且图式中各元件间的尺寸关系仅为求容易了解，非用以限制实际比例。

本发明的第一实施例如图1所示，其是一实时扩增实境导航显示系统1的示意图，实时扩增实境导航显示系统1包含一实时扩增实境装置11、一实景影像撷取装置13、一导航装置15、一使用者影像撷取装置17以及一显示装置19。于本实施例中，实时扩增实境导航显示系统1是用于一车辆，而于其它实施例中，实时扩增实境导航显示系统1亦可视使用者的实际需求，应用于其它驾驶工具，例如：飞机、船以及机车…等等，并不以此限制本发明的应用范围。以下将说明扩增实境装置11如何搭配实景影像撷取装置13、导航装置15、使用者影像撷取装置17以及显示装置19实现实时扩增实境导航显示系统1。

实时扩增实境导航显示系统1的导航装置15是根据其目前位置，产生一导航信息150，实景影像撷取装置13用以撷取一包含一对象的实时实景影像130，使用者影像撷取装置17则用以撷取一包含一人脸对象的实时使用者影像170，而扩增实境装置11储存有该实景对象的一实际尺寸1130以及该人脸对象的一预设位置1132以及一预设视线角度1134，且根据实际尺寸1130、预设位置1132、预设视线角度1134、实时实景影像130、实时使用者影像170以及导航信息150，产生与传送一指引信息117至显示装置19，使显示装置19可显示指引信息117，供车辆驾驶人参考。

于本实施例中，导航装置15是运用GPS技术确定导航装置15本身或其所安装处的经纬度、方向、速度、高度等信息，并利用惯性导航如电子罗盘、加速计、陀螺仪等，辅助计算GPS信息更新周期之间的信息，再利用定位信息与地图信息，确认交通工具所处位置，并决定行进路径，以产生导航信息150，其是属一二维信息，于其它实施例中，导航装置15可利用其它定位技术产生导航信息150，并不以此为限。

再者，实景影像撷取装置13所撷取的实时实景影像130可为直接、实时方式输入，举例而言，如装载于车辆前方的摄影机，另外，此实时实景影像亦可以间接、非实时方式输入，举例而言，如模拟驾驶舱将可用记录影像，或是由记录影像衍生的计算机3D影像作为实时实景影像130。

为方便后续说明，于本实施例中，实时扩增实境导航显示系统1是安装于一行驶中的车辆，导航装置15所产生的导航信息150可视为包含该行驶中的车辆的目前位置，而实景影像撷取装置13所撷取的实时实景影像130则可视为该行驶中车辆的周围环境景象，例如道路以及路树等等，实时实景影像130为车辆驾驶人所视的道路影像，而实时实景影像130所包含的对象可为驾驶人自车辆前方车窗看到的道路分隔线。以下将说明扩增实境装置11是如何产生指引信息117。

由图1可知，实时扩增实境装置11包含一传送/接收接口111、一储存器113、一投影器114以及一微处理器115，传送/接收接口111与导航装置15、实景影像撷取装置13、使用者影像撷取装置17以及显示装置19呈电性连接，微处理器115与传送/接收接口111、投影器114以及储存器113呈电性连接，储存器113用以储存该实景对象(即道路分隔线)的一实际尺寸1130以及该人脸对象的一预设位置1132以及一预设视线角度1134。

于导航装置15产生导航信息150、实景影像撷取装置13撷取出包含该道路分隔线的实时实景影像130以及使用者影像撷取装置17撷取出包含人脸对象的实时使用者影像170后，传送/接收接口111可接收导航信息150、实时使用者影像170以及实时实景影像130，接下来微处理器115可根据一对象边缘识别法，判断该道路分隔线于实时实景影像150中所具有的一虚拟尺寸(可为该道路分隔线的虚拟长度以及虚拟宽度)，以供后续处理之用，需注意的是，本实施例所采用的对象边缘识别法可通过现有技术达成，且于其它实施例中，微处理器115亦可根据其它判断方式，判断出该道路分隔线于实时实景影像150中所具有的虚拟长度与虚拟宽度，并不以此为限。

除了判断该道路分隔线于实时实景影像150中所具有的虚拟尺寸，微处理器115还用以判断该人脸对象于实时使用者影像170中所具有的一虚拟视线角度，以及判断该人脸对象于实时使用者影像170中所具有的一虚拟位置。需注意者，微处理器115判断虚拟尺寸、虚拟视线角度以及虚拟位置的顺序可视实际应用而改变，并不以此为限。

具体而言，由于当车辆行驶于路面时，驾驶人的双眼视线以及头部将会产生平移以及上下游动等动作，为准确产生指引信息117，微处理器115可由实时使用者影像170中，判断出一驾驶人目前的视线角度，即实时使用者影像170所具有的虚拟视线角度，另一方面，当驾驶人的脸部于车内位置产生移动，如将头向右方车窗观望以及将头伸至后方查看，微处理器115可由实时使用者影像170中，判断一移动后的脸部位置，即为实时使用者影像170所具有的虚拟位置。

接下来，为得知人脸对象的视线角度变化程度，微处理器115将根据判断出的虚拟视线角度以及储存器113所储存的预设视线角度1134，产生一视线角度差，微处理器115再根据储存器113所储存的预设位置1132以及判断出的虚拟位置，产生一位置差，以得知人脸对象的位置变化程度。

微处理器115亦根据该实景对象的实际尺寸1130(包含实景对象的实际长度与实际宽度)以及判断出的虚拟尺寸(包含虚拟长度以及虚拟宽度)，计算出实景影像撷取装置13的一影像撷取方向与一水平面间的一仰角，再根据实际长度、实际宽度、虚拟长度、虚拟宽度以及导航信息150，计算出该影像撷取方向与导航装置15的一行进方向间的一偏角，接下来，微处理器115根据该仰角、该偏角、该视线角度差、该位置差以及导航信息150，产生一指引信息117。

具体说，根据道路法规的规范，道路分隔线的实际长度以及实际宽度是固定的，于判断出道路分隔线的虚拟长度与虚拟宽度后，微处理器115利用实际长度与虚拟长度、实际宽度以及虚拟宽度的比例，计算出实景影像撷取装置13的影像撷取方向与水平面间的仰角，且微处理器115还利用实际长度与虚拟长度、实际宽度以及虚拟宽度的比例以及导航信息150，计算出实景影像撷取装置13的影像撷取方向与导航装置15的行进方向间的偏角，微处理器115根据该仰角、该偏角、该视线角度差、该位置差以及导航信息150，即可产生考量垂直视角深度的指引信息117。

更具体而言，请参阅图2，其是一装载实时扩增实境导航显示系统1的车辆21行驶于路面的示意图，路面上有一具有实际长度D与实际宽度W的道路分隔线23，实景影像撷取装置13自位置27看出去的影像撷取方向撷取实时实景影像130，实时实景影像130中所包含的道路分隔线将随着车辆的行进方向以及道路所处的地形或沿伸的方向而改变，简言之，即是实时实景影像130中的道路分隔线的虚拟长度以及虚拟宽度是随着车辆的行进方向以及道路所处的地形或沿伸的方向而改变。

通过微处理器115连续的判断道路分隔线的虚拟长度以及虚拟宽度，目前影像撷取方向与导航装置15行进方向的偏角，以及影像撷取方向与水平面间的仰角将可连续实时计算出，以使微处理器115将导航装置15二维的导航信息转换为三维的指引信息，换言之，微处理器115是将导航装置所呈现的二维地图中的距离转换成三维投射影像中的深度，当指引信息为一箭头符号时，由于指引信息是根据仰角、偏角、该视线角度差、该位置差以及导航信息150实时产生时，箭头符号遇到突然的岔路时，仍能正确的落在岔路中央位置，不使其偏移，以指示驾驶者选择正确的路口转弯。

需强调的是，微处理器115是根据一领域转换(Domain Transform)方式，辅以根据仰角、偏角、视线角度差、位置差以及导航信息150，产生指引信息117，换言之，是利用仰角、偏角、视线角度差、位置差等数据，可计算出一矩阵，将导航信息150根据该矩阵做领域转换，以将用以指引道路方向的箭头符号，利用该矩阵使其上下部压缩，成为一考量垂直视角深度后的指引信息117。

另一方面，于本实施例中，显示装置19可为一透视式抬头显示(Head up Display)装置，其可与传送/接收接口111呈电性连接，于指引信息117产生后，微处理器115通过传送/接收接口111，传送指引信息117至该透视式抬头显示装置，使该透视式抬头显示装置可显示指引信息117。再者，于本实施例中，显示装置19亦可为一投影式抬头显示装置，微处理器115可通过投影器12，投射指引信息117至投影式抬头显示装置，使投影式抬头显示装置可显示指引信息117。需注意的是，当显示装置19为透视式抬头显示装置时，实时扩增实境装置11的投影器114可省略，以节省实时扩增实境装置11的硬件成本。

微处理器115还可将指引信息117合成于实时实景影像130上，以产生导航影像119，微处理器115通过可传送/接收接口111，传送导航影像119至显示装置19，使显示装置1/可显示导航影像117，以供车辆驾驶人参考。

具体而言，导航影像119是微处理器115合成实时实景影像130以及指引信息117所产生，换言之，若指引信息117是一箭头符号，则实时实景影像130将与箭头符号合成在一起，而驾驶者是所看到的导航影像119是实时实景影像130搭配考量垂直视角深度的指引信息117所产生，需特别说明的是，指引信息117还可为其它图形，并不以此限制本发明的范围。

本发明的第二实施例如图2A-图2E所示，其是一用于如第一实施例所述的实时扩增实境装置的实时扩增实境方法的流程图，实时扩增实境装置可与一导航装置、一实景影像撷取装置以及一使用者影像装置搭配使用，导航装置可根据其一目前位置，产生一导航信息，实景影像撷取装置用以撷取一包含一实景对象的实时实景影像，使用者影像撷取装置用以撷取一包含一人脸对象的实时使用者影像。

此外，该实时扩增实境装置包含一传送/接收接口、一投影器、一储存器以及一微处理器，该微处理器与该传送/接收接口以及该储存器呈电性连接，该传送/接收接口与该导航装置、该影像撷取装置以及该使用者影像撷取装置呈电性连接，该储存器用以储存该实景对象的一实际尺寸以及该人脸对象的一预设位置以及一预设视线角度。

第二实施例实时扩增实境方法所采的技术手段实质上与第一实施例实时扩增实境装置所采知技术手段相同，此项技术领域具有通常知识者将可根据第一实施例所揭示的内容，轻易得知第二实施例实时扩增实境方法是如何实现，以下将只简述实时扩增实境方法。

本实施例的实时扩增实境方法包含以下步骤，请先参阅图3A，执行步骤301，令一传送/接收接口接收该导航信息、该实时实景影像以及该实时使用者影像，执行步骤302，令一微处理器判断人脸对象于实时使用者影像中所具有的一虚拟视线角度，再执行步骤303，令微处理器判断该人脸对象于该实时使用者影像所具有的一虚拟位置。

执行步骤304，令该微处理器判断该实景对象于该实时实景影像中所具有的一虚拟尺寸，接下来请参阅图3B，执行步骤305，令微处理器根据虚拟视线角度以及预设视线角度，产生一视线角度差，执行步骤306，令微处理器根据预设位置以及虚拟位置，产生一位置差，执行步骤307，令微处理器根据实际尺寸以及虚拟尺寸，计算出实景影像撷取装置的一影像撷取方向与一水平面间的一仰角，执行步骤308，令微处理器根据实际尺寸、虚拟尺寸以及导航信息，计算出影像撷取方向与导航装置的一行进方向的一偏角。

请参阅图3C，执行步骤309，令微处理器根据仰角、偏角、视线角度差、位置差以及导航信息，产生指引信息，接下来，如该显示装置是一透视式抬头显示装置，则执行步骤310，令微处理器通过传送/接收接口，传送指引信息至透视式抬头显示装置，使透视式抬头显示装置可显示指引信息。

如该显示装置是一投影式抬头显示装置，请参阅图3D，于步骤309后，执行步骤311，令微处理器还用以通过投影器，投射指引信息至投影式抬头显示装置，使投影式抬头显示装置可显示指引信息。

此外，请参阅图3E，于步骤309后，执行步骤312，令微处理器将指引信息合成于实时实景影像上，以产生一导航影像，最后，执行步骤313，令微处理器通过传送/接收接口，传送导航影像至显示装置，使显示装置可显示导航影像。

除了上述步骤，第二实施例亦能执行第一实施例所描述的操作及功能，所属技术领域具有通常知识者可直接了解第二实施例如何基于上述第一实施例以执行此等操作及功能，故不赘述。

综上所述，本发明的实时扩增实境装置是可根据包含一人脸对象的实时使用者影像、包含一实景对象的实时实景影像以及导航信息，产生符合驾驶人视觉识别习惯的指引信息，换言之，该指引信息是应因驾驶者头部偏移以及视线改变做修正而产生，藉此，现有的HUD显示信息会与原后方景物产生偏移的缺点得以被有效克服，进而增加抬头显示器(HUD)定位导航系统的整体附加价值。

上述的实施例仅用来例举本发明的实施态样，以及阐释本发明的技术特征，并非用来限制本发明的保护范畴。任何熟悉此技术者可轻易完成的改变或均等性的安排均属于本发明所主张的范围，本发明的权利保护范围应以申请专利范围为准。

Claims (10)

1.一种实时扩增实境装置，可与一导航装置、一实景影像撷取装置以及一使用者影像撷取装置搭配使用，该导航装置可根据该导航装置的一目前位置，产生一导航信息，该实景影像撷取装置用以撷取一包含一实景对象的实时实景影像，该使用者影像撷取装置用以撷取一包含一人脸对象的实时使用者影像，该实时扩增实境装置包含：

一传送/接收接口，与该导航装置、该影像撷取装置以及该使用者影像撷取装置呈电性连接，用以接收该导航信息、该实时实景影像以及该实时使用者影像；

一储存器，用以储存该实景对象的一实际尺寸以及该人脸对象的一预设位置以及一预设视线角度；

一微处理器，与该传送/接收接口以及该储存器呈电性连接，并用以：

判断该人脸对象于该实时使用者影像中所具有的一虚拟视线角度；

判断该人脸对象于该实时使用者影像中所具有的一虚拟位置；

判断该实景对象于该实时实景影像中所具有的一虚拟尺寸；

根据该虚拟视线角度以及该预设视线角度，产生一视线角度差；

根据该预设位置以及该虚拟位置，产生一位置差；

根据该实际尺寸以及该虚拟尺寸，计算出该实景影像撷取装置的一影像撷取方向与一水平面间的一仰角；

根据该实际尺寸、该虚拟尺寸以及该导航信息，计算出该影像撷取方向与该导航装置的一行进方向间的一偏角；以及

根据该仰角、该偏角、该视线角度差、该位置差以及该导航信息，产生一指引信息。

2.根据权利要求1所述的实时扩增实境装置，其特征在于，该微处理器是根据一对象边缘识别法，判断该实景对象于该实时实景影像中所具有的虚拟尺寸。

3.根据权利要求1所述的实时扩增实境装置，其特征在于，该实时扩增实境装置还可与一透视式抬头显示装置搭配使用，该传送/接收接口还与该透视式抬头显示装置呈电性连接，该微处理器还用以通过该传送/接收接口，传送该指引信息至该透视式抬头显示装置，使该透视式抬头显示装置可显示该指引信息。

4.根据权利要求1所述的实时扩增实境装置，其特征在于，该实时扩增实境装置还可与一投影式抬头显示装置搭配使用，且还包含一与该微处理器电性连接的投影器，该微处理器还用以通过该投影器，投射该指引信息至该投影式抬头显示装置，使该投影式抬头显示装置可显示该指引信息。

5.根据权利要求1所述的实时扩增实境装置，其特征在于，该微处理器还可将该指引信息合成于该实时实景影像上，以产生一导航影像。

6.一种用于一实时扩增实境装置的实时扩增实境方法，该实时扩增实境装置可与一导航装置、一实景影像撷取装置以及一使用者影像撷取装置搭配使用，该导航装置可根据该导航装置的一目前位置，产生一导航信息，该实景影像撷取装置用以撷取一包含一实景对象的实时实景影像，该使用者影像撷取装置用以撷取一包含人脸对象的实时使用者影像，该实时扩增实境装置包含一传送/接收接口、一储存器以及一微处理器，该微处理器与该传送/接收接口以及该储存器呈电性连接，该传送/接收接口与该导航装置、该影像撷取装置以及该使用者影像撷取装置呈电性连接，该储存器用以储存该实景对象的一实际尺寸以及该人脸对象的一预设位置以及一预设视线角度，该实时扩增实境方法包含下列步骤：

(A)令该传送/接收接口接收该导航信息、该实时实景影像以及该实时使用者影像；

(B)令该微处理器判断该人脸对象于实时使用者影像中所具有的一虚拟视线角度；

(C)令该微处理器判断该人脸对象于该实时使用者影像所具有的一虚拟位置；

(D)令该微处理器判断该实景对象于该实时实景影像中所具有的一虚拟尺寸；

(E)令该微处理器根据该虚拟视线角度以及该预设视线角度，产生一视线角度差；

(F)令该微处理器根据该预设位置以及该虚拟位置，产生一位置差；

(G)令该微处理器根据该实际尺寸以及该虚拟尺寸、计算出该实景影像撷取装置之一影像撷取方向与一水平面间之一仰角；

(H)令该微处理器根据该实际尺寸、该虚拟尺寸以及该导航信息，计算出该影像撷取方向与该导航装置的一行进方向的一偏角；以及

(I)令该微处理器，根据该仰角、该偏角、该视线角度差、该位置差以及该导航信息，产生一指引信息。

7.根据权利要求6所述的实时扩增实境方法，其特征在于，该步骤(D)可为一令该微处理器根据一对象边缘识别法，判断该实景对象于该实时实景影像中所具有的虚拟尺寸的步骤。

8.根据权利要求6所述之实时扩增实境方法，其特征在于，该实时扩增实境装置还可与一透视式抬头显示装置搭配使用，该传送/接收接口还与该透视式抬头显示装置呈电性连接，该实时扩增实境方法还包含下列步骤：

令该微处理器通过该传送/接收接口传送该指引信息至该透视式抬头显示装置，使该透视式抬头显示装置可显示该指引信息。

9.根据权利要求6所述之实时扩增实境方法，其特征在于，该实时扩增实境装置还可与一投影式抬头显示装置搭配使用，且还包含一与该微处理器电性连接之投影器，其中该实时扩增实境方法还包含下列步骤：

令该微处理器还用以通过该投影器投射该指引信息至该投影式抬头显示装置，使该投影式抬头显示装置可显示该指引信息。

10.根据权利要求6所述的实时扩增实境方法，其特征在于，还包含下列步骤令该微处理器将该指引信息合成于该实时实景影像上，以产生一导航影像。

Images