CN118295613A - 信息显示方法及其处理装置与信息显示系统 - Google Patents

Abstract

本发明提供一种信息显示方法及其处理装置与信息显示系统。此信息显示系统安装在移动载具上，并包括可透光显示器、图像获取设备、定位装置以及处理装置。图像获取设备用以提取目标物的目标物图像。定位装置用以产生移动载具的位置信息。处理装置经配置以执行下列操作。根据移动载具的位置信息计算目标物的第一参考位置信息。对目标物图像进行物件辨识处理。根据物件辨识处理的辨识结果，使用物件辨识处理的辨识结果或第一参考位置信息来决定目标物的虚拟信息的显示位置。透过可透光显示器根据虚拟信息的显示位置显示虚拟信息。借此，可提高目标物与虚拟信息的叠合精准度，提升用户的观看体验。

Description

信息显示方法及其处理装置与信息显示系统

技术领域

本公开涉及一种信息显示技术。

背景技术

随着图像处理技术与空间定位技术的发展，透明显示器的增强现实应用已逐渐受到重视。此类的技术可让透明显示器搭配实体物件，再辅以显示虚拟信息，并且依照用户的需求来产生交互式的体验，可使信息以更为直观的方式呈现。进一步来说，关联于实体物件的虚拟信息可显示在透明显示器的特定位置上，让用户可透过透明显示器同时观看到实体物件与叠加在实体物件上或一侧的虚拟信息。

在一种增强现实结合移动载具的应用情境中，透明显示器可作为移动载具上的窗屏，移动载具的搭乘者可同时观看外部景观以及透明显示器提供的景观信息。可知的，搭乘者会随着移动载具而有所移动，因此实体物件相对于搭乘者的相对位置与搭乘者的观看视野也会随之变动。若要将虚拟信息显示在理想位置上而让搭乘者可直观地对照实体物件观看虚拟信息，精准地估计出实体物件相对于移动载具或/和用户的相对位置关系是一个重要关键。以单一定位技术(例如GPS定位技术或图像定位技术)来获取实体物件相对于移动载具或用户的相对位置关系，可能存在图像辨识错误、定位精度不理想或样本数不足等等问题，而可能产生叠合误差的情况，导致阅读虚拟信息的困难度与不适。

发明内容

本公开有关于一种信息显示方法及其处理装置与信息显示系统。

在本公开的一范例实施例中，上述的信息显示系统安装在移动载具上，并包括可透光显示器、图像获取设备、定位装置以及处理装置。处理装置可连接在可透光显示器、图像获取设备以及定位装置。图像获取设备用以提取目标物的目标物图像。定位装置用以产生移动载具的位置信息。处理装置经配置以执行下列操作：根据移动载具的位置信息计算目标物的第一参考位置信息。对目标物图像进行物件辨识处理。根据物件辨识处理的辨识结果，使用物件辨识处理的辨识结果或第一参考位置信息来决定目标物的虚拟信息的显示位置。透过可透光显示器根据虚拟信息的显示位置显示虚拟信息。

在本公开的一范例实施例中，上述的信息显示方法适用于具有可透光显示器、图像获取设备、定位装置以及处理装置的信息显示系统。信息显示系统安装在移动载具，并且信息显示方法包括下列步骤：利用图像获取设备提取目标物的目标物图像。利用定位装置产生移动载具的位置信息。根据移动载具的位置信息计算目标物的第一参考位置信息。对目标物图像进行物件辨识处理。根据物件辨识处理的辨识结果，使用物件辨识处理的辨识结果或第一参考位置信息来决定目标物的虚拟信息的显示位置。透过可透光显示器根据虚拟信息的显示位置显示虚拟信息。

本公开一范例实施例提出一种处理装置，其安装在移动载具上，并连接在可透光显示器、图像获取设备以及定位装置。图像获取设备用以提取目标物的目标物图像，定位装置用以产生移动载具的位置信息。处理装置包括存储器与连接存储器的处理器。存储器用以存储数据，而处理器经配置以执行下列步骤：根据移动载具的位置信息计算目标物的第一参考位置信息。对目标物图像进行物件辨识处理。根据物件辨识处理的辨识结果，使用物件辨识处理的辨识结果或第一参考位置信息来决定目标物的虚拟信息的显示位置。透过可透光显示器根据虚拟信息的显示位置显示虚拟信息。

附图说明

图1A是根据本公开一范例实施例所绘示的信息显示系统的方块图；

图1B是根据本公开一范例实施例所绘示的信息显示系统的示意图；

图2是根据本公开一范例实施例所绘示的信息显示方法的流程图；

图3A与图3B是根据本公开一范例实施例所绘示的计算第一参考位置信息的示意图；

图4是根据本公开一范例实施例所绘示的决定虚拟信息的显示位置的流程图；

图5是根据本公开一范例实施例所绘示的判断辨识结果是否符合特定条件的流程图；

图6是根据本公开一范例实施例所绘示的目标物图像与物件辨识框的示意图；

图7A与图7B是根据本公开一范例实施例所绘示的信息显示方法的流程图。

附图标记说明

100:信息显示系统；

110:可透光显示器；

120:图像获取设备；

130:定位装置；

140:信息获取设备；

150:处理装置；

151:存储器；

152:处理器；

Vf1:虚拟信息；

Obj1:目标物；

U1:用户；

VM1:移动方向；

V1:移动载具；

O1:绝对方位；

Img1:目标物图像；

B1:物件辨识框；

S202～S212，S2021～S2024、S502～S512、S702～S728:步骤。

具体实施方式

现将详细地参考本发明的示范性实施例，示范性实施例的实例说明在附图中。只要有可能，相同组件符号在附图和描述中用来表示相同或相似部分。

图1A是根据本公开一范例实施例所绘示的信息显示系统的方块图。首先，图1A先介绍系统中的各个构件以及配置关系，详细功能将配合后续范例实施例的流程图一并公开。

请参照图1A，本范例实施例中的信息显示系统100可安装在移动载具上。此移动载具可以是交通工具或娱乐机台等等，例如缆车、汽车、游览车、船只或飞机等等。信息显示系统100可包括可透光显示器110、图像获取设备120、定位装置130以及处理装置150。在一实施例中，信息显示系统100可还包括信息获取设备140。处理装置150可以是以无线、有线或电性连接在可透光显示器110、图像获取设备120、定位装置130以及信息获取设备140。

可透光显示器110可用以显示信息，其包括例如是液晶显示器(Liquid crystaldisplay，LCD)、场色序(Field sequential color)液晶显示器、发光二极管(Lightemitting diode，LED)显示器、电湿润显示器等穿透式可透光显示器，或者是投影式可透光显示器。可透光显示器110可以实作为移动载具的窗屏。移动载具内的用户可透过可透光显示器110观看移动载具的外部场景，而用户所观看到的内容可为包括叠加虚拟信息的外部场景。

图像获取设备120用以提取位于移动载具外部目标物的目标物图像。换句话说，图像获取设备120可拍摄移动载具外的实体场景中的目标物而获取目标物图像。图像获取设备120可以例如是至少一个图像传感器或者是至少一个图像传感器搭配至少一个深度传感器来对目标物进行图像辨识定位，其中图像传感器可包括可见光传感器或非可见光传感器如红外线传感器等。

定位装置130用以产生移动载具的位置信息。定位装置130可以例如是GPS定位器、电罗经(Gyro compass)、磁罗经(Magnetic compass)、电子罗盘、高度感测计或是惯性传感器等等。惯性传感器例如是加速度传感器或陀螺仪等等。只要是可以提供出移动载具的空间位置信息与移动方向信息的装置或其组合，皆属于定位装置130的范围。像是，定位装置130可用以提供移动载具的GPS信息、方位信息和/或倾斜信息等等给处理装置150。

信息获取设备140用以提取用户的空间位置信息。信息获取设备140可以例如是至少一个图像传感器或者是至少一个图像传感器搭配至少一个深度传感器来对用户进行图像辨识定位，其中图像传感器可包括可见光传感器或非可见光传感器如红外线传感器等。此外，信息获取设备140更可以例如是光学定位器来对用户进行光学空间定位。只要是可以定位出用户所在位置信息的装置或其组合，皆属于信息获取设备140的范围。

在本公开实施例中，上述的图像传感器可用以提取图像，并且包括具有透镜以及感光组件的摄像镜头。上述的深度传感器可用以侦测深度信息，其可以利用主动式深度感测技术以及被动式深度感测技术来实现。主动式深度感测技术可藉由主动发出光源、红外线、超声波、激光等作为信号搭配时差测距技术来计算深度信息。被动式深度感测技术可以藉由两个图像传感器以不同视角提取其前方的两张图像，并利用两张图像的视差来计算深度信息。

处理装置150用以控制信息显示系统100的操作，其可包括存储器151以及处理器152。在一些实施例中，处理装置150可以是一或多台计算机装置的组合，本公开对此不限制。当处理装置150实施为多台计算机装置，这些计算机装置可以彼此连接与通信。

存储器151可以例如是任意型式的固定式或可移动式随机存取存储器(randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、闪存(flash memory)、硬盘或其他类似装置、集成电路及其组合。处理器152可以例如是中央处理单元(centralprocessing unit，CPU)、应用处理器(application processor，AP)，或是其他可编程的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digital signalprocessor，DSP)、图像信号处理器(image signal processor，ISP)、图形处理器(graphicsprocessing unit，GPU)或其他类似装置、集成电路及其组合。

图1B是根据本公开一范例实施例所绘示的信息显示系统的示意图。请参照图1B，可透光显示器110例如可实作为移动载具(例如船只)的窗屏，且可透光显示器110可由一或多个可透光显示设备组成。为了方便且清楚说明，图1B以2个可透光显示设备为范例进行说明，但本公开不限制于此。

移动载具内的用户U1与移动载具外的目标物Obj1分别位于可透光显示器110的不同侧。用户U1可透过可透光显示器110观看叠加有目标物Obj1的虚拟信息Vf1的实体场景。目标物Obj1例如是建筑物、地景或动植物等等。虚拟信息Vf1可视为基于目标物Obj1而扩增的增强现实内容。图像获取设备120可朝目标物Obj1提取目标物图像。信息获取设备140可朝用户U1提取用户图像，以进一步获取用户U1的空间位置信息。处理装置150可根据图像获取设备120、定位装置130以及信息获取设备140分别提供的信息来决定虚拟信息Vf1在显示器110上的显示位置。以下范例实施例中将搭配显示系统100的各组件来说明处理装置150执行信息显示方法流程的细节。

图2是根据本公开一范例实施例所绘示的信息显示方法的流程图，请同时参照图1A、图1B以及图2，而图2的方法流程可由图1A与图1B的信息显示系统100来实现。在此，移动载具内的用户U1可透过信息显示系统100的可透光显示器110来观看移动载具的外部实体场景及其相关的虚拟信息。

在步骤S202，处理装置150利用定位装置130产生移动载具的位置信息。具体而言，定位装置130可产生移动载具的绝对位置信息，例如GPS位置或高度信息等等。此外，定位装置130也可产生移动载具的移动方向的绝对方位信息，例如相对于世界坐标系中的北方的绝对方位角度或绝对方位。定位装置130也可产生移动载具的三轴运动角，其可包括俯仰角(pitch)、偏航角(yaw)以及滚转角(roll)。

在步骤S204，处理装置150根据移动载具的位置信息计算目标物Obj1的第一参考位置信息。第一参考位置信息为与目标物Obj1与移动载具之间的相对位置关系有关的信息，其可用以决定与目标物Obj1的虚拟信息Vf1可透光显示器110上的显示位置。在一些实施例中，第一参考位置信息包括可透光显示器110上的第一显示位置坐标。亦即，第一参考位置信息可以是基于目标物Obj1与移动载具之间的相对位置关系而计算出来的可透光显示器110上的显示位置坐标。或者，在一些实施例中，第一参考位置信息即为目标物Obj1与移动载具之间的相对位置关系。例如，第一参考位置信息可以是移动载具的移动方向与目标物Obj1相对于移动载具的方向之间的相对夹角。

在一些实施例中，处理装置150可根据移动载具的位置信息与移动方向、绝对方位(例如世界坐标系的北方)与目标物Obj1的绝对位置信息，获取目标物Obj1相对于移动载具的相对夹角。其中，目标物的绝对位置信息可记录在物件信息数据库。此物件信息数据库记录例如多个预设目标物的绝对位置信息(例如GPS位置)、多个预设目标物各自对应的物件标识符以及多个预设目标物自对应的相关信息等等。物件信息数据库可以是存储在存储器151或者是通过通信接口(未绘示)自云端服务器取得。并且，处理装置150可根据移动载具的位置信息与目标物的绝对位置信息计算移动载具与目标物Obj1之间的距离。之后，处理装置150可根据相对夹角与距离计算目标物Obj1的第一参考位置信息，而此第一参考位置信息可以是可透光显示器110上的显示位置坐标。

具体来说，图3A与图3B是根据本公开一范例实施例所绘示的计算第一参考位置信息的示意图。在本实施例，移动载具V1以船只为范例进行说明。可透光显示器110可实做为船只两侧的观景窗。在此假设可透光显示器110的显示平面的法线方向大致上垂直于移动载具V1的移动方向VM1。

在图3A中，定位装置130可产生移动载具V1的GPS位置T₀以及移动载具V1的移动方向VM1(亦即航向)。基于物件数据库记录包括多个预设目标物的绝对位置信息，处理装置150可根据GPS位置T₀以及移动方向VM1自物件数据库识别出用户U1可透过可透光显示器110看到的目标物Obj1。于此，处理装置150可透过查询物件数据库而获取目标物Obj1的绝对位置信息，目标物Obj1的绝对位置信息可以是GPS位置T_B。移动载具V1的GPS位置T₀与目标物Obj1的GPS位置T_B之间的距离可参考地球曲率半径而计算出来。

具体而言，移动载具V1与目标物Obj1之间的距离可基于下列公式(1)而获取。

其中，d代表移动载具V1与目标物Obj1之间的距离；r代表地球曲率半径；是GPS位置T₀的纬度；是GPS位置T_B的纬度；λ₁是GPS位置T₀的经度；λ₂是GPS位置T_B的经度。公式(1)可转换为下列公式(2)。

此外，在图3A中，处理装置150可根据移动载具V1的GPS位置T₀与移动方向VM1、世界坐标系的北方与目标物Obj1的GPS位置T_B，获取目标物Obj1相对于移动载具V1的相对夹角θ_OB。在本实施例中，相对夹角θ_OB为目标物Obj1相对于移动载具V1的相对方向与垂直于移动方向VM1的参考方向之间的夹角。更详细来说，定位装置130可产生移动载具V1的移动方向VM1与正北方之间的夹角θ_ON。夹角θ_ON可透过下列公式(3)获取。

其中，代表GPS位置T₀与GPS位置T_B之间的向量。代表指向正北方的单位向量。

之后，处理装置150可根据下列公式(4)获取目标物Obj1相对于移动载具V1的相对夹角θ_OB。

因此，基于相对夹角θ_OB与移动载具V1的GPS位置T₀与目标物Obj1的GPS位置T_B之间的距离是已知的，处理装置150可根据下列公式(5)与公式(6)获取距离W与距离D。

W＝dsinθ_OB 公式(5)

D＝dcosθ_OB 公式(6)

其中，d代表GPS位置T₀与GPS位置T_B之间的距离

请参照图3B，处理装置150可利用信息获取设备140获取用户与可透光显示器110之间的距离d1，并根据距离d1与距离D获取距离d2。距离D可根据上述公式(6)产生，其为投影于可透光显示器110的法线方向的投影向量的长度。距离d2为距离D减去距离d1。于是，基于相似三角形原理，X方向上的位置坐标d_ld与第一显示位置坐标D_px之间的距离Δp_d1可根据距离d1、距离d2以及距离W获取。具体而言，X方向上的距离Δp_d1可根据下列公式(7)获取。

基此，第一显示位置坐标D_px可根据下列公式(8)获取。

D_px＝d_ld+Δp_d1 公式(8)

其中，位置坐标d_ld为可透光显示器110在X方向的中心。由此可见，处理装置150可透过定位装置130提供的信息来计算出目标物Obj1的第一参考位置信息，即第一显示位置坐标D_px。

在一些实施例中，虚拟信息Vf1显示位置的X坐标可根据第一显示位置坐标D_px来决定，例如是第一显示位置坐标D_px加上或减去一预设数值来获取虚拟信息Vf1显示位置的X坐标。另外，虚拟信息Vf1显示位置的Y坐标可以是预设值或根据目标物Obj1的种类而决定。亦即，处理装置150可根据目标物Obj1的物件种类、物件名称或物件标识符来查表而获取虚拟信息Vf1显示位置的Y坐标。

另一方面，请同时参考图2，在步骤S206，处理装置150利用图像获取设备120提取目标物Obj1的目标物图像。接着，在步骤S208，处理装置150对目标物图像进行物件辨识处理。详细来说，处理装置150可利用深度学习算法中的卷积神经网络(Convolution NeuralNetwork，CNN)模型来对目标物图像进行物件辨识处理，上述卷积神经网络模型例如是用以进行物件侦测的R-CNN、Fast R-CNN、Faster R-CNN、YOLO或SSD等等，但本公开对此不限制。

须说明的是，当处理装置150根据目标物图像侦测到目标物Obj1的存在，物件辨识处理的辨识结果是具有目标物Obj1的辨识信息。反之，当处理装置150没有由目标物图像侦测到目标物Obj1的存在，物件辨识处理的辨识结果是不具有目标物Obj1的辨识信息。当物件辨识处理的辨识结果为具有目标物Obj1的辨识信息，辨识信息可包括目标物Obj1的物件辨识框(Bonding box)的位置与尺寸以及目标物Obj1的分类结果(例如是物件标识符)。在一实施例中，处理装置150可根据目标物Obj1的分类结果而从物件信息数据库挑选对应的虚拟信息Vf1进行显示。

在步骤S210，处理装置150根据物件辨识处理的辨识结果，使用物件辨识处理的辨识结果或第一参考位置信息来决定目标物Obj1的虚拟信息Vf1的显示位置。具体来说，在一些实施例中，处理装置150可评断物件辨识处理的辨识结果的可信度。当处理装置150判定物件辨识处理的辨识结果是可信赖的，处理装置150可使用物件辨识处理的辨识结果来决定目标物Obj1的虚拟信息Vf1的显示位置。当处理装置150判定物件辨识处理的辨识结果是不可信赖的，处理装置150可使用透过定位装置130所获取第一参考位置信息来决定目标物Obj1的虚拟信息Vf1的显示位置。处理装置150可判断物件辨识处理的辨识结果是否符合特定条件用以评断物件辨识处理的辨识结果的可信度。换句话说，根据物件辨识处理的辨识结果是否符合特定条件，处理装置150可来选择物件辨识处理的辨识结果与第一参考位置信息两者其中之一来决定目标物Obj1的虚拟信息Vf1的显示位置。

具体而言，图4是根据本公开一范例实施例所绘示的决定虚拟信息的显示位置的流程图。请参照图4，在步骤S2101，处理装置150判断物件辨识处理的辨识结果是否符合特定条件。关于特定条件的设置将在后续范例实施例中分叙说明。

若步骤S2101判断为是，在步骤S2102，响应于物件辨识处理的辨识结果符合特定条件，处理装置150根据物件辨识处理的辨识结果计算目标物Obj1的第二参考位置信息。在步骤S2103，处理装置150根据第二参考位置信息决定目标物Obj1的虚拟信息Vf1的显示位置。

在一些实施例中，上述的第二参考位置信息包括可透光显示器110上的第二显示位置坐标。详细来说，处理装置150可对目标物Obj1的物件辨识框在目标物图像中的图像坐标位置进行坐标转换，以推算出目标物Obj1在三维坐标系下的三维坐标位置。并且，处理装置150可透过信息获取设备140提供的信息进行坐标转换而获取用户U1在相同的三维坐标系下的三维坐标位置。于是，处理装置150可利用目标物Obj1的三维坐标位置与用户U1的三维坐标位置来决定目标物Obj1的第二参考位置信息。举例而言，目标物Obj1的第二参考位置信息(即可透光显示器110上的第二显示位置坐标)可为目标物Obj1的三维坐标位置与用户U1的三维坐标位置之间的联机相交于可透光显示器110的显示平面的交点位置。之后，处理装置150可根据此交点位置来决定虚拟信息Vf1在可透光显示器110上的显示位置。

另一方面，若步骤S2101判断为否，在步骤S2104，响应于物件辨识处理的辨识结果未符合特定条件，处理装置150根据第一参考位置信息决定目标物的虚拟信息的显示位置。由此可知，在一些实施例中，处理装置150可分别利用定位装置130提供的信息与目标物图像计算出第一参考位置信息与第二参考位置信息。于是，处理装置150可根据图像辨识结果来决定要使用第一参考位置信息或第二参考位置信息计算出虚拟信息Vf1在可透光显示器110上的显示位置。

在一些实施例中，第一参考位置信息与第二参考位置信息可分别实施为可透光显示器110的显示平面上的一个参考点。藉此，处理装置150可利用目标物Obj1的第一参考位置信息或第二参考位置信息为参考基准来决定虚拟信息Vf1的显示位置。更具体而言，基于各式需求或不同应用，处理装置150可根据第一参考位置信息或第二参考位置信息决定虚拟信息Vf1的实际显示位置，以让用户U1可透过可透光显示器110看到位于目标物Obj1附近的虚拟信息Vf1或看到叠加于目标物Obj1上的虚拟信息Vf1。

回到图2，在步骤S212，处理装置150透过可透光显示器110根据虚拟信息Vf1的显示位置显示虚拟信息Vf1。在此的虚拟信息Vf1可以是外部场景的导览讯息、虚拟互动物件等，本公开不以此为限。须说明的是，在移动载具的移动过程中，图2所示各步骤将可重复地执行。基于图像辨识处理的辨识结果是否符合特定条件的判断结果，处理装置150可在不同时间点分别采用第一参考位置信息与基于图像辨识结果而产生的第二参考位置信息来决定虚拟信息Vf1在不同时间点的显示位置。处理装置150可在第一时间点使用第一参考位置信息来决定虚拟信息Vf1的显示位置。并且，处理装置150可在第二时间点使用基于图像辨识结果而产生的第二参考位置信息来决定虚拟信息Vf1的显示位置。

在一些实施例中，上述特定条件可包括物件辨识框在目标物图像中所占据的占据比例大于预设临界值。亦即，处理装置150将判断物件辨识框在目标物图像中所占据的占据比例是否大于预设临界值。也就是说，处理装置150将判断目标物Obj1在目标物图像中的成像大小是否足够。若目标物Obj1的物件辨识框在目标物图像中所占据的占据比例不大于预设临界值，代表辨识结果是不可信赖的。

在一些实施例中，上述特定条件可包括根据物件辨识处理的辨识结果判定侦测到目标物Obj。亦即，处理装置150将判断物件辨识处理的辨识结果是否具有目标物Obj的辨识信息。也就是说，处理装置150将判断物件辨识模型是否输出侦测到目标物的辨识结果。若物件辨识处理的辨识结果不具有目标物Obj的辨识信息，处理装置1510无法根据目标物图像来计算出虚拟信息Vf1的显示位置。

举例而言，在一些应用情境中，当目标物Obj1与移动载具之间距离相当远时，基于目标物图像的物件辨识处理可能辨识错误或无法辨识出目标物，处理装置150可使用定位装置130提供的地理定位信息来决定虚拟信息Vf1的显示位置。反之，当目标物Obj1与移动载具之间距离适当时，处理装置150可使用图像定位技术来决定虚拟信息Vf1的显示位置。

在一些实施例中，上述特定条件可包括物件辨识处理的辨识结果通过一正确性验证。亦即，处理装置150将判断物件辨识处理的辨识结果是否通过一正确性验证。举例而言，处理装置150可根据定位装置130提供的信息得知目标物Obj将出现在用户U1的视野范围内，并获取目标物Obj的第一物件标识符。接着，处理装置150可比较目标物Obj的第一物件标识符与物件辨识处理所输出的第二物件标识符是否相同。若第一物件标识符相异于第二物件标识符，代表物件辨识处理的辨识结果可能是错误的。

基于上述，图5是根据本公开一范例实施例所绘示的判断辨识结果是否符合特定条件的流程图。请参照图5，在步骤S502，处理装置150根据物件辨识处理的辨识结果判断是否侦测到目标物Obj。若步骤S502判断为是，代表处理装置150可自目标物图像侦测到目标物Obj的存在，且处理装置150后续可根据其他判断基准来验证目标物Obj的辨识信息是否值得信赖。因此，在步骤S504，处理装置150判断目标物Obj的物件辨识框在目标物图像中所占据的占据比例大于预设临界值。

举例而言，图6是根据本公开一范例实施例所绘示的目标物图像与物件辨识框的示意图。处理装置150可透过对目标物图像Img1进行物件辨识处理，而获取目标物Obj1的物件辨识框B1。处理装置150可计算出物件辨识框B1的高与宽分为a1个像素与b1个像素。假设目标物图像Img1的分辨率为M个像素*N个像素，则占据比例为(a1*b1)/(M*N)。此外，用以与占据比例进行比较的预设临界值可根据实际需求而设置，本公开对此不限制。

若步骤S504判断为是，在步骤S506，处理装置150判断物件辨识处理的辨识结果是否通过正确性验证。若步骤S506判断为是，在步骤S508，处理装置150判定物件辨识处理的辨识结果符合特定条件。若步骤S502、步骤S504或步骤S506任一判断为否，在步骤S510，处理装置150判定物件辨识处理的辨识结果未符合特定条件。然而，在其他实施例中，步骤S504与步骤S506的执行是选择性地，例如处理装置150可执行步骤S504与步骤S506其中的任一个。此外，在其他实施例中，步骤S504与步骤S506的执行顺序是可以更换地。

此外，须特别说明的是，当物件辨识处理的辨识结果未符合特定条件(例如物件辨识框B1的占据比例小于临界值)，处理装置150可控制图像获取设备110执行放大(Zoom-in)操作来提取放大图像，并根据此放大图像再一次进行物件辨识处理。以下将列举实施例来说明。

图7A与图7B是根据本公开一范例实施例所绘示的信息显示方法的流程图。请同时参照图1A、图1B、图7A与图7B，而图7A与图7B的方法流程可由图1A与图1B的信息显示系统100来实现。在此，移动载具内的用户U1可透过信息显示系统100的可透光显示器110来观看移动载具的外部实体场景及其相关的虚拟信息。

在步骤S702，处理装置150利用定位装置130产生移动载具的位置信息。在步骤S704，处理装置150根据移动载具的位置信息计算目标物Obj1的第一参考位置信息。在步骤S706，处理装置150利用图像获取设备120提取目标物的目标物图像。在步骤S708，处理装置150对目标物图像进行物件辨识处理。在步骤S710，处理装置150判断物件辨识处理的辨识结果是否符合特定条件。若步骤S710判断为是，在步骤S712，处理装置150根据物件辨识处理的辨识结果计算目标物的第二参考位置信息。在步骤S714，处理装置150根据第二参考位置信息决定目标物Obj1的虚拟信息的显示位置。步骤S702至步骤S714的细节可参照前叙实施例中的类似相关说明，在此不再赘述。

于此，若步骤S710判断为否，在步骤S716，响应于所述物件辨识处理的辨识结果未符合所述特定条件，处理装置150控制图像获取设备120执行放大操作来提取放大图像。可知的，放大图像中目标物Obj1的成像尺寸会增加。举例而言，处理装置150控制图像获取设备120切换镜头或进行变焦处理。上述变焦处理可以是光学变焦或数字变焦，本公开对此不限制。

在步骤S718，处理装置150对放大图像进行另一物件辨识处理。在步骤S720，处理装置150判断另一物件辨识处理的辨识结果是否符合特定条件。亦即，处理装置150将判断基于放大图像的辨识结果是否为可信赖的。于此，处理装置150将执行与步骤S710相似的操作来判断另一物件辨识处理的辨识结果是否符合特定条件，而判断图像辨识结果是否符合特定条件的详细说明可参照前文实施例。

若步骤S720判断为是，在步骤S722，响应于另一物件辨识处理的辨识结果符合特定条件，处理装置150根据另一物件辨识处理的辨识结果计算目标物Obj1的第二参考位置信息。在步骤S724，处理装置150根据第二参考位置信息决定目标物的虚拟信息的显示位置。若步骤S720判断为否，在步骤S726，响应于另一物件辨识处理的辨识结果未符合特定条件，处理装置150根据第一参考位置信息决定目标物Obj1的虚拟信息Vf1的显示位置。

此外，在一些实施例中，在决定虚拟信息Vf1的显示位置之后，根据组成可透光显示器110的多个可透光显示设备的显示范围以及虚拟信息Vf1的显示位置，处理装置150还可判断虚拟信息Vf1该显示在哪一台可透光显示设备上或分别由两台可透光显示设备来同时分别显示部分的虚拟信息Vf1，以进一步调整虚拟信息Vf1的显示位置。

最后，在步骤S728，处理装置150透过可透光显示器110根据虚拟信息Vf1的显示位置显示虚拟信息Vf1。虚拟信息Vf1例如是目标物Obj1的名称或简介等等。

本公开的范例实施例所提出的信息显示方法及其处理装置与信息显示系统，可使用不同的定位技术来决定目标物的虚拟信息在可透光显示器上的显示位置。藉此，不仅可避免不同定位技术所具有的缺陷，还可提高目标物与虚拟信息的叠合精准度，提升用户的观看体验。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，故本发明的保护范围当视权利要求书及其均等范围所界定者为准。

Claims (20)

1.一种信息显示系统，安装在移动载具上，其特征在于，包括：

可透光显示器；

图像获取设备，用以提取目标物的目标物图像；

定位装置，用以产生所述移动载具的位置信息；

处理装置，可通信地连接所述显示器、所述图像获取设备以及所述定位装置，经配置以：

根据所述移动载具的位置信息计算所述目标物的第一参考位置信息；

对所述目标物图像进行物件辨识处理；

根据所述物件辨识处理的辨识结果，使用所述物件辨识处理的辨识结果或所述第一参考位置信息来决定所述目标物的虚拟信息的显示位置：以及透过所述可透光显示器根据所述虚拟信息的显示位置显示所述虚拟信息。

2.根据权利要求1所述的信息显示系统，其特征在于，所述处理装置经配置以：

响应于所述物件辨识处理的辨识结果符合所述特定条件，根据所述物件辨识处理的辨识结果计算所述目标物的第二参考位置信息，并根据所述第二参考位置信息决定所述目标物的所述虚拟信息的显示位置。

3.根据权利要求2所述的信息显示系统，其特征在于，所述第一参考位置信息包括所述可透光显示器上的第一显示位置坐标，所述第二参考位置信息包括所述可透光显示器上的第二显示位置坐标。

4.根据权利要求2所述的信息显示系统，其特征在于，所述处理装置经配置以：

响应于所述物件辨识处理的辨识结果未符合所述特定条件，根据所述第一参考位置信息决定所述目标物的所述虚拟信息的显示位置。

5.根据权利要求2所述的信息显示系统，其特征在于，所述物件辨识处理的辨识结果包括对应于所述目标物的物件辨识框，所述特定条件包括所述物件辨识框在所述目标物图像中所占据的占据比例大于预设临界值。

6.根据权利要求2所述的信息显示系统，其特征在于，所述特定条件包括根据所述物件辨识处理的辨识结果判定侦测到所述目标物。

7.根据权利要求2所述的信息显示系统，其特征在于，所述特定条件包括所述物件辨识处理的辨识结果通过正确性验证。

8.根据权利要求2所述的信息显示系统，其特征在于，所述处理装置经配置以：

响应于所述物件辨识处理的辨识结果未符合所述特定条件，控制所述图像获取设备执行放大操作来提取放大图像；

对所述放大图像进行另一物件辨识处理；

响应于所述另一物件辨识处理的辨识结果符合所述特定条件，根据所述另一物件辨识处理的辨识结果计算所述目标物的所述第二参考位置信息，并根据所述第二参考位置信息决定所述目标物的所述虚拟信息的显示位置；以及

响应于所述另一物件辨识处理的辨识结果未符合所述特定条件，根据所述第一参考位置信息决定所述目标物的所述虚拟信息的显示位置。

9.根据权利要求1所述的信息显示系统，其特征在于，所述处理装置经配置以：

根据所述移动载具的位置信息与移动方向、绝对方位与所述目标物的绝对位置信息，获取所述目标物相对于所述移动载具的相对夹角；

根据所述移动载具的位置信息与所述目标物的绝对位置信息计算所述移动载具与所述目标物之间的距离；以及

根据所述相对夹角与所述距离计算所述目标物的所述第一参考位置信息。

10.根据权利要求9所述的信息显示系统，其特征在于，所述目标物的绝对位置信息记录在物件信息数据库。

11.一种信息显示方法，其特征在于，适用于具有可透光显示器、图像获取设备、定位装置以及处理装置的信息显示系统，其中所述信息显示系统安装在移动载具，而所述方法包括：

利用所述图像获取设备提取目标物的目标物图像；

利用所述定位装置产生所述移动载具的位置信息；

根据所述移动载具的位置信息计算所述目标物的第一参考位置信息；

对所述目标物图像进行物件辨识处理；

根据所述物件辨识处理的辨识结果，使用所述物件辨识处理的辨识结果或所述第一参考位置信息来决定所述目标物的虚拟信息的显示位置：以及透过所述可透光显示器根据所述虚拟信息的显示位置显示所述虚拟信息。

12.根据权利要求11所述的信息显示方法，其特征在于，根据所述物件辨识处理的辨识结果，使用所述物件辨识处理的辨识结果或所述第一参考位置信息来决定所述目标物的所述虚拟信息的所述显示位置的步骤包括：

响应于所述物件辨识处理的辨识结果符合所述特定条件，根据所述物件辨识处理的辨识结果计算所述目标物的第二参考位置信息，并根据所述第二参考位置信息决定所述目标物的所述虚拟信息的显示位置。

13.根据权利要求12所述的信息显示方法，其特征在于，所述第一参考位置信息包括所述可透光显示器上的第一显示位置坐标，所述第二参考位置信息包括所述可透光显示器上的第二显示位置坐标。

14.根据权利要求12所述的信息显示方法，其特征在于，根据所述物件辨识处理的辨识结果，使用所述物件辨识处理的辨识结果或所述第一参考位置信息来决定所述目标物的所述虚拟信息的所述显示位置的步骤还包括：

响应于所述物件辨识处理的辨识结果未符合所述特定条件，根据所述第一参考位置信息决定所述目标物的所述虚拟信息的显示位置。

15.根据权利要求12所述的信息显示方法，其特征在于，所述物件辨识处理的辨识结果包括对应于所述目标物的物件辨识框，所述特定条件包括所述物件辨识框在所述目标物图像中所占据的占据比例大于预设临界值。

16.根据权利要求12所述的信息显示方法，其特征在于，所述特定条件包括根据所述物件辨识处理的辨识结果判定侦测到所述目标物。

17.根据权利要求12所述的信息显示方法，其特征在于，所所述特定条件包括所述物件辨识处理的辨识结果通过正确性验证。

18.根据权利要求12所述的信息显示方法，其特征在于，根据所述物件辨识处理的辨识结果，使用所述物件辨识处理的辨识结果或所述第一参考位置信息来决定所述目标物的所述虚拟信息的所述显示位置的步骤还包括：

响应于所述物件辨识处理的辨识结果未符合所述特定条件，控制所述图像获取设备执行放大操作来提取放大图像；

对所述放大图像进行另一物件辨识处理；

响应于所述另一物件辨识处理的辨识结果符合所述特定条件，根据所述另一物件辨识处理的辨识结果计算所述目标物的所述第二参考位置信息，并根据所述第二参考位置信息决定所述目标物的所述虚拟信息的显示位置；以及

响应于所述另一物件辨识处理的辨识结果未符合所述特定条件，根据所述第一参考位置信息决定所述目标物的所述虚拟信息的显示位置。

19.根据权利要求12所述的信息显示方法，其特征在于，其中根据所述移动载具的位置信息计算所述目标物的所述第一参考位置信息的步骤包括：

根据所述移动载具的位置信息与移动方向、绝对方位与所述目标物的绝对位置信息，获取所述目标物相对于所述移动载具的相对夹角；

根据所述移动载具的位置信息与所述目标物的绝对位置信息计算所述移动载具与所述目标物之间的距离；以及

根据所述相对夹角与所述距离计算所述目标物的所述第一参考位置信息。

20.一种处理装置，其特征在于，安装在移动载具上，并连接在可透光显示器、图像获取设备以及定位装置，其中所述图像获取设备用以提取一目标物的目标物图像，所述定位装置用以产生所述移动载具的位置信息，所述处理装置包括：

存储器，用以存储数据；以及

处理器，连接所述存储器并经配置：

根据所述移动载具的位置信息计算所述目标物的第一参考位置信息；

对所述目标物图像进行物件辨识处理；

根据所述物件辨识处理的辨识结果，使用所述物件辨识处理的辨识结果或所述第一参考位置信息来决定所述目标物的虚拟信息的显示位置：以及透过所述可透光显示器根据所述虚拟信息的显示位置显示所述虚拟信息。