CN102314855B - 影像处理系统、显示装置及影像显示方法 - Google Patents

Abstract

一种显示装置包括一显示屏、若干TOF摄像机及一影像处理系统。显示屏为一柱状显示屏，影像处理系统包括一三维模型建立模块、一位置侦测模块、一存储模块以及一影像选择模块，三维模型建立模块建立被摄场景的三维模型，位置侦测模块侦测观看者的位置，存储模块存储若干角度的影像，影像选择模块根据所述观看者的位置选择对应的影像，并将其传送给所述显示屏进行播放。本发明还提供了一种影像处理系统及影像显示方法。

Description

影像处理系统、显示装置及影像显示方法

技术领域

本发明涉及一种影像处理系统、显示装置及影像显示方法。

背景技术

现有的柱状电子广告牌上固定显示一平面的广告影像，不能与观看者产生互动。

发明内容

鉴于以上内容，有必要提供一种可根据观看者的位置显示相应角度的影像的影像处理系统、显示装置及影像显示方法。

一种影像处理系统，包括：

一三维模型建立模块，所述三维模型建立模块根据一TOF摄像机得到的被摄场景的影像以及被摄场景内各点与所述TOF摄像机之间的距离建立该被摄场景的三维模型；

一位置侦测模块，所述位置侦测模块根据得到的被摄场景的三维模型侦测一位于被摄场景内的观看者与一显示屏之间的位置关系；

一存储模块，所述存储模块存储有从若干角度对一物品拍摄的影像以及所述各个影像所对应的拍摄角度；以及

一影像选择模块，所述影像选择模块根据所述观看者与显示屏之间的位置关系从存储于所述存储模块中的若干影像选择对应拍摄角度的影像，并将其传送给所述显示屏进行播放。

一种显示装置，包括：

一显示屏；

若干TOF摄像机，所述TOF摄像机安装于所述显示屏的顶部的不同位置，且每一TOF摄像机的镜头均朝向所述显示屏的外侧，每一TOF摄像机拍摄所述显示屏的外侧不同角度的影像，并侦测被摄场景内各点与所述TOF摄像机之间的距离；及

一影像处理系统，所述影像处理系统根据所述TOF摄像机拍摄的影像以及被摄场景内各点与所述TOF摄像机之间的距离信息建立被摄场景的三维模型，并根据得到的三维模型侦测被摄场景内一观看者的位置，所述影像处理系统中还存储有从若干角度对一物品拍摄的影像以及所述各个影像所对应的拍摄角度，所述影像处理系统根据所述观看者相对于显示屏的位置选择对应拍摄角度的影像，并将其传送给所述显示屏进行播放。

一种影像显示方法，用于根据观看者的位置在一柱状显示屏上显示具有相应拍摄角度的影像，所述影像显示方法包括以下步骤：

若干TOF摄像机拍摄所述显示屏前方的影像以及得到被摄场景内各点与TOF摄像机之间的距离信息；

根据所述TOF摄像机拍摄的影像以及被摄场景内各点与TOF摄像机之间的距离信息建立该被摄场景的三维模型；

判断被摄场景内是否具有一观看者；

若被摄场景内具有一观看者，则根据得到的被摄场景的三维模型侦测该观看者与柱状显示屏之间的位置关系；及

根据观看者与柱状显示屏之间的位置关系控制所述柱状显示屏显示相应拍摄角度的影像。

上述影像处理系统、显示装置及影像显示方法通过所述摄像机拍摄所述显示屏附近的观看者，所述三维模型建立模块建立被摄场景的三维模型，所述位置侦测模块侦测所述观看者的位置，所述影像选择模块根据所述观看者的位置从所述存储模块中选择对应的影像，并将其传送给所述显示屏进行播放。所述影像处理系统、显示装置及影像显示方法可根据观看者的位置显示相应角度的影像。

附图说明

图1是本发明显示装置的较佳实施方式的方框图。

图2是本发明显示装置的较佳实施方式的示意图。

图3是图2中摄像机C1拍摄观看者的第一示意图。

图4是图2中摄像机C1拍摄观看者的第二示意图。

图5是图2中摄像机C1拍摄的影像的示意图。

图6是使用本发明显示装置根据观看者的位置控制图1中显示屏显示影像的示意图。

图7是图1中顺序设定模块设定位置侦测模块侦测各个观看者位置的顺序的示意图。

图8是本发明显示方法的较佳实施方式的流程图。

主要元件符号说明

显示装置            100

显示屏              10

影像处理系统        20

三维模型建立模块    21

特征侦测模块        22

位置侦测模块        23

影像选择模块        24

存储模块            25

顺序设定模块        26

摄像机              C1～C5

中心                G

观看者              A1、A2

具体实施方式

下面结合附图及较佳实施方式对本发明作进一步详细描述：

请参考图1及图2，本发明显示装置100包括一显示屏10、一影像处理系统20以及若干摄像机C1-C5。

所述显示屏10为一柱状电子广告牌。

所述摄像机C1-C5为TOF(Time-of-Flight)摄像机，所述TOF摄像机C1-C5可拍摄被摄场景的图像且可侦测被摄场景内各点与所述摄像机C1-C5之间的距离。所述摄像机C1-C5呈环状安装于所述显示屏10的顶部，且每一摄像机的镜头均朝向所述显示屏10的外侧。所述摄像机C1-C5组成一摄影机阵列，其中每一摄像机从不同角度拍摄所述显示屏10前方的影像。本实施方式中，所述摄像机的数量为五个，每一摄像机均拍摄其前方的影像。

所述影像处理系统20包括一三维模型建立模块21、一位置侦测模块23、一影像选择模块24及一存储模块25。

所述存储模块25内存储有对同一物品从若干角度进行拍摄所得到的若干影像以及所述各个影像所对应的拍摄角度。本实施方式中所述物品为一闹钟，在广告摄制过程中，以正对着所述闹钟的拍摄角度为0度，拍摄者利用摄影机按逆时针方向每隔6度对所述闹钟进行拍摄，从而得到所述闹钟的60个角度的影像。

所述摄像机C1-C5拍摄所述显示屏10前方的影像，并将拍摄得到的影像传送给所述影像处理系统20。

所述三维模型建立模块21根据所述摄像机C1-C5所得到的影像以及被摄场景内各点与所述摄像机C1-C5之间的距离得到被摄场景的三维模型。所述三维模型建立模块21还利用现有的人型侦测技术判断被摄场景内是否具有一观看者。每一摄像机可侦测观看者身上各点与该摄像机之间的距离，故所得到的影像中包含观看者身体各点与该摄像机之间的距离信息。

当所述三维模型建立模块21判断被摄场景内具有观看者时，所述位置侦测模块23根据得到的被摄场景的三维模型侦测所述观看者与所述显示屏10之间的位置关系。本实施方式中，所述观看者与显示屏10之间的位置关系为所述观看者处在所述显示屏10的某个角度方向。

请参考图3及图4，本实施方式中，将观看者正对所述摄像机C1时，即图4中位置F处时，所述观看者与显示屏10之间的位置关系设为0度，即位置F为所述显示屏10的0度方向。那么当所述观看者位于由摄像机C1所拍摄得到的影像中时，即可得知此时观看者与显示屏10的位置关系为324-36度之间；当所述观看者位于由摄像机C2所拍摄得到的影像中时，即可得知此时所述观看者与显示屏10的位置关系为36-108度之间；以此类推，当所述观看者位于由摄像机C5所拍摄得到的影像中时，即可得知此时所述观看者与显示屏10的位置关系为252-324度之间。

请继续参考图5，将所述摄像机C1拍摄得到的影像按竖直方向平均分为若干区块，本实施方式中为12份，每一区块在整个影像中的位置即代表了观看者与所述显示屏10的一个位置关系，其精度为6度。比如，当所述观看者处在位置S时，在所述摄像机C1拍摄的影像中，所述观看者的中心G处在第1区块中，第1区块代表了30-36度之间，所述位置侦测模块23即判断所述观看者处在所述显示屏10的30-36度之间。

请参考图6，所述影像选择模块24根据所述观看者与显示屏10的位置关系，即所述观看者处在所述显示屏10的角度方向，从存储于所述存储模块25中的若干影像选择对应的影像，并将其传送给显示屏10进行播放。比如，当所述位置侦测模块23判断所述观看者处于所述显示屏10的0-6度方向时，所述影像选择模块24即从所述存储模块25中选择拍摄角度为0度的闹钟的影像，所述显示屏10则播放该拍摄角度为0度的闹钟的影像；当所述位置侦测模块23判断所述观看者处于所述显示屏10的312-318度方向时，所述影像选择模块24从所述存储模块25中选择拍摄角度为312度的闹钟的影像，所述显示屏10则播放该拍摄角度为312度的闹钟的影像。如此当所述观看者围绕所述显示屏10一周时，即可观看到所述闹钟60个角度的影像。

请继续参考图3，若两个相邻的摄像机，比如摄像机C1和C2均能拍摄到观看者时，所述观看者则同时出现于由摄像机C1所拍摄得到的影像及由摄像机C2所拍摄得到的影像中。比如当观看者位于图3中的阴影区域时，所述摄像机C1及C2即均能拍摄到所述观看者。此时，所述观看者与显示屏10之间的位置关系以摄像机C1或C2为准均可，即既可判断此时所述观看者与显示屏10之间的位置关系为0-36度之间，也可判断此时所述观看者与显示屏10之间的位置关系为36-108度之间。如果判断此时所述观看者与显示屏10之间的位置关系为0-36度之间，则根据在所述摄像机C1拍摄得到的影像中所述观看者的位置得知所述观看者与显示屏10之间的具体位置关系；如果判断此时所述观看者与显示屏10之间的位置关系为36-108度之间，则根据在所述摄像机C2所拍摄得到的影像中所述观看者的位置得知所述观看者与显示屏10之间的具体位置关系。本实施方式中，当所述摄像机C1及C2均拍摄到该观看者时，根据在摄像机C1拍摄得到的影像中该观看者的位置判断所述观看者与所述显示屏10之间的具体位置关系。

其他实施方式中，所述影像处理系统20还包括一特征侦测模块22及一顺序设定模块26。当所述显示屏10前方出现两个以上的观看者时，所述顺序设定模块26用于设定所述位置侦测模块23按一定的顺序侦测各个观看者与显示屏10之间的位置关系。

请参考图7，当所述显示屏10前先后出现两个以上的观看者时，所述顺序设定模块26可根据观看者出现于所述显示屏10前方的时间顺序设定所述位置侦测模块23侦测各个观看者的位置的先后顺序。比如，当显示屏10的前方出现观看者A1时，所述位置侦测模块23即侦测观看者A1与显示屏10之间的位置关系。之后，若在所述显示屏10的前方又出现一观看者A2时，所述顺序设定模块26则控制所述位置侦测模块23不侦测该观看者A2与显示屏10之间的位置关系，直到所述观看者A1离开时，即所有的摄像机C1-C5不能再拍摄到观看者A1的影像时，所述顺序设定模块26方控制所述位置侦测模块23侦测所述观看者A2与显示屏10之间的位置关系。

当所述显示屏10前方同时出现两个以上的观看者时，所述三维模型建立模块21根据观看者身体各点与拍摄观看者的摄像机之间的距离信息将拍摄的影像中除人体以外的影像全部去除，从而得到所述观看者的三维人体模型。所述特征侦测模块22对得到的观看者的三维人体模型进行分析，从而得到各个观看者的外形特征，比如所述观看者的身高、发型及衣着等。所述顺序设定模块26可根据各个观看者的外形特征设定所述位置侦测模块23侦测各个观看者的位置的先后顺序。比如，观看者A1、A2同时出现于所述显示屏10前方时，所述特征侦测模块22侦测得到所述观看者A1的身高比观看者A2高，此时所述顺序设定模块26则设定所述位置侦测模块23首先侦测身高较高的观看者A1与显示屏10之间的位置关系，直到所述观看者A1离开时，所述顺序设定模块26方控制所述位置侦测模块23侦测所述观看者A2与显示屏10之间的位置关系。当然，所述顺序设定模块26亦可设定所述位置侦测模块23首先侦测身高较矮的观看者A2与显示屏10之间的位置关系。

请参考图8，本发明影像显示方法的较佳实施方式包括以下步骤。

步骤S1：若干摄像机C1-C5拍摄所述显示屏10前方的影像。

步骤S2：所述三维模型建立模块21根据摄像机C1-C5拍摄的影像以及被摄场景内各点与摄像机C1-C5之间的距离建立被摄场景的三维模型。

步骤S3：所述三维模型建立模块21利用人型侦测技术判断被摄场景内是否具有一观看者。若被摄场景内具有一观看者，则进入步骤S4，否则返回步骤S1。

步骤S4：所述位置侦测模块23根据得到的被摄场景的三维模型侦测观看者与显示屏10之间的位置关系。

步骤S5：根据观看者与显示屏10之间的位置关系控制所述显示屏10显示相应拍摄角度的影像。

上述影像处理系统、显示装置及影像显示方法通过所述摄像机C1-C5拍摄所述显示屏10附近的观看者，所述三维模型建立模块21建立被摄场景的三维模型，所述位置侦测模块23根据得到的被摄场景的三维模型侦测所述观看者的位置，所述影像选择模块24根据所述观看者的位置控制所述显示屏10显示相应拍摄角度的影像。所述影像处理系统、显示装置及影像显示方法可根据观看者的位置显示相应拍摄角度的影像。

Claims (13)

1.一种影像处理系统，包括：

一三维模型建立模块，所述三维模型建立模块根据一TOF摄像机得到的被摄场景的影像以及被摄场景内各点与所述TOF摄像机之间的距离建立该被摄场景的三维模型，所述TOF摄像机所拍摄的影像按竖直方向平均分为若干区块，每一区块在所述影像中的位置代表了一观看者与显示屏的一位置关系，所述位置关系为所述观看者处于所述显示屏的一角度方向；

一位置侦测模块，所述位置侦测模块根据得到的被摄场景的三维模型侦测所述观看者所在的区块，并侦测位于被摄场景内的观看者与所述显示屏之间的位置关系，以获得所述观看者处于所述显示屏的角度方向；

一存储模块，所述存储模块存储有从若干角度对一物品拍摄的影像以及所述各个影像所对应的拍摄角度；以及

一影像选择模块，所述影像选择模块根据所述观看者处于所述显示屏的角度方向从所述存储模块中选择对应拍摄角度的影像，并将其传送给所述显示屏进行播放。

2.如权利要求1所述的影像处理系统，其特征在于：所述影像处理系统还包括一顺序设定模块，当TOF摄像机所拍摄得到的影像中包括两个或以上的观看者时，所述顺序设定模块根据观看者出现于该显示屏附近的时间顺序设定该位置侦测模块侦测各个观看者位置的顺序，当出现于所述显示屏附近的第一个观看者不再出现在TOF摄像机拍摄的影像中时，所述位置侦测模块侦测下一个观看者的位置。

3.如权利要求1所述的影像处理系统，其特征在于：所述三维模型建立模块还用于去除所述TOF摄像机拍摄的影像中人体以外的影像，从而得到所述观看者的三维人体模型。

4.如权利要求3所述的影像处理系统，其特征在于：所述影像处理系统还包括一特征侦测模块及一顺序设定模块，所述特征侦测模块获取各个观看者的三维人体模型的数据，以得到所述观看者的外形特征；当所述TOF摄像机所拍摄得到的影像中包括两个或以上的观看者时，所述顺序设定模块根据各个观看者的外形特征设定所述位置侦测模块侦测各个观看者位置的顺序。

5.一种显示装置，包括：

一显示屏；

若干TOF摄像机，所述TOF摄像机安装于所述显示屏的顶部的不同位置，且每一TOF摄像机的镜头均朝向所述显示屏的外侧，每一TOF摄像机拍摄所述显示屏的外侧不同角度的影像，并侦测被摄场景内各点与所述TOF摄像机之间的距离，每一TOF摄像机所拍摄的影像按竖直方向平均分为若干区块，每一区块在所述影像中的位置代表了一观看者与所述显示屏的一位置关系，其中所述位置关系为所述观看者处于所述显示屏的一角度方向；及

一影像处理系统，所述影像处理系统根据所述TOF摄像机拍摄的影像以及被摄场景内各点与所述TOF摄像机之间的距离信息建立被摄场景的三维模型，并根据得到的被摄场景的三维模型侦测所述观看者所在的区块，以获得所述观看者处于所述显示屏的角度方向，所述影像处理系统中还存储有从若干角度对一物品拍摄的影像以及所述各个影像所对应的拍摄角度，所述影像处理系统根据所述观看者处于所述显示屏的角度方向从若干角度对所述物品拍摄的影像中选择对应拍摄角度的影像，并将其传送给所述显示屏进行播放。

6.如权利要求5所述的显示装置，其特征在于：所述显示屏为一柱状的显示屏。

7.如权利要求6所述的显示装置，其特征在于：所述TOF摄像机呈环状安装于所述显示屏的顶部的不同位置。

8.如权利要求5所述的显示装置，其特征在于：所述显示屏具有360度的角度，每一区块分别代表了所述观看者与所述显示屏的一角度，所述影像处理系统包括一三维模型建立模块、一位置侦测模块、一存储模块以及一影像选择模块，所述三维模型建立模块用于根据所述TOF摄像机拍摄的影像以及被摄场景内各点与所述TOF摄像机之间的距离建立所述被摄场景的三维模型，所述位置侦测模块用于根据得到的被摄场景的三维模型得到所述观看者所在的区块，并获得所述观看者处于所述显示屏的角度，所述影像选择模块根据所述观看者处于所述显示屏的角度从若干角度对所述物品拍摄的影像中选择对应拍摄角度的影像，并将其传送给所述显示屏进行播放。

9.如权利要求8所述的显示装置，其特征在于：所述影像处理系统还包括一顺序设定模块，当所述TOF摄像机所拍摄得到的影像中包括两个或以上的观看者时，所述顺序设定模块根据观看者出现于所述显示装置附近的时间顺序设定所述位置侦测模块侦测各个观看者位置的顺序。

10.如权利要求8所述的显示装置，其特征在于：所述影像处理系统还包括一特征侦测模块及一顺序设定模块，所述特征侦测模块获取各个观看者的三维人体模型的数据，以得到所述观看者的外形特征；当所述TOF摄像机所拍摄得到的影像中包括两个或以上的观看者时，所述顺序设定模块根据各个观看者的外形特征设定所述位置侦测模块侦测各个观看者位置的顺序。

11.一种影像显示方法，用于根据观看者的位置在一柱状显示屏上显示具有相应拍摄角度的影像，所述影像显示方法包括以下步骤：

若干TOF摄像机拍摄所述显示屏前方的影像以及得到被摄场景内各点与TOF摄像机之间的距离信息，其中每一TOF摄像机所拍摄的影像按竖直方向平均分为若干区块，每一区块在所述影像中的位置代表了一观看者与所述柱状显示屏的一位置关系，其中所述位置关系为所述观看者处于所述柱状显示屏的一角度方向；

根据所述TOF摄像机拍摄的影像以及被摄场景内各点与TOF摄像机之间的距离信息建立该被摄场景的三维模型；

判断被摄场景内是否具有一观看者；

若被摄场景内具有一观看者，则根据得到的被摄场景的三维模型侦测所述观看者所在的区块，以获得该观看者处于所述柱状显示屏的角度方向；及

根据观看者处于所述柱状显示屏的角度方向从存储有从若干角度对一物品拍摄的影像中选择对应拍摄角度的影像，以控制所述柱状显示屏显示对应拍摄角度的影像。

12.如权利要求11所述的影像显示方法，其特征在于：当所述TOF摄像机所拍摄得到的影像中包括两个或以上的观看者时，根据观看者出现于所述柱状显示屏附近的时间顺序设定侦测各个观看者位置的顺序。

13.如权利要求11所述的影像显示方法，其特征在于：当所述TOF摄像机所拍摄得到的影像中包括两个或以上的观看者时，根据各个观看者的外形特征设定侦测各个观看者位置的顺序。