CN102376061A - 基于全方位视觉的消费者购买行为分析装置 - Google Patents

Abstract

一种基于全方位视觉的消费者购买行为分析装置，包括全方位摄像装置、收款机和用于对全方位摄像装置所拍摄的全景图像以及相关输入信息对消费者购买行为进行分析处理的微处理器；全方位摄像装置，放置在店铺内中间的上方，使得全方位摄像装置能捕获到整个店铺内的视频图像；全方位摄像装置与微处理器连接，收款机与微处理器通过有线网络进行连接，微处理器包括视频图像读取单元、视频图像展开单元、前景对象检测单元、多目标人体对象跟踪单元、视频图像存储单元、空间位置定制单元、商品摆放位置输入单元、商品属性输入单元和消费者购买行为分析单元。本发明提实时成本低、调查结果客观准确、智能化和自动化程度高。

Description

基于全方位视觉的消费者购买行为分析装置

技术领域

本发明属于全方位视觉、计算机视觉技术和关系数据库等技术在消费者购买行为分析方面的应用，尤其是针对便利店等小型销售网点的消费者购买行为分析。

背景技术

销售是商品在市场运行过程中经历的最后环节，也是商品经流通领域进人消费领域的关键环节。消费者的购买行为通常是在一定的购物场所或环境中实现的。购物环境的优劣对消费者购买过程中的心理感受具有多方面的影响。因此，适应消费者的心理特点，提供良好的购物环境，是企业扩大商品销售必不可少的条件，也是消费者心理与行为研究的重要内容之一。

当前，最有发展前途、应用最为广泛的无人售货方式是自助式售货。它可以充分发挥消费者在购买过程中的自主性和主动性，提高购物热情。此外，消费者直接大量接触商品，简化了寻找和挑选商品的过程，在很大程度上摆脱了对销售人员的依赖，从而大大减少了发生矛盾或冲突的机会。但是，自助式售货也有其负效应，有关监测设施和规定容易给消费者带来不信任感或不尊重感，以致使消费者丧失购物热情。

零干扰服务是一种新兴的商业服务观念，意指企业在提供销售服务的同时不对顾客构成干扰和妨碍，为消费者提供适时、适度的服务。便利店等销售服务属于零干扰服务的范畴。

零干扰服务从消费者角度出发，以消费者的需求、兴趣、心理等作为服务的基本出发点。它强调充分发挥消费者在购买过程中的自主性、主动性，提高购物热情。此外，消费者直接面对商品，自主进行选择，从而在很大程度上摆脱了对销售人员的依赖，大大减少了相互之间产生矛盾和冲突的机会。而且零干扰服务所体现出来的对消费者的信任感和尊重感，使整个购买过程更加人性化，更富有人情味。所以在零干扰服务过程中，消费者的心理状态是放松的、自由的，能最大程度地得到自尊心理的满足，这也是现代生活条件下顾客产生购买行为的必要前提。

消费者在购买活动中，通常经过注意和认知、兴趣和情感、联想和想像、欲望和动机、思索评价、信心和决定、采取行动、体验满足等心理过程或阶段。消费者的购买动机主要包括冲动性购买动机、理性购买动机、生理性购买动机、心理性购买动机、惠顾性购买动机等。不同的购买动机会导致不同的购买行为。

进入商店的消费者，购买意图存在着多种差异，有的抱有明确的购买目标，并已预先拟订购买决策，进店的目的是直接实现购买行为；有的并无确定的购买目标，进店的目的在于观察比较，若对某件商品产生兴趣好感，则有可能诱发购买欲望；还有的消费者不存在购买意图，他们进店的目的在于随意测览参观，或仅仅是为了寻求某种感觉、体验。因此，对不同购买意图的消费者，接触时机的早晚以及是否发生接触，也应有明显区分。要对消费者购买行为进行分析主要可以由以下几个情景来获取相关信息：(1)当消费者长时间凝视某商品时；(2)当消费者从注意的商品上抬起头来时；(3)当消费者突然止步盯看某一商品时；(4)当消费者用手触摸商品时；(5)当消费者在货架上寻找商品时。

研究结果表明：卖场所提供的刺激与购物环境、购买时的情景因素及消费者的冲动性特质这三个维度是构成消费者冲动性购买主要形成因素。

在卖场所提供的购物气氛中，产品摆放的位置、让人舒适的音乐及卖场有序的布置，皆和冲动性购买有着正相关关系，表示如果消费者在有良好购物气氛的情况下，越容易产生冲动性购买。也就是消费者冲动性购买会受到所提供的购物气氛影响。

在产品的差异化中，卖场提供独有的产品或产品自身的独特性及产品的限量性，皆和冲动性购买有着正相关关系，表示如果产品越有差异化，越容易硬气消费者的冲动性购买。也就是消费者的冲动性购买受到在卖场提供独有的产品或者产品自身差异化的影响。

在产品的形式中，产品的体积、便携性、是否容易存储及品牌，皆和冲动性购买有着正相关关系。也就是消费者如果在购物过程中碰到有体积小、容易携带、容易存储及有良好品牌的产品的时候，越容易产生冲动性购买。

在商场的促销中，产品降价、产品赠送和现金返现活动，皆和冲动性购买有着正相关关系，表示消费者在商场有促销的情况下，越容易产生冲动性购买。也就是消费者的冲动性受到了产品降价、产品赠送和返现活动的影响。

在宣传活动中，明星代言、专家推荐、销售人员的宣传及卖场现场宣传，皆和冲动性购买有着正相关关系。也就当消费者在购物的过程中，碰到有明星代言、专家推荐的产品或者有销售人员准确的说明与示范以及商场对该产品宣传越多，越容易产生冲动性购买。也就是消费者的冲动性购买受到宣传活动的影响。

时间压力一项，购买时间充裕及反感催促皆和冲动性购买有着正相关关系。也就是消费者在购物的过程中，如果购物的时间越充裕，或者身旁没有人催促，能够让其在购物过程中自由选购的话，越容易产生冲动性购买。也就是消费者的冲动性购买受到购买时间的影响。

根据消费者不同的购买动机和心理行为特征，为他们提供恰当满意的服务，从而为消费者提供全方位的优质服务，提高他们的满意度和忠诚度。

目前很多便利店为了调查消费者购买行为采用人工方式来进行观察确认，为了实现有效的观察往往需要店员跟着并观察消费者进行记录；因此这种人工的调查方式存在着几个问题：1)有悖于零干扰服务的观念；2)要花费较高的人工费用；3)调查的结果会受到调查员介入的干扰。为了不给消费者带来不信任感或不尊重感，减少人工调查的费用，采用计算机视觉的方式来替代人工是一种有效的解决方案。因此调查所采用的分析装置必须能最大程度满足消费者自尊心理的、环境友好型的、智能化和自动化的，其中摄像部分必须能实时获取整个店面内的全景视频图像的，全景图像分析部分必须是智能化和自动化的。

发明内容

为了克服已有人工方式来调查消费者购买行为的实施成本高、对消费者购物有干扰、难以获得客观准确的调查数据等不足，本发明提供一种实时成本低、调查结果客观准确、智能化和自动化程度高的基于全方位视觉的消费者购买行为分析装置。

本发明解决其技术问题所采用的技术方案是：

一种基于全方位视觉的消费者购买行为分析装置，包括全方位摄像装置、收款机和用于对全方位摄像装置所拍摄的全景图像以及相关输入信息对消费者购买行为进行分析处理的微处理器；所述全方位摄像装置，以下用ODVS表示，放置在店铺内中间的上方，使得ODVS能捕获到整个店铺内的视频图像；所述的全方位摄像装置与所述的微处理器进行连接，所述的收款机与所述的微处理器通过有线网络进行连接，所述的微处理器包括：视频图像读取单元，用于通过USB接口读取ODVS所拍摄的全景图像，并将读取的全景图像提交给视频图像展开单元和视频图像存储单元；视频图像展开单元用于将全景图像进行柱状展开，展开后的全景柱状图像提交给前景对象检测单元；前景对象检测单元用于检测在全景柱状展开图像中存在的前景人体对象，具体采用混合高斯模型来计算前景人体对象，然后在柱状展开图像上用矩形框框住前景人体对象，并将矩形框提交给多目标人体对象跟踪单元；多目标人体对象跟踪单元，根据前景对象检测单元所提交的矩形框采用增强的Camshift算法对多目标人体对象进行跟踪；在多目标人体对象跟踪单元中对人体对象进行跟踪，这里的人体对象指的是消费者，当消费者进入店铺内时，所述的前景对象检测单元检测到有新的人体对象时就自动产生一个人体对象跟踪代码，启动一个新的线程通过多目标跟踪算法跟踪该人体对象，当该人体对象离开店铺时该线程结束，因此在店铺内有多少个人体对象就有多少个线程在始终跟踪着，通过人体对象的跟踪可以得到该人体对象在店铺内的行走轨迹以及在某一个货架附近停留的时间，得到空间位置与人体对象的关系表；视频图像存储单元用于将所述的视频图像读取单元读取的全景图像保存在图像数据库中；空间位置定制单元，用于在全景图像上定制店铺内的空间位置信息，如图5所示的货架的空间位置信息是通过用户界面在ODVS所拍摄的全景图像上定制的，用户根据如图2所示的全景图像上所显示的货架所处的空间位置通过用户界面将其与空间位置编号建立映射关系，比如根据所显示的全景图像上1号货架处在空间位置编号为001的区域内，就将该信息写入商品位置与空间的关系数据库中的货架与空间位置的映射表中；商品摆放位置输入单元，用于输入店铺内的商品所摆放的货架的相关信息，在便利店中商品的摆放位置以及货架上摆放的商品经常要发生变化，需要建立货架与商品的动态关系表，通过人机界面动态的设定货架与商品的对应关系；在设置了货架与商品的对应关系和货架与空间位置的映射表后，通过数据库的表相关运算可以进一步得到空间位置与商品的关系表，将计算所得到的空间位置与商品的关系表写入商品位置与空间的关系数据库；商品属性输入单元，用于输入店铺内所有销售商品的属性数据，包括商品名、价格、促销价格、形态、品牌、专家推荐、独有的产品等属性信息，输入的商品属性数据保存在商品属性数据库中；消费者在收银台结算时，每一笔交易都保存在收银台收款数据库中，每一笔交易中至少包括交易ID、商品ID、商品名、价格、收款时间等信息；消费者购买行为分析单元，主要用于分析消费者冲动性购买行为，通过所述的商品属性数据库、所述的商品位置与空间的关系数据库、所述的收银台收款数据库和空间位置与人体对象的关系表中的等相关数据进行分析，从而推断出以下几个消费者重要情景，即(1)当消费者长时间凝视某商品时；(2)当消费者从注意的商品上抬起头来时；(3)当消费者突然止步盯看某一商品时；(4)当消费者用手触摸商品时；(5)当消费者在货架上寻找商品时；这些情景从空间上来分析，消费者与商品是近距离或者是零距离的；从时间上来分析，消费者会有一个较长时间接触商品的过程；从上述数据中可以进一步分析获得构成消费者冲动性购买主要形成因素，即卖场所提供的刺激与购物环境、购买时的情景因素及消费者的冲动性特质这三个维度中的一些重要影响因素，如图1中的斜体部分所示；比如要调查产品摆放的位置和卖场的布置与消费者冲动性购买行为时，就可以通过商品位置与空间的关系数据库、商品属性数据库、收款数据库以及人体所处空间位置及停留时间检测结果等信息进行分析，利用关系数据库可以获得购物环境与消费者购买行为的相关度、某一商品形式与消费者购买行为的相关度、某一时间段与消费者购买行为的相关度、某一种促销广告与消费者购买行为的相关度、消费者在店铺内的停留时间与消费者购买行为的相关度等商业调查信息，这些调查信息写入消费者购买行为分析结果数据库中，然后将结果显示在人机界面上，以便进一步改善购物环境，为消费者提供全方位的优质服务；

在上述的信息中，商品和货架的空间位置是相对固定的，可以通过货架与空间位置的映射表和货架与商品的对应关系表得到，本发明中将商品和货架作为静态对象；店铺内的人体对象数目以及人体对象的空间位置是不断变化的，本发明中将人体对象作为动态对象，动态对象的空间和时间信息需要由所述的多目标人体对象跟踪单元来确定；而动态对象的购买行为又需要将动态对象的空间和时间信息结合静态对象的空间位置、属性等信息进行综合分析，这样就可以通过空间位置与人体对象的关系表和空间位置与商品的关系表得到人体对象与商品的关系表，在人体对象与商品的关系表中包含着商品属性、人体对象ID、人体对象ID停留时刻和空间位置等信息，通过该信息的分析基本上能构建出消费者购买时的情景，因此，动态对象的空间和时间信息的准确获取是本发明中关键；

所述的多目标人体对象跟踪单元，主要用于获得店铺内的人体对象数目以及人体对象的空间位置和在某一个空间位置上停留时间，其跟踪算法流程图如图7所示；其中核心的算法是基于Bayesian概率法则的改进Camshift跟踪算法，关于Camshift跟踪算法的实现方法参考文献Shi Y，Eberhart R C.A Modified ParticleSwarm Optimizer[c]，Proceedings of the IEEE Conference on EvolutionaryComputation，Anchorage，AK，May 4-9，1998：69～73；由于Camshift跟踪算法是一种搜索局部峰值的基于颜色概率密度的跟踪算法，因此无需在整幅全景图像上作全局搜索，这里引入感兴趣区域，简单表示为ROI，目标人体对象跟踪在目标可能出现的区域-ROI内完成，这样既可以减少计算量，又可以消除ROI外部的干扰；

改进的Camshifi算法如下：

Step1：以所述前景对象检测单元中检测出的人体对象目标为基础，设定目标跟踪的ROI；

Step2：计算ROI内的目标颜色概率密度分布；

Step 3：迭代Mean Shift直到收敛，记录其位置和零阶矩

Step4：对下一帧图像，以

为搜索窗中心位置，并根据的函数确定搜索窗大小，根据人体对象目标外接矩形确定ROI大小，转Step 2；

在Camshift算法的Step 2中，本发明采用Bayesian概率法则获得目标在图像中的颜色概率密度分布，计算方法如公式(1)所示：

$P(C/O)=\frac{P(C/O)P\left(O\right)}{P(C/O)P\left(O\right)+P(C/B)P\left(B\right)}---\left(1\right)$

式中：C为像素点在HSV空间的颜色值，即像素点的(H，S)值；O为目标，B为背景，P(O)+P(B)＝1，P(O)为目标对象面积和除目标对象外的背景面积的比值；P(C/O)和P(C/B)可分别从目标对象和背景的直方图获得；按公式(1)获得目标对象在图像中的颜色概率密度分布，再按公式(2)把概率分布区间从[0，max(P(O/C))]归一化到[0，255]区间中，从而获得最终进行Mean Shift迭代的颜色概率密度分布图像P′(O/C)；

$P^{\′}(O/C)=\min [\frac{255}{\max \left(P(O/C)\right)}P(O/C),255]---\left(2\right)$

式中，P′(O/C)为归一化的目标对象颜色概率密度分布，P(O/C)为目标对象颜色概率密度分布；

在改进Camshift算法的Step 4中，本发明根据上一帧跟踪结果的零阶矩的函数确定新的搜索窗的大小s，以适应目标在视频图像中的尺度变化，如公式(3)所示；

$s=2\×\sqrt{M_{00}^{\left(s\right)}/K}---\left(3\right)$

式中，s为搜索窗的大小，K为常数，本发明中选择K∈[230，240]；

根据人体对象目标运动的空间连续性，在人体对象目标实时跟踪中，人体对象目标在下一帧的位置位于前一帧中同一人体对象目标位置附近，因此定义适当位置和适当大小的ROI，人体对象目标跟踪在ROI内完成；该ROI必须包含完整的人体对象目标，以避免人体对象目标的不完整甚至丢失；同时避免ROI过大，以避免ROI内包含过多背景形成干扰；同时降低计算量，包括计算颜色概率密度分布的计算量和Mean Shift迭代次数；

本发明采用Kalman滤波器来估计人体对象运动目标在当前帧的位置，作为ROI的位置；Kalman滤波器经过有限几次滤波后，可以较稳定的预测人体对象目标在当前帧的大致位置，以此预测值作为ROI的位置，ROI的大小设定为上一帧人体对象目标外接矩形的1.5倍；本发明中采用对全景图像进行透视投影平面展开图区域作为ROI，在获得了ROI的位置以及ROI的大小等数据后就可以得到以人体对象目标为中心的透视投影平面图；

为了对透视投影平面图有一个较好的理解，首先对ODVS的工作原理作一个简单介绍；ODVS的工作原理是：进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)；

图3中的2-双曲线面镜，12-入射光线，13-双曲面镜的实焦点Om(0，0，c)，14-双曲面镜的虚焦点即摄像单元6的中心Oc(0，0，-c)，15-反射光线，16-成像平面，17-实物图像的空间坐标A(X，Y，Z)，18-入射到双曲面镜面上的图像的空间坐标，19-反射在成像平面上的点P(x，y)；

图3中所示的双曲面镜构成的光学系统可以由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)＝-1    当Z＞0时    (4)

$c=\sqrt{a^2+b^2}---\left(5\right)$

φ＝tan^-1(Y/X)    (6)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ    (7)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(8\right)$

式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，Φ表示入射光线在XY平面上的夹角，即方位角，α表示入射光线在XZ平面上的夹角，这里将α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折入射光线与Z轴的夹角；

图4是ODVS的结构图，ODVS包括双曲面镜面、上盖、透明外罩、下固定座、摄像单元固定座、摄像单元、连接单元和上罩，所述的双曲面镜面固定在所述的上盖上，所述的连接单元将所述的下固定座和透明外罩连接成一体，所述的透明外罩与所述的上盖以及所述的上罩通过螺钉固定在一起，所述的摄像单元用螺钉固定在所述的摄像单元固定座上，所述的摄像单元固定座用螺钉固定在所述的下固定座上，所述的摄像单元的输出端口是USB接口；

进一步，对图8所示的全景图像透视展开原理说明，这里从双曲面的实焦点Om到透视投影坐标原点G引一条距离为D的直线Om-G，与这条Om-G相垂直的平面作为透视投影平面，从点A(X，Y，Z)向着焦点O m的光线在透视投影平面上有一个交点P(X，Y，Z)，如果将该交点P(X，Y，Z)代入到公式(7)、(8)中就能容易地求的在成像平面上的P(x，y)点，因此可以通过从上述关系求得在透视投影平面上的各个点；

$x=\frac{\mathrm{Xf}(b^2-c^2)}{(b^2+c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2}}---\left(9\right)$

$y=\frac{\mathrm{Yf}(b^2-c^2)}{(b^2+c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2}}---\left(10\right)$

如图5所示，双曲面镜的光轴为Z轴，摄像单元向着Z轴的正方向设置，成像平面是摄像单元的输入图像，我们将双曲面镜的光轴与成像平面的交点g作为成像平面的原点，其坐标系为x、y，x轴、y轴分别与摄像单元中的感光芯片的长短边相一致，因此Om-XYZ坐标系的X轴与成像平面坐标系的xy平面平行；

透视投影平面是与Om-G连接线相垂直的平面，将G点作为原点的二元平面坐标系i，j，其中i轴是与XY平面平行的横轴，j轴是与i轴和Om-G轴直角相交的纵轴，将从透视投影平面到双曲面的焦点Om的距离作为D，定义透视投影平面的横幅为W，纵幅为H；由于i轴是与XY平面平行，又是与Z轴垂直的，因此所得到的透视投影平面是以G点为坐标中心与XY平面(水平面)上旋转一个角度，该角度就是Om-G连接线与Z轴的夹角；

这里我们将Om-G作为变换中心轴，点G作为变换中心点，用β(入射光线在XY平面上的夹角-方位角)、γ(入射光线与双曲面焦点的水平面的夹角)以及距离D(透视投影平面到双曲面的焦点Om的距离)来表示变换中心轴，β角度在0°～360°范围内，用公式(11)来表示：

β＝tan^-1(Y/X)＝tan^-1(y/x)    (11)

这里β角度是入射光线在XY平面上投影的夹角，以Z轴为原点(极坐标系的原点)逆时针方向，在0°～360°范围内(这是全方位视觉的水平视场范围)；γ角度是入射光线与双曲面焦点的水平面的夹角，由式(8)所示，该角度与空间坐标与双曲面焦点位置有关，如果在双曲面焦点上作一个水平面的话，那么就是给水平面与Om-G轴的夹角，这里将空间坐标Z点在双曲面焦点以上的作为[+]，称为仰角，Z点在双曲面焦点以下的作为[-]，称为俯角；γ角度范围在-90°～+90°之间，根据不同的镜面设计就会有不同的γ角度范围(这是全方位视觉的垂直视场范围)；

距离D根据透视投影平面与双曲面焦点的直线距离来确定，一般来说，距离D越长景物越小，距离D越短景物越大；透视投影平面的横幅W、纵幅H可以由需要来确定，在确定横幅W、纵幅H大小时首先要确定显示窗的横纵比，由于在计算机中是用像素来表示横幅W、纵幅H的大小，因此要确定横幅W、纵幅H的像素值；本发明中将透视投影平面的横幅W、纵幅H设置成与ROI的大小一致，ROI位置的中心设置为透视投影平面的G点；

通过透视投影平面的坐标点P(i，j)求空间三坐标中的A(X，Y，Z)，这样就能得到投影平面与空间三坐标的转换关系，转换关系式用公式(12)来表示：

X＝R*cosβ-i*sinβ

Y＝R*sinβ+i*cosβ    (12)

Z＝D*sinγ-j*cosγ

R＝D*cosγ+j*sinγ

式中：D为透视投影平面到双曲面的焦点Om的距离，β角度是入射光线在XY平面上投影的夹角，γ角度是入射光线与双曲面焦点的水平面的夹角，i轴是与XY平面平行的横轴，j轴是与i轴和Om-G轴直角相交的纵轴，i轴与j轴的方向由图8所示；

本发明的有益效果主要表现在：1、获取实时便利店内的全景视频图像，可提供一种远程商业调查的手段；2、结合全方位视觉、计算机视觉和数据库等技术用于消费者购买行为分析，提高了商业调查的可信度，降低了商业调查的成本；3、自动获取和收集便利店内的所有商品属性、商品的摆放、消费者数目、消费者停留时刻和空间位置等基本信息，这些信息可作为各种商业调查的基本数据；4、可以发现一些异常行为，为便利店提供一种智能化的监控装置；5、相关分析结果可以用于改善购物环境，为消费者提供全方位的优质服务。

附图说明

图1为消费者购买行为的影响因素示意图；

图2为一种全景视频图像和空间位置定制方法说明图；

图3为一种ODVS成像原理图；

图4为一种ODVS的结构图；

图5为便利店内商品摆放与ODVS安置说明示意图；

图6为一种基于全方位视觉的消费者购买行为分析装置的软件构成框图；

图7为多目标人体对象跟踪算法流程图；

图8为单视点的全景视觉成像的透视展开说明图；

图9为一种基于全方位视觉的消费者购买行为分析装置的数据库关系图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～9，一种基于全方位视觉的消费者购买行为分析装置，包括全方位摄像装置、收款机和用于对全方位摄像装置所拍摄的全景图像以及相关输入信息对消费者购买行为进行分析处理的微处理器；所述全方位摄像装置，放置在店铺内中间的上方，使得全方位摄像装置能捕获到整个店铺内的视频图像；所述的全方位摄像装置通过USB接口与所述的微处理器进行连接，所述的收款机与所述的微处理器通过有线网络进行连接，所述的微处理器包括硬件和软件两个部分，硬件部分采用一般市售的PC机；

软件部分包括：视频图像读取单元，用于通过USB接口读取全方位摄像装置所拍摄的全景图像，并将读取的全景图像提交给视频图像展开单元和视频图像存储单元；

视频图像展开单元，用于将全景图像进行柱状展开，展开后的全景柱状图像提交给前景对象检测单元；

前景对象检测单元，用于检测在全景柱状展开图像中存在的前景人体对象，具体采用混合高斯模型来计算前景人体对象，然后在柱状展开图像上用矩形框框住前景人体对象，并将矩形框提交给多目标人体对象跟踪单元；

多目标人体对象跟踪单元，根据前景对象检测单元所提交的矩形框采用增强的Camshift算法对多目标人体对象进行跟踪；在多目标人体对象跟踪单元中对人体对象进行跟踪，这里的人体对象指的是消费者，当消费者进入店铺内时，所述的前景对象检测单元检测到有新的人体对象时就自动产生一个人体对象ID，启动一个新的线程通过多目标跟踪算法跟踪该人体对象，当该人体对象离开店铺时该线程结束，因此在店铺内有多少个人体对象就有多少个线程在始终跟踪着，通过人体对象的跟踪可以得到该人体对象在店铺内的行走轨迹以及在某一个货架附近停留的时间，得到空间位置与人体对象和人体对象停留时刻的关系表，如表1所示，表1中的空间位置编号是由所述的空间位置定制单元所定制，本发明中将整个店铺空间定制为128个网格，如图2所示，每个网格都有相应的空间位置编号，空间位置编号采用3位数据格式；当人体对象处在某一个空间时就会得到相应的空间位置编号；人体对象ID是由计算机以递增的方式自动产生的，每个进入店铺的消费者都会有一个惟一的人体对象ID；人体对象停留时刻是根据微处理器内的时钟以年月日小时分秒14位数据格式来设定的，即YYYYMMDDHHMMSS，每隔10秒钟产生一条记录，将该记录写入空间位置与人体对象和人体对象停留时刻的关系表中；

空间位置编号	人体对象ID	停留时刻
			001	345671	20110811132509
082	345673	20110811132511
			...	...	...

表1

视频图像存储单元，用于将所述的视频图像读取单元读取的全景图像保存在图像数据库中；

空间位置定制单元，用于在全景图像上定制店铺内的空间位置信息，如图5所示的货架的空间位置信息是通过用户界面在ODVS所拍摄的全景图像上定制的，用户根据如图2所示的全景图像上所显示的货架所处的空间位置通过用户界面将其与空间位置编号建立映射关系，比如根据所显示的全景图像上11号货架处在空间位置编号为001的区域内，货架编号采用2位数据格式，前面一位表示某一列货架，后面一位表示某一列货架的不同层，其中1表示某货架的最低层，这样货架编号为11的数据就表示1号货架的最低层；通过这样的约定，商店的管理者通过用户界面将该信息写入商品位置与空间的关系数据库中的货架与空间位置的映射表中，货架与空间位置的映射表的格式如表2所示；

空间位置编号	货架编号
		001	11
002	12
		...	...

表2

商品摆放位置输入单元，用于输入店铺内的商品所摆放的货架的相关信息，在便利店中商品的摆放位置以及货架上摆放的商品经常要发生变化，需要建立货架与商品的动态关系表，通过人机界面动态的设定货架与商品的对应关系，货架与商品的对应关系表如表3所示，表中商品编号采用世界上统一的商品条形码编号；在变动商品摆放位置后要及时更改货架与商品的对应关系表中的内容；

货架编号	商品编号
		11	10000011111
12	12222111333
		...	...

表3

在设置了货架与商品的对应关系和货架与空间位置的映射表后，通过数据库的表相关运算可以进一步得到空间位置与商品的关系表，将计算所得到的空间位置与商品的关系表写入商品位置与空间的关系数据库；

商品属性输入单元，用于输入店铺内所有销售商品的属性数据，包括商品名、价格、促销价格、形态、品牌、专家推荐、独有的产品等属性信息，输入的商品属性数据保存在商品属性数据库中，商品属性表如表4所示；

商品编号	商品名	价格	促销价格	厂家	...
						10000011111	数码相机	2100.00	1800.00	canon	...
12222111333	2G存储卡	120.00		Lexar	...
						...	...	...	...	...	...

表4

消费者在收银台结算时，每一笔交易都保存在收银台收款机的收款数据库中，每一笔交易中至少包括交易ID、商品ID、商品名、数量、价格、结算方式、收款时间等信息，收款数据表的格式如表5所示；

交易ID	商品编号	销售价	数量	...	收款时间	付款方式	收款人
								3245891	10000011111	1800.00	1	...	20110811132535	信用卡	李向阳
3245891	12222111333	120.00	2	...	20110811132535	信用卡	李向阳
								...	...	...	...	...	...	...	...

表5

消费者购买行为分析单元，主要用于分析消费者冲动性购买行为，通过所述的商品属性数据库、所述的商品位置与空间的关系数据库、所述的收银台收款数据库和空间位置与人体对象的关系表中的等相关数据进行分析，从而推断出以下几个消费者重要情景，即(1)当消费者长时间凝视某商品时；(2)当消费者从注意的商品上抬起头来时；(3)当消费者突然止步盯看某一商品时；(4)当消费者用手触摸商品时；(5)当消费者在货架上寻找商品时；这些情景从空间上来分析，消费者与商品是近距离或者是零距离的；从时间上来分析，消费者会有一个较长时间接触商品的过程；从上述数据中可以进一步分析获得构成消费者冲动性购买主要形成因素，即卖场所提供的刺激与购物环境、购买时的情景因素及消费者的冲动性特质这三个维度中的一些重要影响因素，如图1中的斜体部分所示；比如要调查产品摆放的位置和卖场的布置与消费者冲动性购买行为时，就可以通过商品位置与空间的关系数据库、商品属性数据库、收款数据库以及人体所处空间位置及停留时间检测结果等信息建立关系数据库，然后进行分析，利用关系数据库可以获得购物环境与消费者购买行为的相关度、某一商品形式与消费者购买行为的相关度、某一时间段与消费者购买行为的相关度、某一种促销广告与消费者购买行为的相关度、消费者在店铺内的停留时间与消费者购买行为的相关度等商业调查信息，如图9所示，这些调查信息写入消费者购买行为分析结果数据库中，然后将结果显示在人机界面上，以便进一步改善购物环境，为消费者提供全方位的优质服务；

在上述的信息中，商品和货架的空间位置是相对固定的，可以通过货架与空间位置的映射表和货架与商品的对应关系表得到，本发明中将商品和货架作为静态对象；店铺内的人体对象数目以及人体对象的空间位置是不断变化的，本发明中将人体对象作为动态对象，动态对象的空间和时间信息需要由所述的多目标人体对象跟踪单元来确定；而动态对象的购买行为又需要将动态对象的空间和时间信息结合静态对象的空间位置、属性等信息进行综合分析，这样就可以通过空间位置与人体对象的关系表和空间位置与商品的关系表得到人体对象与商品的关系表，在人体对象与商品的关系表中包含着商品属性、人体对象ID、人体对象ID停留时刻和空间位置等信息，通过该信息的分析基本上能构建出消费者购买时的情景，因此，动态对象的空间和时间信息的准确获取是本发明中关键；

所述的多目标人体对象跟踪单元，主要用于获得店铺内的人体对象数目以及人体对象的空间位置和在某一个空间位置上停留时间，其跟踪算法流程图如图7所示；其中核心的算法是基于Bayesian概率法则的改进Camshift跟踪算法，关于Camshift跟踪算法的实现方法参考文献Shi Y，Eberhart R C.A Modified ParticleSwarm Optimizer[c]，Proceedings of the IEEE Conference on EvolutionaryComputation，Anchorage，AK，May 4-9，1998：69～73；由于Camshift跟踪算法是一种搜索局部峰值的基于颜色概率密度的跟踪算法，因此无需在整幅全景图像上作全局搜索，这里引入感兴趣区域，简单表示为ROI，目标人体对象跟踪在目标可能出现的区域-ROI内完成，这样既可以减少计算量，又可以消除ROI外部的干扰；

改进的Camshifi算法如下：

Step1：以所述前景对象检测单元中检测出的人体对象目标为基础，设定目标跟踪的ROI；

Step2：计算ROI内的目标颜色概率密度分布；

Step3：迭代Mean Shift直到收敛，记录其位置

和零阶矩

Step4：对下一帧图像，以为搜索窗中心位置，并根据

的函数确定搜索窗大小，根据人体对象目标外接矩形确定ROI大小，转Step2；

在Camshift算法的Step2中，本发明采用Bayesian概率法则获得目标在图像中的颜色概率密度分布，计算方法如公式(1)所示：

$P(C/O)=\frac{P(C/O)P\left(O\right)}{P(C/O)P\left(O\right)+P(C/B)P\left(B\right)}---\left(1\right)$

式中：C为像素点在HSV空间的颜色值，即像素点的(H，S)值；O为目标，B为背景，P(O)+P(B)＝1，P(O)为目标对象面积和除目标对象外的背景面积的比值；P(C/O)和P(C/B)可分别从目标对象和背景的直方图获得；按公式(1)获得目标对象在图像中的颜色概率密度分布，再按公式(2)把概率分布区间从[0，max(P(O/C))]归一化到[0，255]区间中，从而获得最终进行Mean Shift迭代的颜色概率密度分布图像P′(O/C)；

$P^{\′}(O/C)=\min [\frac{255}{\max \left(P(O/C)\right)}P(O/C),255]---\left(2\right)$

式中，P′(O/C)为归一化的目标对象颜色概率密度分布，P(O/C)为目标对象颜色概率密度分布；

在改进Camshift算法的Step4中，本发明根据上一帧跟踪结果的零阶矩

的函数确定新的搜索窗的大小s，以适应目标在视频图像中的尺度变化，如公式(3)所示；

$s=2\×\sqrt{M_{00}^{\left(s\right)}/K}---\left(3\right)$

式中，s为搜索窗的大小，K为常数，本发明中选择K∈[230，240]；

根据人体对象目标运动的空间连续性，在人体对象目标实时跟踪中，人体对象目标在下一帧的位置位于前一帧中同一人体对象目标位置附近，因此定义适当位置和适当大小的ROI，人体对象目标跟踪在ROI内完成；该ROI必须包含完整的人体对象目标，以避免人体对象目标的不完整甚至丢失；同时避免ROI过大，以避免ROI内包含过多背景形成干扰；同时降低计算量，包括计算颜色概率密度分布的计算量和Mean Shift迭代次数；

本发明采用Kalman滤波器来估计人体对象运动目标在当前帧的位置，作为ROI的位置；Kalman滤波器经过有限几次滤波后，可以较稳定的预测人体对象目标在当前帧的大致位置，以此预测值作为ROI的位置，ROI的大小设定为上一帧人体对象目标外接矩形的1.5倍；本发明中采用对全景图像进行透视投影平面展开图区域作为ROI，在获得了ROI的位置以及ROI的大小等数据后就可以得到以人体对象目标为中心的透视投影平面图；

为了对透视投影平面图有一个较好的理解，首先对ODVS的工作原理作一个简单介绍；ODVS的工作原理是：进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)；

图3中的2-双曲线面镜，12-入射光线，13-双曲面镜的实焦点Om(0，0，c)，14-双曲面镜的虚焦点即摄像单元6的中心Oc(0，0，-c)，15-反射光线，16-成像平面，17-实物图像的空间坐标A(X，Y，Z)，18-入射到双曲面镜面上的图像的空间坐标，19-反射在成像平面上的点P(x，y)；

图3中所示的双曲面镜构成的光学系统可以由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)＝-1    当Z＞0时    (4)

$c=\sqrt{a^2+b^2}---\left(5\right)$

φ＝tan^-1(Y/X)    (6)

(7)α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(8\right)$

式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，Φ表示入射光线在XY平面上的夹角，即方位角，α表示入射光线在XZ平面上的夹角，这里将α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折入射光线与Z轴的夹角；

图4是ODVS的结构图，ODVS包括双曲面镜面2、上盖1、透明外罩3、下固定座4、摄像单元固定座5、摄像单元6、连接单元7、上罩8，所述的双曲面镜面2固定在所述的上盖1上，所述的连接单元7将所述的下固定座4和透明外罩3连接成一体，所述的透明外罩3与所述的上盖1以及所述的上罩8通过螺钉固定在一起，所述的摄像单元6用螺钉固定在所述的摄像单元固定座5上，所述的摄像单元6固定座5用螺钉固定在所述的下固定座4上，所述的摄像单元6的输出端口是USB接口；

对图8所示的全景图像透视展开原理说明，这里从双曲面的实焦点Om到透视投影坐标原点G引一条距离为D的直线Om-G，与这条Om-G相垂直的平面作为透视投影平面，从点A(X，Y，Z)向着焦点Om的光线在透视投影平面上有一个交点P(X，Y，Z)，如果将该交点P(X，Y，Z)代入到公式(7)、(8)中就能容易地求的在成像平面上的P(x，y)点，因此可以通过从上述关系求得在透视投影平面上的各个点；

$x=\frac{\mathrm{Xf}(b^2-c^2)}{(b^2+c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2}}---\left(9\right)$

$y=\frac{\mathrm{Yf}(b^2-c^2)}{(b^2+c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2}}---\left(10\right)$

如图5所示，双曲面镜的光轴为Z轴，摄像单元向着Z轴的正方向设置，成像平面是摄像单元的输入图像，我们将双曲面镜的光轴与成像平面的交点g作为成像平面的原点，其坐标系为x、y，x轴、y轴分别与摄像单元中的感光芯片的长短边相一致，因此Om-XYZ坐标系的X轴与成像平面坐标系的x y平面平行；

透视投影平面是与Om-G连接线相垂直的平面，将G点作为原点的二元平面坐标系i，j，其中i轴是与XY平面平行的横轴，j轴是与i轴和Om-G轴直角相交的纵轴，将从透视投影平面到双曲面的焦点Om的距离作为D，定义透视投影平面的横幅为W，纵幅为H；由于i轴是与XY平面平行，又是与Z轴垂直的，因此所得到的透视投影平面是以G点为坐标中心与XY平面(水平面)上旋转一个角度，该角度就是Om-G连接线与Z轴的夹角；

这里我们将Om-G作为变换中心轴，点G作为变换中心点，用β(入射光线在XY平面上的夹角-方位角)、γ(入射光线与双曲面焦点的水平面的夹角)以及距离D(透视投影平面到双曲面的焦点O m的距离)来表示变换中心轴，β角度在0°～360°范围内，可以用公式(11)来表示：

β＝tan^-1(Y/X)＝tan^-1(y/x)    (11)

这里β角度是入射光线在XY平面上投影的夹角，以Z轴为原点(极坐标系的原点)逆时针方向，在0°～360°范围内(这是全方位视觉的水平视场范围)；γ角度是入射光线与双曲面焦点的水平面的夹角，由式(8)所示，该角度与空间坐标与双曲面焦点位置有关，如果在双曲面焦点上作一个水平面的话，那么就是给水平面与Om-G轴的夹角，这里将空间坐标Z点在双曲面焦点以上的作为[+]，称为仰角，Z点在双曲面焦点以下的作为[-]，称为俯角；γ角度范围在-90°～+90°之间，根据不同的镜面设计就会有不同的γ角度范围(这是全方位视觉的垂直视场范围)；

距离D根据透视投影平面与双曲面焦点的直线距离来确定，一般来说，距离D越长景物越小，距离D越短景物越大；透视投影平面的横幅W、纵幅H可以由需要来确定，在确定横幅W、纵幅H大小时首先要确定显示窗的横纵比，由于在计算机中是用像素来表示横幅W、纵幅H的大小，因此要确定横幅W、纵幅H的像素值；本发明中将透视投影平面的横幅W、纵幅H设置成与ROI的大小一致，ROI位置的中心设置为透视投影平面的G点；

通过透视投影平面的坐标点P(i，j)求空间三坐标中的A(X，Y，Z)，这样就能得到投影平面与空间三坐标的转换关系，转换关系式用公式(12)来表示：

X＝R*cosβ-i*sinβ

Y＝R*sinβ+i*cosβ    (12)

Z＝D*sinγ-j*cosγ

R＝D*cosγ+j*sinγ

式中：D为透视投影平面到双曲面的焦点Om的距离，β角度是入射光线在XY平面上投影的夹角，γ角度是入射光线与双曲面焦点的水平面的夹角，i轴是与XY平面平行的横轴，j轴是与i轴和Om-G轴直角相交的纵轴，i轴与j轴的方向由图8所示。

Claims (10)

1.一种基于全方位视觉的消费者购买行为分析装置，其特征在于：所述基于全方位视觉的消费者购买行为分析装置包括全方位摄像装置、收款机和用于对全方位摄像装置所拍摄的全景图像以及相关输入信息对消费者购买行为进行分析处理的微处理器；所述的全方位摄像装置放置在店铺内中间的上方，所述全方位摄像装置用于拍摄整个店铺内的全景视频图像；所述的全方位摄像装置与所述的微处理器连接，所述的收款机与所述的微处理器通信连接，所述的微处理器包括：

视频图像读取单元，用于通过USB接口读取全方位摄像装置所拍摄的全景图像，并将读取的全景图像提交给视频图像展开单元和视频图像存储单元；

视频图像展开单元，用于将全景图像进行柱状展开，展开后的全景柱状图像提交给前景对象检测单元；

前景对象检测单元，用于检测在全景柱状展开图像中存在的前景人体对象，具体采用混合高斯模型来计算前景人体对象，然后在柱状展开图像上用矩形框框住前景人体对象，并将矩形框提交给多目标人体对象跟踪单元；

多目标人体对象跟踪单元，根据前景对象检测单元所提交的矩形框采用增强的Camshift算法对多目标人体对象进行跟踪；通过人体对象的跟踪得到该人体对象在店铺内的行走轨迹以及在某一个货架附近停留的时间，从而得到空间位置与人体对象和人体对象停留时刻的关系表；

视频图像存储单元，用于将所述的视频图像读取单元读取的全景图像保存在图像数据库中；

空间位置定制单元，用于在全景图像上定制店铺内的空间位置信息；

商品摆放位置输入单元，用于输入店铺内的商品所摆放的货架的相关信息；

商品属性输入单元，用于输入店铺内所有销售商品的属性数据，包括商品名、价格、促销价格、形态、品牌、专家推荐、独有的产品属性信息；

消费者购买行为分析单元，用于分析消费者冲动性购买行为，通过所述的商品属性数据库、所述的商品位置与空间的关系数据库、所述的收银台收款数据库和空间位置与人体对象的关系表中的相关数据进行分析。

2.如权利要求1所述的基于全方位视觉的消费者购买行为分析装置，其特征在于：所述的多目标人体对象跟踪单元，采用的跟踪算法为基于Bayesian概率法则的改进Camshift跟踪算法，改进的Camshifi算法处理过程如下： 

Step1：以所述前景对象检测单元中检测出的人体对象目标为基础，设定目标跟踪的ROI；

Step2：计算ROI内的目标颜色概率密度分布；

Step3：迭代Mean Shift直到收敛，记录其位置 

和零阶矩 

Step4：对下一帧图像，以 

为搜索窗中心位置，并根据 

的函数确定搜索窗大小，根据人体对象目标外接矩形确定ROI大小，转Step2；

在Camshift算法的Step2中，本发明采用Bayesian概率法则获得目标在图像中的颜色概率密度分布，计算方法如公式(1)所示：

式中：C为像素点在HSV空间的颜色值，即像素点的(H，S)值；O为目标，B为背景，P(O)+P(B)＝1，P(O)为目标对象面积和除目标对象外的背景面积的比值；P(C/O)和P(C/B)可分别从目标对象和背景的直方图获得；按公式(1)获得目标对象在图像中的颜色概率密度分布，再按公式(2)把概率分布区间从[0，max(P(O/C))]归一化到[0，255]区间中，从而获得最终进行Mean Shift迭代的颜色概率密度分布图像P′(O/C)；

式中，P′(O/C)为归一化的目标对象颜色概率密度分布，P(O/C)为目标对象颜色概率密度分布；

在改进Camshift算法的Step 4中，根据上一帧跟踪结果的零阶矩 

的函数确定新的搜索窗的大小s，以适应目标在视频图像中的尺度变化，如公式(3)所示；

式中，s为搜索窗的大小，K为常数，本发明中选择K∈[230，240]；

根据人体对象目标运动的空间连续性，在人体对象目标实时跟踪中，人体对象目标在下一帧的位置位于前一帧中同一人体对象目标位置附近，定义适当位置 和适当大小的ROI，人体对象目标跟踪在ROI内完成；所述的ROI包含完整的人体对象目标；为了避免ROI过大，以避免ROI内包含过多背景形成干扰；同时降低计算量，包括计算颜色概率密度分布的计算量和Mean Shift迭代次数；

采用Kalman滤波器来估计人体对象运动目标在当前帧的位置，作为ROI的位置；Kalman滤波器经过滤波后，预测人体对象目标在当前帧的位置，以此预测值作为ROI的位置，ROI的大小设定为上一帧人体对象目标外接矩形的1.5倍；采用对全景图像进行透视投影平面展开图区域作为ROI，在获得了ROI的位置以及ROI的大小等数据后就可以得到以人体对象目标为中心的透视投影平面图，每一个人体对象目标都有一个相对应的透视投影平面图，人体对象目标的中心位于透视投影平面图的中心区域。

3.如权利要求1或2所述的基于全方位视觉的消费者购买行为分析装置，其特征在于：所述的全方位摄像装置采用固定单视点全方位摄像装置，进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)；

双曲面镜构成的光学系统由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)＝-1    当Z＞0时    (4)

φ＝tan^-1(Y/X)    (6)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ    (7)

式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，Φ表示入射光线在XY平面上的夹角，即方位角，α表示入射光线在XZ平面上的夹角，这里将α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折入射光线与Z轴的夹角；

所述的全方位摄像装置包括双曲面镜面、上盖、透明外罩、下固定座、摄像单元固定座、摄像单元、连接单元和上罩，所述的双曲面镜面固定在所述的上盖上，所述的连接单元将所述的下固定座和透明外罩连接成一体，所述的透明外罩 与所述的上盖以及所述的上罩固定在一起，所述的摄像单元用螺钉固定在所述的摄像单元固定座上，所述的摄像单元固定座固定在所述的下固定座上，所述的摄像单元的输出端口是USB接口。

4.如权利要求3所述的基于全方位视觉的消费者购买行为分析装置，其特征在于：在所述的视频图像展开单元中，采用透视展开算法实现如下：

首先，建立全景图像上的任意一点p(x，y)与空间坐标系中一点P(X，Y，Z)的对应关系；从双曲面的实焦点Om到透视投影坐标原点G引一条距离为D的直线Om-G，与这条Om-G相垂直的平面作为透视投影平面，从点A(X，Y，Z)向着焦点Om的光线在透视投影平面上有一个交点P(X，Y，Z)，如果将该交点P(X，Y，Z)代入到公式(7)、(8)中就能容易地求的在成像平面上的P(x，y)点，因此可以通过从上述关系求得在透视投影平面上的各个点；

式中，b，c是双曲面镜的长轴和焦距，f为摄像机的焦距；

双曲面镜的光轴为Z轴，摄像单元向着Z轴的正方向设置，成像平面是摄像单元的输入图像，我们将双曲面镜的光轴与成像平面的交点g作为成像平面的原点，其坐标系为x、y，x轴、y轴分别与摄像单元中的感光芯片的长短边相一致，因此Om-XYZ坐标系的X轴与成像平面坐标系的xy平面平行；

透视投影平面是与Om-G连接线相垂直的平面，将G点作为原点的二元平面坐标系i，j，其中i轴是与XY平面平行的横轴，j轴是与i轴和Om-G轴直角相交的纵轴，将从透视投影平面到双曲面的焦点Om的距离作为D，定义透视投影平面的横幅为W，纵幅为H；由于i轴是与XY平面平行，又是与Z轴垂直的，因此所得到的透视投影平面是以G点为坐标中心与XY平面(水平面)上旋转一个角度，该角度就是Om-G连接线与Z轴的夹角；

这里我们将Om-G作为变换中心轴，点G作为变换中心点，用β(入射光线在XY平面上的夹角-方位角)、γ(入射光线与双曲面焦点的水平面的夹角)以及距离D(透视投影平面到双曲面的焦点Om的距离)来表示变换中心轴，β 角度在0°～360°范围内，可以用公式(11)来表示：

β＝tan^-1(Y/X)＝tan^-1(y/x)    (11)

所述β角度是入射光线在XY平面上投影的夹角，以Z轴为原点逆时针方向，在0°～360°范围内；γ角度是入射光线与双曲面焦点的水平面的夹角，这里将空间坐标Z点在双曲面焦点以上的作为[+]，称为仰角，Z点在双曲面焦点以下的作为[-]，称为俯角；γ角度范围在-90°～+90°之间；

距离D根据透视投影平面与双曲面焦点的直线距离来确定，一般来说，距离D越长景物越小，距离D越短景物越大；透视投影平面的横幅W、纵幅H可以由需要来确定，在确定横幅W、纵幅H大小时首先要确定显示窗的横纵比，由于在计算机视觉中是用像素来表示横幅W、纵幅H的大小，因此要确定横幅W、纵幅H的像素值；将透视投影平面的横幅W、纵幅H设置成与ROI的大小一致，ROI位置的中心设置为透视投影平面的G点；

其次，通过透视投影平面的坐标点P(i，j)求空间三坐标中的A(X，Y，Z)，这样就能得到投影平面与空间三坐标的转换关系，转换关系式用公式(12)来表示：

X＝R*cosβ-i*sinβ

Y＝R*sinβ+i*cosβ    (12)

Z＝D*sinγ-j*cosγ

R＝D*cosγ+j*sinγ

式中：D为透视投影平面到双曲面的焦点Om的距离，β角度是入射光线在XY平面上投影的夹角，γ角度是入射光线与双曲面焦点的水平面的夹角，i轴是与XY平面平行的横轴，j轴是与i轴和Om-G轴直角相交的纵轴。

5.如权利要求1或2所述的基于全方位视觉的消费者购买行为分析装置，其特征在于：所述的空间位置与人体对象和人体对象停留时刻的关系表如表1所示，

  空间位置编号   人体对象ID   停留时刻   001   345671   20110811132509   082   345673   20110811132511   ...   ...   ...

表1

表1中，空间位置编号是由所述的空间位置定制单元所定制，这里将整个店铺空间定制为128个网格，每个网格都有相应的空间位置编号，空间位置编号采用3 位数据格式；当人体对象处在某一个空间时就会得到相应的空间位置编号；人体对象ID是由计算机以递增的方式自动产生的，每个进入店铺的消费者都会有一个惟一的人体对象ID；人体对象停留时刻是根据微处理器内的时钟以年月日小时分秒14位数据格式来设定的，即YYYYMMDDHHMMSS，每隔10秒钟产生一条记录，并写入空间位置与人体对象和人体对象停留时刻的关系表中。

6.如权利要求1所述的基于全方位视觉的消费者购买行为分析装置，其特征在于：所述的空间位置定制单元，货架的空间位置信息是通过用户界面在所述的全方位摄像装置所拍摄的全景图像上定制的，用户根据全景图像上所显示的货架所处的空间位置通过用户界面将其与空间位置编号建立映射关系，货架编号采用2位数据格式，前面一位表示某一列货架，后面一位表示某一列货架的不同层，其中1表示某货架的最低层；通过这样的约定，商店的管理者通过用户界面将该信息写入商品位置与空间的关系数据库中的货架与空间位置的映射表中，货架与空间位置的映射表的格式如表2所示；

  空间位置编号   货架编号   001   11   002   12   ...   ...

表2。

7.如权利要求1所述的基于全方位视觉的消费者购买行为分析装置，其特征在于：所述的商品摆放位置输入单元，建立货架与商品的动态关系表，通过人机界面动态的设定货架与商品的对应关系，货架与商品的对应关系表如表3所示，表中商品编号采用世界上统一的商品条形码编号；在变动商品摆放位置后更改货架与商品的对应关系表中的内容；

  货架编号   商品编号   11   10000011111   12   12222111333   ...   ...

表3。

8.如权利要求1所述的基于全方位视觉的消费者购买行为分析装置，其特征在于：所述的商品属性输入单元，输入的商品属性数据保存在商品属性数据库中，商品属性表如表4所示； 

  商品编号   商品名   价格   促销价格   厂家 ...   10000011111   数码相机   2100.00   1800.00   canon ...   12222111333   2G存储卡   120.00     Lexar ...   ...   ...   ...   ...   ... ...

表4。

9.如权利要求1所述的基于全方位视觉的消费者购买行为分析装置，其特征在于：收银台收款数据库中的每条记录是通过收银台收款机的收款时产生的数据，每一笔交易中至少包括交易ID、商品编号、商品名、数量、价格、结算方式、收款时间、收款人信息，收款数据表的格式如表5所示；

 交易ID   商品编号   销售价  数量 ...  收款时间   付款方式   收款人  3245891   10000011111   1800.00  1 ...  20110811132535   信用卡   李向阳  3245891   12222111333   120.00  2 ...  20110811132535   信用卡   李向阳  ...   ...   ...  ... ...  ...   ...   ...

表5。

10.如权利要求1所述的基于全方位视觉的消费者购买行为分析装置，其特征在于：所述的消费者购买行为分析单元，利用关系数据库获得购物环境与消费者购买行为的相关度、某一商品形式与消费者购买行为的相关度、某一时间段与消费者购买行为的相关度、某一种促销广告与消费者购买行为的相关度、消费者在店铺内的停留时间与消费者购买行为的相关度商业调查信息，所述调查信息写入消费者购买行为分析结果数据库中，然后将结果显示在人机界面上。 

Images