CN112261302A - 一种多角度目标对象拍摄的方法、装置以及系统 - Google Patents

Abstract

本申请实施例提供一种多角度目标对象拍摄的方法、装置及系统，所述方法包括：从多帧图像的各帧图像中分离出至少一个目标对象，其中，所述多帧图像是由布置在所述滑动通道至少一侧的图像采集单元连续拍摄所述至少一个目标对象滚动通过所述滑动通道的视觉观测区得到的；确认所述至少一个目标对象中各目标对象的特征，并基于所述特征对所述至少一个目标对象中各目标对象进行编号，其中，所述编号用于区分被拍摄的不同的目标对象，所述特征包括所述至少一个目标对象中各目标对象是否属于首次进入所述图像采集单元的视觉观测区；将所述多帧图像中相同编号的目标对象进行拼接得到所述目标对象的多角度的图片集合。本申请的一些实施例方案简单易于实施。

Description

一种多角度目标对象拍摄的方法、装置以及系统

技术领域

本申请涉及全视角图像拍摄领域，具体而言本申请实施例涉及一种多角度目标对象拍摄的方法、装置以及系统。

背景技术

随着工业化的发展，许多企业需要通过检测球状结构产品的表面特征来评估产品的性能，但是目前对于这类产品的表面特征检测需要负载的机械操作的介入，成本较高。

例如，随着农业技术发展和人民生活品质的提高，水果作为一种重要的日常消费品也越来越注重品质的优选和提升，人们对优质水果的要求不但只是健康营养和美味，对其外观品相也提出了严格的要求。以苹果为例，色泽鲜艳红润没有瑕疵的苹果不但更能激起人们的食欲，也适合作为赠予他人增进社交效率的美观礼物，因此在市场上有更高的售价。但是目前国内农业产业领域在生产实践中能落地应用的新兴科技较少，对苹果色泽、外观进行分拣和品质区分的操作多数还由人工操作执行，效率较低并且不同的操作人员的主观判断依据难以达成一致。另外一方面，现在也有一些关于水果分选的自动化设备和视觉技术方案，但这些方法基本都只能观测水果果面的部分区域存在视觉死角和盲区，为处理盲区的问题通常也是用机械方式控制水果按照特定速度旋转一圈，而机械操作的介入成本高昂，硬件结构复杂，单套操作机构只能操作单个苹果，效率比人工手段并没有提高反而是降低。

发明内容

本申请实施例的目的在于提供一种多角度目标对象拍摄的方法、装置以及系统，采用本申请的一些实施例可以捕捉球形目标对象(例如，苹果)各个角度的图像，达到了现有技术方案以复杂机械结构才能达成的目标，实现了极低成本的替代实现方案。本申请一些实施例的技术方案效果稳定可靠，最大的优点在于部署简单，硬件需求仅有常规的相机和数据运算设备然后留出一块平滑坡道或传送带，极易在现有的农业分选流水线上进行升级，具有较强的实用落地价值。

第一方面，本申请的一些实施例提供一种多角度目标对象拍摄的方法，所述方法包括：从多帧图像的各帧图像中分离出至少一个目标对象，其中，所述多帧图像是由布置在滑动通道至少一侧的图像采集单元连续拍摄所述至少一个目标对象滚动通过所述滑动通道的视觉观测区得到的；确认所述至少一个目标对象中各目标对象的特征，并基于所述特征对所述至少一个目标对象中各目标对象进行编号，其中，所述编号用于区分被拍摄的不同的目标对象，所述特征包括所述至少一个目标对象中各目标对象是否属于首次进入所述图像采集单元的视觉观测区；将所述多帧图像中相同编号的目标对象进行拼接得到所述目标对象的多角度的图片集合。

本申请的一些实施例可以通过设置简单的滑动通道和软件处理算法既可以得到被拍摄物体的多角度的图片，以方便后续对被拍摄目标对象的品质检测。

在一些实施例中，所述从拍摄得到的多帧图像的各帧图像中分离出至少一个目标对象，包括：获取所述各帧图像对应的图片上的任一像素点的亮度值，其中，所述亮度值包括一个通道的通道值或者灰度值；根据设定的亮度阈值和所述亮度值对图片上的所有像素进行分割，获取所述至少一个目标对象。

本申请的一些实施例通过像素值来分割各帧图像中存在的被拍摄目标对象，即确定图像上的至少一个目标对象。

在一些实施例中，所述确认所述至少一个目标对象中各目标对象的特征，并基于所述特征对所述至少一个目标对象中各对象进行编号，包括：根据所述至少一个目标对象在其所在的各帧图像上的边界距离确认所述特征，并基于所述特征对所述至少一个目标对象中各对象进行编号。

本申请的一些实施例根据被裁剪的目标对象的边界距离来确定目标对象属于被图像采集单元首次拍摄的新对象还是再次被图像采集单元采集的旧对象，进而方便对这些目标对象进行编号区分，以最终得到同一个目标对象的在滑动通道上滚动通过时的多角度拍摄图像。

在一些实施例中，所述根据所述至少一个目标对象在其所在的各帧图像上的边界距离确认所述特征，并基于所述特征对所述至少一个目标对象中各对象进行编号包括：计算第一帧图像中第一目标对象距离图像边界的像素距离；获取所述第一目标对象在所述第一帧图像和所述第一帧图像的前一帧图像的移动距离，其中，所述移动距离是根据移动预测方法预先获取的；根据所述像素距离和移动距离确定所述第一目标对象为首次进入所述视觉观测区的目标对象，采用新生成的第一编号对所述第一目标对象进行编号。

本申请的一些实施例为首次被图像采集单元拍摄的目标对象分配一个新生成的不同于其他旧对象的唯一编号，以区别于与新对象所在帧的图像上被拍摄的原有的目标对象，进而可以通过编号来实现跨帧的目标对象的匹配，最终得到各目标对象的多角度拍摄图像。

在一些实施例中，所述根据所述至少一个目标对象在其所在的各帧图像上的边界距离确认所述特征，并基于所述特征对所述至少一个目标对象中各对象进行编号，包括：根据移动预测的方式对所述至少一个目标对象中的各目标对象在所述多帧图像中进行跨帧匹配并采用同样编号表征在不同帧中匹配的目标对象。

本申请的一些实施例通过预测移动距离(即根据预先预测得到的各目标对象在相邻两帧图像上移动的像素距离，由于图像采集单元的视觉感知区较短，连续拍摄多帧的时间非常短，因此可以认为目标对象匀速通过视觉感知区域，进而可以近似认为目标对象在各相邻帧的图像上移动的像素距离近似相等)来确定不同帧的相同目标对象，并为相同的对象分配相同的编号，以完成后续根据编号的拼接操作，得到同一目标对象的多角度图像。

在一些实施例中，所述根据移动预测的方式对所述至少一个目标对象中的各目标对象在所述多帧图像中进行跨帧匹配并采用同样标记表征在不同帧中匹配的目标对象，包括：计算第一帧图像中第一目标对象距离图像边界的像素距离；获取所述第一目标对象在所述第一帧图像和所述第一帧图像的前一帧图像的移动距离，其中，所述移动距离是根据移动预测方法获取的；根据所述像素距离和移动距离确定所述第一目标对象为再次进入所述视觉观测区的目标对象时，根据所述移动距离从所述前一帧图像中确定所述第一目标对象的编号。

本申请的一些实施例可以通过像素距离(即各目标对象距离其所在帧图像的边界的像素距离)和预测的移动距离的大小关系来确定某个目标对象属于再次被拍摄的目标对象，进而可以根据该目标对象在前一帧图像上被分配的编号来标记其在该帧的编号，方便后续完成同一个目标对象跨帧的匹配和拼接。

在一些实施例中，所述根据所述像素距离和移动距离确定所述第一目标对象为再次进入所述视觉观测区的目标对象时，根据所述移动距离从所述前一帧图像中确定所述第一目标对象并确定所述第一目标对象的编号，包括：从所述前一帧图像中获取距离所述移动距离设定范围内的目标对象作为所述第一目标对象。

本申请的一些实施例通过将前一帧图像上与确定的移动距离相距某一范围内的区域设置为查找同一目标对象的范围，这是由于预先估计的移动距离可能存在一定误差。例如，由于滑动通道具有一定倾斜角度，因此目标对象通过视觉感知区时虽然时间非常短也不属于严格意义的匀速运动，所以基于匀速运动估计的相邻两帧的移动距离可以具有误差。另外目标对象表面的光滑程度的差异也可能导致目标对象通过视觉感知区域时的速度不同，进而导致采用预先标定方式获取的移动距离不精确。

在一些实施例中，所述移动距离是采用预先标定的方式获取的。

本申请的一些实施例可以预先通过一个与目标对象同形状的参考对象通过滑动通道，并统计参考对象通过滑动通道的时长以及图像采集单元拍摄的参考对象通过视觉感知区时的多帧图像的具体帧数来确定参考对象在相邻两帧的移动距离。需要说明的是，在参考对象通过滑动通道之前需要首先调整滑动通道的坡度以及图像采集单元的拍摄帧率，以使尽可能得到参考对象可以在视觉感知区通过时被全视角(即360度无死角)被图像采集单元拍摄。

在一些实施例中，所述确认所述至少一个目标对象中各目标对象的特征，并基于所述特征对所述至少一个目标对象中各目标对象进行编号之前，所述方法还包括：确认所述至少一个目标对象在所述图片上的对应的所有像素点均未与所述图像采集单元拍摄的图像的边界接触。

本申请的一些实施例通过判断目标对象是否被完整拍摄来删除由于拍摄不完整得到的目标对象的图片，以免影响后续对该目标对象性质的进一步判断。

第二方面，本申请的一些实施例提供一种多角度目标对象拍摄装置，所述多角度目标对象拍摄装置包括：裁剪模块，被配置为从多帧图像的各帧图像中分离出至少一个目标对象，其中，所述多帧图像是由布置在所述滑动通道至少一侧的图像采集单元连续拍摄所述至少一个目标对象滚动通过滑动通道的视觉观测区得到的；编号模块，被配置为确认所述至少一个目标对象中各目标对象的特征，并基于所述特征对所述至少一个目标对象中各目标对象进行编号，其中，所述编号用于区分被拍摄的不同的目标对象，所述特征包括所述至少一个目标对象中各目标对象是否属于首次进入所述图像采集单元的视觉观测区；拼接模块，将所述多帧图像中相同编号的目标对象进行拼接得到所述目标对象的多角度的图片集合。

第三方面，本申请的一些实施例提供一种多角度目标对象拍摄系统，所述系统包括：滑动通道，被配置为以设定角度倾斜布置，以使至少一个目标对象滚动通过；拍摄装置，被配置为布设于所述滑动通道两侧的上方，且所述拍摄装置与水平面呈一定角度布置以使所述拍摄装置可拍摄滚动通过所述滑动通道上的视觉观测区的所述至少一个目标对象；处理单元，被配置为从多帧图像的各帧图像中分离出至少一个目标对象，确认所述至少一个目标对象中各目标对象的特征，并基于所述特征对所述至少一个目标对象中各目标对象进行编号，将所述多帧图像中相同编号的目标对象进行拼接得到所述目的对象的多角度图片集合，其中，所述编号用于区分被拍摄的不同目标对象，所述特征包括所述至少一个目标对象中各目标对象是否属于首次进入所述拍摄装置的视觉观测区。

本申请的一些实施例通过简易的硬件布设(例如，滑动通道以及拍摄装置)以及相应的软件(即处理单元实现的功能)来获取多角度甚至是全视角的目标对象的拍摄图像集合，可以提升后续对目标对象性质和特征的分析。

在一些实施例中，所述拍摄装置包括布设于所述滑动通道两侧的两架相机。

本申请的一些实施例通过布设位于滑动通道两侧的相机来获取全视角的目标对象的图像。

在一些实施例中，通过标定锁定所述滑动通道的倾斜角度和所述拍摄装置的拍摄帧率，以使所述拍摄装置以所述拍摄帧率可拍摄从所述滑动通道上通过的所述至少一个目标对象的全视角图像。

本申请的实施例为了获取全视角的目标对象的拍摄图像需要预先调整滑动通道的坡度和拍摄装置(即图像采集单元)的拍着帧率之间的最佳对应关系，并锁定，以便后续对获取各目标对象的全视角图像。

在一些实施例中，在所述拍摄装置以锁定拍摄帧率抓拍的连续帧中逐帧计算每一帧间隔下参考对象的移动像素距离。

本申请的一些实施例在锁定了拍摄装置的拍摄帧率和滑动通道的坡度后，可以利用两者并通过参考对象滚动通过滑动通道的观测区来预先获取相邻两帧图像上目标对象的移动距离(例如，移动像素距离)，进而完成目标对象在各帧的位置估计(例如，查找与当前帧的第二目标对象的属于同一目标对象时，可以从当前帧的前一帧上距离第二目标对象当前位置为移动距离位置处的对象或者距离移动距离在某一误差范围内的对象识别为与第二目标对象属于同一对象)，完成同一目标对象的跨帧匹配。这是由于参考对象与目标对象的行踪相似因此可以采用预先获取的参考对象的各帧的移动像素距离对应为目标对象在各帧的移动距离。

第四方面，本申请的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现上述第一方面所述的方法。

第五方面，本申请的一些实施例还提供一种信息处理设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时可实现上述第一方面所述的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的多角度目标对象拍摄系统的组成示意图；

图2为本申请实施例的滑动通道两侧布置的两个拍摄单元的夹角示意图；

图3为本申请实施例提供的标定过程中参考对象在滑动通道上的滚动过程示意图；

图4为本申请实施例提供的多角度目标对象拍摄的方法的流程图；

图5为本申请实施例提供的从一帧图像上分类两个目标对象的示意图；

图6为本申请实施例提供的又一从一帧图像上分类两个目标对象的示意图；

图7为本申请实施例提供的获取苹果多角度拍摄图像的方法流程图；

图8为本申请实施例连续拍摄的连续拍摄的四帧图像中第一帧图像的示意图；

图9为本申请实施例连续拍摄的四帧图像中的第二帧图像的示意图；

图10为本申请实施例连续拍摄的四帧图像中的第三帧图像的示意图；

图11为本申请实施例连续拍摄的四帧图像中的第四帧图像的示意图；

图12为本申请实施例拼接得到的苹果的全视角拍摄图像集和；

图13为本申请实施例提供的多角度目标对象拍摄的装置的组成框图；

图14为本申请实施例提供的信息处理设备的组成框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

下面以苹果质量检测为例示例性说明相关技术的多角度抓拍系统及存在的缺陷。现有的苹果外观品质检测装置为了解决视觉盲区的问题有多种技术方案，已查阅到的方法包括但不限于：水果抓放机械手、旋转果托及筛选台、传动滚筒、360度视觉检测头、平面反射镜阵列等。这些技术方法的着力点为使用特制的硬件设备将苹果转动起来或者自身通过转动来拍摄苹果的每个面的图像，还有镜面反射的方法也类似于将相机转动起来。硬件设备的设计使用较为复杂，分类效率也得不到提高，视觉系统的作用主要在于提供客观数据的支持。因此，这些设备难以在水果生产实践中落地。本申请的发明人发现为了达到使用视觉技术计算出果品外观色泽的精确物理参数又达到高效的处理效率才能确保视觉分拣系统具备基本的落地价值，并且机械设备需要简单易维护才能循序渐进的提升智能技术对传统农业的改造升级。因此，本申请的发明人通过研究提出一些实施例，在这些实施例中可以采用简易传动机构(即滑动通道)和智能算法的软件技术(即对采集的多帧图像的处理方法，如下文图4)替代机械方法对苹果实现360度全方位无死角观测以达到精确、高效和低成本的农业智能化改造。

请参看图1，图1为本申请实施例提供的多角度目标对象拍摄系统的组成示意图。图1的系统包括用于容纳球形物体(或者接近球形的物体)滚动的滑动通道100，用于连续抓拍物体滚动通过滑动通道100上的视觉观测区的多帧图像的至少拍摄装置200(例如，两个相机)，其中，两个相机分别布置于滑动通道100的两侧，以及用于接收两个相机的拍摄图像并对拍摄的多帧图像进行处理的处理单元300(该处理单元的功能可以参考下文图4)。例如，处理单元300可以包括服务器等其它智能终端。

也就是说，本申请的一些实施例提供一种多角度目标对象拍摄系统，所述系统包括：滑动通道100，该滑动通道100被配置为以一定角度倾斜布置，以使至少一个目标对象滚动通过。拍摄装置200，该拍摄装置200被配置为布设于滑动通道100两侧的上方，且拍摄装置200与水平面呈一定角度布置以使拍摄装置200可拍摄滚动通过所述滑动通道100上的视觉观测区的所述至少一个目标对象；处理单元300，该处理单元300被配置为从多帧图像的各帧图像中分离出至少一个目标对象，确认所述至少一个目标对象中各目标对象的特征，并基于所述特征对所述至少一个目标对象中各目标对象进行编号，将所述多帧图像中相同编号的目标对象进行拼接得到所述目的对象的多角度图片集合，其中，所述编号用于区分被拍摄的不同目标对象，所述特征包括所述至少一个目标对象中各目标对象是否属于首次进入所述拍摄装置的视觉观测区。

为了获取滚动通过视觉感知区时目标对象的360度全角度的拍摄图像，作为一个示例，如图1所示，所述拍摄装置200包括布设于滑动通道100两侧的两架相机。这两架相机用于同时拍摄滚动通过图1的滑动通道100上标出的视觉观测区中的目标对象的图像，得到目标对象的360度全视角的图像。

需要说明的是，布设于滑动通道两侧相机的视轴夹角(即图2所示的角度α)大于90度以确保第一相机的视野盲区(假设目标对象为苹果，则可以使得第一相机对于该相机的苹果背面)被对侧第二相机充分覆盖补足。图1提供的是本申请一些实施例的架设在滑动通道两侧的两架图像采集单元的架设方式的俯视图，图2本申请一些实施例的架设在滑动通道两侧的两架图像采集单元的架设方式的侧视图(视线轴与滑道平行)。

为了使得目标对象滚动通过拍摄装置200的视觉观测区域时，拍摄装置200可以拍摄目标对象的360度全视角的图像，本申请的一些实施例的在采用图4的方法对采集图像处理之前需要先对滑动通道和拍摄装置(例如相机)进行标定操作。作为一个示例，下面示例性介绍本申请的一些实施例的标定操作流程。

步骤1，检查硬件环境，确保相机视场角FOV(Field of View)中心正对滑动通道100，滑动通道100的坡度可以设置在15°至30°之间。

步骤2，检查软件环境，确保相机的曝光、白平衡、增益等参数配置正确，相机的帧率配置到至少能确保目标对象(例如，苹果)滚过视觉观测区的过程中会被抓拍到10次以上。

步骤3，准备一个亮(白色或黄色)色标定球(即参考对象)，在球面上打上自定义标记用于记录各角度扇区编号。

步骤4，开启系统工作状态后(即打开相机以及处理单元300开始运行)让标定球模拟目标对象滚过通过滑动通道100，拍摄装置200摄录的标定球如图3所示，其中，图3上下两排标定球队列分别是由左右两架相机拍摄得到的。

步骤5，根据标定球图像判定相机的拍摄帧率和滑动通道100的坡道的斜率是否匹配，判定方法为检查标定球上标记随着球面转动的情况。如图3中确定标定球面上标记的数字从1到6全部出现过，并且首张图片球顶标记数为4，到末帧标记数字4重新出现刚好转完一个360°周期，则为匹配成功。如匹配失败，如根据标定图判定标定球在拍摄全周期内未转满360°，则加大坡度及增加相机的拍摄帧率，反之则减小坡度并减缓相机的拍摄帧率，返回到步骤4重新测试。

步骤6，当相机的拍摄帧率和滑动通道100的坡度锁定以后，用单个标定球(即参考对象)或被拍摄的球形目标对象(例如，苹果)滚过通过滑动通道100(即传送坡道)，在相机抓拍的连续帧中逐帧计算每一帧间隔下被拍摄的参考对象或者球形目标对象(例如，苹果)预计的移动像素距离M，完成标定。此处获得移动像素距离M可用于判定相邻两帧图像上的目标对象是否属于相同的目标对象。

也就是说，本申请的一些实施例通过标定来锁定滑动通道100的倾斜角度和拍摄装置200的拍摄帧率，以使拍摄装置200以所述拍摄帧率可拍摄从所述滑动通道100上的视觉观测区通过的物体的全视角图像。同时在所述拍摄装置以锁定拍摄帧率抓拍的连续帧中逐帧计算每一帧间隔下所述物体预计的移动像素距离。

当完成上述的标定过程后，可以采用锁定的滑动通道100和拍摄装置的拍摄帧率来获取目标对象的多视角图像。下面结合图4示例性说明本申请的一种多角度目标对象拍摄的方法。

下面结合图4示例性阐述图1的处理单元300上执行的对拍摄得到多帧图像的处理过程，以获取被拍摄的至少一个目标对象的多角度拍摄图像。

如图4所示，本申请一些实施例提供了一种多角度目标对象拍摄的方法，所述方法包括：S101，从多帧图像的各帧图像中分离出至少一个目标对象，其中，所述多帧图像是由布置在所述滑动通道至少一侧的图像采集单元连续拍摄所述至少一个目标对象滚动通过所述滑动通道的视觉观测区得到的；S102，确认所述至少一个目标对象中各目标对象的特征，并基于所述特征对所述至少一个目标对象中各目标对象进行编号，其中，所述编号用于区分被拍摄的不同的目标对象，所述特征包括所述至少一个目标对象中各目标对象是否属于首次进入所述图像采集单元的视觉观测区；S103，将所述多帧图像中相同编号的目标对象进行拼接得到所述目标对象的多角度的图片集合。

为了从各帧图像中分离出目标对象，在本申请的一些实施例中，S101包括：获取所述各帧图像对应的图片上的任一像素点的亮度值，其中，所述亮度值包括一个通道的通道值或者灰度值；根据设定的亮度阈值和所述亮度值对图片上的所有像素进行分割，获取所述至少一个目标对象。例如，目标对象为苹果，则根据设定的亮度阈值Tb对拍摄的各帧图像进行背景切割，Tb可以是图像红色R通道的阈值也可以是将图片执行RGB转灰度图后的灰度阈值。切割方式为对图片上任一点像素值g(x,y)，x和y分别是横纵坐标位置，g为该位置上R通道值或灰度值，如果任意点的像素值g(x,y)<Tb,则像素值g(x,y)＝0，分离出两个目标对象的结果如图5和图6所示。图5中方框内对应的采用图像R通道的阈值从图像上分割得到的两个目标对象(由于附图不能有彩色因此此处仅展示黑白色的目标对象)，图6中两个白色的球体为根据执行RGB转灰度图后的灰度阈值来从背景中分离出的两个目标对象。需要说明的是，该示例选择红色通道是因为苹果本身颜色为红，对红色光谱反射较好，其他颜色水果也可根据其反射光谱应用对应三元色彩色通道，比如猕猴桃用Green通道，橙色果用Green和Red通道叠加。使用彩色通道还是灰度图可按照光源、被测目标和背景色等综合条件酌情考虑。

为了确定连续多帧上相同的目标对象，以拼接同一目标对象的各视角的图像，在本申请的一些实施例中，S102可以包括：根据所述至少一个目标对象在其所在的各帧图像上的边界距离(例如，边界像素距离)确认所述特征，并基于所述特征对所述至少一个目标对象中各对象进行编号。例如，遍历从如图5或图6分离得到的每个目标对象的所有像素，如果图1的第一相机的视觉观测区内目标对象向右方滚(坡度向右为低点)，记录x坐标最小值即为距边界最小像素距离(即边界像素距离)，如果视觉观测区内苹果向左方滚(坡度向左为低点)则记录x坐标最大值，边界像素距离(或称为边界距离)Dis＝width-1-x，其中width为相机拍摄的各帧图片的像素宽度。

为了确定某一帧图像上首次被拍摄的目标对象，在本申请的一些实施例中，S102可以包括：计算第一帧图像(即连续多帧图像中的任意一帧)中第一目标对象(即从各帧图像中分离的任意目标对象)距离图像边界的像素距离；获取所述第一目标对象在所述第一帧图像和所述第一帧图像的前一帧图像的移动距离，其中，所述移动距离(即上文通过标定获取的移动像素距离M)是根据移动预测方法预先获取的；根据所述像素距离和移动距离确定所述第一目标对象为首次进入所述视觉观测区的目标对象，采用新生成的第一编号对所述第一目标对象进行编号。例如，如果移动距离(或移动像素距离)大于第一目标对象距离图像边界的像素距离则确定第一目标对象为被相机首次拍摄新对象，也就是第一目标对象在当前帧上首次被相机拍摄。

为了确定多帧图像上同样的目标对象，在本申请的一些实施例中，S102还可以包括：根据移动预测的方式对所述至少一个目标对象中的各目标对象在所述多帧图像中进行跨帧匹配并采用同样编号表征在不同帧中匹配的目标对象。例如，计算第一帧图像(即连续多帧图像中的任意一帧)中第一目标对象(即分类得到至少一个目标对象中的任意一个目标对象)距离图像边界的像素距离；获取所述第一目标对象在所述第一帧图像和所述第一帧图像的前一帧图像的移动距离，其中，所述移动距离是根据所述移动预测方法获取的；根据所述像素距离和移动距离确定所述第一目标对象为再次进入视觉观测区(即相机的拍摄视野)的目标对象时，根据所述移动距离从所述前一帧图像中确定所述第一目标对象的编号。例如，如果移动距离小于第一目标对象距离图像边界的像素距离则确定第一目标对象为旧对象，也就是第一目标对象在当前帧上的前一帧或者前几帧中均被相机拍摄。

为了获取从当前帧中分离到的旧对象(即旧的目标对象)在前一帧中的位置和编号，在本申请的一些实施例中，S102还可以包括：从所述前一帧图像中获取距离所述移动距离设定范围内的目标对象作为所述第一目标对象。例如，所述移动距离是采用预先标定的方式获取的。由于拍摄单元拍摄通过通道的目标对象的拍摄时间间隔短，而且滑道和视觉系统观测窗口重合的长度不到1米，倾斜度也不高且有摩擦力作为重力抵消，因此在极短距离内被测目标对象做重力加速度运动的幅度极小，作为误差来说可以被系统所忽略。因此本申请的一些实施例标注得到的目标对象通过滑道的移动速度属于匀速。

为了将拍摄得到的目标对象的不完整的图像丢弃，以免后续影响对该目标对象的性能或者品质的进一步分析，在本申请的一些实施例中步骤S102之前，所述多角度目标对象拍摄的方法还包括：确认所述至少一个目标对象在所述图片上的对应的所有像素点均未与所述图像采集单元拍摄的图像的边界接触。

下面以苹果作为被拍摄的目标对象来示例性说明本申请一些实施例的多角度目标对象拍摄系统、方法以及装置。

例如，图1的球形物体为苹果，被测苹果的传输及观测通道即滑动通道100可以为一条通用规格的传送带，或者可以直接精简为一条坡道。传送通道采取15°至30°区间的倾斜角度使苹果从通道起始端进入后自行向末端翻滚移动。图1的拍摄装置200为两架相机，这两架相机分别架设在通道两侧高处以相对水平面45°角向下拍摄通道内的苹果。由于苹果在重力作用下移动并翻滚自转，在通过相机的视觉观测区(即相机的FOV)的过程中可以被抓拍多个角度果面图像，加上两侧相对水平朝下拍摄的双相机组设置可确保苹果在不借助任何多余机械装置的前提下把全方位的果面信息暴露给视觉系统。只需确保相机拉伸到足够覆盖苹果在通道内的视觉观测区做完一次360°以上的自转，而全角度无盲区的抓拍则只需相机控制软件计算出合适的拍摄帧率(即在上述标定过程中确定合适的拍摄帧率)确保每个苹果刚好每转33°左右就拍摄一张照片并在苹果经过的过程中连续拍摄10张。例如，假设当前坡度下苹果在滑道内滚完一整圈360度需要经过50CM-60CM的滑道距离，而相机当前的距离下FOV覆盖的滑道长度只有40CM，则需要把相机安装位置拉远一些，视野就会随距离扩大到至少覆盖60CM长度才够。

如图7所示，具体的全视角的苹果图像拍摄过程包括如下步骤：

步骤S101，采集苹果图像并裁剪图像上的目标对象。

首先，将滑动通道100设置为黑色或灰色等暗色以和苹果此类被测的目标对象区分，拍摄装置200采用的相机的视场角FOV覆盖观测滑动通道的某个区域，以设置关注区域ROI(Region of Interest)的方式将拍摄窗口限定在滑动通道上，减少光学干扰。

其次，系统软件控制相机持续采集滑动通道上视频观测区域内的图像，并传输给后端图像处理模块，即传输给处理单元300。

之后，处理单元300上设置的图像处理模块会根据设定的亮度阈值Tb对图像进行背景切割，Tb可以是图像R通道的阈值也可以是将图片执行RGB转灰度图后的灰度阈值。切割方式为对图片上任一点的像素值g(x,y)，x和y分别是横纵坐标位置，g为该位置上R通道值或灰度值，如果像素值g(x,y)<Tb，则g(x,y)＝0，分离出的结果如图5和图6所示。

然后，对切割后的图像执行形态学操作的开操作(先腐蚀再膨胀)消除掉离散噪点信息。

之后，从各帧图像上从左至右，从上至下对分离出的苹果进行计数，如图5和图6中所示根据背景分离出的像素可标记出图中共有两个苹果。

步骤S102，对裁剪得到的各帧图像上的至少一个苹果进行编号。

首先，苹果裁剪过程完毕，开始图片配对流程。也就是说，如果某帧图像中裁剪出至少一个苹果，则对苹果进行各帧之间的配对编号。

其次，从左至右顺序选定待处理苹果的各帧图片。具体地，从左至右指的是当一帧图片里裁剪出两个以上的苹果图像，则从左边开始按顺序处理，先对最左侧的苹果进行边界距离计算和编号等算法操作，再处理左侧靠中间一点的苹果，最后再处理最右侧的苹果。需要说明的是，本申请一些实施例拍摄的照片的排列方式不以空间顺序形式排列而是以时间顺序排列在处理设备的内存中，不拘泥于从左至右或是从右自左，只要时间序列不乱则可排列为任意空间顺序。例如，在本申请的一些实施例中可根据例图8、图9、图10以及图11的举例形式排列为从上至下。

然后，判定各帧图像上拍摄的苹果是否完整，如果苹果图片和相机原始图片边界接触则判定为苹果未完整拍摄，该帧上未被完整拍摄的评估的图片将被抛弃。边界接触判定逻辑细分为：遍历苹果每个像素，有像素Pixel(x,y)∈AppleX，AppleX为该苹果像素点集合，Pixel为属于集合的像素之一，x和y分别为该像素横纵轴图像坐标，如有像素坐标x＝0或y＝0，以及x＝width-1(width为原始图片宽度)或y＝height-1(height为原始图片高度)，则判定该苹果图片和图像边界接触，该果图片不完全。

之后，对于拍摄完成的苹果的各帧图像，根据相机架设方位计算苹果距离图像边界的像素距离。计算方法可以包括:遍历每个一个苹果像素，如果第一相机(如图1一侧的相机)视场内苹果向右方滚(坡度向右为低点)，记录x坐标最小值即为距边界最小像素距离，如果视场内苹果向左方滚(坡度向左为低点)则记录x坐标最大值，如图11所示边界像素距离Dis3＝width-1-x，其中width为相机图片像素宽度。

然后，根据苹果边界像素距离Dis进行苹果计数，计数设为C(C可以为大于等于0的自然数)，从0开始累加。设M为相机连续拍摄两帧图内同一个苹果在连续图上的预计移动距离，如果Dis<M，则判断苹果为刚进入相机的新果，计数C累加1并且给该果编号为C，否则该果为已经编号的旧果。对于旧果采集其横坐标X，回溯到前一帧图像中的X1＝X–M的坐标位置附近寻找对应果图像并编为同一编号。具体执行方式可参照连续拍摄的四帧图像即图8至图11，连续4帧图像的最后一帧的1号果能回溯到首帧，每一帧向右移动M个像素。实际运行环境中每次苹果移动距离不会完全精确到M个像素距离，可能会有±15％的误差都在可接受的范围内。M的具体取值由标定得到，标定方法在后文详述。由于苹果在坡度上受重力加速和滑道摩擦阻力共同运作，整体偏向于加速运动，因此M是处于少量自增变化的。

图8-图811的连续帧默认为相机视野，苹果从观测通道内滚过方向为从左出现进入相机视野，逐渐滚到右边离开相机视野。

图8的第一帧图像为系统刚开始运作，第一个苹果进入相机视野内，编号为1，记录第一帧内1号果首次出现距图像左边的边界距离Dis1。根据1号果边界距离Dis1和预先标定的帧间预估移动距离M，计算出在下一帧图像内1号果应该出现在图像x轴上Dis1+M的坐标位置。

图9为第二帧图像又进入一个新果，因为1号果已经存在，因此新果被编号为2，记录其边界距离Dis2。而由第一帧预测出的Dis1+M的位置出现的果被归纳为1号果在第二帧图像中的复现，因此亦编号为1。

图10为第三帧图像左边又进入一个新果，但是由于该果在图像内显示不全，距离图像左侧边界距离为0，判定为残果而丢弃，不进入编号流程。而1号果和2号果继续在第二帧坐标右移M像素的位置上预测到，判定为旧果并沿用对应编号。

图11为第四帧图像的新果终于显示完整，编号为3并记录边界距离Dis3，同时根据上一帧1号果和2号果坐标右移M个像素位置附近继续预测到的果分别标记对应编号1和2。

需要说明的是，图8、图9、图10以及图11为一个相机连续拍摄的四帧图像，其中，这四幅图按照拍摄的先后次序排列。此连续四帧图像序列即为本申请一些实施例的视觉系统对苹果的编号和预测机制的一个简略示例。

步骤S103，对编号相同的各目的对象的连续帧的图片进行拼接。

在同一台相机的连续图像序列中将同一编号的苹果拼接在一起，则成为这个方向苹果全角度的集合，如图1所示本申请的一些实施例中采用对角设置的第一相机和第二相机的同一编号苹果拼接在一起则如图12所示，为全方位角度的苹果外形，至此达成了以软件替代机械结构对苹果全方位无死角检测的目的。

如图12所示，本申请的一些实施例拼接两个相机采集的所有图片得到的这个苹果全角度的图像集合。本申请的一些实施例通过软件的方式捕捉苹果各个角度的图像，达到了现有技术方案以复杂机械结构才能达成的目标，实现了极低成本的替代实现方案。本申请实施例的技术方案效果稳定可靠，最大的优点在于部署简单，硬件需求仅有常规的相机和数据运算设备然后留出一块平滑坡道或传送带，极易在现有的农业分选流水线上进行升级，具有较强的实用落地价值。本申请实施例的多角度目标对象拍摄系统实际执行效率较高，在单个流水线上测试可达到每秒6个苹果的检测效率，检测速度基本受限于产线自身的线体传输速度和后端对接品质分类模块的处理速度。如果采用宽坡道多条传送替代单条传送带并配置高分辨率相机和算力更强的数据服务器，理论上可达到每秒裁剪拼接完成超过100个苹果的效率，完全超过机械结构。

需要说明的是，首先，图1的第一相机和第二相机可能替换为第一相机阵列和第二相机阵列等形式，如用红外相机和彩色相机共同组成一个相机阵列可获得更详细的苹果在各光谱下的数据。其次，本申请实施例的被检测的目标对象可以包括球形物体，例如，苹果或其他类似圆形的水果，包括但不限于猕猴桃、梨、石榴等都可以作为被测目标物。甚至对于非水果类的球状结构物体有表面视觉检测需求的，都可以成为本申请实施例的被拍摄和检测的目标对象。最后，本申请一些实施例的水果裁剪、拼接和标定，都以软件方式实现，在具体实现方式上可能有其他的软件技术方法可以达到同样的效果和目的，或者在算法执行细节上、标定物选择上有其他替代方式。

综上，本申请的一些实施例至少具有如下技术优势。第一，采用纯视觉的方法完成对球形物体全方位无死角检测。第二，以软件智能捕捉加目标自然滚动的方法替代机械主动控制球形目标转动，直接在坡道或传送带上构建视觉观测平台，硬件结构极简化。第三，以标定方式提升系统的可靠性和适应性，确保在不同环境条件的场景下能直接复制部署。第四，以移动预测的方式将连续帧中重复出现的同一个苹果进行跨帧匹配和编号标记。

请参考图13，图13示出了本申请实施例提供的多角度目标对象拍摄装置，应理解，该装置与上述图4方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置的具体功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。装置包括至少一个能以软件或固件的形式存储于存储器中或固化在装置的操作系统中的软件功能模块，该多角度目标对象拍摄装置，包括：裁剪模块301，被配置为从多帧图像的各帧图像中分离出至少一个目标对象，其中，所述多帧图像是由布置在所述滑动通道至少一侧的图像采集单元连续拍摄所述至少一个目标对象滚动通过所述滑动通道的视觉观测区得到的；编号模块302，被配置为确认所述至少一个目标对象中各目标对象的特征，并基于所述特征对所述至少一个目标对象中各目标对象进行编号，其中，所述编号用于区分被拍摄的不同的目标对象，所述特征包括所述至少一个目标对象中各目标对象是否属于首次进入所述图像采集单元的视觉观测区；拼接模块303，将所述多帧图像中相同编号的目标对象进行拼接得到所述目标对象的多角度的图片集合。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述图4的方法中的对应过程，在此不再过多赘述。

本申请的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现上述图4所述的方法。

如图14所示，本申请的一些实施例还提供一种信息处理设备500，包括存储器510、处理器520以及存储在所述存储器510上并可在所述处理器520上运行的计算机程序，其中，所述处理器520执行所述程序时可实现上述图4所述的方法。其中，所述处理器520执行所述程序时(以及通过总线530从存储器510读取程序并执行)可实现图4示出的方法，也可以用于实现上述实施例描述的方法。

处理器520可以处理数字信号，可以包括各种计算结构。例如复杂指令集计算机结构、结构精简指令集计算机结构或者一种实行多种指令集组合的结构。在一些示例中，处理器520可以是微处理器。

存储器510可以用于存储由处理器520执行的指令或指令执行过程中相关的数据。这些指令和/或数据可以包括代码，用于实现本申请实施例描述的一个或多个模块的一些功能或者全部功能。本公开实施例的处理器520可以用于执行存储器510中的指令以实现图4中所示的方法。存储器510包括动态随机存取存储器、静态随机存取存储器、闪存、光存储器或其它本领域技术人员所熟知的存储器。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (16)

1.一种多角度目标对象拍摄的方法，其特征在于，所述方法包括：

从多帧图像的各帧图像中分离出至少一个目标对象，其中，所述多帧图像是由布置在滑动通道至少一侧的图像采集单元连续拍摄所述至少一个目标对象滚动通过所述滑动通道的视觉观测区得到的；

确认所述至少一个目标对象中各目标对象的特征，并基于所述特征对所述至少一个目标对象中各目标对象进行编号，其中，所述编号用于区分被拍摄的不同的目标对象，所述特征包括所述至少一个目标对象中各目标对象是否属于首次进入所述图像采集单元的视觉观测区；

将所述多帧图像中相同编号的目标对象进行拼接得到所述目标对象的多角度的图片集合。

2.如权利要求1所述的方法，其特征在于，所述从多帧图像的各帧图像中分离出至少一个目标对象，包括：

获取所述各帧图像对应的图片上的任一像素点的亮度值，其中，所述亮度值包括一个通道的通道值或者灰度值；

根据设定的亮度阈值和所述亮度值对图片上的所有像素进行分割，获取所述至少一个目标对象。

3.如权利要求1所述的方法，其特征在于，所述确认所述至少一个目标对象中各目标对象的特征，并基于所述特征对所述至少一个目标对象中各对象进行编号，包括：根据所述至少一个目标对象在其所在的各帧图像上的边界距离确认所述特征，并基于所述特征对所述至少一个目标对象中各对象进行编号。

4.如权利要求3所述的方法，其特征在于，所述根据所述至少一个目标对象在其所在的各帧图像上的边界距离确认所述特征，并基于所述特征对所述至少一个目标对象中各对象进行编号包括：

计算第一帧图像中第一目标对象距离图像边界的像素距离；

获取所述第一目标对象在所述第一帧图像和所述第一帧图像的前一帧图像的移动距离，其中，所述移动距离是根据移动预测方法预先获取的；

根据所述像素距离和移动距离确定所述第一目标对象为首次进入所述视觉观测区的目标对象，采用新生成的第一编号对所述第一目标对象进行编号。

5.如权利要求3所述的方法，其特征在于，所述根据所述至少一个目标对象在其所在的各帧图像上的边界距离确认所述特征，并基于所述特征对所述至少一个目标对象中各对象进行编号，包括：

根据移动预测的方式对所述至少一个目标对象中的各目标对象在所述多帧图像中进行跨帧匹配并采用同样编号表征在不同帧中匹配的目标对象。

6.如权利要求5所述的方法，其特征在于，所述根据移动预测的方式对所述至少一个目标对象中的各目标对象在所述多帧图像中进行跨帧匹配并采用同样标记表征在不同帧中匹配的目标对象，包括：

计算第一帧图像中第一目标对象距离图像边界的像素距离；

获取所述第一目标对象在所述第一帧图像和所述第一帧图像的前一帧图像的移动距离，其中，所述移动距离是根据移动预测方法获取的；

根据所述像素距离和移动距离确定所述第一目标对象为再次进入所述视觉观测区的目标对象时，根据所述移动距离从所述前一帧图像中确定所述第一目标对象的编号。

7.如权利要求6所述的方法，其特征在于，所述根据所述像素距离和移动距离确定所述第一目标对象为再次进入所述视觉观测区的目标对象时，根据所述移动距离从所述前一帧图像中确定所述第一目标对象并确定所述第一目标对象的编号，包括：从所述前一帧图像中获取距离所述移动距离设定范围内的目标对象作为所述第一目标对象。

8.如权利要求6或7所述的方法，其特征在于，所述移动距离是采用预先标定的方式获取的。

9.如权利要求1所述的方法，其特征在于，所述确认所述至少一个目标对象中各目标对象的特征，并基于所述特征对所述至少一个目标对象中各目标对象进行编号之前，所述方法还包括：

确认所述至少一个目标对象在所述图片上的对应的所有像素点均未与所述图像采集单元拍摄的图像的边界接触。

10.一种多角度目标对象拍摄装置，其特征在于，所述多角度目标对象拍摄装置包括：

裁剪模块，被配置为从多帧图像的各帧图像中分离出至少一个目标对象，其中，所述多帧图像是由布置在滑动通道至少一侧的图像采集单元连续拍摄所述至少一个目标对象滚动通过所述滑动通道的视觉观测区得到的；

编号模块，被配置为确认所述至少一个目标对象中各目标对象的特征，并基于所述特征对所述至少一个目标对象中各目标对象进行编号，其中，所述编号用于区分被拍摄的不同的目标对象，所述特征包括所述至少一个目标对象中各目标对象是否属于首次进入所述图像采集单元的视觉观测区；

拼接模块，将所述多帧图像中相同编号的目标对象进行拼接得到所述目标对象的多角度的图片集合。

11.一种多角度目标对象拍摄系统，其特征在于，所述多角度目标对象拍摄系统包括：

滑动通道，被配置为以设定角度倾斜布置，以使至少一个目标对象滚动通过；

拍摄装置，被配置为布设于所述滑动通道两侧的上方，且所述拍摄装置与水平面呈一定角度布置以使所述拍摄装置可拍摄滚动通过所述滑动通道上的视觉观测区的所述至少一个目标对象；

处理单元，被配置为从多帧图像的各帧图像中分离出至少一个目标对象，确认所述至少一个目标对象中各目标对象的特征，并基于所述特征对所述至少一个目标对象中各目标对象进行编号，将所述多帧图像中相同编号的目标对象进行拼接得到所述目标对象的多角度图片集合，其中，所述编号用于区分被拍摄的不同目标对象，所述特征包括所述至少一个目标对象中各目标对象是否属于首次进入所述拍摄装置的视觉观测区。

12.如权利要求11所述的多角度目标对象拍摄系统，其特征在于，所述拍摄装置包括布设于所述滑动通道两侧的两架相机。

13.如权利要求11所述的多角度目标对象拍摄系统，其特征在于，通过标定锁定所述滑动通道的倾斜角度和所述拍摄装置的拍摄帧率，以使所述拍摄装置以所述拍摄帧率可拍摄从所述滑动通道上通过的所述至少一个目标对象的全视角图像。

14.如权利要求13所述的多角度目标对象拍摄系统，其特征在于，在所述拍摄装置以锁定拍摄帧率抓拍的连续帧中逐帧计算每一帧间隔下参考对象的移动像素距离。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时可实现权利要求1-9中任意一项权利要求所述的方法。

16.一种信息处理设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时可实现权利要求1-9中任意一项权利要求所述的方法。

Images