CN113167740A - 用于食品加工中的非侵入式检查的多视角成像系统及方法 - Google Patents

Abstract

在此公开了用于检查和处理食品材料(408)的基于成排视觉的系统(400)以及相关成像方法。系统包括传送带(402)、透明板(412)以及成像系统(422)，其中成像系统包括光源(424)和至少一个摄像机。成像系统产生光穿过透明板上的物体并由摄像机捕获的来自多视角的图像数据。图像数据对应于透射、交互或反射图像数据之一并被传送到处理器(428)。处理器处理数据，使用机器学习以生成物体内部的一部分材料的几何形状的三维模型，以确定该部分相对于周围材料的边界。

Description

用于食品加工中的非侵入式检查的多视角成像系统及方法

技术领域

本公开涉及食品加工中的非侵入式检查，特别是，涉及一种用于检测食品内部物体的成像系统和相关方法，其通过处理食品的图像数据来确定该内部物体的三维模型。

背景技术

食品行业的利润空间很小，并且要经受越来越高的质量控制标准。因此，食品加工行业已经转向自动化系统来提高加工能力，同时满足更高的质量控制标准。食品加工的方面包括将初级产品与次级产品分离以及去除异物等等，以提高产品的附加值。但是，这些方面很难实现自动化，因为初级和次级产品与异物之间的界限很难用当前的系统来识别。

在食品材料之间存在自然界限的情况下，例如对于固液界面，将初级产品与次级产品分开通常很简单，几乎不需要物理劳动。在食品材料相互连接或有固固界面的情况下，通常需要进行主动物理介入，例如切割。为了引导和执行这样的动作，有利的是识别出固固界面之间的精确的或最佳可能边界，这在自动化环境中通常是通过基于视觉的系统来实现。即使不需要材料间的分离，用以检测某种缺陷或不想要的物体是否存在及其程度的能力也能为食品检查或分拣过程带来巨大好处。

例如，如美国专利US 5,352,153，US 6,563,904，US 9,551,615，US 6,587,575，US9,095,147以及公开文件WO 2017/093539A1和WO2008/016309A1中所公开的，对于包括鱼，肉，禽，水果，蔬菜和谷物的多种行业已经开发出一些系统。传统系统通常将传统成像应用于食品材料的快速筛选，以便得到有关加工的信息。但是，通过这种方法得到的信息通常仅限于材料的可见表面。

已经提出了可选技术来提供物体的内部细节。无论是从表面还是在物体内捕获数据，信息通常都以二维格式提供。这对于一些应用来说可能是足够的，要么是因为了解深度不是特别相关，要么是因为物体的几何形状是一致的并且因此能做出某些假设。但是，有一些情形中，三维的附加信息特别重要。例如，对于获取有关物体对齐的精确信息，或者对于不规则形状的物体的几何相关处理以便能精确地分离或去除不规则形状的物体，三维信息是有用的。

一些针对恢复三维(“3D”)表面数据的解决方案仅限于对外部轮廓的丰富描述。其他的是基于体积成像技术，例如计算机断层扫描(“CT”)或磁共振成像(“MRI”)，提供关于被扫描物体的内部特征的数据，但是，这样的技术解决方案具有多种局限性。例如，体积成像技术缺乏速度，考虑到食品加工行业的薄利，这是一个特别重大的局限性。速度的缺乏以及其他局限性使得当前的系统更适合用作随机质量控制检查工具，而不是作为自动化食品加工和分类的联机方案。

发明内容

本公开针对用于成排工业食品加工应用的快速数据获取和重建，允许捕获食品材料内部组件的几何细节。对于不需要内部结构完整表征(例如由体积成像技术提供的结构)但必须快速复原粗略内部轮廓的应用，这种系统特别有用。特别地，在此公开的系统和方法针对两种不同材料的表面对表面结合，其中一种材料形成允许任意光谱局部穿透的外层，而具体关注的第二材料或内部物体至少部分地被围在外层中，并允许该任意光谱具有不同的穿透或吸收范围。通常，本公开的示范性实施方式包括使用具有光源和成像装置的成像系统来捕获图像数据，以及重建数据以确定内部物体边界的计算步骤。

一种用于捕获和处理物体图像数据以确定物体内部部分边界的系统的示范性实施包括：第一传送器；与第一传送器通过间隙分开的第二传送器；透明板，其置于间隙中并连结到第一传送器和第二传送器中的至少一个；支承环至少部分地位于间隙中并与第一传送器和第二传送器中的至少一个连结，该支承环包括连结到支承环的至少一个摄像机；以及连结到支承环的第一光源，其中在操作期间，第一光源发射朝向透明板的光。

该实施可进一步包括：位于透明板上的物体，其中在操作期间，摄像机接收从第一光源穿过物体的光；物体是金枪鱼片，并且第一光源发射波长等于约1260纳米、约805纳米或约770纳米中的一个的光；与摄像机电子通信的控制单元，摄像机捕获穿过物体的光，并且对应于来自被捕获的光的图像数据，摄像机传送信号到控制单元；图像数据是透射图像数据、交互图像数据或反射图像数据之一；控制单元包括处理器，处理器使用机器学习，基于从摄像机接收到的图像数据，检测物体第一部分与第一部分中的物体第二部分之间的边界。

该实施还可包括：使图像数据通过深度卷积神经网络的处理器；深度卷积神经网络，深度卷积神经网络接收图像数据并根据对应于物体第二部分的图像数据输出多个轮廓，处理器将轮廓投影到多个投影中，并分析多个投影之间的相交以确定物体第二部分的三维形状；支承环，支承环包括连结到支承环的多个摄像机，多个摄像机中的每个摄像机捕获来自第一光源的透射、交互或反射成像数据中的一个；并且支承环包括连结到支承环的第二光源，其中在操作期间，第二光源发射朝向透明板的光。

一种用于捕获和处理物体的图像数据以确定物体内部部分的边界的装置的可选示范性实施包括：在传送器的第一部分和第二部分之间具有间隔的传送器；位于间隔中并连结到传送器的板；至少部分位于间隔中并连结到传送器的支承环，其中在操作期间，支承环在至少第一位置和第二位置之间转动；连结到支承环的至少一个光源，其中在操作期间，该至少一个光源发射朝向板上的物体的光；连结到支承环的成像装置，其中成像装置接收在光穿过物体之后来自该至少一个光源的光；以及与成像装置电子通信的处理器，当支承环在第一位置时，处理器从成像装置接收第一图像数据集，当支承环在第二位置时，处理器从成像装置接收第二图像数据集，其中在操作期间，处理器从第一图像数据集和第二图像数据集输出物体的内部部分的三维模型。

该实施还可包括：处理器利用机器学习将第一图像数据集和第二图像数据集处理成多个轮廓并将多个轮廓投影到多个投影中，其中三维模型为基于多个投影中每个之间的相交；连结到支承环的第二光源，当支承环位于第一或第二位置时，成像装置从第二光源捕获第三图像数据集，处理器利用第三图像数据集来阐明三维模型的边界；包括光谱仪的成像装置，发射波长选自大约1260纳米、大约805纳米或大约770纳米之一的光的至少一个光源。

一种用于捕获和处理物体的图像数据以确定物体的内部部分的边界的方法的示范性实施包括：从光源发射光，该发射包括引导光通过具有第一部分和第二部分的物体，第二部分被围在第一部分中；在光穿过物体之后，通过成像装置捕获来自光源的光，被捕获的光对应于成像装置接收的第一部分和第二部分的图像数据；将图像数据传送到处理器；并且通过处理器分析图像数据以检测第一部分和第二部分之间的边界，其中该分析包括利用机器学习以生成第二部分的三维表征。

该实施还可包括：从光源发射光包括：发射波长选自大约1260纳米、805纳米或770纳米之一的光；利用机器学习以生成第二部分的三维表征包括该机器学习利用深度卷积神经网络用于处理图像数据；用处理器分析图像数据包括利用机器学习以输出对应于第二部分的图像数据的多个二维轮廓；用处理器分析图像数据包括利用机器学习以创建多个投影，其中每个投影分别对应于多个二维轮廓中的一个；分析包括利用机器学习以产生三维表征还包括分析多个投影中的每个之间的相交以输出物体第二部分的三维表征。

附图说明

为了更好地理解实施方式，将通过示例参照附图。附图中，相同的附图标记识别为类似元件或动作。附图中元件的尺寸和相对位置不必按比例绘制。例如，各种元件的形状和角度不一定是按比例绘制的，并且这些元件中有一些是放大的并且定位成用以提高附图易读性。此外，所绘出的元件的特定形状不一定旨在传达有关特定元件的实际形状的任何信息，并且可能仅仅是为了在附图中便于识别而选择的。

图1为根据本公开的传送带系统的示范性实施的立体图，其系统的第一传送器和第二传送器之间具有间隙。

图2为根据本公开的成像系统的示范性实施的示意图，阐明了透射成像模式。

图3为根据本公开的成像系统的示范性实施的示意图，阐明了交互成像模式。

图4是根据本公开的成像系统的示范性实施的立体图，其具有支承环和连结到该支承环的多个成像装置和光源。

图5是图4的成像系统的控制单元的示意图。

图6是根据本公开的成像系统的可选示范性实施的立体图，其具有支承环以及连结到该支承环的单个成像装置和光源，其中，支承环在至少第一位置和第二位置之间旋转。

图7是根据本公开的外壳的示范性实施的立体图，其用于减少在外壳中到成像系统的环境光。

图8是根据本公开从投影轮廓重建三维模型的示范性实施的示意图。

图9是根据本公开的用于捕获和处理物体的图像数据以确定物体内部边界的方法的示范性实施的流程图。

图10是根据本公开的用于捕获和处理物体的图像数据以确定物体内部边界的方法的可选示范性实施的流程图。

具体实施方式

在以下说明中，阐述了某些具体细节以提供对各种公开的实施方式的透彻理解。然而，相关领域的技术人员会认识到，没有一个或多个这些具体细节，或者利用其他方法、部件、材料等，也能实践这些实施方式。在其他情况下，没有显示出或详细描述与成像系统、食品加工中非侵入式检查、机器学习和神经网络相关联的众所周知的结构来避免不必要地混淆实施说明。

除非上下文另外要求，否则在以下整个说明书和权利要求书中，词语“包括”及其变体(例如“包含”和“具有”)应以开放的包容性含义来解释，即“包括但不限于”。此外，术语“第一”、“第二”和类似的顺序标志应解释为可互换的，除非上下文另有明确指示。

在整个说明书中，引用“一个实施方式”或“一种实施方式”意味着关于实施方式描述的具体特征、结构或特性包括在至少一个实施方式中。因此，在整个说明书中各处出现的短语“在一个实施方式中”或“在一种实施方式中”不一定都指的是同一个实施方式。此外，在一个或多个实施方式中，具体特征、结构或特性能以任何合适的方式组合。

如本说明书和所附权利要求书中所使用的，单数形式“一个”，“一种”和“该”包括复数个对象，除非内容中另有明确规定。还应注意，术语“或”通常以其最广泛的含义使用，即作为“和/或”意义，除非内容中另有明确规定。

相对术语“大约”和“基本上”在用于描述值、量、数量或尺寸时，通常是指在规定值、量、数量或尺寸的误差正负3％之内的值、量、数量或尺寸，除非内容另有明确规定。还应理解，在此提供的组件的任何具体尺寸是用于说明性目的，仅参照在此描述的示范性实施，因此，本公开包括大于或小于所述尺寸的量，除非内容另有明确规定。

本公开提供了一种用于快速非侵入式成像系统的解决方案，能获取食品材料的视觉数据用以处理和检查。具体地，本公开的实施方式捕获由不同层材料围住的任意形状的物体的三维几何形状。例如，在待分析物体是鱼片的实施方式中，在此公开的成像系统和方法捕获了包含在外层白肉中的一部分红色肉(例如不同层材料)的三维几何形状，其中红色肉具有在连续片之间不同的任意三维形状。

本公开的实施方式包括能利用吸收、反射、透射和散射的对不同混浊材料和光谱带而言不同的光学性质的各种系统、装置和相关方法。每次出现的相对比例和数量可取决于材料的化学组成和物理参数。当光与物质相互作用时，某部分光子通过镜面反射、漫反射或反向散射而被反射。镜面反射和漫反射这前两个取决于表面的粗糙度，而光的散射或反向散射是由材料内部的相变或不同界面处的多次折射造成的。散射也可能是由于不均一性造成，例如在整个材料中随机分布的孔隙或毛细管，以及不同颗粒的尺寸、形状和微结构。

未被反射的其余光子则被吸收或透射过该材料。吸收系数越低，光在光子被吸收之前能透入材料中越深，从而光从材料的另一侧射出的可能性就越高。因此，对于根据在此描述的系统、装置和相关方法的各种实施方式的非侵入式成像，散射的光和穿过材料的光二者都能提供内部特性的有用信息。这样的信息(例如散射的光和穿过材料的光)分别通过交互或透射成像被捕获，而反射成像主要集中在从表面直接反射的光上，如在此参照示范性实施方式描述的。

对于每种波长的光，光学特性和与混浊材料相互作用的结果都是不同的。在一些波长被快速吸收的同时，其他波长则能透入材料中深处，并且根据厚度，能完全地或部分地透射。如以下更详细地描述的，系统、装置和相关方法的一些实施方式可包括多光谱或高光谱成像工具以研究关于不同波长的紫外线(UV)、可见光和近红外(NIR)光谱的光学特性的现象。

此外，在此描述的一些实施方式可包括或利用衍射光栅，其中光被分散并且通过在此描述的传感器的各种实施方式来捕获每个波长的强度。更进一步地，在此描述的系统、装置和相关方法的实施能获取关联数据，该关联数据可包含或包括具有以二维存储的空间数据和以三维存储的光谱数据的三维立方体。根据所加工的食品材料，可改变对单个波长或合适波长的组合的选择，并且可预先确定该选择。例如，可根据包括要扫描的具体食品的透射和反射信息的数据库，并根据具有某些波长的光的光谱特性的数据库，来选择合适的波长，或者在处理之前，系统可校准为根据要扫描的具体对象或食品来确定与捕获适当成像数据相对应的波长。

在此描述的系统、装置和方法的各种实施中，选择了某些波长，这些波长具有通过材料外层的良好穿透能力，具有低吸收系数和最小的散射，而与关注的内部物体不同(例如，分别是金枪鱼片的白肉和红色肉)。此外，在此描述的系统、装置和相关方法的各种实施中，除了选择适于食品材料检查的适当波长外，还可选择适当的照明源作为系统设计变量。例如，对于特定光谱，光源的发射光强度可不同。因此，可选择具有适于该应用的波长的光源，以获得最佳结果。在此公开了一些类型的照明源，包括卤素灯、LED和特定波长的激光器。

本发明的一个方面是获取所检查食品材料的高质量图像数据。如上所述，虽然所处理的材料是三维的，但传统成像传感器往往缺乏理解场景深度的手段，这限制了感知现实物体的复杂性的能力。为了构建物体的三维表征，在此描述的系统、装置和相关方法的各种实施都能够从多个视角捕获带有信息的图像的集合。不同于通过体积成像技术得到的完整3D表征，传统成像系统的3D表面重建技术倾向于仅捕获位于物体表面的单个点的3D坐标，或者在这种情况下，仅捕获物体的两种材料之间的边界的3D坐标。因此，这些方法通常称为表面测量、范围感知、深度映射或表面扫描，这些在此可互换使用，除非上下文另有明确规定。

针对3D表面重建的一种传统技术是多视角立体视觉(“MVS”)，其在视角之间给定有足够重叠的图像中匹配相应的特征点。结果是表面拟合的3D点云。这种方法通常需要特征丰富的纹理，某些类型的食品可能不具有或不能表现这种纹理。此外，由于MVS涉及的利润很小，因此在食品加工行业的某些应用中缺乏效率。

结构光3D表面重建技术是获取三维信息的另一种技术。结构光方法使用投射在物体上的空间上变化的1D或2D结构化照明。在平面场景中，照亮图案相同地投影到表面上，而在非平面场景中，相机所看到的图案将失真。3D信息是从失真图案的特征中提取的，这通常是从表面边界处的光的直接反射中获取的。

这两种方法虽然都能提供3D表面的详细描述，但对于通过交互或透射模式捕获非侵入式成像数据来说都不实用。另一方面，轮廓的形状依赖于物体的轮廓线，从中能恢复三维表征。如下面更详细描述的，系统、装置和相关方法的各种实施可操作以将每个摄像机看到的轮廓反投影到三维场景中，从它们的相交提取3D形状。由于凹坑在轮廓中通常是不可见的，因此可忽略不计，因此重建仅是真实3D几何体(通常称为可视外壳)的近似值。然而，根据在此描述的各种实施，使用交互成像与透射成像一起，能通过考虑凹坑来提取物体的精确3D形状。

如以下更详细描述的，3D形状重建和多视角图像数据获取的上下文中的一个方面是摄像机的定位。用于将轮廓反投影到场景中，很重要的是确定摄像机的位置以及场景最初怎样投影到图像平面上。各种在此描述的系统、装置和相关方法可操作以从摄像机校准接收和/或处理这信息。这样的信息可包括摄像机内参数，这些内参数有关于光怎样通过镜头投射到成像传感器上以及在此过程发生的任何失真，还有关于相关真实世界中摄像机位置的外部参数。在此描述的系统、装置和相关方法，对于有助于系统多视角图像数据获取的每个摄像机和位置，包括如上所述的内参数，能实施校准过程，并且能通过使用二进制基准标记有效地实现。

在一些实施方式中，在获取图像数据时，可在生成三维模型之前确定目标物体的轮廓。例如，本公开的一方面可包括识别图像数据中有什么表示食品材料，然后区分形成外层和内层的不同组分。例如，在其中物体为鱼片的实施方式中，外层或第一部分对应于第一类肉，内层或第二部分对应于第二类肉，该第二类肉通常被围在第一类肉中。在一些方面，在进行这种任务时能实施机器学习，尤其是人工神经网络。

例如，在神经网络中，不同层中有一些节点通过与重量关联的连接联系在一起。通常，通过在给定已知输入的情况下指定有什么节点输出是期望的，来通过几次迭代以调整和学习这些重量。通过收集标记图像的大数据集，表明食品材料和关注的内部缺陷或物体，可训练深度卷积神经网络以学习怎样识别特定物体的位置和确切边界。随着训练数据集的增加和神经网络体系结构的精心设计，使用各种在此描述的系统、装置和相关方法能有效地解决更复杂的任务。此外，在一些实施中，对不同的特定应用能实施各种不同的模型。

如在此所述的，本公开并入有用于检测和提取所检查缺陷或所加工产品的三维几何形状的传送带系统。由于连续移动的带，优选地，数据获取和分析是高效的。在一些实施方式中，基于本申请的食品材料和目标能预先确定可适用光谱的波长。通过高光谱成像，或者使用特定的滤光片或激光器(这意味着线扫描系统)，能获取特定的光谱带。

如以下更详细描述的，为了获取透射数据，将光源放置在与成像传感器相对的位置，这需要在由透明介质桥接的传送带中有一个小的间隙，该透明介质允许光传输并通过食品材料。另一光源位于成像传感器的旁边并与之平行用于交互成像模式。两种成像模式均以高频率交替以便避免模糊由每种模式捕获的图像数据。

如以下更详细描述的，在本公开中，多光源和摄像机的组合(如在此更详细描述的，这可以是成像装置的组件，或者可选地，这通常被称为成像装置，或者在一些实施中是连结到成像装置的单独组件)安装在传送带中或传送带周围，以收集来自多视角的图像数据。可选地，在一些实施方式中，作为代替可使用单个摄像机传感器或成像装置。然而，在这样的实施方式中，单个摄像机可安装在旋转框架上，该旋转框架允许将光和摄像机重新定位在传送带周围。因重新定位摄像机系统而使传送带速度高或获取时间减少时，图像数据以螺旋对齐方式获取。这样，将螺旋图像数据沿横向路径补充在获取点之间。根据应用和目标物体的所需细节，视角的数量可为不同的。为了在成像期间控制照明并从而实现更好的图像质量，一种结构构建在成像设备周围，阻挡来自外部的任何光。

在一些实施方式中，本公开使用一种训练以检测目标物体的位置和边界的深度卷积神经网络。然而，在回顾本公开时，应理解深度卷积神经网络的应用可依赖于该应用并且基于该应用而变化，并且可以预先训练这种模型以完成该任务。如以下更详细描述的，提取的轮廓用于生成目标物体的三维形状的近似值。应理解，在回顾本公开时，重建模型的分辨率是所需速度和预期应用的细节之间的折衷。例如，在一些实施方式中，更高的分辨率可能需要更多的图像和更多的计算资源来进行重建，这进而影响应用速度。

在其他实施方式中，摄像机的布置和数量可为变化的，如在此所述的。位置和摄像机参数可在捕获图像数据之前进行校准。由于食品材料在传送带上的移动，摄像机的横向位置相对于所运输的材料发生变化。横向位置可在内部保持，或者必要时根据应用，参照材料或传送带上通过标记明确限定的来设定。

现在转向图示的示范性实施方式，图1是传送器系统100的立体图。应理解，为了便于理解本公开的实施方式，传送器系统100已经简化，并且因此，并未描述与传送器系统100相关的某些特征。传送器系统100包括与第二传送器104间隔开的第一传送器102。换句话说，间隔或间隙114将第一传送器102与第二传送器104分开。第一传送器102在此通常可称为传送器系统100的第一部分，并且类似地，第二传送器104在此通常可称为传送器系统100的第二部分。此外，间隔或间隙114和板110的尺寸和形状可根据具体应用而变化，并且因此，本公开不限于与间隔或间隙114相对应的传送器102、104之间的距离，也不限于板110的尺寸或形状。

板110定位在间隙114中或附近，以形成连续的传送器线。优选地，板110是透明的以便允许光无阻碍地穿过板110。例如，板110可由透明塑料、聚合物或玻璃等形成，而在可选实施方式中，板110是半透明的并类似地例如由半透明的塑料、聚合物或玻璃形成。板110连结到传送器系统100，或者更具体地，连结到第一传送器102和第二传送器104中的至少一个。此外，系统100的每个传送器102、104由支撑结构106支撑，其中传送器表面112通过辊子108和传统驱动机构(未示出)平移。另外，传送器表面112可为实体的，或者可包括多个穿孔116，它们如图1所示可布置成排，或者均匀地散布在传送器表面112上。在其它实施方式中，传送器表面112是实体的，这意味着表面112中没有这样的穿孔。

图2是对应透射成像模式200的示意图。透射成像模式200包括光源202和成像装置204。图2还示出了待扫描的物体206，其中物体206定位于板110上。光源202发射光208，该光208被导向板110，并在朝板110行进时向外传播。当光208传输通过板110和物体206时，该光发生会聚，如会聚路径或部分210所指示的。当光208离开物体206时，该光208偏离或分散，如偏离路径或部分212所示。在离开物体206之后，该光208被成像装置204捕获。如在此所述的，成像装置204接收与已传输通过物体206的被捕获的光208对应的透射图像数据，其中该透射图像数据随后通过信号被传输到与成像装置204电子通信的处理器或控制单元，用于进一步处理和重建(例如，图5中所示的控制单元428)。

在所示的实施方式中，传送器系统100通常相对于图2所示的方位从右向左平移物体206，但是应理解，传送器系统100可沿任一方向平移。此外，成像装置204和光源202优选地沿着垂直轴对准，其中成像装置204在光源202上方，使得由光源202输出的光208朝向成像装置以线性方式传播通过物体206。还应理解，由于对准的微小变化或物体206和光208的性质，成像装置204和光源202的对准可能不是真正垂直的，而是可在10度以内垂直，在5度以内垂直或基本垂直(即在3度以内垂直)。

光源202在各种实施方式中可选自各种光源之一，举个例子，比如激光器、发光二极管(“LED”)、LED阵列或板、白炽灯、紧凑型荧光灯、卤素灯、金属卤化物灯、日光灯、霓虹灯、低压钠灯或高强度放电灯。在光源202是激光器的实施方式中，本公开的实施方式包括的光源202还包括固态激光器、气体激光器、准分子激光器、染料激光器或半导体激光器。就激光器以激光发射持续时间为特征而言，该激光器也可为连续波、单脉冲、单脉冲q开关、重复脉冲或锁模激光器。

此外，如上所述，光源202优选地特别选择用于待扫描的应用或物体206，因为不同的光源202输出对于物体206具有不同穿透特性的光208。在物体206是鱼片的实施方式中，光源202优选地在透射成像模式200中输出波长在790和820纳米(“nm”)之间的光，但是更优选地，波长是805nm或大约805nm(即在800和810nm之间)，这对应于在光谱的通常在大约400至750nm之间的可见光部分之外的电磁光谱的红外部分中的波长。而且，该波长至少相对于金枪鱼鱼片对应于允许深深透入鱼片中同时散射最小的光的波长，其中，该散射通常在透射成像模式200中是不希望的，因为散射会降低对应于透射成像模式200的图像数据的准确性。

大于750nm或约805nm的近红外光谱对于金枪鱼加工是有用的，因为像水对于这些波长仍然有些透明的是构成金枪鱼鱼片中生物组织的实质部分的血红蛋白。相较而言，在可见光谱(即400nm至750nm)中，血红蛋白吸收大部分光。关于在这些波长下为什么光能穿透白肉而不能穿透红色肉的一种可能解释是由于这两种材料之间的肌纤维的密度不同，其中红色肉的肌纤维的密度比白肉高得多。在此波长范围内(即近红外或约805nm)，红色肉的吸收系数仍然很高，而白肉的吸收系数较低。除了物理性质外，这些特征还可以通过例如化学组分的区别来解释。这样，对于白肉，穿透仍然相当深。这种特性差异使得这种特殊的波长选择(即大约805nm)更适合待扫描物体是金枪鱼鱼片的应用。

在某些实施方式中，成像装置204是市场上可买到的许多成像装置204中的一种，包括但不限于光谱仪、摄像机或传感器等。在成像装置204是传感器的实施方式中，成像装置204优选是捕获300nm至1000nm之间的波长的互补金属氧化物半导体(“CMOS”)传感器。可选地，在其它实施方式中，该传感器是电荷耦合器件(“CCD”)，其捕获相似波长的传感器，或砷化铟镓(InGaAs)传感器，其捕获900和1700nm之间的波长。还应当理解，在成像装置204是摄像机或光谱仪的实施方式中，除了其他电子部件和其他类型的传感器之外，摄像机或光谱仪还可包括任意上述传感器。

在校准透射成像模式200或针对不同应用改变模式200时，优选将光208分成单独的波长，以便研究哪些波长对物体206具有最佳透射和捕获特性。虽然没有特别阐述，但具有衍射光栅的光谱仪可用于将光208分成单独的波长。可选地，因为光谱仪敏感且昂贵，一旦模式200被校准，就能使用阻塞滤波器来提高效率并降低成本，阻塞滤波器仅允许某些选定波长的光通过以便对应于应用由成像装置204捕获。进一步可选地，可使用激光器光源202，其仅发射具有指定波长或在指定波长范围中的光，其优选地对应于通过校准选择的优选波长，这又使得成本降低且效率增加。相比之下，阻塞滤波器通常具有较宽的通过波长范围，而激光器非常特定于特定波长，因此，在这两者之间选择要取决于所讨论材料的所需工作波长。

图3是交互成像模式300的示范性实施的示意图。交互成像模式300包括光源302和成像装置304。在一些实施方式中，成像装置304可与透射模式的成像装置204不同。在一些实施方式中，交互成像模式300的成像装置304可与透射模式的成像装置204相同。换句话说，相同成像装置可用于透射成像和交互成像模式二者。光源302和成像装置304可分别是上面参见光源202和成像装置204描述的任何光源和成像装置。待扫描的物体306在板110上，且光源302发射光310。但是，与透射成像模式200相比，在交互成像模式300中，光310通过了在光源302的输出312处耦合到光源302的会聚透镜308。该会聚透镜308可为许多已知会聚透镜中任意的，其主轴、焦点、焦距和垂直平面根据特定应用来选择。除其他好处外，会聚透镜308帮助阐明由成像装置304捕获的图像数据。

在用于其中物体306是鱼片、并且更具体地是金枪鱼鱼片的实施方式的交互成像模式300中，光源302优选地发射的光的波长在740和800nm之间，并且更优选地是770nm或大约770nm(即，在765至775nm之间)。此外，成像装置304优选地是或优选地包括如在此所述的传感器CMOS或CCD传感器。已经发现，相对于透射成像模式200的优选波长基于以上分析该波长范围对于交互成像模式300是优选的。

在光310由光源302发射并通过会聚透镜308之后，光310接触物体306，如通过物体306的光310的一部分314所示。但是，在交互成像模式中，成像装置304测量由物体306反向散射的光。换句话说，光310的部分314对应于进入物体306然后由于物体306的材料组成而在物体306中折曲、弯曲或转弯的光和离开物体306之前的光310。换句话说，发射通过会聚透镜308的光310沿第一方向305传播，而离开物体的光310沿第二方向307传播，其中在一种实施方式中，第一方向和第二方向沿平行轴彼此相反。然而，应当理解，本公开的实施方式还包括第一方向和第二方向成一定角度彼此横向，例如当光源302相对于物体306成角度时，如参见图4描述的。光线310离开物体306并朝成像装置304传播，其中在传播过程中，光线分散，如分散部分316表示的。当光线310由成像装置304接收时，成像装置304将与捕获的光310的量相对应的交互成像数据发送到如在此所述的控制单元或处理器(例如，图5所示的控制单元428)。

在所示的实施方式中，传送器100通常相对于图3中所示的方位从右向左平移物体306，如箭头318所示。这样，光源302相对于传送器系统100的平移的方向位于成像装置304的上游。换句话说，光源302通常位于成像装置304附近并且优选地平行于成像装置304。虽然可以将光源302设置在成像装置304的下游，但是这种布置会导致精度较低的成像数据，还需要在处理期间进行校正。此外，对于传送器100而言，也可以使物体306与箭头318所示的方向相反地平移，在这种情况下，光源优选地在图示的方位中在成像装置304的左边(即上游)。此外，光源302和成像装置304二者都位于物体306的上方，因此，交互成像模式300捕获了光310的在进入物体306以后朝向成像装置304散射回的一部分314，与透射成像模式200相反，其捕获沿基本垂直的轴直接移过物体206的一部分光。

图4示出了成像系统400的示范性实施的立体图，该成像系统400包括传送器系统402、连结到传送器系统402的支承环414、连结到支承环414的多个成像装置422，以及连结到支承环414的至少一个光源，例如第一光源424。

传送器系统402可以包括以上参照图1中的传送器系统100描述的全部特征或实质特征。然而简言之，传送器系统402包括第一传送器或部分404和第二传送器或部分406，其中第一传送器404通过间隙或间隔410与第二传送器406分离开。板412，最好是透明的板412，位于间隙410中并连结到传送器系统402，以形成连续的传送器线。

如上所述，支承环或框架414通过支撑件416、418连结到传送器系统402，其中支承环414优选地是圆形的，以便于在成像系统400的校准期间支承环414的旋转。支撑件416优选地是可调节卡箍，该可调节卡箍连结到板420并从板420延伸出，板420连结到传送器系统402，并且更具体地，连结到第一和第二传送器404、406中的每一个。支撑件418优选为基座，带有用于接收连结到传送器系统402的支承环414的开放通道，以使得在系统校准期间，能通过调节支撑卡箍416来手动地转动支承环414。虽然支撑件416被示为卡箍并且支撑件418被示为具有用于接收支承环414的通道的基座，但是应当理解，本公开中可考虑许多其他装置或布置以将支承环414连结到传送器系统402。例如，在其他实施方式中，连结包括使用一个或多个布置于中间的轮辐，该轮辐从传送器系统402延伸或从位于间隔410中并连结传送器系统402的另一结构延伸，或者可选地，支承环414能连结到外壳并由外壳支撑，例如图6中所示的外壳。

支承环414还包括连结到支承环414并从支承环414延伸的多个成像装置422。每个成像装置422可基本相似，即使与参见图2描述的成像装置204及其任何变体都不同。另外，支承环414包括至少第一光源424，该第一光源424可为以上参见图2中的光源204所讨论的任意光源。如图4所示，第一光源424位于传送器系统402之间，并且布置成使得由第一光源424发射的光被引导朝向板412和板412上的待成像或扫描的物体408。光穿过板412，物体408，以被多个成像装置422中的至少一个接收，其中与从第一光源424接收的光相对应的数据对应于透射成像数据。

在所示的实施方式中，支承环还包括第二光源426，第二光源426连结到邻近多个成像装置422的支承环414并从其延伸。优选地，第二光源426使用于交互成像模式中，其中第二光源426位于成像装置422附近并且与之平行。在又一实施例中，第二光源426位于成像装置422附近，但是，如图4所示的和在此描述的，成一定角度横向于成像装置422的视野。第二光源426可类似地是参见图2中的光源202讨论的上述任意光源。第二光源426发射的光对应于参见图3描述的交互成像模式300。这样，由第二光源426发射的光沿第一方向被引导朝向物体408，在物体408中转向，并沿第二方向离开物体408，以由至少一个(如果不是全部的话)多个成像装置422接收，其中与从第二光源426接收的光相对应的数据对应于交互成像数据。在所示的实施例中，第一方向和第二方向之间的角度小于90度，并且优选地小于45度，但是应当理解，该角度将根据特定应用(即待扫描物体408的类型)而变化。

如图4所示，多个成像装置422包括5个成像装置422，其中成像装置422沿着支承环414的周长、周缘或内边缘彼此等距地间隔开，其中输入被引导朝向板412和用于接收来自光源424、426之一的光的物体408。这样，每个成像装置422将接收对应于物体408的不同视角的成像数据。换句话说，来自每个成像装置422的视图或数据之间由于这种布置将存在差异，这有助于产生物体408的轮廓和三维图像数据。因此，在所示的实施中，在正常运行期间不需要转动支承环414，因为多个成像装置422的选择和布置提供了输入到机器学习系统的多视角，其中机器学习系统生成如在此所述的作为根据多视角确定3D模型的基础的轮廓。但是应理解，如在此讨论的，成像装置422的具体数量、布置和方位取决于待扫描的物体408和系统400的校准。

此外，每个成像装置422能从第二光源426接收反射成像数据，其中反射成像数据对应于第二光源426，该第二光源426输出波长在1230和1290nm之间、或更优选地为1260nm或大约1260nm(即1255和1265nm之间)的光，其中这样波长下发出的光被物体408的外表面反射，以被多个成像装置422接收或捕获。这样波长(即大约1260nm)对于反射成像模式是优选的，因为虽然水对于高于1000nm的波长会变成高吸收剂，红色肉在约1260nm开始反射光，而白肉则不会。在反射成像模式中，如上所述，每个成像装置422可进一步包括InGaAs传感器，用于在这更大波长捕获光。在物体仅部分地包含在外层中(即物体的一部分延伸出外层)的情况下，反射成像数据特别有用，但是在其他实施方式中，除了交互成像数据之外，还可使用反射成像数据，作为校正参照。

图4进一步示出了与系统400电连通的控制单元428。图5详细示出了根据一个非限制性实施方式的示例的控制单元428。特别地，控制单元428通常可操作以向系统400提供电力并处理或传输从成像装置422接收的成像数据。图5示意性地示出了各种控制系统、模块或运行以控制系统400的其他子系统，包括成像装置422和控制单元428之间的数据交换。

控制单元428包括控制器442，例如微处理器、数字信号处理器、可编程门阵列(PGA)或专用集成电路(ASIC)。控制单元428包括一个或多个非暂时性存储介质，例如只读存储器(ROM)440、随机存取存储器(RAM)438、闪存(未示出)或其他物理计算机-或处理器-可读存储介质。非暂时性存储介质可存储由控制器442(例如，操作系统(OS)和/或应用)使用的指令和/或数据。由控制器442执行的指令可执行逻辑以实施在此描述的系统400、500的各种实施的功能，包括但不限于捕获和处理来自成像装置422的数据。

在系统500(参见图6)包括旋转的支承环或框架504的实施方式中，控制器428可通信地连结到一个或多个致动器(未示出)以控制环504的转动。可选地，控制器428可通信地连结到用以转动环504的一个或多个带(未示出)。此外，控制器442可包括与特定位置(即参见图6讨论的第一位置和第二位置)相对应的指令，其传送到致动器或带，以根据预定的制造速度或传送器速度自动地转动支承环504。

控制单元428可包括用户界面436，以允许终端用户就系统400、500的操作状态或状况操作或以其他方式提供输入到系统400、500。用户界面436可包括能从系统400、500进入的用户可致动的多个控件。例如，用户界面436可包括可操作以打开和关闭系统400、500和/或设定系统400、500的各种操作参数的多个开关或按键。

另外地，或可选地，用户界面436可包括显示器，例如触摸面板显示器。触摸面板显示器(例如，具有触敏覆盖层的LCD)可为终端用户提供输入和输出界面二者。触摸面板显示器可呈现图形用户界面，其具有各种用户可选择的图标、菜单、复选框、对话框以及可由终端用户选择的其他组件和元素以设置系统400、500的操作状态或条件。用户界面436还可包括一个或多个听觉换能器，例如一个或多个扬声器和/或麦克风。这样能提供声音警报通知或信号给终端用户。这样可额外地或可选地使终端用户能提供可听见的命令或指令。用户界面436可包括除了示出或描述的那些之外的其他组件和/或不同组件，和/或可省略了一些组件。

开关和按键或图形用户界面例如可包括拨动开关、小键盘或键盘、摇杆开关、轨迹球、操纵杆或指拨杆。开关和按键或图形用户界面例如可允许终端用户打开系统400、500，启动或结束透射成像模式或交互成像模式，通信地耦合或解耦至远程附件和程序、访问、传输或处理成像数据，激活或停用电机或音频子系统，开始或结束传送器系统的运行状态等。

控制单元428包括可具有一个或多个通信模块或组件的通信子系统444，该通信模块或组件促进与一个或多个外部装置(例如个人计算机或处理器等)的各种组件通信。该通信子系统444可向一个或多个外部装置提供无线或有线通信。该通信子系统44可包括无线接收机、无线传输器或无线收发机，以提供到一个或多个配对设备的各种远程组件或系统的无线信号路径。该通信子系统444例如可包括能实现短距离(例如，通过蓝牙，近场通信(NFC)或射频识别(RFID)组件和协议)或更长距离无线通信(例如，通过无线局域网，低功耗广域网(LPWAN)，卫星或蜂窝网络)的组件，并且可包括一个或多个调制解调器或一个或多个以太网或用于此目的的其他类型的通信卡或组件。该通信子系统444可包括一个或多个桥或路由器，其适于处理包括交换分组类型通信协议(TCP/IP)、以太网或其他联网协议的网络流量。在一些实施方式中，与外部装置的有线或无线通信可提供到指示各种材料特性和光波长特性的查找表的访问。例如，终端用户可从用户界面436中显示的各种材料中选择一种材料，这可存储于外部设备的查找表或类似物中。

控制单元428包括电源界面管理器432，该电源界面管理器432管理从电源(未示出)到控制器428(例如并入在或附接到系统400、500的控制器428)的各种组件的电源供应。电源界面管理器432连结到控制器442和电源。可选地，在一些实施方式中，电源界面管理器432可并入在控制器442中。电源可包括外部电源等等。电源界面管理器432可包括电源转换器、整流器、总线、门、电路等。具体地，电源界面管理器432可基于系统400、500的各种操作状态来控制、限制、限定来自电源的电力供应。

在一些实施例或实施方式中，存储于可由控制器使用的非暂时性存储介质上的指令和/或数据，例如ROM 440，RAM 438和闪存(未示出)的，包括或提供了对控制器428的一个或多个功能提供编程访问的应用程序界面(“API”)。例如，这样的API可提供编程界面以控制系统400、500的一个或多个操作特性，包括但不限于用户界面436的一个或多个功能，或处理从成像装置或装置422接收的成像数据。这种控制可由其他程序、其他远程装置或系统(未示出)或其他模块之一调用。以此方式，API可以促进第三方软件的开发，诸如用于其他设备、插件和适配器等的各种不同的用户界面和控制系统，以促进系统400、500中操作和装置的交互性和定制性。

在示例实施例或实施方式中，控制单元428的组件或模块以及系统400、500中的其他装置是使用标准编程技术来实施的。例如，执行在此描述的各种实施例或实施方式的功能的逻辑可实施为在控制器(例如微处理器442)上可执行地运行的“本机”，连同一个或多个静态或动态库。在其他实施例中，控制器428的各种功能可实施为由虚拟机处理的指令，该虚拟机作为一个或多个程序执行，其指令存储在ROM 440和/或随机RAM438上。一般而言，本领域中已知的一些编程语言可用于实施这些示例实施例，包括各种编程语言范例的代表性实施，包括但不限于面向对象语言(例如Java，C++，C#，Visual Basic.NET，Smalltalk等)，功能(例如ML，Lisp，Scheme等)，过程(例如C，Pascal，Ada，Modula等)，脚本(例如Perl，Ruby，Python，JavaScript，VBScript等)或声明性语言(例如SQL，Prolog等)。

在软件或固件实施中，存储在存储器中的指令在执行时配置控制单元428的一个或多个处理器，例如微处理器442，以执行控制单元428的功能。指令使微处理器442或一些其他处理器(例如I/O控制器/处理器)处理并作用于从一个或多个成像装置422接收的信息，以提供基于成像数据重构3D模型的功能和操作。

上述实施例或实施方式还可使用众所周知的或其他同步或异步客户端-服务器计算技术。然而，各种组件也可使用更多单片机编程技术来实施，例如，作为在单个微处理器上可执行地运行，或者可选地，使用本领域中已知的各种结构化技术分解，包括但不限于多道程序设计、多线程、客户端-服务器，或点对点(例如

NFC或RFID无线技术、网状网络等，在系统400、500中的装置之间提供通信通道)，运行在一个或多个计算机系统上，每个计算机系统都具有一个或多个中央处理器(CPU)或其他处理器。一些实施例可同时和异步地执行，并且使用消息传递技术进行通信。而且，其他功能可以由每个组件/模块实施和/或执行，以不同的顺序实施和/或执行，由不同的组件/模块实施和/或执行，但仍然实现控制单元428的功能。

另外，诸如通过C，C++，C#和Java API之类的标准机制；用于访问文件、数据库或其他数据存储库的库；脚本语言；或Web服务器、FTP服务器或对存储的数据提供访问的其他类型的服务器，对存储于控制单元428上的数据和由控制单元428提供的功能的编程界面是可用的。由控制单元428和整个成像系统存储和利用的数据可实施为一个或多个数据库系统、文件系统、或用于存储这种信息的任何其他技术，或上述任意组合，包括使用分布式计算技术的实施方式。

程序和数据的不同配置和位置预计以在此描述的技术一起使用。多种分布式计算技术适用于以分布式方式实施所示实施例的组件，包括但不限于TCP/IP套接字，RPC，RMI，HTTP和Web服务(XML-RPC，JAX-RPC，SOAP等)。其他变化是可能的。每个组件/模块还可以提供其他功能，或者以不同方式在系统400、500中的组件/模块之间分布现有功能，而仍实现控制单元428和成像系统400、500的功能。

此外，在一些实施例中，控制单元428的一些或全部组件和系统400、500中的其他装置的组件可以以其他方式来实现或提供，例如至少部分地以固件和/或硬件来实现，包括但不限于一个或多个专用集成电路(“ASIC”)、标准集成电路、控制器(例如，通过执行适当指令，并包括微控制器和/或嵌入式控制器)，现场可编程门阵列(“FPGA”，复杂可编程逻辑器件(“CPLD”)等。系统组件和/或数据结构中的一些或全部还可作为内容(例如，作为可执行地或其他机器可读软件指令或结构化数据)存储在计算机可读介质(例如，硬盘；存储器；计算机网络，蜂窝无线网络或其他数据传输介质；或通过适当的驱动器或通过适当的连接(例如DVD或闪存装置)读取的便携式媒质制品)上，以启用或配置计算机可读介质和/或一个或多个相关计算系统或装置，以执行或以其他方式使用或提供内容以实施所描述的技术中的至少一些。

参见图4和图5，控制单元428通过导线430与支承环414和每个成像装置422电连通，导线430可相对于传送器系统402、支撑件418以及支承环414为内置或外置。可选地，控制单元428可以与系统400无线通信，以从成像装置422无线地接收成像数据，如上面参见图5所述。此外，控制单元428可连结到系统或位于系统外部。在一种实施方式中，控制单元428向系统400供电，并且还从成像装置422接收成像数据。控制单元428可包括例如在标准计算机中的至少一个处理器，用于处理成像数据，或可选地，控制单元428可将成像数据传输到其他外部处理器或计算机(为了清晰起见并未特别示出)。

图6示出了成像系统500的可选示范性实施，该成像系统500包括传送器系统402，连结至框架504的框架或环504，连结至框架504并从其延伸的成像装置510，以及第一和第二光源512、514。系统500的实施的某些特征与以上参见系统400描述的特征相似或相同，因此，出于效率的考虑并未重复这些特征。

在该实施方式中，框架504通过支撑件506、508连结到传送器系统502，其中支撑件506是具有通道的基座，该通道用于接收框架504和围绕框架504的至少一个卡箍508。然而，因为该实施方式利用单个成像装置510，所以系统500进一步包括用于使框架504围绕传送器系统502旋转的机构，使得成像装置510可从多个视角、角度或视图捕获物体516的成像数据以有助于3D重建。例如，基座506可以在通道中包括旋转带，其中该带与框架504接触，以根据从外部控制单元(参见图4，其可为控制单元428)接收的输入来转动框架504。然而，在此具体考虑了用于旋转框架504的市场上可买到的其他机构。而且，虽然优选地使框架自动旋转，但是可以通过操纵卡箍508而使旋转基于手动旋转，其中卡箍508可调节于防止旋转的关闭位置和其中框架504可旋转的打开位置之间。

这样，在该实施方式中，框架504至少在第一位置和第二位置之间旋转，其中在第一位置中，成像装置510捕获与分别来自第一光源512或第二光源514的透射或交互成像数据相对应的第一成像数据集。然后，框架504旋转到第二位置，并对第二成像数据集重复捕获过程。可以重复该过程以从特定应用所需的尽可能多方向生成尽可能多视角(即，基于成像装置510相对于物体516处于不同位置的第三，第四，第五，第六或更多视角)。此外，在框架504自动旋转的实施方式中，可根据在系统500的校准期间建立的位置来有效地完成框架504的旋转，同时由于使用较少成像装置510而降低了系统500的成本。

图7示出了系统600的示例性表示，其与系统400、500基本相似或相同，其中系统600包括外壳或盖604，其中外壳604的壁612是实体且不透明的。外壳604的入口部分或开口610包括盖608，该盖608包括不透明材料的条带，这些条带在每个入口部分610的至少80％的面积上延伸，使得光不能进入外壳604。此外，虽然没有特别阐述，支承环或框架414、504可连结到外壳604并由其支撑，控制单元606可连结到外壳604的外壁612，其中在各种实施方式中，控制单元606为系统600提供功率，提供与旋转框架504的位置相对应的坐标并控制旋转框架504的旋转，或者包括用于基于从系统600接收的成像数据来产生3D模型的处理器。

图8是重建方法或系统700的示意性表示，由机器学习系统或深度卷积神经网络利用，以从一维(“1D”)成像数据和二维(“2D”)轮廓来生成3D模型702。

通常，机器学习和卷积神经网络(“CNN”)通常可实施为一系列操作层。一个或多个卷积层之后可以是一个或多个池化层，并且该一个或多个池化层之后可选地是一个或多个归一化层。从单个未知图像，卷积层创建多个核映射，其又称为滤波图像。一个或多个池化层可减少多个滤波图像中的大量数据，归一化数据的一个或多个整流线性单元(“ReLU”)可进一步减少数据的量。优选地，本公开的实施方式依赖于语义分割，其中用于训练CNN的参数是应用相关的，并且需要根据图像数据的复杂度进行调整，而这继而又取决于要检查的食品。

换句话说，核函数选自已知图像中。并非已知图像的每个核函数都需要被神经网络使用。相反，可选择被确定为“重要”特征的核函数。卷积过程产生核映射(即特征图像)后，核映射通过池化层，以及归一化(即ReLU)层。输出映射中的所有值进行平均(即求和与除法)，并且取平均值后的输出值用作预测未知图像是否包含已知图像中找到的特定特征。

在示范性情况下，输出值用于预测未知图像是否包含重要特征，在实施中，该重要特征是位于物体第一部分内部的物体第二部分，例如红色肉(即第二部分)由金枪鱼片的白肉(即第一部分)包围。借由此输出，CNN接着能从图像产生与关注的标识区域相对应的轮廓。

在描述的系统700中，机器学习程序或深度卷积神经网络将接收从系统400、500捕获的来自多视角的图像数据704作为输入，其中每个图像数据集对应于金枪鱼片的照片，其中第一部分706围绕第二部分708。虽然摄像机或光谱仪可使用线扫描来获取1D数据，但是如在此所述的，1D数据在用于CNN中之前与2D图像数据结合以恢复轮廓。

在被扫描物体是金枪鱼片的实施方式中，第一部分706对应于具有第一组特征的第一外层肉，第二部分708对应于具有第二组不同特征的第二内层肉，其中第二部分708位于第一部分706中。如图7所示，每个图像数据集704对应于成像数据，并且优选地对应于透射成像数据，其可以表示强度值，其中较亮的像素分配给第一部分706，较暗的像素分配给第二部分708。这样，图像数据704是2D图像的单线，其在此意义上为1D，换句话说，由CNN分析的每个像素或核函数对应于强度值。

在最高级别的机器学习程序或深度卷积神经网络上，CNN是基于数千个代表性的样本图像池来训练的，以识别第二部分708(即金枪鱼片中的红色肉)的一般外观；例如，基于可包括数千个金枪鱼鱼片图像的参照图像大池，第二部分708通过平行于其主轴的鱼片的中心。在另一个层面上，基于代表性的样本图像，CNN将获取有关边缘、直线和曲线的知识，其中CNN的准确性会随着扫描图像越多而提高。这样，基于强度值的差异，CNN将识别与第二部分708相对应的照片的部分。一旦识别出这些部分，CNN将制定多个轮廓710，其中每个轮廓对应以2D表示的每个视图中的已标识的第二部分708。

例如，CNN由许多层组成，其中输入和输出之间的层称为“隐藏层”。每一层都有大量神经元，这些神经元在各层之间完全连接。这些连接对应于基于参照图像学习的权重。神经元或节点是一种计算单位，其采用输入值，将其乘以相关的权重，通过激活函数(例如，如在此所述的ReLU)运行并传送输出。此输出形成通过另一连接而链接的下一个神经元的输入。此外，CNN可包括其他层，例如与神经元类似地使用但具有不同的功能的卷积、池化、归一化和丢弃。

在训练网络之前，随机分配节点之间的连接或权重。训练网络时，使用带标签或带注释数据。例如，输入数据(例如图像数据)与期望的输出数据(例如轮廓)相关。通过第一层的输入节点可提供输入数据(例如图像数据)，而且知道输出层的期望值(例如标记的轮廓)，通过这些，能通过几次迭代来调整连接的权重，从而无论输入数据是什么，CNN都返回预期的输出。这基本上是以大量参数的优化过程。只要改变一个权重，就会影响整个网络，因此，训练CNN可能包括数十次，数百次或数千次迭代。

CNN的卷积层减小了图像的大小，这确定了能看到或评估的区域。例如，将一个9x9像素的小窗口移到待分析的整个图像上。在该窗口中，观察者会看到整个物体的一小部分(例如，线和角)。随着图像尺寸的减小但窗口尺寸保持不变，可识别更多的物体特征。如果图像非常小且几乎适于窗口中，观察者会在单个步骤中看到整个鱼片以及红色肉。

这是神经网络所看见的一个示例。在网络的早期层中，将学习权重以允许检测与例如在金枪鱼鱼片中识别红色肉相关的线和角。而在以后的层中，这些线将形成曲线，直到整个红色肉被识别为物体并与作为参照的周围物相关(例如，红色肉在白肉的边界之间，沿主轴延伸)。这些特征以并行而全部相关的方式学习。没有线和角，很难基于红色肉的整体外观确定红色肉边界。类似地，当有很多对应于红色肉的线和角但是红色肉的整体外观未知时，很难区分哪些线和角是相关的。但是，知道这些高层特征和低层特征二者则能检测图像数据中的红色肉。

然后，计算系统通过使用算法将每个轮廓710反投影到多个投影712中，其中在一种实施中，该算法将与每个轮廓710的外边界相对应的线延伸到更高维度的场景中，如图7中所示的。通过反投影每个轮廓710并分析投影712之间的相交714，可确定第二部分708的3D模型702。在一种实施中，反投影基于锥形视场。与交互成像模式对应的成像数据，例如模式300，可用于基于关注物体的深度来完善模型。例如，如果关注物体的属性基于关注物体对应的信息数据库是已知的，则在交互成像模式中将捕获的散射的光的量会根据关注物体(在一种实施中是金枪鱼片中的红色肉)的深度而变化。而且，交互成像数据有助于校正被扫描物体的表面的凹面，因为捕获的光会根据物体的深度而变化，如上所述的。因此，如果物体具有凹面，则交互成像数据会有所不同，对于物体中具有凹面的部分，其中材料较薄，与之相反，对于物体中没有凹面的部分，其中材料较厚(即较低的捕获强度值对应于较薄的材料，因为较少的光将被散射和捕获，而较高的强度值对应于较厚的材料，因为更多的光在无法穿透或透射通过较厚的材料时将被散射)。

图9是表示基于由成像系统(例如，成像系统400、500)捕获的图像数据生成关注物体的3D模型的示范性方法800的流程图。方法800从802处开始，其中在804处激活传送器，并且将待扫描的物体加载到传送器上。可通过外部开关或通过控制单元或程序来激活传送器。类似地，在806处，可通过外部开关手动地激活或者通过控制单元或处理器激活光透射系统，该光透射系统与参照200所描述的透射成像模式200基本相似。作为光透射系统的一部分的成像装置，通过其自身或通过与透射系统电子通信的控制单元相关联的程序，在808处确定传送器上与通过物体的光相对应的成像装置是否接收到透射图像数据，其中在一种实施中，该成像装置为光谱仪、摄像机或传感器。

如果没有接收到图像数据，则过程返回到806处并重复，直到接收到图像数据为止。一旦接收到透射图像数据，就将其发送到处理器，并且方法800进行到810处，其中透射模式被禁用并且交互成像模式被激活。交互成像模式可基本类似于参照图3描述的交互模式300。再次，在812处确定成像装置或光谱仪是否接收了交互成像数据。如果否，则该过程通过返回810处重复进行，直到成像装置接收到交互成像数据为止。一旦检测到交互成像数据，就在814处将交互成像数据传送到处理器。在存在多个成像装置的实施中，可对每个特有成像装置重复上述过程以产生多个视图。可选地，在成像装置旋转的实施方式中，每次成像装置位于独有位置时都重复这个过程，以生成多个视角或多个透射成像数据集和多个交互成像数据套。

处理器包括机器学习程序或CNN，其中CNN在816处接收与每个视角相对应的透射图像数据作为输入。然后，CNN在816处生成在每个透射图像数据集中对应关注特征的多个轮廓，在一种实施中，其为位于一块食物中的物体或者位于第一部分鱼中的第二部分鱼。每个轮廓在818处反投影到多个投影中，并对每个投影的共同相交进行分析以基于相交确定3D几何形状。然后，处理器在822处输出该3D几何形状并且手动地或通过其他处理器步骤确定关注物体是否在被扫描物体的表面附近。如果否，则基于透射成像数据输出3D几何形状，该方法800在828处结束。

如果关注物体在该表面附近，则过程继续到824处，其中CNN使用交互成像数据基于透射图像数据来校正或阐明3D几何形状。一旦在824处校正了3D几何形状，则处理器或CNN在826处输出经校正的3D几何形状，并且过程在828处结束。

图10是用于基于由成像系统捕获的图像数据来生成关注物体的3D模型的方法900的可选示范性实施。方法900在902处开始，其中传送器和光透射系统904被激活。成像装置或光谱仪在906处确定成像装置是否接收或捕获了与透射成像数据相对应的成像数据。如果否，则处理器返回到904处，直到接收到数据为止。如果是，则方法900继续到908处，其中在908处将透射成像数据传送到处理器。然后，处理器通过卷积神经网络从910处的一维透射图像数据确定多个二维轮廓。在912处对每个轮廓进行反投影，并对相交进行分析。然后，在914处，处理器基于每个投影之间的共同相交来输出3D几何形状。

然后，在916处用处理器或CNN确定关注物体是否在被扫描物体的表面附近。如果否，则方法900在926处结束，3D模型基于透射成像数据。如果是，则方法900在918处继续激活交互成像系统，其中在920处，该成像装置确定成像装置或光谱仪是否接收到与交互成像数据相对应的成像数据。如果否，则方法900返回至918处，直到接收或捕获了这种数据。如果是，则方法900进行到922处，其中交互成像数据传送到处理器，并且如果有必要，则基于交互成像数据来校正3D模型。最后，在924处输出经校正的3D模型，方法900在926处结束。

通过获取三维信息，本公开能更精确地确定内部缺陷的体积和形状，这可能会影响质量控制检查中关于是否需要废弃某些食品材料。此外，通过了解物体的三维几何形状，能更准确地加工和去除次要产品，从而将主要产品的损失降到最低。

以上描述的实施方式，包括摘要中所描述的，并非穷尽的或者是将实施方式限制为所公开的精确形式。虽然在此出于说明性目的描述了特定实施和示例，但是如相关领域的技术人员将认识到的那样，在不脱离本公开的精神和范围的情况下，可做出各种等同修改。在此在各种实施中提供的启示可应用于食品加工情况之外，并不一定是上面如上所述的示范性成像系统和方法。

例如，前述详细说明已经通过使用框图、示意图和示例阐述了装置和/或过程的各种实施方式。只要这种框图、示意图和示例包含一个或多个功能和/或操作，本领域技术人员将理解，这种框图、流程图或示例中的每个功能和/或操作能通过范围广泛的硬件、软件、固件或其实质上任意组合单独地和/或共同地实施。在一种实施中，本主题可经由专用集成电路(ASIC)来实施。然而，本领域技术人员将认识到，在此公开的实施可全部或部分地等效实施于标准集成电路中作为由一台或多台计算机执行的一个或多个计算程序(例如，在一个或多个计算机系统上运行的一个或多个程序)，作为由一个或多个控制器(例如，微控制器)执行的一个或多个程序，作为由一个或多个处理器(例如，微处理器)执行的一个或多个程序，作为固件，或者作为其实质上任意组合，并且本领域技术人员将认识到，根据本公开的启示，在本领域普通技术人员的技能范围内能设计电路和/或编写软件和/或固件的代码。

当逻辑被实现为软件并存储在存储器中时，逻辑或信息可存储在任何计算机可读介质上以供任何与处理器相关的系统或方法使用或与其连接。在本公开的上下文中，存储器是计算机可读介质，其为包含或存储有计算机和/或处理器程序的电子、磁性、光学或其他物理装置或构件。逻辑和/或信息可体现在任何计算机可读介质中以供指令执行系统、设备或装置使用或与其连接，例如基于计算机的系统，包含处理器的系统或能从指令执行系统、设备或装置中获取指令并执行与逻辑和/或信息相关的指令的其他系统。

在本说明书的上下文中，“计算机可读介质”可以是能存储与逻辑和/或信息相关联的程序的任何元件，以供指令执行系统、设备和/或装置使用或与其连接。计算机可读介质可以是，例如但不限于电子、磁性、光学、电磁、红外或半导体系统，设备或装置。计算机可读介质的更具体的示例(非穷尽列表)会包括以下：便携式计算机软盘(磁性、紧凑型闪存卡、安全数字等)、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM、EEPROM或闪存)、便携式紧凑型光盘只读存储器(CDROM)、数字磁带以及其他非暂时性介质。

在此描述的许多方法都可以更改。例如，许多方法可包括其他动作，省略一些动作和/或以与所示或所描述的顺序不同的方式执行动作。

上述各种实施方式可组合以提供更多实施方式。在不与此处的特定启示和定义相抵触的范围内，本说明书中引用的和/或申请数据表中列出的所有美国专利、美国专利申请出版物、美国专利申请、外国专利、外国专利申请和非专利出版物在此通过引用均整体并入本文。如果有必要采用各种专利、申请和出版物的理念来提供更多实施方式，可修改实施方式的各个方面。

根据上述详细说明，对实施可进行这些和其他改变。通常，在以下权利要求书中，所使用的术语不应解释为将权利要求书限制为说明书和权利要求书中公开的特定实施方式，而应解释为根据权利要求书包括所有可能的实施方式和全部等同范围。因此，权利要求不受本公开的限制。

Claims (17)

1.一种系统，包括:

第一传送器；

与所述第一传送器通过间隙分开的第二传送器；

透明板，所述透明板置于所述间隙中并连结到所述第一传送器和所述第二传送器中的至少一个；

支承环，所述支承环至少部分位于所述间隙中并连结到所述第一传送器和所述第二传送器中的至少一个；

连结到所述支承环的至少一个成像装置；

连结到所述支承环的第一光源；以及

与所述支承环和所述至少一个成像装置电子通信的控制单元，

其中在操作期间，所述第一光源发射朝向所述透明板上的物体的光，并且所述控制单元从所述至少一个成像装置接收成像数据，所述控制单元构建包含于所述物体的第一部分中的所述物体的第二部分的三维模型。

2.如权利要求1所述的系统，其中所述至少一个成像装置传送成像数据到所述控制单元，所述成像数据包括交互成像数据和透射成像数据之一。

3.如权利要求1所述的系统，其中所述物体是金枪鱼片，并且所述第一光源发射波长等于约1260纳米、约805纳米或约770纳米中的一个的光。

4.如权利要求1所述的系统，其中所述处理器使用卷积神经网络形式的机器学习以处理成像数据。

5.如权利要求4所述的系统，其中所述卷积神经网络接收所述图像数据并根据对应于所述物体的所述第二部分的所述图像数据来输出多个轮廓，所述处理器将所述轮廓投影到多个投影中并分析所述多个投影之间的相交以构建所述三维模型。

6.如权利要求1所述的系统，其中所述支承环包括连结到所述支承环的多个摄像机，多个所述摄像机中的每个摄像机捕获来自所述第一光源的透射、交互或反射成像数据之一。

7.如权利要求6所述的系统，其中所述支承环包括连结到所述支承环的第二光源，其中在操作期间，所述第二光源发射朝向所述透明板的光。

8.一种装置，包括：

传送器，所述传送器的第一部分和第二部分之间具有间隔；

位于所述间隔中并连结到所述传送器的板；

至少部分位于所述间隔中并连结到所述传送器的支承环；

连结到所述支承环的至少一个光源；

连结到所述支承环的成像装置，以及

与所述成像装置电子通信的处理器，

其中在操作期间，所述支承环在至少第一位置和第二位置之间转动，所述至少一个光源发射朝向所述板上的物体的光，所述成像装置接收在光穿过所述物体之后来自所述至少一个光源的光，

其中处理器在所述支承环位于所述第一位置时从所述成像装置接收第一图像数据集并且在所述支承环位于所述第二位置时从所述成像装置接收第二图像数据集，并且从所述第一图像数据集和所述第二图像数据集输出物体的内部部分的三维模型。

9.如权利要求8所述的装置，其中所述处理器利用机器学习以将所述第一图像数据集和所述第二图像数据集处理成多个轮廓并将所述多个轮廓投影到多个投影中，其中所述三维模型基于所述多个投影中每个之间的相交。

10.如权利要求8所述的装置，进一步包括连结到所述支承环的第二光源，当所述支承环位于所述第一位置或所述第二位置时，所述成像装置从所述第二光源捕获第三图像数据集，所述处理器利用所述第三图像数据集来阐明所述三维模型的边界。

11.如权利要求8所述的装置，其中所述成像装置为光谱仪，所述至少一个光源发射波长选自大约1260纳米、大约805纳米或大约770纳米之一的光。

12.一种方法，包括：

从光源发射光，所述发射包括引导所述光通过具有第一部分和第二部分的物体，所述第二部分被围在所述第一部分中；

借由成像装置在所述光穿过所述物体后捕获来自所述光源的光，被捕获的光对应于所述成像装置接收到的所述第一部分和所述第二部分的图像数据；

将所述图像数据传送到所述处理器；以及

借由所述处理器分析所述图像数据以检测所述第一部分和所述第二部分之间的边界，其中所述分析包括利用机器学习以生成所述第二部分的三维表征。

13.如权利要求12所述的方法，其中从光源发射光包括发射波长选自大约1260纳米、805纳米或770纳米之一的光。

14.如权利要求12所述的方法，其中利用机器学习以生成所述第二部分的三维表征包括所述机器学习利用深度卷积神经网络用于处理所述图像数据。

15.如权利要求12所述的方法，其中借由所述处理器分析所述图像数据包括利用机器学习以输出对应于所述第二部分的所述图像数据的多个二维轮廓。

16.如权利要求15所述的方法，其中借由所述处理器分析所述图像数据包括利用机器学习以创建多个投影，其中每个投影对应于所述多个二维轮廓中的每一个。

17.如权利要求15所述的方法，其中分析包括利用机器学习以产生三维表征还包括分析所述多个投影中的每个之间的相交以输出所述物体的所述第二部分的三维表征。

Images