CN107428495A - 多摄像装置载荷估计 - Google Patents
多摄像装置载荷估计 Download PDFInfo
- Publication number
- CN107428495A CN107428495A CN201680013625.9A CN201680013625A CN107428495A CN 107428495 A CN107428495 A CN 107428495A CN 201680013625 A CN201680013625 A CN 201680013625A CN 107428495 A CN107428495 A CN 107428495A
- Authority
- CN
- China
- Prior art keywords
- thermal sensation
- camera device
- weight
- group
- elevator car
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000035807 sensation Effects 0.000 claims abstract description 159
- 238000000034 method Methods 0.000 claims description 22
- 230000000007 visual effect Effects 0.000 claims description 20
- 238000000926 separation method Methods 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims 2
- 238000010168 coupling process Methods 0.000 claims 2
- 238000005859 coupling reaction Methods 0.000 claims 2
- 238000003384 imaging method Methods 0.000 abstract description 11
- 238000004448 titration Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 5
- 239000002245 particle Substances 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 102000002262 Thromboplastin Human genes 0.000 description 2
- 108010000499 Thromboplastin Proteins 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000012730 carminic acid Nutrition 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B1/00—Control systems of elevators in general
- B66B1/34—Details, e.g. call counting devices, data transmission from car to control system, devices giving information to the control system
- B66B1/3476—Load weighing or car passenger counting devices
Abstract
可以对由3D深度摄像装置和热感摄像装置捕获的成像数据进行组合，以识别对象并且确定对象是人类还是非人类。可以基于体积分析来估计人类和非人类对象的总重量，并且向升降机调度控制器报告人类和非人类对象的总重量以使得能够更有效地调度升降机轿厢。
Description
优先权
本申请要求于2015年3月4日提交的题为“Multi Camera Load Estimation”的美国临时专利申请第62/128,187号的优先权。其公开内容通过引用并入本文中。
技术领域
所公开的技术涉及一种用于基于深度成像与热感成像(thermal imaging)的组合来估计占用或进入升降机的对象和乘员的重量的系统。
背景技术
确定升降机轿厢中的乘员的重量对于有效且安全地操作升降机系统而言很重要。当已知载荷重量时，升降机轿厢当在载荷重量极限处或接近载荷重量极限的情况下工作时，可以在接受更多乘员之前被引导以卸载乘员。通过确保升降机不过载，可以保护乘员的安全性和舒适性并且可以改善升降机系统的机械部件的寿命。
可以以各种方式确定载荷重量。可以将应变计置于升降机轿厢本身上或者与升降机轿厢相关的结构上，以测量由乘客施加到轿厢的力。可以将应变计安装在支承轿厢的绳索上以测量轿厢内的力。然而，需要小心地校准并维护应变计以提供对载荷重量的准确指示。由于在井道内的升降机轿厢内和周围缺少空间并且不方便使升降机轿厢脱机以执行维护和安装，因此对应变计的安装和维护会是困难的。即使当被正确地校准时，置于升降机的结构部分上的应变计也会在升降机内的乘客在运动或者不均匀地分布在轿厢内时提供不准确的测量。类似地，由于绳索振动和摇摆，安装在绳索上的应变计会提供不准确的重量测量结果。
因此，需要一种用于确定升降机轿厢内的乘员和对象的重量及其在升降机轿厢中的相对位置的改进系统。
附图说明
随后的附图和详细描述仅仅旨在进行说明而不旨在限制如由发明人构想的发明的范围。
图1是系统为了使用摄像装置确定载荷重量而可以执行的一组高级步骤的流程图。
图2是升降机轿厢内的示例性摄像装置放置的前视图。
图3是系统为了基于深度成像来对对象进行分类而可以执行的一组步骤的流程图。
图4是系统为了基于热感成像来对对象进行分类而可以执行的一组步骤的流程图。
图5是系统为了确定对于对象的最终分类而可以执行的一组步骤的流程图。
图6是系统为了确定人类对象的重量而可以执行的一组步骤的流程图。
图7是系统为了确定非人类对象的重量而可以执行的一组步骤的流程图。
图8是示出两个邻近的摄像装置之间的共同视场的自上而下的透视图。
具体实施方式
本发明人构思了为了说明的目的而在本文被公开为在升降机载荷重量确定和对升降机轿厢中的放置或位置的确定的背景下应用的新技术。虽然所公开的本发明人的技术的应用在升降机载荷重量确定的领域内满足了长期但未被满足的需求，但是应当理解，本发明人的技术不限于以本文所阐述的确切方式实现，而是可以由本领域普通技术人员根据本公开内容在无需过度实验的情况下以其他方式实现。因此，本文阐述的示例应被理解为仅是说明性的，而不应视为进行限制。
现在转到附图，图1示出了系统为了使用摄像装置确定载荷重量而可以执行的一组高级步骤的流程图。在升降机轿厢中或附近安装并初始化(100)一个或多个摄像装置。初始化可以包括例如上电以及对摄像装置的自动或手动校准以将诸如光源、反射表面的背景噪声考虑在内或者将摄像装置被安装在其中的空间的大小和其他特征考虑在内。图2示出了升降机轿厢(200)内的摄像装置安装的一个示例。在该实施例中，热感摄像装置(202)置于升降机轿厢(200)的天花板附近，使得其可以捕获升降机轿厢(200)的内部的热感图像。热感摄像装置(202)可以是可以捕获对其视场内的对象的温度变化的表示的任何装置，例如，Grid-Eye阵列传感器、MLX90621、HTPA32x31或类似装置。深度摄像装置(204)置于热感摄像装置(202)附近，以使得摄像装置(202，204)共有升降机轿厢(200)的内部的类似视场。深度摄像装置(204)可以是可以捕获其视场内的对象的深度场或3D表示的任何装置，例如，华硕(Asus)Xtion、微软(Microsoft)Kinect、PrimeSense Carmine或类似装置。摄像装置(202，204)可以经由局域网、无线区域网或数据线缆与诸如升降机控制器或图像处理器的处理装置可通信地耦接，使得所获取的图像数据可以由升降机系统的其他部件存储、分析或操纵。
虽然图2中所示的示例示出了置于升降机轿厢内的摄像装置(202，204)，但是所公开的技术也可以以如下配置实现：摄像装置(202，204)置于升降机井道外部的厅部区域中并且被定位成使得其视场捕获等候升降机轿厢的乘客或者最近进入升降机轿厢的乘客。替选地，所公开的技术可以以如下配置实现：摄像装置(202，204)置于厅部与升降机轿厢之间的空间内，诸如井道门侧柱。对摄像装置(202，204)的放置是灵活的并且将根据实施例而变化以适合与其一起使用的特定升降机系统。此外，虽然图2所示的示例示出了单个热感摄像装置(202)和单个深度摄像装置(204)，但是所公开的技术也可以以可以使用每种类型的多个摄像装置或者一种类型的多个摄像装置和另一类型的单个摄像装置来收集在载荷重量确定中使用的数据的形式来实现。
一旦摄像装置(202，204)准备好使用(100)，系统可以捕获深度图像并且执行深度分类(102)。可以通过分析由深度摄像装置(204)提供的所捕获的深度图像数据来执行深度分类(102)，以识别升降机轿厢内的不连续对象并且提供关于所识别的每个对象是人类对象还是非人类对象的临时深度分类。类似地，热感摄像装置(202)可以用于捕获热感图像数据，该热感图像数据可以用于提供关于每个不连续对象是人类对象还是非人类对象的临时热感分类(104)。在一些实施例中，诸如在对每个对象的分类是自包含的且不依赖于另一个的实施例中，对深度分类(102)和热感分类(104)的确定可以并行发生。在诸如图1所示的实施例的其他实施例中，深度分类(102)可以用作在确定热感分类(104)时的因子。例如，在深度图像内识别的许多不连续对象可以用于识别具有相同或类似视场的热感图像内的不连续对象。类似地，热感分类(104)可以用作在确定深度分类时的因子。例如，如果热感图像指示具有类人类热信号(humanlike heat signature)的对象站在不具有热信号的对象后面或附近，则该信息可以与深度图像一起用于将初始看作单个对象的对象分离成两个不连续对象。深度分类(102)和热感分类(104)可以与任何其他指标组合以产生将升降机轿厢内的每个不连续对象识别且分类为人类或非人类的最终分类(106)。深度数据、热感数据和最终分类(106)可以用于允许升降机控制器或另一处理装置计算所识别的被分类为人类的所有对象的重量(108)并且计算所识别的被分类为非人类的所有对象的重量(110)。所计算的重量(108，110)可以例如用于优先对升降机轿厢的调度(112)以优化升降机系统的安全性、舒适度和效率。
现在转到图3，该图示出了系统为了基于深度成像来对对象进行分类而可以执行的一组步骤的流程图。在该实施例中，从深度摄像装置(204)获取深度图像(300)并且使其可用于图像处理器。图像处理器使用对象识别软件来识别升降机轿厢内的分离且有区别的对象(302)的总数。一旦已识别分离对象(302)，就可以对分离对象的集合进行循环访问并分类，直到每一个均被分类(304)为止。可以按被识别为分离对象的顺序、按相反顺序或者按可以最佳地利用特定硬件配置的能力的任何其他顺序循环访问分离对象的集合。为了对对象进行分类，图像处理器可以应用对象识别软件以对有区别的对象是否是人类进行分类(308)。对象识别软件可以接受深度图像作为输入并且识别诸如人形的对象。对象识别软件的示例可以包括OpenCV、OpenNI、RealSense SDK、JavaFX或类似软件。在一些实施例中，对象识别软件使用可以基于深度成像来辅助人类跟踪以及构建关节型人体模型的粒子滤波、贝叶斯数值近似方法。粒子滤波具有四个基本步骤：从先前的N个粒子重新采样，进行传播以应用时间动力学，根据可能性进行加权，并且进行后验估计。关于对于粒子滤波的步骤的数学表示的示例，参见下表1。
| 重新采样 | p(xk-1|Zk-1) |
| 传播 | p(xk|xk-1) |
| 加权 | p(zk|xk) |
| 估计 | p(xk|Zk) |
表1：对粒子滤波的数学表示，其中，p表示后验概率，x表示隐藏状态，Z表示可观察状态以及k表示时间步长。
如果对象识别软件表明特定对象是人类，则可以生成表示特定对象是人类的可能性的置信度分数。如果对象识别软件表明特定对象是非人类，则可以生成表示特定对象是非人类的可能性的置信度分数。由于对象识别软件将每个对象分类为人类或非人类，因此将该信息及其相关置信度分数保存在数据结构中。在一些实施例中，在对象识别软件不能将对象分类为人类或非人类的情况下，可以将对象分类为未知的。一旦所有有区别的对象都已被分类(304)，则可以将识别、分类和置信度分数存储(306)到数据库、高速缓冲存储器、存储器或其他存储介质中以由图像处理器和升降机控制器进一步使用。在一些实施例中，除了作为系统的正常操作的一部分固有地发生的存储之外，不会发生单独的数据存储(306)。
现在转到图4，该图示出了系统为了基于热感成像来对对象进行分类而可以执行的一组步骤的流程图。在该实施例中，从热感摄像装置(202)获取热感图像(400)并且使其可用于图像处理器。图像处理器取回来自与最近获取的热感图像(400)具有类似视场的深度摄像装置(204)并且在类似时间帧捕获的深度数据，并且将热感图像映射到深度图像(402)。通过将热感图像(400)映射到深度图像(402)，图像处理器可以确定针对由深度摄像装置(204)识别的有区别的对象的热感数据。在替选实施例中，可以将深度图像映射到热感图像，使得图像处理器可以确定针对由热感摄像装置(202)识别的有区别的对象的深度数据。例如，如果深度图像指示有区别的对象位于升降机轿厢内的特定位置处(例如，在由网眼红外阵列传感器为了对其视场进行细分而使用的特定的一个或多个单元内)，则由于热感摄像装置(202)位于升降机轿厢内以使得其与深度摄像装置(204)共有共同视场，因此同一有区别的对象将位于热感图像内的类似位置处。在一些实施例中，在可以期望以不导致共同视场的方式安装热感摄像装置(202)和深度摄像装置(204)的情况下，可以使用一些预备图像变换来将热感图像映射到深度图像(402)。
例如，图8示出了两个摄像装置的视场的自上而下的透视图。在图8中，摄像装置(800，802)以使得其指向相同方向但在每个镜头的中点之间具有静态距离的方式安装。由于偏移，摄像装置(800，802)均具有独特的视场(804，806)以及共同视场(808)。通过选择每个图像的表示共同视场(808)的部分并且丢弃每个图像(804，806)的其余部分，可以将每个摄像装置(800，802)所得到的图像映射到彼此。该图像变换可以在安装时手动地配置或者可以通过比较两个图像之间的空升降机轿厢的背景特征来自动地配置。其他图像变换可以是这样的情况：其中，摄像装置安装在升降机轿厢的相对侧并且要求图像是镜像的以获得可比较的视场，或者其中，一个摄像装置可以被放置成比另一摄像装置更靠近目标视场并且要求远的图像被缩放并剪裁以获得可比较的视场。
一旦热感图像被映射到深度图像(402)以使得可以在热感图像内识别有区别的对象，可以检查基于热感图像(404)而未被分类的任何对象。如果热感图像数据指示对象是人类，则其可以被热感分类(408)为人类，并且可以生成表示对象是人类的可能性的置信度分数。热感数据可以以各种方式指示对象是人类，例如，对象具有在90华氏度至100华氏度之间的温度，对象示出显出躯干、臂部、腿部和头部的热感图案，或者对象靠近诸如躯干的中心具有更高温度而在诸如臂部和腿部的末端具有较低温度全部都可以用作人类对象的指标并且也可以用作当计算热感置信度分数时的因子。如果热感数据将对象分类(408)为非人类，则可以生成表示对象是非人类的可能性的置信度分数。
热感数据可以以各种方式指示对象是非人类，例如，对象具有与升降机轿厢地板或墙壁的温度相同的温度、对象具有在90华氏度以下的温度以及对象在其整个质量上具有稳定温度全部可以用作非人类对象的指标并且也可以用作在计算热感置信度分数时的因子。这些因子可以用于通过将根据每个因子的加权值进行组合以获得概率指标来计算热感置信度分数。例如，在计算指示人类的热感置信度分数时，温度为98华氏度的对象可以被估值为具有95％置信度，而在98华氏度以上或以下的变化会逐渐减小置信度评分以使得30华氏度或140华氏度的温度可以具有对象为人类的0％置信度。在一些实施例中，在基于热感数据不能将对象分类为人类或非人类的情况下，可以将对象分类为未知的。一旦所有有区别的对象已接收到热感分类(404)，就可以将热感分类和置信度分数存储(406)到数据库、高速缓冲存储器、存储器或其他存储介质中作为对象数据结构的一部分，以由图像处理器和升降机控制器进一步使用。在一些实施例中，除了作为系统的正常操作的一部分固有地发生的存储之外，不会发生单独的数据存储(406)。
现在转到图5，该图示出了系统为了确定对于对象的最终分类而可以执行的一组步骤的流程图。在该实施例中，如果存在未接收到最终分类的对象(500)，则系统将进行检查以查看是否存在与对象相关的深度置信度分数(502)。如果深度置信度分数可用(502)，则选择并取回深度置信度分数以用作(504)表明对象是人类或非人类的因子，并且系统将继续检查热感置信度分数(506)。如果没有深度置信度分数可用，则系统将继续检查热感置信度分数(506)。如果热感置信度分数可用(506)，则选择并取回热感置信度分数以用作(508)表明对象是人类或非人类的因子，并且系统将继续检查影响置信度的其他因子(510)。如果没有热感置信度分数可用，则系统将继续检查影响置信度的其他因子(510)。如果影响置信度的其他因子可用(510)，则选择并取回其他因子以用作(512)表明对象是人类或非人类的因子，并且将确定对对象的最终分类(514)。
如果没有影响置信度的其他因子可用(510)，则确定对象的最终分类(514)。在一些实施例中，在由于通过热感分类和深度分类之一或两者将对象分类为未知的而可以针对对象确定没有最终分类的情况下，或者在来自各种分类的置信度分数抵消并且导致不能确定的最终分类的情况下，可以分配未知的最终分类。在这样的实施例中，可以向未知分类的对象分配可配置的默认分类。例如，如果非人类对象的重量大于相同大小的人类对象的重量，则可以配置非人类的默认分类，使得总的载荷被过高估计而不是被低估。替选地，未知分类会使对象具有被计算为人类对象和非人类对象两者的重量，并且最终重量由两者的平均值确定。一旦所有对象已被分类(500)，就可以将最终分类作为对象数据结构的一部分存储(516)到数据库、高速缓冲存储器、存储器或其他存储介质中并且使得可用于由图像处理器和升降机控制器进一步使用。在一些实施例中，除了作为系统的正常操作的一部分固有地发生的存储之外，不会发生单独的数据存储(516)。
除了热感成像和深度成像之外可以影响置信度分数的其他因子可以例如包括可以检测人呼吸或心率的声音检测装置、通过扫描升降机访问卡来确定升降机中的总人数的RFID读取器、对当人进入时对进入升降机的人的数量进行计数的运动感测门计数器、报告为了离开升降机而选择的楼层的编号的升降机控制器、或者可以提供对升降机轿厢上的人数的指示的其他装置或数据。这些因子可以通过例如降低所有临时人类分类的置信度分数来影响置信度分数，在临时分类指示存在超过由RFID扫描仪或门计数器报告的数量的人数情况下，这会导致置信度低的人类分类变成非人类(或未定的)分类。
可以以各种方式来根据一个或多个置信度分数确定最终分类(514)。在一些实施例中，可以对各个置信度分数均等地加权并组合或者比较各个置信度分数以对对象进行分类。例如，如果对象的深度置信度分数指示其为非人类的置信度为50％，热感置信度分数指示其为人类的置信度为55％，并且没有指示对象是人类还是非人类的其他信息可用，则可以基于较高热感分类将对象的最终分类确定(514)为人类。在另一实施例中，如果来自一个装置的置信度被估值为在来自另一个装置的置信度以上，则可以配置热感置信度与深度置信度的加权组合。例如，如果深度置信度分数指示对象为非人类的置信度为50％，而热感置信度指示对象为人类的置信度为30％，则由于热感图像的结果的准确性和简单性而可以认为热感置信度的价值是深度置信度的价值的两倍，从而意味着在最终比较中，热感置信度可以被加权为对象是人类的60％置信度，并且导致对象是人类的最终分类(514)。
在另一实施例中，诸如从显出乘客的最大数量的门计数器得到的数据的第三因子可以结合热感置信度和/或深度置信度一起使用以确定最终分类(514)。例如，对象可以被视为是组而不是分离的，并且如果被分类为人类的对象的总数超过由门计数器指示的乘客的数量，则可以基于门计数器数据将人类置信度分数加权为更低以反映其准确的置信度的损失。在一些实施例中，可以由热感摄像装置(202)和深度摄像装置(204)中的一个或多个提供第三因子。例如，虽然热感图像和深度图像可能将对象初始地分类为人类，但是深度图像还可能指示对象具有可以替代地指示对象反而是服务动物的高度和形状。在这样的情况下，该因子会影响置信度分数，以使得对象可以更准确地被分类为非人类对象。用于基于一个或多个置信度因子确定最终分类的其他方法根据本公开内容将是显而易见的。
现在转到图6，该图示出了系统为了确定人类对象的重量而可以执行的一组步骤的流程图。在该实施例中，当存在要计重的人类对象(600)时，可以检查针对对象的深度图像以确定对象的总体积(602)。可以将热感图像与深度图像进行比较(604)以确定体积的任何减小是否是必须的。例如，如果人的总体积与人的热感体积(thermal volume)的比较指示庞大的衣服(诸如，重外套、雨衣或可能使人类的总体积看起来比实际体积大的其他衣服)(606)，则可以将所计算的人的体积(602)按一定因子减小(608)以将由衣服增加的体积的差异考虑在内。类似地，如果总体积与热感体积的比较指示人携带非人类载荷，诸如背包、快递袋、或者靠近身体携带的会对于深度摄像装置看起来是同一对象的一部分的某个其他对象(610)，则可以将所计算的人的体积(602)按一定因子减小(612)以将由携带的对象增加的体积的差异考虑在内。可以对携带的对象进行作为图7所示以及下文描述的非人类对象重量计算步骤的一部分做出而重量确定，或者可以向携带的对象分配要添加至代表所携带的包的平均重量的载体计算重量的静态重量。一旦确定了准确体积，则可以基于体积来计算人的重量(614)。一旦所有人类对象都已被计重(600)，则可以对人类对象的重量进行合计并且将其存储在数据库、存储器、高速缓冲存储器或其他存储介质中(616)。
可以以多种方式根据体积确定重量(614)。在一些实施例中，可以基于测试数据或可用数据来提供固定的每单位体积的单位质量以估计重量。例如，系统可以被配置成计算每立方厘米的人类体积重1克，使得可以将总体积为60,000立方厘米的、每立方厘米1克的人体计算为重60千克或者约132磅。在一些实施例中，可以针对人体的不同区域来提供每单位体积的单位质量的不同值，这可以导致更准确的最终测量结果。在这样的实施例中，由于与臂部和躯干相比，腿部可能包含更高密度的肌肉和骨头，因此可以将一立方厘米的腿部体积计算为1.1克。可以分别计算针对每个肢体的重量并且将其进行相加以根据体积确定总重量(614)。在其他实施例中，可以使用用于软生物估计的多元线性回归模型。在这样的实施例中，可以基于深度成像来构建头部、躯干、腿部和臂部体积模型。可以通过在点云上使用移动中数或随机样本一致性(“RANSAC”)来过滤掉异常值。头部、躯干、腿部和臂部的长度和周长可以根据体积模型来确定，并且用在确定体重的等式中。对于这样的等式的示例，参见下表2。基于深度图像来计算身体重量的其他方法根据本公开内容将是显而易见的。
表2：用于确定身体重量的示例等式
现在转到图7，该图示出了系统为了确定非人类对象的重量而可以执行的一组步骤的流程图。如果存在要计重的非人类对象(700)，则基于深度图像并且使用对象识别软件来计算对象的体积(702)。在计算出体积(702)之后，可以针对对象来确定重量乘数(weightmultiplier)，该重量乘数可以用来计算对象的重量。可以基于已知的关于对象的信息(诸如，该对象是被携带的还是被悬挂的、该对象是静止在地板上还是在推车上或者其他因素)来确定重量乘数。例如，可以检查关于对象的深度信息以确定对象是被携带的还是悬挂在地面之上(704)。如果通过一些手段将对象悬挂在地面之上，则可以选择表示携带的对象的可能质量体积比(mass per volume)特征的质量乘数(706)。以这种方式，由于极其重的对象不可能被乘客悬挂在地面之上，因此可以向被乘客携带的包分配低的质量体积比。替选地，如果对象被放置在地面上(708)，则可以指示对象是在推车、小机车或其他有轮子的装置上，或者对象太重而不能容易地悬挂在地面之上。在这样的情况下，可以针对对象而选择地面重量乘数(710)，从而向其赋予非常高的质量体积比特征。
如果不能确定对象落入具有特定重量乘数的类型中，则可以选择标准重量乘数(712)，从而向对象赋予中等的质量体积比特征，其代表可能带上升降机的对象(诸如，书、报纸、电脑、液体、食品或其他对象)的平均质量体积比，其可以根据特定位置以及升降机轿厢的预期用途而变化。一旦确定了质量体积比乘数，就可以通过使用基于深度图像且由对象识别软件提供的对象的体积以及针对对象而选择的质量体积比乘数来确定对象的重量(714)。当不存在剩余的要计重的非人类对象(700)时，可以将非人类重量存储到数据库、存储器、高速缓冲存储器或其他存储介质(716)。
在一些实施例中，可以保存来自深度(102)、热感(104)和最终(106)分类的数据并且将其综合到将来的分类中，使得可以随着时间的推移自适应地改进分类处理。可以例如通过人工智能结构(诸如，神经网络)的方式、通过数据结构(诸如，对象比较和查找树)的方式、或者通过类似手段来实现这样的自适应改进。神经网络自适应分类可以跟踪来自分类处理的多个输入和输出并对它们进行组织，使得可以通过检查未来的输入数据并且基于与历史输入数据的相似性对未来数据进行分析来更有效地生成未来的输出数据。数据结构自适应分类可以以使得能够快速查找其最终分类的方式存储多个输入数据，该最终分类可以在准确匹配的情况下用于对对象进行快速分类，或者可以在分类期间用作附加置信度因子。自适应分类的准确实现可以依赖于期望的结果，如一些实现方式可以导致分类的速度增大，而其他实现方式可以导致分类的准确度增大。这样的实现方式的变型根据本公开内容将是显而易见的。
可以确定人类对象和非人类对象(108，110)的组合重量，并且将其传送至升降机调度控制器(112)以执行适当动作。基于所报告的重量采取的动作可以根据实施例而变化。在一些实施例中，可以将在接近其最大载荷重量的情况下工作的升降机轿厢置于楼层直驶模式，该模式忽略其他楼层呼叫直到载荷重量减小为止。在一些实施例中，可以使在低载荷重量下工作的升降机轿厢优先应答楼层呼叫。在一些实施例中，在深度摄像装置和热感摄像装置(202，204)置于升降机井道外部的厅部中，并且确定在楼层停靠处等待的个人的载荷重量接近升降机轿厢的最大载荷重量的情况下，可以使空的升降机轿厢优先解决该楼层呼叫。在一些实施例中，在确定在楼层停靠处等待的乘员的最大载荷重量小于部分装载的升降机轿厢的可用载荷重量的情况下，可以使部分装载的升降机轿厢优先调度到该楼层停靠处。在一些实施例中，基于热感成像和深度成像而被确定为空的升降机轿厢可以取消所有当前楼层停靠，以避免不必要的楼层停靠。关于由升降机控制器或调度控制器采取的动作的其他变型根据本公开内容将是显而易见的。
以下实施例涉及各种非详尽的方式，其中，可以组合或应用本文的教导。应当理解，以下实施例不旨在限制可以在本文档中在任何时间或者在基于该文档的后续申请中呈现的任何权利要求的覆盖。没有免责声明。仅为了说明性的目的而提供以下实施例。可以想到，可以以许多其他方式来布置和应用本文的各种教导。还可以想到，一些实施例可以省略以下实施例中所涉及的某些特征。因此，除非发明人或发明人关注的受让人在稍后的日期另外明确指出，否则以下所涉及的任何方面或特征均不应视为至关重要的。如果在本文档或与本文档相关的后续申请中呈现包括以下提及的特征之外的其他附加特征的任何权利要求，则不应当出于与专利性有关的任何原因而将这些附加特征推定为已被添加。
实施例1
一种系统，包括：升降机轿厢；深度摄像装置，所述深度摄像装置位于第一摄像装置位置处；热感摄像装置，所述热感摄像装置位于第二摄像装置位置处；图像处理器，所述图像处理器与所述深度摄像装置和所述热感摄像装置可通信地耦接；以及升降机控制器，所述升降机控制器与所述图像处理器可通信地耦接；其中，所述图像处理器被配置成：接收来自所述深度摄像装置和所述热感摄像装置的图像数据集，其中，所述图像数据集包括热感数据集和空间数据集；基于所述图像数据集来识别一组不连续对象；基于所述图像数据集来确定对于所述一组不连续对象中的每个对象的分类；基于所述分类来估计所述一组不连续对象中的每个对象的重量；以及基于所述一组不连续对象中的每个对象的重量来将总重量估计提供给所述升降机控制器；并且其中，所述升降机控制器被配置成基于所述总重量估计来控制一个或多个升降机轿厢。
实施例2
根据实施例1所述的系统，其中，所述升降机控制器和所述图像处理器共有处理器和存储器。
实施例3
根据实施例1至2中任一项所述的系统，还包括乘员等待区域，其中，所述升降机轿厢被配置成行进到所述乘员等待区域，其中，所述第一摄像装置位置和所述第二摄像装置位置被定位在所述乘员等待区域处。
实施例4
根据实施例3所述的系统，其中，所述升降机控制器被配置成：基于针对所述升降机轿厢所配置的最大占用重量和由与所述深度摄像装置和所述热感摄像装置分离的传感器提供的当前占用重量来确定额外占用重量；当所述总重量估计不超过所述额外占用重量时，优先将所述升降机轿厢派遣到所述乘员等待区域；以及当所述总重量估计大于所述最大占用重量的约75％时，以及当所述当前占用重量指示所述升降机轿厢是空的时，优先将所述升降机轿厢派遣到所述乘员等待区域。
实施例5
根据实施例4所述的系统，其中，与所述深度摄像装置和所述热感摄像装置分离的所述传感器是在所述升降机轿厢中的地板传感器。
实施例6
根据实施例1所述的系统，其中，所述第一摄像装置位置和所述第二摄像装置位置在所述升降机轿厢内，并且其中，所述升降机控制器被配置成：当所述总重量估计指示在所述升降机轿厢中没有乘员时，取消已从所述升降机轿厢的键盘请求的任何楼层停靠；以及当所述总重量估计指示所述升降机轿厢不能接受任何额外的乘员时，将所述升降机轿厢置于楼层直驶模式。
实施例7
根据实施例1至6中任一项所述的系统，其中，所述图像处理器还被配置成：将所述热感数据集映射到所述空间数据集以创建热感空间覆盖；以及对于所述一组不连续对象中的每个对象，识别所述热感空间覆盖的与该对象相关联的子集，所述热感空间覆盖的子集包括所述热感数据集的子集和所述空间数据集的子集。
实施例8
根据实施例7所述的系统，根据权利要求7所述的系统，其中，所述图像处理器被配置成基于对指令集的执行来确定对于所述一组不连续对象中的每个对象的所述分类，所述指令集当被执行时使所述图像处理器针对所述一组不连续对象中的每个对象而进行以下操作：确定热感分类置信度分数，其中，所述热感分类置信度分数基于该对象的温度是否落入配置的范围内而指示该对象是人类的可能性；确定空间分类置信度分数，其中，所述空间分类置信度分数基于该对象是否空间上与人类相似来指示该对象是人类的可能性；以及基于所述热感分类置信度分数和所述空间分类置信度分数来确定最终分类置信度分数。
实施例9
根据实施例8所述的系统，其中，所述图像处理器被配置成基于对指令集的执行来确定对于所述一组不连续对象中的每个对象的所述分类，所述指令集当被执行时使所述图像处理器针对所述一组不连续对象中的每个对象而进行以下操作：基于以下中的一项或多项来确定第三分类置信度分数：来自声音检测装置的指示存在乘员的信息；来自RFID读取器的指示存在乘员钥匙卡的信息；来自运动感测门计数器的指示进入所述升降机轿厢的乘员的数量的信息；以及来自所述升降机控制器的指示为了离开升降机而选择的楼层的编号的信息；以及基于所述热感分类置信度分数、所述空间分类置信度分数和所述第三分类分数来确定所述最终分类置信度分数。
实施例10
根据实施例7至9中任一项所述的系统，其中，所述图像处理器被配置成基于对指令集的执行来估计所述一组不连续对象中的每个对象的重量，所述指令集当被执行时使所述图像处理器针对所述一组不连续对象中的被分类为人类的每个对象而进行以下操作：基于所述空间数据集的与该对象相关联的子集来确定该对象的体积；基于所述热感数据集的与该对象相关联的子集来确定该对象的体积中的被该对象持有或佩戴的一个或多个物品占据的一部分；将该对象的体积减小该对象的体积中的被该对象持有或佩戴的所述一个或多个物品的一部分；以及基于该对象的体积来确定所述重量。
实施例11
根据实施例7至10中任一项所述的系统，其中，所述图像处理器被配置成基于对指令集的执行来估计所述一组不连续对象中的每个对象的重量，所述指令集当被执行时使所述图像处理器针对所述一组不连续对象中的被分类为非人类的每个对象而进行以下操作：基于所述空间数据集的与所述非人类对象相关联的子集来确定所述非人类对象的体积；基于所述空间数据集的与所述非人类对象相关联的子集以及所述热感数据集的与所述非人类对象相关联的子集来确定所述非人类对象是否由人类对象携带；如果所述非人类对象由人类对象携带，则基于所述非人类对象的体积和携带对象重量计算来确定所述非人类对象的重量；以及如果所述非人类对象未由人类对象携带，则基于所述非人类对象的体积和重对象重量计算来确定所述非人类对象的重量。
实施例12
一种方法，包括以下步骤：在图像处理器处接收来自在第一摄像装置位置处的深度摄像装置和在第二摄像装置位置处的热感摄像装置的图像数据集，其中，所述图像数据集包括热感数据集和空间数据集；基于所述图像数据集来识别一组不连续对象；基于所述图像数据集来确定对于所述一组不连续对象中的每个对象的分类；基于所述分类来估计所述一组不连续对象中的每个对象的重量；以及至升降机控制器，将总重量估计提供给升降机控制器，所述总重量是基于所述一组不连续对象中的每个对象的重量来估计的；其中，所述升降机控制器被配置成基于所述总重量估计来控制一个或多个升降机轿厢。
实施例13
根据实施例12所述的方法，其中，所述一个或多个升降机轿厢被配置成行进到乘员等待区域，其中，所述第一摄像装置位置和所述第二摄像装置位置被定位在所述乘员等待区域处。
实施例14
根据实施例13所述的方法，还包括以下步骤：基于针对所述一个或多个升降机轿厢中的升降机轿厢所配置的最大占用重量以及由与所述深度摄像装置和所述热感摄像装置分离的传感器提供的当前占用重量来确定额外占用重量；当所述总重量估计不超过所述额外占用重量时，优先将所述升降机轿厢派遣到所述乘员等待区域；以及当所述总重量估计大于所述最大占用重量的约75％时，优先将所述升降机轿厢派遣到所述乘员等待区域。
实施例15
根据实施例14所述的方法，其中，与所述深度摄像装置和所述热感摄像装置分离的所述传感器是所述升降机轿厢中的地板传感器。
实施例16
根据实施例12所述的方法，其中，所述第一摄像装置位置和所述第二摄像装置位置在所述升降机轿厢内，所述方法还包括以下步骤：当所述总重量估计指示在所述升降机轿厢中没有乘员时，取消已从所述升降机轿厢的键盘请求的任何楼层停靠；以及当所述总重量估计指示所述升降机轿厢不能接受任何额外的乘员时，将所述升降机轿厢置于楼层直驶模式。
实施例17
根据实施例12至16中任一项所述的方法，还包括以下步骤：在所述图像处理器处，将所述热感数据集映射到所述空间数据集以创建热感空间覆盖；对于所述一组不连续对象中的每个对象，识别所述热感空间覆盖的与该对象相关联的子集，所述热感空间覆盖的子集包括所述热感数据集的子集和所述空间数据集的子集。
实施例18
根据实施例17所述的方法，其中，确定对于所述一组不连续对象中的每个对象的所述分类的步骤包括针对所述一组不连续对象中的每个对象而进行的以下步骤：在所述图像处理器处，确定热感分类置信度分数，其中，所述热感分类置信度分数基于该对象的温度是否落入配置的范围内而指示该对象是人类的可能性；确定空间分类置信度分数，其中，所述空间分类置信度分数基于该对象是否空间上与人类相似来指示该对象是人类的可能性；以及基于所述热感分类置信度分数和所述空间分类置信度分数来确定最终分类置信度分数。
实施例19
根据实施例17至18中任一项所述的方法，其中，估计所述一组不连续对象中的每个对象的重量的步骤包括针对所述一组不连续对象中的每个对象而进行的以下步骤：在所述图像处理器处，基于所述空间数据集的与该对象相关联的子集来确定该对象的体积；基于所述热感数据集的与该对象相关联的子集来确定该对象的体积中的被该对象持有或佩戴的一个或多个物品占据的一部分；将该对象的体积减小该对象的体积中的被该对象持有或佩戴的所述一个或多个物品占据的一部分；以及基于该对象的体积来确定所述重量。
实施例20
一种系统，包括：升降机轿厢；深度摄像装置，所述深度摄像装置位于第一摄像装置位置处；热感摄像装置，所述热感摄像装置位于第二摄像装置位置处；图像处理器，所述图像处理器与所述深度摄像装置和所述热感摄像装置可通信地耦接；以及升降机控制器，所述升降机控制器与所述图像处理器可通信地耦接；其中，深度摄像装置视场和热感摄像装置视场交叠；其中，所述图像处理器被配置成：接收来自所述深度摄像装置和所述热感摄像装置的图像数据集，其中，所述图像数据集包括热感数据集和空间数据集；基于所述图像数据集来识别一组不连续对象；将所述热感数据集映射到所述空间数据集以创建热感空间覆盖；对于所述一组不连续对象中的每个对象，识别所述热感空间覆盖的与该对象相关联的子集，所述热感空间覆盖的子集包括所述热感数据集的子集和所述空间数据集的子集；确定热感分类置信度分数，其中，所述热感分类置信度分数基于该述对象的温度是否落入配置的范围内而指示该对象是人类的可能性；确定空间分类置信度分数，其中，所述空间分类置信度分数基于该对象是否空间上与人类相似来指示该对象是人类的可能性；基于所述热感分类置信度分数和所述空间分类置信度分数来确定最终分类置信度分数；当所述最终分类置信度分数指示该对象是人类时，基于所述空间数据集的与该对象相关联的子集来确定该对象的体积；基于所述热感数据集的与该对象相关联的子集来确定该对象的体积中的被该对象持有或佩戴的一个或多个物品占据的一部分；将该对象的体积减小该对象的体积中的被该对象持有或佩戴的所述一个或多个物品占据的一部分；基于该对象的体积来确定重量；以及基于所述一组不连续对象中的每个对象的重量来将总重量估计提供给所述升降机控制器；并且其中，所述升降机控制器被配置成基于所述总重量估计来控制一个或多个升降机轿厢。
本发明人的技术的进一步变化、特征和应用对于本领域的普通技术人员而言将根据本公开内容是显而易见的，并且可以由本领域的普通技术人员根据本公开内容在不需要过分实验的情况下进行实践。因此，由本文档或任何相关文档赋予的保护不应限于本文明确公开的材料。
Claims (20)
1.一种系统，包括：
升降机轿厢；
深度摄像装置，所述深度摄像装置位于第一摄像装置位置处；
热感摄像装置，所述热感摄像装置位于第二摄像装置位置处；
图像处理器，所述图像处理器与所述深度摄像装置和所述热感摄像装置可通信地耦接；以及
升降机控制器，所述升降机控制器与所述图像处理器可通信地耦接；
其中，所述图像处理器被配置成：
接收来自所述深度摄像装置和所述热感摄像装置的图像数据集，其中，所述图像数据集包括热感数据集和空间数据集；
基于所述图像数据集来识别一组不连续对象；
基于所述图像数据集来确定对于所述一组不连续对象中的每个对象的分类；
基于所述分类来估计所述一组不连续对象中的每个对象的重量；以及
基于针对所述一组不连续对象中的每个对象的重量来将总重量估计提供给所述升降机控制器；并且
其中，所述升降机控制器被配置成基于所述总重量估计来控制一个或多个升降机轿厢。
2.根据权利要求1所述的系统，其中，所述升降机控制器和所述图像处理器共有处理器和存储器。
3.根据权利要求1或2所述的系统，还包括乘员等待区域，其中，所述升降机轿厢被配置成行进到所述乘员等待区域，其中，所述第一摄像装置位置和所述第二摄像装置位置被定位在所述乘员等待区域处。
4.根据权利要求3所述的系统，其中，所述升降机控制器被配置成：
基于针对所述升降机轿厢所配置的最大占用重量和由与所述深度摄像装置和所述热感摄像装置分离的传感器提供的当前占用重量来确定额外占用重量；
当所述总重量估计不超过所述额外占用重量时，优先将所述升降机轿厢派遣到所述乘员等待区域；以及
当所述总重量估计大于所述最大占用重量的约75％时，以及当所述当前占用重量指示所述升降机轿厢是空的时，优先将所述升降机轿厢派遣到所述乘员等待区域。
5.根据权利要求4所述的系统，其中，与所述深度摄像装置和所述热感摄像装置分离的所述传感器是所述升降机轿厢中的地板传感器。
6.根据权利要求1或2所述的系统，其中，所述第一摄像装置位置和所述第二摄像装置位置在所述升降机轿厢内，并且其中，所述升降机控制器被配置成：
当所述总重量估计指示在所述升降机轿厢中没有乘员时，取消已从所述升降机轿厢的键盘请求的任何楼层停靠；以及
当所述总重量估计指示所述升降机轿厢不能接受任何额外的乘员时，将所述升降机轿厢置于楼层直驶模式。
7.根据前述权利要求中任一项所述的系统，其中，所述图像处理器还被配置成：
将所述热感数据集映射到所述空间数据集以创建热感空间覆盖；以及
对于所述一组不连续对象中的每个对象，识别所述热感空间覆盖的与该对象相关联的子集，所述热感空间覆盖的子集包括所述热感数据集的子集和所述空间数据集的子集。
8.根据权利要求7所述的系统，其中，所述图像处理器被配置成基于对指令集的执行来确定对于所述一组不连续对象中的每个对象的所述分类，所述指令集当被执行时使所述图像处理器针对所述一组不连续对象中的每个对象而进行以下操作：
确定热感分类置信度分数，其中，所述热感分类置信度分数基于该对象的温度是否落入配置的范围内而指示该对象是人类的可能性；
确定空间分类置信度分数，其中，所述空间分类置信度分数基于该对象是否空间上与人类相似来指示该对象是人类的可能性；以及
基于所述热感分类置信度分数和所述空间分类置信度分数来确定最终分类置信度分数。
9.根据权利要求8所述的系统，其中，所述图像处理器被配置成基于对指令集的执行来确定对于所述一组不连续对象中的每个对象的所述分类，所述指令集当被执行时使所述图像处理器针对所述一组不连续对象中的每个对象而进行以下操作：
基于以下中的一项或多项来确定第三分类置信度分数：
来自声音检测装置的指示存在乘员的信息；
来自RFID读取器的指示存在乘员钥匙卡的信息；
来自运动感测门计数器的指示进入所述升降机轿厢的乘员的数量的信息；以及
来自所述升降机控制器的指示为了离开升降机而选择的楼层的编号的信息；以及
基于所述热感分类置信度分数、所述空间分类置信度分数和所述第三分类分数来确定所述最终分类置信度分数。
10.根据权利要求7或8所述的系统，其中，所述图像处理器被配置成基于对指令集的执行来估计所述一组不连续对象中的每个对象的重量，所述指令集当被执行时使所述图像处理器针对所述一组不连续对象中的被分类为人类的每个对象而进行以下操作：
基于所述空间数据集的与该对象相关联的子集来确定该对象的体积；
基于所述热感数据集的与该对象相关联的子集来确定该对象的体积中的被该对象持有或佩戴的一个或多个物品占据的一部分；
将该对象的体积减小该对象的体积中的被该对象持有或佩戴的所述一个或多个物品占据的一部分；以及
基于该对象的体积来确定所述重量。
11.根据权利要求7、8或9所述的系统，其中，所述图像处理器被配置成基于对指令集的执行来估计所述一组不连续对象中的每个对象的重量，所述指令集当被执行时使所述图像处理器针对所述一组不连续对象中的被分类为非人类的每个对象而进行以下操作：
基于所述空间数据集的与非人类对象相关联的子集来确定所述非人类对象的体积；
基于所述空间数据集的与所述非人类对象相关联的子集以及所述热感数据集的与所述非人类对象相关联的子集来确定所述非人类对象是否由人类对象携带；
如果所述非人类对象由人类对象携带，则基于所述非人类对象的体积和携带对象重量计算来确定所述非人类对象的重量；以及
如果所述非人类对象未由人类对象携带，则基于所述非人类对象的体积和重对象重量计算来确定所述非人类对象的重量。
12.一种方法，包括以下步骤：
在图像处理器处接收来自在第一摄像装置位置处的深度摄像装置和在第二摄像装置位置处的热感摄像装置的图像数据集，其中，所述图像数据集包括热感数据集和空间数据集；
基于所述图像数据集来识别一组不连续对象；
基于所述图像数据集来确定对于所述一组不连续对象中的每个对象的分类；
基于所述分类来估计所述一组不连续对象中的每个对象的重量；以及
至升降机控制器，将总重量估计提供给升降机控制器，所述总重量是基于所述一组不连续对象中的每个对象的重量来估计的；
其中，所述升降机控制器被配置成基于所述总重量估计来控制一个或多个升降机轿厢。
13.根据权利要求12所述的方法，其中，所述一个或多个升降机轿厢被配置成行进到乘员等待区域，其中，所述第一摄像装置位置和所述第二摄像装置位置被定位在所述乘员等待区域处。
14.根据权利要求13所述的方法，还包括以下步骤：
基于针对所述一个或多个升降机轿厢中的升降机轿厢所配置的最大占用重量以及由与所述深度摄像装置和所述热感摄像装置分离的传感器提供的当前占用重量来确定额外占用重量；
当所述总重量估计不超过所述额外占用重量时，将所述升降机轿厢派遣到所述乘员等待区域；以及
当所述总重量估计大于所述最大占用重量的约75％时，将所述升降机轿厢派遣到所述乘员等待区域。
15.根据权利要求14所述的方法，其中，与所述深度摄像装置和所述热感摄像装置分离的所述传感器是所述升降机轿厢中的地板传感器。
16.根据权利要求12至15中的一项所述的方法，其中，所述第一摄像装置位置和所述第二摄像装置位置在所述升降机轿厢内，所述方法还包括以下步骤：
当所述总重量估计指示在所述升降机轿厢中没有乘员时，取消已从所述升降机轿厢的键盘请求的任何楼层停靠；以及
当所述总重量估计指示所述升降机轿厢不能接受任何额外的乘员时，将所述升降机轿厢置于楼层直驶模式。
17.根据权利要求12至16中的一项所述的方法，还包括以下步骤：
在所述图像处理器处，将所述热感数据集映射到所述空间数据集以创建热感空间覆盖；
对于所述一组不连续对象中的每个对象，识别所述热感空间覆盖的与该对象相关联的子集，所述热感空间覆盖的子集包括所述热感数据集的子集和所述空间数据集的子集。
18.根据权利要求12至17中的一项所述的方法，其中，确定对于所述一组不连续对象中的每个对象的分类的步骤包括针对所述一组不连续对象中的每个对象而进行的以下步骤：
在所述图像处理器处，确定热感分类置信度分数，其中，所述热感分类置信度分数基于该对象的温度是否落入配置的范围内而指示该对象是人类的可能性；
确定空间分类置信度分数，其中，所述空间分类置信度分数基于该对象是否空间上与人类相似来指示该对象是人类的可能性；以及
基于所述热感分类置信度分数和所述空间分类置信度分数来确定最终分类置信度分数。
19.根据权利要求12至18中的一项所述的方法，其中，估计所述一组不连续对象中的每个对象的重量的步骤包括针对所述一组不连续对象中的每个对象而进行的以下步骤：
在所述图像处理器处，基于所述空间数据集的与该对象相关联的子集来确定该对象的体积；
基于所述热感数据集的与该对象相关联的子集来确定该对象的体积中的被所该对象持有或佩戴的一个或多个物品占据的一部分；
将该对象的体积减小该对象的体积中的被该对象持有或佩戴的所述一个或多个物品占据的一部分；以及
基于该对象的体积来确定所述重量。
20.一种系统，包括：
升降机轿厢；
深度摄像装置，所述深度摄像装置位于第一摄像装置位置处；
热感摄像装置，所述热感摄像装置位于第二摄像装置位置处；
图像处理器，所述图像处理器与所述深度摄像装置和所述热感摄像装置可通信地耦接；以及
升降机控制器，所述升降机控制器与所述图像处理器可通信地耦接；其中，深度摄像装置视场和热感摄像装置视场交叠；
其中，所述图像处理器被配置成：
接收来自所述深度摄像装置和所述热感摄像装置的图像数据集，其中，所述图像数据集包括热感数据集和空间数据集；
基于所述图像数据集来识别一组不连续对象；
将所述热感数据集映射到所述空间数据集以创建热感空间覆盖；
对于所述一组不连续对象中的每个对象，识别所述热感空间覆盖的与该对象相关联的子集，所述热感空间覆盖的子集包括所述热感数据集的子集和所述空间数据集的子集；
确定热感分类置信度分数，其中，所述热感分类置信度分数基于该对象的温度是否落入配置的范围内而指示该对象是人类的可能性；
确定空间分类置信度分数，其中，所述空间分类置信度分数基于该对象是否空间上与人类相似来指示该对象是人类的可能性；
基于所述热感分类置信度分数和所述空间分类置信度分数来确定最终分类置信度分数；
当所述最终分类置信度分数指示该对象是人类时，基于所述空间数据集的与该对象相关联的子集来确定该对象的体积；
基于所述热感数据集的与该对象相关联的子集来确定该对象的体积中的被该对象持有或佩戴的一个或多个物品占据的一部分；
将该对象的体积减小该对象的体积中的被该对象持有或佩戴的所述一个或多个物品占据的一部分；
基于该对象的体积来确定重量；以及
基于所述一组不连续对象中的每个对象的重量来将总重量估计提供给所述升降机控制器；并且
其中，所述升降机控制器被配置成基于所述总重量估计来控制一个或多个升降机轿厢。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562128187P | 2015-03-04 | 2015-03-04 | |
| US62/128,187 | 2015-03-04 | ||
| PCT/EP2016/054319 WO2016139203A1 (en) | 2015-03-04 | 2016-03-01 | Multi camera load estimation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107428495A true CN107428495A (zh) | 2017-12-01 |
| CN107428495B CN107428495B (zh) | 2019-09-06 |
Family
ID=55542630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680013625.9A Expired - Fee Related CN107428495B (zh) | 2015-03-04 | 2016-03-01 | 多摄像装置载荷估计 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107428495B (zh) |
| WO (1) | WO2016139203A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109775506A (zh) * | 2019-03-26 | 2019-05-21 | 海安县申菱电器制造有限公司 | 一种电梯称重装置 |
| CN109867187A (zh) * | 2019-03-26 | 2019-06-11 | 海安县申菱电器制造有限公司 | 一种电梯称重方法 |
| CN110386520A (zh) * | 2019-08-05 | 2019-10-29 | 浙江一网通信息科技有限公司 | 一种电梯运行控制系统及方法 |
| CN110522466A (zh) * | 2018-05-23 | 2019-12-03 | 西门子医疗有限公司 | 确定患者重量和/或体重指数的方法和装置 |
| CN111609908A (zh) * | 2019-02-25 | 2020-09-01 | 西门子医疗有限公司 | 根据表面数据、使用患者模型的患者体重估计 |
| CN112225021A (zh) * | 2020-11-02 | 2021-01-15 | 江苏蒙哥马利电梯有限公司 | 一种基于行星齿轮传动模块的智能电梯调度控制方法 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110461753B (zh) | 2017-03-27 | 2021-11-05 | 因温特奥股份公司 | 用于监控电梯轿厢门的方法和装置 |
| WO2019043061A1 (en) * | 2017-08-29 | 2019-03-07 | Thyssenkrupp Elevator Ag | SYSTEM FOR MONITORING AND CONTROLLING ELEVATOR TRAFFIC |
| JP6602521B1 (ja) * | 2018-03-15 | 2019-11-06 | 三菱電機株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| CN108898044B (zh) * | 2018-04-13 | 2021-10-29 | 顺丰科技有限公司 | 装载率获取方法、装置、系统及存储介质 |
| CN112771534A (zh) * | 2018-06-29 | 2021-05-07 | 物流及供应链多元技术研发中心有限公司 | 电子设备及对象计数方法 |
| US10489788B1 (en) * | 2019-03-22 | 2019-11-26 | Capital One Services, Llc | Determining a body mass index of a user of a transaction device and verifying the user for utilization of the transaction device based on the body mass index |
| IT201900018653A1 (it) * | 2019-10-14 | 2021-04-14 | Vega S R L | Procedura per la determinazione del peso umano in una cabina di un ascensore |
| CN111196536A (zh) * | 2019-11-26 | 2020-05-26 | 恒大智慧科技有限公司 | 基于容量的智慧社区内电梯的控制方法、设备及存储介质 |
| IT202000002329A1 (it) * | 2020-02-06 | 2021-08-06 | Faiveley Transport Italia Spa | Sistema per la stima di un indice di carico di un veicolo ferroviario |
| IT202000013279A1 (it) * | 2020-06-04 | 2021-12-04 | Grottini Lab S R L | Sistema di re-identificazione di una o più persone in un ambiente pubblico e/o privato |
| JP7347349B2 (ja) | 2020-07-07 | 2023-09-20 | トヨタ自動車株式会社 | 情報処理装置、情報処理システム、及び情報処理方法 |
| US20220245375A1 (en) * | 2021-01-30 | 2022-08-04 | David Young | Volumetric Security |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060037818A1 (en) * | 2003-03-20 | 2006-02-23 | Romeo Deplazes | Three-dimensional monitoring in the area of an elevator by means of a three-dimensional sensor |
| CN101041406A (zh) * | 2006-03-22 | 2007-09-26 | 株式会社日立制作所 | 电梯系统 |
| US20120326959A1 (en) * | 2011-06-21 | 2012-12-27 | Microsoft Corporation | Region of interest segmentation |
| CN103253563A (zh) * | 2012-02-17 | 2013-08-21 | 上海三菱电梯有限公司 | 电梯及其控制方法 |
-
2016
- 2016-03-01 WO PCT/EP2016/054319 patent/WO2016139203A1/en active Application Filing
- 2016-03-01 CN CN201680013625.9A patent/CN107428495B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060037818A1 (en) * | 2003-03-20 | 2006-02-23 | Romeo Deplazes | Three-dimensional monitoring in the area of an elevator by means of a three-dimensional sensor |
| CN101041406A (zh) * | 2006-03-22 | 2007-09-26 | 株式会社日立制作所 | 电梯系统 |
| US20120326959A1 (en) * | 2011-06-21 | 2012-12-27 | Microsoft Corporation | Region of interest segmentation |
| CN103253563A (zh) * | 2012-02-17 | 2013-08-21 | 上海三菱电梯有限公司 | 电梯及其控制方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110522466A (zh) * | 2018-05-23 | 2019-12-03 | 西门子医疗有限公司 | 确定患者重量和/或体重指数的方法和装置 |
| CN110522466B (zh) * | 2018-05-23 | 2023-08-18 | 西门子医疗有限公司 | 确定患者重量和/或体重指数的方法和装置 |
| CN111609908A (zh) * | 2019-02-25 | 2020-09-01 | 西门子医疗有限公司 | 根据表面数据、使用患者模型的患者体重估计 |
| CN109775506A (zh) * | 2019-03-26 | 2019-05-21 | 海安县申菱电器制造有限公司 | 一种电梯称重装置 |
| CN109867187A (zh) * | 2019-03-26 | 2019-06-11 | 海安县申菱电器制造有限公司 | 一种电梯称重方法 |
| CN110386520A (zh) * | 2019-08-05 | 2019-10-29 | 浙江一网通信息科技有限公司 | 一种电梯运行控制系统及方法 |
| CN112225021A (zh) * | 2020-11-02 | 2021-01-15 | 江苏蒙哥马利电梯有限公司 | 一种基于行星齿轮传动模块的智能电梯调度控制方法 |
| CN112225021B (zh) * | 2020-11-02 | 2022-04-12 | 江苏蒙哥马利电梯有限公司 | 一种基于行星齿轮传动模块的智能电梯调度控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107428495B (zh) | 2019-09-06 |
| WO2016139203A1 (en) | 2016-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107428495B (zh) | 多摄像装置载荷估计 | |
| JP6709320B2 (ja) | 畳み込みニューラルネットワーク画像認識技術による会計方法及び会計設備 | |
| US10290031B2 (en) | Method and system for automated retail checkout using context recognition | |
| US11880879B2 (en) | Apparatuses of item location, list creation, routing, imaging and detection | |
| JP7251569B2 (ja) | 店舗装置、店舗管理方法、プログラム | |
| US8588519B2 (en) | Method and system for training a landmark detector using multiple instance learning | |
| JP2022521844A (ja) | 深層学習ネットワークを使用してユーザ写真から体重を測定するシステム及び方法 | |
| JP4565472B2 (ja) | 密輸品を検出するシステム及び方法 | |
| EP1452399A2 (en) | System and method for selecting classifier attribute types | |
| Mansour et al. | Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification | |
| JP2022508808A (ja) | ニューラル自動販売機 | |
| WO2020195376A1 (ja) | 監視装置、不審オブジェクト検出方法、および記録媒体 | |
| CN109886169A (zh) | 应用于无人货柜的物品识别方法、装置、设备及存储介质 | |
| CN108875519A (zh) | 对象检测方法、装置和系统及存储介质 | |
| CN107679443A (zh) | 客体识别装置及其方法 | |
| Sindhiya et al. | A survey on genetic algorithm based feature selection for disease diagnosis system | |
| CN115131783A (zh) | 基于机器视觉的用户饮食营养成分信息自主感知方法 | |
| Zhang et al. | An efficient feature selection method for activity classification | |
| JP4924836B2 (ja) | 顔画像分類方法、顔画像分類装置及び顔画像分類プログラム | |
| KR20220072735A (ko) | 인공지능 기반 의류 사이즈 추천 방법 및 시스템 | |
| Sriram et al. | Deep Learning Approaches for Pneumonia Classification in Healthcare | |
| Palomo et al. | Pneumonia Detection in Chest X-ray Images using Convolutional Neural Networks | |
| US20230141150A1 (en) | Processing apparatus, processing method, and non-transitory storage medium | |
| US11880877B2 (en) | System for imaging and detection | |
| CN114781468A (zh) | 一种图像检测方法、装置、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190906 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |