CN112949375A - 计算系统、计算方法及存储介质 - Google Patents

计算系统、计算方法及存储介质 Download PDF

Info

Publication number
CN112949375A
CN112949375A CN202011456727.2A CN202011456727A CN112949375A CN 112949375 A CN112949375 A CN 112949375A CN 202011456727 A CN202011456727 A CN 202011456727A CN 112949375 A CN112949375 A CN 112949375A
Authority
CN
China
Prior art keywords
image
person
calculating
computing system
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011456727.2A
Other languages
English (en)
Other versions
CN112949375B (zh
Inventor
青木勇辅
登内洋次郎
中洲俊信
柴田智行
樱井勇树
加濑明子
森长亮
岩崎正树
川畑翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN112949375A publication Critical patent/CN112949375A/zh
Application granted granted Critical
Publication of CN112949375B publication Critical patent/CN112949375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

提供一种能够更高精度地计算所需时间的计算系统、计算方法、程序以及存储介质。根据实施方式，计算系统具备检测部、综合部以及时间计算部。所述检测部参照从相互不同的角度拍摄对象而得到的多个图像，针对所述多个图像中的每一个，检测所述对象，计算在规定的坐标系中的所述对象的暂定位置。所述综合部使用计算出的所述多个暂定位置，计算在所述坐标系中的所述对象的综合位置。所述时间计算部参照包含与多个工序有关的信息的工序信息和由所述坐标系表示的执行各工序的执行区域，基于所述综合位置以及所述多个执行区域，计算所述多个工序的至少一部分的所需时间。

Description

计算系统、计算方法及存储介质
技术领域
本发明的实施方式一般来说涉及计算系统、计算方法以及存储介质。
背景技术
以往，为了改善生产率，进行工序的所需时间的管理。需要一种能够更高精度地计算所需时间的技术。
发明内容
本发明的实施方式提供一种能够更高精度地计算所需时间的计算系统、计算方法、程序以及存储介质。
根据本发明的实施方式，计算系统具备检测部、综合部以及时间计算部。所述检测部参照从相互不同的角度拍摄对象而得到的多个图像，针对所述多个图像中的每一个，检测所述对象，计算在规定的坐标系中的所述对象的暂定位置。所述综合部使用计算出的所述多个暂定位置，计算在所述坐标系中的所述对象的综合位置。所述时间计算部参照包含与多个工序有关的信息的工序信息和由所述坐标系表示的执行各工序的执行区域，基于所述综合位置以及所述多个执行区域，计算所述多个工序的至少一部分的所需时间。
根据实施方式，能够更高精度地计算所需时间。
附图说明
图1是表示实施方式的计算系统的结构的示意图。
图2是表示实施方式的计算系统的应用例的示意图。
图3是用于说明实施方式的计算系统中的处理的示意图。
图4是用于说明实施方式的计算系统中的处理的示意图。
图5中(a)是例示检测部的输出的表。(b)是例示由综合部进行的输出的表。
图6中(a)是例示工序信息的表。(b)是例示工序的执行的判定结果的表。(c)是例示工序的所需时间的计算结果的表。
图7是表示实施方式的计算系统的输出例的示意图。
图8是表示实施方式的计算系统的输出例的示意图。
图9是表示实施方式的计算系统的输出例的示意图。
图10是表示使用了实施方式的计算系统的所需时间的计算方法的流程图。
图11是表示处理装置的硬件结构的框图。
具体实施方式
以下，参照附图对本发明的各实施方式进行说明。
在本申请说明书和各图中，对与已经说明过的要素相同的要素标注相同的附图标记并适当省略详细的说明。
图1是表示实施方式的计算系统的结构的示意图。
实施方式的计算系统100用于自动地计算对象执行工序所需的时间。
如图1所示，实施方式的计算系统100具备取得部11、检测部12、综合部13、时间计算部14以及输出部15。计算系统100还可以具备多个摄像装置20、输入装置30、输出装置40以及存储装置50。在图1的例子中，处理装置10作为取得部11、检测部12、综合部13、时间计算部14以及输出部15发挥功能。
多个摄像装置20拍摄对象，取得静态图像。也可以通过各摄像装置20取得动态图像，从动态图像中截取静态图像。多个摄像装置20设置于相互不同的位置。另外，多个摄像装置20在相同的时刻实质上同时地拍摄对象。由此，在特定的时刻，从相互不同的多个角度拍摄对象。各摄像装置20将所取得的图像存储于存储装置50。摄像装置20例如是照相机。
对象既可以存在于建筑物之中，也可以存在于建筑物之外。实施方式的计算系统100也可以用于工厂内的制造、建筑物内的安装施工等在室内执行的工序。计算系统100也可以用于建筑物的组装、建筑物外的设置施工等在室外执行的工序。根据对象存在的场所，多个摄像装置20既可以设置于室内，也可以设置于室外。例如，在对象在建筑物中执行工序的情况下，多个摄像装置20安装于建筑物的墙壁或天花板、建筑物内的设备等。在对象在建筑物外执行工序的情况下，多个摄像装置20安装于建筑物的外壁、室外的设备等。
对象既可以是人物，也可以是移动体。移动体是机器人或无人输送车(AGV)等。以下，主要对于对象为人物的情况进行说明。
取得部11访问存储装置50，取得所存储的图像。或者，也可以从摄像装置20向取得部11直接发送图像。取得部11将所取得的多个图像向检测部12发送。
检测部12检测各图像中包含的对象。检测部12基于检测结果来计算对象的位置。位置由规定的二维坐标系表示。在此，将根据各图像计算出的对象的位置称为“暂定位置”。根据拍摄有对象的图像的数量来计算多个暂定位置。检测部12将所计算出的多个暂定位置向综合部13发送。
综合部13使用多个暂定位置来计算对象的综合位置。在此，将根据多个暂定位置计算出的对象的位置称为“综合位置”。综合位置由与暂定位置相同的坐标系表示。综合部13将计算出的综合位置发送至时间计算部14。
在存储装置50中预先存储包含与多个工序有关的信息的工序信息和多个执行区域。多个执行区域分别表示执行多个工序的区域。各执行区域由与综合位置相同的坐标系表示。工序信息包含用于识别工序的字符串。工序信息也可以包含多个工序的执行顺序、执行工序的预定时刻、与执行工序的人物有关的数据等。
时间计算部14参照存储装置50中存储的工序信息以及多个执行区域。时间计算部14在综合位置位于任一个执行区域内时，判定为执行了与该执行区域对应的工序。
时间计算部14在判定时可以使用工序信息所包含的数据。例如，在工序信息包含预定时刻的情况下，时间计算部14在对象存在于综合位置的时刻检索预定执行的工序。当发现工序时，时间计算部14对综合位置和执行该工序的执行区域进行比较。在综合位置处于执行区域内时，时间计算部14判定为该工序正在执行。
基于多个摄像装置20的图像的取得，以规定的间隔反复执行。针对以规定间隔反复取得的多个图像，反复执行对象的检测、暂定位置的计算、综合位置的计算以及工序的执行的判定。时间计算部14将连续判定为工序正在执行的时间作为对对象工序的所需时间进行计算。时间计算部14将计算出的所需时间发送至输出部15。
输出部15将数据向外部输出。例如，输出部15将所计算出的所需时间向处理装置10的外部输出。输出部15也可以进一步输出所拍摄到的多个图像的一个以上、所计算出的多个暂定位置的一个以上以及综合位置中的至少任一个。
输出部15也可以将数据向输出装置40输出。输出部15也可以将数据以CSV等规定的文件格式输出，并输出到存储装置50或SD卡等记录介质。或者，输出部15也可以使用FTP(File Transfer Protocol，文件传输协议)等向外部的服务器发送数据。输出部15也可以进行数据库通信，使用ODBC(Open Database Connectivity)等向外部的数据库服务器插入数据。
输入装置30在用户向处理装置10输入数据时使用。输入装置30包括鼠标、键盘、麦克风以及触摸板中的至少一个。取得部11接收从输入装置30输入的数据。用户也可以使用输入装置30输入工序信息、执行区域等，并经由处理装置10存储于存储装置50。
输出装置40以用户能够识别的方式输出数据。输出装置40包括监视器、投影仪、打印机和扬声器中的至少一个。也可以使用如触摸面板那样具备输入装置30以及输出装置40双方的功能的装置。
处理装置10包括具备中央运算处理装置的处理电路。存储装置50包括硬盘驱动器(HDD)或固态硬盘(SSD)等。处理装置10、多个摄像装置20、输入装置30、输出装置40以及存储装置50通过无线通信或者有线通信而相互连接。处理装置10、输入装置30、输出装置40以及存储装置50也可以组装于一个设备。
对实施方式的效果进行说明。
以往，所需时间通过监视者监视工序并进行计测来记录。在该方法中，监视者计测需要较多的时间。另外，根据监视者的经验、感觉等，计测结果会产生偏差。此外，还有用一个摄像装置拍摄工序，根据该图像计测所需时间的方法。在该方法中，如果对象的至少一部分被遮蔽在阴影中，则有可能无法准确地计算出对象的位置。其结果，有可能无法准确地计算所需时间。
在实施方式的计算系统100中，使用多个摄像装置20。多个摄像装置20设置成从相互不同的角度拍摄对象。因此，即使在对象相对于一个摄像装置20被遮蔽的情况下，也能够从其他摄像装置20拍摄对象。通过使用基于这多个摄像装置20的多个图像来计算综合位置，能够更高精度地计算对象的位置。其结果，能够更高精度地计算基于综合位置的所需时间。另外，由于能够自动地根据拍摄的图像计算所需时间，因此能够省略监视者的工夫。
以下，对计算系统100的优选的具体例进行说明。
图2是表示实施方式的计算系统的应用例的示意图。
图3以及图4是用于说明实施方式的计算系统中的处理的示意图。
在图2所示的现场A中，放置有货架B1及B2、桌子C及半成品D。在它们的周围设置有多个摄像装置20a～20j。作为对象的人物E在放置了货架B1、货架B2、桌子C或半成品D中的任一个的场所执行工序。多个摄像装置20a～20j拍摄现场A，将图像存储于存储装置50。
用于从图像中检测对象的第一模型被预先存储于存储装置50中。第一模型包括神经网络。优选第一模型卷积神经网络(Convolutional Neural Network，CNN)。通过使用CNN，能够从各图像高精度地检测对象。第一模型被预先学习以能够从图像中检测对象。或者，检测部12也可以使用单步多框检测器(Single Shot MultiBox Detector，SSD)或区域神经网络(Regions with CNN，R-CNN)从各图像检测对象。
检测部12向第一模型输入图像，并检测图像中包含的对象。检测部12基于检测结果截取拍摄有对象的图像的一部分。例如，图像的一部分被截取为长方形。检测部12将从各图像中截取的、拍摄有对象的图像存储于存储装置50。另外，检测部12将各图像中截取到对象的位置作为检测区域存储于存储装置50。
检测部12参照预先存储于存储装置50的、以二维坐标系表示的地图数据。图3的(a)是例示地图数据M的示意图。在地图数据中预先设定多个参考点Re。图3的(b)示意性地表示由一个摄像装置20取得的图像。针对由各摄像装置20拍摄的图像，预先设定多个基准点St。对于地图数据，既可以对多个摄像装置20共通地设定多个参照点，也可以按每个摄像装置20设定多个参照点。
图像中的多个基准点被设定于与地图数据的多个参考点对应的位置。检测部12以多个基准点分别与多个参考点一致的方式对图像的坐标系进行变换。变换能够使用透视投影变换矩阵。由此，能够用共通的二维坐标系来表示各图像中的坐标。
检测部12以对象对地面的接地部分为基准，计算图像中的对象的位置。在对象是人物的情况下，接地部分是脚。在对象是移动体的情况下，接地部分是车轮或履带等。例如，检测部12将检测区域的底边中央的位置用作图像中的对象的位置。通过上述的坐标系的变换，计算出共通的坐标系中的对象的暂定位置。
在检测人物作为对象的情况下，检测部12也可以识别人物。用于从图像中识别人物的第二模型被预先存储于存储装置50中。第二模型例如包含神经网络。优选地，第二模型包括CNN。通过使用CNN，能够高精度地识别人物。第二模型被预先学习以能够识别人物。或者，检测部12也可以从图像中提取方向梯度直方图(Histograms of Oriented Gradients，HOG)特征量，将HOG特征量输入到支持向量机(support vector machine，SVM)来识别人物。
检测部12对第二模型输入截取到的图像。检测部12将与得到最高的可靠度的等级对应的人物识别为图像中包含的人物。检测部12将人物的识别结果与可靠度一起存储于存储装置50。
为了使基于检测部12的识别变得容易，人物也可以将标记附在身上。第二模型也可以通过识别标记来识别人物。例如，在人物穿用号码布(bibs)时，第二模型也可以识别号码布的颜色、或者所打印的字符等。检测部12将标记的识别结果作为人物的识别结果存储于存储装置50。
检测部12在计算出图像中的对象的暂定位置时，计算其准确度。例如，准确度越高，表示暂定位置的精度越高。例如，使用以下5个值中的至少任一个来计算准确度。
第一个是相对于人物的识别结果的可靠度。可靠度越高，表示人物的识别结果越准确。换言之，表示在图像中更清晰地拍摄有人物。可靠度越高，准确度被计算得越高。
第二个是图像中的对象的尺寸。换言之，这是检测区域的尺寸。对象越接近摄像装置20，对象越被拍摄得更大。对象拍摄得越大，则暂定位置的精度越提高。因此，尺寸越大，准确度被计算得越高。
第三个是图像的中心与对象之间的距离。例如，检测部12计算图像的中心与检测区域的中心之间的距离。距离越短，对象从图像中观察不到的可能性越低。对象的观察不到的比例越小，则暂定位置的精度越提高。因此，距离越短，准确度被计算得越高。
第四个是表示人物的姿势的值。检测部12从截取到的图像中提取人物的骨骼数据。图4的(a)表示所截取到的图像IM1和所提取出的骨骼数据。作为骨骼数据，提取多个关节Jo。检测部12计算两肩的宽度W1。检测部12计算出截取到的图像的宽度W1相对于高度H1的比R1。例如，将各人物朝向正面时的肩宽W2与身高H2的比R2预先存储于存储装置50。检测部12将比R1相对于比R2之比R3用作表示人物的姿势的值。比R3越大，表示在图像中人物越朝向正面或背面。人物越是朝向正面或背面，则拍摄到人物的双手以及两脚的可能性越高，对象的检测的精度越提高。因此，比R3越大，则准确度越高。
第五个是图像中的对象的露出度。图4的(b)表示图像的一部分。在该例子中，人物进行作业，人物的一部分被遮蔽。在该情况下，作为拍摄到对象的区域，检测出检测区域DR1。检测部12提取检测区域DR1中拍摄到的人物的骨骼位置，并且推定被遮蔽的骨骼的位置。
例如，基于图像来推定人物的骨骼的位置并且还推定各关节的关联性所用的模型被预先存储于存储装置50。作为模型，能够使用OpenPose。检测部12使用模型来推定包含被遮蔽的骨骼的人物的骨骼位置。检测部12基于推定结果来校正检测区域。校正后的检测区域DR2是在没有遮蔽物的情况下被推定为拍摄到人物的区域。
检测部12计算检测区域DR1的面积相对于校正后的检测区域DR2的面积的比作为露出度。露出度越高，表示拍摄到对象的越多的部分。露出度越高，对象的检测的精度越提高。因此，露出度越大，准确度被计算得越高。
检测部12使用上述的5个值中的至少任一个来计算准确度。优选的是，检测部12使用5个值的全部来计算准确度。例如，检测部12使用5个值的平均值作为准确度。或者，也可以对5个值分别考虑这些值的优先级而预先设定权重。检测部12也可以将各值和权重相乘，将它们的和用作准确度。检测部12针对各暂定位置计算准确度。
在执行工序的现场，有时存在高低差。在对象存在于比地面高的区域时，有可能计算出图像中的对象存在于比实际更远离摄像装置20的位置。在对象存在于比地面高的区域时，也可以以该高度的量来校正图像中的对象的位置。例如，在由摄像装置20取得的图像中包含比地面高的第一区域的情况下，在图像中的坐标系中预先设定该第一区域的范围和高度。当从图像中检测到对象时，检测部12判定对象的检测区域是否包含于第一区域中。在检测区域包含于第一区域时，使检测区域的位置偏移高度的量。
作为一例，图像的左上被设定为原点，检测区域及第一区域为长方形状。检测区域的对角的坐标为(x1，y1，x2，y2)。第一区域的对角的坐标为(X1，Y1，X2，Y2)。第一区域距地面的高度为h。在检测区域包含于第一区域时，校正后的检测区域的对角的坐标由(x1，y1+h，x2，y2+h)表示。通过根据距地面的高度来修正检测区域，能够更高精度地计算图像中的对象的位置。
如上所述，对象的暂定位置使用对象对地面的接地部分的位置来计算。接地部分被遮蔽于阴影，使用对象的其他部分的位置来计算暂定位置时，存在暂定位置的精度降低的可能性。因此，检测部12也可以在对象对地面的接地部分被遮蔽于阴影时，推定接地部分的位置，并对检测区域进行修正。例如，检测部12提取人物的骨骼数据，基于提取出的骨骼数据来推定被遮蔽的骨骼的位置。检测部12对检测区域的范围进行校正，以使得还包含推定出检测区域的骨架。由此，能够更高精度地计算图像中的对象的位置。
综合部13使用多个暂定位置和针对各暂定位置的准确度来计算综合位置。例如，综合部13将准确度用作权重。综合部13将多个准确度归一化，将各暂定位置与准确度相乘。综合部13计算各个积的和作为综合位置。通过使用准确度计算综合位置，能够更高精度地计算综合位置。
综合部13在计算综合位置时也可以计算综合的准确度。综合的准确度例如能够基于暂定位置彼此之间的距离来计算。可以认为，暂定位置彼此之间的距离越短，基于它们计算出的综合位置也越可靠。因此，暂定位置彼此之间的距离越短，则综合的准确度被计算得越高。
图5的(a)是例示基于检测部的输出的表。图5的(b)是例示基于综合部的输出的表。
在图5的(a)的例子中，识别穿用了红色的号码布的人物和穿用了蓝色的号码布的人物，计算出各自的暂定位置和准确度。在该例子中，基于检测部12的输出包含时刻、摄像装置的识别数据、作为人物的识别结果的颜色以及识别数据、暂定位置的坐标以及准确度。图5的(b)表示基于图5的(a)的输出，综合部13计算出综合位置的结果。在该例子中，基于综合部13的输出包含时刻、作为人物的识别结果的颜色以及识别数据、综合位置的坐标以及综合的准确度。检测部12以及综合部13将这些输出存储于存储装置50。
图6的(a)是例示工序信息的表。图6的(b)是例示工序的执行的判定结果的表。图6的(c)是例示工序的所需时间的计算结果的表。
时间计算部14例如参照图6的(a)所示的工序信息和执行各工序的执行区域。在图2的例子中，在放置了货架、桌子以及半成品的场所分别设定有执行区域Re1～Re3。
在图6的(a)的例子中，工序信息包含工序名称、开始预定时刻、结束预定时刻以及工序的执行顺序。执行顺序例如基于工序的开始预定时刻以及结束预定时刻自动地输入。时间计算部14参照最初执行的工序的执行区域，判定综合位置是否位于该执行区域内。当综合位置从该执行区域脱离时，时间计算部14判定为结束了该工序。时间计算部14参照接下来执行的工序的执行区域，判定是否处于该执行区域内。通过反复进行该动作，判定各工序的执行。在对象为多个的情况下，针对每个对象，在各时刻判定工序的执行。
如图6的(b)所示，由时间计算部14判定在各时刻的工序的执行。如图6的(c)所示，时间计算部14基于该判定结果，计算各工序的所需时间。在对象为多个时，时间计算部14针对每个对象计算各工序的所需时间。
图7～图9是表示实施方式的计算系统的输出例的示意图。
在输出装置40是监视器的情况下，输出部15也可以使输出装置40显示图形用户界面(GUI)，在GUI上显示各数据。
例如，在图7所示的画面中，显示了表示制造现场的示意图和表示多个摄像装置20的多个图标IC。另外，在制造现场显示有多个标记M1～M6。在该例子中，用虚线表示的标记表示暂定位置。用实线表示的标记表示综合位置。另外，在标记M4～M6上标注有图案，在标记M1～M3上未标注有图案。表示标记M4～M6涉及对象与标记M1～M3涉及的对象不同。
在画面中还显示了时刻的输入栏EF1。用户将想要确认结果的时刻输入到输入栏EF1。输出部15使与输入的时刻有关的结果显示在画面上。
用户能够使用输入装置30操作指示器Po。例如，用户使指示器Po重叠在摄像装置20的图标IC上并点击。输出部15使在所设定的时刻由所指定的摄像装置20取得的图像显示于画面。例如，用户使指示器Po重叠在表示暂定位置的标记上并点击。输出部15检索在该暂定位置的计算中使用的图像，并显示在画面上。例如，如图8所示，在显示了暂定位置、综合位置等的画面内显示图像IM2。图像IM2也可以显示于其他画面。
当用户点击综合位置时，在屏幕上显示计算该综合位置时使用的多个图像的一部分。例如，当点击综合位置时，输出部15参照针对计算该综合位置时使用的多个暂定位置的多个准确度。输出部15选定得到了准确度最高的暂定位置的图像，并使其显示于画面。
得到最高的准确度的图像在多个图像中最容易确认对象的可能性高。通过基于准确度来选定要显示的图像，从而用户能够容易地确认基于计算系统100的输出结果。
输出部15也可以使特定期间中的综合位置的变迁显示于画面。综合位置的变迁表示对象的移动路径。例如，如图9所示，用户在输入栏EF2中指定期间。输出部15参照期间内的各时刻的综合位置，将它们连续地连接而显示移动路径G。通过显示移动路径G，能够容易地确认对象的移动是否没有浪费等。
在点击了移动路径G的一部分时，输出部15也可以显示在对象存在于被点击的位置的时刻拍摄到的图像。此时，输出部15与上述方法同样地，基于多个准确度来选定要显示的图像。
图10是表示使用了实施方式的计算系统的所需时间的计算方法的流程图。
多个摄像装置20拍摄对象(步骤St1)。当取得部11取得多个图像时，检测部12检测各图像中的对象(步骤St2)。检测部12对各检测区域进行校正(步骤St3)。具体而言，适当执行与地面的高低差的修正、基于接地部分的推定的修正等。检测部12计算各检测区域的暂定位置(步骤St4)。检测部12计算各暂定位置的准确度(步骤St5)。综合部13使用多个暂定位置以及多个准确度来计算综合位置(步骤St6)。时间计算部14判定工序的执行(步骤St7)。时间计算部14基于判定结果，计算各工序的所需时间(步骤St8)。输出部15输出各种结果(步骤St9)。
图11是表示处理装置的硬件结构的框图。
实施方式的计算系统100的处理装置10由计算机110实现。计算机110包括只读存储器(Read Only Memory，ROM)111、随机存取存储器(Random Access Memory，RAM)112、CPU113和HDD114。
ROM111存储用于控制计算机110的动作的程序。在ROM111中存储有使计算机110实现上述各处理所需的程序。
RAM112作为供存储于ROM111中的程序展开的存储区域发挥功能。CPU113包括处理电路。CPU113读取存储于ROM111中的控制程序，根据该控制程序来控制计算机110的动作。另外，CPU113将通过计算机110的动作而得到的各种数据在RAM112中展开。HDD114存储读取所需的数据和在读取过程中获得的数据。HDD114也可以作为存储装置50发挥功能。
计算机110也可以具有嵌入式多媒体卡(embedded Multi Media Card，eMMC)、固态硬盘、固态混合硬盘(Solid State Hybrid Drive，SSHD)等来代替HDD114。处理装置10也可以通过2个以上的计算机的协作来实现。
通过使用以上说明的实施方式的计算系统以及计算方法，能够更高精度地计算工序的所需时间。另外，通过使用用于使计算机作为计算系统进行动作的程序，能够得到同样的效果。
上述各种数据的处理也可以作为能够使计算机执行的程序，而记录在磁盘(软盘和硬盘等)、光盘(CD-ROM、CD-R、CD-RW、DVD-ROM、DVD±R、DVD±RW等)、半导体存储器或其他记录介质中。
例如，记录在记录介质中的数据可以由计算机(或嵌入式系统)读取。在记录介质中，记录格式(存储格式)是任意的。例如，计算机从记录介质读出程序，并基于该程序使CPU执行在程序中记述的指示。在计算机中，程序的取得(或读出)也可以通过网络来进行。
实施方式也可以包含以下方案。
(方案1)
一种计算系统，具备：
检测部，参照从相互不同的角度拍摄对象而得到的多个图像，针对所述多个图像中的每一个图像，检测所述对象，计算在规定的坐标系中的所述对象的暂定位置；
综合部，使用计算出的所述多个暂定位置，计算在所述坐标系中的所述对象的综合位置；以及
时间计算部，参照包含与多个工序有关的信息的工序信息和由所述坐标系表示的执行各工序的执行区域，基于所述综合位置及所述多个执行区域，计算所述多个工序的至少一部分的所需时间。
(方案2)
根据方案1所述的计算系统，其中，
所述检测部分别计算针对所述多个暂定位置的多个准确度，
所述综合部使用所述多个暂定位置以及所述多个准确度，计算所述综合位置。
(方案3)
根据方案2所述的计算系统，其中，还具备：
输出部，输出所述多个图像的一个以上、所述多个暂定位置的一个以上以及所述综合位置中的至少任一个。
(方案4)
根据方案3所述的计算系统，其中，
所述输出部基于所述多个准确度，输出所述多个图像的一部分。
(方案5)
根据方案3或4所述的计算系统，其中，
所述输出部还输出所述综合位置相对于时间的变化。
(方案6)
根据方案2至5中任一项所述的计算系统，其中，
所述检测部检测人物作为所述对象，并且识别所述人物。
(方案7)
根据方案6所述的算出系统，其中，
所述检测部使用
针对所述人物的识别结果的可靠度、
所述图像中的所述对象的尺寸、
所述图像的中心与所述对象之间的距离、
表示所述人物的姿势的值、以及
所述图像中的所述对象的曝光度中的至少任一个，计算所述多个准确度中的每一个准确度。
(方案8)
根据方案1至7中任一项所述的计算系统，其中，
所述检测部，
计算在二维的所述坐标系中的所述多个暂定位置，
在检测出的所述对象包含于比地面高的第一区域时，使用所述第一区域与所述地面的高度之差，对所述多个暂定位置进行修正。
(方案9)
根据方案1至8中任一项所述的计算系统，其中，
在所述图像中未拍摄到所述对象对地面的接地部分时，所述检测部推定所述图像中的所述对象的所述接地部分的位置，并基于推定出的结果，计算所述暂定位置。
(方案10)
根据方案1至9中任一项所述的计算系统，其中，
所述检测部，
针对所述多个图像，检测人物作为所述对象，并且识别所述人物，
当在所述多个图像中的每一个图像中拍摄到多个人物时，计算所述多个人物各自的所述暂定位置，
所述综合部针对所述多个人物中的每一个人物，计算所述综合位置。
(方案11)
根据方案1至10中任一项所述的计算系统，其中，
所述工序信息包含执行所述多个工序中的每一个工序的时刻，
所述时间计算部将各时刻的所述综合位置与在各时刻执行的所述工序的执行区域进行比较，计算所述综合位置包含于所述执行区域中的时间作为所述多个工序的所述至少一部分的所述所需时间。
(方案12)
根据方案1至11中任一项所述的计算系统，其中，还具备：
从相互不同的角度拍摄对象的多个摄像装置。
(方案13)
一种计算方法，
参照从相互不同的角度拍摄对象而得到的多个图像，
针对所述多个图像中的每一个图像，检测所述对象，
计算规定的坐标系中的所述对象的暂定位置，
使用计算出的所述多个暂定位置，计算在所述坐标系中的所述对象的综合位置，
参照包含与多个工序有关的信息的工序信息和由所述坐标系表示的执行各工序的执行区域，
基于所述综合位置以及所述多个执行区域，计算所述多个工序的至少一部分的所需时间。
(方案14)
根据方案13所述的计算方法，其中，
分别计算针对所述多个暂定位置的多个准确度，
使用所述多个暂定位置以及所述多个准确度，计算所述综合位置。
(方案15)
根据方案14所述的计算方法，其中，
检测人物作为所述对象，并且识别所述人物，使用
针对所述人物的识别结果的可靠度、
所述图像中的所述对象的尺寸、
所述图像的中心与所述对象之间的距离、
表示所述人物的姿势的值、以及
所述图像中的所述对象的曝光度
中的至少任一个，计算所述多个准确度中的每一个准确度。
(方案16)
一种程序，使计算机执行以下处理：
参照从相互不同的角度拍摄对象而得到的多个图像，
针对所述多个图像中的每一个图像，检测所述对象，
计算规定的坐标系中的所述对象的暂定位置，
使用计算出的所述多个暂定位置，计算在所述坐标系中的所述对象的综合位置，
参照包含与多个工序有关的信息的工序信息和由所述坐标系表示的执行各工序的执行区域，
基于所述综合位置以及所述多个执行区域，计算所述多个工序的至少一部分的所需时间。
(方案17)
根据方案16所述的程序，使所述计算机执行以下处理：
分别计算针对所述多个暂定位置的多个准确度，
使用所述多个暂定位置和所述多个准确度，计算所述综合位置。
(方案18)
根据方案17所述的程序，使所述计算机执行以下处理：
检测人物作为所述对象，并且识别所述人物，使用
针对所述人物的识别结果的可靠度、
所述图像中的所述对象的尺寸、
所述图像的中心与所述对象之间的距离、
表示所述人物的姿势的值、以及
所述图像中的所述对象的曝光度中的至少任一个，计算所述多个准确度中的每一个准确度。
(方案19)
一种存储介质，存储有方案16至18中任一项所述的程序。
以上，例示了本发明的几个实施方式，但这些实施方式是作为例子提示的，并不意图限定发明的范围。这些新的实施方式能够以其他各种方式实施，在不脱离发明的主旨的范围内，能够进行各种省略、置换、变更等。这些实施方式及其变形例包含在发明的范围及主旨内，并且包含在权利要求书所记载的发明及其等同的范围内。另外，前述的各实施方式能够相互组合来实施。

Claims (18)

1.一种计算系统，具备：
检测部，参照从相互不同的角度拍摄对象而得到的多个图像，针对所述多个图像中的每一个图像，检测所述对象，计算在规定的坐标系中的所述对象的暂定位置；
综合部，使用计算出的所述多个暂定位置，计算在所述坐标系中的所述对象的综合位置；以及
时间计算部，参照包含与多个工序有关的信息的工序信息和由所述坐标系表示的执行各工序的执行区域，基于所述综合位置及所述多个执行区域，计算所述多个工序的至少一部分的所需时间。
2.根据权利要求1所述的计算系统，其中，
所述检测部分别计算针对所述多个暂定位置的多个准确度，
所述综合部使用所述多个暂定位置以及所述多个准确度，计算所述综合位置。
3.根据权利要求2所述的计算系统，其中，还具备：
输出部，输出所述多个图像的一个以上、所述多个暂定位置的一个以上以及所述综合位置中的至少任一个。
4.根据权利要求3所述的计算系统，其中，
所述输出部基于所述多个准确度，输出所述多个图像的一部分。
5.根据权利要求3或4所述的计算系统，其中，
所述输出部还输出所述综合位置相对于时间的变化。
6.根据权利要求2至4中任一项所述的计算系统，其中，
所述检测部检测人物作为所述对象，并且识别所述人物。
7.根据权利要求6所述的算出系统，其中，
所述检测部使用
针对所述人物的识别结果的可靠度、
所述图像中的所述对象的尺寸、
所述图像的中心与所述对象之间的距离、
表示所述人物的姿势的值、以及
所述图像中的所述对象的曝光度中的至少任一个，计算所述多个准确度中的每一个准确度。
8.根据权利要求1至4中任一项所述的计算系统，其中，
所述检测部，
计算在二维的所述坐标系中的所述多个暂定位置，
在检测出的所述对象包含于比地面高的第一区域时，使用所述第一区域与所述地面的高度之差，对所述多个暂定位置进行修正。
9.根据权利要求1至4中任一项所述的计算系统，其中，
在所述图像中未拍摄到所述对象对地面的接地部分时，所述检测部推定所述图像中的所述对象的所述接地部分的位置，并基于推定出的结果，计算所述暂定位置。
10.根据权利要求1至4中任一项所述的计算系统，其中，
所述检测部，
针对所述多个图像，检测人物作为所述对象，并且识别所述人物，
当在所述多个图像中的每一个图像中拍摄到多个人物时，计算所述多个人物各自的所述暂定位置，
所述综合部针对所述多个人物中的每一个人物，计算所述综合位置。
11.根据权利要求1至4中任一项所述的计算系统，其中，
所述工序信息包含执行所述多个工序中的每一个工序的时刻，
所述时间计算部将各时刻的所述综合位置与在各时刻执行的所述工序的执行区域进行比较，计算所述综合位置包含于所述执行区域中的时间作为所述多个工序的所述至少一部分的所述所需时间。
12.根据权利要求1至4中任一项所述的计算系统，其中，还具备：
从相互不同的角度拍摄对象的多个摄像装置。
13.一种计算方法，
参照从相互不同的角度拍摄对象而得到的多个图像，
针对所述多个图像中的每一个图像，检测所述对象，
计算规定的坐标系中的所述对象的暂定位置，
使用计算出的所述多个暂定位置，计算在所述坐标系中的所述对象的综合位置，
参照包含与多个工序有关的信息的工序信息和由所述坐标系表示的执行各工序的执行区域，
基于所述综合位置以及所述多个执行区域，计算所述多个工序的至少一部分的所需时间。
14.根据权利要求13所述的计算方法，其中，
分别计算针对所述多个暂定位置的多个准确度，
使用所述多个暂定位置以及所述多个准确度，计算所述综合位置。
15.根据权利要求14所述的计算方法，其中，
检测人物作为所述对象，并且识别所述人物，使用
针对所述人物的识别结果的可靠度、
所述图像中的所述对象的尺寸、
所述图像的中心与所述对象之间的距离、
表示所述人物的姿势的值、以及
所述图像中的所述对象的曝光度
中的至少任一个，计算所述多个准确度中的每一个准确度。
16.一种存储介质，存储有使计算机执行以下处理的程序：
参照从相互不同的角度拍摄对象而得到的多个图像，
针对所述多个图像中的每一个图像，检测所述对象，
计算规定的坐标系中的所述对象的暂定位置，
使用计算出的所述多个暂定位置，计算在所述坐标系中的所述对象的综合位置，
参照包含与多个工序有关的信息的工序信息和由所述坐标系表示的执行各工序的执行区域，
基于所述综合位置以及所述多个执行区域，计算所述多个工序的至少一部分的所需时间。
17.根据权利要求16所述的存储介质，所述程序使所述计算机执行以下处理：
分别计算针对所述多个暂定位置的多个准确度，
使用所述多个暂定位置和所述多个准确度，计算所述综合位置。
18.根据权利要求17所述的存储介质，所述程序使所述计算机执行以下处理：
检测人物作为所述对象，并且识别所述人物，使用
针对所述人物的识别结果的可靠度、
所述图像中的所述对象的尺寸、
所述图像的中心与所述对象之间的距离、
表示所述人物的姿势的值、以及
所述图像中的所述对象的曝光度
中的至少任一个，计算所述多个准确度中的每一个准确度。
CN202011456727.2A 2019-12-11 2020-12-11 计算系统、计算方法及存储介质 Active CN112949375B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-224034 2019-12-11
JP2019224034A JP7516037B2 (ja) 2019-12-11 2019-12-11 算出システム、算出方法、プログラム、及び記憶媒体

Publications (2)

Publication Number Publication Date
CN112949375A true CN112949375A (zh) 2021-06-11
CN112949375B CN112949375B (zh) 2024-09-24

Family

ID=76234829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011456727.2A Active CN112949375B (zh) 2019-12-11 2020-12-11 计算系统、计算方法及存储介质

Country Status (3)

Country Link
US (1) US11461923B2 (zh)
JP (1) JP7516037B2 (zh)
CN (1) CN112949375B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7516037B2 (ja) * 2019-12-11 2024-07-16 株式会社東芝 算出システム、算出方法、プログラム、及び記憶媒体
JPWO2023100718A1 (zh) * 2021-11-30 2023-06-08
US11957978B2 (en) * 2022-03-03 2024-04-16 Niantic, Inc. Refining camera re-localization determination using prior pose model

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010098024A1 (ja) * 2009-02-24 2010-09-02 三菱電機株式会社 人物追跡装置及び人物追跡プログラム
JP2011024196A (ja) * 2009-06-18 2011-02-03 Panasonic Corp 画像選択装置、画像選択方法、及び画像選択システム
CN102129448A (zh) * 2010-01-13 2011-07-20 佳能株式会社 图像管理设备及其控制方法
CN103310185A (zh) * 2012-03-15 2013-09-18 欧姆龙株式会社 监视装置以及可靠度计算方法
JP2013187862A (ja) * 2012-03-09 2013-09-19 Topcon Corp 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
JP2015141722A (ja) * 2015-03-06 2015-08-03 パナソニックＩｐマネジメント株式会社 店員作業管理装置、店員作業管理システムおよび店員作業管理方法
US20180018529A1 (en) * 2015-01-16 2018-01-18 Hitachi, Ltd. Three-Dimensional Information Calculation Device, Three-Dimensional Information Calculation Method, And Autonomous Mobile Device
CN107850888A (zh) * 2015-07-24 2018-03-27 富士通株式会社 制造工序管理系统、制造工序管理方法以及制造工序管理程序
WO2019155727A1 (ja) * 2018-02-08 2019-08-15 三菱電機株式会社 情報処理装置、追跡方法、及び追跡プログラム
CN110324572A (zh) * 2018-03-28 2019-10-11 佳能株式会社 监视系统、监视方法和非暂时性计算机可读存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250990A (ja) 2004-03-05 2005-09-15 Mitsubishi Electric Corp 作業支援装置
US9182814B2 (en) * 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
WO2014016862A1 (ja) * 2012-07-23 2014-01-30 富士通株式会社 表示制御プログラム、表示制御方法及び表示制御装置
WO2014112632A1 (ja) * 2013-01-18 2014-07-24 株式会社東芝 動作情報処理装置及び方法
US9224064B2 (en) * 2013-02-15 2015-12-29 Samsung Electronics Co., Ltd. Electronic device, electronic device operating method, and computer readable recording medium recording the method
US9875579B2 (en) * 2014-08-22 2018-01-23 Applied Research Associates, Inc. Techniques for enhanced accurate pose estimation
US9877012B2 (en) * 2015-04-01 2018-01-23 Canon Kabushiki Kaisha Image processing apparatus for estimating three-dimensional position of object and method therefor
JP6596309B2 (ja) 2015-11-11 2019-10-23 株式会社東芝 分析装置および分析方法
JP6700752B2 (ja) * 2015-12-01 2020-05-27 キヤノン株式会社 位置検出装置、位置検出方法及びプログラム
US10070066B2 (en) * 2016-01-05 2018-09-04 Ricoh Company, Ltd. Coordinate calculator and coordinate calculation system
WO2017150162A1 (ja) * 2016-03-01 2017-09-08 株式会社リコー 位置推定装置、位置推定方法、及びプログラム
JP7353747B2 (ja) * 2018-01-12 2023-10-02 キヤノン株式会社 情報処理装置、システム、方法、およびプログラム
US10964055B2 (en) * 2019-03-22 2021-03-30 Qatar Armed Forces Methods and systems for silent object positioning with image sensors
JP7516037B2 (ja) * 2019-12-11 2024-07-16 株式会社東芝 算出システム、算出方法、プログラム、及び記憶媒体

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010098024A1 (ja) * 2009-02-24 2010-09-02 三菱電機株式会社 人物追跡装置及び人物追跡プログラム
JP2011024196A (ja) * 2009-06-18 2011-02-03 Panasonic Corp 画像選択装置、画像選択方法、及び画像選択システム
CN102129448A (zh) * 2010-01-13 2011-07-20 佳能株式会社 图像管理设备及其控制方法
JP2013187862A (ja) * 2012-03-09 2013-09-19 Topcon Corp 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
CN103310185A (zh) * 2012-03-15 2013-09-18 欧姆龙株式会社 监视装置以及可靠度计算方法
US20180018529A1 (en) * 2015-01-16 2018-01-18 Hitachi, Ltd. Three-Dimensional Information Calculation Device, Three-Dimensional Information Calculation Method, And Autonomous Mobile Device
JP2015141722A (ja) * 2015-03-06 2015-08-03 パナソニックＩｐマネジメント株式会社 店員作業管理装置、店員作業管理システムおよび店員作業管理方法
CN107850888A (zh) * 2015-07-24 2018-03-27 富士通株式会社 制造工序管理系统、制造工序管理方法以及制造工序管理程序
WO2019155727A1 (ja) * 2018-02-08 2019-08-15 三菱電機株式会社 情報処理装置、追跡方法、及び追跡プログラム
CN110324572A (zh) * 2018-03-28 2019-10-11 佳能株式会社 监视系统、监视方法和非暂时性计算机可读存储介质

Also Published As

Publication number Publication date
CN112949375B (zh) 2024-09-24
US11461923B2 (en) 2022-10-04
JP7516037B2 (ja) 2024-07-16
US20210192771A1 (en) 2021-06-24
JP2021093037A (ja) 2021-06-17

Similar Documents

Publication Publication Date Title
CN112949375B (zh) 计算系统、计算方法及存储介质
JP6237326B2 (ja) 姿勢推定装置、姿勢推定方法及び姿勢推定用コンピュータプログラム
CN106647742B (zh) 移动路径规划方法及装置
US10512941B2 (en) Projection instruction device, parcel sorting system, and projection instruction method
CN104969538B (zh) 管理封闭区域用的移动增强现实
CN103189827B (zh) 对象显示装置以及对象显示方法
CN109325456B (zh) 目标识别方法、装置、目标识别设备及存储介质
EP3104329A1 (en) Image processing device and image processing method
US20130121592A1 (en) Position and orientation measurement apparatus,position and orientation measurement method, and storage medium
TW201715476A (zh) 運用擴增實境技術之導航系統
US20200126254A1 (en) Information processing apparatus, information processing method, and program
JP2018524657A (ja) 電子デバイス上における環境マッピング用のフィーチャ・データの管理
US9083891B2 (en) Video monitoring apparatus
Tamjidi et al. 6-DOF pose estimation of a portable navigation aid for the visually impaired
CN113033266A (zh) 人员运动轨迹追踪方法、装置、系统及电子设备
KR20210046217A (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
KR20140114594A (ko) 사람 객체 추적을 통한 자동 카메라 보정 방법
JP2019163172A (ja) システム、情報処理装置、情報処理方法、プログラム及び記録媒体
WO2018134866A1 (ja) カメラ校正装置
US10589319B2 (en) Projection instruction device, parcel sorting system, and projection instruction method
JP7562398B2 (ja) 位置管理システム
US11216969B2 (en) System, method, and computer-readable medium for managing position of target
Zhao et al. Visual and inertial sensor fusion for mobile X-ray detector tracking: demo abstract
EP4292777A1 (en) Assistance system, image processing device, assistance method and program
Tonosaki et al. Indoor Localization by Map Matchin Using One Image of Information Board

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant