CN106997505B - 分析装置及分析方法 - Google Patents

分析装置及分析方法 Download PDF

Info

Publication number
CN106997505B
CN106997505B CN201610988122.5A CN201610988122A CN106997505B CN 106997505 B CN106997505 B CN 106997505B CN 201610988122 A CN201610988122 A CN 201610988122A CN 106997505 B CN106997505 B CN 106997505B
Authority
CN
China
Prior art keywords
information
time
person
marker
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610988122.5A
Other languages
English (en)
Other versions
CN106997505A (zh
Inventor
浪冈保男
高桥伸昌
安井英己
本洼田昌也
八岛优树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN106997505A publication Critical patent/CN106997505A/zh
Application granted granted Critical
Publication of CN106997505B publication Critical patent/CN106997505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

本发明实施形态的分析装置具有获取部和处理部。所述获取部获取第1时刻到第2时刻的具有第1时长的第1信息。所述第1信息基于对象者的活动。所述处理部从第1信息抽取多个相似点。所述多个相似点在所述第1信息上互相相似。所述处理部算出所述多个相似点的时间间隔。

Description

分析装置及分析方法
本发明申请享有以日本专利申请2015－221145号(申请日：2015年11月11日)为基础申请的优先权。本申请通过参照该基础申请包含基础申请的所有内容。
技术领域
本发明实施形态基本涉及分析装置及分析方法。
背景技术
在制造现场，为了改善作业效率，采用各种分析。例如，观察作业、计测作业时间、拍摄作业的样子，进行它们的结果分析。但是，该分析需要很多时间。因此，希望有能够容易地分析作业的分析装置。
发明内容
本发明实施形态提供能够容易地分析作业的分析装置和分析方法。
实施形态的分析装置具有获取部和处理部。所述获取部获取具有从第1时刻到第2时刻的第1时长的第1信息。所述第1信息基于对象者的活动。所述处理部从第1信息抽取多个相似点。所述多个相似点在所述第1信息上彼此相似。所述处理部算出所述多个相似点的时间间隔。
附图说明
图1为表示第1实施形态的分析装置的结构的示意图；
图2为表示分析对象的示意图；
图3为表示由获取部获取的信息的一例的曲线图；
图4为表示由获取部获取的信息的一例的曲线图；
图5为表示处理部进行的信息处理过程的一例的曲线图；
图6为表示处理部进行的信息处理过程的一例的曲线图；
图7为表示处理部进行的信息处理过程的一例的曲线图；
图8为表示获取部获取的信息的一例的曲线图；
图9为表示获取部获取的信息的一例的曲线图；
图10为表示处理部进行的信息处理过程的一例的曲线图；
图11为表示处理部进行的信息处理过程的一例的曲线图；
图12为表示处理部进行的信息处理过程的一例的曲线图；
图13为表示第1实施形态的变形例的分析装置的结构的示意图；
图14为表示第2实施形态的分析装置的结构的示意图。
具体实施方式
(第1实施形态)
图1为表示第1实施形态的分析装置100的结构的示意图。
如图1所示，分析装置100具备输入部10、获取部20、处理部30、显示部40和存储部50。
输入部10为例如键盘或智能手机、平板电脑等的触摸屏。分析装置100的使用者使用输入部10将信息输入处理部30。
获取部20获取基于分析对象的活动的信息。获取部20进行信息获取的时间的长度既可以使用输入部10设定，也可以通过分析对象自身输入获取开始和结束。获取部20向处理部30发送获取到的信息。
获取部20为例如具备深度传感器的相机。这种情况下，获取部20设置在分析对象停留的场所。获取部20通过拍摄分析对象获取有关分析对象的活动的信息。
或者，获取部20也可以是加速度传感器。这种情况下，获取部20附着在分析对象的手腕、脚等身上。获取部20通过检测这些部位的加速度获取有关分析对象的活动的信息。
处理部30处理从输入部10和获取部20接收到的信息。
处理部30为例如存储有软件的CPU。
存储部50存储信息。处理部30能够参照存储部50抽取必要的信息。
另外，分析装置100也可以不具备存储部50。这种情况下，处理部30通过网络与其他设备的硬盘等连接。
显示部40使从处理部30发送来的信息可视化，显示给分析装置100的使用者。显示部40为例如智能手机和平板电脑、PC等的液晶显示器。
具备以上结构的分析装置100例如在工厂等制造现场用于分析作业者的活动。例如，在作业者反复进行特定的作业的情况下，分析装置100通过收集基于作业者的活动的信息进行分析，能够抽取该作业需要的时间。并且，此时分析装置100能够将该时间记录到存储部50中，或者显示在显示部40中。
这里参照图2～图12更具体地说明获取部20和处理部30的动作的一例。另外，这里说明获取部20为具备深度传感器的设备时的情况。
图2为表示分析对象的示意图。
图3、图4、图8和图9为表示获取部20获取的信息的一例的曲线图。
图5～图7和图10～图12为表示处理部30进行的信息处理过程的一例的曲线图。
另外，在图3、图4、图8和图9中，横轴表示时间，纵轴表示坐标。
在图5、图6、图10和图11中，横轴表示时间，纵轴表示距离。这些图中，距离的值越大，表示2个对象之间的距离越短、相关性越强。
图7和图12中，横轴表示时间，纵轴表示标量值(スカラー値)。
图2表示作为分析对象的作业者M在机器D进行作业的样子。并且，图2表示从获取部20看时工作台的样子。即，该例中获取部20设置在作业者M的大致正上方。
获取部20对拍摄的空间例如像图2所示那样设定坐标。该例中，从面向机器D的作业者M来看，上下设定为Z轴、左右设定为X轴、前后设定为Y轴。
获取部20检测X－Y坐标面上各点的被摄体与获取部20之间的距离。即，获取部20检测X－Y坐标面上各点的深度。在拍摄图2所示状态的作业者M的情况下，头部深度最浅。并且，深度为从肩膀到手的深度。
获取部20通过检测作业者M各部位的深度判断身体的部位，能够检测特定部位的活动。获取部20例如判断作业者M的头部，通过追踪该头部在X轴方向上的位置的变化，能够检测作业者M的活动。
图3为此时获取部20进行的检测结果的一例。获取部20将该信息发送给处理部30，在处理部30中进行分析。
图3所示的例中，获取部20获取时长T(第1时长)的第1信息。处理部30从第1信息抽取时长X(第2时长)的局部信息。时长X比时长T短。图3所示的例中，处理部30从时刻t0到tn的时长T的第1信息抽取时刻t0到时刻t1的时长X的局部信息。
时长T和X由例如作业者M、制造现场的管理者等预先设定。时长T也可以通过作业者M输入作业开始和终了来决定。这种情况下，由作业者M输入作业开始到输入作业终了的时间为时长T。
或者，时长T也可以由处理部30适当设定、变更。例如，事先由作业者M、管理者将大致的作业周期A输入处理部30。处理部30能够将该周期A的整数倍作为时长T。
接着，处理部30与局部信息分开，从时刻t0到tn以预定的时间间隔(第1时间间隔)从时长T的第1信息抽取时长X的信息。具体为，处理部30像图4的箭头所示那样，整个从时刻t0到tn连续不断地例如边使范围一帧帧地移开，边从第1信息抽取时长X的信息。另外，图4中用箭头只表示了被抽取的信息的一部分时间宽度。
以下将通过图4所示的步骤抽取出的各个信息称为比较信息。
接着，处理部30依次计算在图3所示步骤中抽取出的局部信息与在图4所示步骤中抽取出的每个比较信息之间的距离。处理部30计算例如局部信息与比较信息之间的DTW(Dynamic Time Warping，动态时间规整)距离。通过使用DTW距离，不管反复进行的活动的时间长短如何，都能求出相关的强度。结果，能够获得每个时刻的第1信息相对于局部信息的距离信息。表示这种情况的是图5。
以下将图5所示的包含各时刻的距离的信息称为第1相关信息。
接着，处理部30为了推定作业者M进行的作业时间的周期，进行第1信息中的假相似点的设定。说明假相似点设定的具体例。处理部30像图5所示那样，在离散时间(ばらつき時間)N的范围内随机地设定多个候选点α1～αM。离散时间N的中心为第1相关信息中从时刻t0开始经过了时间μ(第3时间)后的时刻。图5所示的例中，随机地设定了3个候选点。
时间μ和离散时间N例如由制造现场的管理者等预先设定。
处理部30作成具有正态分布的多个数据(第3比较信息)。正态分布分别在候选点α1～αM上具有峰值。然后，求出每个正态分布与图5所示的第1相关信息之间的互相关系数(第2互相关系数)。处理部30将互相关系数最高的候选点设定为假相似点。图5所示的例中，候选点α2设定为假相似点。
接着，处理部30再次在离散时间N的范围内随机地设定多个候选点α1～αM。此时，离散时间N的中心为从假相似点(候选点α2)开始经过了时间μ以后的时刻。通过反复进行这个步骤直到时刻tn，像图6所示那样在时刻t0～tn之间设定多个假相似点β1～βk。
接着，处理部30像图7所示那样，作成包含在每个假相似点β1～βk具有峰值的多个正态分布的数据。以下将包含该图7所示的多个正态分布的信息称为第2比较信息。
处理部30算出图5和图6所示的第1相关信息与图7所示的第2比较信息之间的互相关系数(第1互相关系数)。
接着，处理部30像图8～图12所示那样对其他的局部信息进行与图3～图7相同的步骤。另外，图8～图12只表示了时刻t1以后的信息。
处理部30例如像图8所示那样抽取时刻t1到t2之间的时长X的局部信息。接着，处理部30像图9所示那样抽取时长X的多个比较信息。处理部30通过计算局部信息与每个比较信息之间的距离，像图10所示那样作成第1相关信息。
接着，处理部30像图10所示那样，以从时刻t1开始经过了时间μ后的时刻为基准，随机地设定多个候选点α1～αM，抽取假相似点β。通过反复进行该步骤，像图11所示那样设定多个假相似点β1～βk。然后，处理部30像图12所示那样作成基于假相似点β1～βk的第2比较信息。处理部30算出图10和图11所示的第1相关信息与图12所示的第2比较信息之间的互相关系数。
处理部30通过在时刻t2以后还反复进行上述步骤，对每个局部信息算出互相关系数。通过反复进行这些步骤，作成多个假相似点β1～βk的集合。处理部30将获得最大互相关系数的一组假相似点β1～βk作为真相似点抽取。处理部30通过算出每个真相似点的时间间隔获得作业者M的作业周期。处理部30求出例如时间轴上相邻的真相似点之间的时长的平均值，能够将该平均时间作为作业的周期。
这里以基于由深度传感器获取的信息的分析为例进行了说明。但是并不局限于此，通过使用作业者M的身体的一部分的加速度信息等进行同样的分析，也能够分析作业者M的作业的周期。
并且，本实施形态的分析装置100并不局限于制造现场的作业，对于反复进行规定动作的对象能够广泛应用于其周期的分析。
基于这样的分析装置100，能够自动地分析分析对象的活动的周期。例如在上述制造现场，能够自动地分析作业者M的作业周期。因此，由于不需要作业者M自身进行的记录、申报，用于改善业务的技术人员进行的观察、计量等，因此能够容易地分析作业。并且，由于分析结果不依赖于进行分析人员的经验和知识、判断等，因此能够精度更高地求出周期。
另外，分析装置100也可以不具备多个获取部20。这种情况下，既可以由各获取部20获取互相不同的作业者的信息，也可以对同一个作业者获取信息。
并且，分析装置100也可以是对以互相不同的时刻为起点的时长T各自的信息进行上述分析的装置。例如，在成为分析对象的信息的时长长的情况下，分析装置100也可以将作为分析对象的整个时间分割成多段，对各时段进行上述分析。这种情况下，被分割后的时长为T。通过使用这样的方法，能够缩短分析处理所需要的时间。并且，也可以在作业者进行作业的同时，在经过了时长T的时间点上进行上述分析，使其结果反映到作业者的作业。
(变形例)
图13为表示第1实施形态的变形例的分析装置110的结构的示意图。
如图13所示，分析装置110还具备对分析装置100的发送部60和接收部70。
发送部60发送包含该发送部60的ID的信号。发送部60例如设定为每特定时间发送信号。从发送部60发送的信号既可以有指向性，也可以无指向性。
接收部70接收从发送部60发送的信号。接收部70向处理部30输出接收到的信号。
发送部60为例如设置在生产现场各处的信标机、RFID(Radio FrequencyIDentifier射频识别器)等。或者，也可以是附带在被加工材料、夹具等没被固定的部件上的信标机、RFID等。
接收部70为例如能够通过Bluetooth(注册商标)接收从发送部60发送的信号的平板电脑终端、智能手机。在发送部60为RFID的情况下，接收部70使用射频阅读器。接收部70在例如生产现场的情况下为执行各工序的作业者携带。
或者，也可以作业者携带发送部60。这种情况下，接收部70设置在生产现场的各处、制造设备等中。或者，也可以发送部60附带在被加工材料、夹具等上，接收部70设置在生产现场的各处、制造设备等上。
处理部30将从接收部70输入的信号变换成信息。由此，处理部30获得包含在从发送部60发送来的信号中的发送部60的ID等信息。
存储部50存储例如制造现场的工艺流程、工艺流程中包含的工序、各工序使用的装置、执行各工序的场所、执行各工序的作业者和各工序加工的对象物等信息。
并且，存储部50中包含与发送部60、接收部70的设置场所(携帯者)相关联的信息。例如，在制造现场设置发送部60的情况下，存储部50存储有关在设置了该发送部60的场所进行的工序和加工对象物、使用的装置等的信息。
因此，处理部30通过使用从接收部70输入的发送部60的ID、参照存储部50的信息，能够从存储部50抽取出与该ID相关联的这些信息。
基于本变形例的分析装置110，由于利用发送部60和接收部70获取例如有关作业者M进行的作业的信息，因此能够将该作业的信息与作业周期的信息建立关联进行管理。
(第2实施形态)
图14为表示第2实施形态的分析装置200的结构的示意图。
如图14所示，分析装置200与分析装置100相比，还具备拍摄部80。
拍摄部80拍摄作业者M，基于该拍摄到的图像，处理部30判断作业者M。在获取部20为深度传感器的情况下，处理部30也可以以获取部20拍摄到的图像为基础判断作业者M。即，一台设备可以具备作为获取部20的功能和作为拍摄部80的功能。存储部50中存储有用来特定作业者M所必需的信息。
作为以图像为基础判断作业者M的方法可以列举例如以下几种。
第一、基于图像中的骨骼信息进行判断的方法。
该方法中，首先处理部30对于图像中的作业者M抽取肩、肘、腰和膝盖等关节部分，头、手和脚等骨骼的端部，通过连接它们获取作业者M的骨骼信息。接着，处理部30对于该骨骼计算肩宽、左右上臂各自的长度、左右前臂各自的长度等。处理部30通过将这些计算结果与存储在存储部50中的信息进行比较，判断作业者M。
第二、基于作业者M特定部位的面积进行判断的方法。
该方法中，处理部30求出图像中作业者M的特定部位的面积，通过将该面积与存储在存储部50中的信息进行比较，判断作业者M。处理部30使用例如右肩的面积、左肩的面积，或者这些面积之和来判断作业者M。
第三、基于作业者M的姿势进行判断的方法。
该方法中，处理部30检测图像中的作业者M的姿势。具体为，处理部30与第一种方法同样，获取作业者M的骨骼信息。此时，再加上使用图像中的深度信息检测颈部的角度等作业者M的姿势。处理部30通过将检测到的姿势与存储在存储部50中的信息进行比照，判断作业者M。
第四、基于作业者M特定部位的形状进行判断的方法。
该方法中，首先处理部30基于深度信息检测图像中作业者M特定部位的形状。接着，处理部30通过将作业者M的该形状与存储在存储部50中的信息进行比照，判断作业者M。
用以上举例说明过的4种方法进行的作业者M的判断基于例如从前方、后方、上方或侧面拍摄到的作业者M的图像进行。
这里更具体地说明以上举例说明过的4种方法中的第4种方法。这里说明基于作业者M的头部的形状判断作业者M的情况。
首先，说明预先存储在存储部50中的数据(指导数据(教師データ))。
有关有可能成为分析对象的多个作业者的数据存储在存储部50中。并且，存储部50存储有用来将每个作业者与其他的作业者分类的标识器。作为具体的一例，可以考虑存储部50存储有关第1作业者～第3作业者这3个作业者的数据的情况。这种情况下，存储部50中对于每一个作业者存储有多个第1作业者～第3作业者中的每一个作业者的头部形状数据。另外，存储在存储部50中的各作业者的头部形状数据为例如拍摄部80拍摄到的数据。即，存储部50中存储有从正上方拍摄到作业者的头部的数据。为了能够算出每个数据之间的距离，这些形状数据被使用例如Point Cloud(点云)变换成特征。
存储部50中存储有第1作业者的特征互相之间的距离。并且，存储部50中存储有第1作业者的特征与第2作业者的特征之间的距离和第1作业者的特征与第3作业者的特征之间的距离。对这些距离设定使用例如SVM(Support Vector Machine，支持向量机)、多核SVM、随机森林或神经网络等而导出的标识器。利用该标识器分类第1作业者的特征相互之间的距离和第1作业者的特征与其他作业者的特征之间的距离。
同样，对于第2作业者和第3作业者中的每一个，作业者的特征互相之间的距离和与其他的作业者的特征之间的距离存储在存储部50中，对这些距离设定使用多核SVM导出的标识器。
处理部30基于以上叙述的存储在存储部50中的信息进行作业者M的判断。
首先，处理部30从作业者M的图像中抽取头部形状数据，将其变换成特征。此时，处理部30对多个图像分别从中抽取形状数据，分别变换成特征。接着，处理部30从获得的多个特征除去偏差值。偏差值的除去利用例如AHC(Agglomerative Hierarchical Clustering，层次聚类)法来进行。
接着，处理部30分别选择多个作业者M的特征和第1作业者的特征，对多个组合计算作业者M的特征与第1作业者的特征之间的距离。继而，处理部30对算出的每一个距离计算对于用来将上述第1作业者和其他作业者分类的标识器的边距(マージン)。然后，处理部30计算算出的多个边距之和。
同样，处理部30对第2作业者和第3作业者也计算用来将每个作业者分类的标识器的边距，计算边距之和。
然后，处理部30将获得最高边距之和的作业者判定为作业者M。
基于本实施形态，能够自动地算出分析对象的活动的周期，同时能够判断分析对象。因此，没有人工对算出的周期进行特定分析对象的作业的必要。例如在制造现场能够自动地将作业者和该作业者的作业周期组合在一起进行管理。
并且，本实施形态中能够使用第1实施形态的变形例中说明过的发送部60和接收部70。基于这样的结构，由于不仅能够自动地获取作业的周期，还能够自动地获取例如作业者M的信息和有关作业的信息，因此能够自动地组合更多的信息进行管理。
(附注)
分析装置具有：
获取基于对象者的活动的第1信息的获取部，所述第1信息具有从第1时刻到第2时刻的第1时长，以及
处理部：
获取基于对象者的活动的第1信息，所述第1信息像图3所示那样具有从第1时刻t0到第2时刻tn的第1时长T，
从所述第1信息抽取互不相同时刻的多个第2信息(局部信息)，每个所述第2信息像图3所示那样具有比所述第1时长T短的第2时长X。
从所述第1时刻t0到所述第2时刻tn，每第1时间间隔(1帧)从第1信息抽取第3信息(第1比较信息)，所述第3信息(第1比较信息)像图4所示那样具有所述第2时长X，
通过算出一个所述第2信息(局部信息)与各个所述第3信息(第1比较信息)之间的距离(DTW距离)作成第4信息(第1相关信息)，所述第4信息(第1相关信息)包含与每个所述第3信息(第1比较信息)相对应时刻的、所述第1信息相对于所述一个第2信息(局部信息)的距离，与所述第3信息(第1比较信息)相对应的时刻可能有1帧的间隔，
如图5所示，在从所述第1时刻t0经过第3时长μ后的时刻附近，设定多个候选点α1～αm，
作成多个第5信息(第3比较信息)，各所述第5信息(第3比较信息)在每个所述候选点α1～αm具有峰值，
算出每个所述第5信息(第3比较信息)与所述第4信息(第1相关信息)之间的第2互相关系数，
将获得最大所述第2互相关系数的所述候选点设定为假相似点β1，
通过反复进行从最靠近的假相似点开始经过第3时长μ后的时刻附近的其他候选点的设定和对所述其他候选点的所述第6工序～所述第8工序，像图6那样设定其他的假相似点β2～βk，
算出基于所述多个假相似点β1～βk作成的第6信息(第2比较信息)与所述第4信息(第1相关信息)之间的第1互相关系数，
所述处理部对所述第2工序中抽取出的互不相同的所述多个第2信息(局部信息)的每一个进行从所述第4工序到所述第10工序，所述处理部算出基于获得最高所述第1互相关系数的所述第4信息(第1相关信息)的所述多个假相似点β1～βk的时间间隔。
虽然以上举例说明了本发明的几个实施形态，但这些实施形态是作为例子提出的，没有限定发明范围的意图。这些新的实施形态能够以其他种种形态实施，在不超出发明宗旨的范围内，能够进行各种省略、置换和变更等。这些实施形态及其变形例不仅包含在发明范围、宗旨中，同时还包含在权力要求范围内记载的发明及其均等的范围内。并且，上述各实施形态能够互相组合实施。

Claims (15)

1.一种分析装置，具备以下部分：
获取具有从第1时刻到第2时刻的第1时长的第1信息的获取部，所述第1信息基于对象者的活动，
处理部，所述处理部从第1信息抽取多个相似点，所述多个相似点在所述第1信息上互相类似，所述处理部算出所述多个相似点的时间间隔；
所述处理部：
从所述第1信息抽取局部信息，所述局部信息具有比所述第1时长短的第2时长，
通过求出所述第1信息与所述局部信息之间的距离，抽取所述多个相似点；
在所述第1时刻到所述第2时刻之间、以第1时间间隔从所述第1信息抽取各个时刻的所述第2时长的第1比较信息，
通过计算所述局部信息与每个所述第1比较信息之间的距离，作成各个时刻的包含所述第1信息相对于所述局部信息的距离的第1相关信息，
基于所述第1相关信息设定多个假相似点，
算出基于所述多个假相似点作成的第2比较信息与所述第1相关信息之间的第1互相关系数，
使用所述第1互相关系数判断所述多个假相似点是否合适。
2.如权利要求1所述的分析装置，所述处理部：
在从所述第1时刻开始经过了第3时长后的时刻附近，设定成为所述假相似点的候选的多个候选点，
作成多个第3比较信息，即每个所述第3比较信息在各自的所述候选点具有峰值的多个第3比较信息，
算出每个所述第3比较信息与所述第1相关信息之间的第2互相关系数，
将获得最大的所述第2互相关系数的所述候选点作为所述假相似点来设定；
所述处理部通过反复进行从设定的所述假相似点开始经过了第3时间后的时刻附近的其他的所述候选点的设定，来设定所述多个假相似点。
3.如权利要求2所述的分析装置，所述处理部：
从所述第1信息抽取所述第2时长的互不相同时刻的多个所述局部信息，
对每个所述局部信息进行所述第1互相关系数的计算，
将基于获得了最高所述第1互相关系数的所述第1相关信息的所述多个假相似点作为所述多个相似点来抽取。
4.如权利要求1所述的分析装置，所述获取部为安装于所述对象者的加速度传感器，
所述第1信息包含所述对象者身体的一部分的加速度信息。
5.如权利要求1所述的分析装置，所述获取部在拍摄时能够获取被摄体的深度信息，
所述获取部通过基于所述深度信息检测所述对象者身体的一部分的活动来获取所述第1信息。
6.如权利要求1所述的分析装置，还具备拍摄所述对象者的拍摄部，
所述拍摄部在拍摄时获取被摄体的深度信息，
所述处理部从所述深度信息抽取所述对象者的头部形状，特定所述对象者。
7.如权利要求6所述的分析装置，还具备存储部，所述存储部存储有关从第1人物到第N人物中的每个人物的头部形状的数据，N为2以上的整数；所述存储部存储从第1标识器到第N标识器的多个标识器，所述第M标识器用于将第M人物与其他人物分类，M为1以上、N以下的整数；
所述处理部使用抽取的所述对象者的头部形状和所述多个标识器来特定所述对象者。
8.如权利要求7所述的分析装置，所述处理部：
计算抽取出的所述对象者的头部形状与所述第1人物～所述第N人物的每个人物的头部形状之间的距离，
计算算出的所述距离与所述第1标识器～所述第N标识器中的每一个之间的边距，
将与所述第1标识器到所述第N标识器中的算出了边距最大的所述标识器相对应的所述人物判定为所述对象者。
9.如权利要求8所述的分析装置，所述处理部将判定为所述对象者的所述人物与所述时间间隔建立关联。
10.一种分析装置，具备以下部分：
拍摄对象者、获取被摄体的深度信息的拍摄部，以及
使用所述深度信息从由所述拍摄部拍摄到的所述对象者的图像中抽取所述对象者的头部形状，基于抽取出的头部形状特定所述对象者的处理部；
还具备存储部，所述存储部存储有关从第1人物到第N人物中的每个人物的头部形状的数据，N为2以上的整数；所述存储部存储从第1标识器到第N标识器的多个标识器，所述第M标识器用于将第M人物与其他人物分类，M为1以上、N以下的整数；
所述处理部：
计算抽取出的所述对象者的头部形状与所述第1人物～所述第N人物的每个人物的头部形状之间的距离，
计算算出的所述距离与所述第1标识器～所述第N标识器中的每一个之间的边距，以及
将与所述第1标识器到所述第N标识器中的算了边距最大的所述标识器相对应的所述人物判定为所述对象者。
11.一种分析方法，具备以下工序：
获取基于对象者的活动的第1信息的第1工序，所述第1信息具有从第1时刻到第2时刻的第1时长，
从所述第1信息抽取互不相同的时刻的多个局部信息的第2工序，每个所述局部信息具有比所述第1时长短的第2时长，
在从所述第1时刻到所述第2时刻、以第1时间间隔从第1信息抽取第1比较信息的第3工序，所述第1比较信息具有所述第2时长，
通过对一个所述局部信息算出与各个所述第1比较信息之间的距离作成第1相关信息的第4工序，所述第1相关信息包含与每个所述第1比较信息相对应的时刻的、所述第1信息相对于所述一个局部信息的距离，
在从所述第1时刻经过了第3时长后的时刻附近，设定多个候选点的第5工序，
作成多个第3比较信息、每个所述第3比较信息在每个所述候选点具有峰值的第6工序，
算出每个所述第3比较信息与所述第1相关信息之间的第2互相关系数的第7工序，
将获得了最大的所述第2互相关系数的所述候选点设定为假相似点的第8工序，
通过反复进行从最靠近的假相似点经过了第3时长后的时刻附近的其他候选点的设定以及对所述其他候选点的所述第6工序～所述第8工序，来设定其他假相似点的第9工序，以及
算出基于所述多个假相似点而作成的第2比较信息与所述第1相关信息之间的第1互相关系数的第10工序；
对在所述第2工序抽取出的互不相同的所述多个局部信息的每一个进行所述第4工序到所述第10工序，
算出基于获得最高所述第1互相关系数的所述第1相关信息的所述多个假相似点的时间间隔。
12.如权利要求11所述的分析方法，所述第1信息包含所述对象者的身体的一部分的加速度信息。
13.如权利要求11所述的分析方法，所述第1信息包含基于通过拍摄所述对象者而获得的深度信息的所述对象者的身体的一部分活动的检测结果。
14.如权利要求11所述的分析方法，还具备以下工序：
拍摄对象者来获取被摄体的深度信息的第11工序，
从所述深度信息抽取所述对象者的头部形状的第12工序，
使用有关从第1人物到第N人物的多个头部形状的数据和从第1标识器到第N标识器的多个标识器，计算抽取出的所述对象者的头部形状与每个所述头部形状之间的距离的第13工序，N为2以上的整数，所述第M标识器用于将第M人物与其他的人物分类，M为1以上、N以下的整数，
计算算出的所述距离、与从所述第1标识器到所述第N标识器的所述多个标识器之间各自的边距的第14工序，以及
将与从所述第1标识器到所述第N标识器中的算出了边距最大的所述标识器相对应的所述人物判定为所述对象者的第15工序。
15.如权利要求14所述的分析方法，还具备所述分析方法将被判定为所述对象者的所述人物与所述时间间隔建立关联的第16工序。
CN201610988122.5A 2015-11-11 2016-11-10 分析装置及分析方法 Active CN106997505B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-221145 2015-11-11
JP2015221145A JP6596309B2 (ja) 2015-11-11 2015-11-11 分析装置および分析方法

Publications (2)

Publication Number Publication Date
CN106997505A CN106997505A (zh) 2017-08-01
CN106997505B true CN106997505B (zh) 2021-02-09

Family

ID=58585316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610988122.5A Active CN106997505B (zh) 2015-11-11 2016-11-10 分析装置及分析方法

Country Status (4)

Country Link
US (3) US10380730B2 (zh)
JP (1) JP6596309B2 (zh)
CN (1) CN106997505B (zh)
DE (1) DE102016222202A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2567214A (en) * 2017-10-06 2019-04-10 Ozbros Enginering Ltd Process performance measurement
CN107833207B (zh) * 2017-10-25 2020-04-03 北京大学 基于增广齐次坐标矩阵的图像间错误匹配的检测方法
JP6943294B2 (ja) * 2017-12-14 2021-09-29 富士通株式会社 技認識プログラム、技認識方法および技認識システム
JP7049212B2 (ja) * 2018-08-09 2022-04-06 株式会社東芝 分析システム、分析方法、プログラム、及び記憶媒体
JP7259313B2 (ja) * 2018-12-18 2023-04-18 コニカミノルタ株式会社 属性決定装置、属性決定システム、属性決定方法、プログラムおよび記録媒体
JP7370777B2 (ja) 2019-09-13 2023-10-30 株式会社東芝 学習システム、分析システム、学習方法、分析方法、プログラム、及び記憶媒体
JP2021093037A (ja) 2019-12-11 2021-06-17 株式会社東芝 算出システム、算出方法、プログラム、及び記憶媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE68928522D1 (de) * 1988-10-03 1998-02-12 Nec Corp Einrichtung zur Erkennung kontinuierlicher Sprache
CN103702134A (zh) * 2012-09-27 2014-04-02 索尼公司 图像处理设备、图像处理方法及程序
CN103776539A (zh) * 2012-09-21 2014-05-07 杭州美盛红外光电技术有限公司 分析装置和分析方法
US8929599B2 (en) * 2011-01-26 2015-01-06 Panasonic Corporation Articulation region display apparatus, articulation region detecting apparatus, articulation region belongingness calculating apparatus, articulated object region belongingness calculating apparatus, and articulation region display method
CN104268138A (zh) * 2014-05-15 2015-01-07 西安工业大学 融合深度图和三维模型的人体运动捕捉方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10255072A1 (de) * 2002-11-25 2004-06-17 Sensovation Ag Verfahren zum Erfassen einer Eigenschaft mindestens eines Gegenstands
JP2006350577A (ja) * 2005-06-14 2006-12-28 Fuji Xerox Co Ltd 動作分析装置
JP2009009413A (ja) * 2007-06-28 2009-01-15 Sanyo Electric Co Ltd 動作検知装置及び動作検知プログラム、並びに動作基本モデル生成装置及び動作基本モデル生成プログラム
JP4506875B2 (ja) * 2008-05-19 2010-07-21 ソニー株式会社 画像処理装置および画像処理方法
RU2011106031A (ru) * 2008-07-18 2012-08-27 Опталерт Пти Лтд (Au) Чувствительное устройство активного состояния
CN102227616B (zh) * 2009-05-27 2015-04-15 松下电器产业株式会社 行为识别装置
EP2458510B1 (en) * 2010-11-29 2014-05-07 NTT DoCoMo, Inc. Method and apparatus for performing a cross-correlation
JP2012247991A (ja) * 2011-05-27 2012-12-13 Kddi Corp 類似度評価装置及び方法
CN102855462A (zh) * 2011-07-01 2013-01-02 富士通株式会社 确定人体动作周期及识别人体动作的方法和装置
US9367733B2 (en) * 2012-11-21 2016-06-14 Pelco, Inc. Method and apparatus for detecting people by a surveillance system
JP5843751B2 (ja) * 2012-12-27 2016-01-13 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
JP2014238812A (ja) * 2013-05-10 2014-12-18 株式会社リコー 情報処理装置、動作特定方法及び動作特定プログラム
US10055013B2 (en) * 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
JP2015109024A (ja) * 2013-12-05 2015-06-11 日本電信電話株式会社 画像辞書生成装置、画像辞書生成方法及びコンピュータプログラム
US9928874B2 (en) * 2014-02-05 2018-03-27 Snap Inc. Method for real-time video processing involving changing features of an object in the video
JP5651265B1 (ja) 2014-05-23 2015-01-07 株式会社 ディー・エヌ・エー 情報処理装置及びプログラム
US9501915B1 (en) * 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE68928522D1 (de) * 1988-10-03 1998-02-12 Nec Corp Einrichtung zur Erkennung kontinuierlicher Sprache
US8929599B2 (en) * 2011-01-26 2015-01-06 Panasonic Corporation Articulation region display apparatus, articulation region detecting apparatus, articulation region belongingness calculating apparatus, articulated object region belongingness calculating apparatus, and articulation region display method
CN103776539A (zh) * 2012-09-21 2014-05-07 杭州美盛红外光电技术有限公司 分析装置和分析方法
CN103702134A (zh) * 2012-09-27 2014-04-02 索尼公司 图像处理设备、图像处理方法及程序
CN104268138A (zh) * 2014-05-15 2015-01-07 西安工业大学 融合深度图和三维模型的人体运动捕捉方法

Also Published As

Publication number Publication date
CN106997505A (zh) 2017-08-01
US10380730B2 (en) 2019-08-13
US20200302593A1 (en) 2020-09-24
DE102016222202A1 (de) 2017-05-11
JP2017091249A (ja) 2017-05-25
US20170132780A1 (en) 2017-05-11
US20190304083A1 (en) 2019-10-03
US10713770B2 (en) 2020-07-14
JP6596309B2 (ja) 2019-10-23
US11373289B2 (en) 2022-06-28

Similar Documents

Publication Publication Date Title
CN106997505B (zh) 分析装置及分析方法
KR101329111B1 (ko) 실내 네비게이션 시스템 및 방법
US10063843B2 (en) Image processing apparatus and image processing method for estimating three-dimensional position of object in image
CN105517680B (zh) 用于识别人脸的装置、系统和方法
JP5554726B2 (ja) データ関連付けのための方法と装置
JP6588413B2 (ja) 監視装置および監視方法
US20170032159A1 (en) Systems and methods for automated device pairing
WO2020176218A1 (en) Camera localization based on skeletal tracking
JP2009265732A (ja) 画像処理装置及びその方法
CN110728754B (zh) 刚体标记点识别方法、装置、设备及存储介质
JP2015014882A5 (zh)
MX2020006659A (es) Sistemas y metodos para estimar una posicion tridimensional de un dispositivo de higiene oral con marcadores visuales.
Fernandez-Lopez et al. Optimizing resources on smartphone gait recognition
US20140180743A1 (en) Workflow monitoring and analysis system and method thereof
JP2018081402A5 (zh)
JP2017156978A (ja) 作業動作認識システム
KR20120043995A (ko) 복수개의 카메라를 이용한 관심영역 추출 시스템 및 그 방법
US11756326B2 (en) Keepout zone detection and active safety system
CN110991292A (zh) 动作识别比对方法、系统、计算机存储介质和电子装置
WO2020253227A1 (zh) 视频处理方法、装置、设备及视频监控系统
US20210026881A1 (en) System, method, and computer-readable medium for managing image
JP2017097549A (ja) 画像処理装置、方法、及びプログラム
US11216969B2 (en) System, method, and computer-readable medium for managing position of target
JP7117878B2 (ja) 処理装置、及びプログラム
US20180274918A1 (en) Three-dimensional measurement apparatus, non-transitory computer readable medium, and three-dimensional measurement system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant