CN112567402A - 动作分析装置、动作分析方法、动作分析程序及动作分析系统 - Google Patents
动作分析装置、动作分析方法、动作分析程序及动作分析系统 Download PDFInfo
- Publication number
- CN112567402A CN112567402A CN201980052702.5A CN201980052702A CN112567402A CN 112567402 A CN112567402 A CN 112567402A CN 201980052702 A CN201980052702 A CN 201980052702A CN 112567402 A CN112567402 A CN 112567402A
- Authority
- CN
- China
- Prior art keywords
- clusters
- unit
- time
- information indicating
- pieces
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 119
- 238000004458 analytical method Methods 0.000 title claims abstract description 102
- 238000000605 extraction Methods 0.000 claims abstract description 78
- 239000000284 extract Substances 0.000 claims abstract description 50
- 238000004364 calculation method Methods 0.000 claims abstract description 20
- 238000010586 diagram Methods 0.000 claims description 38
- 230000001133 acceleration Effects 0.000 claims description 9
- 238000000034 method Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000012937 correction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000010977 unit operation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0633—Workflow analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/75—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06316—Sequencing of tasks or work
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Factory Administration (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种动作分析装置等,更容易从所累积的表示动作的信息中,提取成为基准的表示动作的信息。动作分析装置包括:获取部11,获取一个或多个作业者一次或多次进行规定动作时记录的、表示动作的多个时序信息;计算部14,算出多个时序信息之间的类似度;分类部15,基于类似度将多个时序信息分类为多个群集;选择部16,选择多个群集中满足规定条件的一个或多个群集;以及第一提取部17,从所选择的一个或多个群集中提取成为基准的表示动作的时序信息。
Description
技术领域
本发明涉及一种动作分析装置、动作分析方法、动作分析程序及动作分析系统。
背景技术
以往,有时在制品的制造线中设置一个或多个摄像机,通过图像或视频来记录作业者的动作。而且,有时对所拍摄的图像或视频进行图像识别处理,对作业者的动作进行解析。
例如下述专利文献1中记载了一种监测装置,监测作业者,并且基于作业者的位置信息及姿势信息的至少任一个、以及作业者的人体模型,来运算作业者的各部位的动作信息,基于作业者进行作业时的动作模型及动作信息,来判断作业者的动作是否适当。
现有技术文献
专利文献
专利文献1:日本专利特开2017-146661号公报
发明内容
发明所要解决的问题
在分析作业者的动作是否适当的情况下,例如有时准备专利文献1的动作模型那样的成为基准的动作信息,将作业者的动作信息与成为基准的动作信息进行比较。
此处,成为基准的动作信息有时是由专家从以往累积的动作信息中提取。此时,为了提取成为基准的动作信息而需要大量的时间,也有时难以确保具有提取技术的人材。
因此,本发明提供一种动作分析装置、动作分析方法、动作分析程序及动作分析系统,更容易从所累积的表示动作的信息中提取成为基准的表示动作的信息。
解决问题的技术手段
本公开的一实施例的动作分析装置包括:获取部,获取一个或多个作业者一次或多次进行规定动作时所记录的、表示动作的多个时序信息;计算部,算出多个时序信息中两个时序信息之间的类似度;分类部,基于类似度将多个时序信息分类为多个群集;选择部,选择多个群集中满足规定条件的一个或多个群集;以及第一提取部,从所选择的一个或多个群集中提取成为基准的表示动作的时序信息。
根据所述实施例,将表示作业者进行的规定动作的多个时序信息分类为多个群集,并从其中选择满足规定条件的一个或多个群集,由此可选择表示一个或多个作业者的标准动作的时序信息的群集,更容易提取成为基准的表示动作的信息。
所述实施例中,分类部也可通过按类似度从高到低的顺序将时序信息汇总成群集的层次聚类,将多个时序信息分类为多个群集。
根据所述实施例,能以不依赖于聚类的初始条件的方式将时序信息适当聚类,提取成为基准的表示动作的信息。
所述实施例中,选择部也可选择通过层次聚类所得的多个时序信息的树形图中的、叶节点的个数为第一阈值以上且小于第二阈值的叉树,作为满足规定条件的一个或多个群集。
根据所述实施例,可将离群值排除,并且锁定成为基准的表示动作的时序信息的候选。
所述实施例中,第一提取部也可从满足规定条件的一个或多个群集各自中,基于时序信息的长度而提取成为基准的表示动作的时序信息。
根据所述实施例,可从成为基准的表示动作的时序信息的候选中,提取不含无用动作的或然性高的时序信息作为成为基准的表示动作的时序信息。
所述实施例中,也可还包括:第二提取部,从成为基准的表示动作的时序信息中,提取一个或多个特征点;以及赋予部,基于一个或多个特征点,对成为基准的表示动作的时序信息赋予表示动作的分割点的信息。
根据所述实施例,可对成为基准的时序信息所示的作业者的动作表明动作的分割点,在与其他时序信息进行比较的情况下可进行每个动作的比较。
所述实施例中,第二提取部也可提取成为基准的表示动作的时序信息所含的第一特征点,将第一特征点的前后从提取对象中排除,进行成为基准的表示动作的时序信息所含的第二特征点的提取。
根据所述实施例,可高精度地提取动作的分割点。
所述实施例中,多个时序信息也可为将一个或多个作业者的多个部位的速度或加速度相加的信息。
根据所述实施例,可利用单一的时序信息来表示作业者的多个部位的活动,针对多个部位的活动提取成为基准的信息。
本公开的另一实施例的动作分析方法包括:获取一个或多个作业者一次或多次进行规定动作时所记录的、表示动作的多个时序信息;算出多个时序信息中两个时序信息之间的类似度;基于类似度将多个时序信息分类为多个群集;选择多个群集中满足规定条件的一个或多个群集;以及从所选择的一个或多个群集中提取成为基准的表示动作的时序信息。
根据所述实施例,将表示作业者进行的规定动作的多个时序信息分类为多个群集,并从其中选择满足规定条件的一个或多个群集,由此可选择表示一个或多个作业者的标准动作的时序信息的群集,更容易提取成为基准的表示动作的信息。
本公开的另一实施例的动作分析程序使动作分析装置所包括的运算部作为下述部分发挥功能:获取部,获取一个或多个作业者一次或多次进行规定动作时记录的、表示动作的多个时序信息;计算部,算出多个时序信息中两个时序信息之间的类似度;分类部,基于类似度将多个时序信息分类为多个群集;选择部,选择多个群集中满足规定条件的一个或多个群集;以及第一提取部,从所选择的一个或多个群集中提取成为基准的表示动作的时序信息。
根据所述实施例,将表示作业者进行的规定动作的多个时序信息分类为多个群集,并从其中选择满足规定条件的一个或多个群集,由此可选择表示一个或多个作业者的标准动作的时序信息的群集,更容易提取成为基准的表示动作的信息。
本公开的另一实施例的动作分析系统包括:摄影部,拍摄一个或多个作业者一次或多次进行规定动作的多个视频;获取部,获取多个视频;计算部,算出多个视频中两个视频之间的类似度;分类部,基于类似度将多个视频分类为多个群集;选择部,选择多个群集中满足规定条件的一个或多个群集;以及第一提取部,从所选择的一个或多个群集中提取成为基准的表示动作的视频。
根据所述实施例,将表示作业者进行的规定动作的多个时序信息分类为多个群集,并从其中选择满足规定条件的一个或多个群集,由此可选择表示一个或多个作业者的标准动作的时序信息的群集,更容易提取成为基准的表示动作的信息。
发明的效果
根据本发明,可提供一种动作分析装置、动作分析方法、动作分析程序及动作分析系统,更容易从所累积的表示动作的信息中提取成为基准的表示动作的信息。
附图说明
图1为表示本发明的实施方式的动作分析系统的概要的图。
图2为表示本实施方式的动作分析系统的功能块的图。
图3为表示本实施方式的动作分析装置的物理结构的图。
图4为表示由本实施方式的动作分析装置选择的树形图的第一例的图。
图5为表示由本实施方式的动作分析装置选择的树形图的第二例的图。
图6为表示由本实施方式的动作分析装置选择的树形图的第三例的图。
图7为由本实施方式的动作分析装置执行的基准动作信息的提取处理的流程图。
图8为表示由本实施方式的动作分析系统提取的特征点及所设定的掩膜(mask)的第一例的图。
图9为表示由本实施方式的动作分析系统提取的特征点及所设定的掩膜的第二例的图。
图10为由本实施方式的动作分析装置执行的动作分割处理的流程图。
具体实施方式
以下,基于附图对本发明的一侧面的实施方式(以下表述为“本实施方式”)进行说明。另外,各图中标注有相同符号的部分具有相同或同样的结构。
§1适用例
首先,使用图1对适用本发明的场景的一例进行说明。本实施方式的动作分析系统100包括:第一摄影部20a、第二摄影部20b及第三摄影部20c,拍摄表示在某个作业区域R中执行的作业者的动作的视频。本示例的作业区域R为包含整个制造线的区域,但作业区域R可为任意区域,例如可为进行规定工序的区域,或为进行规定的要素动作的区域。此处,所谓要素动作,为由作业者执行的一单位的动作,例如包含零件的抓取(picking)、零件的配置、零件的固定、制品的捆包等动作。本实施方式中,在作业区域R中进行三个工序,第一摄影部20a、第二摄影部20b及第三摄影部20c可分别拍摄执行规定工序的作业者的手头的视频。
本示例中,对第一作业者A1及第二作业者A2在作业区域R中进行预定动作的情况进行说明。第一作业者A1例如可执行第一零件的抓取、配置、固定等动作,第二作业者A2例如可执行第二零件的抓取、配置、固定等动作。以下,将第一作业者A1及第二作业者A2统称而记载为作业者A。
动作分析系统100包含动作分析装置10。动作分析装置10包括:计算部,算出表示动作的多个时序信息中两个时序信息之间的类似度,所述多个时序信息是在一个或多个作业者A一次或多次进行规定动作时所记录。此处,动作分析装置10可针对从多个时序信息中选择两个时序信息的所有组合,算出两个时序信息之间的类似度。而且,动作分析装置10包括:分类部,基于所算出的类似度,将多个时序信息分类为多个群集;选择部,选择多个群集中满足规定条件的一个或多个群集;以及第一提取部,从所选择的一个或多个群集中提取成为基准的表示动作的时序信息。进而,动作分析装置10包括:显示部10f,显示所提取的成为基准的表示动作的时序信息。此处,类似度为表示两个时序信息以何种程度类似的尺度。两个时序信息之间的类似度例如可通过动态时间规整(Dynamic Time Warping,DTW)的方法算出。而且,用于选择群集的规定条件可为群集的大小为第一阈值以上且小于第二阈值等条件。此处,第一阈值及第二阈值可预先规定。
成为基准的动作可为一个或多个作业者的标准动作。动作分析装置10可将表示作业者进行的规定动作的多个时序信息分类为多个群集,并从其中选择满足规定条件的一个或多个群集,由此选择表示一个或多个作业者的标准动作的时序信息的群集。进而,动作分析装置10从所选择的一个或多个群集中提取成为基准的表示动作的时序信息。
如此,根据本实施方式的动作分析装置10,可从所累积的表示动作的信息中提取成为基准的表示动作的信息。由此,即便在不存在具有从以往累积的动作信息中提取成为基准的表示动作的信息的技术的专家的情况下,也可适当生成成为基准的表示动作的信息。而且,可在短时间中生成成为基准的表示动作的信息。
§2结构例
[功能结构]
接下来,使用图2对本实施方式的动作分析系统100的功能结构的一例进行说明。动作分析系统100包括第一摄影部20a、第二摄影部20b、第三摄影部20c及动作分析装置10。并且,动作分析装置10包括获取部11、解析部12、存储部13、计算部14、分类部15、选择部16、第一提取部17、第二提取部18、赋予部19及显示部10f。
<摄影部>
第一摄影部20a、第二摄影部20b及第三摄影部20c分别可包含通用的摄像机,可拍摄包含第一作业者A1及第二作业者A2在作业区域R中执行动作的场景的视频。第一摄影部20a、第二摄影部20b及第三摄影部20c可分别拍摄作业区域R的一部分,可拍摄较作业区域R更窄的区域的视频。具体而言,可拍摄将由第一作业者A1及第二作业者A2执行的动作放大(close up)的视频。第一摄影部20a、第二摄影部20b及第三摄影部20c例如可拍摄将第一作业者A1及第二作业者A2的手头放大的视频。
而且,第一摄影部20a、第二摄影部20b及第三摄影部20c可拍摄分别对作业区域R的多个部分进行拍摄的多个视频。例如,可为第一摄影部20a主要拍摄第一作业者A1执行动作的视频,第三摄影部20c主要拍摄第二作业者A2执行动作的视频,第二摄影部20b拍摄第一作业者A1执行动作的视频及第二作业者A2执行动作的视频两者。而且,第一摄影部20a、第二摄影部20b及第三摄影部20c可拍摄在作业区域R的多个位置执行各不相同的工序的视频。
<获取部>
获取部11获取一个或多个作业者A一次或多次进行规定动作时记录的、表示作业者A的动作的多个时序信息。此处,时序信息可为表示作业者A的动作的视频。此外,时序信息可为与通过运动捕捉器所测定的表示作业者A的动作的坐标值有关的信息,或可为通过使作业者A佩戴加速度传感器或陀螺传感器从而测定的、表示作业者A的动作的信息。而且,时序信息也可为对表示作业者A的动作的视频进行解析而得的数值信息。由获取部11获取的时序信息(本示例中为视频)传输至存储部13,作为视频历程13a而存储。
<解析部>
解析部12对表示作业者A的动作的视频进行解析,算出包含表示作业者A的动作的坐标值的、动作信息。动作信息可为表示作业者A的身体的代表性位置的位移的信息。作业者的身体的代表性位置也可为身体的一个位置,但典型而言可有多个。动作信息可为通过骨架模型来表示作业者A的关节的位置的信息。解析部12例如可使用曹哲(Zhe Cao)等三人通过《基于部分亲和字段的实时多人2D姿势估计(Realtime Multi-Person 2D PoseEstimation using Part Affinity Fields)》(arXiv:1611.08050,2016)所公开的技术,根据视频来算出包含表示作业者A的动作的坐标值的、动作信息。另外,在使作业者A佩戴加速度传感器或陀螺传感器而测定表示作业者A的动作的信息的情况下,无需下述处理,即:由解析部12根据视频来算出包含表示作业者A的动作的坐标值的、动作信息。
多个时序信息可为将一个或多个作业者A的多个部位的速度或加速度相加的信息。在通过解析部12来算出表示作业者A的动作的坐标值的情况下,可通过将坐标矢量以时间进行微分,从而算出作业者A的多个部位的速度矢量或加速度矢量,可将作业者A的多个部位的速度矢量或加速度矢量相加而算出时序信息。由此,可利用单一的时序信息来表示作业者A的多个部位的活动,针对多个部位的活动提取成为基准的信息。
一个或多个作业者A的多个部位可包含一个或多个作业者A的双手。此时,时序信息可为将作业者A的双手的速度或加速度相加的信息。此处,双手的坐标可为手的特定关节的坐标,或为手背的坐标。由此,可针对作业者A的双手的活动,提取成为基准的表示动作的信息。
<存储部>
存储部13存储视频历程13a、动作信息历程13b及基准动作信息13c。视频历程13a包含由第一摄影部20a、第二摄影部20b及第三摄影部20c所拍摄的视频的历程。动作信息历程13b包含由解析部12算出的动作信息的历程。此处,动作信息历程13b也可针对每个作业者而存储。基准动作信息13c包含基准动作信息的历程,所述基准动作信息的历程包含成为基准的表示动作的时序信息。基准动作信息是由第一提取部17从动作信息历程13b提取。而且,基准动作信息可包含对成为基准的表示动作的时序信息赋予的、表示动作的分割点的信息。
<计算部>
计算部14算出多个时序信息中两个时序信息之间的类似度。计算部14可针对从多个时序信息选择两个时序信息的所有组合,通过DTW的方法算出两个时序信息之间的类似度。此外,计算部14可通过DTW以外的任意方法来算出多个时序信息之间的类似度。
<分类部>
分类部15基于由计算部14所算出的类似度,将多个时序信息分类为多个群集。分类部15将类似度高的时序信息分类至相同群集,将类似度低的时序信息分类至不同群集。分类部15可通过按类似度从高到低的顺序将时序信息汇总成群集的层次聚类,将多个时序信息分类为多个群集。通过使用层次聚类,例如与使用k均值(k-means)法的情况相比较,能以不依赖于初始条件的方式将时序信息适当聚类,提取成为基准的表示动作的信息。
<选择部>
选择部16选择多个群集中满足规定条件的一个或多个群集。选择部16可选择多个群集中的、群集的大小为第一阈值以上且小于第二阈值的一个或多个群集。更具体而言,在利用分类部15通过层次聚类将多个时序信息分类为多个群集的情况下,选择部16可选择通过层次聚类所得的树形图中的、叶节点的个数为第一阈值以上且小于第二阈值的叉树,作为满足规定条件的一个或多个群集。由此,可将离群值排除,并且锁定成为基准的表示动作的时序信息的候选。
<第一提取部>
第一提取部17从所选择的一个或多个群集中提取成为基准的表示动作的时序信息。第一提取部17可从满足规定条件的一个或多个群集中,随机提取成为基准的表示动作的时序信息。第一提取部17例如可使用伪随机数,从满足规定条件的一个或多个群集各自中随机提取成为基准的表示动作的时序信息。由此,可从成为基准的表示动作的时序信息的候选中,无偏重地提取成为基准的表示动作的时序信息。此外,第一提取部17也可根据其他提取基准,从所选择的一个或多个群集中提取成为基准的表示动作的时序信息。
第一提取部17也可从满足规定条件的一个或多个群集各自中,基于时序信息的长度而提取成为基准的表示动作的时序信息。第一提取部17例如可提取长度最小的时序信息,作为成为基准的表示动作的时序信息。另外,时序信息的长度可由时序信息的文件尺寸规定。由此,可提取不含无用动作的或然性高的时序信息,作为成为基准的表示动作的时序信息。
根据本实施方式的动作分析装置10,将表示作业者A进行的规定动作的多个时序信息分类为多个群集,并从其中选择满足规定条件的一个或多个群集,由此可选择表示一个或多个作业者的标准动作的时序信息的群集,可提取成为基准的表示动作的信息。
<第二提取部>
第二提取部18从成为基准的表示动作的时序信息中,提取一个或多个特征点。第二提取部18可获取存储于存储部13的基准动作信息13c,从成为基准的表示动作的时序信息中提取一个或多个特征点。此处,特征点只要为时序信息中的可提取的表示特征的点则均可,例如可为在时间轴上描绘时序信息并以图表来表现时的峰值(时序信息的图表的最大点及最小点)。此种特征点例如对应于作业者进行使某个部位(手等)的移动方向或移动速度急剧变化的动作的时刻。而且,所提取的一个或多个特征点分别对应于特定的时刻。另外,在通过第二提取部18从时序信息中提取特征点的情况下,时序信息可为与通过运动捕捉器所测定的表示作业者A的动作的坐标值有关的信息,或为对表示作业者A的动作的视频进行解析而得的数值信息。
第二提取部18也可提取成为基准的表示动作的时序信息所含的第一特征点,将第一特征点的前后从提取对象中排除,进行成为基准的表示动作的时序信息所含的第二特征点的提取。即,第二提取部18可将所提取的特征点的前后从提取对象中排除,进行其他特征点的提取。第二提取部18也可反复进行提取特征点并将此特征点的前后从提取对象中排除而提取其他特征点的处理,直到将时序信息总体从提取对象中排除或提取规定数的特征点为止。通过将所提取的特征点的前后从提取对象中排除,从而可防止将噪声作为特征点而误提取,更高精度地提取动作的分割点。
<赋予部>
赋予部19基于由第二提取部18所提取的一个或多个特征点,对成为基准的表示动作的时序信息赋予表示动作的分割点的信息。表示动作的分割点的信息可为任何实施例,例如可为与时序信息的帧关联的分割ID。如此,可对成为基准的时序信息所示的作业者的动作表明动作的分割点,在与其他时序信息进行比较的情况下可进行每个动作的比较。
[硬件结构]
接下来,使用图3对本实施方式的动作分析装置10的硬件结构的一例进行说明。动作分析装置10具有相当于运算装置的中央处理器(Central Processing Unit,CPU)10a、相当于存储部13的随机存取存储器(Random Access Memory,RAM)10b、相当于存储部13的只读存储器(Read only Memory,ROM)10c、通信部10d、输入部10e及显示部10f。这些各结构经由总线而可相互收发数据地连接。另外,本示例中对动作分析装置10包含一台计算机的情况进行说明,但动作分析装置10也可使用多个计算机来实现。
CPU10a为进行与存储于RAM10b或ROM10c的程序的执行有关的控制或数据的运算、加工的控制部。CPU10a为执行从多个时序信息中提取成为基准的表示动作的时序信息的程序(动作分析程序)的运算装置。CPU10a从输入部10e或通信部10d接收各种输入数据,将输入数据的运算结果显示于显示部10f,或者保持于RAM10b或ROM10c。
RAM10b在存储部13中可改写数据,例如可包含半导体存储元件。RAM10b存储CPU10a执行的动作分析程序或视频历程13a、动作信息历程13b及基准动作信息13c等数据。
ROM10c在存储部13中可读出数据,例如可包含半导体存储元件。ROM10c例如存储动作分析程序、或不进行改写的数据。
通信部10d为将动作分析装置10连接于外部设备的接口。通信部10d例如可通过局域网(Local Area Network,LAN)而与第一摄影部20a、第二摄影部20b及第三摄影部20c连接,从第一摄影部20a、第二摄影部20b及第三摄影部20c接收视频。而且,通信部10d也可连接于国际互联网,经由国际互联网接收视频或接收动作信息。而且,通信部10d也可经由国际互联网将所提取的时序信息发送至外部设备。
输入部10e从用户受理数据的输入,例如可包含键盘、鼠标及触控面板。
显示部10f以视觉方式显示CPU10a的运算结果,例如可包含液晶显示器(LiquidCrystal Display,LCD)。
动作分析程序可存储于RAM10b或ROM10c等可由计算机读取的存储介质而提供,也可经由通过通信部10d连接的通信网络而提供。动作分析装置10中,通过CPU10a执行动作分析程序,从而实现使用图2所说明的获取部11、解析部12、计算部14、分类部15、选择部16、第一提取部17、第二提取部18及赋予部19的动作。另外,这些物理结构为例示,且也可未必为独立的结构。例如,动作分析装置10也可包括CPU10a与RAM10b或ROM10c一体化的大规模集成电路(Large-Scale Integration,LSI)。
§3动作例
图4为表示由本实施方式的动作分析装置10选择的树形图DG的第一例的图。树形图DG是通过按类似度从高到低的顺序将多个时序信息汇总成群集的层次聚类而生成。本示例中,多个时序信息有44个,作为第一时序信息D1、第二时序信息D2~第四十四时序信息D44而图示,构成树形图DG的叶节点。
动作分析装置10的选择部16选择通过层次聚类所得的第一时序信息D1~第四十四时序信息D44的树形图DG中的、叶节点的个数为第一阈值以上且小于第二阈值的叉树,作为满足规定条件的一个或多个群集。本示例中,将第一阈值设为5,将第二阈值设为10。
选择部16将树形图DG在最上位一分为二,确定作为叉树的第一树形图DG1及第二树形图GD2。并且,选择部16判定第一树形图DG1及第二树形图GD2所含的叶节点的个数是否满足第一阈值(本示例中为5)以上且小于第二阈值(本示例中为10)。第一树形图DG1所含的叶节点的个数为1,第二树形图DG2所含的叶节点的个数为43,因而均不满足条件。因此,选择部16不选择第一树形图DG1及第二树形图GD2作为满足规定条件的一个或多个群集。
图5为表示由本实施方式的动作分析装置10选择的树形图DG的第二例的图。动作分析装置10的选择部16将虽然叶节点的个数并非第一阈值(本示例中为5)以上且小于第二阈值(本示例中为10),但叶节点的个数为第一阈值以上的第二树形图GD2在最上位一分为二,确定作为叉树的第三树形图DG3及第四树形图GD4。第三树形图DG3包含第二时序信息D2~第二十二时序信息D22作为叶节点。第四树形图DG4包含第二十三时序信息D23~第四十四时序信息D44作为叶节点。
选择部16判定第三树形图DG3及第四树形图GD4所含的叶节点的个数是否为第一阈值(本示例中为5)以上且小于第二阈值(本示例中为10)。第三树形图DG3所含的叶节点的个数为21,第四树形图DG4所含的叶节点的个数为22,因而均不满足条件。因此,选择部16不选择第三树形图DG3及第四树形图GD4作为满足规定条件的一个或多个群集。
图6为表示由本实施方式的动作分析装置10选择的树形图DG的第三例的图。动作分析装置10的选择部16反复进行将树形图的最上位一分为二的处理,选择作为叶节点的个数为第一阈值(本示例中为5)以上且小于第二阈值(本示例中为10)的叉树的第五树形图DG5、第六树形图GD6及第七树形图GD7,作为满足规定条件的一个或多个群集。第五树形图DG5包含第八时序信息D8~第十二时序信息D12作为叶节点。第五树形图DG5所含的叶节点的个数为5,满足第一阈值以上且小于第二阈值的条件。第六树形图DG6包含第十三时序信息D13~第二十一时序信息D21作为叶节点。第六树形图DG6所含的叶节点的个数为9,满足第一阈值以上且小于第二阈值的条件。第七树形图DG7包含第三十六时序信息D36~第四十四时序信息D44作为叶节点。第七树形图DG7所含的叶节点的个数为9,满足第一阈值以上且小于第二阈值的条件。
第一提取部17从满足规定条件的一个或多个群集各自中,随机提取成为基准的表示动作的时序信息。第一提取部17也可从满足规定条件的一个或多个群集各自中,提取长度最小的时序信息作为成为基准的表示动作的时序信息。本示例的情况下,第一提取部17从第五树形图DG5、第六树形图GD6及第七树形图GD7各自中,随机各提取一个成为基准的表示动作的时序信息。本示例中,第一提取部17从第五树形图DG5中提取第八时序信息D8作为成为基准的表示动作的时序信息,从第六树形图GD6中提取第十三时序信息D13作为成为基准的表示动作的时序信息,从第七树形图GD7中提取第四十时序信息D40作为成为基准的表示动作的时序信息。如此,可选择表示一个或多个作业者A的标准动作的时序信息的群集,提取成为基准的表示动作的信息。
图7为由本实施方式的动作分析装置10执行的基准动作信息的提取处理的流程图。首先,动作分析装置10获取作业者A进行规定动作时的视频(S10)。
动作分析装置10基于视频,算出包含表示作业者A进行的动作的坐标值的、动作信息(S11)。此处,动作信息为表示作业者A的动作的时序信息的一例。接着,动作分析装置10算出多个动作信息之间的类似度(S12)。
进而,动作分析装置10执行按类似度从大到小的顺序将动作信息汇总成群集的层次聚类(S13)。动作分析装置10将通过层次聚类所得的树形图一分为二,选择叶节点的个数为第一阈值以上且小于第二阈值的叉树(S14)。接着,动作分析装置10从所选择的群集中随机提取成为基准的动作信息(S15)。所提取的动作信息作为基准动作信息13c而存储于存储部13。
最后,动作分析装置10将基准动作信息及其视频显示于显示部10f(S16)。另外,基准动作信息及其视频也可未必显示于显示部10f,也可经由通信部10d发送至外部设备。通过以上步骤,提取处理结束。
图8为表示由本实施方式的动作分析系统100提取的特征点及所设定的掩膜的第一例的图。此图中,图示在纵轴无因次地表示将右手的速度与左手的速度相加的值且在横轴无因次地表示时间的、基准动作信息R1的图表的一例。
动作分析装置10的第二提取部18从基准动作信息R1中提取第一特征点P1。第二提取部18提取作为基准动作信息R1的值的、将右手的速度与左手的速度相加的值的绝对值达到最大的点,作为第一特征点P1。
第二提取部18将第一特征点P1的前后从提取对象中排除,进行基准动作信息R1所含的第二特征点的提取。本示例中,第二提取部18设定覆盖第一特征点P1的前后区间的第一掩膜M1,由此将第一特征点P1的前后从提取对象中排除。
图9为表示由本实施方式的动作分析系统100提取的特征点及所设定的掩膜的第二例的图。此图中,图示第二特征点P2,此第二特征点P2是在提取图8所示的第一特征点P1并设定第一掩膜M1后,由第二提取部18提取。
第二提取部18将设定有第一掩膜M1的范围从提取对象中排除,进行基准动作信息R1所含的第二特征点P2的提取。第二提取部18将设定有第一掩膜M1的范围从提取对象中排除后,提取基准动作信息R1的绝对值达到最大的点作为第二特征点P2。
第二提取部18将第二特征点P2的前后从提取对象中排除,进行基准动作信息R1所含的第三特征点的提取。本示例中,第二提取部18设定覆盖第二特征点P2的前后区间的第二掩膜M2,由此将第二特征点P2的前后从提取对象中排除。第二提取部18反复进行提取处理,直到在基准动作信息R1的全域设定有掩膜或提取的特征点的个数达到规定数为止。
赋予部19基于所提取的一个或多个特征点,对基准动作信息R1赋予表示动作的分割点的信息。本示例的情况下,赋予部19基于第一特征点P1及第二特征点P2,对基准动作信息R1赋予表示动作的分割点的至少两点的信息。如此,可针对基准动作信息R1所示的作业者A的动作表明动作的分割点,在与其他动作信息进行比较的情况下可进行每个动作的比较。
图10为由本实施方式的动作分析装置10执行的动作分割处理的流程图。首先,动作分析装置10从基准动作信息的提取范围中提取最大峰值点作为特征点(S20)。此处,所谓最大峰值点,为基准动作信息的值的绝对值达到最大的点。
接下来,动作分析装置10设定将特征点的前后从提取对象中排除的掩膜(S21)。接着,动作分析装置10判定是否提取了规定数的特征点或在整个范围设定了掩膜(S22)。在未提取规定数的特征点且未在整个范围设定有掩膜的情况下(S22:否(NO)),动作分析装置10反复进行从基准动作信息的提取范围中提取最大峰值点作为特征点(S20)、设定将特征点的前后从提取对象中排除的掩膜的处理(S21)。
另一方面,在提取了规定数的特征点或在整个范围设定了掩膜的情况下(S22:是(YES)),动作分析装置10将基准动作信息及特征点显示于显示部10f(S23),受理特征点的修正(S24)。特征点的修正可为所提取的特征点的距离拉长,或为特征点的追加。
最后,动作分析装置10基于所提取的特征点,对基准动作信息赋予表示动作的分割点的信息并存储于存储部13(S25)。通过以上步骤,动作分割处理结束。
本发明的实施方式也可如以下的附注那样记载。但是,本发明的实施方式不限定于以下的附注所记载的实施例。而且,本发明的实施方式可为将附注间的记载替换或组合的实施例。
[附注1]
一种动作分析装置(10),包括:
获取部(11),获取一个或多个作业者一次或多次进行规定动作时记录的、表示所述动作的多个时序信息;
计算部(14),算出所述多个时序信息之间的类似度;
分类部(15),基于所述类似度将所述多个时序信息分类为多个群集;
选择部(16),选择所述多个群集中满足规定条件的一个或多个群集;以及
第一提取部(17),从所选择的所述一个或多个群集中提取成为基准的表示动作的时序信息。
[附注2]
根据技术方案1所记载的动作分析装置(10),其中,
所述分类部(15)通过按所述类似度从高到低的顺序将所述时序信息汇总成群集的层次聚类,将所述多个时序信息分类为所述多个群集。
[附注3]
根据技术方案2所记载的动作分析装置(10),其中,
所述选择部(16)选择通过所述层次聚类所得的所述多个时序信息的树形图中的、叶节点的个数为第一阈值以上且小于第二阈值的叉树,作为满足所述规定条件的一个或多个群集。
[附注4]
根据技术方案3所记载的动作分析装置(10),其中,
所述第一提取部(17)从满足所述规定条件的一个或多个群集各自中,基于所述时序信息的长度而提取所述成为基准的表示动作的时序信息。
[附注5]
根据技术方案1至4中任一项所记载的动作分析装置(10),还包括:
第二提取部(18),从所述成为基准的表示动作的时序信息中提取一个或多个特征点;以及
赋予部(19),基于所述一个或多个特征点,对所述成为基准的表示动作的时序信息赋予表示动作的分割点的信息。
[附注6]
根据技术方案5所记载的动作分析装置(10),其中,
所述第二提取部(18)提取所述成为基准的表示动作的时序信息所含的第一特征点,将所述第一特征点的前后从提取对象中排除,进行所述成为基准的表示动作的时序信息所含的第二特征点的提取。
[附注7]
根据技术方案1至6中任一项所记载的动作分析装置(10),其中,
所述多个时序信息为将所述一个或多个作业者的多个部位的速度或加速度相加的信息。
[附注8]
根据技术方案7所记载的动作分析装置(10),其中所述多个部位包含所述一个或多个作业者的双手。
[附注9]
一种动作分析方法,包括:
获取一个或多个作业者一次或多次进行规定动作时记录的、表示所述动作的多个时序信息;
算出所述多个时序信息之间的类似度;
基于所述类似度将所述多个时序信息分类为多个群集;
选择所述多个群集中满足规定条件的一个或多个群集;以及
从所选择的所述一个或多个群集中提取成为基准的表示动作的时序信息。
[附注10]
一种动作分析程序,使动作分析装置(10)所包括的运算部作为下述部分发挥功能:
获取部(11),获取一个或多个作业者一次或多次进行规定动作时记录的、表示所述动作的多个时序信息;
计算部(14),算出所述多个时序信息之间的类似度;
分类部(15),基于所述类似度将所述多个时序信息分类为多个群集;
选择部(16),选择所述多个群集中满足规定条件的一个或多个群集;以及
第一提取部(17),从所选择的所述一个或多个群集中提取成为基准的表示动作的时序信息。
[附注11]
一种动作分析系统(100),包括:
摄影部(20a、20b、20c),拍摄一个或多个作业者一次或多次进行规定动作的多个视频;
获取部(11),获取所述多个视频;
计算部(14),算出所述多个视频之间的类似度;
分类部(15),基于所述类似度将所述多个视频分类为多个群集;
选择部(16),选择所述多个群集中满足规定条件的一个或多个群集;以及
第一提取部(17),从所选择的所述一个或多个群集中提取成为基准的表示动作的视频。
Claims (10)
1.一种动作分析装置,包括:
获取部,获取一个或多个作业者一次或多次进行规定动作时记录的、表示所述动作的多个时序信息;
计算部,算出所述多个时序信息中两个时序信息之间的类似度;
分类部,基于所述类似度将所述多个时序信息分类为多个群集;
选择部,选择所述多个群集中满足规定条件的一个或多个群集;以及
第一提取部,从所选择的所述一个或多个群集中提取成为基准的表示动作的时序信息。
2.根据权利要求1所述的动作分析装置,其中,
所述分类部通过按所述类似度从高到低的顺序将所述时序信息汇总成群集的层次聚类,将所述多个时序信息分类为所述多个群集。
3.根据权利要求2所述的动作分析装置,其中,
所述选择部选择通过所述层次聚类所得的所述多个时序信息的树形图中的、叶节点的个数为第一阈值以上且小于第二阈值的叉树,作为满足所述规定条件的一个或多个群集。
4.根据权利要求3所述的动作分析装置,其中,
所述第一提取部从满足所述规定条件的一个或多个群集各自中,基于所述时序信息的长度而提取所述成为基准的表示动作的时序信息。
5.根据权利要求1至4中任一项所述的动作分析装置,还包括:
第二提取部,从所述成为基准的表示动作的时序信息中提取一个或多个特征点;以及
赋予部,基于所述一个或多个特征点,对所述成为基准的表示动作的时序信息赋予表示动作的分割点的信息。
6.根据权利要求5所述的动作分析装置,其中,
所述第二提取部提取所述成为基准的表示动作的时序信息所含的第一特征点,将所述第一特征点的前后从提取对象中排除,进行所述成为基准的表示动作的时序信息所含的第二特征点的提取。
7.根据权利要求1至6中任一项所述的动作分析装置,其中,
所述多个时序信息为将所述一个或多个作业者的多个部位的速度或加速度相加的信息。
8.一种动作分析方法,包括:
获取一个或多个作业者一次或多次进行规定动作时记录的、表示所述动作的多个时序信息;
算出所述多个时序信息中两个时序信息之间的类似度;
基于所述类似度将所述多个时序信息分类为多个群集;
选择所述多个群集中满足规定条件的一个或多个群集;以及
从所选择的所述一个或多个群集中提取成为基准的表示动作的时序信息。
9.一种动作分析程序,使动作分析装置所包括的运算部作为下述部分发挥功能:
获取部,获取一个或多个作业者一次或多次进行规定动作时记录的、表示所述动作的多个时序信息;
计算部,算出所述多个时序信息中两个时序信息之间的类似度;
分类部,基于所述类似度将所述多个时序信息分类为多个群集;
选择部,选择所述多个群集中满足规定条件的一个或多个群集;以及
第一提取部,从所选择的所述一个或多个群集中提取成为基准的表示动作的时序信息。
10.一种动作分析系统,包括:
摄影部,拍摄一个或多个作业者一次或多次进行规定动作的多个视频;
获取部,获取所述多个视频;
计算部,算出所述多个视频中两个视频之间的类似度;
分类部,基于所述类似度将所述多个视频分类为多个群集;
选择部,选择所述多个群集中满足规定条件的一个或多个群集;以及
第一提取部,从所选择的所述一个或多个群集中提取成为基准的表示动作的视频。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-009007 | 2019-01-23 | ||
JP2019009007A JP7502849B2 (ja) | 2019-01-23 | 2019-01-23 | 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム |
PCT/JP2019/008942 WO2020152878A1 (ja) | 2019-01-23 | 2019-03-06 | 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112567402A true CN112567402A (zh) | 2021-03-26 |
Family
ID=71736286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980052702.5A Pending CN112567402A (zh) | 2019-01-23 | 2019-03-06 | 动作分析装置、动作分析方法、动作分析程序及动作分析系统 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP3916654A4 (zh) |
JP (1) | JP7502849B2 (zh) |
CN (1) | CN112567402A (zh) |
WO (1) | WO2020152878A1 (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005242418A (ja) * | 2004-02-24 | 2005-09-08 | Matsushita Electric Works Ltd | 作業評価装置、作業評価方法をコンピュータに実現させる作業評価プログラムおよび当該作業評価プログラムを記憶した記憶媒体 |
CN1721308A (zh) * | 2004-07-13 | 2006-01-18 | 京瓷美达株式会社 | 图像形成装置 |
JP2008108008A (ja) * | 2006-10-24 | 2008-05-08 | Omron Corp | 移動パターン特定装置、移動パターン特定方法、移動パターン特定プログラム、およびこれを記録した記録媒体 |
CN102572390A (zh) * | 2010-12-02 | 2012-07-11 | 株式会社日立制作所 | 对监视对象者的行动进行监视的装置以及方法 |
JP2017010277A (ja) * | 2015-06-22 | 2017-01-12 | 株式会社ブロードリーフ | 作業分析システム及び作業分析方法 |
CN107730120A (zh) * | 2017-10-19 | 2018-02-23 | 伊婕 | 一种服装标准工时系统 |
CN107808144A (zh) * | 2017-11-10 | 2018-03-16 | 深圳市唯特视科技有限公司 | 一种基于视频时空关系进行自我监督嵌入姿态学习方法 |
CN108211302A (zh) * | 2016-12-15 | 2018-06-29 | 卡西欧计算机株式会社 | 运动解析装置、运动解析方法以及存储介质 |
JP2018109882A (ja) * | 2017-01-05 | 2018-07-12 | 株式会社東芝 | 動作解析装置、動作解析方法およびプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003316796A (ja) * | 2002-04-26 | 2003-11-07 | Fuji Xerox Co Ltd | 階層クラスタリング装置及び階層クラスタリング方法、階層クラスタリングプログラム、階層クラスタリングシステム |
JP5145417B2 (ja) * | 2008-05-14 | 2013-02-20 | 日東紡音響エンジニアリング株式会社 | 信号判定方法、信号判定装置、プログラム、信号判定システム |
JP5525202B2 (ja) * | 2009-07-30 | 2014-06-18 | 株式会社構造計画研究所 | 動作分析装置、動作分析方法及び動作分析プログラム |
US10037504B2 (en) * | 2015-02-12 | 2018-07-31 | Wipro Limited | Methods for determining manufacturing waste to optimize productivity and devices thereof |
JP2017146661A (ja) | 2016-02-15 | 2017-08-24 | オムロン株式会社 | 監視装置、制御装置、制御システム、監視方法およびプログラム |
-
2019
- 2019-01-23 JP JP2019009007A patent/JP7502849B2/ja active Active
- 2019-03-06 WO PCT/JP2019/008942 patent/WO2020152878A1/ja unknown
- 2019-03-06 EP EP19911557.7A patent/EP3916654A4/en active Pending
- 2019-03-06 CN CN201980052702.5A patent/CN112567402A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005242418A (ja) * | 2004-02-24 | 2005-09-08 | Matsushita Electric Works Ltd | 作業評価装置、作業評価方法をコンピュータに実現させる作業評価プログラムおよび当該作業評価プログラムを記憶した記憶媒体 |
CN1721308A (zh) * | 2004-07-13 | 2006-01-18 | 京瓷美达株式会社 | 图像形成装置 |
JP2008108008A (ja) * | 2006-10-24 | 2008-05-08 | Omron Corp | 移動パターン特定装置、移動パターン特定方法、移動パターン特定プログラム、およびこれを記録した記録媒体 |
CN102572390A (zh) * | 2010-12-02 | 2012-07-11 | 株式会社日立制作所 | 对监视对象者的行动进行监视的装置以及方法 |
JP2017010277A (ja) * | 2015-06-22 | 2017-01-12 | 株式会社ブロードリーフ | 作業分析システム及び作業分析方法 |
CN108211302A (zh) * | 2016-12-15 | 2018-06-29 | 卡西欧计算机株式会社 | 运动解析装置、运动解析方法以及存储介质 |
JP2018109882A (ja) * | 2017-01-05 | 2018-07-12 | 株式会社東芝 | 動作解析装置、動作解析方法およびプログラム |
CN107730120A (zh) * | 2017-10-19 | 2018-02-23 | 伊婕 | 一种服装标准工时系统 |
CN107808144A (zh) * | 2017-11-10 | 2018-03-16 | 深圳市唯特视科技有限公司 | 一种基于视频时空关系进行自我监督嵌入姿态学习方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7502849B2 (ja) | 2024-06-19 |
JP2020119164A (ja) | 2020-08-06 |
EP3916654A4 (en) | 2022-06-08 |
WO2020152878A1 (ja) | 2020-07-30 |
EP3916654A1 (en) | 2021-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107431786B (zh) | 图像处理设备、图像处理系统和图像处理方法 | |
Seo et al. | Automated postural ergonomic risk assessment using vision-based posture classification | |
JP5498454B2 (ja) | 追跡装置、追跡方法およびプログラム | |
US10289884B2 (en) | Image analyzer, image analysis method, computer program product, and image analysis system | |
JP2008046903A (ja) | 対象個数検出装置および対象個数検出方法 | |
EP3570210B1 (en) | Operation analysis apparatus, operation analysis method, operation analysis program, and operation analysis system | |
CN110910426A (zh) | 动作过程和动作趋势识别方法、存储介质和电子装置 | |
JP2017045438A (ja) | 画像解析装置、画像解析方法、画像解析プログラム、および画像解析システム | |
CN110991292A (zh) | 动作识别比对方法、系统、计算机存储介质和电子装置 | |
JP2020170252A (ja) | 画像処理装置、情報処理方法及びプログラム | |
Cai et al. | Construction worker ergonomic assessment via LSTM-based multi-task learning framework | |
CN112602100B (zh) | 动作分析装置、动作分析方法、存储介质及动作分析系统 | |
CN110798681B (zh) | 成像设备的监测方法、装置和计算机设备 | |
US20130265420A1 (en) | Video processing apparatus, video processing method, and recording medium | |
JP4918615B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
CN112567402A (zh) | 动作分析装置、动作分析方法、动作分析程序及动作分析系统 | |
US20240221175A1 (en) | Periodic motion detection device, periodic motion detection method, and periodic motion detection program | |
JP2018036901A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
CN113836991B (zh) | 动作识别系统、动作识别方法及存储介质 | |
JP4674920B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
Kim et al. | Evaluation of machine learning algorithms for worker’s motion recognition using motion sensors | |
CN115273215A (zh) | 作业识别系统以及作业识别方法 | |
WO2020022362A1 (ja) | 動き検出装置、特性検出装置、流体検出装置、動き検出システム、動き検出方法、プログラム、および、記録媒体 | |
KR20160136157A (ko) | 영상에서 배경 움직임 영역을 분할하는 방법 및 장치 | |
EP4354388A1 (en) | Task analysis device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |