CN110462336A - 身体朝向推定装置以及身体朝向推定程序 - Google Patents
身体朝向推定装置以及身体朝向推定程序 Download PDFInfo
- Publication number
- CN110462336A CN110462336A CN201880022300.6A CN201880022300A CN110462336A CN 110462336 A CN110462336 A CN 110462336A CN 201880022300 A CN201880022300 A CN 201880022300A CN 110462336 A CN110462336 A CN 110462336A
- Authority
- CN
- China
- Prior art keywords
- ellipse
- oval
- group
- approximate
- approximate ellipse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
- G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种抑制对象者行走时的臂的摆动的影响而能够推定对象者的朝向的身体朝向推定装置以及身体朝向推定程序。根据身体朝向推定装置(1),将从测距传感器(3)获取到的对象者(H)的上半身的测距值(MP)分组为1~多个组。右臂或者左臂的组的近似椭圆与躯干的组的近似椭圆的相对角度为60度以上120度以下的情况下将它们分组为同一组。而且,获取相当于包含躯干的组的椭圆类型,并根据相当于该椭圆类型的测距值(MP)计算上半身的近似椭圆,将该上半身的近似椭圆中的短轴(Sa)方向设为对象者(H)的朝向。因此,由于将过度远离躯干的臂与包含躯干的组相区分,所以能够抑制由对象者(H)的臂的位置引起的影响来推定对象者(H)的朝向。
Description
技术领域
本发明涉及能够抑制对象者行走时的臂的摆动的影响来推定对象者的朝向的身体朝向推定装置以及身体朝向推定程序。
背景技术
以往,已知有从拍摄对象者所得的图像中通过图像处理来检测脸的位置和朝向,从而检测对象者的朝向的装置。但是,很难同时满足能够进行脸的检测的分辨率和宽范围的视角来进行拍摄,且在脸未朝向照相机的方向而无法拍摄脸的情况下无法检测脸的朝向。
与此相对,根据专利文献1的人体朝向推定装置,具备2个距离传感器50,将一个距离传感器50设置于对象者的胸的高度,将另一个距离传感器50设置于对象者的脚的高度,并根据这2个距离传感器50的测定结果来推定对象者的朝向。详细而言,基于由距离传感器50测定出的测距点组来推定人体(对象者),并计算其重心位置。跟踪该重心位置的变化,计算对象者的移动方向,并将其推定为对象者的朝向。同样地专利文献2的位置检测装置通过多个距离传感器11~14测定对象者,并从该测距点组中检测形成人体(对象者)的轮廓的聚类,并计算其重心位置。跟踪该重心位置的变化,来计算对象者的移动方向,并将其推定为对象者的朝向。
专利文献1:日本特开2011-081634号公报
专利文献2:日本特开2010-169521号公报
然而,由于人交替地摆动双臂行走,所以在对对象者的肩以外的部分进行测距时会对对象者的双臂和躯干进行测距,所以臂的摆动对对象者的重心位置的计算带来影响。其结果,对象者的推定朝向受到臂的摆动的影响而波动而不稳定,很难准确地推定对象者的朝向。此外,若能够对对象者的肩部进行测距,则不会较大地受到臂的摆动的影响而能够计算对象者的重心位置,但由于体格的个人差异等,很难始终精确地对对象者的肩部进行测距。
发明内容
本发明是为了解决上述的问题点而完成的,目的在于提供一种能够抑制对象者行走时的臂的摆动的影响来推定对象者的朝向的身体朝向推定装置以及身体朝向推定程序。
为了实现该目的,本发明的身体朝向推定装置具备:上半身测距单元,对对象者的上半身进行测距;分组单元,将由该上半身测距单元测距出的各测距数据分组;椭圆计算单元,按由该分组单元分组而成的每个测距数据组计算近似椭圆;椭圆选择单元,在由该椭圆计算单元计算出的近似椭圆为多个的情况下,基于该多个近似椭圆的位置关系来选择推定上述对象者的朝向的椭圆;以及身体朝向推定单元,基于由该椭圆选择单元选择出的椭圆来推定上述对象者的朝向。
另外,本发明的身体朝向推定程序使计算机实现:获取对对象者的上半身进行测距而得的测距数据的上半身测距获取功能;将通过该上半身测距获取功能获取到的各测距数据分组的分组功能;按通过该分组功能分组而成的每个测距数据组计算近似椭圆的椭圆计算功能;在通过该椭圆计算功能计算出的近似椭圆为多个的情况下,基于该多个近似椭圆的位置关系来选择推定上述对象者的朝向的椭圆的椭圆选择功能;以及基于通过该椭圆选择功能选择出的椭圆来推定上述对象者的朝向的身体朝向推定功能。
根据本发明的身体朝向推定装置以及身体朝向推定程序,将对对象者的上半身进行测距而得的测距数据分组为1~多个组。在这里,将与躯干接触的臂与躯干分为相同组,另一方面,将与躯干分离的臂与躯干分为不同组。因此,通过按每个分组而成的测距数据组计算近似椭圆,能够区分躯干和远离躯干的臂来计算近似椭圆。在计算出的近似椭圆为多个的情况下,基于它们的位置关系来选择推定对象者的朝向的椭圆,并基于该选择出的椭圆来推定对象者的朝向。因此,具有能够抑制对象者行走时的臂的摆动的影响来推定对象者的朝向这样的效果。
附图说明
图1是表示人体前后判定装置的外观的示意图。
图2是表示身体朝向推定装置的电气结构的框图。
图3是主处理的流程图。
图4是躯干椭圆类型选择处理的流程图。
图5(a)是示意性地表示将双臂以及躯干分组的情况下的椭圆类型的图,(b)是示意性地表示将右臂以及躯干分组并将左臂分组的情况下的椭圆类型的图,(c)是示意性地表示将左臂以及躯干分组并将右臂分组的情况下的椭圆类型的图,(d)是示意性地表示将右臂、左臂以及躯干分别独立分组的情况下的椭圆类型的图。
图6(a)是示意性地表示组数为2个的情况下的右臂的近似椭圆、与左臂以及躯干的近似椭圆的位置关系的图,(b)是示意性地表示组数为3个的情况下的左臂的近似椭圆、躯干的近似椭圆、以及右臂的近似椭圆的位置关系的图。
图7(a)是示意性地表示相对角度的阈值的图,(b)是示意性地表示对象者的朝向的推定的图。
具体实施方式
以下,参照附图对本发明的优选的实施方式进行说明。首先,参照图1,对身体朝向推定装置1的概要进行说明。图1是表示身体朝向推定装置1的外观的示意图。身体朝向推定装置1是用于对从测距传感器3检测出的上半身的测距值MP进行分组,并根据分组而成的近似椭圆间的位置关系推定对象者H的上半身的近似椭圆,并根据该推定出的上半身的近似椭圆来推定对象者H的朝向的装置。身体朝向推定装置1具有控制身体朝向推定装置1的各部的控制部2、测距传感器3以及显示部4。
测距传感器3是用于通过对全方位(360度)照射激光,并测定其散射光,来对与对象者H的上半身的距离进行检测(测距)的装置。测距传感器3将按每1度的角度检测出的与对象者H的上半身的距离与该角度建立对应关系发送至控制部2。测距传感器3的上下方向的位置配置于比对象者H的视线靠下的位置,测距传感器3朝向斜上方对对象者H的上半身的距离进行测距。此外,由于测距传感器3相对于对象者H的仰角被设定为能够检测与对象者H的上半身的距离的角度,并且测距传感器3的激光不会进入对象者H的眼睛的角度,所以测距传感器3能够确保针对对象者H的眼睛的安全性,并且正确地检测与对象者H的上半身的距离。
显示部4是用于对象者H的朝向等的显示以及输入来自用户的对身体朝向推定装置1的指示的装置,具有用于显示对象者H的身体角度θ等的LCD10、以及向控制部2输入来自用户的指示的触摸面板11而构成(参照图3),并设置于身体朝向推定装置1的上部。
控制部2根据相邻的测距值间的距离亦即分离距离,对从测距传感器3获取到的对象者H的上半身的测距值(测距数据)MP进行分组,并根据从该分组而成的测距值MP计算出的近似椭圆间的位置关系,来选择上半身的近似椭圆的椭圆类型。而且,根据选择出的椭圆类型推定上半身的近似椭圆,并将该上半身的近似椭圆的角度亦即身体角度θ设为对象者H的朝向。
接着,参照图2对身体朝向推定装置1的电气结构进行说明。图2是表示身体朝向推定装置1的电气结构的框图。控制部2具有CPU5、硬盘驱动器(HDD)6、以及RAM7,它们经由总线8分别与输入输出端口9连接。在输入输出端口9,分别连接有测距传感器3和显示部5。
CPU5是控制通过总线8连接的各部的运算装置。HDD6是储存有由CPU5执行的程序、固定值数据等的可改写的非易失性的存储装置,存储控制程序6a。若CPU5执行控制程序6a,则执行图4的主处理。
RAM7是用于在CPU5执行控制程序6a时可改写地存储各种工作数据、标志等的存储器,分别设置存储对由测距传感器3获取到的测距值MP进行分组的分离距离(单位为mm)的分离距离存储器7a、存储分组而成的结果的组数的组数存储器7b、存储上半身的近似椭圆中的椭圆类型(参照图5)的椭圆类型存储器7c、以及存储对象者H的身体角度θ(参照图6(a))的身体角度存储器7d。
接着,参照图3~图7对由控制部2的CPU5执行的处理进行说明。主处理在身体朝向推定装置1的电源接通之后执行。图3是主处理的流程图。主处理首先从测距传感器3获取测距值MP(S1)。在S1的处理之后,在分离距离存储器7a中设定50mm(S2)。在S2的处理之后,为了根据测距值MP,创建以双臂或者躯干的端部为边界的测距值MP的组,而基于分离距离存储器7a的值对测距值MP进行分组(S3)。
具体而言,对所有测距值MP计算相邻的测距值MP间的距离(测距点间距离)。在该测距点间距离为分离距离存储器7a中存储的分离距离以下的情况下,对应的2个测距值MP被判定为同一组。另一方面,在测距点间距离大于分离距离的情况下,判断为双臂或者躯干等的边界存在于该测距值MP间,所以对应的2个测距值MP分别为不同的组。而且,将最终的组数保存至组数存储器7b。
在S3的处理之后,确认组数存储器7b中保存的组数是否为3以下(S4)。对此在S5的躯干椭圆类型选择处理(图5)中后述,但在本实施方式中,是因为根据从各组中的测距值MP计算出的臂的近似椭圆和躯干的近似椭圆的位置关系,来推定上半身的近似椭圆。因此,组数必须最多为右臂、左臂以及躯干这3个以下。因此,在S4的处理中,确认通过S3的处理组数是否为3以下。此外,组数为1的情况是将双臂以及躯干分到同一组的情况。另外,组数为2的情况是将右臂以及躯干分为一组、左臂分为一组的情况,或者将左臂以及躯干分为一组、右臂分为一组的情况。
在S4的处理中,在组数大于3的情况下(S4:否),判断为在S3的处理中分离距离较小,从以双臂或者躯干的端部以外的位置为边界,实际上为一体的臂或者躯干分组出多个组。在这样的情况下,对分离距离存储器7a的值加上10mm(S6),在增大分离距离之后,再次进行S3的分组处理。
另一方面,在组数为3个以下的情况下(S4:是),由于判断为通过S3的处理创建出双臂或者躯干的组,所以进行椭圆类型选择处理(S5)。由此,能够在最多将双臂和躯干分为分别独立的组的状态下,进行后述的椭圆类型选择处理。此外,在S2的处理中在分离距离存储器7a中设定的初始值并不限于50mm,可以为50mm以上,也可以为50mm以下。另外,在S6的处理中对分离距离存储器7a的值相加的值也并不限于10mm,可以为10mm以上,也可以为10mm以下。
接下来,参照图4~图7对S5的椭圆类型选择处理进行说明。图4是椭圆类型选择处理的流程图。椭圆类型选择处理是基于分组而成的组,从椭圆E1、E3、E5、E6中选择上半身的近似椭圆的椭圆类型的处理。参照图5,对在这里被选择为上半身的近似椭圆的椭圆类型的椭圆E1~E6进行说明。
图5(a)是示意性地表示将双臂以及躯干分组的情况下的近似椭圆的椭圆类型,图5(b)是示意性地表示将左臂分组并将右臂以及躯干分组的情况下的近似椭圆的椭圆类型,图5(c)是示意性地表示将右臂分组并将左臂以及躯干分组的情况下的近似椭圆的椭圆类型的图,图5(d)是示意性地表示将右臂、左臂以及躯干分别独立分组的情况下的近似椭圆的椭圆类型的图。此外,在图5~图7中,在将俯视时的身体朝向推定装置1的位置设为(0,0)的XY平面上,用空心的四边形表示从测距传感器3获取到的对象者H的测距值MP。
如图5所示,椭圆E1(图5(a))是将双臂以及躯干分组而成的近似椭圆的椭圆类型。椭圆E2(图5(b)、(d))是仅将左臂分组而成的近似椭圆的椭圆类型,椭圆E3(图5(b))是将右臂以及躯干分组而成的近似椭圆的椭圆类型。椭圆E4(图5(c)、(d))是仅将右臂分组而成的近似椭圆的椭圆类型,“椭圆E5”(图5(c))是将左臂以及躯干分组而成的近似椭圆的椭圆类型。“椭圆E6”(图5(d))是仅将躯干分组而成的近似椭圆的椭圆类型。
在图4中,椭圆类型选择处理首先确认组数存储器7b中存储的组数(S20)。在组数为1的情况下(S20:“1”),为通过图3的S3的处理,将双臂以及躯干分组的情况(图5(a)),所以在椭圆类型存储器7c中设定椭圆E1(S21)。
在S20的处理中,组数为2的情况(S20:“2”)为通过图3的S3的处理,分组为基于左臂的组、和基于右臂以及躯干的组的情况,或者分组为基于右臂的组、和基于左臂以及躯干的组的情况。在这样的情况下,作为椭圆类型举出的为椭圆E2、E3(图5(b))、或者椭圆E4、E5(图5(c))。另外,除了这些以外,由于能够将基于左臂(右臂)的组和基于右臂(左臂)以及躯干的组作为同一的组来处理,所以作为椭圆类型也可举出椭圆E1。
在S23以下的处理中,根据各个椭圆类型的近似椭圆间的位置关系选择将这些椭圆类型中的哪个椭圆类型作为上半身的近似椭圆。在S20的处理中,在组数为2的情况下(S20:“2”),确认相对角度δ是否为60度以上并且120度以下(S23)。在这里,参照图6(b),对S23的处理进行说明。图6(a)是示意性地表示组数为2的情况下的右臂的近似椭圆与左臂以及躯干的近似椭圆的位置关系的图。
在图6(a)中,与椭圆E4(右臂)相应的根据测距值MP推定出的近似椭圆的中心位置为Cr,与椭圆E5(左臂和躯干)相应的根据测距值MP推定出的近似椭圆的中心位置为Cab。此外,近似椭圆通过基于与各组相应的测距值MP的最小平方法来计算。通过中心Cab,并位于椭圆E5的近似椭圆的短轴Sa方向的直线上的基准点为P。中心Cab与中心Cr的距离为d1,中心Cab与中心Cr的距离为d2。另外,中心Cab与基准点P的距离为d3,例示1m。此外,距离d3的长度并不限于1m,可以为1m以上,也可以为1m以下。
在本实施方式中,将基于双臂和躯干的椭圆E1设为最近似推定上半身的形状的椭圆。这是因为椭圆E1包含双臂和躯干,所以椭圆E1为将两肩作为长轴侧的顶点的近似椭圆,该近似椭圆的形状最接近上半身的形状。但是,特别是在对象者H的行走中,双臂交替地摆动着行走,所以双臂向前后方向周期性地移动。因此,在右臂或者左臂向前侧或者后侧过度分离的情况下,椭圆E1的近似椭圆包含该过度分离的右臂或者左臂的位置,而成为极度偏离实际的上半身的形状的形状。
因此,在本实施方式中,根据右臂或者左臂的近似椭圆与另一个臂和躯干的近似椭圆的位置关系,判断是否存在过度分离的右臂或者左臂,在不存在过度分离的右臂或者左臂的情况下,将椭圆E1设为上半身的近似椭圆的椭圆类型。另一方面,在存在过度分离的右臂或者左臂的情况下,将不包含该过度分离的右臂或者左臂的、包含有躯干的椭圆类型(椭圆E5或者E3)设为上半身的近似椭圆的椭圆类型。由此,能够推定抑制了过度分离的右臂或者左臂的影响的上半身的近似椭圆。
具体而言,计算基于椭圆E4的近似椭圆与基于椭圆E5的近似椭圆的相对角度δ,即表示连结基准点P和中心Cab的直线与连结中心Cab和中心Cr的直线所成的角的相对角度δ(S22)。在这里,相对角度δ通过以下的数式1来计算。
[数式1]
然后,确认计算出的相对角度δ是否为60度以上并且120度以下(S23)。
在这里,参照图7(b)对相对角度δ的阈值进行说明。图7(a)是示意性地表示相对角度δ(δR,δL)的阈值的图。在图7(a)中,在相对角度δ为60度以上且120度以下的情况下,由于基于椭圆E4的近似椭圆与基于椭圆E5的近似椭圆接近,所以能够对与椭圆E4相应的右臂的组和与椭圆E5相应的左臂和躯干的组进行相同处理。因此,在这样的情况下(S23:是),在椭圆类型存储器7c中设定椭圆E1(S25)。即,由于判断为双臂与躯干接近,所以能够进行基于椭圆E1的上半身的近似椭圆的推定,所以能够进行与上半身的形状更吻合的近似椭圆的推定。
另一方面,在相对角度δ小于60度或者大于120度的情况下(S23:否),为基于椭圆E4的近似椭圆与基于椭圆E5的近似椭圆过度分离的状态。在这样的情况下,在椭圆类型存储器7c中设定椭圆E5(S24)。由此,由于过度分离的基于椭圆E4(右臂)的近似椭圆被从上半身的近似椭圆的椭圆类型中除去,所以能够抑制过度分离的右臂的影响,来推定上半身的近似椭圆。
此外,在分组为基于左臂的组、和基于右臂以及躯干的组的情况下,也与上述的方法相同地决定上半身的近似椭圆中的椭圆类型。即,与椭圆E2(左臂)相应的根据测距值MP推定出的近似椭圆的中心位置为Cl(未图示),与椭圆E3(右臂和躯干)相应的根据测距值MP推定出的近似椭圆的中心位置为Cab。经过中心Cab并位于基于椭圆E3的近似椭圆的短轴向的直线上的基准点为P。中心Cab与基准点P的距离为d3,另外,中心Cab与中心Cl的距离为d1,中心Cab与中心Cl的距离为d2。
接下来,计算基于椭圆E2的近似椭圆与基于椭圆E3的近似椭圆的相对角度δ,即表示连结基准点P与中心Cab的直线与连结中心Cab与中心Cl的直线所成的角的相对角度δ(S22)。此外,相对角度δ根据上述的数式1来计算。确认计算出的相对角度δ是否为60度以上且120度以下(S23)。在相对角度δ为60度以上且120度以下的情况下,在椭圆类型存储器7c中设定椭圆E1(S25),另一方面,在相对角度δ大于60度或者小于120度的情况下(S23:否),在椭圆类型存储器7c中设定椭圆E3(S24)。
接着,参照图5、图7对在图5的S20的处理中,组数为3个的情况下(S20:“3”)进行说明。在组数为3的情况下,为通过图3的S3的处理,分组为基于左臂的组、基于躯干的组、以及基于右臂的组的情况,在这样的情况下作为椭圆类型举出的为椭圆E2、E6、E4(图5(d))。
除了这些以外,由于能够将双臂以及躯干的组作为同一组来处理,能够将基于右臂以及躯干的组作为同一组来处理,进一步能够将基于左臂以及躯干的组作为同一组来处理,所以作为椭圆类型也可举出椭圆E1、E3、E5。在图5的S26以下的处理中,根据利用各个椭圆类型推定出的近似椭圆间的位置关系来选择将这些椭圆类型中的哪个椭圆类型设为上半身的近似椭圆。
在图5的S20的处理中,在组数为3的情况下(S20:“3”),计算椭圆E2与椭圆E6的第一相对角度δL、以及椭圆E4与椭圆E6的第二相对角度δR(S26、S27)。
在这里,参照图6(b),对S26~S33的处理进行说明。图6(b)是示意性地表示组数为3的情况下的基于左臂的近似椭圆、基于躯干的近似椭圆、以及基于右臂的近似椭圆的位置关系的图。在图6(b)中,与椭圆E2(左臂)相应的根据测距值MP推定出的近似椭圆的中心位置为Cl,与椭圆E4(右臂)相应的根据测距值MP推定出的近似椭圆的中心位置为Cr,与椭圆E6(躯干)相应的根据测距值MP推定出的近似椭圆的中心位置为Cb。经过中心Cb且位于椭圆E6的近似椭圆的短轴向的直线上的基准点为P。另外,中心Cb与基准点P的距离为d3,例示1m。中心Cb与中心Cr的距离为d1,中心Cr与基准点P的距离为d2,中心Cl与基准点P的距离为d4,中心Cb与中心Cl的距离为d5。
在组数为3的情况下,与组数为2的情况相同,根据右臂或者左臂的近似椭圆与躯干的近似椭圆的位置关系,判断将上半身的近似椭圆的椭圆类型设为椭圆E1、E3、E5、E6的哪一个。
返回到图5。在组数为3的情况下(S20:“3”),首先计算基于椭圆E2的近似椭圆与基于椭圆E6的近似椭圆的第一相对角度δL,即连结基准点P与中心Cb的直线和连结中心Cb与中心Cl的直线所成的角亦即第一相对角度δL(S26)。在这里,第一相对角度δL通过以下的数式2来计算。
[数式2]
在S26的处理之后,计算基于椭圆E4的近似椭圆与基于椭圆E6的近似椭圆的第二相对角度δR,即连结基准点P与中心Cb的直线和连结中心Cb与中心Cr的直线所成的角亦即第二相对角度δR(S27)。在这里,第二相对角度δR通过以下的数式3来计算。
[数式3]
根据通过数式2、3计算出的第一相对角度δL和第二相对角度δR,在S28以下的处理中,根据椭圆E2与椭圆E6的位置关系、和椭圆E4与椭圆E6的位置关系,来选择上半身的近似椭圆的椭圆类型。在S26的处理之后,确认第一相对角度δL是否为60度以上且120度以下,并且第二相对角度δR是否为60度以上且120度以下(S28)。
参照图7(a),对第一相对角度δL和第二相对角度δR的阈值进行说明。与上述的相对角度δ相同,在第一相对角度δL为60度以上且120度以下的情况下,判断为基于椭圆E2的近似椭圆与基于椭圆E6的近似椭圆接近,在第一相对角度δL大于60度或者小于120度的情况下,为基于椭圆E2的近似椭圆与基于椭圆E6的近似椭圆过度分离。另外,在第二相对角度δR为60度以上且120度以下的情况下,判断为基于椭圆E4的近似椭圆与基于椭圆E6的近似椭圆接近,在第二相对角度δR大于60度或者小于120度的情况下,为基于椭圆E4的近似椭圆与基于椭圆E6的近似椭圆过度分离。
返回到图4。由于在第一相对角度δL为60度以上且120度以下,并且第二相对角度δR为60度以上且120度以下的情况下(S28:是),基于椭圆E2的近似椭圆与基于椭圆E6的近似椭圆接近,另外基于椭圆E4的近似椭圆与基于椭圆E6的近似椭圆接近,所以能够将基于左臂的组、基于躯干的组、以及基于右臂的组作为同一组来处理。在这样的情况下,在椭圆类型存储器7c中设定椭圆E1(S25)。
另一方面,在第一相对角度δL不是60度以上且120度以下,且第二相对角度δR不是60度以上且120度以下的情况下(S28:否),确认第一相对角度δL是否为60度以上且120度以下(S29)。通过S28的处理,即使在判断为基于左臂的组、基于躯干的组以及基于右臂的组不是同一组的情况下,也存在将基于左臂的组和基于躯干的组设为同一组的情况、或者将基于右臂的组和基于躯干的组设为同一组的情况,所以首先确认第一相对角度δL是否为60度以上且120度以下(S29)。
由于在第一相对角度δL为60度以上且120度以下的情况下(S29:是)基于椭圆E2的近似椭圆与基于椭圆E6的近似椭圆接近,所以能够对基于左臂的组和基于躯干的组进行相同处理。因此,在该情况下(S29:是),在椭圆类型存储器7c中设定椭圆E5(S30)。
在S29的处理中,在第一相对角度δL小于60度或者大于120度的情况下(S29:否),即使在未将基于左臂的组、基于躯干的组设为同一组的情况下,也存在将基于右臂的组和基于躯干的组设为同一组的情况,所以进一步确认第二相对角度δR是否为60度以上且120度以下(S31)。由于在第二相对角度δR为60度以上且120度以下的情况下(S31:是),基于椭圆E4的近似椭圆与基于椭圆E6的近似椭圆接近,所以能够对基于右臂的组和基于躯干的组进行相同处理。在这样的情况下(S31:是),在椭圆类型存储器7c中设定椭圆E3(S32)。
通过S30、S32的处理,即使基于椭圆E2的近似椭圆或者基于椭圆E4的近似椭圆与基于椭圆E6的近似椭圆过度分离,也将与另一个臂相应的基于椭圆E4或者E2的近似椭圆与基于椭圆E6的近似椭圆设为同一组的情况下,在椭圆类型存储器7c中设定该椭圆类型。由此,由于根据基于右臂或者左臂与躯干被设为同一组的椭圆E3、E5来推定上半身的近似椭圆,由于未选择过包含度分离的另一个臂的椭圆E1,所以能够推定抑制了与躯干过度分离的臂的影响的上半身的近似椭圆。
在S31的处理中,由于在第二相对角度δR小于60度或者大于120度以下的情况下(S31:否),判断为基于椭圆E2的近似椭圆和基于椭圆E4的近似椭圆与基于椭圆E6的近似椭圆过度分离,所以在这样的情况下,在椭圆类型存储器7c中设定椭圆E6(S33)。由此,即使在双臂与躯干均过度分离的状态下,也能够推定抑制了双臂的影响的上半身的近似椭圆。
在S21、S24、S25、S30~33的处理之后,结束椭圆类型选择处理,并返回到图3的主处理。在S6的椭圆类型选择处理之后,获取与椭圆类型存储器7c中存储的椭圆类型相应的测距值MP,并通过基于该测距值MP的最小平方法来计算上半身的近似椭圆(S7)。在S7的处理之后,根据计算出的上半身的近似椭圆来推定身体角度θ(S8)。参照图7(b)对S8的处理进行说明。图7(b)是示意性地表示身体角度的图。椭圆E1是通过S7的处理推定出的近似椭圆。将近似椭圆的短轴Sa方向的朝向推定为对象者H的朝向。而且,该对象者H的朝向与X轴所成的角为身体角度θ。此外,由于椭圆E3、E5、E6中的对象者H的朝向和身体角度θ的推定方法与椭圆E1的情况相同,所以省略其说明。
返回到图3。在S8的处理之后,将推定出的身体角度θ输出至显示部5的LCD11(S9)。此外,身体角度θ的输出目的地并不限于LCD11,也可以为将身体角度θ存储至HDD7的结构,也可以为将身体角度θ通过未图示的通信装置,发送至外部的服务器、PC等的结构。在S9的处理之后,反复S1的处理。
如以上说明的那样,根据本实施方式中的身体朝向推定装置1,将从测距传感器3获取到的对象者H的上半身的测距值MP分组为1至多个组。在基于右臂或者左臂的组的近似椭圆与基于躯干的组的近似椭圆的相对角度为60度以上120度以下的情况下将它们分组为同一组,除此以外,分组为不同的组。
而且,获取与包含躯干的组相应的椭圆类型,并存储至椭圆类型存储器7c。获取与该椭圆类型相应的测距值MP,并根据该测距值MP来计算上半身的近似椭圆,并将该上半身的近似椭圆中的短轴Sa方向设为对象者H的朝向。因此,由于将过度远离躯干的臂与包含躯干的组相区分,所以能够抑制对象者H的臂的位置的影响而推定对象者H的朝向(上半身的朝向)。
此外,由于将过度远离躯干的臂从包含躯干的组中除去,所以即使从测距传感器3中获取臂的测距值MP,也能够推定对象者H的朝向。因此,由于无需将测距传感器3精确地朝向能够没有臂的影响地获取上半身的位置的例如肩,所以能够容易地进行测距传感器3的上下方向的位置以及仰角的设定。
另外,在现有技术中,根据行走中的对象者H的重心位置的变化,来推定对象者H的朝向。因此,重心位置的跟踪需要所需时间,无法迅速地推定对象者H的朝向。进一步,在对象者H停止的情况下,由于看不出重心位置的变化本身,所以无法准确地进行对象者H的朝向的推定。
与此相对,针对于此在本实施方式中的身体朝向推定装置1中,基于根据从测距传感器3获取到的测距值MP计算出的组,来选择包含躯干的椭圆类型,并基于该椭圆类型来计算上半身的近似椭圆,并基于该上半身的近似椭圆,来推定对象者H的朝向。由此,不需要重心位置的跟踪所需的时间,能够实时地推定对象者H的朝向。另外,即使在对象者H停止的情况下,也能够基于从测距传感器3获取到的测距值MP来推定对象者H的朝向。
然而,在跟随对象者H进行自动行驶的移动体(例如,日本特开2016-184337号中的移动体100)中,根据对象者H的朝向来变更移动体的朝向,以使对象者H与移动体的显示器面对。以往,对由照相机获取到的对象者H的上半身的图像进行图像解析,并基于解析出的结果来推定对象者H的朝向。在该情况下,由于根据在行走中前后移动的对象者H的臂的位置,从图像解析中获得的对象者H的朝向也变得不稳定,所以针对移动体的朝向的举动不稳定。
因此,在移动体上安装身体朝向推定装置1,根据由身体朝向推定装置1推定出的对象者H的朝向,来改变移动体的朝向。由此,由于抑制对象者H的朝向受到对象者H的臂的位置的影响,所以能够使针对移动体的朝向的举动稳定。
以上,基于实施方式对本发明进行了说明,但本发明并不限于上述的实施方式的任意一个,能够容易地推定能够在不脱离本发明的主旨的范围内进行各种改进变更。
在上述实施方式中,为由身体朝向推定装置1执行控制程序6a的结构。但是,未必限于此,也可以为将控制程序6a存储于个人计算机、智能手机、平板电脑终端等,并执行控制程序6a的结构。
在上述实施方式中,为使用利用激光来检测上半身的测距值的测距传感器3的结构。但是,未必限于此,也可以为使用从获取到的图像中检测空间内的距离信息等的距离图像传感器,来检测上半身的测距值的结构。
在上述实施方式中,为近似椭圆均是通过基于测距值MP的最小平方法来计算的结构。但是,未必限于此,也可以为通过最小平方法以外的各种运算方法,进行近似椭圆的结构。
在上述实施方式中,为基准点P通过椭圆E3、E5、E6的近似椭圆的中心Cab、Cb,并位于椭圆E3、E5、E6的近似椭圆的短轴Sa方向的直线上的结构。但是,未必限于此,也可以将通过中心Cab、Cb,并位于椭圆E3、E5、E6的近似椭圆的长轴La方向的直线上的点设为基准点P,也可以将任意的点设为基准点P。
在上述实施方式中,为根据相对角度δ、第一相对角度δL、第二相对角度δR的角度大小,来判断右臂或者左臂的近似椭圆、与躯干的近似椭圆是否接近的结构。但是,未必限于此,也可以为代替相对角度δ、第一相对角度δL、第二相对角度δR,基于中心Cab与中心Cr的距离d2、中心Cab与中心Cl的距离d4的大小,来判断右臂或者左臂的近似椭圆、与躯干的近似椭圆是否接近的结构。
附图标记说明
1…身体朝向推定装置;3…测距传感器(上半身测距单元);6a…控制程序(身体朝向推定程序);S3~S5…分组单元;S4、S5…分组单元的一部分、再分组单元;S6…椭圆选择单元;S7…椭圆计算单元;S8…身体朝向推定单元。
Claims (11)
1.一种身体朝向推定装置,其特征在于,具备:
上半身测距单元,对对象者的上半身进行测距;
分组单元,将由该上半身测距单元测距出的各测距数据分组;
椭圆计算单元,按由该分组单元分组而成的每个组计算近似椭圆;
椭圆选择单元,在由该椭圆计算单元计算出的近似椭圆为多个的情况下,基于该多个近似椭圆的位置关系来选择推定上述对象者的朝向的椭圆;以及
身体朝向推定单元,基于由该椭圆选择单元选择出的椭圆来推定上述对象者的朝向。
2.根据权利要求1所述的身体朝向推定装置,其特征在于,
上述椭圆计算单元基于成为按由上述分组单元分组而成的每个组计算出的近似椭圆中的相邻的2个以上的近似椭圆的基础的组来进一步计算近似椭圆。
3.根据权利要求1或2所述的身体朝向推定装置,其特征在于,
上述椭圆选择单元在由上述椭圆计算单元计算出的近似椭圆中的相邻的2个近似椭圆处于规定的位置关系的情况下,将基于成为该2个近似椭圆的基础的组计算出的近似椭圆选择为推定上述对象者的朝向的椭圆。
4.根据权利要求1~3中任意一项所述的身体朝向推定装置,其特征在于,
上述椭圆选择单元在由上述椭圆计算单元计算出的近似椭圆中的相邻的2个近似椭圆未处于规定的位置关系的情况下,将该2个近似椭圆中的较大的近似椭圆选择为推定上述对象者的朝向的椭圆。
5.根据权利要求3或4所述的身体朝向推定装置,其特征在于,
上述规定的位置关系基于连结由上述椭圆计算单元计算出的近似椭圆中的相邻的2个近似椭圆的中心的直线与该相邻的2个近似椭圆中的较大的近似椭圆的短轴所成角度来判断。
6.根据权利要求1~5中任意一项所述的身体朝向推定装置,其特征在于,
上述分组单元在上述各测距数据所表示的测距点中的相邻的测距点间距离处于阈值内的情况下,将该相邻的测距点分组为同组,
具备再分组单元,该再分组单元在分组的结果为组数超过规定数的情况下,将上述阈值再设定为较大的值并再次分组。
7.根据权利要求1~6中任意一项所述的身体朝向推定装置,其特征在于,
上述分组单元将上述各测距数据分组为双臂以及躯干的1个组、一个臂以及躯干的组和另一个臂的组这2个组、一个臂的组、躯干的组以及另一个臂的组这3个组中的任意一种。
8.根据权利要求1~7中任意一项所述的身体朝向推定装置,其特征在于,
上述椭圆选择单元将由上述椭圆计算单元计算出的近似椭圆中的双臂以及躯干的近似椭圆、一个臂以及躯干的近似椭圆、以及躯干的近似椭圆中的任意一个近似椭圆选择为推定上述对象者的朝向的椭圆。
9.根据权利要求1~8中任意一项所述的身体朝向推定装置,其特征在于,
上述身体朝向推定单元将由上述椭圆选择单元选择出的近似椭圆的短轴向推定为上述对象者的朝向。
10.根据权利要求1~9中任意一项所述的身体朝向推定装置,其特征在于,
上述上半身测距单元朝向斜上方对上述对象者的上半身进行测距。
11.一种身体朝向推定程序,其特征在于,使计算机实现:
获取对对象者的上半身进行测距而得的测距数据的上半身测距获取功能;
将通过该上半身测距获取功能获取到的各测距数据分组的分组功能;
按通过该分组功能分组而成的每个组计算近似椭圆的椭圆计算功能;
在通过该椭圆计算功能计算出的近似椭圆为多个的情况下,基于该多个近似椭圆的位置关系来选择推定上述对象者的朝向的椭圆的椭圆选择功能;以及
基于通过该椭圆选择功能选择出的椭圆来推定上述对象者的朝向的身体朝向推定功能。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017067932A JP6713619B2 (ja) | 2017-03-30 | 2017-03-30 | 身体向推定装置および身体向推定プログラム |
JP2017-067932 | 2017-03-30 | ||
PCT/JP2018/010041 WO2018180503A1 (ja) | 2017-03-30 | 2018-03-14 | 身体向推定装置および身体向推定プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110462336A true CN110462336A (zh) | 2019-11-15 |
Family
ID=63677355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880022300.6A Pending CN110462336A (zh) | 2017-03-30 | 2018-03-14 | 身体朝向推定装置以及身体朝向推定程序 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20200025878A1 (zh) |
EP (1) | EP3605011A4 (zh) |
JP (1) | JP6713619B2 (zh) |
CN (1) | CN110462336A (zh) |
WO (1) | WO2018180503A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109683487A (zh) * | 2018-12-29 | 2019-04-26 | 珠海格力电器股份有限公司 | 电器控制方法、电器及计算机可读存储介质 |
CN114643934A (zh) * | 2020-12-18 | 2022-06-21 | 丰田自动车株式会社 | 车辆车门倚靠检测系统 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019168394A (ja) * | 2018-03-26 | 2019-10-03 | 株式会社エクォス・リサーチ | 身体向推定装置および身体向推定プログラム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05157521A (ja) * | 1991-08-29 | 1993-06-22 | Nkk Corp | エリプソパラメータ測定方法及びエリプソメータ |
JP2006064695A (ja) * | 2004-07-30 | 2006-03-09 | Matsushita Electric Works Ltd | 個体検出器及び共入り検出装置 |
JP2009116871A (ja) * | 2007-11-06 | 2009-05-28 | Palo Alto Research Center Inc | 鏡上の内容及び動作に関連した情報を用いて鏡の機能を拡張する方法及び装置 |
CN102813516A (zh) * | 2012-08-24 | 2012-12-12 | 武汉世纪金桥安全技术有限公司 | 基于光学成像的非接触式人体身高测量方法 |
CN103687782A (zh) * | 2011-07-26 | 2014-03-26 | 株式会社爱考斯研究 | 车辆 |
CN104335245A (zh) * | 2012-06-26 | 2015-02-04 | 英特尔公司 | 用于测量数字招牌的受众规模的方法及装置 |
US20160089102A1 (en) * | 2013-07-03 | 2016-03-31 | Tsukuba Technology Co., Ltd. | Compact medical x-ray imaging apparatus |
CN105579321A (zh) * | 2013-07-23 | 2016-05-11 | 日产自动车株式会社 | 车辆用驾驶辅助装置及车辆用驾驶辅助方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH103547A (ja) * | 1996-06-18 | 1998-01-06 | Minolta Co Ltd | 3次元データ処理装置 |
JP5278721B2 (ja) * | 2007-04-27 | 2013-09-04 | 国立大学法人 東京大学 | レーザ計測システム及び方法 |
JP2009168578A (ja) * | 2008-01-15 | 2009-07-30 | Advanced Telecommunication Research Institute International | 計測装置および計測方法 |
JP2010169521A (ja) | 2009-01-22 | 2010-08-05 | Nec Corp | 位置検出装置、位置検出方法及びプログラム |
JP2011081634A (ja) | 2009-10-07 | 2011-04-21 | Sogo Keibi Hosho Co Ltd | 人体向き推定装置及び人体向き推定方法 |
JP5953484B2 (ja) * | 2011-03-30 | 2016-07-20 | 株式会社国際電気通信基礎技術研究所 | 計測装置,計測方法および計測プログラム |
JP6402429B2 (ja) | 2015-03-26 | 2018-10-10 | 株式会社エクォス・リサーチ | 移動体 |
-
2017
- 2017-03-30 JP JP2017067932A patent/JP6713619B2/ja not_active Expired - Fee Related
-
2018
- 2018-03-14 US US16/499,538 patent/US20200025878A1/en not_active Abandoned
- 2018-03-14 CN CN201880022300.6A patent/CN110462336A/zh active Pending
- 2018-03-14 EP EP18777528.3A patent/EP3605011A4/en not_active Withdrawn
- 2018-03-14 WO PCT/JP2018/010041 patent/WO2018180503A1/ja unknown
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05157521A (ja) * | 1991-08-29 | 1993-06-22 | Nkk Corp | エリプソパラメータ測定方法及びエリプソメータ |
JP2006064695A (ja) * | 2004-07-30 | 2006-03-09 | Matsushita Electric Works Ltd | 個体検出器及び共入り検出装置 |
JP2009116871A (ja) * | 2007-11-06 | 2009-05-28 | Palo Alto Research Center Inc | 鏡上の内容及び動作に関連した情報を用いて鏡の機能を拡張する方法及び装置 |
CN103687782A (zh) * | 2011-07-26 | 2014-03-26 | 株式会社爱考斯研究 | 车辆 |
CN104335245A (zh) * | 2012-06-26 | 2015-02-04 | 英特尔公司 | 用于测量数字招牌的受众规模的方法及装置 |
CN102813516A (zh) * | 2012-08-24 | 2012-12-12 | 武汉世纪金桥安全技术有限公司 | 基于光学成像的非接触式人体身高测量方法 |
US20160089102A1 (en) * | 2013-07-03 | 2016-03-31 | Tsukuba Technology Co., Ltd. | Compact medical x-ray imaging apparatus |
CN105579321A (zh) * | 2013-07-23 | 2016-05-11 | 日产自动车株式会社 | 车辆用驾驶辅助装置及车辆用驾驶辅助方法 |
Non-Patent Citations (1)
Title |
---|
刘展: "《人体动作模式和运动链的理念在运动损伤防护和康复中的应用》", 《成都体育学院学报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109683487A (zh) * | 2018-12-29 | 2019-04-26 | 珠海格力电器股份有限公司 | 电器控制方法、电器及计算机可读存储介质 |
CN114643934A (zh) * | 2020-12-18 | 2022-06-21 | 丰田自动车株式会社 | 车辆车门倚靠检测系统 |
CN114643934B (zh) * | 2020-12-18 | 2024-04-09 | 丰田自动车株式会社 | 车辆车门倚靠检测系统 |
Also Published As
Publication number | Publication date |
---|---|
EP3605011A1 (en) | 2020-02-05 |
JP6713619B2 (ja) | 2020-06-24 |
EP3605011A4 (en) | 2020-11-04 |
WO2018180503A1 (ja) | 2018-10-04 |
US20200025878A1 (en) | 2020-01-23 |
JP2018169333A (ja) | 2018-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7124865B2 (ja) | 情報処理装置、物体計測システム、物体計測方法、コンピュータプログラムおよび情報提供システム | |
CN104898669B (zh) | 一种基于惯性传感器进行虚拟现实行走控制的方法及系统 | |
JP4136859B2 (ja) | 位置姿勢計測方法 | |
CN102156537B (zh) | 一种头部姿态检测设备及方法 | |
US11140875B2 (en) | Method for locating animals | |
CN110462336A (zh) | 身体朝向推定装置以及身体朝向推定程序 | |
JP2012024275A (ja) | 歩行姿勢判定装置 | |
US20180153445A1 (en) | Measurement device and measurement method | |
KR102285632B1 (ko) | 보행패턴을 이용한 건강이상감지 시스템 및 방법 | |
CN109579853A (zh) | 基于bp神经网络的惯性导航室内定位方法 | |
CN102144248A (zh) | 预防跌倒系统 | |
CN104914988A (zh) | 手势识别装置以及手势识别装置的控制方法 | |
CN105435436A (zh) | 运动支援装置以及运动支援方法 | |
CN104913775B (zh) | 无人机对地高度的测量方法、无人机定位方法及装置 | |
US20160265918A1 (en) | Signal space based navigation | |
GB2529082A (en) | Device and method for monitoring swimming performance | |
US11482046B2 (en) | Action-estimating device | |
CN104867156B (zh) | 一种针对合作标志器位姿测量的特征点识别方法 | |
Matsumoto et al. | A posture detection system using consumer wearable sensors | |
CN109708647A (zh) | 一种基于融合特征元素的室内拓扑地图行人定位方法 | |
KR101394279B1 (ko) | 뎁스 영상 분석을 통한 사용자 동작 인식 방법 및 이를 이용한 사용자 동작 분석 장치 | |
EP3392748B1 (en) | System and method for position tracking in a virtual reality system | |
KR102619164B1 (ko) | 전방 골반 평면의 3차원 방향 실시간 측정 방법 및 장치 | |
JP2021063774A (ja) | 体重推定装置 | |
JP6981340B2 (ja) | 表示制御プログラム、装置、及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20211221 |