CN114222529B - 计测装置及计测方法 - Google Patents

计测装置及计测方法 Download PDF

Info

Publication number
CN114222529B
CN114222529B CN202080056914.3A CN202080056914A CN114222529B CN 114222529 B CN114222529 B CN 114222529B CN 202080056914 A CN202080056914 A CN 202080056914A CN 114222529 B CN114222529 B CN 114222529B
Authority
CN
China
Prior art keywords
time
space
constraint
person
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080056914.3A
Other languages
English (en)
Other versions
CN114222529A (zh
Inventor
中川弘充
田中毅
福井大辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Corp
Original Assignee
Hitachi High Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Technologies Corp filed Critical Hitachi High Technologies Corp
Publication of CN114222529A publication Critical patent/CN114222529A/zh
Application granted granted Critical
Publication of CN114222529B publication Critical patent/CN114222529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112Gait analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种具有处理器和存储部的计测装置,存储部保持由拍摄装置取得的按每时刻的计测数据、和时空间制约。处理器从按每时刻的计测数据提取物体的位置;判定物体是否满足时空间制约;基于物体是否满足时空间制约的判定结果,判定物体是否是解析对象。

Description

计测装置及计测方法
通过参照引入
本申请基于2019年12月26日提出的日本专利申请第2019-236325号主张优先权,通过参照其内容引入本申请中。
技术领域
本发明涉及数据的计测。
背景技术
近年来,受到着眼于深度老龄化社会的未来的国民健康意识的提高影响,健康管理行业受到关注。随之,医疗现场的IT(Information Technology)技术利用也切实地进步,逐渐开拓了再生医疗设备,护理机器人、保险指导服务辅助等新的事业领域及医疗服务。
尤其预防医疗服务是着眼于老龄化医疗而期待较大的领域之一。预防医疗,不是得病后进行治疗的考虑方式,而是将任何人在将来都可能发生的健康风险明确化、持续地进行健康维持、促进行动以免得病的考虑方式。
为了明确化这些健康风险、确认健康维持、确认促进行动的效果,需要基于计测的持续性的健康状态的定量化。通过IoT(Internet of Things)技术及可穿戴设备的发展,面向定量化,使得各用户在日常生活中也能够进行计测。
另一方面,在日常生活中大量取得的计测数据中包含噪声的情况较多,有解析对象的选定变得困难的问题。例如,在解析公共场所拍摄的影像的情况下,难以统一地判断将哪个数据作为解析对象。
根据专利文献1,公开了为了得到噪声较少的数据而进行步行时运动较小的腰部的测量。由此,能够减少计测噪声的发生。
根据专利文献2,公开了将发生跟踪点跳跃的现象等急剧变化的情况作为噪声除去的技术。由此,能够将计测噪声除去。
现有技术文献
专利文献
专利文献1:日本特开2017-202236号公报
专利文献2:日本特开2016-179171号公报
发明内容
发明所要解决的课题
在专利文献1的技术中,虽然能够减轻计测误差噪声,但存在解析部位被限定这样的问题。
在专利文献2的技术中,虽然对于计测误差噪声除去有效,但存在对于映入的噪声不怎么有效的问题。
由此,课题在于即使在计测误差及映入的噪声较多的环境下也能够不给解析方法带来影响地提取需要的计测数据。
用来解决课题的手段
为了解决上述课题的至少一个,本发明是一种计测装置,该计测装置具有处理器和存储部,其特征在于,上述存储部保持由拍摄装置取得的按每时刻的计测数据、和时空间制约;上述处理器根据上述按每时刻的计测数据,提取物体的位置;判定上述物体是否满足上述时空间制约;基于上述物体是否满足上述时空间制约的判定的结果,判定上述物体是否是解析对象。
发明效果
根据本发明的一方式,即使在计测误差及映入的噪声较多的环境下也能够不给解析方法带来影响地提取需要的计测数据。上述以外的课题、构成及效果通过以下的实施例的说明会变得清楚。
附图说明
图1表示有关实施例1的系统整体的物理构成。
图2表示有关实施例1的系统整体的逻辑构成。
图3表示在有关实施例1的计测DB中保存的表的构成。
图4表示在有关实施例1的判定DB中保存的表的构成。
图5表示在有关实施例1的解析DB中保存的表的构成。
图6是表示有关实施例1的深度记录部的处理的流程图。
图7是表示有关实施例1的骨骼坐标估算部的处理的流程图。
图8是表示有关实施例1的时间判定部的处理的流程图。
图9是表示有关实施例1的空间判定部的处理的流程图。
图10是表示有关实施例1的解析对象提取部的处理的流程图。
图11表示有关实施例2的系统整体的逻辑构成。
图12表示在有关实施例2的判定DB中保存的表的构成。
图13是表示有关实施例2的间距提取部的处理的流程图。
图14是表示有关实施例2的时空间判定部的处理的流程图。
图15是表示有关实施例2的解析对象提取部的处理的流程图。
图16是表示有关实施例2的U/I控制部的处理的流程图。
图17表示在实施例2中显示的制约设定画面。
具体实施方式
以下,参照附图说明本发明的几个实施例。但是,这些实施例仅是用来实现本发明的一例,而并不限定本发明的技术的范围。
在以下的说明中,“接口部”是1个以上的接口装置。1个以上的接口既可以是1个以上的同种类的接口装置(例如1个以上的NIC(Network Interface Card)),也可以是两个以上的不同种类的接口装置(例如NIC和HBA(Host Bus Adapter))。
此外,在以下的说明中,“存储部”是1个以上的存储器。至少1个存储器既可以是易失性存储器,也可以是非易失性存储器。存储部除了包括1个以上的存储器以外,还包括1个以上的PDEV。“PDEV”是指物理性存储装置,典型地可以是非易失性的存储装置(例如辅助存储装置)。PDEV例如可以是HDD(Hard Disk Drive)或SSD(Solid State Drive)。
此外,在以下的说明中,“处理器部”是1个以上的处理器。至少1个处理器典型的是CPU(Central Processing Unit)。处理器也可以包括进行处理的一部分或全部的硬件电路。
此外,在以下的说明中,存在用“kkk部”(除了接口部、存储部及处理器部以外)的表现来说明功能的情况,但功能既可以通过由处理器部执行1个以上的计算机程序来实现,也可以由1个以上的硬件电路(例如FPGA(Field-Programmable Gate Array)或ASIC(Application Specific Integrated Circuit))来实现。在通过由处理器部执行程序来实现功能的情况下,由于一边适当地使用存储部及/或接口部等一边进行设定的处理,所以也可以将功能作为处理器部的至少一部分。以功能为主语而说明的处理,也可以是处理器部或具有该处理器部的装置进行的处理。也可以将程序从程序源安装。程序源例如也可以是程序分发计算机或计算机可读取的记录介质(例如非暂时性的记录介质)。各功能的说明是一例,也可以将多个功能集中为1个功能或将1个功能分割为多个功能。
此外,在以下的说明中,存在用“xxx表”这样的表现来说明信息的情况,但将信息以任何数据构造来表现都可以。即,为了表示信息不依存于数据构造,可以将“xxx表”称作“xxx信息”。此外,在以下的说明中,各表的构成是一例,也可以将1个表分割为两个以上的表,也可以两个以上的表的全部或一部分是1个表。
此外,在以下的说明中,将“时刻”以年月日时分秒的单位表现,但时刻的单位比这粗或细都可以,此外也可以是不同的单位。
此外,在以下的说明中,“数据集”是指由1个以上的数据要素构成的数据(逻辑性的电子数据的块),例如是记录、文件、键值对及元组中的任一种都可以。
实施例1
图1表示有关实施例1的系统整体的物理构成。
有关实施例1的系统具有经由网络120连接的解析装置100及计测装置110。
解析装置100是分析数据的装置。解析装置100具有网络接口104、存储器102、存储装置103以及与它们连接的处理器101。
处理器101按照保存在存储器102中的程序根据需要对解析装置100内的各部进行控制,从而执行各种处理。
存储器102例如是DRAM(Dynamic Random Access Memory)等的半导体存储器,保存由处理器101执行的程序、在处理器101按照程序执行的处理中参照的数据、及作为处理器101执行的处理结果而生成的数据等。
存储装置103例如是HDD或SSD等的存储装置,保存处理器101执行的处理中所使用的各种数据。例如,既可以将上述的程序及数据保存在存储装置103中,根据需要将它们的至少一部分复制到存储器102中,也可以将在存储器102上被更新的数据根据需要复制到存储装置103中。
网络接口104连接到网络120,经由网络120与计测装置110通信。
计测装置110是计测数据的装置。计测装置110具有网络接口114、存储器112、存储装置113、输入装置115、输出装置116、拍摄装置117以及与它们连接的处理器111。
处理器111按照保存在存储器112中的程序根据需要对计测装置110内的各部进行控制,从而执行各种处理。
存储器112例如是DRAM等的半导体存储器,保存由处理器111执行的程序、在处理器111按照程序执行的处理中参照的数据、以及作为处理器111执行的处理结果而生成的数据等。
存储装置113例如是HDD或SSD等的存储装置,保存处理器111执行的处理中所使用的各种数据。例如,既可以将上述的程序及数据保存在存储装置113中,根据需要将它们的至少一部分复制到存储器112中,也可以将在存储器112上被更新的数据根据需要复制到存储装置113中。
网络接口114连接到网络120,经由网络120与解析装置100通信。
输入装置115是计测装置110的接受来自用户的信息输入的装置,例如包括键盘、鼠标及触控板等的至少某种。
输出装置116是计测装置110的向用户输出信息的装置,例如也可以包括图像显示装置及打印机等的至少某种。
拍摄装置117只要是对计测对象拍摄并取得其影像的装置即可。例如,拍摄装置117除了可以是拍摄二维影像的通常的RGB照相机或红外线照相机等以外,也可以是除了取得二维影像还能够取得按每像素的深度信息的深度相机等。
图2表示有关实施例1的系统整体的逻辑构成。
计测装置110具有计测部210、判定部220、计测DB(数据库)230及判定DB240。计测部210包括深度记录部211及骨骼坐标估算部212。判定部220包括时间判定部221、空间判定部222及解析对象提取部223。计测部210及判定部220都是通过计测装置110的处理器111执行保存在存储器112中的程序而得到的功能块。即,在以下说明中计测部210或判定部220执行的处理实际上是处理器111按照保存在存储器112中的程序执行。
计测DB230及判定DB240被保存在计测装置110的存储装置113中。计测DB230包括深度表231及骨骼坐标表232。它们的详细情况参照图3后述。判定DB240包括时间制约表241、空间制约表242及判定结果表243。它们的详细情况参照图4后述。
解析装置100具有解析DB250。它被保存在解析装置100的存储装置103中。解析DB250包括解析对象表251。解析对象表251的详细情况参照图5后述。
计测部210的深度记录部211根据拍摄装置117所拍摄的影像数据提取深度信息,记录到深度表231中。这里,表示了拍摄装置117是深度相机的例子。深度记录部211的处理的详细情况参照图6后述。
计测部210的骨骼坐标估算部212参照深度表231,估算按每个被拍摄的人物的骨骼坐标,将其结果记录到骨骼坐标表232中。骨骼坐标估算部212的处理的详细情况参照图7后述。
判定部220的时间判定部221参照骨骼坐标表232及时间制约表241,计算按每个被拍摄的人物的时间符合率,将其结果记录到判定结果表243中。时间判定部221的处理的详细情况参照图8后述。
判定部220的空间判定部222参照骨骼坐标表232及空间制约表242,计算按每个被拍摄的人物的空间符合率,将其结果记录到判定结果表243中。空间判定部222的处理的详细情况参照图9后述。
判定部220的解析对象提取部223参照骨骼坐标表232及判定结果表243,提取关于解析对象的人物的骨骼坐标数据,将其向解析装置100发送。解析装置100将从解析对象提取部223接收到的数据向解析对象表251记录。解析对象提取部223的处理的详细情况参照图10后述。
这里,说明使用本实施例的计测装置110及解析装置100的计测及解析的一例。例如,设想如下情况:使解析对象的人物进行规定的运动(例如步行等),通过拍摄装置117(例如深度相机)拍摄其状况,根据由此得到的计测数据对该人物的运动功能等进行解析。此时,在拍摄装置117的拍摄范围中并不是仅有解析对象的人物。例如,有进行拍摄的工作人员、解析对象的人物的照护者、或与拍摄完全无关的过路人等与解析对象的人物一起被拍摄的情况。
计测部210从计测数据提取按每个人物的各时刻的骨骼坐标。判定部220按每个人物,根据各时刻的骨骼坐标,判定该人物是否是解析对象,将被判定为解析对象的人物的骨骼坐标向解析装置100输出。解析装置100进行的解析处理是任一处理都可以,所以在本实施例中省略说明。
图3表示在有关实施例1的计测DB230中保存的表的构成。
如图2所示,在计测DB230中保存深度表231及骨骼坐标表232。深度表231例如如图3所示,包括分别相当于影像的1帧的多个记录。各记录由计测时刻231-1及按每像素的深度信息(例如像素1的深度231-2、像素2的深度231-3及像素3的深度231-4等)构成。
计测时刻231-1是各帧的拍摄时刻。深度231-2~4等的深度信息表示各帧内的按每像素的深度、即从拍摄装置117到对应于各像素的拍摄对象的距离。虽然在图3中进行了省略,但实际上各帧的全部像素的深度信息被记录在深度表231中。
骨骼坐标表232例如如图3所示,包括多个记录,各记录包括影像的1帧中所包含的一个人物的骨骼坐标的信息。具体而言,各记录由计测时刻232-1、人物232-2及按每人物的骨骼坐标的信息(例如人物的关节1的坐标232-3及关节2的坐标232-4等)构成。
计测时刻232-1是各帧的拍摄时刻。人物232-2是各帧中包含的各人物的识别信息。关节1的坐标232-3及关节2的坐标232-4等是各人物的各关节的位置的坐标值(例如表示拍摄对象的空间内的位置的三维坐标值)。虽然在图3中进行了省略,但实际上从各人物提取出的全部的关节的坐标值被记录在骨骼坐标表232中。
在图3的例子中,从2019年6月30日的15时0分10秒拍摄的1帧中提取出两个人物,分别赋予识别信息“P1”及“P2”,记录了各个人物的各关节的坐标值。
图4表示在有关实施例1的判定DB240中保存的表的构成。
如图2所示,在判定DB240中保存时间制约表241、空间制约表242及判定结果表243。
在时间制约表241中,记录表示用来选定解析对象的时间上的制约的信息。具体而言,时间制约表241例如如图4所示,由开始时间241-1、结束时间241-2及时间率241-3构成。
开始时间241-1及结束时间241-2是指定时间带的起点及终点的信息,该时间带作为用来判定影像中所包含的人物是否是解析对象的基准,时间率241-3是表示该时间带中所包含的记录的比例(即时间符合率)的阈值的信息。参照了上述信息的判定的详细情况参照图8后述。
在空间制约表242中,记录表示用来选定解析对象的空间上的制约的信息。具体而言,空间制约表242例如如图4所示,由纵范围242-1、横范围242-2及空间率242-3构成。
纵范围242-1及横范围242-2是指定空间范围的信息,该空间范围作为用来判定影像中所包含的人物是否是解析对象的基准,空间率242-3是表示在该范围中所包含的记录的比例(即空间符合率)的阈值的信息。参照了上述信息的判定的详细情况参照图9后述。
在判定结果表243中,记录了为判定影像中所包含的人物是否是解析对象而参照骨骼坐标表232、时间制约表241及空间制约表242所进行的计算的结果。具体而言,判定结果表243例如如图4所示,由人物243-1、时间符合率243-2及空间符合率243-3构成。
人物243-1是影像中所包含的各人物的识别信息,与骨骼坐标表232的人物232-2对应。在时间符合率243-2及空间符合率243-3中,分别记录关于各人物计算出的时间符合率及空间符合率。这些计算的详细情况参照图10后述。
这里,说明了时间制约表241及空间制约表242的设定的例子。这里,说明了使解析对象的人物进行的规定的动作是“步行”的例子。具体而言,说明了如下例子:根据拍摄者发出的信号使解析对象的人物沿规定的步行路线步行,拍摄装置117拍摄其状况,步行路线内的步行结束则停止拍摄。
此时,例如设想如下情况:从开始拍摄到解析对象的人物按照信号实际开始行走的时间为5秒左右,从开始拍摄起经过15秒左右后步行路线内的步行结束,对于开始时间241-1及结束时间241-2分别设定为“5秒”及“15秒”。
在此情况下,由于解析对象的人物按照信号开始行走、步行结束则停止拍摄,所以可以想到被拍摄的数据中的关于该解析对象的人物的数据几乎都包含在上述的5秒至15秒的时间范围中。另一方面,在被拍摄的数据中包含关于解析对象外的人物的数据的情况下,可以想到该人物与信号无关地运动、或者只是暂时拍摄到拍摄范围内,可以想到这样的人物的数据被包含在上述的时间范围中的比率(即时间符合率)较低。时间率241-3是用来基于时间符合率判别解析对象的人物的阈值,被设定为用于判别的适当的值(在图4的例子中是“80%”)。
此外,表示上述的步行路线的范围的坐标值被设定在纵范围242-1及横范围242-2中。例如在通过正交坐标系的坐标值确定由拍摄装置117拍摄的空间内的位置的情况下,也可以将一个轴的坐标值设定为纵范围242-1,将与其正交的轴的坐标值设定为横范围242-2。但是,这样的空间范围的确定方法是一例,也可以通过其他方法确定空间范围。
在此情况下,由于解析对象的人物要沿步行路线行走,所以也可以想到被拍摄的数据中的关于该解析对象的人物的数据表示的位置几乎都包含在上述的空间范围内。另一方面,在被拍摄的数据中包含关于解析对象外的人物的数据的情况下,该人物例如如果是工作人员或照护者,则可以想到他在从步行路线稍稍偏离的地方行走,如果是无关的过路人,则可以想到在步行路线内步行是暂时的,因此可以想到这样的人物的数据表示的位置包含在上述的空间范围内的比率(即空间符合率)较低。空间率242-3是用来基于空间符合率判别解析对象的人物的阈值,被设定为用于判别的适当的值(在图4的例子中是“90%”)。
另外,记录在时间制约表241中的信息以及记录在空间制约表242中的信息是时空间制约的一例。在实施例1中,将时空间制约在时间和空间的各自中独立地设定,但也可以将它们关联而设定。对于后者的例子,在实施例2中后述。
图5表示在有关实施例1的解析DB250中保存的表的构成。
如图2所示,在解析DB250中保存解析对象表251。在解析对象表251中,记录有骨骼坐标表232所保存的记录中的、关于被判定为解析对象的人物的记录。具体而言,解析对象表251的各记录由计测时刻251-1、人物251-2、关节1的坐标251-3及关节2的坐标251-4等构成。它们分别与骨骼坐标表232的计测时刻232-1、人物232-2、关节1的坐标232-3及关节2的坐标232-4等对应。但是,与骨骼坐标表232不同,在解析对象表251中,仅包含关于被判定为解析对象的人物(在图5的例子中是人物“P2”)的记录。
图6是表示有关实施例1的深度记录部211的处理的流程图。
深度记录部211如果取得拍摄装置117拍摄的数据并开始深度记录,则反复执行以下的步骤S601~S603直到拍摄停止。
首先,深度记录部211从拍摄装置117取得深度数据集(S601)。接着,深度记录部211对深度表231追加记录,记录所取得的深度数据集(S602)。由此,将包括所取得的深度数据集的计测时刻和与其对应的各像素的深度信息在内的记录追加到深度表231中。接着,深度记录部211调用骨骼坐标估算部212(S603)。当拍摄停止,深度记录部211的处理结束。
图7是表示有关实施例1的骨骼坐标估算部212的处理的流程图。
首先,骨骼坐标估算部212从深度表231取得拍摄时间量的记录(S701)。接着,骨骼坐标估算部212根据所取得的记录,识别按每个人物的骨骼坐标(S702)。此时,由于骨骼坐标估算部212可以使用周知的深度识别模型,因此关于识别的详细方法在此省略说明。
接着,骨骼坐标估算部212将包括作为骨骼坐标的识别结果而得到的坐标值在内的记录向骨骼坐标表232追加(S703)。接着,骨骼坐标估算部212调用时间判定部221(S704),结束处理。
上述的图6及图7是拍摄装置117为深度相机的情况下的处理的例子。但是,如上述那样,拍摄装置117也可以是不计测深度的通常的RGB照相机等。在此情况下,计测部210将从拍摄装置117取得的影像信息记录到计测DB230中。例如,记录按每像素的RGB值等来代替深度表231中的各帧的按每像素的深度。骨骼坐标估算部212参照各帧的RGB值,使用图像识别模型估算骨骼坐标。此时,骨骼坐标估算部212例如可以使用周知的OpenPose等任意的识别模型。
图8是表示有关实施例1的时间判定部221的处理的流程图。
首先,时间判定部221取得深度表231最初的记录的计测时刻321-1作为拍摄开始时刻(S801)。例如在深度表231是图3所示情况下,取得最初的记录的计测时刻321-1的值即2019年6月30日15时0分0秒00。
接着,时间判定部221从时间制约表421取得开始时间241-1及结束时间241-2的秒数(S802)。例如在时间制约表421是图4所示情况下,作为开始时间241-1及结束时间241-2的秒数,分别取得5秒及15秒。
接着,时间判定部221执行以下步骤S803至S806的处理,直到取得骨骼坐标表232的全部记录。首先,时间判定部221从骨骼坐标表232取得还没有取得的记录,参照该记录的人物232-2,将与该人物对应的记录总数进行计数增加(即+1)(S803)。
接着,时间判定部221生成该记录的计测时刻232-1与在S801中取得的拍摄开始时刻的差,作为从拍摄开始起的经过时刻(S804)。由此,例如在上述的图3及图4的例子中,生成将2019年6月30日15时0分0秒00设为时刻0时各记录的经过时刻。
接着,时间判定部221对于该记录,判定步骤S804计算出的经过时刻是否在步骤S802取得的从开始时间到结束时间的范围内(在上述的例子中是5秒以上15秒以下)(S805)。
在步骤S805中,在判定为经过时刻在从开始时间到结束时间的范围内的情况下(S805:是),时间判定部221将与该记录对应的人物的时间符合数进行计数增加(即+1)(S806)。另一方面,在步骤S805中,在判定为经过时刻在从开始时间到结束时间的范围外的情况下(S805:否),时间判定部221关于该记录不执行步骤S806。
当对于骨骼坐标表232的全部记录进行的上述步骤S803到S806的处理结束,将骨骼坐标表232的按每个人物的记录的总数进行计数,进而,按每个人物,将经过时刻在从开始时间到结束时间的范围内的记录的数量作为时间符合数来计数。
接着,时间判定部221按每个人物计算时间符合数相对于记录总数的比例作为时间符合率(S807)。
接着,时间判定部221将按每个人物的时间符合率作为时间符合率243-2记录到判定结果表243的与该人物对应的记录中(S808)。
以上,时间判定部221的处理结束。
图9是表示有关实施例1的空间判定部222的处理的流程图。
首先,空间判定部222从空间制约表422取得纵范围242-1及横范围242-2的坐标(S901)。例如在空间制约表422是图4所示情况下,分别取得(2,5)及(-1,1)作为纵范围242-1及横范围242-2的坐标。
接着,空间判定部222执行以下步骤S902到S905的处理,直到取得骨骼坐标表232的全部记录。首先,空间判定部222从骨骼坐标表232取得还没有取得的记录,参照该记录的人物232-2,将与该人物对应的记录的总数进行计数增加(即+1)(S902)。
接着,空间判定部222取得该记录的各关节坐标的纵值及横值(S903)。具体而言,空间判定部222在各关节坐标的值中,取得与空间制约表242的纵范围242-1的坐标轴相同的坐标轴上的值和与横范围242-2的坐标轴相同的坐标轴上的值。
接着,空间判定部222将在步骤S903中取得的各关节坐标与在步骤S901中取得的纵范围及横范围进行比较,判定各关节坐标的纵值是否包含在纵范围中、并且各关节坐标的横值是否包含在横范围中(S904)。
这里,在骨骼坐标表232的一个记录中包含有一个人物的多个关节坐标。在步骤S904中,空间判定部222既可以判定上述的多个关节坐标的全部是否包含在纵范围及横范围中,也可以判定规定比例或规定数量的关节坐标是否包含在纵范围及横范围中,也可以判定1个以上的规定部位的关节是否包含在纵范围及横范围中。
此外,如上述那样将坐标的纵值和横值分别与空间制约表422的纵范围242-1及横范围242-2比较,是判定所取得的人物的位置是否包含在规定的空间范围中的方法的一例,也可以通过上述以外的方法进行判定。
在步骤S904中,在判定为关节坐标值包含在纵范围及横范围中的情况下(S904:是),空间判定部222将与该记录对应的人物的空间符合数进行计数增加(即+1)(S905)。另一方面,在步骤S904中,在判定为关节坐标值没有包含在纵范围及横范围中的情况下(S904:否),空间判定部222关于该记录不执行步骤S905。
如果对于骨骼坐标表232的全部的记录进行的上述步骤S902到S905的处理结束,则将骨骼坐标表232的按每个人物的记录的总数进行计数,进而,按每个人物,将关节坐标值包含在纵范围及横范围中的记录的数量作为空间符合数进行计数。
接着,空间判定部222按每个人物计算空间符合数相对于记录总数的比例作为空间符合率(S906)。
接着,空间判定部222将按每个人物的空间符合率记录为判定结果表243的与该人物对应的记录的空间符合率243-3(S907)。
以上,空间判定部222的处理结束。
图10是表示有关实施例1的解析对象提取部223的处理的流程图。
首先,解析对象提取部223取得时间制约表241的时间率241-3(S1001)。接着,解析对象提取部223取得空间制约表242的空间率242-3(S1002)。
接着,解析对象提取部223执行以下步骤S1003到S1005的处理,直到取得判定结果表243的全部记录。首先,解析对象提取部223从判定结果表243取得还没有取得的记录,判定该记录的时间符合率243-2是否是时间率241-3以上(S1003)。
在步骤S1003中,在判定为该记录的时间符合率243-2是时间率241-3以上的情况下(S1003:是),解析对象提取部223判定该记录的空间符合率243-3是否是空间率242-3以上(S1004)。
在步骤S1004中,在判定为该记录的空间符合率243-3是空间率242-3以上的情况下(S1004:是),解析对象提取部223保持与该记录对应的人物(即通过该记录的人物243-1的值识别的人物)(S1005)。
另一方面,在步骤S1003中,在判定为该记录的时间符合率243-2不为时间率241-3以上的情况下(S1003:否),解析对象提取部223对于该记录不执行步骤S1004及S1005。此外,在步骤S1004中,在判定为该记录的空间符合率243-3不是空间率242-3以上的情况下(S1004:否),解析对象提取部223对于该记录不执行S1005。
如果对于判定结果表243的全部的记录进行的上述步骤S1003到S1005结束,则解析对象提取部223从骨骼坐标表232中提取在步骤S1005中保持的人物的识别信息被记录为人物232-2的记录(S1006),将其向解析对象表251保存(S1007)。将解析对象表251向解析装置100发送,保存到解析DB250中。
然后,解析对象提取部223从深度表231、骨骼坐标表232及判定结果表243将上述处理结束的记录删除(S1008)。以上,解析对象提取部223的处理结束。
在图10中,如步骤S1003~S1005所示,将被判定为时间符合率是时间率以上、并且被判定为空间符合率是空间率以上的人物作为解析对象保持。但是,这样的判定是一例,也可以进行上述以外的判定。例如,也可以通过对时间符合率的判定和空间符合率的判定分别赋予不同的权重而重视某个判定结果。由此,能够根据状况赋予灵活的判定条件而适当地提取解析对象。
实施例2
接着,说明本发明的实施例2。除了以下说明的差异点以外,实施例2的系统的各部具有与实施例1的带有相同标号的各部相同的功能,因此省略其说明。
图11表示有关实施例2的系统整体的逻辑构成。
实施例2的计测装置110除了判定部220被判定部1120替换、判定DB240用判定DB1130替换、还具有U/I(用户接口)控制部1140这些点以外,与实施例1的计测装置110相同。
判定DB1130被保存在计测装置110的存储装置113中,包括间距表1131、时空间制约表1132及判定结果表1133。它们的详细情况参照图12后述。
判定部1120与实施例1的判定部220同样,是通过计测装置110的处理器111执行保存在存储器112中的程序而实现的功能块。U/I控制部1140也同样。即,在以下的说明中判定部1120或U/I控制部1140执行的处理,实际上是处理器111根据保存在存储器112中的程序执行。
判定部1120包括间距提取部1121、时空间判定部1122及解析对象提取部1123。
间距提取部1121参照骨骼坐标表232,提取具有周期性的运动,确定其开始时刻及结束时刻,记录到间距表1131中。间距提取部1121的处理的详细情况参照图13后述。
时空间判定部1122参照骨骼坐标表232及时空间制约表1132,计算按每个被拍摄的人物的时空间符合率,将其结果记录到判定结果表1133中。时空间判定部1122的处理的详细情况参照图14后述。
解析对象提取部1123参照骨骼坐标表232及判定结果表1133,提取关于解析对象的人物的骨骼坐标数据,将其向解析装置100发送。解析装置100将从解析对象提取部1123接收到的数据记录到解析对象表251中。解析对象提取部1123的处理的详细情况参照图15后述。
U/I控制部1140对于经由输入装置115及输出装置116的用户界面画面的显示及从用户输入的信息的受理进行控制。U/I控制部1140的处理及提供的用户界面的详细情况参照图16及图17后述。
图12表示有关实施例2的判定DB1130中保存的表的构成。
如图11所示,在判定DB1130中保存间距表1131、时空间制约表1132及判定结果表1133。
在间距表1131中,记录有用来确定从骨骼坐标表提取的各人物具有周期性的运动的各周期的时间的信息。具体而言,间距表1131例如如图12所示,由人物1131-1、间距1131-2、开始时刻1131-3及结束时刻1131-4构成。
人物1131-1是影像中包含的各人物的识别信息,与骨骼坐标表232的人物232-2对应。间距1131-2是表示提取出的具有周期性的运动的周期的顺序的信息。开始时刻1131-3及结束时刻1131-4是表示各个周期的起点及终点的信息。
例如,图12的开头及第2个记录表示:根据由识别信息“P1”识别的人物的骨骼坐标提取出了具有周期性的运动(例如步行等),其最初的周期(即第1个间距)在2019年6月30日15时00分10.00秒开始在11.23秒结束,其下个周期(即第2个间距)在11.23秒开始在12.49秒结束。这里,1个间距例如在步行的情况下相当于从人物将左脚接地到下次将左脚接地的周期等、作为反复的单位的1个周期。
在时空间制约表1132中,记录表示用来选定解析对象的时间上及空间上的制约的信息。具体而言,时空间制约表1132例如如图12所示,由类别1132-1、选择1132-2、间距1132-3、纵范围1132-4、横范围1132-5及时空间符合率1132-6构成。
类别1132-1表示运动种类。作为运动种类的例子,可以举出自然步行、屈膝步行(即将膝弯曲而降低了重心的状态下的步行)、或提踵步行(即脚尖站立下的步行)等。
选择1132-2表示各个运动的类别是否被选择为提取的对象。例如,“True”表示被选择,“False”表示没有被选择。在图12的例子中,选择了自然步行,没有选择屈膝步行。
间距1132-3是在所提取的进行了具有周期性的运动的期间被分割为多个部分时指定各个部分的信息。
纵范围1132-4及横范围1132-5是指定空间范围的信息,该空间范围作为用来判定影像中包含的人物是否是解析对象的基准,按所提取的进行了具有周期性的运动的期间的每个部分而指定。
时空间符合率1132-6是表示由纵范围1132-4及横范围1132-5指定的范围中所包含的记录的比例(即时空间符合率)的阈值的信息。
例如,根据图12所示的时空间制约表1132的最初的两个记录,作为具有周期性的运动的“自然步行”被选择为提取的对象。并且,进行了该运动的期间(例如从解析对象的人物按照信号事前开始步行到结束的期间)被分割为0%~50%(即前半)的部分和50%~100%(即后半)的部分。
分别设定(2,5)及(-2,0)作为与前半对应的纵范围1132-4及横范围1132-5,设定“90%”作为时空间符合率1132-6。分别设定(2,5)及(0,2)作为与后半对应的纵范围1132-4及横范围1132-5,设定“80%”作为时空间符合率1132-6。
上述的例子设想了如下等情况:使解析对象的人物从某个起始地点到折返地点开始步行,在折返地点折返而步行到与起始地点相邻的目标地点,拍摄其状况。即,进行了具有周期性的运动(例如自然步行)的期间相当于解析对象的人物从起始地点步行到目标地点的期间。其中,前半相当于从起始地点到折返地点,后半相当于从折返地点到目标地点。
例如,如上所述,在将人物左脚接地到下次左脚接地的周期等设为1个间距的情况下,1个间距相当于两步。例如在根据某个人物的骨骼坐标提取了间距1到4的4个间距的情况下,将前半的两个间距(即4步)的期间确定为从起始地点到折返地点的期间,将后半的两个间距(即4步)的期间确定为从折返地点到目标地点的期间。
此外,例如在前半和后半的步行路线平行地相邻等前半和后半的步行路线不同的情况下,可以与其分别匹配地设定纵范围1132-4及横范围1132-5。此外,例如在根据目标物的有无等而在前半和后半从步行路线偏离容易度上有差异的情况下,可以与其匹配地在前半和后半设定不同的时空间符合率1132-6。
另外,上述是一例,例如在人物从起始地点到目标地点的直线上仅步行1次的情况下,不需要如上述那样基于间距进行分割,而可以将从最初的间距到最后的间距的期间提取为进行了具有周期性的运动的期间。此外,例如在人物以绕矩形区域的轮廓转1圈的方式步行的情况、或在某个区间以两个往复以上步行的情况下等,也可以进行比分割为2部分多的部分的分割。
在判定结果表1133中,记录了为判定影像中包含的人物是否是解析对象而参照骨骼坐标表232、间距表1131及时空间制约表1132进行的计算的结果。具体而言,判定结果表1133例如如图12所示,由人物1133-1、间距1133-2及时空间符合率1133-3构成。
人物1133-1是影像中包含的各人物的识别信息,与骨骼坐标表232的人物232-2对应。间距1133-2是指定所提取的进行了具有周期性的运动的期间的部分的信息,与时空间制约表1132的间距1132-3对应。在时空间符合率1133-3中,记录对于各人物计算出的时空间符合率。这些计算的详细情况参照图14后述。
图13是表示有关实施例2的间距提取部1121的处理的流程图。
首先,间距提取部1121提取骨骼坐标表232的记录(S1301)。接着,间距提取部1121通过平滑化将计测噪声除去(S1302)。例如,间距提取部1121也可以通过将所取得的骨骼坐标表232的记录的关节坐标按每个人物的关节以时间序列排列、取移动平均等的方法来进行平滑化。
接着,间距提取部1121通过按每个人物的频率解析,提取表示人物的运动的周期的时刻组(S1303)。例如,间距提取部1121也可以通过对平滑化后的时间序列的关节坐标的数据进行傅里叶变换等的方法来提取人物运动的周期。
接着,间距提取部1121按每个人物及每个间距,将提取出的周期的开始时刻及结束时刻向间距表1131保存(S1304)。
以上,间距提取部1121的处理结束。
图14是表示有关实施例2的时空间判定部1122的处理的流程图。
首先,时空间判定部1122参照时空间制约表1132,提取选择1132-2为“True”的记录,保持在提取出的记录的间距1132-3中登记的比例(S1401)。在图12的例子中,提取出开头的两个记录,保持间距1132-3的值“50%”及“100%”。
接着,时空间判定部1122参照间距表1131,按每个人物,对所保存的间距的总数进行计数(S1402)。接着,时空间判定部1122基于步骤S1401所保持的间距的比例、和步骤S1402计数的间距的总数,分割间距(S1403)。
例如,在步骤S1402中参照了图12所示的间距表1131的情况下,关于人物“P1”,提取保存在最初的两个记录中的间距1及2。虽然在图12中省略了,但假如关于人物“P1”在间距表1131中还保存有间距3及4,则在步骤S1402中将间距1~4的4个间距计数。并且,在步骤1403中,将这4个间距分割为与“0~50%”(即前半)对应的间距1到2的集合、以及与“50~100%”(即后半)对应的间距3到4的集合。
接着,时空间判定部1122按分割后的每个间距,执行以下的步骤S1404到S1410的处理。
首先,时空间判定部1122选择分割的间距的集合中的一个,取得其中包含的最初的间距的开始时刻和最后的间距的集合时刻(S1404)。例如在图12的由人物P1的间距1、2构成的集合的情况下,取得间距1的开始时刻1131-3的值和间距2的结束时刻1131-4的值。
接着,时空间判定部1122从骨骼坐标表232提取在步骤S1404中取得的从开始时刻到结束时刻的范围内的记录(S1405)。
接着,时空间判定部1122从时空间制约表1132取得所选择的类别的间距的比例相符的记录的纵范围及横范围(S1406)。例如选择了自然步行,如上述那样从间距1至4中选择了0~50%的间距1及2的情况下,取得与其对应的纵范围1132-4的值(2,5)及横范围1132-5的值(-2,0)。
接着,时空间判定部1122根据在步骤S1405中提取出的记录,取得各关节坐标的纵值及横值(S1407),判定它们是否包含在纵范围及横范围中,将判定为包含的记录的数量进行总计(S1408)。另外,这里的判定也可以与图9的步骤S904同样地进行。
接着,时空间判定部1122根据在步骤S1408中总计的记录的数量相对于在步骤S1405中提取出的记录的数量的比例,生成时空间符合率(S1409)。
接着,时空间判定部1122将人物的识别信息、间距的比例(例如在如上述那样选择了间距1及2的情况下表示处于0~50%的“50%”)、以及在步骤S1409中生成的时空间符合率保存到判定结果表1133中(S1410)。
时空间判定部1122对于在步骤S1403中被分割后的间距的集合的其余也执行上述步骤S1404~S1410的处理。进而,时空间判定部1122对于从间距表1131提取出的全部的人物执行上述的处理。
以上,时空间判定部1122的处理结束。
图15是表示有关实施例2的解析对象提取部1123的处理的流程图。
首先,解析对象提取部1123参照时空间制约表1132,提取选择1132-2为“True”的记录(S1501)。
接着,解析对象提取部1123执行以下步骤S1502~S1503的处理,直到取得判定结果表1133的全部的记录。
首先,解析对象提取部1123从判定结果表1133取得还没有取得的记录,判定所取得的记录的时空间符合率1133-3的值是否为与所取得的记录对应的时空间制约表1132的记录的时空间符合率1132-6的值以上(S1502)。这里,与所取得的记录对应的时空间制约表1132的记录,是选择1132-2的值为“True”、并且间距1132-3的值与所取得的记录的间距1133-2的值相同的记录。
在所取得的记录的时空间符合率1133-3的值是与所取得的记录对应的时空间制约表1132的记录的时空间符合率1132-6的值以上的情况下(S1502:是),解析对象提取部1123保持与所取得的记录的人物1133-1的值及间距1133-2的值对应的符合标志(S1503)。
另一方面,在所取得的记录的时空间符合率1133-3的值不是与所取得的记录对应的时空间制约表1132的记录的时空间符合率1132-6的值以上的情况下(S1502:否),解析对象提取部1123不执行步骤S1503。
如果对于判定结果表1133的全部记录进行的上述步骤S1502~S1503的处理结束,则解析对象提取部1123保持在对应的全部间距中保持有符合标志的人物(S1504)。
这里,说明在设定了图12所示时空间制约表1132的情况下,得到了图12所示判定结果表1133的情况下的步骤S1504。关于人物“P1”,前半的时空间符合率1133-3是“100%”,为对应的阈值(即时空间符合率1132-6的值)“90%”以上,而后半的时空间符合率1133-3是“0%”,比对应的阈值“80%”小。关于人物“P2”,前半的时空间符合率1133-3“96%”及后半的时空间符合率1133-3“90%”都是对应的阈值以上。关于人物“P3”,前半的时空间符合率1133-3“0%”及后半的时空间符合率1133-3“3%”都比对应的阈值小。因此,在步骤S1504中保持人物“P2”。
接着,解析对象提取部1123从骨骼坐标表232提取在步骤S1504中保持的人物的识别信息被记录为人物232-2的记录(S1505),将其向解析对象表251保存(S1506)。将解析对象表251向解析装置100发送,保存到解析DB250中。
然后,解析对象提取部223从深度表231、骨骼坐标表232及判定结果表1133将上述处理结束后的记录删除(S1507)。以上,解析对象提取部223的处理结束。
图16是表示有关实施例2的U/I控制部1140的处理的流程图。
如果开始处理,则U/I控制部1140首先参照时空间制约表1132(S1601),接着参照深度表231及骨骼坐标表232(S1602),接着显示制约设定画面(S1603)。关于制约设定画面的例子参照图17后述。
接着,U/I控制部1140判定是否经由制约设定画面被输入了某种信息(S1604),在被输入了的情况下(S1604:是),根据被输入的信息更新表的内容(S1605)。
然后,U/I控制部1140判定是否被输入了关闭制约设定画面的指示(S1606),如果没有被输入(S1606:否),则回到步骤S1604。在被输入了关闭制约设定画面的指示的情况下(S1606:是),U/I控制部1140结束处理。
图17表示在实施例2中显示的制约设定画面。
图17所示的制约设定画面1700是由输出装置116显示的画面,包括时空间符合率设定部1701、间距分割数设定部1702、间距选择部1703、空间指定部1704、设定按钮1708及关闭按钮1709。
时空间符合率设定部1701是用来按各个运动的类别(例如自然步行、屈膝步行及提踵步行等)、以及按将进行了该运动的期间基于间距数的比例(例如0~50%及50~100%等)分割的每部分设定时空间符合率1132-6的区域。用户能够对该区域输入希望的时空间符合率的阈值。
间距分割数设定部1702是用来设定将进行了具有周期性的运动的期间分割为几个部分的区域。用户能够对该区域输入希望的分割数。
间距选择部1703是用来设定选择哪个类别的运动的间距的区域。例如,用户如果在时空间符合率设定部1701中设定了某个运动的类别,在间距选择部1703中进行选择的输入,则与该运动的类别对应的选择1132-2被设定为“True”。
空间指定部1704是用来设定时空间制约表1132的纵范围1132-4及横范围1132-5的区域。在该区域中,例如也可以显示有用于拍摄装置117拍摄解析对象的人物1706的运动的空间平面图。在图17的例子中,显示有拍摄装置117、拍摄装置117的拍摄范围1705。用户操作输入装置115,设定例如表示空间制约的矩形1707的位置及大小,由此能够设定被该矩形1707分隔的空间内的纵范围1132-4及横范围1132-5。
如果用户对上述区域输入希望的信息并操作设定按钮1708,则被输入的信息被反映到时空间制约表1132中。此外,如果用户操作关闭按钮1709,则制约设定画面1700关闭。
在实施例1中省略了说明,但实施例1的时间制约表241及空间制约表242的内容也能够与上述同样地通过经由画面的U/I来设定。
根据以上本发明的实施例,对计测数据的时间与空间的关系性的符合率进行阈值判定,从而能够大致除去不遵循系统设想的计测方案的动作。由此,在计测误差及映入的噪声较多的环境下,也能够不给解析方法带来影响地提取需要的计测数据。
上述本发明的实施方式包括以下这样的例子。
(1)一种计测装置(例如计测装置110),该计测装置具有处理器(例如处理器111)和存储部(例如存储器112及存储装置113的至少一方),存储部保持由拍摄装置(例如拍摄装置117)取得的按每时刻的计测数据(例如深度表231)、和时空间制约(例如时间制约表241及空间制约表242,或时空间制约表1132)。处理器从按每时刻的计测数据提取物体的位置(例如骨骼坐标估算部212的处理),判定物体是否满足时空间制约(例如时间判定部及空间判定部的处理,或时空间判定部的处理),基于物体是否满足时空间制约的判定结果,判定物体是否是解析对象(例如解析对象提取部223或解析对象提取部1123的处理)。
由此,在计测误差及映入的噪声较多的环境下,也能够不给解析方法带来影响地提取需要的计测数据。
(2)在上述(1)中,时空间制约也可以包括时间制约(例如时间制约表241)及空间制约(例如空间制约表242)。处理器也可以判定物体是否满足时间制约(例如时间判定部221的处理),判定物体是否满足空间制约(例如空间判定部222的处理),基于物体是否满足时间制约的判定及物体是否满足空间制约的判定的结果,判定物体是否是解析对象。
(3)在上述(2)中,时间制约也可以包括时间范围(例如开始时间241-1及结束时间241-2)。处理器也可以计算时间符合率(例如时间符合率243-2),该时间符合率是时刻包含在时间范围中的计测数据相对于被提取了物体的位置的计测数据的比例,基于时间符合率判定物体是否满足时间制约。
(4)在上述(3)中,时间制约也可以包括时间符合率的阈值(例如时间率241-3)。处理器也可以在时间符合率为时间符合率的阈值以上的情况下判定为物体满足时间制约。
(5)在上述(2)中,空间制约也可以包括包含在拍摄装置所拍摄的空间中的空间范围(例如纵范围242-1及横范围242-2)。处理器也可以计算空间符合率(例如空间符合率243-3),该空间符合率是物体的位置包含在空间范围中的上述计测数据相对于被提取了物体的位置的计测数据的比例,基于空间符合率,判定物体是否满足空间制约。
(6)在上述(5)中,空间制约也可以包括空间符合率的阈值(例如空间率242-3)。也可以是,处理器在空间符合率为空间符合率的阈值以上的情况下判定为物体满足空间制约。
根据上述(2)~(6),能够判断物体是否分别满足时间制约及空间制约,判定是否是解析对象。通过独立地设定各自的制约,能够进行与状况对应的灵活的判定。
(7)在上述(1)中,时空间制约也可以包括用来基于计测数据确定时间范围的条件(例如时空间制约表1132的类别1132-1~间距1132-3)、以及与时间范围对应的空间范围(例如纵范围1132-4及横范围1132-5)。也可以是,处理器计算时空间符合率(例如时空间符合率1133-3),上述时空间符合率是物体的位置包含在空间范围中的计测数据相对于基于条件而确定的时间范围内的计测数据的比例(例如时空间判定部1122的处理),并基于时空间符合率来判定物体是否满足时空间制约。
(8)在上述(7)中,时空间制约也可以包括时空间符合率的阈值(例如时空间符合率1123-6)。也可以是处理器在时空间符合率为时空间符合率的阈值以上的情况下判定为物体满足时空间制约。
(9)在上述(8)中,也可以是,物体是人物,
用来基于计测数据确定时间范围的条件包括选择人物的运动的种类的信息(例如类别1132-1及选择1132-2),
基于条件确定的时间范围是基于计测数据确定的、人物进行了所选择的运动的期间(例如由与间距1132-3的值相符的间距1131-2的开始时刻1131-3及结束时刻1131-4所确定的期间)。
(10)在上述(9)中,也可以是,用来基于计测数据确定时间范围的条件包括选择人物的具有周期性的运动的种类的信息(例如类别1132-1及选择1132-2)、以及为了将进行了具有周期性的运动(例如步行等)的期间分割为多个时间范围而指定周期(例如间距)的数量比例的信息(例如间距1132-3);与时间范围对应的空间范围及时空间符合率的阈值按每时间范围(例如按每间距1132-3的值)设定。也可以是,处理器基于计测数据将进行了具有周期性的运动的期间(例如从保存在间距表1130中的一个人物的全部间距中的最初的间距的开始时刻1131-3到最后的间距的结束时刻1131-4的期间)根据被指定的周期的数量比例(例如相当于0~50%的前半两个间距的期间、和相当于50~100%的后半两个间距的期间等)分割,由此确定多个时间范围,按所确定的各时间范围来计算时空间符合率。
根据上述(7)~(10),由于能够根据物体的运动适当地确定时间范围,所以能够适当地进行是否是解析对象的判定。
(11)在上述(1)中,物体也可以是人物。也可以是处理器提取人物的1个以上的关节的位置(例如骨骼坐标表232的各关节的坐标值)作为物体的位置,将从计测数据提取出的、被判定为解析对象的人物的1个以上的关节的位置作为解析对象的数据(例如解析对象表251)输出。
(12)在上述(11)中,也可以是,拍摄装置是取得深度数据作为计测数据的深度相机,处理器基于深度数据提取人物的1个以上的关节的位置。
(13)在上述(11)中,拍摄装置也可以是取得基于可视光或不可视光形成的影像数据作为计测数据的照相机。处理器也可以基于影像数据提取人物的1个以上的关节的位置。
根据上述(11)~(13),能够从有可能拍摄到解析对象的人物以外的人物的影像中提取解析对象的人物。
另外,本发明并不限定于上述的实施例,而是包含各种变形例。例如,上述实施例为了更好地理解本发明而进行了详细的说明,并不限定于必定具备所说明的全部构成。此外,能够将某个实施例的构成的一部分替换为其他实施例的构成,此外,能够对某个实施例的构成添加其他实施例的构成。此外,对于各实施例的构成的一部分,能够进行其他构成的追加、删除、替换。
此外,上述的各构成、功能、处理部、处理机构等也可以将它们的一部分或全部例如通过集成电路设计等而由硬件实现。此外,上述的各构成、功能等也可以是处理器将实现各个功能的程序解释、执行从而通过软件实现。实现各功能的程序、表、文件等的信息可以保存到非易失性半导体存储器、硬盘驱动器、SSD(Solid State Drive)等的存储设备、或者IC卡、SD卡、DVD等的计算机可读取的非暂时性的数据存储介质中。
此外,控制线及信息线是考虑到说明上的需要而进行了表示,并不一定表示产品上的全部的控制线及信息线。实际上,也可以认为几乎全部的构成被相互连接。

Claims (10)

1.一种计测装置,具有处理器和存储部,其特征在于,
上述存储部保持由拍摄装置取得的按每时刻的计测数据、和时空间制约,
上述处理器
从上述按每时刻的计测数据提取物体的位置;
判定上述物体是否满足上述时空间制约;
基于上述物体是否满足上述时空间制约的判定结果,判定上述物体是否是解析对象,
上述时空间制约包括基于上述计测数据对时间范围进行确定的条件、以及与上述时间范围对应的空间范围,
上述处理器计算时空间符合率,该时空间符合率是上述物体的位置包含在上述空间范围中的上述计测数据相对于基于上述条件确定的时间范围内的上述计测数据的比例,
上述处理器基于上述时空间符合率,判定上述物体是否满足上述时空间制约,
上述时空间制约包括上述时空间符合率的阈值,
上述处理器在上述时空间符合率为上述时空间符合率的阈值以上的情况下,判定为上述物体满足上述时空间制约,
上述物体是人物,
基于上述计测数据对时间范围进行确定的条件包括对人物的运动的种类进行选择的信息,
基于上述条件确定的时间范围是基于上述计测数据确定的、人物进行了被选择的上述运动的期间,
基于上述计测数据对时间范围进行确定的条件包括:对人物的具有周期性的运动的种类进行选择的信息;以及为了将进行了上述具有周期性的运动的期间分割为多个上述时间范围而指定周期的数量比例的信息,
与上述时间范围对应的空间范围以及上述时空间符合率的阈值按每上述时间范围而设定,
上述处理器
基于上述计测数据将进行了上述具有周期性的运动的期间根据被指定的上述周期的数量比例进行分割,由此确定多个上述时间范围,
按所确定的每上述时间范围,计算上述时空间符合率。
2.如权利要求1所述的计测装置,其特征在于,
上述时空间制约包括时间制约及空间制约,
上述处理器
判定上述物体是否满足上述时间制约;
判定上述物体是否满足上述空间制约;
基于上述物体是否满足上述时间制约的判定结果及上述物体是否满足上述空间制约的判定结果,判定上述物体是否是解析对象。
3.如权利要求2所述的计测装置,其特征在于,
上述时间制约包括上述时间范围,
上述处理器
计算时间符合率,该时间符合率是上述时刻包含在上述时间范围中的上述计测数据相对于被提取了上述物体的位置的上述计测数据的比例;
基于上述时间符合率,判定上述物体是否满足上述时间制约。
4.如权利要求3所述的计测装置,其特征在于,
上述时间制约包括上述时间符合率的阈值,
上述处理器在上述时间符合率为上述时间符合率的阈值以上的情况下,判定为上述物体满足上述时间制约。
5.如权利要求2所述的计测装置,其特征在于,
上述空间制约包括在上述拍摄装置所拍摄的空间中包含的上述空间范围,
上述处理器
计算空间符合率,上述空间符合率是上述物体的位置包含在上述空间范围中的上述计测数据相对于被提取了上述物体的位置的上述计测数据的比例;
基于上述空间符合率,判定上述物体是否满足上述空间制约。
6.如权利要求5所述的计测装置,其特征在于,
上述空间制约包括上述空间符合率的阈值,
上述处理器在上述空间符合率为上述空间符合率的阈值以上的情况下,判定为上述物体满足上述空间制约。
7.如权利要求1所述的计测装置,其特征在于,
上述处理器
提取上述人物的1个以上的关节的位置作为上述物体的位置;
将从上述计测数据提取出的被判定为是上述解析对象的人物的上述1个以上的关节的位置作为解析对象的数据输出。
8.如权利要求7所述的计测装置,其特征在于,
上述拍摄装置是取得深度数据作为上述计测数据的深度相机,
上述处理器基于上述深度数据提取上述人物的1个以上的关节的位置。
9.如权利要求7所述的计测装置,其特征在于,
上述拍摄装置是取得基于可视光或不可视光的影像数据作为上述计测数据的照相机,
上述处理器基于上述影像数据提取上述人物的1个以上的关节的位置。
10.一种计测方法,是具有处理器和存储部的计测装置执行的计测方法,该计测方法的特征在于,
上述存储部保持拍摄装置取得的按每时刻的计测数据、和时空间制约,
上述计测方法包括:
上述处理器从上述按每时刻的计测数据提取物体的位置的步骤;
上述处理器判定上述物体是否满足上述时空间制约的步骤;以及
上述处理器基于上述物体是否满足上述时空间制约的判定结果、判定上述物体是否是解析对象的步骤,
上述时空间制约包括基于上述计测数据对时间范围进行确定的条件、以及与上述时间范围对应的空间范围,
上述处理器计算时空间符合率,该时空间符合率是上述物体的位置包含在上述空间范围中的上述计测数据相对于基于上述条件确定的时间范围内的上述计测数据的比例,
上述处理器基于上述时空间符合率,判定上述物体是否满足上述时空间制约,
上述时空间制约包括上述时空间符合率的阈值,
上述处理器在上述时空间符合率为上述时空间符合率的阈值以上的情况下,判定为上述物体满足上述时空间制约,
上述物体是人物,
基于上述计测数据对时间范围进行确定的条件包括对人物的运动的种类进行选择的信息,
基于上述条件确定的时间范围是基于上述计测数据确定的、人物进行了被选择的上述运动的期间,
基于上述计测数据对时间范围进行确定的条件包括:对人物的具有周期性的运动的种类进行选择的信息;以及为了将进行了上述具有周期性的运动的期间分割为多个上述时间范围而指定周期的数量比例的信息,
与上述时间范围对应的空间范围以及上述时空间符合率的阈值按每上述时间范围而设定,
上述处理器
基于上述计测数据将进行了上述具有周期性的运动的期间根据被指定的上述周期的数量比例进行分割,由此确定多个上述时间范围,
按所确定的每上述时间范围,计算上述时空间符合率。
CN202080056914.3A 2019-12-26 2020-08-27 计测装置及计测方法 Active CN114222529B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019236325A JP7198196B2 (ja) 2019-12-26 2019-12-26 計測装置及び計測方法
JP2019-236325 2019-12-26
PCT/JP2020/032451 WO2021131159A1 (ja) 2019-12-26 2020-08-27 計測装置及び計測方法

Publications (2)

Publication Number Publication Date
CN114222529A CN114222529A (zh) 2022-03-22
CN114222529B true CN114222529B (zh) 2023-11-14

Family

ID=76575832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080056914.3A Active CN114222529B (zh) 2019-12-26 2020-08-27 计测装置及计测方法

Country Status (5)

Country Link
US (1) US20220366560A1 (zh)
EP (1) EP4083568A4 (zh)
JP (1) JP7198196B2 (zh)
CN (1) CN114222529B (zh)
WO (1) WO2021131159A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288786A (ja) * 2001-03-26 2002-10-04 Sumitomo Electric Ind Ltd 広域渋滞判定方法、広域渋滞判定システム及び判定装置
JP2005157942A (ja) * 2003-11-28 2005-06-16 National Institute Of Advanced Industrial & Technology 動作体運動データ分節処理装置。
CN1842824A (zh) * 2004-08-03 2006-10-04 松下电器产业株式会社 人物判定装置及人物搜索跟踪装置
JP2015176488A (ja) * 2014-03-17 2015-10-05 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
WO2017130902A1 (ja) * 2016-01-29 2017-08-03 日本電気株式会社 情報処理装置、情報処理方法、及びプログラム
US10121066B1 (en) * 2017-11-16 2018-11-06 Blast Motion Inc. Method of determining joint stress from sensor data
CN109919137A (zh) * 2019-03-28 2019-06-21 广东省智能制造研究所 一种行人结构化特征表达方法
JP2019121904A (ja) * 2018-01-04 2019-07-22 富士通株式会社 不審者検出装置、不審者検出方法及び不審者検出用コンピュータプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005050565A1 (ja) * 2003-11-20 2005-06-02 Matsushita Electric Industrial Co., Ltd. 移動物体検出装置及び移動物体検出方法
JP2005276010A (ja) * 2004-03-26 2005-10-06 San Electronics Kk 画像センサ
KR20150004461A (ko) * 2013-07-02 2015-01-13 한양대학교 산학협력단 HY R-score: 깊이 영상을 이용한 환자 상태 평가 방법 및 장치
US20160278683A1 (en) 2015-03-24 2016-09-29 Fuji Xerox Co., Ltd. Standing position evaluation apparatus, standing position evaluation method, and non-transitory computer readable medium
JP2017202236A (ja) 2016-05-13 2017-11-16 花王株式会社 歩行分析方法及び歩行分析装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288786A (ja) * 2001-03-26 2002-10-04 Sumitomo Electric Ind Ltd 広域渋滞判定方法、広域渋滞判定システム及び判定装置
JP2005157942A (ja) * 2003-11-28 2005-06-16 National Institute Of Advanced Industrial & Technology 動作体運動データ分節処理装置。
CN1842824A (zh) * 2004-08-03 2006-10-04 松下电器产业株式会社 人物判定装置及人物搜索跟踪装置
JP2015176488A (ja) * 2014-03-17 2015-10-05 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
WO2017130902A1 (ja) * 2016-01-29 2017-08-03 日本電気株式会社 情報処理装置、情報処理方法、及びプログラム
US10121066B1 (en) * 2017-11-16 2018-11-06 Blast Motion Inc. Method of determining joint stress from sensor data
JP2019121904A (ja) * 2018-01-04 2019-07-22 富士通株式会社 不審者検出装置、不審者検出方法及び不審者検出用コンピュータプログラム
CN109919137A (zh) * 2019-03-28 2019-06-21 广东省智能制造研究所 一种行人结构化特征表达方法

Also Published As

Publication number Publication date
CN114222529A (zh) 2022-03-22
EP4083568A1 (en) 2022-11-02
WO2021131159A1 (ja) 2021-07-01
US20220366560A1 (en) 2022-11-17
JP2021104160A (ja) 2021-07-26
EP4083568A4 (en) 2023-12-06
JP7198196B2 (ja) 2022-12-28

Similar Documents

Publication Publication Date Title
US11996172B2 (en) Diagnosis support system, information processing method, and program
US8682054B2 (en) Method and system for propagation of myocardial infarction from delayed enhanced cardiac imaging to cine magnetic resonance imaging using hybrid image registration
US11048948B2 (en) System and method for counting objects
JP2021106887A (ja) 医用画像表示装置、方法およびプログラム
KR20170046104A (ko) 질환 모델 기반의 의료 정보 서비스 제공 방법 및 장치
KR101957811B1 (ko) 의료 영상에 기반하여 피검체의 치매에 대한 중증도를 산출하는 방법 및 이를 이용한 장치
KR101995383B1 (ko) 의료 영상에 대한 특징 순위에 기반하여 뇌질환을 판정하는 방법 및 이를 이용한 장치
JP2019185752A (ja) 画像抽出装置
EP3373194B1 (en) Image retrieval apparatus and image retrieval method
CN114269243A (zh) 跌倒风险评价系统
CN105095853A (zh) 图像处理装置及图像处理方法
EP3895600A1 (en) Method for measuring volume of organ by using artificial neural network, and apparatus therefor
KR20200061874A (ko) 혈관 지도 구축 장치, 방법 및 상기 방법을 실행하기 위한 컴퓨터 프로그램
Chang et al. Subchondral bone length in knee osteoarthritis: A deep learning–derived imaging measure and its association with radiographic and clinical outcomes
CN112912008B (zh) 权重图像生成装置、方法及程序、判别器学习装置、方法及程序、区域提取装置、方法及程序以及判别器
CN111448589B (zh) 用于检测患者的身体移动的设备、系统和方法
KR102489704B1 (ko) 단일 이차원 영상 기반의 정량적 보행 분석 장치 및 방법
Fu et al. Fast three‐dimensional image generation for healthy brain aging using diffeomorphic registration
CN114222529B (zh) 计测装置及计测方法
Gómez et al. Deep architectures for the segmentation of frontal sinuses in X-ray images: Towards an automatic forensic identification system in comparative radiography
US10580136B2 (en) Mapping image generation device, method, and program
EP4167178A1 (en) Computer system for trabecular connectivity recovery of skeletal images reconstructed by artificial neural network through node-link graph-based bone microstructure representation, and methdo thereof
CN113012190B (zh) 手卫生合规监测方法、装置、设备及存储介质
KR20230010164A (ko) 두경부 영상 이미지를 이용한 지방량 산출 방법 및 이를 위한 장치
KR20220143187A (ko) 딥러닝을 이용한 폐기종 자동 추출 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant