CN108337914A - 行动检测系统、行动检测装置、行动检测方法以及行动检测程序 - Google Patents
行动检测系统、行动检测装置、行动检测方法以及行动检测程序 Download PDFInfo
- Publication number
- CN108337914A CN108337914A CN201680057351.3A CN201680057351A CN108337914A CN 108337914 A CN108337914 A CN 108337914A CN 201680057351 A CN201680057351 A CN 201680057351A CN 108337914 A CN108337914 A CN 108337914A
- Authority
- CN
- China
- Prior art keywords
- action
- state
- movement detection
- case
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1115—Monitoring leaving of a patient support, e.g. a bed or a wheelchair
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
- A61B5/1117—Fall detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1118—Determining activity level
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G12/00—Accommodation for nursing, e.g. in hospitals, not covered by groups A61G1/00 - A61G11/00, e.g. trolleys for transport of medicaments or food; Prescription lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Business, Economics & Management (AREA)
- Dentistry (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Emergency Management (AREA)
- General Business, Economics & Management (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Nursing (AREA)
- Primary Health Care (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
- Emergency Alarm Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
提供一种能够减轻在不预期的状况下产生的误报的行动检测系统。行动检测系统(300)具备:获取部(150),获取图像;存储部,储存规定多个种类的行动之间的转移关系的状态转移表(222)、规定报告对象的行动的报告行动信息(226)及被护理者的当前行动(224);行动检测部(255),根据状态转移表(222)确定能够从当前行动(224)转移的行动,从图像中检测该能够转移的行动;转移控制部(260),将当前行动(224)更新为检测到的新的行动;报告部(270),在该新的行动是报告对象的行动时,报告该新的行动的种类;以及更新部(285),在表示不适合于判别被护理者的行动的种类的预先确定的条件被满足的情况下,减少报告对象的行动的种类并且更新状态转移表(222)的转移关系。
Description
技术领域
本公开涉及能够判别人物的行动的种类的行动检测系统、行动检测装置、行动检测方法以及行动检测程序。
背景技术
存在用于从图像中判别人物的行动的技术。该技术例如应用于监护老年人、患者等需要护理的被护理者的行动的行动检测系统。该行动检测系统检测被护理者进行了与跌倒等相伴的危险的行动(例如起床、离床等),将其报告给护理者。由此,护理者能够赶到被护理者身边,将被护理者的跌倒等防患于未然。
关于这样的行动检测系统,日本特开2012-170483号公报(专利文献1)公开了“能够通过简单的结构高精度地检测对象的状态的”状态检测装置。
现有技术文献
专利文献1:日本特开2012-170483号公报
发明内容
在照相机受到光等外部干扰的情况、发生系统故障的情况等不预期的状况在行动检测系统中发生的情况下,行动检测系统有时误检测被护理者的行动。在该情况下,向护理者的报告的次数增加,护理者的负担增加。因此,期望即使在发生不预期的状况的情况下也能够抑制护理者的负担的增加的行动检测系统。
专利文献1公开的状态检测装置根据床上的对象的移动方向和该对象的过去的状态来判别该对象的当前的状态。通过考虑对象的移动方向来改善对象的状态的判别精度。然而,专利文献1未公开在发生了不预期的状况的情况下的判别处理。因此,在该状态检测装置中发生了不预期的状况的情况下,对象的状态的误判别增加。
本公开是为了解决上述问题而完成的,一个方案中的目的在于提供一种能够减轻在不预期的状况下产生的误报的行动检测系统。另一方案中的目的在于提供一种能够减轻在不预期的状况下产生的误报的行动检测装置。又一方案中的目的在于提供一种能够减轻在不预期的状况下产生的误报的行动检测方法。再一方案中的目的在于提供一种能够减轻在不预期的状况下产生的误报的行动检测程序。
根据一个方案,行动检测系统具备:获取部,用于获取表示被摄体的动作的动作数据;存储部,用于储存规定多个种类的行动之间的转移关系的状态转移表、报告对象的行动的种类及上述被摄体的当前的行动的种类;行动检测部,用于根据上述状态转移表确定从上述当前的行动能够转移的行动,根据上述动作数据检测该能够转移的行动;转移控制部,用于在由上述行动检测部检测到新的行动的情况下,将上述当前的行动更新为上述新的行动;报告部,用于在检测到上述新的行动的情况下并且该新的行动是上述报告对象的行动时,报告该新的行动的种类;以及更新部,用于在预先确定的第一条件被满足的情况下减少上述报告对象的行动的种类并且更新上述状态转移表的上述转移关系,所述第一条件表示不适合于判别上述被摄体的行动的种类。
根据另一方案,行动检测系统具备:获取部,用于获取表示被摄体的动作的动作数据;存储部,用于储存规定多个种类的行动之间的转移关系的状态转移表和上述被摄体的当前的行动的种类;行动检测部,用于根据上述状态转移表确定从上述当前的行动能够转移的行动,根据上述动作数据检测该能够转移的行动;转移控制部,用于在由上述行动检测部检测到新的行动的情况下,将上述当前的行动更新为上述新的行动;以及报告部,用于在检测到上述新的行动的情况下并且该新的行动是预先确定的报告对象的行动时,报告该新的行动的种类。在表示不适合于判别上述被摄体的行动的种类的预先确定的条件被满足的情况下,上述报告部停止报告上述预先确定的报告对象的行动。
根据又一方案,行动检测装置具备:获取部,用于获取表示被摄体的动作的动作数据;存储部,用于储存规定多个种类的行动之间的转移关系的状态转移表、报告对象的行动的种类及上述被摄体的当前的行动的种类;行动检测部,用于根据上述状态转移表确定从上述当前的行动能够转移的行动,根据上述动作数据检测该能够转移的行动;转移控制部,用于在由上述行动检测部检测到新的行动的情况下,将上述当前的行动更新为上述新的行动;报告部,用于在检测到上述新的行动的情况下并且该新的行动是上述报告对象的行动时,报告该新的行动的种类;以及更新部,用于在预先确定的第一条件被满足的情况下减少上述报告对象的行动的种类并且更新上述状态转移表的上述转移关系,所述第一条件表示不适合于判别上述被摄体的行动的种类。
根据又一方案,行动检测方法具备:获取表示被摄体的动作的动作数据的步骤;准备规定多个种类的行动之间的转移关系的状态转移表、报告对象的行动的种类及上述被摄体的当前的行动的种类的步骤;根据上述状态转移表确定从上述当前的行动能够转移的行动,根据上述动作数据检测该能够转移的行动的步骤;在上述检测的步骤中检测到新的行动的情况下,将上述当前的行动更新为上述新的行动的步骤;在检测到上述新的行动的情况下并且该新的行动是上述报告对象的行动时,报告该新的行动的种类的步骤;以及在预先确定的第一条件被满足的情况下减少上述报告对象的行动的种类并且更新上述状态转移表的上述转移关系的步骤,所述第一条件表示不适合于判别上述被摄体的行动的种类。
根据又一方案,上述行动检测程序使计算机执行:获取表示被摄体的动作的动作数据的步骤;准备规定多个种类的行动之间的转移关系的状态转移表、报告对象的行动的种类及上述被摄体的当前的行动的种类的步骤;根据上述状态转移表确定从上述当前的行动能够转移的行动,根据上述动作数据检测该能够转移的行动的步骤;在上述检测的步骤中检测到新的行动的情况下,将上述当前的行动更新为上述新的行动的步骤;在检测到上述新的行动的情况下并且该新的行动是上述报告对象的行动时,报告该新的行动的种类的步骤;以及在预先确定的第一条件被满足的情况下减少上述报告对象的行动的种类并且更新上述状态转移表的上述转移关系的步骤,所述第一条件表示不适合于判别上述被摄体的行动的种类。
在一个方案中,能够减轻在不预期的状况下产生的误报。
本发明的上述以及其他目的、特征、方案以及优点根据与所附的附图关联地理解的本发明所涉及的接下来的详细说明将更加明确。
附图说明
图1是示出依照第一实施方式的行动检测系统的结构的一个例子的图。
图2是用于说明依照第一实施方式的行动检测系统的行动检测处理的图。
图3是示出依照第一实施方式的状态转移表的内容的图。
图4是示出被护理者的行动的一个例子的图。
图5是示出依照第一实施方式的状态转移表中规定的各行动状态的定义的图。
图6是概略地示出依照变形例的行动判别处理的概念图。
图7是示出从依照第一实施方式的状态转移表中规定的各行动状态起的转移条件的图。
图8是示出依照第一实施方式的报告行动信息的内容的图。
图9是示出对被护理者的房间进行拍摄而得到的影像的一个例子的图。
图10是示出护理者对被护理者进行护理的情形的图。
图11是示出第一实施方式中的异常条件不被满足的情况下的状态转移例的图。
图12是表示满足正常条件时的行动检测系统的处理的流程图。
图13是表示满足无效条件时的行动检测系统的处理的流程图。
图14是示出依照第一实施方式的行动检测装置的主要的硬件结构的框图。
图15是示出依照第二实施方式的状态转移表的内容的图。
图16是示出依照第二实施方式的状态转移表中规定的各行动状态的定义的图。
图17是示出从依照第二实施方式的状态转移表中规定的各行动状态起的转移条件的图。
(符号说明)
6、7、8、10、11、12、13、15、16、17、18、20、21、22、23、24、25、27、28、30、31、33、34、35、36、37、38、39:转移条件;50:照相机;100:行动检测装置;101:ROM;102:CPU;103:RAM;104:网络接口;105:照相机接口;120:存储装置;122:行动检测程序;150:获取部;200:便携终端;222:状态转移表;222A:离床状态;222B:起床状态;222C:卧床状态;222D:跌倒跌落状态;222E:不在室内状态;222F:在浴室内状态;222G:异常状态;222H:在卫生间内状态;224:当前行动;226:报告行动信息;250:动体检测部;252:人物判别部;255:行动检测部;260:转移控制部;270:报告部;280:异常判别部;285:更新部;290:正常判别部;300:行动检测系统;500:被护理者;501:护理者;503、504:人物;505:窗帘;520:床。
具体实施方式
以下,参照附图,说明本发明的各实施方式。在以下的说明中,对同一部件以及构成要素附加同一符号。它们的名称以及功能也相同。因此,不重复进行它们的详细的说明。此外,也可以适当选择性地组合以下说明的各实施方式以及各变形例。
<第一实施方式>
[行动检测系统300的装置结构]
参照图1,说明行动检测系统300的装置结构。图1是示出行动检测系统300的结构的一个例子的图。
行动检测系统300例如可用于监护作为监视对象的人物的被护理者500。如图1所示,行动检测系统300包括照相机50、行动检测装置100以及便携终端200。照相机50以及行动检测装置100经由网络相互连接。行动检测装置100以及便携终端200经由网络相互连接。
照相机50例如设置于护理设施、医疗设施、屋内等。图1示出了照相机50从天花板拍摄被护理者500以及床520的情形。照相机50既可以安装于天花板,也可以安装于侧壁。
行动检测装置100根据从照相机50得到的时间序列的图像(即影像)来判别被护理者500的行动。作为一个例子,行动检测装置100可检测的被护理者500的行动包括被护理者500的起床、从床520的跌落等。
行动检测装置100在检测到报告对象的行动的情况下,将表示该行动的种类的信息发送到护理者501用的便携终端200。便携终端200在从行动检测装置100接收到表示报告对象的行动的种类的信息时,对护理者501报告检测到报告对象的行动。作为报告方法的一个例子,便携终端200将表示行动的种类的信息显示为消息或者用声音发出行动的种类。由此,护理者501能够掌握被护理者500的起床、跌倒等行动,能够尽早赶到被护理者500身边。
此外,虽然图1示出了行动检测系统300具备一个照相机50的例子,但行动检测系统300也可以具备多个照相机50。另外,虽然图1示出了行动检测系统300具备一个行动检测装置100的例子,但行动检测系统300也可以具备多个行动检测装置100。进而,虽然在图1中照相机50和行动检测装置100构成为单独的装置,但照相机50和行动检测装置100也可以一体地构成。进而,虽然图1示出了行动检测系统300具备多个便携终端200的例子,但行动检测系统300也可以由一个便携终端200构成。
[行动检测系统300的行动判别方法]
参照图2~图11,说明行动检测系统300的行动判别方法。图2是用于说明行动检测系统300的行动检测处理的图。
如图2所示,行动检测系统300具备行动检测装置100和获取部150。在行动检测装置100中,作为功能结构,包括动体检测部250、人物判别部252、行动检测部255、转移控制部260、报告部270、异常判别部280、更新部285以及正常判别部290。在行动检测装置100中,作为数据,存储有状态转移表222、表示被护理者的当前的行动的种类的当前行动224以及规定报告对象的行动的种类的报告行动信息226。状态转移表222、当前行动224以及报告行动信息226储存于行动检测装置100的存储装置120(参照图14)等。
以下,依次说明获取部150、动体检测部250、人物判别部252、行动检测部255、转移控制部260、报告部270、异常判别部280、更新部285以及正常判别部290。
(获取部150)
获取部150获取表示被护理者的动作的动作数据。作为一个例子,获取部150是图1所示的照相机50。获取部150生成对被护理者进行拍摄而得到的图像作为动作数据,按照时间序列的顺序将图像输出到动体检测部250。
以下,说明获取部150是照相机50且动作数据是时间序列的图像(即影像)的例子,但获取部150不限定于照相机50,动作数据不限定于影像。获取部150只要是能够获取表示被护理者的动作在时间上的变化的数据的装置即可。例如,获取部150也可以是在床下配置的感压垫、TOF(Time Of Flight,飞行时间)形式的距离传感器、加速度传感器、微波传感器等。感压垫将压力值作为动作数据输出。距离传感器将距离图像作为动作数据输出。加速度传感器将加速度作为动作数据输出。微波传感器将自身至被护理者的距离作为动作数据输出。
(动体检测部250)
动体检测部250根据从获取部150得到的时间序列的图像来检测动体。作为一个例子,图像内的动体区域通过从输入图像减去预先确定的背景图像而得到的背景差分、减去拍摄时刻前后的图像而得到的时间差分来实现。
动体检测部250将图像内的动体区域输出到人物判别部252,并且将动体区域以外的背景区域输出到异常判别部280。
(人物判别部252)
人物判别部252判断检测到的动体区域是否示出人物。在一个方案中,在预先确定的范围中包含该动体区域的尺寸的情况下,人物判别部252判断为该动体区域示出人物。在另一方案中,人物判别部252在预先确定的范围中包含该动体区域的纵横比的情况下,判断为该动体区域示出人物。在又一方案中,人物判别部252在该动体区域中执行面部检测,在检测到面部的情况下判断为该动体区域示出人物。
接下来,人物判别部252判别检测到的人物区域是否示出预先登记的被护理者。作为一个例子,行动检测系统300从对被护理者进行拍摄而得到的图像中抽出特征量,将该特征量预先保持为模板。人物判别部252计算该模板与从检测到的人物区域中抽出的特征量之间的类似度。在该类似度为预定值以上的情况下,人物判别部252判别为检测到的人物区域示出预先登记的被护理者。
此外,在预先知道在监视对象的房间中不存在被护理者以外的人物的情况下、监视区域被限定于床区域的情况下等,人物判别部252无需判别人物。
(行动检测部255)
参照图3~图6,说明行动检测部255的行动判别处理。图3是示出状态转移表222的内容的图。图4是示出被护理者500的行动的一个例子的图。图5是示出在状态转移表222中规定的各行动状态的定义的图。图6是概略地示出依照变形例的行动判别处理的概念图。
行动检测部255根据状态转移表222确定能够从当前行动224转移的行动,根据动作数据检测该能够转移的行动。即,行动检测部255将能够从当前行动224转移的行动作为判别对象的行动。
在状态转移表222中,规定有多个种类的行动之间的转移关系。在图3的例子中,在状态转移表222中规定有离床状态222A、起床状态222B、卧床状态222C以及跌倒跌落状态222D作为行动状态。图4示出了被护理者500的行动状态的一个例子。图5示出了离床状态222A、起床状态222B、卧床状态222C以及跌倒跌落状态222D的定义。
如图3以及图4所示,行动状态能够从离床状态222A转移到起床状态222B或者跌倒跌落状态222D。行动状态能够从起床状态222B转移到离床状态222A、卧床状态222C或者跌倒跌落状态222D。行动状态能够从卧床状态222C转移到离床状态222A、起床状态222B或者跌倒跌落状态222D。行动状态能够从跌倒跌落状态222D转移到离床状态222A或者起床状态222B。
行动检测部255根据状态转移表222确定能够从当前行动224转移的行动的种类,根据从获取部150得到的图像来检测所确定的能够转移的行动。可由行动检测部255判别的行动例如包括被护理者的起床、被护理者的离床、被护理者的卧床以及被护理者的跌倒跌落中的至少一个。
作为一个例子,行动检测部255根据图像内的被护理者的位置、与被护理者的动作有关的信息(例如移动方向和预定时间内的移动量)以及被护理者的姿势中的至少一个,判别被护理者的行动的种类。
说明更具体的行动检测方法。在图像内预先设定有床区域。该床区域既可以手动预先设定,也可以利用模板匹配等图像处理技术自动地检测。在图像内的被护理者的一部分区域与床区域重合的情况下,行动检测部255检测被护理者的起床。在图像内的被护理者的位置未包含于床区域的情况下,行动检测部255检测被护理者的离床。在图像内的被护理者的位置包含于床区域、且移动量为预定量以下的情况下,行动检测部255检测被护理者的卧床。在图像内的被护理者的位置不包含于床区域、且移动量为预定量以上的情况下,行动检测部255检测被护理者的跌倒跌落。
作为行动检测的具体例,设为当前行动224表示离床状态222A。在该情况下,行动检测部255参照状态转移表222,将能够从离床状态222A转移的起床状态222B以及跌倒跌落状态222D作为检测对象的行动。行动检测部255根据从获取部150得到的图像来检测被验者的起床或者跌倒跌落。
此外,在上述例子中,行动检测部255根据当前行动224确定判别对象的行动,但也可以如图6所示,行动检测部255还使用上次行动来确定判别对象的行动。即,行动检测部255根据状态转移表222,确定能够从上次行动以及当前行动224转移的行动,将该行动作为判别对象的行动。
作为一个例子,在第N-1帧的图像中,行动检测部255根据状态转移表222,将能够从在第N-3帧的图像中检测出的行动和在第N-2帧的图像中检测出的行动转移的行动作为判别对象。行动检测部255根据检测到的动体区域的图像信息,判断判别对象的行动是否发生。行动检测部255将检测到的行动的种类输出到报告部270,并且将在第N-1帧的图像中检测出的行动作为当前行动224,将在第N-2帧的图像中检测出的行动作为上次行动,以备接下来的第N帧的图像中的行动检测。
同样地,在第N帧的图像中,行动检测部255根据状态转移表222将能够从上次行动和当前行动224转移的行动作为判别对象。行动检测部255根据检测到的动体区域的图像信息,判断判别对象的行动是否发生。行动检测部255将检测到的行动的种类输出到报告部270,并且将在第N帧的图像中检测出的行动作为当前行动224,将在第N-1帧的图像中检测出的行动作为上次行动,以备接下来的第N+1帧的图像中的行动检测。
(转移控制部260)
在由行动检测部255检测到新的行动的情况下,转移控制部260将当前行动224更新为新的行动。由此,转移控制部260使当前行动224转移到下一状态。
作为当前行动224的更新方法,转移控制部260既可以利用新检测到的行动改写当前行动224,也可以将新检测到的行动作为历史信息依次追加到当前行动224。
图7是示出从在状态转移表222中规定的各行动状态起的转移条件的图。更具体而言,转移条件6示出了从跌倒跌落状态222D向起床状态222B的转移条件。转移条件7示出了从跌倒跌落状态222D向离床状态222A的转移条件。转移条件8示出了从离床状态222A向跌倒跌落状态222D的转移条件。转移条件10示出了从离床状态222A向起床状态222B的转移条件。转移条件11示出了从起床状态222B向离床状态222A的转移条件。转移条件12示出了从起床状态222B向跌倒跌落状态222D的转移条件。转移条件13示出了从起床状态222B向卧床状态222C的转移条件。转移条件15示出了从未被判别行动状态的初始状态向起床状态222B的转移条件。转移条件16示出了从初始状态向离床状态222A的转移条件。转移条件17示出了从初始状态向跌倒跌落状态222D的转移条件。转移条件18示出了从初始状态向卧床状态222C的转移条件。转移条件20示出了从卧床状态222C向起床状态222B的转移条件。转移条件21示出了从卧床状态222C向离床状态222A的转移条件。转移条件22示出了从卧床状态222C向跌倒跌落状态222D的转移条件。
此外,也可以在图7所示的转移条件中规定其他条件。例如,在行动检测中不使用照相机而使用振动传感器的情况下,根据来自振动传感器的输出来判断是否满足了转移条件10、11。此外,在行动检测中使用温度传感器、距离传感器的情况下,根据来自温度传感器、距离传感器的输出来判断是否满足了转移条件20。
(报告部270)
参照图8,说明报告部270的报告处理。图8是示出报告行动信息226的内容的图。
在由行动检测部255检测到新的行动的情况下并且该新的行动是报告对象的行动时,报告部270报告该新的行动的种类。例如,在报告行动信息226中预先规定有是否为报告对象。
如图8所示,在报告行动信息226中,针对行动的每个种类示出是否为报告对象。在图8的例子中,离床状态222A、起床状态222B以及跌倒跌落状态222D被规定为报告对象。卧床状态222C被规定为非报告对象。
在由行动检测部255检测到新的行动的情况下,参照报告行动信息226。在报告行动信息226中规定有该新的行动为报告对象的情况下,报告行动信息226对护理者报告该新的行动的内容。
作为报告方法的一个例子,报告部270使表示行动的种类的信息作为消息而显示于护理者的便携终端200(参照图1)。或者,报告部270使护理者的便携终端200利用声音输出行动的种类。
可成为报告对象的行动的种类例如包括被护理者的起床、被护理者的离床、被护理者的跌落、被护理者的跌倒、被护理者的上床、被护理者的卧床、被护理者的进屋、被护理者的出屋中的至少一个。作为一个例子,被护理者进屋的对象包括被护理者的房间、卫生间、浴室中的至少一个。被护理者出屋的对象包括被护理者的房间、卫生间、浴室中的至少一个。
也可以由行动检测系统300的管理者任意地设定报告对象的行动。此外,优选针对图7所示的每个转移条件设定报告对象的行动。由此,管理者例如能够设定为在满足转移条件20的情况下报告起床、在满足转移条件10的情况下不报告起床。
另外,并非在满足转移条件时就一定进行对象行动的报告。例如,在满足无效条件的情况下,报告部270也可以停止报告预先确定的报告对象的行动,在该情况下,即使满足转移条件也不进行对象行动的报告。
(异常判别部280)
参照图9,说明异常判别部280的异常判别处理。图9是示出对被护理者500的房间进行拍摄而得到的影像的一个例子的图。
在照相机受到光等外部干扰的情况、在行动检测系统300发生故障的情况等不预期的状况发生的情况下,误检测被护理者500的行动的可能性变高。异常判别部280为了判别是否发生了不预期的状况,判别是否满足表示不适合于判别被护理者500的行动的种类的预先确定的条件(以下还称为“无效条件”)。在满足无效条件的情况下,如后所述,更新部285更新状态转移表222(参照图3)以及报告行动信息226(参照图8),减少报告对象的行动的种类。由此,减轻在不预期的状况下产生的误报。
作为不预期的状况,例如如图9所示可以举出映在图像内的窗帘505、隔板506等障碍物发生活动的情况。另外,可以举出房间的照明发生点亮或者熄灭的情况等、照相机受到光的影响的情况。这些外部干扰被检测为动体,成为误检测被护理者500的行动的原因。因此,在图像中发生了外部干扰的情况下满足无效条件。
在发生了外部干扰的情况下,图像内的被护理者以外的包括背景的区域(以下还称为“背景区域”)中的像素值的变化变大。因此,异常判别部280使用背景区域中的图像信息来判别是否发生外部干扰。作为一个例子,在背景区域中的像素值的变化量大于预定量的情况下,异常判别部280判别为在图像内产生了外部干扰,判别为满足无效条件。
作为不预期的状况的另一例子,可以举出在被护理者500的房间中存在护理者等其他人物(例如人物503、504)的情况。在房间中存在其他人物的情况下,监视被护理者500的行动的必要性低。因此,在由人物判别部252(参照图2)在图像内检测到被护理者500以外的人物的情况下,异常判别部280判别为满足无效条件。这样,既可以根据在图像内是否包括被护理者500以外的人物来判别是否满足无效条件,也可以如上所述根据背景区域中的图像信息来判别是否满足无效条件。
作为不预期的状况的又一例子,可以举出行动检测系统300被管理者初始化(复位)的情况。另外,可以举出产生行动检测系统300的网络故障、其他错误的情况。在这些情况下,有可能无法获取到当前行动224而行动检测系统300无法准确地判别被护理者的行动。因此,在行动检测系统300被初始化的情况下或者在行动检测系统300中发生了错误的情况下,异常判别部280判别为满足无效条件。
如以上所述,在图像中发生了外部干扰的情况、在图像中包括被护理者500以外的人物的情况、行动检测系统300被初始化的情况以及行动检测系统300中发生了错误的情况中的至少一个情况下满足无效条件。
(更新部285)
在满足无效条件的情况下更新部285与通常时相比减少在报告行动信息226(参照图8)中规定的报告对象的行动的种类并且更新状态转移表222(参照图3)的转移关系。作为一个例子,在满足无效条件的情况下,更新部285以避免转移到报告对象的行动中的至少一部分的方式更新状态转移表222。例如,在行动检测系统300的存储装置中预先保持更新后的状态转移表。在满足无效条件的情况下,通过减少报告对象的行动的种类,即使在发生了误检测的情况下,仍能够抑制向护理者的误报。其结果,减轻了护理者的负担。
优选更新部285将在报告行动信息226中规定的报告对象的行动的种类设为零。由此,行动检测系统300能够可靠地阻止在发生不预期的状况时产生的误报。此外,也可以在报告被停止的期间中执行状态转移表222中的状态转移。
在满足异常条件的期间中,根据更新后的状态转移表确定能够从当前行动224(参照图2)转移的行动的种类。由此,检测报告对象的行动的情形变少,所以误报被抑制。
作为状态转移表222的更新方法,更新部285既可以依照以备于不预期的状况而预先准备的更新信息来改写状态转移表222,也可以利用以备于不预期的状况而预先准备的状态转移表来替换状态转移表222。
此外,在满足无效条件的情况下,也可以停止状态转移表222中的转移自身。由此,不会检测报告对象的行动,所以误报被抑制。
(正常判别部290)
参照图10以及图11,说明正常判别部290的正常判别处理。图10是示出护理者501对被护理者500进行护理的情形的图。图11是示出不满足异常条件的情况下的状态转移例的图。
如上所述,在满足表示不适合于判别被护理者的行动的种类的无效条件的情况下,抑制向护理者的报告。之后,正常判别部290判断无效条件是否被消除。即,正常判别部290判别是否满足表示适合于判别被护理者的行动的种类的正常条件。在满足正常条件的情况下,更新部285使以抑制报告的方式被更新的状态转移表222返回到更新前的状态转移表222,并且使报告对象的行动的种类返回到原状态。
正常条件既可以是与无效条件相反的条件,也可以是与无效条件不关联的条件。在正常条件是与无效条件相反的条件的情况下,在不满足无效条件时满足正常条件。
如上所述,在满足无效条件的情况下,行动检测系统300有时控制为停止状态转移表222中的转移。在满足正常条件而重新开始状态转移的情况下,有时在状态转移的停止前和重新开始后被护理者500的行动状态不同。图10示出其例子。
在步骤(1)中,仅被护理者500存在于室内。在步骤(1)中,满足正常条件。
在步骤(2)中,设为护理者501进屋。如上所述,在室内存在被护理者500以外的人物的情况下,满足异常条件。行动检测系统300通过使状态转移停止,抑制报告。
在步骤(3)中,护理者501辅助被护理者500从床520起床。由于此时也有多位人物在室内,所以继续满足异常条件。
在步骤(4)中,护理者501辅助被护理者500坐到沙发。由于此时也有多位人物在室内,所以继续满足异常条件。
在步骤(5)中,设为护理者501从房间离开。仅被护理者500存在于室内,所以异常条件被消除。由此,满足正常条件。其结果,行动检测系统300重新开始状态转移,解除报告的抑制。
如图10所示,在状态转移的停止前和重新开始后被护理者500的行动状态发生变化。因此,如果状态转移的停止前的行动状态在状态转移的重新开始后被用作当前行动224(参照图2),则行动检测部255(参照图2)有可能误检测被护理者500的行动。因此,在重新开始状态转移时,行动检测部255检测被护理者500的行动,利用检测到的行动改写当前行动224。
如图11所示,在检测到行动状态B的情况下,满足异常条件。由此,停止从行动状态A向行动状态B的转移。之后,变为不满足异常条件,由此行动检测系统300重新开始状态转移。此时,行动检测部255检测被护理者500的行动,从检测到的行动起重新开始状态转移。即,既有从行动状态A起重新开始状态转移的情况、也有从行动状态B起重新开始状态转移的情况、还有从其他行动状态C起重新开始状态转移的情况。
由此,即使在状态转移的停止和重新开始后被护理者的位置、姿势不同,行动检测系统300也能够在状态转移的重新开始后准确地检测被护理者的行动。
[行动检测系统300的控制构造]
参照图12以及图13,说明行动检测系统300的控制构造。图12是表示满足正常条件时的行动检测系统300的处理的流程图。图13是表示满足无效条件时的行动检测系统300的处理的流程图。通过行动检测系统300的CPU102(参照图14)执行程序来实现图12以及图13的处理。在另一方案中,也可以通过电路元件或者其他硬件来执行处理的一部分或者全部。
在步骤S110中,CPU102作为异常判别部280(参照图2),判断在室内是否仅存在被护理者。CPU102在判断为在室内仅存在被护理者的情况下(在步骤S110中“是”),判断为满足正常条件,将控制切换到步骤S120。否则(在步骤S110中“否”),CPU102判断为满足无效条件,将控制切换到步骤S112。
在步骤S112中,CPU102作为更新部285(参照图2),停止状态转移表222(参照图3)中的状态转移。
在步骤S120中,CPU102判断第N-1帧的图像中的被护理者的当前行动224是否为跌倒跌落状态。CPU102在判断为被护理者的当前行动224为跌倒跌落状态的情况下(在步骤S120中“是”),将控制切换到步骤S122。否则(在步骤S120中“否”),CPU102将控制切换到步骤S130。
在步骤S122中,CPU102判断跌倒跌落状态是否结束。CPU102在判断为跌倒跌落状态结束的情况下(在步骤S122中“是”),将控制切换到步骤S124。否则(在步骤S122中“否”),CPU102使控制返回到步骤S110。
在步骤S124中,CPU102作为转移控制部260(参照图2),将第N帧的图像中的被护理者的当前行动224改写为离床状态。
在步骤S130中,CPU102作为行动检测部255(参照图2),判断被护理者是否跌倒。CPU102在判断为被护理者跌倒的情况下(在步骤S130中“是”),将控制切换到步骤S132。否则(在步骤S130中“否”),CPU102将控制切换到步骤S140。
在步骤S132中,CPU102作为报告部270(参照图2),使护理者的便携终端200(参照图1)报告被护理者发生了跌倒跌落。
在步骤S134中,CPU102作为转移控制部260,将第N帧的图像中的被护理者的当前行动224改写为跌倒跌落状态。
在步骤S140中,CPU102作为转移控制部260,判断状态转移表222中的状态转移是否为停止中。CPU102在判断为状态转移表222中的状态转移为停止中的情况下(在步骤S140中“是”),将控制切换到步骤S142。否则(在步骤S140中“否”),CPU102将控制切换到步骤S150。
在步骤S142中,CPU102判断是否继续状态转移表222中的状态转移的停止。例如,根据以下的(a)~(e)的信息中的至少一个进行该判断。
(a)上次行动的种类
(b)被护理者的当前行动的种类
(c)图像中是否发生外部干扰
(d)从照相机以外的其他传感器判断出的被护理者的行动检测结果
(e)向行动检测系统300的输入(例如管理者的输入或者其他行动检测系统的输出等)
通过步骤S142中的判断处理,确定是否继续状态转移的停止、是否使当前行动224返回到状态转移的停止前的行动状态、是否将当前行动224设定为与状态转移的停止前的行动状态不同的行动状态中的任意一个。之后,重新执行图12的处理。在后叙述步骤S142的判断处理的详细内容(参照图13)。
在步骤S150中,CPU102判断第N-1帧的图像中的被护理者的当前行动224是否表示离床状态。CPU102在判断为被护理者的当前行动224表示离床状态的情况下(在步骤S150中“是”),将控制切换到步骤S152。否则(在步骤S150中“否”),CPU102将控制切换到步骤S160。
在步骤S152中,CPU102判断被护理者是否上床。CPU102在判断为被护理者上床了的情况下(在步骤S152中“是”),将控制切换到步骤S154。否则(在步骤S152中“否”),CPU102使控制返回到步骤S110。
在步骤S154中,CPU102作为转移控制部260,将第N帧的图像中的被护理者的当前行动224改写为起床状态。
在步骤S160中,CPU102判断第N-1帧的图像中的被护理者的当前行动224是否为起床状态。CPU102在判断为第N-1帧的图像中的被护理者的当前行动224为起床状态的情况下(在步骤S160中“是”),将控制切换到步骤S162。否则(在步骤S160中“否”),CPU102将控制切换到步骤S190。
在步骤S162中,CPU102判断被护理者是否卧床。CPU102在判断为被护理者卧床的情况下(在步骤S162中“是”),将控制切换到步骤S163。否则(在步骤S162中“否”),CPU102将控制切换到步骤S164。
在步骤S163中,CPU102作为转移控制部260,将第N帧的图像中的被护理者的当前行动224改写为卧床状态。
在步骤S164中,CPU102判断是否满足离床条件。作为一个例子,在图像内的被护理者的位置为预先设定的床区域外的情况下,满足离床条件。CPU102在判断为满足离床条件的情况下(在步骤S164中“是”),将控制切换到步骤S170。否则(在步骤S164中“否”),CPU102使控制返回到步骤S110。
在步骤S170中,CPU102判断是否在图像内检测到外部干扰。CPU102在判断为在图像内检测到外部干扰的情况下(在步骤S170中“是”),将控制切换到步骤S172。否则(在步骤S170中“否”),CPU102将控制切换到步骤S174。
在步骤S172中,CPU102作为转移控制部260,停止状态转移表222中的状态转移。即,CPU102在图像内检测到外部干扰的情况下,停止状态转移。
在步骤S174中,CPU102作为报告部270,使护理者的便携终端200报告被护理者离床。仅在无外部干扰的影响而被护理者离开床的情况下,状态转移转移到离床状态,报告被护理者的离床。
在步骤S176中,CPU102作为转移控制部260,将第N帧的图像中的被护理者的当前行动224改写为离床状态。
在步骤S190中,CPU102判断第N-1帧的图像中的被护理者的当前行动224是否为卧床状态。CPU102在判断为第N-1帧的图像中的被护理者的当前行动224为卧床状态的情况下(在步骤S190中“是”),将控制切换到步骤S194。否则(在步骤S190中“否”),CPU102将控制切换到步骤S192。
在步骤S192中,CPU102作为转移控制部260,停止状态转移表222中的状态转移。
在步骤S194中,CPU102判断被护理者是否起床。CPU102在判断为被护理者起床的情况下(在步骤S194中“是”),将控制切换到步骤S196。否则(在步骤S194中“否”),CPU102将控制切换到步骤S164。
在步骤S196中,CPU102作为报告部270,使护理者的便携终端200报告被护理者起床。
在步骤S198中,CPU102作为转移控制部260,将第N帧的图像中的被护理者的当前行动224改写为起床状态。
接下来,参照图13,说明在满足无效条件时的行动检测系统300的处理。
在步骤S210中,CPU102判断被护理者是否发生跌倒跌落。CPU102在判断为被护理者发生了跌倒跌落的情况下(在步骤S210中“是”),将控制切换到步骤S212。否则(在步骤S210中“否”),CPU102将控制切换到步骤S220。
在步骤S212中,CPU102作为报告部270,使护理者的便携终端200报告被护理者跌倒跌落。
在步骤S214中,CPU102作为转移控制部260,将第N帧的图像中的被护理者的当前行动224改写为跌倒跌落状态。
在步骤S220中,CPU102判断是否满足正常条件。CPU102在判断为满足正常条件的情况下(在步骤S220中“是”),将控制切换到步骤S230。否则(在步骤S220中“否”),CPU102结束图13所示的行动判别处理。
作为正常条件被消除的情况的一个例子,可以举出行动检测系统300的复位状态被消除的情况。在该情况下,有可能当前行动224也被复位,无法检测被护理者的下次的行动。因此,在行动检测系统300的复位被消除的情况下并且满足正常条件时,CPU102检测被护理者的行动,将该行动设定为当前行动224的基础上重新开始图12的处理。
作为处理重新开始时的当前行动224的检测方法,在图像内的被护理者的位置处于床外的情况下,CPU102检测被护理者的离床状态。此外,CPU102也可以不使用照相机而使用距离传感器来检测被护理者的行动状态。在一个方案中,距离传感器设置于床,检测从床至周围的物体的距离。在该距离变化了预定值以上的情况下,CPU102检测被护理者。在另一方案中,距离传感器设置于床上的墙面。CPU102也可以根据距离传感器的检测结果,检测床上的人物的厚度,根据该厚度判别被护理者的卧床或者起床。
另外,CPU102也可以不使用照相机而使用垫状的重力传感器来检测被护理者的行动状态。更具体而言,重力传感器被设置成跨床区域和其周边区域。在床区域内和床区域外这两方检测到重力的情况下,CPU102检测被护理者的起床。在仅在床区域内检测到重力的情况下,CPU102检测被护理者的卧床状态。
在步骤S230中,CPU102判断状态转移表222中的状态转移是否由于外部干扰而为停止中。CPU102在判断为状态转移表222中的状态转移由于外部干扰而为停止中的情况下(在步骤S230中“是”),将控制切换到步骤S260。否则(在步骤S230中“否”),CPU102将控制切换到步骤S232。
在步骤S232中,CPU102判断图像内的被护理者的位置是否为床外。CPU102在判断为图像内的被护理者的位置为床外的情况下(在步骤S232中“是”),将控制切换到步骤S234。否则(在步骤S232中“否”),CPU102将控制切换到步骤S240。
在步骤S234中,CPU102作为转移控制部260,将第N帧的图像中的被护理者的当前行动224改写为起床状态。
在步骤S240中,CPU102判断图像内的被护理者的位置是否为床内。CPU102在判断为图像内的被护理者的位置为床内的情况下(在步骤S240中“是”),将控制切换到步骤S244。否则(在步骤S240中“否”),CPU102将控制切换到步骤S242。
在步骤S242中,CPU102继续状态转移表222中的状态转移的停止。即,CPU102重新执行图13所示的行动判别处理。
在步骤S244中,CPU102作为转移控制部260,将第N帧的图像中的被护理者的当前行动224改写为起床状态。
在步骤S250中,CPU102判断被护理者是否卧床。CPU102在判断为被护理者卧床的情况下(在步骤S250中“是”),将控制切换到步骤S254。否则(在步骤S250中“否”),CPU102将控制切换到步骤S252。
在步骤S252中,CPU102判断是否从执行步骤S250的处理起经过一定时间。CPU102在判断为从执行步骤S250的处理起经过一定时间的情况下(在步骤S252中“是”),重新执行图13所示的行动判别处理。否则(在步骤S252中“否”),CPU102重新执行步骤S250的处理。
在步骤S254中,CPU102作为转移控制部260,将第N帧的图像中的被护理者的当前行动224改写为卧床状态。
在步骤S260中,CPU102判断第N-1帧中的被护理者的上次行动是否为起床状态。CPU102在判断为第N-1帧中的被护理者的上次行动为起床状态的情况下(在步骤S260中“是”),将控制切换到步骤S262。否则(在步骤S260中“否”),CPU102将控制切换到步骤S270。
在步骤S262中,CPU102作为转移控制部260,将第N帧的图像中的被护理者的当前行动224改写为起床状态。
在步骤S270中,CPU102判断第N-1帧中的被护理者的上次行动是否为卧床状态。CPU102在判断为第N-1帧中的被护理者的上次行动为卧床状态的情况下(在步骤S270中“是”),将控制切换到步骤S272。否则(在步骤S270中“否”),CPU102将控制切换到步骤S244。
在步骤S272中,CPU102作为转移控制部260,将第N帧的图像中的被护理者的当前行动224改写为卧床状态。
[行动检测装置100的硬件结构]
参照图14,说明图1所示的行动检测装置100的硬件结构的一个例子。图14是示出行动检测装置100的主要的硬件结构的框图。如图14所示,行动检测装置100包括ROM(ReadOnly Memory,只读存储器)101、CPU102、RAM(Random Access Memory,随机存取存储器)103、网络接口104、照相机接口105以及存储装置120。
ROM101储存操作系统、依照本实施方式的行动检测程序122等。CPU102通过执行操作系统、行动检测程序122等各种程序,控制行动检测装置100的动作。RAM103作为工作存储器发挥功能,临时地储存行动检测程序122的执行所需的各种数据。
对网络接口104连接天线、NIC(Network Interface Card,网络接口卡)等通信设备。行动检测装置100经由该通信设备在与其他通信终端之间发送接收数据。其他通信终端例如包括照相机50(参照图1)、便携终端200(参照图1)、服务器、其他终端等。行动检测装置100也可以构成为能够经由网络从服务器下载行动检测程序122。
照相机接口105是用于以有线或者无线方式连接照相机50和行动检测装置100的接口。行动检测装置100经由照相机接口105从照相机50获取图像。照相机50例如包括网络照相机或者能够对被摄体进行拍摄的其他摄像装置。照相机50既可以与行动检测装置100一体地构成,也可以如图14所示与行动检测装置100单独地构成。
存储装置120例如是硬盘、外装的存储装置等存储介质。作为一个例子,存储装置120储存依照本实施方式的行动检测程序122、状态转移表222(参照图3)、当前行动224(参照图2)、报告行动信息226(参照图8)等。
此外,行动检测程序122也可以不作为单独的程序而组装于任意程序的一部分来提供。在该情况下,与任意程序协作地实现依照本实施方式的处理。即便是这样的不包括一部分的模块的程序,也不脱离依照本实施方式的行动检测装置100的要旨。进而,由依照本实施方式的行动检测程序122提供的功能的一部分或者全部也可以通过专用的硬件来实现。进而,也可以行动检测装置100和便携终端200协作而实现由行动检测程序122提供的功能的一部分或者全部。进而,也可以以至少一个服务器实现依照本实施方式的处理的所谓云服务的方式构成行动检测装置100。
[小结]
如以上所述,依照本实施方式的行动检测系统300在预先确定的无效条件被满足的情况下减少报告对象的行动的种类并且更新状态转移表222的转移关系,上述无效条件表示不适合于判别被护理者的行动的种类。由此,抑制在未意图的状况下产生的误报,减轻护理者的负担。
<第二实施方式>
依照第二实施方式的行动检测系统300与依照第一实施方式的行动检测系统300相比能够判别更多种类的行动。
参照图15~图17,说明依照第二实施方式的行动检测系统300。图15是示出依照第二实施方式的状态转移表222的内容的图。图16是示出依照第二实施方式的状态转移表222中规定的各行动状态的定义的图。图17是示出从依照第二实施方式的状态转移表222中规定的各行动状态起的转移条件的图。
如图15所示,在状态转移表222中规定有多个种类的行动之间的转移关系。在图15的例子中,在状态转移表222中规定有离床状态222A、不在室内状态222E、在浴室内状态222F、异常状态222G以及在卫生间内状态222H作为行动状态。图16示出了这些行动状态的定义。
如图15所示,行动状态能够从离床状态222A转移到不在室内状态222E、在浴室内状态222F或者在卫生间内状态222H。行动状态能够从不在室内状态222E转移到离床状态222A。行动状态能够从在浴室内状态222F转移到离床状态222A或者异常状态222G。行动状态能够从异常状态222G转移到在浴室内状态222F或者在卫生间内状态222H。行动状态能够从在卫生间内状态222H转移到离床状态222A或者异常状态222G。
行动检测部255(参照图2)根据状态转移表222确定能够从当前行动224(参照图2)转移的行动的种类,使用输入图像来检测所确定的能够转移的行动。
说明更具体的行动通知方法。在图像内预先设定有床区域、室内区域、浴室区域以及卫生间区域。床区域、室内区域、浴室区域以及卫生间区域既可以手动地预先设定,也可以利用模板匹配等图像处理技术自动地检测。
在图像内的被护理者的位置不包含于室内区域的情况下,行动检测部255检测被护理者的不在室内状态。或者,在图像内的被护理者通过了预先设定的房间的出入口的情况下,行动检测部255检测被护理者的不在室内状态。
行动检测部255根据浴室或者卫生间的使用状况来检测在浴室内状态222F、异常状态222G或者在卫生间内状态222H。作为一个例子,在图像内的被护理者的位置处于浴室区域的时间比一定时间短的情况下,行动检测部255检测在浴室内状态222F。在图像内的被护理者的位置处于浴室区域的时间比一定时间长的情况下,行动检测部255检测被护理者的异常状态222G。在图像内的被护理者的位置处于卫生间区域的时间比一定时间短的情况下,行动检测部255检测在卫生间内状态222H。在图像内的被护理者的位置处于卫生间区域的时间比一定时间长的情况下,行动检测部255检测被护理者的异常状态222G。
图17示出了用于从在状态转移表222中规定的各行动状态转移到其他行动状态的转移条件。更具体而言,转移条件23示出了从离床状态222A向在浴室内状态222F的转移条件。转移条件24示出了从离床状态222A向在卫生间内状态222H的转移条件。转移条件25示出了从在浴室内状态222F向离床状态222A的转移条件。转移条件27示出了从在浴室内状态222F向异常状态222G的转移条件。转移条件28示出了从异常状态222G向在浴室内状态222F的转移条件。转移条件30示出了从异常状态222G向在卫生间内状态222H的转移条件。转移条件31示出了从在卫生间内状态222H向异常状态222G的转移条件。转移条件33示出了从在卫生间内状态222H向离床状态222A的转移条件。转移条件34示出了从未被判别行动状态的初始状态向在浴室内状态222F的转移条件。转移条件35示出了从未被判别行动状态的初始状态向异常状态222G的转移条件。转移条件36示出了从未被判别行动状态的初始状态向在卫生间内状态222H的转移条件。转移条件37示出了从离床状态222A向不在室内状态222E的转移条件。转移条件38示出了从不在室内状态222E向离床状态222A的转移条件。转移条件39示出了从未被判别行动状态的初始状态向不在室内状态222E的转移条件。
此外,也可以在图17所示的转移条件中规定其他条件。例如,转移条件27、31也可以在被护理者的在浴室内状态或者在卫生间内状态与通常相比极端长的情况下被满足。或者,转移条件27、31也可以在浴室或者卫生间的水被长时间持续性地氏用的情况下被满足。也可以根据水或者卫生间的使用状况来判断是否满足转移条件23、24。也可以根据室内的门的开闭动作来判断是否满足转移条件37、38。图17所示的转移条件能够由行动检测系统300的管理者来设定。
[小结]
如以上所述,依照第二实施方式的行动检测系统300与第一实施方式相比能够检测更多种类的行动。由此,护理者能够准确地掌握被护理者的行动。
<总结>
行动检测系统具备:获取部,用于获取表示被摄体的动作的动作数据;存储部,用于储存规定多个种类的行动之间的转移关系的状态转移表、报告对象的行动的种类及上述被摄体的当前的行动的种类;行动检测部,用于根据上述状态转移表确定从上述当前的行动能够转移的行动,根据上述动作数据检测该能够转移的行动;转移控制部,用于在由上述行动检测部检测到新的行动的情况下,将上述当前的行动更新为上述新的行动;报告部,用于在检测到上述新的行动的情况下并且该新的行动是上述报告对象的行动时,报告该新的行动的种类;以及更新部,用于在预先确定的第一条件被满足的情况下减少上述报告对象的行动的种类并且更新上述状态转移表的上述转移关系,所述第一条件表示不适合于判别上述被摄体的行动的种类。
优选在满足上述第一条件的期间,根据更新后的上述状态转移表来确定上述能够转移的行动的种类。
优选在满足上述第一条件的情况下,上述更新部将上述报告对象的行动的种类设为零。
优选在预先确定的第二条件被满足的情况下上述更新部使更新后的上述状态转移表返回到更新前的上述状态转移表,所述第二条件表示适合于判别上述被摄体的行动的种类。
优选上述动作数据是影像。
优选在上述动作数据中发生了外部干扰的情况、在上述动作数据中包括上述被摄体以外的人物的情况、上述行动检测系统被初始化的情况以及在上述行动检测系统中发生了错误的情况中的至少一个情况下满足上述第一条件。
优选上述报告对象的行动的种类包括上述被摄体的起床、上述被摄体的离床、上述被摄体的跌落、上述被摄体的跌倒、上述被摄体的上床、上述被摄体的卧床、上述被摄体的进屋、上述被摄体的出屋中的至少一个。
本次公开的实施方式在所有方面应被认为是例示而并非限制性的。本发明的范围并非上述说明而由权利要求书所示,意图包括与权利要求均等的意义以及范围内的所有变更。
Claims (11)
1.一种行动检测系统,具备:
获取部,用于获取表示被摄体的动作的动作数据;
存储部,用于储存规定多个种类的行动之间的转移关系的状态转移表、报告对象的行动的种类及所述被摄体的当前的行动的种类;
行动检测部,用于根据所述状态转移表确定从所述当前的行动能够转移的行动,根据所述动作数据检测该能够转移的行动;
转移控制部,用于在由所述行动检测部检测到新的行动的情况下,将所述当前的行动更新为所述新的行动;
报告部,用于在检测到所述新的行动的情况下并且该新的行动是所述报告对象的行动时,报告该新的行动的种类;以及
更新部,用于在预先确定的第一条件被满足的情况下减少所述报告对象的行动的种类并且更新所述状态转移表的所述转移关系,所述第一条件表示不适合于判别所述被摄体的行动的种类。
2.根据权利要求1所述的行动检测系统,其中,
在满足所述第一条件的期间,根据更新后的所述状态转移表来确定所述能够转移的行动的种类。
3.根据权利要求1或者2所述的行动检测系统,其中,
在满足所述第一条件的情况下,所述更新部将所述报告对象的行动的种类设为零。
4.根据权利要求1~3中的任意一项所述的行动检测系统,其中,
在预先确定的第二条件被满足的情况下所述更新部使更新后的所述状态转移表返回到更新前的所述状态转移表,所述第二条件表示适合于判别所述被摄体的行动的种类。
5.根据权利要求1~4中的任意一项所述的行动检测系统,其中,
所述动作数据是影像。
6.根据权利要求1~5中的任意一项所述的行动检测系统,其中,
在所述动作数据中发生了外部干扰的情况、在所述动作数据中包括所述被摄体以外的人物的情况、所述行动检测系统被初始化的情况以及在所述行动检测系统中发生了错误的情况中的至少一个情况下,满足所述第一条件。
7.根据权利要求1~6中的任意一项所述的行动检测系统,其中,
所述报告对象的行动的种类包括所述被摄体的起床、所述被摄体的离床、所述被摄体的跌落、所述被摄体的跌倒、所述被摄体的上床、所述被摄体的卧床、所述被摄体的进屋、所述被摄体的出屋中的至少一个。
8.一种行动检测系统,具备:
获取部,用于获取表示被摄体的动作的动作数据;
存储部,用于储存规定多个种类的行动之间的转移关系的状态转移表和所述被摄体的当前的行动的种类;
行动检测部,用于根据所述状态转移表确定从所述当前的行动能够转移的行动,根据所述动作数据检测该能够转移的行动;
转移控制部,用于在由所述行动检测部检测到新的行动的情况下,将所述当前的行动更新为所述新的行动;以及
报告部,用于在检测到所述新的行动的情况下并且该新的行动是预先确定的报告对象的行动时,报告该新的行动的种类,
在表示不适合于判别所述被摄体的行动的种类的预先确定的条件被满足的情况下,所述报告部停止报告所述预先确定的报告对象的行动。
9.一种行动检测装置,具备:
获取部,用于获取表示被摄体的动作的动作数据;
存储部,用于储存规定多个种类的行动之间的转移关系的状态转移表、报告对象的行动的种类及所述被摄体的当前的行动的种类;
行动检测部,用于根据所述状态转移表确定从所述当前的行动能够转移的行动,根据所述动作数据检测该能够转移的行动;
转移控制部,用于在由所述行动检测部检测到新的行动的情况下,将所述当前的行动更新为所述新的行动;
报告部,用于在检测到所述新的行动的情况下并且该新的行动是所述报告对象的行动时,报告该新的行动的种类;以及
更新部,用于在预先确定的第一条件被满足的情况下减少所述报告对象的行动的种类并且更新所述状态转移表的所述转移关系,所述第一条件表示不适合于判别所述被摄体的行动的种类。
10.一种行动检测方法,具备:
获取表示被摄体的动作的动作数据的步骤;
准备规定多个种类的行动之间的转移关系的状态转移表、报告对象的行动的种类及所述被摄体的当前的行动的种类的步骤;
根据所述状态转移表确定从所述当前的行动能够转移的行动,根据所述动作数据检测该能够转移的行动的步骤;
在所述检测的步骤中检测到新的行动的情况下,将所述当前的行动更新为所述新的行动的步骤;
在检测到所述新的行动的情况下并且该新的行动是所述报告对象的行动时,报告该新的行动的种类的步骤;以及
在预先确定的第一条件被满足的情况下减少所述报告对象的行动的种类并且更新所述状态转移表的所述转移关系的步骤,所述第一条件表示不适合于判别所述被摄体的行动的种类。
11.一种行动检测程序,所述行动检测程序使计算机执行:
获取表示被摄体的动作的动作数据的步骤;
准备规定多个种类的行动之间的转移关系的状态转移表、报告对象的行动的种类及所述被摄体的当前的行动的种类的步骤;
根据所述状态转移表确定从所述当前的行动能够转移的行动,根据所述动作数据检测该能够转移的行动的步骤;
在所述检测的步骤中检测到新的行动的情况下,将所述当前的行动更新为所述新的行动的步骤;
在检测到所述新的行动的情况下并且该新的行动是所述报告对象的行动时,报告该新的行动的种类的步骤;以及
在预先确定的第一条件被满足的情况下减少所述报告对象的行动的种类并且更新所述状态转移表的所述转移关系的步骤,所述第一条件表示不适合于判别所述被摄体的行动的种类。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-198356 | 2015-10-06 | ||
JP2015198356 | 2015-10-06 | ||
PCT/JP2016/079273 WO2017061371A1 (ja) | 2015-10-06 | 2016-10-03 | 行動検知システム、行動検知装置、行動検知方法、および行動検知プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108337914A true CN108337914A (zh) | 2018-07-27 |
Family
ID=58487558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680057351.3A Withdrawn CN108337914A (zh) | 2015-10-06 | 2016-10-03 | 行动检测系统、行动检测装置、行动检测方法以及行动检测程序 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20180286206A1 (zh) |
EP (1) | EP3361443A4 (zh) |
JP (1) | JP6856026B2 (zh) |
CN (1) | CN108337914A (zh) |
WO (1) | WO2017061371A1 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109886120A (zh) * | 2019-01-22 | 2019-06-14 | 贵州民族大学 | 一种斑马线检测方法及系统 |
CN111096887A (zh) * | 2018-10-10 | 2020-05-05 | 发美利稻田株式会社 | 防止犯罪系统及具备该防止犯罪系统的按摩机 |
CN111145511A (zh) * | 2018-11-02 | 2020-05-12 | 发那科株式会社 | 机器人的警报通知系统 |
CN111248915A (zh) * | 2019-12-30 | 2020-06-09 | 联想(北京)有限公司 | 一种处理方法、装置及电子设备 |
CN111803769A (zh) * | 2020-06-19 | 2020-10-23 | 周建 | 病人体位异常管理系统以及相应终端 |
CN113271848A (zh) * | 2019-02-05 | 2021-08-17 | 株式会社日立制作所 | 身体健康状态影像分析装置、方法以及系统 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2018230104A1 (ja) * | 2017-06-16 | 2020-04-16 | コニカミノルタ株式会社 | 被監視者監視支援システムの中央処理装置および中央処理方法ならびに被監視者監視支援システム |
WO2019031012A1 (ja) * | 2017-08-10 | 2019-02-14 | コニカミノルタ株式会社 | 行動検知装置および該方法ならびに被監視者監視支援システム |
JPWO2019031011A1 (ja) * | 2017-08-10 | 2020-07-09 | コニカミノルタ株式会社 | 睡眠状態検出装置および該方法ならびに被監視者監視支援システム |
WO2019031010A1 (ja) * | 2017-08-10 | 2019-02-14 | コニカミノルタ株式会社 | 睡眠状態検出装置および該方法ならびに被監視者監視支援システム |
CN109394223A (zh) * | 2017-08-17 | 2019-03-01 | 香港理工大学 | 监测人体活动的方法、装置和服务器 |
JP2019074806A (ja) * | 2017-10-12 | 2019-05-16 | 株式会社日立エルジーデータストレージ | 生活リズム測定システム及び生活リズム測定方法 |
US10878676B1 (en) * | 2018-01-31 | 2020-12-29 | Amazon Technologies, Inc. | Methods and systems for customization of video monitoring systems |
JP7059663B2 (ja) * | 2018-02-06 | 2022-04-26 | 日本電気株式会社 | 情報処理装置 |
JP7080071B2 (ja) * | 2018-02-26 | 2022-06-03 | ヌヴォトンテクノロジージャパン株式会社 | 行動監視システム、及び、行動監視方法 |
JP6525181B1 (ja) * | 2018-05-27 | 2019-06-05 | 株式会社アジラ | 行動推定装置 |
JP7090327B2 (ja) * | 2018-06-15 | 2022-06-24 | エイアイビューライフ株式会社 | 情報処理装置、情報処理方法、プログラム |
JP7095870B2 (ja) * | 2018-08-06 | 2022-07-05 | エイアイビューライフ株式会社 | 情報処理装置 |
JP7012111B2 (ja) * | 2020-03-13 | 2022-01-27 | エヌ・ティ・ティ・ビズリンク株式会社 | 動物行動推定システム、動物行動推定支援装置、動物行動推定方法及びプログラム |
WO2022249635A1 (ja) * | 2021-05-26 | 2022-12-01 | コニカミノルタ株式会社 | 行動検知システムおよび行動検知プログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6400830B1 (en) * | 1998-02-06 | 2002-06-04 | Compaq Computer Corporation | Technique for tracking objects through a series of images |
CN101228555A (zh) * | 2005-07-07 | 2008-07-23 | 独创目标实验室公司 | 用于目标的运动行为的三维监控和分析的系统 |
US20080021731A1 (en) * | 2005-12-09 | 2008-01-24 | Valence Broadband, Inc. | Methods and systems for monitoring patient support exiting and initiating response |
US9740823B2 (en) * | 2007-08-16 | 2017-08-22 | Earl Edward Breazeale, JR. | Healthcare tracking |
DE102007058684A1 (de) * | 2007-12-06 | 2009-07-09 | Siemens Ag | Verfahren zur Überwachung einer Untersuchungsperson |
US9934427B2 (en) * | 2010-09-23 | 2018-04-03 | Stryker Corporation | Video monitoring system |
JP5782737B2 (ja) * | 2011-02-17 | 2015-09-24 | 富士通株式会社 | 状態検知装置、状態検知方法および状態検知プログラム |
US9500865B2 (en) * | 2013-03-04 | 2016-11-22 | Alex C. Chen | Method and apparatus for recognizing behavior and providing information |
JP6544236B2 (ja) * | 2013-09-13 | 2019-07-17 | コニカミノルタ株式会社 | 保管システム、制御装置、保管システムにおける映像情報保管方法、制御装置における制御方法、並びにプログラム |
JP6365546B2 (ja) * | 2013-09-13 | 2018-08-01 | コニカミノルタ株式会社 | 被監視者監視装置および該方法ならびに被監視者監視システム |
CN105940434A (zh) * | 2014-03-06 | 2016-09-14 | 诺日士精密株式会社 | 信息处理装置、信息处理方法及程序 |
-
2016
- 2016-10-03 JP JP2017544486A patent/JP6856026B2/ja active Active
- 2016-10-03 EP EP16853525.0A patent/EP3361443A4/en not_active Withdrawn
- 2016-10-03 CN CN201680057351.3A patent/CN108337914A/zh not_active Withdrawn
- 2016-10-03 WO PCT/JP2016/079273 patent/WO2017061371A1/ja active Application Filing
- 2016-10-03 US US15/763,914 patent/US20180286206A1/en not_active Abandoned
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111096887A (zh) * | 2018-10-10 | 2020-05-05 | 发美利稻田株式会社 | 防止犯罪系统及具备该防止犯罪系统的按摩机 |
CN111145511A (zh) * | 2018-11-02 | 2020-05-12 | 发那科株式会社 | 机器人的警报通知系统 |
CN111145511B (zh) * | 2018-11-02 | 2022-04-05 | 发那科株式会社 | 机器人的警报通知系统 |
US11491655B2 (en) | 2018-11-02 | 2022-11-08 | Fanuc Corporation | Alarm notification system for robot |
CN109886120A (zh) * | 2019-01-22 | 2019-06-14 | 贵州民族大学 | 一种斑马线检测方法及系统 |
CN109886120B (zh) * | 2019-01-22 | 2021-04-30 | 贵州民族大学 | 一种斑马线检测方法及系统 |
CN113271848A (zh) * | 2019-02-05 | 2021-08-17 | 株式会社日立制作所 | 身体健康状态影像分析装置、方法以及系统 |
CN113271848B (zh) * | 2019-02-05 | 2024-01-02 | 株式会社日立制作所 | 身体健康状态影像分析装置、方法以及系统 |
CN111248915A (zh) * | 2019-12-30 | 2020-06-09 | 联想(北京)有限公司 | 一种处理方法、装置及电子设备 |
CN111248915B (zh) * | 2019-12-30 | 2021-08-17 | 联想(北京)有限公司 | 一种处理方法、装置及电子设备 |
CN111803769A (zh) * | 2020-06-19 | 2020-10-23 | 周建 | 病人体位异常管理系统以及相应终端 |
Also Published As
Publication number | Publication date |
---|---|
US20180286206A1 (en) | 2018-10-04 |
JP6856026B2 (ja) | 2021-04-07 |
EP3361443A4 (en) | 2018-08-29 |
JPWO2017061371A1 (ja) | 2018-07-26 |
EP3361443A1 (en) | 2018-08-15 |
WO2017061371A1 (ja) | 2017-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108337914A (zh) | 行动检测系统、行动检测装置、行动检测方法以及行动检测程序 | |
US20210345885A1 (en) | Biological information management apparatus, biological information management method, program, and recording medium | |
US10634380B2 (en) | System for monitoring occupancy and activity in a space | |
CN107436196B (zh) | 监视装置、监视方法及存储有程序的信息处理装置 | |
JP2014171574A (ja) | 呼吸モニタリング装置、システム、及び方法 | |
CN107533764A (zh) | 图像处理系统、图像处理装置、图像处理方法以及图像处理程序 | |
KR102321197B1 (ko) | 딥러닝을 이용한 치매 위험인자 결정 방법 및 장치 | |
JP2019155071A (ja) | 事象予測システム、センサ信号処理システム、事象予測方法及びプログラム | |
KR102644487B1 (ko) | 체온 예측 장치 및 방법, 그리고 체온 예측 장치를 학습시키는 방법 | |
Williams | Evaluation of the utility of NEWS2 during the COVID-19 pandemic | |
JP2020071621A (ja) | 監視方法、プログラム及び情報処理装置 | |
JP6624668B1 (ja) | 要介護者見守り支援システム | |
US11410538B2 (en) | System and method for monitoring an individual | |
US20230404408A1 (en) | Mirror system and aircraft lavatory unit | |
US8593285B2 (en) | Safety-determination information generating apparatus and safety confirmation system | |
US9928715B2 (en) | System for identifying a change in walking speed of a person | |
US20230406376A1 (en) | Central apparatus and failure level changing method | |
JP6944402B2 (ja) | 在不在判定方法、プログラム、センサ処理システム、及びセンサシステム | |
JP5845372B1 (ja) | 健康状態監視システム | |
WO2023175775A1 (ja) | 空気調和機 | |
US20230157634A1 (en) | Prediction support system, prediction support method, prediction support program, recording medium, training dataset, and trained model generating method | |
JP2022129308A (ja) | 結露情報処理システム、空調機器、結露情報処理方法、及びプログラム | |
KR20220015687A (ko) | IoT 스마트 대소변 케어시스템 | |
WO2020003953A1 (ja) | コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法 | |
JP2021065617A (ja) | 画像処理装置および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180727 |
|
WW01 | Invention patent application withdrawn after publication |