CN106415654A - 信息处理装置、信息处理方法及程序 - Google Patents

信息处理装置、信息处理方法及程序 Download PDF

Info

Publication number
CN106415654A
CN106415654A CN201580005224.4A CN201580005224A CN106415654A CN 106415654 A CN106415654 A CN 106415654A CN 201580005224 A CN201580005224 A CN 201580005224A CN 106415654 A CN106415654 A CN 106415654A
Authority
CN
China
Prior art keywords
bed
shooting image
guardianship
behavior
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580005224.4A
Other languages
English (en)
Inventor
松本修
松本修一
村井猛
上辻雅义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritsu Precision Co Ltd
Original Assignee
Noritsu Precision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noritsu Precision Co Ltd filed Critical Noritsu Precision Co Ltd
Publication of CN106415654A publication Critical patent/CN106415654A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1115Monitoring leaving of a patient support, e.g. a bed or a wheelchair
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0223Operational features of calibration, e.g. protocols for calibrating sensors

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Invalid Beds And Related Equipment (AREA)
  • Accommodation For Nursing Or Treatment Tables (AREA)

Abstract

信息处理装置,当通过设定部(42,43)在画面(40)上设定床的基准面的高度时,根据包含在拍摄图像中的深度信息而在拍摄图像(41)上明示位于该基准面的高度上的区域(DF)。由此,能够容易地设定作为监护对象者的行为的基准的床的基准面。然后,通过判断该床的基准面与监护对象者的位置关系是否满足规定的条件来检测监护对象者的行为。

Description

信息处理装置、信息处理方法及程序
技术领域
本发明涉及信息处理装置、信息处理方法以及程序。
背景技术
存在一种下述技术:通过从室内斜上方向室内下方拍摄到的图像的边界边来检测从地面区域向床区域的人体移动,从而判断上床情况,并且,通过检测从床区域向地面区域的人体移动,从而判断下床情况(专利文献1)。
另外,存在一种下述技术:将用于判断躺在床上的患者进行起床举动的监护区域设定为包含在床上就寝的患者的床的正上方区域,在表示从床的横向上被认为是患者的图像区域占包含监护区域的拍摄图像的监护区域的大小的变动值小于表示被认为是患者的图像区域占在患者躺在床上的状态下从摄像机得到的拍摄图像的监护区域的大小的初始值的情况下,判断患者正在进行起床举动(专利文献2)。
现有技术文献
专利文献
专利文献1:特开2002-230533号公报
专利文献2:特开2011-005171号公报
发明内容
发明要解决的技术问题
近年来,住院病人、福利机构入住者、要看护者等监护对象者从床上跌倒、滚落的事故、以及由痴呆症患者的来回走动所造成的事故处于逐年增加的趋势。作为防止这样的事故的方法,例如,已开发出像专利文献1及2中所例示那样的、通过用设置于室内的拍摄装置(摄像机)拍摄监护对象者并分析拍摄到的图像来检测起来、端坐、下床等监护对象者的行为的监护系统。
在通过这样的监护系统来监护监护对象者在床上的行为的情况下,监护系统例如根据监护对象者与床的相对位置关系来检测监护对象者的各行为。为此,如果由于进行监护的环境(以下,也称为“监护环境”)变化而导致拍摄装置相对于床的配置改变的话,则监护系统有可能无法恰当地检测监护对象者的行为。
作为应对该问题的一个方法,存在通过监护系统内的设定而根据监护环境指定床的位置的方法。当根据监护环境设定床的位置时,即使拍摄装置相对于床的配置改变,监护系统也可以确定监护对象者与床的相对位置关系。为此,通过接收对应于监护环境的床的位置设定,从而监护系统能够恰当地检测监护对象者的行为。然而,现有技术中,这样的床的位置的设定一直由系统的管理者进行,缺乏有关监护系统的知识的使用者并不能容易地进行床的位置的设定。
本发明在一方面上是考虑这样的问题点而作出的,其目的在于,提供一种使得能够容易地进行与作为检测监护对象者的行为的基准的床的位置相关的设定的技术。
用于解决技术问题的方案
本发明为解决上述技术问题而采用以下的构成。
即,本发明的一方面所涉及的信息处理装置包括:图像取得部,取得通过拍摄装置拍摄到的拍摄图像,所述拍摄装置是为了监护监护对象者在床上的行为而设置的,所述拍摄图像包括表示该拍摄图像内的各像素的深度的深度信息;设定部,接收所述床的基准面的高度的指定,并将该指定的高度设定为所述床的基准面的高度;显示控制部,在所述设定部接收所述床的基准面的高度的指定时,根据由所述深度信息表示的所述拍摄图像内的各像素的深度,在所述拍摄图像上明示拍有位于作为所述床的基准面的高度而被指定的高度上的对象的区域,并使所取得的所述拍摄图像显示于显示装置;以及行为检测部,根据由所述深度信息表示的所述拍摄图像内的各像素的深度,判断所述床的基准面与所述监护对象者在真实空间内的所述床的高度方向上的位置关系是否满足规定的条件,从而检测所述监护对象者的与所述床关联的行为。
根据上述构成,通过拍摄监护对象者在床上的行为的拍摄装置取得的拍摄图像包括表示各像素的深度的深度信息。各像素的深度表示拍到该各像素的对象的深度。为此,通过利用该深度信息而能推断监护对象者与床在真实空间内的位置关系,进而能检测监护对象者的行为。
因此,上述构成所涉及的信息处理装置根据拍摄图像内的各像素的深度而判断床的基准面与监护对象者在真实空间内的床的高度方向上的位置关系是否满足规定的条件。然后,上述构成所涉及的信息处理装置根据该判断的结果而推断监护对象者与床在真实空间内的位置关系,并检测监护对象者的与床关联的行为。
在此,在上述构成中,为了确定真实空间内的床的位置,作为关于床的位置的设定,进行床的基准面的高度的设定。在进行该床的基准面的高度的设定的期间,上述构成所涉及的信息处理装置在显示于显示装置的拍摄图像上明示拍有位于使用者所指定的高度上的对象的区域。因此,该信息处理装置的使用者能够边在显示于显示装置的拍摄图像上确认指定为床的基准面的区域的高度的同时,边设定床的基准面的高度。
因此,根据上述构成,即使是缺乏有关监护系统的知识的使用者,也能容易地进行关于作为检测监护对象者的行为的基准的床的位置的设定。需要说明的是,监护对象者是指通过本发明而被监护在床上的行为的对象者,例如为住院病人、福利机构入住者、要看护者等。
另外,作为上述一方面所涉及的信息处理装置的其它方式,所述设定部也可以接收所述床上表面的高度的指定作为所述床的基准面的高度。然后,所述显示控制部也可以控制所取得的所述拍摄图像的显示,使得根据指定的所述床上表面的高度,在所述拍摄图像上通过第一显示形式明示拍有能够对应该床上表面的对象的区域。在通过拍摄装置拍摄监护对象者在床上的行为时,床的上表面是易于拍进拍摄图像内的地方。为此,拍摄图像内的拍床的区域中床上表面所占的比例易于变高。由于将这样的地方作为床的基准面,因此根据该构成,床的基准面的设定变得容易。
另外,作为上述一方面所涉及的信息处理装置的其它方式,在所述设定部接收所述床上表面的高度的指定时,所述显示控制部也可以控制所取得的所述拍摄图像的显示,使得在所述拍摄图像上,还通过第二显示形式明示拍有从以所述第一显示形式明示的区域起向所述床的高度方向上方位于第一规定距离的范围内的对象的区域。在该构成中,以第一显示形式明示的区域相当于用于指定床上表面的区域,以第二显示形式明示的区域在真实空间内位于该用于指定床上表面的区域的上侧。为此,使用者不仅能够将以第一显示形式明示的区域用作指定床上表面时的指标,而且还能将以第二显示形式明示的区域用作指定床上表面时的指标。因此,根据该构成,关于床的位置的设定变得容易。
另外,作为上述一方面所涉及的信息处理装置的其它方式,所述显示控制部也可以控制所取得的所述拍摄图像的显示,使得由于对应所述床的护栏的高度设定所述第一规定距离,从而在所述拍摄图像上通过所述第二显示形式明示拍有能够对应所述床的护栏的对象的区域。根据该构成,使用者能够将在拍摄图像上拍床的护栏的区域用作指定床上表面时的指标。为此,床上表面的高度的设定变得容易。
另外,作为上述一方面所涉及的信息处理装置的其它方式,所述行为检测部也可以通过判断与所述监护对象者关联的像相对于所设定的所述床上表面在真实空间内是否存在于第二规定距离以上高的位置来检测所述监护对象者在所述床上的起来。根据该构成,能够检测监护对象者在床上起来。
另外,作为上述一方面所涉及的信息处理装置的其它方式,所述行为检测部也可以通过判断与所述监护对象者关联的像相对于所设定的所述床上表面在真实空间内是否存在于第二规定距离以上高的位置来检测所述监护对象者在所述床上的起来。然后,在所述设定部接收所述床上表面的高度的指定时,所述显示控制部也可以控制所取得的所述拍摄图像的显示,使得在所述拍摄图像上通过第三显示形式明示拍有从以所述第一显示形式明示的区域起向所述床的高度方向上方位于所述第二规定距离以上的高度上的对象的区域。根据该构成,关于起来的检测的区域以第三显示形式被明示,因此,能够以适于起来的检测的方式进行床上表面的高度的设定。
另外,作为上述一方面所涉及的信息处理装置的其它方式,所述信息处理装置也可以还包括前景提取部,所述前景提取部根据被设定作为所述拍摄图像的背景的背景图像与所述拍摄图像的差分而提取所述拍摄图像的前景区域。然后,所述行为检测部也可以将根据所述前景区域内的各像素的深度而确定的拍到所述前景区域的对象在真实空间内的位置用作所述监护对象者的位置,并通过判断所述床的基准面与所述监护对象者在真实空间内的所述床的高度方向上的位置关系是否满足规定的条件来检测所述监护对象者的与所述床关联的行为。
根据该构成,通过提取背景图像与拍摄图像的差分而确定拍摄图像的前景区域。该前景区域是从背景图像上发生了变化的区域。为此,在前景区域中,作为与监护对象者关联的像,包括由于监护对象者活动而发生了变化的区域、换言之、存在监护对象者的身体部位中在动的部位(以下,也称为“动作部位”)的区域。因此,通过参照由深度信息表示的前景区域内的各像素的深度而能确定监护对象者的动作部位在真实空间内的位置。
因此,上述构成所涉及的信息处理装置将根据前景区域内的各像素的深度而确定的拍到前景区域的对象在真实空间内的位置用作监护对象者的位置,并判断床的基准面与监护对象者的位置关系是否满足规定的条件。即,用于检测监护对象者的行为的规定条件是假设前景区域与监护对象者的行为关联而设定的。上述构成所涉及的信息处理装置根据在真实空间内监护对象者的动作部位相对于床的基准面存在于哪个高度来检测监护对象者的行为。
在此,能够以背景图像与拍摄图像的差分来提取前景区域,因此,即使不利用高度的图像处理也能确定前景区域。为此,根据上述构成,能够以简单的方法来检测监护对象者的行为。
另外,作为上述一方面所涉及的信息处理装置的其它方式,所述信息处理装置还可以包括行为选择部,所述行为选择部从包括在所述床的端部附近或外侧进行的所述监护对象者的规定行为的、所述监护对象者的与床关联的多个行为中接收针对所述监护对象者的作为监护对象的行为的选择。所述设定部也可以在所述规定行为包括在被选择作为所述监护对象的行为中时,在设定了所述床上表面的高度之后,为了确定所述床上表面的范围,还在所述拍摄图像内接收设定于所述床上表面内的基准点的位置和所述床的方向的指定,并根据所指定的所述基准点的位置及所述床的方向设定所述床上表面在真实空间内的范围。并且,所述行为检测部也可以通过判断所设定的所述床的上表面与所述监护对象者在所述真实空间内的位置关系是否满足规定的条件来检测被选择作为所述监护对象的所述规定行为。根据该构成,由于设定床上表面的范围,因此能够提高在床的端部附近或外侧进行的规定行为的检测精度。需要说明的是,在床的端部附近或外侧进行的监护对象者的规定行为例如是端坐、越过护栏、下床等。此外,端坐是指监护对象者正坐在床端的状态。另外,越过护栏是指监护对象者正在从床护栏上探出身的状态。
另外,作为上述一方面所涉及的信息处理装置的其它方式,所述信息处理装置还可以包括行为选择部,所述行为选择部从包括在所述床的端部附近或外侧进行的所述监护对象者的规定行为的、所述监护对象者的与床关联的多个行为中接收针对所述监护对象者的作为监护对象的行为的选择。于是,所述设定部也可以在所述规定行为包括在被选择作为所述监护对象的行为中时,在设定了所述床上表面的高度之后,还在所述拍摄图像内接收规定床上表面的范围的四个角中的两个角的位置的指定,并根据所指定的该两个角的位置设定所述床上表面在真实空间内的范围。并且,所述行为检测部也可以通过判断所设定的所述床的上表面与所述监护对象者在所述真实空间内的位置关系是否满足规定的条件来检测被选择作为所述监护对象的所述规定行为。根据该构成,由于设定床上表面的范围,因此能够提高在床的端部附近或外侧进行的规定行为的检测精度。
另外,作为上述一方面所涉及的信息处理装置的其它方式,也可以是,所述设定部判断根据为了检测被选择作为所述监护对象的所述规定行为而设定的所述规定条件,相对于设定的所述床上表面的范围而确定的检测区域是否拍到所述拍摄图像内,并且,在判断为被选择作为所述监护对象的所述规定行为的检测区域未拍到所述拍摄图像内的情况下,输出表示有可能不能正常进行被选择作为所述监护对象的所述规定行为的检测的警告消息。根据该构成,对于选择作为监护对象的行为,能够防止监护系统的设定错误。
另外,作为上述一方面所涉及的信息处理装置的其它方式,所述信息处理装置还可以包括前景提取部,所述前景提取部根据被设定作为所述拍摄图像的背景的背景图像与所述拍摄图像的差分而提取所述拍摄图像的前景区域。于是,所述行为检测部也可以将根据所述前景区域内的各像素的深度而确定的拍到所述前景区域的对象在真实空间内的位置用作所述监护对象者的位置,并通过判断所述床上表面与所述监护对象者在真实空间内的位置关系是否满足规定的条件来检测被选择作为所述监护对象的所述规定行为。根据该构成,能够以简单的方法检测监护对象者的行为。
另外,作为上述一方面所涉及的信息处理装置的其它方式,当所述设定部接收所述床的基准面的高度的指定时,所述显示控制部也可以控制所取得的所述拍摄图像的显示,使得在所述拍摄图像上以不同的显示形式明示拍有在真实空间内位于作为所述床的基准面的高度而被指定的高度的上方的对象的区域和拍有位于下方的对象的区域。根据该构成,位于指定为床上表面的区域的上方的区域和位于下方的区域以不同的显示形式被明示,因此床上表面的高度的指定变得容易。
另外,作为上述一方面所涉及的信息处理装置的其它方式,所述信息处理装置还可以包括危险预兆通知部,所述危险预兆通知部在针对所述监护对象者检测到的行为为显示出危险迫近所述监护对象者的预兆的行为的情况下,进行用于告知该预兆的通知。根据该构成,可以使监护者知道存在危险迫近监护对象者的预兆。
需要说明的是,这样的通知例如面向监护监护对象者的监护者进行。监护者是对监护对象者的行为进行监护的人,在监护对象者为住院病人、福利机构入住者、要看护者等的情况下,监护者例如为护士、福利机构职员、看护者等。用于告知危险迫近监护对象者的预兆的通知也可以与护士呼叫器等设置于福利机构的设备协作地进行。此外,根据通知的方法,也可以让监护对象者自己知道存在危险迫近的预兆。
另外,作为上述一方面所涉及的信息处理装置的其它方式,所述信息处理装置还可以包括未完成通知部,所述未完成通知部在通过所述设定部进行的设定在规定时间内未完成的情况下,进行用于告知通过所述设定部进行的设定尚未完成的通知。根据该构成,能够防止在关于床的位置的设定的中途搁置监护系统。
需要说明的是,作为上述各方式所涉及的信息处理装置的其它方式,既可以为实现以上各构成的信息处理系统,也可以为信息处理方法,还可以为程序,也可以为记录有这样的程序的、计算机及其它装置、机器等可读的存储介质。在此,计算机等可读的记录介质是通过电、磁、光学、机械或者化学作用蓄积程序等信息的介质。另外,信息处理系统还可以通过一个或多个信息处理装置实现。
例如,本发明的一方面所涉及的信息处理方法中,计算机执行以下步骤:取得步骤,取得通过拍摄装置拍摄到的拍摄图像,所述拍摄装置是为了监护监护对象者在床上的行为而设置的,所述拍摄图像包括表示该拍摄图像内的各像素的深度的深度信息;设定步骤,接收所述床的基准面的高度的指定,并将该指定的高度设定为所述床的基准面的高度;以及检测步骤,根据由所述深度信息表示的所述拍摄图像内的各像素的深度,判断所述床的基准面与所述监护对象者在真实空间内的所述床的高度方向上的位置关系是否满足规定的条件,从而检测所述监护对象者的与所述床关联的行为,当在所述设定步骤中接收所述床的基准面的高度的指定时,所述计算机根据由所述深度信息表示的所述拍摄图像内的各像素的深度,在所述拍摄图像上明示拍有位于作为所述床的基准面的高度而被指定的高度上的对象的区域,并使显示装置显示所取得的所述拍摄图像。
另外,例如,本发明的一方面所涉及的程序使计算机执行以下步骤:取得步骤,取得通过拍摄装置拍摄到的拍摄图像,所述拍摄装置是为了监护监护对象者在床上的行为而设置的,所述拍摄图像包括表示该拍摄图像内的各像素的深度的深度信息;设定步骤,接收所述床的基准面的高度的指定,并将该指定的高度设定为所述床的基准面的高度;以及检测步骤,根据由所述深度信息表示的所述拍摄图像内的各像素的深度,判断所述床的基准面与所述监护对象者在真实空间内的所述床的高度方向上的位置关系是否满足规定的条件,从而检测所述监护对象者的与所述床关联的行为,当在所述设定步骤中接收所述床的基准面的高度的指定时,所述程序使所述计算机根据由所述深度信息表示的所述拍摄图像内的各像素的深度,在所述拍摄图像上明示拍有位于作为所述床的基准面的高度而被指定的高度上的对象的区域,并使显示装置显示所取得的所述拍摄图像。
发明效果
根据本发明,使得能够容易地进行关于作为检测监护对象者的行为的基准的床的位置的设定。
附图说明
图1示出应用本发明的情形的一个例子。
图2示出根据各像素的深度而确定了该各像素的灰度值的拍摄图像的一个例子。
图3例示实施方式所涉及的信息处理装置的硬件构成。
图4例示实施方式所涉及的深度。
图5例示实施方式所涉及的功能构成。
图6例示在本实施方式中进行关于床的位置的设定时的信息处理装置的处理步骤。
图7例示接收作为检测对象的行为的选择的画面。
图8例示在下床被选择为作为检测对象的行为的情况下显示于显示装置的摄像机的配置位置的候选。
图9例示接收床上表面高度的指定的画面。
图10例示拍摄图像内的坐标关系。
图11例示拍摄图像的任意的点(像素)与摄像机在真实空间内的位置关系。
图12示意性例示在拍摄图像内以不同的显示形式显示的区域。
图13例示接收床上表面的范围的指定的画面。
图14例示拍摄图像上的指定点与床上表面的基准点的位置关系。
图15例示摄像机与基准点的位置关系。
图16例示摄像机与基准点的位置关系。
图17例示摄像机坐标系与床坐标系之间的关系。
图18例示在本实施方式中检测监护对象者的行为时的信息处理装置的处理步骤。
图19例示实施方式所涉及的信息处理装置所取得的拍摄图像。
图20例示根据拍摄图像中包含的深度信息而确定的拍摄范围的被拍摄体的三维分布。
图21例示从拍摄图像中提取的前景区域的三维分布。
图22示意性例示在本实施方式中用于检测起来的检测区域。
图23示意性例示在本实施方式中用于检测下床的检测区域。
图24示意性例示在本实施方式中用于检测端坐的检测区域。
图25例示区域的扩展情况与弥散的关系。
图26示出接收床上表面的范围的指定的画面的其它例子。
具体实施方式
以下,基于附图说明本发明的一个方面所涉及的实施方式(以下也表述为“本实施方式”)。不过,以下说明的本实施方式的所有方面只不过是本发明的例示。当然在不脱离本发明的范围的情况下能够进行各种改良和变形。即,在本发明的实施中,可以适当采用与实施方式对应的具体的构成。
需要说明的是,在本实施方式中,利用自然语言说明出现的数据,更具体来讲,由计算机能够识别的伪语言、命令、参数、机器语言等指定。
§1应用情形例
首先,使用图1来对应用本发明的情形进行说明。图1示意性示出应用本发明的情形的一个例子。在本实施方式中,设想了在医疗机构或者护理机构中住院病人或福利机构入住者作为监护对象者其行为被进行监护的情形。对监护对象者进行监护的人(以下,也称为“使用者”)利用包括信息处理装置1和摄像机2的监护系统而检测监护对象者在床上的行为。
本实施方式所涉及的监护系统通过利用摄像机2拍摄监护对象者的行为而取得拍有监护对象者和床的拍摄图像3。然后,该监护系统通过在信息处理装置1中解析由摄像机2取得的拍摄图像3而检测监护对象者的行为。
需要说明的是,在本实施方式中,摄像机2设置于床的长度方向的前方。即,图1例示了从侧面观察摄像机2的情形,图1的上下方向相当于床的高度方向。另外,图1的左右方向相当于床的长度方向,垂直于图1的纸面的方向相当于床的宽度方向。不过,摄像机2的可配置位置也可以不限定于这样的位置,可以根据实施的方式适当地进行选择。
摄像机2相当于本发明的拍摄装置,为监护监护对象者在床上的行为而设置。本实施方式所涉及的摄像机2包括测量被拍摄体的深度的深度传感器,能够取得对应于拍摄图像内的各像素的深度。为此,正如在图1中例示的,通过该摄像机2取得的拍摄图像3包括表示对每像素获得的深度的深度信息。
包括该深度信息的拍摄图像3既可以为表示拍摄范围内的被拍摄体的深度的数据,也可以为例如拍摄范围内的被拍摄体的深度分布成二维状的数据(例如深度图)。另外,拍摄图像3也可以在包括深度信息的同时,包括RGB图像。进而,拍摄图像3既可以为动画图像,也可以为静止图像。
图2示出这样的拍摄图像3的一个例子。在图2中例示的拍摄图像3是各像素的灰度值根据该各像素的深度而确定的图像。越黑的像素表示靠摄像机2越近。另一方面,越白的像素表示离摄像机2越远。根据该深度信息,能够确定拍摄范围内的被拍摄体在真实空间(三维空间)内的位置。
更详细而言,被拍摄体的深度是相对于该被拍摄体的表面而取得的。于是,通过使用拍摄图像3中包含的深度信息,从而能够确定摄像机2拍到的被拍摄体表面在真实空间内的位置。在本实施方式中,通过摄像机2拍摄到的拍摄图像3被发送至信息处理装置1。然后,信息处理装置1根据所取得的拍摄图像3推断监护对象者的行为。
本实施方式所涉及的信息处理装置1为了根据所取得的拍摄图像3推断监护对象者的行为,提取被设定作为该拍摄图像3的背景的背景图像与拍摄图像3的差分,从而确定拍摄图像3内的前景区域。被确定的前景区域是从背景图像发生了变化的区域,因此包括存在监护对象者的动作部位的区域。因此,信息处理装置1利用前景区域作为与监护对象者关联的像来检测监护对象者的行为。
例如,当监护对象者在床上起来时,如在图1中所例示的,拍有关于起来的部位(图1中上半身)的区域作为前景区域被提取。通过参照如此提取的前景区域内的各像素的深度,从而能够确定监护对象者的动作部位在真实空间内的位置。
监护对象者在床上的行为能够根据如此确定的动作部位与床的位置关系而推断。例如,如在图1中所例示的,当监护对象者的动作部位在床上表面的上方被检测到的情况下,能够推断,监护对象者在床上正在进行起来动作。另外,例如,当监护对象者的动作部位在床的侧部附近被检测到的情况下,能够推断,监护对象者想变为端坐的状态。
因此,在本实施方式所涉及的信息处理装置1中,进行用于确定真实空间内的床的位置的、床的基准面的设定,以便能够掌握动作部位与床的位置关系。床的基准面是作为监护对象者在床上的行为的基准的面。信息处理装置1为了进行这样的床的基准面的设定而接收该基准面的高度的指定。
本实施方式所涉及的信息处理装置1在接收该基准面的高度的指定时,使显示装置显示通过摄像机2拍摄的拍摄图像3。而且,信息处理装置1在显示于显示装置的拍摄图像3上明示拍有位于由使用者所指定的高度上的对象的区域。
由此,该信息处理装置1的使用者能够边在显示装置上所显示的拍摄图像3上确认指定为床的基准面的区域的同时,边设定床的基准面的高度。因此,在信息处理装置1中,即使是缺乏有关监护系统的知识的使用者,也能容易地进行关于作为检测监护对象者的行为的基准的床的位置的设定。
信息处理装置1根据通过深度信息表示的前景区域内的各像素的深度来确定如此设定的床的基准面与拍到前景区域的对象(监护对象者的动作部位)在真实空间内的位置关系。即,信息处理装置1将根据前景区域内的各像素的深度确定的、拍到前景区域的对象在真实空间内的位置用作监护对象者的位置。然后,信息处理装置1根据所确定的位置关系来检测监护对象者在床上的行为。
需要注意的是,在本实施方式中,例示床上表面作为床的基准面。床上表面为床的垂直方向上侧的面,例如为床垫的上表面。床的基准面既可以为这样的床上表面,也可以为其它面。床的基准面可以根据实施的方式适当地决定。并且,床的基准面不局限于存在于床的物理面,也可以为假想的面。
§2构成例
<硬件构成例>
接着,使用图3来说明信息处理装置1的硬件构成。图3例示本实施方式所涉及的信息处理装置1的硬件构成。如在图3中所例示的,信息处理装置1是电连接有如下部分的计算机:包括CPU、RAM(Random Access Memory:随机存取存储器)、ROM(Read Only Memory:只读存储器)等的控制部11;存储在控制部11中执行的程序5等的存储部12;用于进行图像的显示和输入的触摸面板显示器13;用于输出声音的扬声器14;用于与外部装置连接的外部接口15;用于经由网络而进行通信的通信接口16;以及用于读入存储介质6中所存储的程序的驱动器17。不过,在图3中,通信接口及外部接口分别被记作“通信I/F”及“外部I/F”。
需要注意的是,关于信息处理装置1的具体的硬件构成,可根据实施方式而适当进行构成成分的省略、置换以及追加。例如,控制部11也可以包括多个处理器。另外,例如触摸面板显示器13也可以被替换为各自分别独立地被连接的输入装置及显示装置。
信息处理装置1也可以包括多个外部接口15,并与多个外部装置连接。在本实施方式中,信息处理装置1经由外部接口15而与摄像机2连接。如上所述,本实施方式所涉及的摄像机2包括深度传感器。该深度传感器的种类及测量方式也可以根据实施的方式而适当选择。
不过,对监护对象者进行监护的场所(例如医疗机构的病房)为监护对象者的床所放置的场所,换言之,为监护对象者就寝的场所。为此,对监护对象者进行监护的场所多为暗的场所。因此,为了不受拍摄场所的明亮度的影响来取得深度,优选使用基于红外线的照射来测量深度的深度传感器。需要说明的是,作为包括红外线深度传感器的较廉价的拍摄装置,可列举微软公司的Kinect、ASUS公司的Xtion、PrimeSense公司的CARMINE。
另外,摄像机2也可以为立体摄像机,以便能够确定拍摄范围内的被拍摄体的深度。立体摄像机由于从多个不同的方向对拍摄范围内的被拍摄体进行拍摄,因此能够记录该被拍摄体的深度。摄像机2只要能够确定拍摄范围内的被拍摄体的深度即可,既可以置换为深度传感器单体,也可以不作特别限定。
在此,使用图4来详细说明通过本实施方式所涉及的深度传感器所测量的深度。图4示出能作为本实施方式所涉及的深度看待的距离的一个例子。该深度体现被拍摄体的深度。如在图4中所例示的,被拍摄体的深度例如既可以用摄像机与对象物之间的直线距离A来体现,也可以用从水平轴向摄像机的被拍摄体垂下的垂线的距离B来体现。即,本实施方式所涉及的深度既可以为距离A,也可以为距离B。在本实施方式中,将距离B作为深度来对待。不过,距离A与距离B例如能通过使用勾股定理等而相互转换。为此,使用了距离B的之后的说明可直接应用于距离A。
另外,如在图3中所例示的,信息处理装置1经由外部接口15而连接于护士呼叫器。这样,信息处理装置1也可以经由外部接口15而与护士呼叫器等设置于福利机构中的设备连接,从而与该设备协作来进行用于告知有危险迫近监护对象者的预兆的通知。
需要说明的是,程序5是使信息处理装置1执行后述的动作中包含的处理的程序,相当于本发明的“程序”。该程序5也可以记录在存储介质6中。存储介质6是以计算机及其它装置、机器等能读取所记录的程序等信息的方式通过电、磁、光学、机械或化学作用来蓄积该程序等信息的介质。存储介质6相当于本发明的“存储介质”。需要注意的是,图3例示了作为存储介质6的一例的CD(Compact Disk:高密度盘)、DVD(Digital Versatile Disk:数字多用盘)等盘式存储介质。然而,存储介质6的种类并非限定于盘式,也可以为盘式以外的存储介质。作为盘式以外的存储介质,能够列举例如闪存等半导体存储器。
另外,作为信息处理装置1,例如除了使用被设计成专门用于所提供的服务的装置之外,还可以使用PC(Personal Computer:个人计算机)、平板终端等通用的装置。另外,信息处理装置1也可以通过一个或多个计算机来安装。
<功能构成例>
接着,使用图5来说明信息处理装置1的功能构成。图5例示本实施方式所涉及的信息处理装置1的功能构成。本实施方式涉及的信息处理装置1所包括的控制部11将存储于存储部12中的程序5在RAM中展开。然后,控制部11通过CPU来解释和执行在RAM中展开的程序5,从而控制各构成成分。由此,本实施方式所涉及的信息处理装置1作为包括图像取得部21、前景提取部22、行为检测部23、设定部24、显示控制部25、行为选择部26、危险预兆通知部27、以及未完成通知部28的计算机而发挥作用。
图像取得部21取得通过为了监护监护对象者在床上的行为而设置的摄像机2拍摄到的拍摄图像3,该拍摄图像3包括表示各像素的深度的深度信息。前景提取部22根据被设定作为拍摄图像3的背景的背景图像与该拍摄图像3的差分来提取拍摄图像3的前景区域。行为检测部23根据由深度信息表示的前景区域内的各像素的深度而判断在真实空间内的床的高度方向上,拍到前景区域的对象相对于床的基准面的位置关系是否满足规定的条件。然后,行为检测部23根据该判断的结果来检测监护对象者的与床相关联的行为。
另外,设定部24接收来自使用者的输入,并进行关于作为检测监护对象者的行为的基准的床的基准面的设定。具体而言,设定部24接收床的基准面的高度的指定并将所指定的高度设定为床的基准面的高度。显示控制部25控制触摸面板显示器13对图像的显示。触摸面板显示器13相当于本发明的显示装置。
显示控制部25控制触摸面板显示器13的画面显示。显示控制部25例如在设定部24接收床的基准面的高度的指定时,根据由深度信息指示的拍摄图像3内的各像素的深度,在拍摄图像3上明示拍有位于使用者所指定的高度上的对象的区域,并使触摸面板显示器13显示所取得的拍摄图像3。
行为选择部26接收从包括在床的端部附近或外侧进行的监护对象者的规定行为的、监护对象者的与床关联的多个行为中针对监护对象者进行的作为监护对象的行为的选择。在本实施方式中,作为与床关联的多个行为,例示有在床上起来、在床上的端坐、从床的护栏上探出身(越过护栏)、以及从床上下床。这些行为中,在床上的端坐、从床的护栏上探出身(越过护栏)、以及从床上下床相当于本发明的“规定行为”。
进而,在针对监护对象者而检测到的行为为显示出危险迫近监护对象者的预兆的行为的情况下,危险预兆通知部27进行用于告知该预兆的通知。在设定部24进行的关于床的基准面的设定未在规定时间内完成的情况下,未完成通知部28进行用于告知设定部24的设定尚未完成的通知。需要注意的是,例如向监护监护对象者的监护者进行这些通知。监护者例如为护士、福利机构职员等。在本实施方式中,这些通知既可以通过护士呼叫器来进行,也可以通过扬声器14来进行。
需要注意的是,关于各功能,将在后述的动作例中详细地说明。这里,在本实施方式中,说明了这些功能均通过通用的CPU来实现的例子。但是,这些功能的一部分或全部也可以通过一个或多个专用的处理器来实现。并且,关于信息处理装置1的功能构成,也可以根据实施方式而适当地进行功能的省略、置换以及追加。例如,也可以省略行为选择部26、危险预兆通知部27、以及未完成通知部28。
§3动作例
[床的位置设定]
首先,使用图6来对关于床的位置的设定处理进行说明。图6例示了在关于床的位置的设定时的信息处理装置1的处理步骤。该关于床的位置的设定处理也可以在任何时机下执行,例如,在开始监护对象者的监护之前启动程序5时执行。需要注意的是,以下说明的处理步骤只不过是一个例子,各处理可以尽可能地进行变更。另外,关于以下说明的处理步骤,可以根据实施的方式适当地进行步骤的省略、置换以及追加。
(步骤S101及步骤S102)
在步骤S101中,控制部11作为行为选择部26而发挥作用,接收从监护对象者在床上进行的多个行为中进行的作为检测对象的行为的选择。然后,在步骤S102中,控制部11作为显示控制部25而发挥作用,对应于被选择为检测对象的一个或多个行为,将摄像机2相对于床的配置位置的候选显示于触摸面板显示器13。使用图7及图8来说明这些处理。
图7例示在接收作为检测对象的行为的选择时在触摸面板显示器13上显示的画面30。控制部11为了在步骤S101中接收作为检测对象的行为的选择,将画面30显示于触摸面板显示器13。画面30包括示出本处理所涉及的设定的处理阶段的区域31、接收作为检测对象的行为的选择的区域32、以及示出摄像机2的配置位置的候选的区域33。
在本实施方式涉及的画面30中,针对作为检测对象的行为的候选,例示了四种行为。具体而言,针对作为检测对象的行为的候选,例示了在床上起来、从床上下床、在床上的端坐、以及从床的护栏上探出身(越过护栏)。下面,将在床上起来也单纯称为“起来”,将从床上下床也单纯称为“下床”,将在床上的端坐也单纯称为“端坐”,将从床的护栏上探出身也单纯称为“越过护栏”。在区域32中设有对应于各个行为的四个按钮321~324。使用者通过操作按钮321~324而选择一个或多个作为检测对象的行为。
当按钮321~324中的任意按钮被操作而选择了作为检测对象的行为时,控制部11作为显示控制部25而发挥作用,更新区域33上显示的内容,以便示出对应于所选择的一个或多个行为的摄像机2的配置位置的候选。摄像机2的配置位置的候选是根据信息处理装置1是否能够通过配置于那个位置上的摄像机2所拍摄的拍摄图像3来检测对象的行为而预先确定的。示出这样的摄像机2的配置位置的候选的理由如下。
本实施方式所涉及的信息处理装置1通过解析用摄像机2取得的拍摄图像3来推断监护对象者与床的位置关系,以检测监护对象者的行为。为此,在与对象的行为的检测关联的区域未拍到拍摄图像3中的情况下,信息处理装置1就无法检测该对象的行为。因此,希望监护系统的使用者对应作为检测对象的各行为掌握适于摄像机2的配置的位置。
然而,监护系统的使用者未必能够将这样的位置全部掌握,因此,有可能将摄像机2误配置于与对象的行为的检测关联的区域不被拍到的位置。如果摄像机2被误配置于与对象的行为的检测关联的区域不能被拍到的位置,则信息处理装置1无法检测该对象的行为,导致监护系统的监护不周。
因此,在本实施方式中,对应作为检测对象的每个行为预先确定适于摄像机2的配置的位置,并预先将那样的摄像机位置的候选保持于信息处理装置1中。于是,信息处理装置1对应于所选择的一个或多个行为来显示能拍摄到与对象的行为的检测关联的区域的摄像机2的配置位置的候选,以向使用者指示摄像机2的配置位置。由此,本实施方式所涉及的监护系统抑制由使用者造成的摄像机2的误配置,降低监护对象者的监护不周的可能性。
另外,在本实施方式中,通过后述的各种设定,能够使监护系统适应于进行监护的各环境。为此,在本实施方式所涉及的监护系统中,摄像机2的配置自由度提高。然而,摄像机2的配置自由度高,相应地,使用者将摄像机2配置于错误位置的可能性变高。对此,在本实施方式中,由于显示摄像机2的配置位置的候选来提示使用者进行摄像机2的配置,因此能够防止使用者将摄像机2配置于错误的位置。即,在像本实施方式这样的摄像机2的配置自由度高的监护系统中,由于显示摄像机2的配置位置的候选,因而能够特别地期待防止使用者将摄像机2配置于错误的位置的效果。
需要注意的是,在本实施方式中,作为摄像机2的配置位置的候选,摄像机2容易拍摄与对象的行为的检测关联的区域的位置、换言之在摄像机2的设置上推荐的位置用○符号示出。与此相反,摄像机2难以拍摄与对象的行为的检测关联的区域的位置、换言之在摄像机2的设置上不推荐的位置用×符号示出。使用图8来说明在摄像机2的设定上不推荐的位置。
图8例示选择了“下床”作为检测对象行为的情况下的区域33的显示内容。从床上下床是离开床的举动。也就是说,从床上下床是监护对象者在床的外侧、特别是在与床分离的场所进行的动作。为此,如果将摄像机2配置于难以拍摄到床的外侧的位置,则会导致与下床的检测关联的区域不被拍到拍摄图像3中的可能性变高。
在此,如果将摄像机2配置于床附近,则在该摄像机2所拍摄的拍摄图像3中,很有可能拍床的像占大部分,而与床分开的场所几乎没被拍到。为此,在通过图8例示的画面中,作为检测从床上下床时在摄像机2的配置上不推荐的位置,用×符号示出了床的下边附近的位置。
需要注意的是,根据已选择的检测对象行为来决定摄像机2的配置位置的候选的条件例如也可以作为按每个检测对象行为表示在摄像机2的设置上推荐的位置和不推荐的位置的数据而存储于存储部12中。另外,也可以如本实施方式这样设定为用于选择检测对象行为的各按钮321~324的动作。即,也可以将各按钮321~324的动作设定为,在操作了各按钮321~324时,于配置摄像机2的候选的位置上进行○符号或×符号的显示。保持根据已选择的检测对象行为来决定摄像机2的配置位置的候选的条件的方法并没有特别的限制。
这样,在本实施方式中,当在步骤S101中使用者选择了希望的行为作为检测对象时,在步骤S102中,对应所选择的检测对象行为,将摄像机2的配置位置的候选示出于区域33上。使用者按照该区域33的内容而配置摄像机2。即,使用者从区域33上示出的配置位置的候选中选择任意位置并将摄像机2适当地配置于所选择的位置。
为了接收检测对象行为的选择和摄像机2的配置已完成,在画面30上还设有“下一步”按钮34。当在检测对象行为的选择和摄像机2的配置完成了之后使用者操作了“下一步”按钮34时,信息处理装置1的控制部11使处理前进至下一步骤S103。
(步骤S103)
返回至图6,在步骤S103中,控制部11作为设定部24而发挥作用,接收床上表面的高度的指定。控制部11将指定的高度设定为床上表面的高度。另外,控制部11作为图像取得部21而发挥作用,从摄像机2取得包含深度信息的拍摄图像3。而且,在接收床上表面的高度的指定时,控制部11作为显示控制部25而发挥作用,使得在拍摄图像3上明示拍有位于所指定的高度上的对象的区域,并使触摸面板显示器13显示所取得的拍摄图像3。
图9例示当接收床上表面的高度的指定时显示于触摸面板显示器13上的画面40。控制部11为了在步骤S103中接收床上表面的高度的指定,将画面40显示于触摸面板显示器13。画面40包括:描画从摄像机2获得的拍摄图像3的区域41、以及用于指定床上表面的高度的滚动条42。
在步骤S102中,使用者按照画面上所显示的内容配置了摄像机2。因此,在本步骤S103中,使用者首先一边确认描画于画面40的区域41上的拍摄图像3,一边使摄像机2朝向床的方向,以便使床包括在摄像机2的拍摄范围内。如此一来,床就会拍到描画于区域41上的拍摄图像3中,因而使用者接着操作滚动条42的凸块43来指定床上表面的高度。
在此,控制部11在拍摄图像3上明示拍有位于根据凸块43的位置而指定的高度上的对象的区域。由此,本实施方式所涉及的信息处理装置1使使用者易于掌握基于凸块43的位置而指定的真实空间上的高度。关于该处理,使用图10~12进行说明。
首先,使用图10及图11,说明拍到拍摄图像3内的各像素中的对象的高度与该各像素的深度的关系。图10例示拍摄图像3内的坐标关系。另外,图11例示拍摄图像3的任意的像素(点s)与摄像机2在真实空间内的位置关系。需要注意的是,图10的左右方向与垂直于图11的纸面的方向对应。即,在图11中显现出的拍摄图像3的长度对应于在图10中例示的纵向的长度(H像素)。另外,在图10中例示的横向的长度(W像素)对应于在图11中未能显出的拍摄图像3的纸面垂直方向的长度。
在此,如在图10中所例示的,将拍摄图像3的任意的像素(点s)的坐标设为(xs,ys),将摄像机2的横向的视角设为Vx,将纵向的视角设为Vy。将拍摄图像3的横向的像素数设为W,将纵向的像素数设为H,将拍摄图像3的中心点(像素)的坐标设为(0,0)。
另外,如在图11中所例示的,将摄像机2的俯仰角设为α。将连接摄像机2和点s的线段与表示真实空间的垂直方向的线段之间的角度设为βs,将连接摄像机2和点s的线段与表示摄像机2的拍摄方向的线段之间的角度设为γs。进而,将连接摄像机2和点s的线段的从横向观察时的长度设为Ls,将摄像机2与点s的垂直方向的距离设为hs。需要注意的是,在本实施方式中,该距离hs相当于拍到点s上的对象在真实空间上的高度。不过,表现拍于点s上的对象在真实空间上的高度的方法也可以不限定于这样的例子,还可以根据实施的方式而适当设定。
控制部11能够从摄像机2取得表示该摄像机2的视角(Vx、Vy)以及俯仰角α的信息。不过,取得这些信息的方法也可以不限定于这样的方法,控制部11既可以通过接收来自使用者的输入而取得这些信息,也可以作为预先设定的设置值而取得这些信息。
另外,控制部11能够由拍摄图像3取得点s的坐标(xs,ys)以及拍摄图像3的像素数(W×H)。进而,控制部11通过参照深度信息而能取得点s的深度Ds。控制部11通过利用这些信息而能算出点s的角度γs以及βs。具体而言,拍摄图像3在纵向上的每一像素的角度能够近似为由以下的数学式1表示的值。由此,控制部11能够根据由以下的数学式2及数学式3表示的关系式算出点s的角度γs以及βs
[数学式1]
[数学式2]
[数学式3]
βs=90-α-γs
于是,控制部11通过将算出的γs及点s的深度Ds应用到以下的数学式4的关系式中,从而能够求出Ls的值。另外,控制部11通过将算出的Ls及βs应用到以下的数学式5的关系式中,从而能够算出真实空间上的点s的高度hs
[数学式4]
[数学式5]
hs=Ls×cosβs
因此,控制部11通过参照由深度信息表示的各像素的深度,能够确定拍到该各像素中的对象在真实空间上的高度。也就是说,控制部11通过参照由深度信息表示的各像素的深度,能够确定拍有位于根据凸块43的位置而指定的高度上的对象的区域。
需要注意的是,控制部11通过参照由深度信息表示的各像素的深度,不仅能够确定拍到该各像素中的对象在真实空间上的高度hs,而且还能确定拍到该各像素中的对象在真实空间上的位置。例如,控制部11基于由以下的数学式6~数学式8表示的关系式,能够算出图11例示的摄像机坐标系中的从摄像机2至点s为止的向量S(Sx,Sy,Sz,1)的各值。由此,拍摄图像3内的坐标系中的点s的位置与摄像机坐标系中的点s的位置可相互转换。
[数学式6]
[数学式7]
[数学式8]
Sz=Ds
接着,使用图12来说明基于凸块43的位置而指定的高度与在拍摄图像3上明示的区域的关系。图12示意性例示基于凸块43的位置而指定的高度的面(以下也称为“指定面”)DF与摄像机2的拍摄范围的关系。需要注意的是,图12与图1同样地例示了从侧面观察摄像机2的情形,图12的上下方向相当于床的高度方向且相当于真实空间上的垂直方向。
在图12中例示的指定面DF的高度h通过使用者操作滚动条42来指定。具体而言,滚动条42上的凸块43的位置与指定面DF的高度h对应,控制部11根据滚动条42上的凸块43的位置决定指定面DF的高度h。由此,例如,使用者通过使凸块43向上方移动而能以在真实空间上指定面DF向上方移动的方式使高度h的值变小。另一方面,使用者通过使凸块43向下方移动而能以在真实空间上指定面DF向下方移动的方式使高度h的值变大。
在此,正如上所述的,控制部11能够根据深度信息确定拍到拍摄图像3内的各像素上的对象的高度。因此,当在接收这样的通过滚动条42进行的高度h的指定时,控制部11在拍摄图像3内确定拍有位于该指定的高度h上的对象的区域,换言之,确定拍有位于指定面DF的对象的区域。然后,控制部11作为显示控制部25而发挥作用,在描画于区域41的拍摄图像3上明示相当于拍有位于指定面DF的对象的区域的部分。例如,控制部11如图9所例示的那样,以与拍摄图像3内的其它区域不同的显示形式进行描画,从而明示相当于拍有位于指定面DF的对象的区域的部分。
明示对象的区域的方法也可以根据实施的方式而适当地设定。例如,控制部11也可以通过以与其它区域不同的显示形式描画对象的区域来明示对象的区域。在此,用于对象的区域的显示形式只要是能够识别该对象的区域的形式即可,通过色彩、色调等进行特别指定。若列举一个例子的话,控制部11将为黑白灰度图像的拍摄图像3描画于区域41。与此相对,控制部11也可以用红色描画拍有位于指定面DF的高度上的对象的区域,从而在拍摄图像3上明示该拍有位于指定面DF的高度上的对象的区域。需要注意的是,为了使指定面DF在拍摄图像3内易于显现,指定面DF也可以在垂直方向上具有规定的宽度(厚度)。
这样,在本步骤S103中,本实施方式所涉及的信息处理装置1在接收通过滚动条42进行的高度h的指定时,在拍摄图像3上明示拍有位于高度h上的对象的区域。使用者以如此明示的、位于指定面DF的高度上的区域为参考来设定床上表面的高度。具体而言,使用者通过调节凸块43的位置而使指定面DF成为床上表面来设定床上表面的高度。即,使用者能够边在拍摄图像3上视觉掌握指定的高度h的同时,边进行床上表面的高度的设定。由此,在本实施方式中,即使是缺乏有关监护系统的知识的使用者,也能够容易地进行床上表面的高度的设定。
另外,在本实施方式中,床的上表面被采用为床的基准面。在用摄像机2拍摄监护对象者在床上的行为的情况下,床的上表面是易于拍进通过摄像机2取得的拍摄图像3中的场所。为此,拍摄图像3的拍有床的区域中床上表面所占的比例易于变高,能够容易地使指定面DF与那样的拍有床上表面的区域一致。因此,通过如本实施方式这样采用床上表面作为床的基准面,从而能够使床的基准面的设定变得容易。
需要注意的是,也可以是,控制部11作为显示控制部25而发挥作用,在接收通过滚动条42进行的高度h的指定时,在描画于区域41的拍摄图像3上明示拍有从指定面DF起向床的高度方向上方位于规定范围AF中的对象的区域。范围AF的区域例如在图9中所例示的那样以与包括指定面DF的区域的其它区域不同的显示形式描画,从而被明示为能与其它区域区分开。
在此,指定面DF的区域的显示形式相当于本发明的“第一显示形式”,范围AF的区域的显示形式相当于本发明的“第二显示形式”。另外,规定范围AF的床的高度方向的距离相当于本发明的“第一规定距离”。例如,控制部11也可以在作为黑白灰度图像的拍摄图像3上用蓝色明示拍有位于范围AF中的对象的区域。
由此,除位于指定面DF的高度上的区域以外,使用者还能够在拍摄图像3上视觉上掌握位于指定面DF上侧的规定范围AF中的对象的区域。为此,易于掌握拍到拍摄图像3中的被拍摄体在真实空间上的状态。另外,使用者能够利用范围AF的区域作为使指定面DF与床上表面一致时的指标,因此床上表面的高度的设定变得容易。
需要注意的是,规定范围AF的床的高度方向的距离也可以被设定为床的护栏的高度。该床的护栏的高度既可以作为预先设定的设置值而取得,也可以作为来自使用者的输入值而取得。在像这样地设定了范围AF的情况下,当指定面DF被恰当地设定在了床上表面时,范围AF的区域成为表示床的护栏区域的区域。也就是说,使用者可以通过使范围AF的区域与床的护栏区域一致而使指定面DF与床上表面一致。因此,在拍摄图像3上,在指定床上表面时可以利用拍床的护栏的区域作为指标,因此床上表面的高度的设定变得容易。
另外,正如后面所述的,信息处理装置1通过判断前景区域所拍的对象相对于通过指定面DF设定的床上表面在真实空间上是否存在于规定距离hf以上高的位置,从而检测监护对象者在床上的起来。因此,也可以是,控制部11作为显示控制部25而发挥作用,在接收通过滚动条42进行的高度h的指定时,在描画于区域41的拍摄图像3上明示拍有从指定面DF起向床的高度方向上方位于距离hf以上的高度上的对象的区域。
如在图12中所例示的,该从指定面DF起向床的高度方向上方距离为hf以上的高度的区域也可以在床的高度方向上限定范围(范围AS)。该范围AS的区域例如以与包括指定面DF及范围AF的区域的其它区域不同的显示形式描画,从而被明示为能与其它区域区分开。
在此,范围AS的区域的显示形式相当于本发明的“第三显示形式”。另外,关于起来的检测的距离hf相当于本发明的“第二规定距离”。例如,控制部11也可以在作为黑白灰度图像的拍摄图像3上用黄色明示拍有位于范围AS的对象的区域。
由此,使用者能够在拍摄图像3上视觉上掌握关于起来的检测的区域。为此,能以适合起来的检测的方式进行床上表面的高度的设定。
需要注意的是,在图12中,距离hf比规定范围AF的床的高度方向的距离长。但是,距离hf也可以不限定于这样的长度,既可以与规定范围AF的床的高度方向的距离相同,也可以比该距离短。在距离hf比规定范围AF的床的高度方向的距离短的情况下,产生范围AF的区域与范围AS的区域重叠的区域。作为该重叠的区域的显示形式,既可以采用范围AF及范围AS中任一的显示形式,也可以采用与范围AF及范围AS哪一个的显示形式都不同的显示形式。
另外,也可以是,控制部11作为显示控制部25而发挥作用,在接收通过滚动条42进行的高度h的指定时,在描画于区域41的拍摄图像3上以不同的显示形式明示拍有在真实空间内位于指定面DF上方的对象的区域和拍有位于下方的对象的区域。通过像这样地以分别不同的显示形式描画指定面DF上侧的区域和下侧的区域,从而能够使位于指定面DF的高度上的区域易于在视觉上掌握。因此,能够在拍摄图像3上易于识别拍有位于指定面DF的高度上的对象的区域,从而使床上表面的高度的指定变得容易。
返回至图9,在画面40上,还设有用于接收重新设定的“返回”按钮44和用于接收指定面DF的设定已完成的“下一步”按钮45。当使用者操作“返回”按钮44时,信息处理装置1的控制部11使处理返回至步骤S101。另一方面,当使用者操作“下一步”按钮45时,控制部11确定所指定的床上表面的高度。即,控制部11在操作了该按钮45时存储所指定的指定面DF的高度,并将存储的指定面DF的高度设定为床上表面的高度。然后,控制部11使处理前进至下一步骤S104。
(步骤S104)
返回至图6,在步骤S104中,控制部11判断在步骤S101中选择的作为检测对象的一个或多个行为中是否包括在床上起来以外的行为。当在步骤S101中选择的一个或多个行为中包括起来以外的行为的情况下,控制部11使处理前进至下一步骤S105,接收床上表面的范围的设定。另一方面,当在步骤S101中选择的一个或多个行为中未包括起来以外的行为的情况下、换种说法、当在步骤S101中选择的行为只是起来的情况下,控制部11结束本动作例所涉及的关于床的位置的设定,开始后述的行为检测所涉及的处理。
如上所述,在本实施方式中,作为由监护系统检测的对象的行为有起来、下床、端坐以及越过护栏。这些行为中的“起来”是有可能在床上表面的大范围内进行的行为。为此,即使未设定床上表面的范围,控制部11也能根据监护对象者与床在床的高度方向上的位置关系而比较高精度地检测监护对象者的“起来”。
另一方面,“下床”、“端坐”以及“越过护栏”相当于本发明的“在床的端部附近或外侧进行的规定行为”,是在比较有限的范围内进行的行为。为此,为了控制部11高精度地检测这些行为,最好是设定床上表面的范围,以便不仅能够确定监护对象者与床在床的高度方向上的位置关系,而且还能确定监护对象者与床在水平方向上的位置关系。即,当在步骤S101中“下床”、“端坐”以及“越过护栏”中任意行为被选择为检测对象行为的情况下,最好是设定床上表面的范围。
因此,在本实施方式中,控制部11判断在步骤S101中选择的一个或多个行为中是否包括这样的“规定行为”。然后,当在步骤S101中选择的一个或多个行为中包括“规定行为”的情况下,控制部11使处理前进至下一步骤S105,接收床上表面的范围的设定。另一方面,当在步骤S101中选择的一个或多个行为中未包括“规定行为”的情况下,控制部11省略床上表面的范围的设定,结束本动作例所涉及的关于床的位置的设定。
即,本实施方式所涉及的信息处理装置1并非在所有情况下都接收床上表面的范围的设定,而只在床上表面的范围的设定被推荐的情况下接收床上表面的范围的设定。由此,在一部分情况下,能够省略床上表面的范围的设定,能够简化关于床的位置的设定。并且,在床上表面的范围的设定被推荐的情况下,能够做到接收床上表面的范围的设定。为此,即使为缺乏有关监护系统的知识的使用者,也能够根据选择为检测对象的行为而恰当地选择关于床的位置的设定项目。
具体而言,本实施方式中,在只有“起来”被选择为检测对象行为的情况下,省略床上表面的范围的设定。另一方面,在“下床”、“端坐”以及“越过护栏”中至少任一行为被选择为检测对象行为的情况下,接收床上表面的范围的设定(步骤S105)。
需要说明的是,包括在上述“规定行为”中的行为也可以根据实施的方式而适当地选择。例如,通过设定床上表面的范围而有可能提高“起来”的检测精度。为此,“起来”也可以包括在本发明的“规定行为”中。另外,例如“下床”、“端坐”以及“越过护栏”即使未设定床上表面的范围也有可能高精度地进行检测。为此,“下床”、“端坐”以及“越过护栏”中任意行为也可以从“规定行为”中除外。
(步骤S105)
在步骤S105中,控制部11作为设定部24而发挥作用,接收床的基准点的位置及床的方向的指定。然后,控制部11根据所指定的基准点的位置及床的方向来设定床上表面在真实空间内的范围。
图13例示接收床上表面的范围的设定时显示于触摸面板显示器13上的画面50。为了在步骤S105中接收床上表面的范围的指定,控制部11将画面50显示于触摸面板显示器13。画面50包括:描画从摄像机2获得的拍摄图像3的区域51、用于指定基准点的标识52、以及用于指定床的方向的滚动条53。
在本步骤S105中,使用者通过在描画于区域51的拍摄图像3上操作标识52来指定床上表面的基准点的位置。另外,使用者操作滑动条53的凸块54来指定床的方向。控制部11根据如此指定的基准点的位置及床的方向而确定床上表面的范围。使用图14~图17来说明这些处理。
首先,使用图14说明通过标识52指定的基准点p的位置。图14例示拍摄图像3上的指定点ps与床上表面的基准点p的位置关系。指定点ps表示标识52在拍摄图像3上的位置。另外,在图14中例示的指定面DF表示位于在步骤S103中设定的床上表面的高度h上的面。在这种情况下,控制部11可将通过标识52指定的基准点p确定作为连接摄像机2和指定点ps的直线与指定面DF的交点。
在此,将指定点ps在拍摄图像3上的坐标设为(xp,yp)。另外,将连接摄像机2和指定点ps的线段与表示真实空间的垂直方向的线段之间的角度设为βp,将连接摄像机2和指定点ps的线段与表示摄像机2的拍摄方向的线段之间的角度设为γp。进而,将连接摄像机2和基准点p的线段从横向观察时的长度设为Lp,将从摄像机2至基准点p的深度设为Dp
此时,与步骤S103同样地,控制部11能够取得表示摄像机2的视角(Vx、Vy)以及俯仰角α的信息。另外,控制部11能够取得指定点ps在拍摄图像3上的坐标(xp,yp)以及拍摄图像3的像素数(W×H)。进而,控制部11能够取得表示在步骤S103中设定的高度h的信息。与步骤S103同样地,控制部11能够将这些值应用至由以下的数学式9~数学式11表示的关系式而算出从摄像机2至基准点p的深度Dp
[数学式9]
[数学式10]
βp=90-α-γp
[数学式11]
然后,控制部11通过将已算出的深度Dp应用至由以下的数12~数14示出的关系式中而能够求出基准点p在摄像机坐标系中的坐标P(Px,Py,Pz,1)。由此,控制部11确定通过标识52指定的基准点p在真实空间上的位置变为可能。
[数学式12]
[数学式13]
[数学式14]
Pz=DP
需要注意的是,图14例示拍于指定点ps的对象存在于比在步骤S103中设定的床上表面高的位置时、拍摄图像3上的指定点ps与床上表面的基准点p的位置关系。在拍于指定点ps的对象位于在步骤S103中设定的床上表面的高度的情况下,指定点ps与基准点p在真实空间上为相同位置。
接着,使用图15及图16说明根据通过滚动条53指定的床的方向θ和基准点p而确定的床上表面的范围。图15例示从侧面观察摄像机2时的摄像机2与基准点p的位置关系。另外,图16例示从上方观察摄像机2时的摄像机2与基准点p的位置关系。
床上表面的基准点p是作为确定床上表面的范围的基准的点,设定为对应于床上表面的规定的位置。使基准点p对应的该规定的位置并没有特别的限制,也可以根据实施的方式而适当地设定。在本实施方式中,基准点p被设定为对应于床上表面的中央。
与此相对,如在图16中所例示的,本实施方式所涉及的床的方向θ用床的长边方向相对于摄像机2的拍摄方向的倾斜度来表示,根据滚动条53上的凸块54的位置而指定。图16中例示的向量Z示出了床的方向。当使用者在画面50上使滚动条53的凸块54向左方移动时,向量Z以基准点p为中心沿顺时针方向旋转,换言之,向床的方向θ的值变大的方向变化。另一方面,当使用者使滚动条53的凸块54向右方移动时,向量Z以基准点p为中心沿逆时针方向旋转,换言之,向床的方向θ的值变小的方向变化。
也就是说,基准点p指示床中央的位置,床的方向θ指示以床中央为轴的水平方向的旋转程度。为此,当指定了床的基准点p的位置及方向θ时,控制部11能够根据指定的基准点p的位置及床的方向θ确定如在图16中所例示那样的假想的表示床上表面的范围的框FD在真实空间上的位置及方向。
需要说明的是,床的框FD的大小对应于床的尺寸而设定。床的尺寸例如由床的高度(垂直方向的长度)、横宽(短边方向的长度)、以及纵长(长边方向的长度)所限定。床的横宽对应于床头板及床尾板的长度。另外,床的纵长对应于侧框架的长度。床的尺寸大多情况下是根据监护环境而预先规定的。控制部11既可以将这样的床的尺寸作为预先设定的设定值而取得,也可以作为使用者的输入值而取得,还可以通过从预先设定的多个设定值中进行选择而取得。
假想的床框FD示出基于指定的基准点p的位置及床的方向θ而设定的床上表面的范围。因此,也可以是,控制部11作为显示控制部25而发挥作用,在拍摄图像3内描画基于所指定的基准点p的位置及床的方向θ而确定的框FD。由此,使用者能够边用拍摄图像3内描画的假想的床框FD进行确认,边设定床上表面的范围。为此,能够降低使用者误进行床上表面的范围的设定的可能性。需要注意的是,该假想的床框FD也可以包括假想的床栏。由此,能够进一步使使用者容易掌握假想的床框FD。
因此,在本实施方式中,使用者通过使标识52对准拍到拍摄图像3中的床上表面的中央而能够将基准点p设定于恰当的位置。另外,使用者通过确定凸块54的位置,以使假想的床框FD与拍到拍摄图像3中的床上表面的外周重合而能恰当地设定床的方向θ。需要注意的是,将假想的床框FD描画于拍摄图像3内的方法也可以根据实施的方式而适当地设定。例如,也可以采用利用以下说明的射影变换的方法。
在此,为了使床框FD的位置及后述的检测区域的位置变得易于掌握,控制部11也可以利用将床作为基准的床坐标系。床坐标系例如为将床上表面的基准点p作为原点、将床的宽度方向作为x轴、将床的高度方向作为y轴、以及将床的长边方向作为z轴的坐标系。在这样的坐标系中,控制部11能根据床的尺寸确定床框FD的位置。下面,说明算出将摄像机坐标系的坐标变换为该床坐标系的坐标的射影变换矩阵M的方法。
首先,用以下的数学式15表现使朝着水平方向的摄像机的拍摄方向俯仰(ピッチ)角度α的旋转矩阵R。控制部11通过将该旋转矩阵R应用到由以下的数学式16及数学式17表示的关系式中而能够分别求出在图15中例示的、表示摄像机坐标系中的床的方向的向量Z以及表示在摄像机坐标系中的床的高度方向上方的向量U。需要注意的是,包含在由数学式16及数学式17表示的关系式中的“*”意思是矩阵的乘法。
[数学式15]
[数学式16]
Z=(sinθ 0 -cosθ 0)*R
[数学式17]
U=(0 1 0 0)*R
接着,通过将向量U及Z应用到由以下的数学式18表示的关系式中,从而能够求出在图16中例示的、沿着床的宽度方向的床坐标系的单位向量X。另外,控制部11通过将向量Z及X应用到由以下的数学式19表示的关系式中,从而能够求出沿着床的高度方向的床坐标系的单位向量Y。然后,控制部11通过将摄像机坐标系中的基准点p的坐标P、向量X、Y及Z应用到由以下的数学式20表示的关系式中,从而能够求出将摄像机坐标系的坐标变换为床坐标系的坐标的射影变换矩阵M。需要说明的是,包含在由数学式18及数学式19表示的关系式中的“×”意思是向量的外积。
[数学式18]
[数学式19]
Y=Z×X
[数学式20]
图17例示本实施方式所涉及的摄像机坐标系与床坐标系之间的关系。如图17所例示的,算出的射影变换矩阵M能够将摄像机坐标系的坐标变换为床坐标系的坐标。因此,如果利用射影变换矩阵M的逆矩阵,则就能够将床坐标系的坐标变换为摄像机坐标系的坐标。也就是说,通过利用射影变换矩阵M,从而摄像机坐标系的坐标与床坐标系的坐标可相互变换。在此,正如以上所述,摄像机坐标系的坐标与拍摄图像3内的坐标能相互变换。为此,在此时间点,床坐标系的坐标与拍摄图像3内的坐标能够相互变换。
在此,正如以上所述,在床的尺寸已被确定的情况下,控制部11能够在床坐标系中确定假想的床框FD的位置。也就是说,控制部11能够在床坐标系中确定假想的床框FD的坐标。因此,控制部11利用射影变换矩阵M,将床坐标系中的框FD的坐标逆变换为摄像机坐标系中的框FD的坐标。
另外,摄像机坐标系的坐标与拍摄图像内的坐标之间的关系通过由上述数学式6~8表示的关系式来表现。为此,控制部11根据由上述数学式6~8表示的关系式,能够由摄像机坐标系中的框FD的坐标确定描画于拍摄图像3内的框FD的位置。也就是说,控制部11能够根据射影变换矩阵M和表示床的尺寸的信息在各坐标系中确定假想的床框FD的位置。通过这种方式,控制部11也可以如在图13所例示的那样将假想的床框FD描画于拍摄图像3内。
返回至图13,在画面50上,还设有用于接收重新设定的“返回”按钮55和用于完成设定并开始监护的“开始”按钮56。当使用者操作了“返回”按钮55时,控制部11使处理返回至步骤S103。
另一方面,当使用者操作了“开始”按钮56时,控制部11确定基准点p的位置及床的方向θ。即,控制部11在操作了该按钮56时将根据已被指定的基准点p的位置及床的方向θ而确定的床框FD的范围设定为床上表面的范围。然后,控制部11使处理前进至下一步骤S106。
这样,在本实施方式中,能够通过指定基准点p的位置和床的方向θ来设定床上表面的范围。例如,如在图13中所例示的,在拍摄图像3中未必包括整个床。为此,为了设定床上表面的范围,例如在必须指定床的四角这样的系统中,有可能无法设定床上表面的范围。然而,在本实施方式中,为了设定床上表面的范围而要指定位置的点为1点(基准点p)即可。由此,在本实施方式中,能够提高摄像机2的设置位置的自由度,并且能够使监护系统变得容易适用于监护环境。
另外,在本实施方式中,作为使基准点p对应的规定位置,采用了床上表面的中央。床上表面的中央是不论从哪一个方向拍摄床都易于拍到拍摄图像3中的地方。为此,通过采用床上表面的中央作为使基准点p对应的规定位置,从而能够进一步提高摄像机2的设置位置的自由度。
不过,如果摄像机2的设置位置的自由度提高,则会导致配置摄像机2的选择范围扩大,具有对使用者来说摄像机2的配置反而变困难的可能性。对此,在本实施方式中,通过在将摄像机2的配置位置的候选显示于触摸面板显示器13的同时向使用者指示摄像机2的配置,从而使摄像机2的配置变得容易,解决了这样的问题。
需要注意的是,存储床上表面的范围的方法也可以根据实施的方式而适当地设定。正如上面所述,通过从摄像机坐标系变换为床坐标系的射影变换矩阵M和表示床的尺寸的信息,控制部11能够确定床框FD的位置。为此,信息处理装置1也可以在操作了按钮56时存储根据已指定的基准点p的位置及床的方向θ而算出的射影变换矩阵M和表示床的尺寸的信息作为表示在步骤S105中设定的床上表面的范围的信息。
(步骤S106~步骤S108)
在步骤S106中,控制部11作为设定部24而发挥作用,判断在步骤S101中选择的“规定行为”的检测区域是否拍到拍摄图像3内。然后,当判断为在步骤S101中选择的“规定行为”的检测区域未拍到拍摄图像3内的情况下,控制部11使处理前进至下一步骤S107。另一方面,当判断为在步骤S101中选择的“规定行为”的检测区域拍到拍摄图像3内的情况下,控制部11结束本动作例所涉及的关于床的位置的设定,并开始后述的行为检测所涉及的处理。
在步骤S107中,控制部11作为设定部24而发挥作用,将指示有可能不能正常进行在步骤S101中选择的“规定行为”的检测的警告消息输出至触摸面板显示器13等。在警告消息中,也可以包括指示有可能不能正常进行检测的“规定行为”及未拍到拍摄图像3内的检测区域的场所的信息。
于是,控制部11与该警告消息同时或在其之后接收是否在对监护对象者进行监护之前重新进行设定的选择,并使处理前进至下一步骤S108。在步骤S108中,控制部11根据使用者的选择判断是否重新进行设定。在使用者选择了重新进行设定的情况下,控制部11使处理返回至步骤S105。另一方面,在使用者选择了不进行重新设定的情况下,结束本动作例所涉及的关于床的位置的设定,并开始后述的行为检测所涉及的处理。
需要注意的是,正如后述的那样,“规定行为”的检测区域是根据用于检测“规定行为”的规定条件和在步骤S105中设定的床上表面的范围而确定的区域。即,该“规定行为”的检测区域是监护对象者进行了“规定行为”时出现的规定前景区域的位置的区域。为此,控制部11通过判断拍到前景区域的对象是否包含在该检测区域而能检测监护对象者的各行为。
为此,在检测区域未拍到拍摄图像3内的情况下,本实施方式所涉及的监护系统就有可能无法恰当地检测监护对象者的对象行为。因此,本实施方式涉及的信息处理装置1通过步骤S106判断是否存在这样的无法恰当地检测监护对象者的对象行为的可能性。然后,在具有那样的可能性的情况下,信息处理装置1通过步骤S107输出警告消息,从而能够通知使用者有可能无法恰当地检测对象行为。为此,在本实施方式中,能够减少监护系统的设定错误。
需要说明的是,判断检测区域是否拍到拍摄图像3内的方法也可以根据实施的方式而适当地设定。例如,控制部也可以通过判断检测区域的规定的点是否拍到拍摄图像3内来确定检测区域是否拍到拍摄图像3内。
(其它)
需要注意的是,也可以是,控制部11作为未完成通知部28而发挥作用,当在开始步骤S101的处理之后的规定时间内本动作例所涉及的关于床的位置的设定未完成时,进行用于告知关于床的位置的设定尚未完成的通知。由此,能够防止在关于床的位置的设定的中途搁置监护系统。
在此,作为通知关于床的位置的设定未完成的标准的规定时间既可以作为设定值而预先设定,也可以根据使用者的输入值而确定,还可以通过从多个设定值中进行选择而确定。并且,进行这样的用于告知设定未完成的通知的方法也可以根据实施的方式而适当地设定。
例如,控制部11也可以与连接于信息处理装置1的护士呼叫器等设置于福利机构中的设备协作来进行该设定未完成的通知。例如,控制部11也可以控制经由外部接口15连接的护士呼叫器,从而通过该护士呼叫器进行呼叫来作为用于告知关于床的位置的设定未完成的通知。由此,向监护监护对象者的行为的人恰当地通知监护系统的设定未完成变为可能。
另外,例如,控制部11也可以通过从连接于信息处理装置1的扬声器14中输出声音来进行设定未完成的通知。在该扬声器14配置于床的周边的情况下,通过用扬声器14进行这样的通知,从而能向位于进行监护的场所周边的人告知监护系统的设定未完成。该位于进行监护的场所周边的人中也可以包括监护对象者。由此,也可以将监护系统的设定未完成的情况通知给监护对象者自己。
另外,例如,控制部11也可以使用于告知设定未完成的画面显示于触摸面板显示器13上。另外,例如,控制部11也可以利用电子邮件来进行这样的通知。在这种情况下,例如,作为通知目的地的用户终端的电子邮件地址被预先登记于存储部12中,控制部11利用该预先登记的电子邮件地址来进行用于告知设定未完成的通知。
[监护对象者的行为检测]
接着,使用图18来说明通过信息处理装置1进行的监护对象者的行为检测的处理步骤。图18例示通过信息处理装置1进行的监护对象者的行为检测的处理步骤。该关于行为检测的处理步骤只不过是一个例子,各处理也可以尽可能地变更。并且,关于以下说明的处理步骤,可根据实施动方式适当地进行步骤的省略、置换以及追加。
(步骤S201)
在步骤S201中,控制部11作为图像取得部21而发挥作用,取得通过摄像机2拍摄到的拍摄图像3,该摄像机2是为了对监护对象者在床上的行为进行监护而设置的。在本实施方式中,由于摄像机2具有深度传感器,因此在所取得的拍摄图像3中包括有表示各像素的深度的深度信息。
在此,使用图19及图20来对控制部11取得的拍摄图像3进行说明。图19例示通过控制部11取得的拍摄图像3。与图2同样,在图19中例示的拍摄图像3的各像素的灰度值根据该各像素的深度而确定。即,各像素的灰度值(像素值)对应于拍到该各像素的对象的深度。
正如上所述的,控制部11能够根据该深度信息确定拍到各像素的对象在真实空间的位置。即,控制部11能够根据拍摄图像3内的各像素的位置(二维信息)和深度确定拍到该各像素内的被拍摄体在三维空间(真实空间)中的位置。例如,拍到在图19中例示的拍摄图像3中的被拍摄体在真实空间中的状态在接下来的图20中例示。
图20例示基于包含在拍摄图像3中的深度信息而确定的拍摄范围内的被拍摄体的位置的三维分布。通过以拍摄图像3内的位置和深度将各像素标示于三维空间内,从而能够创建图20中例示的三维分布。也就是说,控制部11能够如图20中例示的三维分布那样识别拍到拍摄图像3内的被拍摄体在真实空间内的状态。
需要说明的是,本实施方式涉及的信息处理装置1被用于在医疗机构或护理机构中监护住院病人或福利机构入住者。因此,控制部11也可以与摄像机2的视频信号同步地取得拍摄图像3,以便能够实时地监护住院病人或福利机构入住者的行为。而且,控制部11也可以对已取得的拍摄图像3立即执行后述的步骤S202~S205的处理。信息处理装置1通过不间断地连续执行这样的动作,从而实现实时图像处理,使实时地监护住院病人或福利机构入住者的行为变为可能。
(步骤S202)
返回至图18,在步骤S202中,控制部11作为前景提取部22而发挥作用,根据被设定作为在步骤S201中取得的拍摄图像3的背景的背景图像与拍摄图像3的差分,提取该拍摄图像3的前景区域。在此,背景图像是为了提取前景区域而被利用的数据,被设定为包括作为背景的对象的深度。创建背景图像的方法也可以根据实施的方式而适当地设定。例如,控制部11也可以通过算出在开始了监护对象者的监护时获得的数帧量的拍摄图像的平均来创建背景图像。此时,通过也包括深度信息并算出拍摄图像的平均,从而创建包括深度信息的背景图像。
图21例示图19及图20中例示的被拍摄体中从拍摄图像3提取的前景区域的三维分布。具体而言,图21例示了监护对象者在床上起来了时所提取的前景区域的三维分布。利用上述那样的背景图像而提取的前景区域出现于从在背景图像中示出的真实空间内的状态发生了变化的位置。为此,当监护对象者在床上活动了时,拍有监护对象者的动作部位的区域作为该前景区域而被提取。例如,在图21中,由于监护对象者正在床上进行立起上半身(起来)的动作,因此,拍有监护对象者的上半身的区域作为前景区域而被提取。控制部11使用这样的前景区域来判断监护对象者的动作。
需要注意的是,在本步骤S202中,控制部11提取前景区域的方法也可以不限定于以上那样的方法,例如,也可以使用背景差分法来分离背景和前景。作为背景差分法,例如,可列举出:根据上述那样的背景图像与输入图像(拍摄图像3)的差分而分离背景和前景的方法、使用不同的三张图像分离背景和前景的方法、以及通过应用统计模型来分离背景和前景的方法。提取前景区域的方法可以没有特别的限制,可以根据实施的方式而适当地选择。
(步骤S203)
返回至图18,在步骤S203中,控制部11作为行为检测部23而发挥作用,根据在步骤S202中提取的前景区域内的像素的深度而判断拍到前景区域的对象与床上表面的位置关系是否满足规定的条件。然后,控制部11根据该判断结果来检测监护对象者的行为。
在此,当只有“起来”被选择为检测对象行为的情况下,在上述关于床的位置的设定处理中,省略床上表面的范围的设定,而只设定床上表面的高度。因此,控制部11通过判断拍到前景区域的对象相对于所设定的床上表面在真实空间内是否存在于规定距离以上高的位置,从而检测监护对象者的起来。
另一方面,在“下床”、“端坐”以及“越过护栏”中至少任一行为被选择为检测对象行为的情况下,设定床上表面在真实空间内的范围作为检测监护对象者的行为的基准。因此,控制部11通过判断所设定的床上表面与拍到前景区域的对象在真实空间内的位置关系是否满足规定条件来检测被选择为监护对象的行为。
即,不论在哪一种情况下,控制部11都是根据拍到前景区域的对象与床上表面在真实空间内的位置关系而检测监护对象者的行为。为此,用于检测监护对象者的行为的规定条件可相当于用于判断拍到前景区域的对象是否包含在以床上表面为基准而设定的规定区域中的条件。该规定区域相当于上述的检测区域。因此,下面,为了说明的方便,对基于该检测区域与前景区域的关系来检测监护对象者的行为的方法进行说明。
不过,检测监护对象者的行为的方法可以不局限于基于该检测区域的方法,也可以根据实施的方式而适当设定。另外,判断拍到前景区域的对象是否包括在检测区域中的方法也可以根据实施的方式而适当设定。例如,也可以通过评价是否阈值以上的像素数的前景区域出现于检测区域来判断拍到前景区域的对象是否包含在检测区域中。在本实施方式中,作为检测对象行为,例示有“起来”、“下床”、“端坐”以及“越过护栏”。控制部11按下述这样来检测这些行为。
(1)起来
在本实施方式中,当在步骤S101中将“起来”选择为检测对象行为时,监护对象者的“起来”成为本步骤S203的判断对象。在起来的检测中使用在步骤S103中设定的床上表面的高度。当步骤S103中的床上表面的高度设定完成时,控制部11根据所设定的床上表面的高度来确定用于检测起来的检测区域。
图22示意性例示用于检测起来的检测区域DA。例如,如在图22中所例示的,检测区域DA设定于从在步骤S103中指定的指定面(床上表面)DF起向床的高度方向上方的高度为距离hf以上的位置。该距离hf相当于本发明的“第二规定距离”。检测区域DA的范围可以没有特别的限制,也可以根据实施的方式而适当地设定。控制部11也可以在判断为拍到阈值以上的像素数的前景区域的对象包括在检测区域DA的情况下,检测出监护对象者在床上起来。
(2)下床
当在步骤S101中将“下床”选择为检测对象行为时,监护对象者的“下床”成为本步骤S203的判断对象。在下床的检测中使用在步骤S105中设定的床上表面的范围。当步骤S105中的床上表面的范围设定完成时,控制部11能够根据所设定的床上表面的范围来确定用于检测下床的检测区域。
图23示意性例示用于检测下床的检测区域DB。设想:在监护对象者从床上已下床的情况下,前景区域出现于与床的侧框架分离的位置。因此,如在图23中所例示的,检测区域DB也可以根据在步骤S105中确定的床上表面的范围而设定于与床的侧框架分离的位置。检测区域DB的范围与上述检测区域DA同样地可以根据实施的方式而适当地设定。控制部11也可以在判断为拍到阈值以上的像素数的前景区域的对象包括在检测区域DB中时,检测出监护对象者从床上下床。
(3)端坐
当在步骤S101中将“端坐”选择为检测对象行为时,监护对象者的“端坐”成为本步骤S203的判断对象。在端坐的检测中,与下床的检测同样地,使用在步骤S105中设定的床上表面的范围。当步骤S105中的床上表面的范围的设定完成时,控制部11能够根据所设定的床上表面的范围确定用于检测端坐的检测区域。
图24示意性例示用于检测端坐的检测区域DC。设想:当监护对象者在床上进行了端坐时,前景区域从床的上方至下方出现在床的侧框架周边。因此,如在图24中所例示的,检测区域DC也可以从床的上方至下方出现在床的侧框架周边。控制部11也可以在判断为拍到阈值以上的像素数的前景区域的对象被包括在检测区域DC中的情况下,检测出监护对象者在床上的端坐。
(4)越过护栏
当在步骤S101中将“越过护栏”选择为检测对象行为时,监护对象者的“越过护栏”成为本步骤S203的判断对象。在越过护栏的检测中与下床及端坐的检测同样地使用在步骤S105中设定的床上表面的范围。当步骤S105中的床上表面的范围的设定完成时,控制部11能够根据所设定的床上表面的范围确定用于检测越过护栏的检测区域。
在此,设想:当监护对象者进行了越过护栏的情况下,前景区域出现于床的侧框架周边且在床的上方。因此,用于检测越过护栏的检测区域也可以设定于床的侧框架周边且为床的上方。控制部11也可以在判断为拍到阈值以上的像素数的前景区域的对象被包括在该检测区域中的情况下,检测出监护对象者越过护栏。
(5)其它
在本步骤S203中,控制部11如上述这样进行在步骤S101中选择的各行为的检测。即,控制部11能够在判断为满足对象行为的上述判断条件的情况下检测出该对象行为。另一方面,当判断为不满足在步骤S101中选择的各行为的上述判断条件的情况下,控制部11没有检到监护对象者的行为,使处理前进至下一步骤S204。
需要注意的是,正如上所述,在步骤S105中,控制部11能够算出将摄像机坐标系的向量变换为床坐标系的向量的射影变换矩阵M。并且,控制部11能够根据上述数学式6~数学式8确定拍摄图像3内的任意的点s在摄像机坐标系中的坐标S(Sx,Sy,Sz,1)。因此,当在(2)~(4)中检测各行为时,控制部11也可以利用该射影变换矩阵M而算出前景区域内的各像素在床坐标系中的坐标。然后,控制部11也可以利用算出的床坐标系的坐标来判断拍到前景区域内的各像素的对象是否包括在各检测区域中。
并且,检测监护对象者的行为的方法可以不限定于上述的方法,也可以根据实施的方式而适当地设定。例如,控制部11也可以通过取作为前景区域而提取的各像素在拍摄图像3内的位置及深度的平均来算出前景区域的平均位置。然后,控制部11也可以通过判断在真实空间内该前景区域的平均位置是否包括在作为检测各行为的条件而设定的检测区域中来检测监护对象者的行为。
进而,控制部11也可以根据前景区域的形状而确定拍到前景区域的身体部位。前景区域表示从背景图像上发生的变化。为此,拍到前景区域的身体部位对应于监护对象者的动作部位。基于此,控制部11也可以根据确定的身体部位(动作部位)与床上表面的位置关系来检测监护对象者的行为。与此同样地,控制部11也可以通过判断拍到包含于各行为的检测区域中的前景区域的身体部位是否为规定的身体部位来检测监护对象者的行为。
(步骤S204)
在步骤S204中,控制部11作为危险预兆通知部27而发挥作用,判断在步骤S203中检测出的行为是否为显示出危险迫近监护对象者的预兆的行为。当在步骤S203中检测出的行为为显示出危险迫近监护对象者的预兆的行为时,控制部11使处理前进至步骤S205。另一方面,当在步骤S203中未检测出监护对象者的行为时、或在步骤S203中检测出的行为并不是显示出危险迫近监护对象者的预兆的行为时,控制部11结束本动作例所涉及的处理。
被设定为显示出危险迫近监护对象者的预兆的行为的行为也可以根据实施的方式而适当地选择。例如,也可以是端坐作为有可能发生滚落或跌倒的行为而被设定为显示出危险迫近监护对象者的预兆的行为。在这种情况下,控制部11若在步骤S203中检测出监护对象者处于端坐的状态时,则判断为在步骤S203中检测出的行为是显示出危险迫近监护对象者的预兆的行为。
当判断在该步骤S203中检测出的行为是否为显示出危险迫近监护对象者的预兆的行为时,控制部11也可以考虑监护对象者的行为的转变。例如想象:与从下床变为端坐的状态相比,从起来变为端坐的状态发生监护对象者的滚落或跌倒的可能性更高。因此,控制部11在步骤S204中也可以基于监护对象者的行为的转变而判断在步骤S203中检测出的行为是否为显示出危险迫近监护对象者的预兆的行为。
例如,假设控制部11正在定期地检测监护对象者的行为,在步骤S203中,在检测出监护对象者起来之后又检测出监护对象者变为端坐的状态。此时,控制部11在本步骤S204中也可以判断为在步骤S203中推断出的行为是显示出危险迫近监护对象者的预兆的行为。
(步骤S205)
在步骤S205中,控制部11作为危险预兆通知部27而发挥作用,进行用于告知具有危险迫近监护对象者的预兆的通知。与上述设定未完成的通知同样地,控制部11进行该通知的方法也可以根据实施的方式而适当地设定。
例如,与上述设定未完成的通知同样地,控制部11既可以利用护士呼叫器进行用于告知具有危险迫近监护对象者的预兆的通知,也可以利用扬声器14而进行该通知。并且,控制部11既可以将用于告知具有危险迫近监护对象者的预兆的通知显示于触摸面板显示器13上,也可以利用电子邮件来进行该通知。
当该通知完成时,控制部11结束本动作例所涉及的处理。不过,信息处理装置1在定期性检测监护对象者的行为的情况下,也可以定期性地重复上述动作例中所示的处理。定期性地重复处理的间隔也可以适当地设定。另外,信息处理装置1也可以根据使用者的要求而执行上述动作例中所示的处理。
综上所述,本实施方式所涉及的信息处理装置1通过利用前景区域和被拍摄体的深度来评价监护对象者的动作部位与床在真实空间内的位置关系,以此检测监护对象者的行为。为此,根据本实施方式,可以进行符合真实空间中的监护对象者的状态的行为推断。
§4变形例
以上,虽然详细说明了本发明的实施方式,但前述的说明在所有方面都只不过是本发明的例示。可在不脱离本发明范围的前提下进行各种改良和变形,这一点自不必说。
(1)面积的利用
例如,被拍摄体离摄像机2越远,拍摄图像3内的被拍摄体的像越小,被拍摄体越接近摄像机2,拍摄图像3内的被拍摄体的像越大。虽然拍到拍摄图像3内的被拍摄体的深度相对于被拍摄体的表面而取得,但对应于该拍摄图像3的各像素的被拍摄体的表面部分的面积在各像素间未必一致。
因此,为了排除由于被拍摄体的远近所带来的影响,控制部11也可以在上述步骤S203中算出拍到前置区域的被拍摄体中包含于检测区域中的部分在真实空间中的面积。然后,控制部11也可以根据算出的面积来检测监护对象者的行为。
需要说明的是,拍摄图像3内的各像素在真实空间中的面积可根据该各像素的深度按下述这样求出。控制部11可根据以下的数学式21及数学式22的关系式而分别算出图10及图11中例示的任意的点s(1像素)在真实空间内的横向长度w及纵向长度h。
[数学式21]
[数学式22]
因此,控制部11可通过如此算出的w的平方、h的平方、或w与h之积来求出深度Ds上的1像素在真实空间内的面积。因此,控制部11在上述步骤S203中算出前置区域内的像素中拍有包含于检测区域中的对象的各像素在真实空间内的面积的总和。然后,控制部11也可以通过判断算出的面积的总和是否包括在规定范围内来检测监护对象者在床上的行为。由此,能够排除被拍摄体的远近的影响,进而提高监护对象者的行为的检测精度。
需要注意的是,这样的面积有时会因深度信息的噪声、监护对象者以外的物体的移动等而发生大的变化。为了应对该问题,控制部11也可以利用数帧量的面积的平均。另外,控制部11也可以在处理对象帧中的相应区域的面积与该处理对象帧之前的数帧中的该相应区域的面积的平均之差超过规定范围的情况下,将该相应区域从处理对象中排除。
(2)利用了面积及弥散(分散)的行为推断
在利用上述那样的面积来检测监护对象者的行为的情况下,作为用于检测行为的条件的面积的范围根据被设想为包括在检测区域中的监护对象者的规定部位而设定。该规定部位例如为监护对象者的头部、肩部等。即,根据监护对象者的规定部位的面积而设定作为用于检测行为的条件的面积的范围。
不过,光是拍到前置区域的对象在真实空间内的面积的话,控制部11并不能够确定拍到该前置区域的对象的形状。为此,控制部11可能搞错包含在检测区域中的监护对象者的身体部位而导致误检测监护对象者的行为。因此,控制部11也可以利用表示真实空间中的扩展情况的弥散来防止这样的误检测。
使用图25来说明该弥散。图25例示区域的扩展情况与弥散的关系。设图25中例示的区域TA及区域TB分别为相同面积。当欲只用上述那样的面积来推断监护对象者的行为时,会导致控制部11识别为区域TA与区域TB相同,因此有可能导致误检测监护对象者的行为。
然而,如在图25中例示的,区域TA与区域TB在真实空间中的扩展大大地不同(在图25中水平方向的扩展情况)。因此,控制部11也可以在上述步骤S203中算出包含于前置区域的像素中拍有包括于检测区域的对象的各像素的弥散。然后,控制部11也可以根据算出的弥散是否包括在规定范围内的判断来检测监护对象者的行为。
需要注意的是,与上述面积的例子同样,作为行为检测的条件的弥散的范围是根据被设想为包括在检测区域中的监护对象者的规定部位而设定的。例如,在设想被包括在检测区域中的规定部位是头部的情况下,作为行为检测的条件的弥散的值在较小值的范围内设定。另一方面,在设想被包括在检测区域中的规定部位是肩部的情况下,作为行为检测的条件的弥散的值在较大值的范围内设定。
(3)前景区域的不利用
在上述实施方式中,控制部11(信息处理装置1)利用在步骤S202中提取的前景区域来检测监护对象者的行为。然而,检测监护对象者的行为的方法可以不限定于这样的利用了前景区域的方法,也可以根据实施的方式而适当地选择。
在检测监护对象者的行为时不利用前景区域的情况下,控制部11也可以省略上述步骤S202的处理。于是,控制部11也可以作为行为检测部23而发挥作用,通过根据拍摄图像3内的各像素的深度来判断床基准面与监护对象者在真实空间内的位置关系是否满足规定条件,从而检测监护对象者的与床关联的行为。作为这种例子,例如,作为步骤S203的处理,控制部11也可以通过模式检测、图形元素检测等来解析拍摄图像3,以确定与监护对象者关联的像。与监护对象者关联的像既可以为监护对象者的全身像,也可以为头部、肩部等一个或多个身体部位的像。然后,控制部11也可以根据确定的和监护对象者关联的像与床在真实空间内的位置关系来检测监护对象者的与床关联的行为。
需要注意的是,如上所述,用于提取前景区域的处理只不过是计算拍摄图像3与背景图像的差分的处理。为此,在如上述实施方式那样利用前景区域来检测监护对象者的行为的情况下,控制部11(信息处理装置1)不利用高度的图像处理即可检测监护对象者的行为。由此,可以使监护对象者的行为的检测所涉及的处理高速化。
(4)床上表面的范围的设定方法
在上述实施方式的步骤S105中,信息处理装置1(控制部11)通过接收床的基准点的位置及床的方向的指定而确定了床上表面在真实空间内的范围。然而,确定床上表面在真实空间内的范围的方法可以不限定于这样的例子,也可以根据实施的方式而适当地选择。例如,信息处理装置1也可以通过接收规定床上表面的范围的四个角中的两个角的指定而确定床上表面在真实空间内的范围。以下,使用图26来说明该方法。
图26例示在接收床上表面的范围的设定时显示于触摸面板显示器13上的画面60。控制部11替换成上述步骤S105的处理来执行该处理。即,为了在步骤S105中接收床上表面的范围的指定,控制部11将画面60显示于触摸面板显示器13。画面60包括:描画从摄像机2中获得的拍摄图像3的区域61、用于指定规定床上表面的四个角中的两个角的两个标识62。
正如上所述,床的尺寸大多是根据监护环境而预先决定的,控制部11根据预定的设定值或使用者的输入值而能确定床的尺寸。然后,如果能够确定规定床上表面的范围的四个角中的两个角在真实空间内的位置,则通过将表示床的尺寸的信息(以下,也称为床的尺寸信息)应用到这两个角的位置而能确定床上表面在真实空间内的范围。
因此,控制部11例如采用与在上述实施方式中算出了通过标识52指定的基准点p在摄像机坐标系中的坐标P的方法同样的方法,算出通过两个标识62分别指定的两个角在摄像机坐标系中的坐标。由此,控制部11能够确定该两个角在真实空间上的位置。在图26所例示的画面60中,使用者指定床头板侧的两个角。为此,控制部11将该确定了在真实空间内的位置的两个角作为床头板侧的两个角来看待并推断床上表面的范围,从而确定床上表面在真实空间内的范围。
例如,控制部11将连接确定了在真实空间内的位置的两个角之间的向量的方向确定为床头板的方向。在这种情况下,控制部11也可以将任一个角作为向量的起点来看待。然后,控制部11将与该向量在相同高度并朝着垂直方向的向量的方向确定作为侧框架的方向。在作为侧框架的方向有多个候选的情况下,控制部11既可以按照预定的设定来确定侧框架的方向,也可以基于使用者的选择而确定侧框架的方向。
另外,控制部11使根据床的尺寸信息确定的床的横宽的长度与确定了在真实空间内的位置的两个角之间的距离建立对应。由此,表现真实空间的坐标系(例如摄像机坐标系)中的缩尺与真实空间建立对应。然后,控制部11根据由床的尺寸信息确定的床的纵长的长度,分别由床头板侧的两个角确定存在于侧框架的方向上的床尾板侧的两个角在真实空间内的位置。由此,控制部11能够确定床上表面在真实空间内的范围。控制部11将通过这种方式确定的范围设定为床上表面的范围。详细而言,控制部11在操作了“开始”按钮时将根据所指定的标识62的位置而确定的范围设定为床上表面的范围。
需要注意的是,在图26中,作为接收指定的两个角,例示了床头板侧的两个角。然而,接收指定的两个角可以不限定于这样的例子,也可以从规定床上表面的范围的四个角中适当选择。
另外,接收规定床上表面的范围的四个角中的哪个角的位置的指定既可以如上述这样预先确定,也可以根据使用者的选择而决定。该作为被使用者指定位置的对象的角的选择既可以在指定位置之前进行,也可以在指定了位置之后进行。
进而,控制部11也可以与上述实施方式同样地将由所指定的两个标识的位置确定的床框FD描画于拍摄图像3内。通过如此地将床框FD描画于拍摄图像3内,从而能使使用者确认已指定的床的范围,同时使使用者视认指定哪个角的位置好。
(5)其它
需要说明的是,上述实施方式所涉及的信息处理装置1根据考虑了摄像机2的俯仰角α的关系式而算出了关于床的位置的设定的各种值。不过,信息处理装置1考虑的摄像机2的属性值可以不限定于该俯仰角α,也可以根据实施的方式而适当地选择。例如,上述信息处理装置1也可以根据除考虑了摄像机2的俯仰角α以外还考虑了摄像机2的侧倾角等的关系式来算出关于床的位置的设定的各种值。
符号说明
1…信息处理装置、2…摄像机、3…拍摄图像、5…程序、6…存储介质、21…图像取得部、22…前景提取部、23…行为检测部、24…设定部、25…显示控制部、26…行为选择部、27…危险预兆通知部、28…未完成通知部。

Claims (16)

1.一种信息处理装置,包括:
图像取得部,取得通过拍摄装置拍摄到的拍摄图像,所述拍摄装置是为了监护监护对象者在床上的行为而设置的,所述拍摄图像包括表示该拍摄图像内的各像素的深度的深度信息;
设定部,接收所述床的基准面的高度的指定,并将该指定的高度设定为所述床的基准面的高度;
显示控制部,在所述设定部接收所述床的基准面的高度的指定时,根据由所述深度信息表示的所述拍摄图像内的各像素的深度,在所述拍摄图像上明示拍有位于作为所述床的基准面的高度而被指定的高度上的对象的区域,并使所取得的所述拍摄图像显示于显示装置;以及
行为检测部,根据由所述深度信息表示的所述拍摄图像内的各像素的深度,判断所述床的基准面与所述监护对象者在真实空间内的所述床的高度方向上的位置关系是否满足规定的条件,从而检测所述监护对象者的与所述床关联的行为。
2.根据权利要求1所述的信息处理装置,其中,
所述设定部接收所述床上表面的高度的指定作为所述床的基准面的高度,
所述显示控制部控制所取得的所述拍摄图像的显示,使得根据指定的所述床上表面的高度,在所述拍摄图像上通过第一显示形式明示拍有能够对应该床上表面的对象的区域。
3.根据权利要求2所述的信息处理装置,其中,
在所述设定部接收所述床上表面的高度的指定时,所述显示控制部控制所取得的所述拍摄图像的显示,使得在所述拍摄图像上,还通过第二显示形式明示拍有从以所述第一显示形式明示的区域起向所述床的高度方向上方位于第一规定距离的范围内的对象的区域。
4.根据权利要求3所述的信息处理装置,其中,
所述显示控制部控制所取得的所述拍摄图像的显示,使得由于对应所述床的护栏的高度设定所述第一规定距离,从而在所述拍摄图像上通过所述第二显示形式明示拍有能够对应所述床的护栏的对象的区域。
5.根据权利要求2至4中任一项所述的信息处理装置,其中,
所述行为检测部通过判断与所述监护对象者关联的像相对于所设定的所述床上表面在真实空间内是否存在于第二规定距离以上高的位置来检测所述监护对象者在所述床上的起来。
6.根据权利要求3或4所述的信息处理装置,其中,
所述行为检测部通过判断与所述监护对象者关联的像相对于所设定的所述床上表面在真实空间内是否存在于第二规定距离以上高的位置来检测所述监护对象者在所述床上的起来,
在所述设定部接收所述床上表面的高度的指定时,所述显示控制部控制所取得的所述拍摄图像的显示,使得在所述拍摄图像上通过第三显示形式明示拍有从以所述第一显示形式明示的区域起向所述床的高度方向上方位于所述第二规定距离以上的高度上的对象的区域。
7.根据权利要求1至6中任一项所述的信息处理装置,其中,
所述信息处理装置还包括前景提取部,所述前景提取部根据被设定作为所述拍摄图像的背景的背景图像与所述拍摄图像的差分而提取所述拍摄图像的前景区域,
所述行为检测部将根据所述前景区域内的各像素的深度而确定的拍到所述前景区域的对象在真实空间内的位置用作所述监护对象者的位置,并通过判断所述床的基准面与所述监护对象者在真实空间内的所述床的高度方向上的位置关系是否满足规定的条件来检测所述监护对象者的与所述床关联的行为。
8.根据权利要求2至6中任一项所述的信息处理装置,其中,
所述信息处理装置还包括行为选择部,所述行为选择部从包括在所述床的端部附近或外侧进行的所述监护对象者的规定行为的、所述监护对象者的与床关联的多个行为中接收针对所述监护对象者的作为监护对象的行为的选择,
所述设定部在所述规定行为包括在被选择作为所述监护对象的行为中时,在设定了所述床上表面的高度之后,为了确定所述床上表面的范围,还在所述拍摄图像内接收设定于所述床上表面内的基准点的位置和所述床的方向的指定,并根据所指定的所述基准点的位置及所述床的方向设定所述床上表面在真实空间内的范围,
所述行为检测部通过判断所设定的所述床的上表面与所述监护对象者在所述真实空间内的位置关系是否满足规定的条件来检测被选择作为所述监护对象的所述规定行为。
9.根据权利要求2至6中任一项所述的信息处理装置,其中,
所述信息处理装置还包括行为选择部,所述行为选择部从包括在所述床的端部附近或外侧进行的所述监护对象者的规定行为的、所述监护对象者的与床关联的多个行为中接收针对所述监护对象者的作为监护对象的行为的选择,
所述设定部在所述规定行为包括在被选择作为所述监护对象的行为中时,在设定了所述床上表面的高度之后,还在所述拍摄图像内接收规定床上表面的范围的四个角中的两个角的位置的指定,并根据所指定的该两个角的位置设定所述床上表面在真实空间内的范围,
所述行为检测部通过判断所设定的所述床的上表面与所述监护对象者在所述真实空间内的位置关系是否满足规定的条件来检测被选择作为所述监护对象的所述规定行为。
10.根据权利要求8或9所述的信息处理装置,其中,
所述设定部判断根据为了检测被选择作为所述监护对象的所述规定行为而设定的所述规定条件,相对于设定的所述床上表面的范围而确定的检测区域是否拍到所述拍摄图像内,并且,在判断为被选择作为所述监护对象的所述规定行为的检测区域未拍到所述拍摄图像内的情况下,输出表示有可能不能正常进行被选择作为所述监护对象的所述规定行为的检测的警告消息。
11.根据权利要求8至10中任一项所述的信息处理装置,其中,
所述信息处理装置还包括前景提取部,所述前景提取部根据被设定作为所述拍摄图像的背景的背景图像与所述拍摄图像的差分而提取所述拍摄图像的前景区域,
所述行为检测部将根据所述前景区域内的各像素的深度而确定的拍到所述前景区域的对象在真实空间内的位置用作所述监护对象者的位置,并通过判断所述床上表面与所述监护对象者在真实空间内的位置关系是否满足规定的条件来检测被选择作为所述监护对象的所述规定行为。
12.根据权利要求1至11中任一项所述的信息处理装置,其中,
当所述设定部接收所述床的基准面的高度的指定时,所述显示控制部控制所取得的所述拍摄图像的显示,使得在所述拍摄图像上以不同的显示形式明示拍有在真实空间内位于作为所述床的基准面的高度而被指定的高度的上方的对象的区域和拍有位于下方的对象的区域。
13.根据权利要求1至12中任一项所述的信息处理装置,其中,
所述信息处理装置还包括危险预兆通知部,所述危险预兆通知部在针对所述监护对象者检测到的行为为显示出危险迫近所述监护对象者的预兆的行为的情况下,进行用于告知该预兆的通知。
14.根据权利要求1至13中任一项所述的信息处理装置,其中,
所述信息处理装置还包括未完成通知部,所述未完成通知部在通过所述设定部进行的设定在规定时间内未完成的情况下,进行用于告知通过所述设定部进行的设定尚未完成的通知。
15.一种信息处理方法,其中,计算机执行以下步骤:
取得步骤,取得通过拍摄装置拍摄到的拍摄图像,所述拍摄装置是为了监护监护对象者在床上的行为而设置的,所述拍摄图像包括表示该拍摄图像内的各像素的深度的深度信息;
设定步骤,接收所述床的基准面的高度的指定,并将该指定的高度设定为所述床的基准面的高度;以及
检测步骤,根据由所述深度信息表示的所述拍摄图像内的各像素的深度,判断所述床的基准面与所述监护对象者在真实空间内的所述床的高度方向上的位置关系是否满足规定的条件,从而检测所述监护对象者的与所述床关联的行为,
当在所述设定步骤中接收所述床的基准面的高度的指定时,所述计算机以根据由所述深度信息表示的所述拍摄图像内的各像素的深度,在所述拍摄图像上明示拍有位于作为所述床的基准面的高度而被指定的高度上的对象的区域的方式,使显示装置显示所取得的所述拍摄图像。
16.一种程序,用于使计算机执行以下步骤:
取得步骤,取得通过拍摄装置拍摄到的拍摄图像,所述拍摄装置是为了监护监护对象者在床上的行为而设置的,所述拍摄图像包括表示该拍摄图像内的各像素的深度的深度信息;
设定步骤,接收所述床的基准面的高度的指定,并将该指定的高度设定为所述床的基准面的高度;以及
检测步骤,根据由所述深度信息表示的所述拍摄图像内的各像素的深度,判断所述床的基准面与所述监护对象者在真实空间内的所述床的高度方向上的位置关系是否满足规定的条件,从而检测所述监护对象者的与所述床关联的行为,
当在所述设定步骤中接收所述床的基准面的高度的指定时,所述程序使所述计算机以根据由所述深度信息表示的所述拍摄图像内的各像素的深度,在所述拍摄图像上明示拍有位于作为所述床的基准面的高度而被指定的高度上的对象的区域的方式,使显示装置显示所取得的所述拍摄图像。
CN201580005224.4A 2014-02-18 2015-01-22 信息处理装置、信息处理方法及程序 Pending CN106415654A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014028655 2014-02-18
JP2014-028655 2014-02-18
PCT/JP2015/051632 WO2015125544A1 (ja) 2014-02-18 2015-01-22 情報処理装置、情報処理方法、及び、プログラム

Publications (1)

Publication Number Publication Date
CN106415654A true CN106415654A (zh) 2017-02-15

Family

ID=53878059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580005224.4A Pending CN106415654A (zh) 2014-02-18 2015-01-22 信息处理装置、信息处理方法及程序

Country Status (4)

Country Link
US (1) US20170049366A1 (zh)
JP (1) JP6489117B2 (zh)
CN (1) CN106415654A (zh)
WO (1) WO2015125544A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110520034A (zh) * 2017-04-28 2019-11-29 八乐梦床业株式会社 床系统
WO2021056446A1 (zh) * 2019-09-27 2021-04-01 西安大医集团股份有限公司 患者移动状态的检测方法、装置及系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10121062B2 (en) * 2014-11-03 2018-11-06 Koninklijke Philips N.V. Device, system and method for automated detection of orientation and/or location of a person
JP6613828B2 (ja) * 2015-11-09 2019-12-04 富士通株式会社 画像処理プログラム、画像処理装置、及び画像処理方法
WO2018005513A1 (en) * 2016-06-28 2018-01-04 Foresite Healthcare, Llc Systems and methods for use in detecting falls utilizing thermal sensing
JP6701018B2 (ja) * 2016-07-19 2020-05-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
DE102016015121A1 (de) * 2016-12-20 2018-06-21 Drägerwerk AG & Co. KGaA Vorrichtung, Verfahren und Computerprogramm zur Erfassung von optischen Bilddaten und zur Bestimmung einer Lage einer Seitenbegrenzung einer Patientenlagerungsvorrichtung
CN112287821B (zh) * 2020-10-28 2023-08-11 业成科技(成都)有限公司 照护对象行为监测方法、装置、计算机设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08150125A (ja) * 1994-09-27 1996-06-11 Kanebo Ltd 病室内患者監視装置
JP2009049943A (ja) * 2007-08-22 2009-03-05 Alpine Electronics Inc 距離画像によるトップビュー表示装置
WO2009029996A1 (en) * 2007-09-05 2009-03-12 Conseng Pty Ltd Patient monitoring system
US20090119843A1 (en) * 2007-11-12 2009-05-14 Valence Broadband, Inc. Monitoring patient support exiting and initiating response
JP2013078433A (ja) * 2011-10-03 2013-05-02 Panasonic Corp 監視装置、プログラム
JP2013149156A (ja) * 2012-01-20 2013-08-01 Fujitsu Ltd 状態検知装置および状態検知方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9311540B2 (en) * 2003-12-12 2016-04-12 Careview Communications, Inc. System and method for predicting patient falls
JP2007013814A (ja) * 2005-07-01 2007-01-18 Secom Co Ltd 検出領域の設定装置
US20080021731A1 (en) * 2005-12-09 2008-01-24 Valence Broadband, Inc. Methods and systems for monitoring patient support exiting and initiating response
US9866797B2 (en) * 2012-09-28 2018-01-09 Careview Communications, Inc. System and method for monitoring a fall state of a patient while minimizing false alarms
US9579047B2 (en) * 2013-03-15 2017-02-28 Careview Communications, Inc. Systems and methods for dynamically identifying a patient support surface and patient monitoring
US9204823B2 (en) * 2010-09-23 2015-12-08 Stryker Corporation Video monitoring system
US9489820B1 (en) * 2011-07-12 2016-11-08 Cerner Innovation, Inc. Method for determining whether an individual leaves a prescribed virtual perimeter
US9538158B1 (en) * 2012-10-16 2017-01-03 Ocuvera LLC Medical environment monitoring system
JP5818773B2 (ja) * 2012-11-22 2015-11-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9947112B2 (en) * 2012-12-18 2018-04-17 Koninklijke Philips N.V. Scanning device and method for positioning a scanning device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08150125A (ja) * 1994-09-27 1996-06-11 Kanebo Ltd 病室内患者監視装置
JP2009049943A (ja) * 2007-08-22 2009-03-05 Alpine Electronics Inc 距離画像によるトップビュー表示装置
WO2009029996A1 (en) * 2007-09-05 2009-03-12 Conseng Pty Ltd Patient monitoring system
US20090119843A1 (en) * 2007-11-12 2009-05-14 Valence Broadband, Inc. Monitoring patient support exiting and initiating response
JP2013078433A (ja) * 2011-10-03 2013-05-02 Panasonic Corp 監視装置、プログラム
JP2013149156A (ja) * 2012-01-20 2013-08-01 Fujitsu Ltd 状態検知装置および状態検知方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110520034A (zh) * 2017-04-28 2019-11-29 八乐梦床业株式会社 床系统
CN110520034B (zh) * 2017-04-28 2022-06-03 八乐梦床业株式会社 床系统
CN114795738A (zh) * 2017-04-28 2022-07-29 八乐梦床业株式会社 床系统
CN114795738B (zh) * 2017-04-28 2024-01-02 八乐梦床业株式会社 床系统
WO2021056446A1 (zh) * 2019-09-27 2021-04-01 西安大医集团股份有限公司 患者移动状态的检测方法、装置及系统

Also Published As

Publication number Publication date
JP6489117B2 (ja) 2019-03-27
JPWO2015125544A1 (ja) 2017-03-30
US20170049366A1 (en) 2017-02-23
WO2015125544A1 (ja) 2015-08-27

Similar Documents

Publication Publication Date Title
CN106415654A (zh) 信息处理装置、信息处理方法及程序
CN105283129B (zh) 信息处理装置、信息处理方法
CN105960663A (zh) 信息处理装置、信息处理方法及程序
CN105940428A (zh) 信息处理装置、信息处理方法及程序
CN105940434A (zh) 信息处理装置、信息处理方法及程序
CN105960664A (zh) 信息处理装置、信息处理方法及程序
JP6167563B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2017163955A1 (ja) 監視システム、画像処理装置、画像処理方法およびプログラム記録媒体
JP6780641B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
CN107958572B (zh) 一种婴儿监控系统
WO2014182898A1 (en) User interface for effective video surveillance
CN113052127A (zh) 一种行为检测方法、系统、计算机设备及机器可读介质
CN109858319A (zh) 图像处理设备及控制方法和非暂时性计算机可读存储介质
JP6773825B2 (ja) 学習装置、学習方法、学習プログラム、及び対象物認識装置
JP6819689B2 (ja) 画像処理装置、滞留物体追跡システム、画像処理方法および記録媒体
JP6607253B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
JP6565468B2 (ja) 呼吸検知装置、呼吸検知方法、及び呼吸検知プログラム
JP2018049479A (ja) 情報処理装置、評価システムおよびプログラム
Webb et al. Camera networks and computer vision for telehealth applications

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170215

WD01 Invention patent application deemed withdrawn after publication