CN105960663A - 信息处理装置、信息处理方法及程序 - Google Patents

信息处理装置、信息处理方法及程序 Download PDF

Info

Publication number
CN105960663A
CN105960663A CN201580006834.6A CN201580006834A CN105960663A CN 105960663 A CN105960663 A CN 105960663A CN 201580006834 A CN201580006834 A CN 201580006834A CN 105960663 A CN105960663 A CN 105960663A
Authority
CN
China
Prior art keywords
bed
behavior
shooting image
guardianship
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580006834.6A
Other languages
English (en)
Inventor
松本修
松本修一
村井猛
佐伯昭典
中川由美子
上辻雅义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritsu Precision Co Ltd
Original Assignee
Noritsu Precision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noritsu Precision Co Ltd filed Critical Noritsu Precision Co Ltd
Publication of CN105960663A publication Critical patent/CN105960663A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1115Monitoring leaving of a patient support, e.g. a bed or a wheelchair
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Alarm Systems (AREA)

Abstract

一种信息处理装置,当通过行为选择部(32)选择作为监护的对象的行为时,将对应于该选择的拍摄装置的配置位置的候选显示于画面(30)。其后,通过判断监护对象者与床的位置关系是否满足预定的条件,从而检测作为监护对象而被选择的行为。

Description

信息处理装置、信息处理方法及程序
技术领域
本发明涉及信息处理装置、信息处理方法以及程序。
背景技术
存在一种下述技术:通过从室内斜上方向室内下方拍摄到的图像的边界边来检测从地面区域向床区域的人体移动,从而判断上床情况,并且,通过检测从床区域向地面区域的人体移动,从而判断下床情况(专利文献1)。
另外,存在一种下述技术:将用于判断躺在床上的患者进行起床举动的监护区域设定为包含在床上就寝的患者的床的正上方区域,在表示从床的横向上被认为是患者的图像区域占包含监护区域的拍摄图像的监护区域的大小的变动值小于表示被认为是患者的图像区域占在患者躺在床上的状态下从摄像机得到的拍摄图像的监护区域的大小的初始值的情况下,判断患者正在进行起床举动(专利文献2)。
现有技术文献
专利文献
专利文献1:日本特开2002-230533号公报
专利文献2:日本特开2011-005171号公报
发明内容
发明要解决的技术问题
近年来,住院病人、福利机构入住者、要看护者等监护对象者从床上跌倒、滚落的事故、以及由痴呆症患者的来回走动所造成的事故处于逐年增加的趋势。作为防止这样的事故的方法,例如,已开发出像专利文献1及2中所例示那样的、通过用设置于室内的拍摄装置(摄像机)拍摄监护对象者并解析拍摄到的图像来检测起来、端坐、下床等监护对象者的行为的监护系统。
在通过这样的监护系统来监护监护对象者在床上的行为的情况下,监护系统例如根据监护对象者与床的相对位置关系来检测监护对象者的各行为。为此,如果由于进行监护的环境(以下,也称为“监护环境”)变化而导致拍摄装置相对于床的配置改变的话,则监护系统有可能无法恰当地检测监护对象者的行为。
为了避免这种事态,有必要恰当地进行监护系统的设置。然而,以前,这样的设置一直由系统的管理者进行,缺乏有关监护系统的知识的使用者并不能够容易地进行监护系统的设置。
本发明在一方面上是考虑这样的问题而做出的,其目的在于,提供一种有可能容易地进行监护系统的设置的技术。
用于解决技术问题的方案
本发明为解决上述技术问题而采用以下的构成。
即,本发明的一方面所涉及的信息处理装置包括:行为选择部,从监护对象者的与床关联的多个行为中接收针对该监护对象者的作为监护的对象的行为的选择;显示控制部,对应于作为所述监护的对象而被选择的行为,使拍摄装置相对于所述床的配置位置的候选显示于显示装置,该拍摄装置用于监护所述监护对象者在床上的行为;图像取得部,取得通过所述拍摄装置拍摄的拍摄图像;以及行为检测部,通过判断所述拍摄图像内显现的所述监护对象者与所述床的位置关系是否满足预定的条件,检测作为所述监护的对象而被选择的行为。
根据上述构成,通过拍摄装置来拍摄监护对象者在床上的行为。上述构成所涉及的信息处理装置,利用通过拍摄装置取得的拍摄图像而检测监护对象者的行为。因此,当由于监护环境变化而导致拍摄装置相对于床的配置改变时,上述构成所涉及的信息处理装置就具有无法适当地检测监护对象者的行为的可能性。
因此,上述构成所涉及的信息处理装置接收从监护对象者的与床关联的多个行为中对于该监护对象者做出的、作为监护对象的行为的选择。而且,上述构成所涉及的信息处理装置对应于作为监护的对象而被选择的行为,使用于对监护对象者在床上的行为进行监护的拍摄装置相对于床的配置位置的候选显示于显示装置。
由此,使用者只要按照显示装置上所显示的拍摄装置的配置位置的候选来配置拍摄装置,则就能够将拍摄装置配置于可以适当地检测监护对象者的行为的位置。也就是说,即使是缺乏有关监护系统的知识的使用者,只需按照显示于显示装置的拍摄装置的配置位置的候选来配置拍摄装置,至少对于拍摄装置的配置,也能够恰当地设置监护系统。因此,根据上述构成,容易地进行监护系统的设置变为可能。需要说明的是,监护对象者,就是通过本发明而被监护在床上的行为的对象者,例如为住院病人、福利机构入住者、要看护者等。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,所述显示控制部可以除了所述拍摄装置相对于所述床的配置位置的候选之外,还使预先设定的、不推荐设置所述拍摄装置的位置显示于显示装置。根据该构成,通过示出在拍摄装置的设置上不推荐的位置,从而作为拍摄装置的配置位置的候选而被示出的拍摄装置的能配置的位置变得更加明确。由此,能够降低使用者弄错拍摄装置的配置的可能性。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,所述显示控制部可以在接收到完成所述拍摄装置的配置的情况之后,使通过所述拍摄装置取得的拍摄图像和指示所述拍摄装置的朝向对准所述床的指示内容一起显示于所述显示装置。在该构成中,使用者在不同的步骤中被指示摄像机的配置和摄像机的方向的调节。因此,使用者可以按照顺序而恰当地进行摄像机的配置和摄像机的方向的调节。因此,根据该构成,即使是缺乏有关监护系统的知识的使用者,也能够容易地进行监护系统的设置。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,所述图像取得部可以取得包含深度信息的拍摄图像,该深度信息表示所述拍摄图像内的各像素的深度。而且,作为所述拍摄图像内显现的所述监护对象者与所述床的位置关系是否满足预定的条件的判断,所述行为检测部根据由所述深度信息所表示的所述拍摄图像内的各像素的深度,判断所述监护对象者与所述床的区域在真实空间内的位置关系是否满足预定的条件,从而检测作为所述监护的对象而被选择的行为。
根据该构成,在通过拍摄装置而取得的拍摄图像中包括表示各像素的深度的深度信息。各像素的深度表示该各像素中显现的对象的深度。因此,通过利用该深度信息而能够推断监护对象者相对于床在真实空间中的位置关系,进而检测该监护对象者的行为。
因此,上述构成所涉及的信息处理装置根据拍摄图像内的各像素的深度而判断监护对象者与床区域在真实空间内的位置关系是否满足预定的条件。然后,上述构成所涉及的信息处理装置根据该判断的结果而推断监护对象者与床在真实空间内的位置关系,检测监护对象者的与床关联的行为。
由此,能够考虑在真实空间内的状态而检测监护对象者的行为。但是,在利用深度信息而推断监护对象者在真实空间内的状态的上述构成中,由于必须考虑所取得的深度信息来配置拍摄装置,因此将拍摄装置配置于恰当的位置变得困难。因此,在利用深度信息来推断监护对象者的行为的上述构成中,通过显示拍摄装置的配置位置的候选而促使使用者将拍摄装置配置于恰当的位置、从而使监护系统的设置变容易的本技术变得重要。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,上述信息处理装置可以还包括设定部,所述设定部在接收到完成所述拍摄装置的配置的情况之后,接收所述床的基准面的高度的指定,并将该指定的高度设定为所述床的基准面的高度。而且,可以在所述设定部接收所述床的基准面的高度的指定时,所述显示控制部根据由所述深度信息表示的所述拍摄图像内的各像素的深度,在所述拍摄图像上明示显现有位于作为所述床的基准面的高度而指定的高度上的对象的区域,由此使所取得的所述拍摄图像显示于显示装置;所述行为检测部可以判断在真实空间内的所述床的高度方向上的所述床的基准面与所述监护对象者的位置关系是否满足预定的条件,从而检测作为所述监护的对象而被选择的行为。
在上述构成中,作为用于确定真实空间内的床的位置的关于床的位置的设定,进行床的基准面的高度的设定。在进行该床基准面高度设定的期间,上述构成所涉及的信息处理装置在显示于显示装置的拍摄图像上明示拍摄有位于由使用者已指定的高度上的对象的区域。因此,该信息处理装置的使用者能够一边在显示于显示装置的拍摄图像上确认指定为床的基准面的区域的高度,一边设定床的基准面的高度。
因此,根据上述构成,即使是缺乏有关监护系统的知识的使用者,也能容易地进行关于成为检测监护对象者的行为的基准的床的位置的设定,从而能够容易地进行监护系统的设置。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,上述信息处理装置可以还包括前景提取部,该前景提取部根据被设定作为所述拍摄图像的背景的背景图像与所述拍摄图像的差分而提取所述拍摄图像的前景区域。而且,所述行为检测部可以将根据所述前景区域内的各像素的深度而确定的、所述前景区域显现的对象在真实空间内的位置用作所述监护对象者的位置,判断在真实空间内的所述床的高度方向上的所述床的基准面与所述监护对象者的位置关系是否满足预定的条件,从而检测作为所述监护的对象而被选择的行为。
根据该构成,通过提取背景图像与拍摄图像的差分而确定拍摄图像的前景区域。该前景区域是从背景图像上发生了变化的区域。因此,在前景区域中,作为与监护对象者关联的像,包括由于监护对象者活动而发生了变化的区域、换而言之,存在监护对象者的身体部位中在动的部位(以下,也称为“动作部位”)的区域。因此,能通过参照由深度信息表示的前景区域内的各像素的深度而确定监护对象者的动作部位在真实空间内的位置。
因此,上述构成所涉及的信息处理装置将根据前景区域内的各像素的深度而确定的拍到前景区域的对象在真实空间内的位置用作监护对象者的位置,并判断床的基准面与监护对象者的位置关系是否满足规定的条件。即,用于检测监护对象者的行为的规定条件是假设前景区域与监护对象者的行为关联而设定的。上述构成所涉及的信息处理装置根据在真实空间内监护对象者的动作部位相对于床的基准面存在于哪个高度来检测监护对象者的行为。
在此,能够以背景图像与拍摄图像的差分来提取前景区域,因此即使不利用高级的图像处理也能确定。因此,根据上述构成,能够采用简易的方法来检测监护对象者的行为。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,所述行为选择部接收从包括在所述床的端部附近或外侧进行的所述监护对象者的预定行为的、所述监护对象者的与床关联的多个行为中接收针对所述监护对象者的作为监护的对象的行为的选择。另外,所述设定部可以作为所述床的基准面的高度而接收床上表面的高度的指定,并将该指定的高度设定为所述床上表面的高度;在作为所述监护的对象而被选择的行为中包含有所述预定行为的情况下,所述设定部在设定所述床上表面的高度之后,还为了确定所述床上表面的范围,在所述拍摄图像内接收设定于所述床上表面内的基准点的位置和所述床的方向的指定,并根据所指定的所述基准点的位置及所述床的方向设定所述床上表面在真实空间内的范围。而且,所述行为检测部可以判断所设定的所述床的上表面与所述监护对象者在所述真实空间内的位置关系是否满足预定的条件来检测作为所述监护的对象而被选择的所述预定行为。
根据该构成,只需指定基准点的位置和床的方向即可指定床上表面的范围,因此能够通过简易的设置来设定床上表面的范围。并且,根据该构成,由于设定床上表面的范围,因此能够提高在床的端部附近或外侧进行的预定行为的检测精度。此外,在床的端部附近或外侧进行的监护对象者的预定行为是例如端坐、越过护栏、下床等。在此,端坐是指监护对象者正坐在床头的状态。在此,越过护栏是指监护对象者正在从床护栏上探出身的状态。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,所述行为选择部接收从包括在所述床的端部附近或外侧进行的所述监护对象者的预定行为的、所述监护对象者的与床关联的多个行为中接收针对所述监护对象者的作为监护的对象的行为的选择。另外,所述设定部作为所述床的基准面的高度而接收床上表面的高度的指定,并将该指定的高度设定为所述床上表面的高度;并且在作为所述监护的对象而被选择的行为中包含有所述预定行为的情况下,所述设定部在设定所述床上表面的高度之后,还在所述拍摄图像内接收用于规定床上表面的范围的四个角中两个角的位置的指定,并根据所指定的该两个角的位置设定所述床上表面在真实空间内的范围。而且,所述行为检测部可以判断所设定的所述床的上表面与所述监护对象者在所述真实空间内的位置关系是否满足预定的条件,从而来检测作为所述监护的对象而被选择的所述预定行为。根据该构成,只需指定床上表面的两个角的位置即可指定床上表面的范围,因此能够通过简易的设置来设定床上表面的范围。并且,根据该构成,由于设定床上表面的范围,因此能够提高在床的端部附近或外侧进行的预定行为的检测精度。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,针对设定的所述床上表面的范围,所述设定部判断根据为了检测作为所述监护的对象而被选择的所述预定行为而设定的所述预定的条件所确定的检测区域是否显现在所述拍摄图像内,在判断为作为所述监护的对象而被选择的所述预定行为的检测区域未显现在所述拍摄图像内的情况下,输出警告信息,该警告信息表示可能无法正常进行作为所述监护的对象而被选择的所述预定行为的检测。根据该构成,能够对作为监护的对象而已选择的行为防止监护系统的设定的错误。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,上述信息处理装置可以还包括前景提取部,该前景提取部根据被设定作为所述拍摄图像的背景的背景图像与所述拍摄图像的差分而提取所述拍摄图像的前景区域。而且,所述行为检测部可以将根据所述前景区域内的各像素的深度确定的、所述前景区域显现的对象在真实空间内的位置用作所述监护对象者的位置,判断所述床上表面与所述监护对象者在所述真实空间内的位置关系是否满足预定的条件,从而检测作为所述监护的对象而被选择的所述预定行为。根据该构成,能够采用简易的方法来检测监护对象者的行为。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,上述信息处理装置可以还包括未完成通知部,在通过所述设定部进行的设定在预定时间内未完成的情况下,该未完成通知部进行用于告知通过所述设定部进行的设定尚未完成的通知。根据该构成,可以防止在关于床的位置的设定的途中对监护系统置之不理。
需要说明的是,作为上述各方式所涉及的信息处理装置的另外的方式,可以为实现以上的各构成的信息处理系统,也可以为信息处理方法,也可以为程序,也可以为记录有这样的程序的能被计算机及其它装置、机器等读取的存储介质。在此,计算机等可读取的记录介质是通过电、磁、光学、机械或者化学作用而累积程序等信息的介质。另外,信息处理系统可以通过一个或多个信息处理装置来实现。
例如,本发明的一方面所涉及的信息处理方法是一种由计算机执行如下步骤的信息处理方法:从监护对象者的与床关联的多个行为中接收针对该监护对象者的作为监护的对象的行为的选择;对应于作为所述监护的对象而被选择的行为,使拍摄装置相对于所述床的配置位置的候选显示于显示装置,该拍摄装置用于监护所述监护对象者在床上的行为;取得通过所述拍摄装置拍摄的拍摄图像;以及通过判断所述拍摄图像内显现的所述监护对象者与所述床的位置关系是否满足预定的条件,检测作为所述监护的对象而被选择的行为。
另外,例如,本发明的一方面所涉及的程序是一种用于使计算机执行如下步骤的程序:从监护对象者的与床关联的多个行为中接收针对该监护对象者的作为监护的对象的行为的选择;对应于作为所述监护的对象而被选择的行为,使拍摄装置相对于所述床的配置位置的候选显示于显示装置,该拍摄装置用于监护所述监护对象者在床上的行为;取得通过所述拍摄装置拍摄的拍摄图像;以及通过判断所述拍摄图像内显现的所述监护对象者与所述床的位置关系是否满足预定的条件,检测作为所述监护的对象而被选择的行为。
发明的效果
根据本发明,使容易地进行监护系统的设置变为可能。
附图说明
图1示出应用本发明的情形的一个例子。
图2示出根据各像素的深度而确定了该各像素的灰度值的拍摄图像的一个例子。
图3例示实施方式所涉及的信息处理装置的硬件构成。
图4例示实施方式所涉及的深度。
图5例示实施方式所涉及的功能构成。
图6例示在本实施方式中当进行关于床的位置的设定时的信息处理装置的处理步骤。
图7例示接收作为检测对象的行为的选择的画面。
图8例示在下床已被选择为作为检测对象的行为的情况下显示于显示装置的摄像机的配置位置的候选。
图9例示接收床上表面高度的指定的画面。
图10例示拍摄图像内的坐标关系。
图11例示拍摄图像的任意的点(像素)与摄像机在真实空间内的位置关系。
图12示意性例示在拍摄图像内以不同的显示形式显示的区域。
图13例示接收床上表面的范围的指定的画面。
图14例示拍摄图像上的指定点与床上表面的基准点的位置关系。
图15例示摄像机与基准点的位置关系。
图16例示摄像机与基准点的位置关系。
图17例示摄像机坐标系与床坐标系之间的关系。
图18例示在本实施方式中当检测监护对象者的行为时的信息处理装置的处理步骤。
图19例示实施方式所涉及的信息处理装置所取得的拍摄图像。
图20例示根据拍摄图像中所包括的深度信息而确定的拍摄范围的被拍摄体的三维分布。
图21例示从拍摄图像中提取的前景区域的三维分布。
图22示意性例示在本实施方式中用于检测起来的检测区域。
图23示意性例示在本实施方式中用于检测下床的检测区域。
图24示意性例示在本实施方式中用于检测端坐的检测区域。
图25例示区域的扩展状态与弥散的关系。
图26示出接收床上表面的范围的指定的画面的其它例子。
具体实施方式
以下,基于附图说明本发明的一个方面所涉及的实施方式(以下也表述为“本实施方式”)。不过,以下说明的本实施方式的所有方面只不过是本发明的例示。当然在不脱离本发明的范围的情况下能够进行各种改良和变形。即,在本发明的实施中,可以适当采用与实施方式对应的具体的构成。
需要说明的是,在本实施方式中,利用自然语言说明出现的数据,更具体来讲,由计算机能够识别的伪语言、命令、参数、机器语言等指定。
§1应用情景例
首先,使用图1来对应用本发明的情景进行说明。图1示意性示出应用本发明的情景的一个例子。在本实施方式中,设想了在医疗机构或者护理机构中,以住院病人或福利机构入住者作为监护对象者而被监护行为的情景。进行监护对象者的监护的人(以下,也称为“使用者”)利用包括信息处理装置1和摄像机2的监护系统而进行监护对象者在床上的行为的监护。
本实施方式所涉及的监护系统通过利用摄像机2拍摄监护对象者的行为而取得显现有监护对象者和床的拍摄图像3。然后,该监护系统通过信息处理装置1解析通过摄像机2取得的拍摄图像3而检测监护对象者的行为。
摄像机2相当于本发明的拍摄装置,为了对监护对象者在床上的行为进行监护而设置。本实施方式所涉及的摄像机2包括测量被拍摄体的深度的深度传感器,能够取得对应于拍摄图像内的各像素的深度。因此,正如在图1中例示的,通过该摄像机2取得的拍摄图像3包括表示对每像素获得的深度的深度信息。
包括该深度信息的拍摄图像3既可以是表示拍摄范围内的被拍摄体的深度的数据,也可以为例如拍摄范围内的被拍摄体的深度分布成二维状的数据(例如深度图)。另外,拍摄图像3可以在包括深度信息的同时,也可包括RGB图像。进一步的,拍摄图像3既可以为动画图像,也可以为静止图像。
图2示出这样的拍摄图像3的一个例子。在图2中例示的拍摄图像3是各像素的灰度值根据该各像素的深度而确定的图像。越黑的像素表示靠摄像机2越近。另一方面,越白的像素表示离摄像机2越远。根据该深度信息,能够确定拍摄范围内的被拍摄体在真实空间(三维空间)内的位置。
更详细而言,被拍摄体的深度相对于该被拍摄体的表面取得。于是,通过使用拍摄图像3中包括的深度信息,从而能够确定摄像机2中显现的被拍摄体表面在真实空间内的位置。在本实施方式中,通过摄像机2拍摄到的拍摄图像3被发送至信息处理装置1。然后,信息处理装置1根据所取得的拍摄图像3推断监护对象者的行为。
本实施方式所涉及的信息处理装置1为了根据所取得的拍摄图像3推断监护对象者的行为,提取被设定作为该拍摄图像3的背景的背景图像与拍摄图像3的差分,从而确定拍摄图像3内的前景区域。被确定的前景区域是从背景图像上发生了变化的区域,因此包括监护对象者的动作部位存在的区域。因此,信息处理装置1利用前景区域作为与监护对象者关联的图像来检测监护对象者的行为。
例如,当监护对象者在床上起来时,如在图1中例示的,显现有关于起来的部位(在图1中上半身)的区域作为前景区域而被提取。通过参照如此提取的前景区域内的各像素的深度,从而能确定在真实空间内的监护对象者的动作部位位置。
监护对象者在床上的行为能根据如此确定的动作部位与床的位置关系而推断。例如,如在图1中例示的,当监护对象者的动作部位在床的上表面的上方被检测到的情况下,能够推断,监护对象者在床上正在进行起来的动作。另外,例如,当监护对象者的动作部位在床的侧部附近被检测到的情况下,能够推断,监护对象者正在想要变为端坐的状态。
因此,本实施方式所涉及的信息处理装置1根据前景区域显现的对象与床在真实空间内的位置关系而检测监护对象者的行为。也就是说,信息处理装置1将根据前景区域内的各像素的深度所确定的、前景区域显现的对象在真实空间内的位置作为监护对象者的位置而利用。然后,信息处理装置1根据在真实空间内监护对象者的动作部位相对于床存在于哪里而检测监护对象者的行为。因此,当由于监护环境变化而导致摄像机2相对于床的配置改变时,本实施方式所涉及的信息处理装置1就具有无法恰当地检测监护对象者的行为的可能性。
为了处理该问题,本实施方式所涉及的信息处理装置1接收从监护对象者的与床关联的多个行为中进行的关于该监护对象者作为监护的对象的行为的选择。然后,信息处理装置1对应于作为监护的对象已被选择的行为,在显示装置上显示相对于床的摄像机2的配置位置的候选。
由此,使用者只要按照显示装置上所显示的摄像机2的配置位置的候选来配置摄像机2,就能够将摄像机2配置于可以恰当地检测监护对象者的行为的位置。也就是说,即使是缺乏有关监护系统的知识的使用者,只需按照显示装置上所显示的摄像机2的配置位置的候选来配置摄像机2,也可恰当地设置监护系统。因此,根据本实施方式,容易地进行监护系统的设置成为可能。
此外,在图1中,摄像机2被配置于床的长度方向的前方。即,图1例示了从侧面观察摄像机2的情景,图1的上下方向相当于床的高度方向。另外,图1的左右方向相当于床的长度方向,垂直于图1的纸面的方向相当于床的宽度方向。但是,摄像机2的可配置的位置可以不限定于这样的位置,可以根据实施的方式而适当选择。使用者通过按照显示装置上的显示内容来配置摄像机,从而能够将摄像机2配置于这样适当地选择的摄像机2的可配置的位置中的恰当的位置,从而对作为监护的对象的已选择的行为进行检测。
需要注意的是,在本实施方式所涉及的信息处理装置1中,进行用于确定真实空间内的床的位置的、床的基准面的设定,以便能够掌握动作部位与床的位置关系。在本实施方式中,作为该床的基准面,采用了床的上表面。床上表面为床的垂直方向上侧的面,例如为床垫的上表面。床的基准面既可以为这样的床上表面,也可以为其它面。床的基准面可以根据实施的方式而适当决定。此外,床的基准面不局限于存在于床上的物理的面,也可以为假想的面。
§2构成例
<硬件构成例>
接着,使用图3来说明信息处理装置1的硬件构成。图3例示本实施方式所涉及的信息处理装置1的硬件构成。如在图3中所例示的,信息处理装置1是电连接有如下部分的计算机:包括CPU、RAM(Random Access Memory:随机存取存储器)、ROM(Read Only Memory:只读存储器)等的控制部11;存储在控制部11中执行的程序5等的存储部12;用于进行图像的显示和输入的触摸面板显示器13;用于输出声音的扬声器14;用于与外部装置连接的外部接口15;用于经由网络而进行通信的通信接口16;以及用于读取存储介质6中所存储的程序的驱动器17。但是,在图3中,通信接口及外部接口分别被记作为“通信I/F”及“外部I/F”。
需要注意的是,关于信息处理装置1的具体的硬件构成,能够根据实施方式而适当进行构成要素的省略、置换以及追加。例如,控制部11可以包括多个处理器。另外,例如,触摸面板显示器13可以被替换为各自分别独立地被连接的输入装置及显示装置。
信息处理装置1可以包括多个外部接口15,进而与多个外部装置连接。在本实施方式中,信息处理装置1经由外部接口15而与摄像机2连接。正如上所述的,本实施方式所涉及的摄像机2包括深度传感器。该深度传感器的种类及测量方式可以根据实施的方式而适当选择。
但是,对监护对象者进行监护的场所(例如医疗机构的病房)为监护对象者的床放置的场所,换而言之,是监护对象者就寝的场所。因此,对监护对象者进行监护的场所多为暗的场所。因此,为了不受拍摄场所的明亮度的影响而取得深度,优选的是,使用基于红外线的照射测量深度的深度传感器。需要说明的是,作为包括红外线深度传感器的较廉价的拍摄装置,能够列举微软公司的Kinect、ASUS公司的Xtion、PrimeSense公司的CARMINE。
另外,摄像机2可以为立体摄像机,以便能确定拍摄范围内的被拍摄体的深度。立体摄像机由于从多个不同的方向上对拍摄范围内的被拍摄体拍摄,因此能够记录该被拍摄体的深度。摄像机2只要能够确定拍摄范围内的被拍摄体的深度,既可以置换为深度传感器单体,也可以不作特别限制。
在此,使用图4来详细地说明通过本实施方式所涉及的深度传感器测量的深度。图4示出能作为本实施方式所涉及的深度看待的距离的一个例子。该深度表现被拍摄体的深度。如在图4中所例示的,被拍摄体的深度,例如,既可以用摄像机与对象物之间的直线距离A来表现,也可以用从水平轴向摄像机的被拍摄体垂下的垂线的距离B来体现。即,本实施方式所涉及的深度既可以为距离A,也可以为距离B。在本实施方式中,以距离B作为深度来处理。但是,距离A与距离B能通过使用例如勾股定理等而相互转换。因此,使用了距离B的以后的说明能直接应用于距离A。
另外,如在图3中所例示的,信息处理装置1经由外部接口15而连接于护士呼叫器。这样,信息处理装置1可以通过经由外部接口15而与护士呼叫器等已设置于福利机构中的设备连接,从而与该设备协作而进行通知,该通知用于告知具有危险迫近监护对象者的预兆。
需要说明的是,程序5是使信息处理装置1执行后述的动作中所包括的处理的程序,相当于本发明的“程序”。该程序5可以被记录在存储介质6中。存储介质6是以计算机及其它装置、机器等能读取所记录的程序等信息的方式通过电、磁、光学、机械或化学作用来累积该程序等信息的介质。存储介质6相当于本发明的“存储介质”。此外,图3例示了作为存储介质6的一例的CD(Compact Disk:高密度光盘)、DVD(Digital Versatile Disk:数字多用光盘)等盘式存储介质。然而,存储介质6的种类并非限定于盘式,也可以为盘式以外。作为盘式以外的存储介质,能够列举例如闪存等半导体存储器。
另外,作为信息处理装置1,例如除被设计成专门用于所提供的服务的装置之外,还可以使用PC(Personal Computer:个人计算机)、平板终端等通用的装置。另外,信息处理装置1可以通过一个或者多个计算机来安装。
<功能构成例>
接着,使用图5来说明信息处理装置1的功能构成。图5例示本实施方式所涉及的信息处理装置1的功能构成。本实施方式涉及的信息处理装置1所包括的控制部11将存储于存储部12中的程序5展开至RAM中。然后,控制部11通过CPU来解释和执行在RAM中展开的程序5,从而控制各构成要素。由此,本实施方式所涉及的信息处理装置1作为包括图像取得部21、前景提取部22、行为检测部23、设定部24、显示控制部25、行为选择部26、危险预兆通知部27、以及未完成通知部28的计算机发挥作用。
图像取得部21取得通过为了监护监护对象者在床上的行为而设置的摄像机2拍摄到的拍摄图像3,该拍摄图像3包括表示各像素的深度的深度信息。前景提取部22根据被设定作为拍摄图像3的背景的背景图像与该拍摄图像3的差分来提取拍摄图像3的前景区域。行为检测部23根据由深度信息示出的前景区域内的各像素的深度而判断前景区域显现的对象与床在真实空间内的位置关系是否满足预定的条件。然后,行为检测部23根据该判断的结果而检测监护对象者的与床关联的行为。
另外,设定部24接收来自使用者的输入而进行关于作为检测监护对象者的行为的基准的床的基准面的设定。具体而言,设定部24接收床的基准面的高度的指定并将已指定的高度设定为床的基准面的高度。显示控制部25控制通过触摸面板显示器13进行的图像显示。触摸面板显示器13相当于本发明的显示装置。
显示控制部25控制触摸面板显示器13的画面显示。显示控制部25对应于例如通过后述的行为选择部26而已被选择为监护对象的行为,使摄像机2相对于床的配置位置的候选显示于触摸面板显示器13。另外,显示控制部25例如当设定部24接收床的基准面的高度的指定时,根据由深度信息示出的拍摄图像3内的各像素的深度,在拍摄图像3上明示显现有位于使用者已指定的高度上的对象的区域,以此方式使已取得的拍摄图像3显示于触摸面板显示器13。
行为选择部26接收从监护对象者的与床关联的多个行为中进行的、关于监护对象者而作为监护的对象的、即上述行为检测部23作为检测对象的行为的选择。在本实施方式中,作为与床关联的多个行为,能够例示在床上起来、在床上的端坐、从床的护栏探出身(越过护栏)、以及从床上下床。
此外,在监护对象者的与床关联的多个行为中,可以包括在床的端部附近或外侧进行的监护对象者的预定行为。在本实施方式中,在床上的端坐、从床的护栏上探出身(越过护栏)、以及从床上下床相当于本发明的“预定行为”。
并且,在针对监护对象者而检测到的行为为显示出危险迫近监护对象者的预兆的行为的情况下,危险预兆通知部27进行用于告知该预兆的通知。在设定部24进行的关于床的基准面的设定未在规定时间内完成的情况下,未完成通知部28进行用于告知设定部24的设定尚未完成的通知。需要注意的是,例如向监护监护对象者的监护者进行这些通知。监护者例如为护士、福利机构职员等。在本实施方式中,这些通知既可以通过护士呼叫器来进行,也可以通过扬声器14来进行。
需要注意的是,关于各功能,将在后述的动作例中详细地说明。这里,在本实施方式中,说明了这些功能均通过通用的CPU来实现的例子。但是,这些功能的一部分或全部也可以通过一个或多个专用的处理器来实现。并且,关于信息处理装置1的功能构成,也可以根据实施方式而适当地进行功能的省略、置换以及追加。例如,也可以省略行为选择部26、危险预兆通知部27、以及未完成通知部28。
§3动作例
[监护系统的设置]
首先,使用图6来对关于监护系统的设置的处理进行说明。图6例示在进行关于床的位置的设定时的信息处理装置1的处理步骤。该关于床的位置的设定的处理可以在任何时间上执行,例如,在开始监护对象者的监护之前启动了程序5时执行。此外,在以下说明的处理步骤只不过是一个例子,各处理可以尽可能地变更。另外,关于在以下说明的处理步骤,能根据实施方式而适当进行步骤的省略、置换以及追加。
(步骤S101及步骤S102)
在步骤S101中,控制部11作为行为选择部26发挥作用,接收从监护对象者在床上进行的多个行为中进行的作为检测对象的行为的选择。然后,在步骤S102中,控制部11作为显示控制部25发挥作用,对应于已被选择为检测对象的一个或多个行为而将摄像机2相对于床的配置位置的候选显示于触摸面板显示器13。使用图7及图8来说明这些处理。
图7例示当接收作为检测对象的行为的选择时在触摸面板显示器13上所显示的画面30。控制部11为了在步骤S101中接收作为检测对象的行为的选择,将画面30显示于触摸面板显示器13。画面30包括示出本处理所涉及的设定的处理阶段的区域31、接收作为检测对象的行为的选择的区域32、以及示出摄像机2的配置位置的候选的区域33。
在本实施方式涉及的画面30中,针对作为检测对象的行为的候选,例示了四种行为。具体而言,针对作为检测对象的行为的候选,例示了在床上起来、从床上下床、在床上的端坐、以及从床的护栏上探出身(越过护栏)。下面,将在床上起来也单纯称为“起来”,将从床上下床也单纯称为“下床”,将在床上的端坐也单纯称为“端坐”,将从床的护栏上探出身也单纯称为“越过护栏”。在区域32上设有对应于各个行为的四个按钮321~324。使用者通过操作按钮321~324而选择一个或多个作为检测对象的行为。
当按钮321~324中的任意按钮被操作而选择了作为检测对象的行为时,控制部11作为显示控制部25而发挥作用,更新区域33上显示的内容,以便示出对应于所选择的一个或多个行为的摄像机2的配置位置的候选。摄像机2的配置位置的候选是根据信息处理装置1是否能够通过配置于那个位置上的摄像机所拍摄的拍摄图像3来检测对象的行为而预先确定的。示出这样的摄像机2的配置位置的候选的理由如下。
本实施方式所涉及的信息处理装置1通过解析利用摄像机2取得的拍摄图像3而推断监护对象者与床的位置关系,从而检测监护对象者的行为。因此,在与对象的行为的检测关联的区域未显现在拍摄图像3中的情况下,信息处理装置1就不能检测该对象的行为。因此,监护系统的使用者希望掌握按对于检测对象的每个行为而适于摄像机2的配置的位置。
然而,监护系统的使用者未必能够将这样的位置全部掌握,因此具有摄像机2被误配置于与对象的行为的检测关联的区域不被显现的位置的可能性。如果摄像机2被误配置于与对象的行为的检测关联的区域不能被显现的位置,信息处理装置1就无法检测那个对象的行为,导致监护系统的监护产生不周。
因此,在本实施方式中,对应作为检测对象的每个行为预先确定适于摄像机2的配置的位置,并预先使关于那样的摄像机位置的候选的信息保存于信息处理装置1中。然后,信息处理装置1对应于已选择的一个或多个行为而显示能拍摄与对象的行为的检测关联的区域的摄像机2的配置位置的候选,从而向使用者指示摄像机2的配置位置。
由此,在本实施方式中,即使是缺乏有关监护系统的知识的使用者,只需按照触摸面板显示器13上所显示的摄像机2的配置位置的候选来配置摄像机2,也可进行监护系统的设置。另外,通过如此地指示摄像机2的配置位置,从而能够抑止由使用者产生的摄像机2的配置的错误,能够降低在监护对象者的监护上产生不完备的可能性。即,根据本实施方式所涉及的监护系统,即使是缺乏有关监护系统的知识的使用者,也能容易地将摄像机2配置于恰当的位置。
另外,在本实施方式中,通过后述的各种设定,摄像机2的配置的自由度变高,能够使监护系统适应于进行监护的各环境。然而,摄像机2的配置的自由度高,相应地,使用者将摄像机2配置于错误的位置上的可能性变高。对此,在本实施方式中,由于显示摄像机2的配置位置的候选而向使用者提示摄像机2的配置,因此能够防止使用者将摄像机2配置于错误的位置。即,在像本实施方式这样的摄像机2的配置的自由度高的监护系统中,由于显示摄像机2的配置位置的候选,因而能够特别地期待防止使用者将摄像机2配置于错误的位置的效果。
需要注意的是,在本实施方式中,作为摄像机2的配置位置的候选,摄像机2容易拍摄与对象的行为的检测关联的区域的位置、换言之在摄像机2的设置上推荐的位置用○符号示出。与此相反,摄像机2难以拍摄与对象的行为的检测关联的区域的位置、换言之在摄像机2的设置上不推荐的位置用×符号示出。使用图8来说明在摄像机2的设定上不推荐的位置。
图8例示选择了“下床”作为检测对象行为的情况下的区域33的显示内容。从床上下床是离开床的举动。也就是说,从床上下床是监护对象者在床的外侧、特别是在与床分离的场所进行的动作。为此,如果将摄像机2配置于难以拍摄到床的外侧的位置,则会导致与下床的检测关联的区域不被拍到拍摄图像3中的可能性变高。
在此,如果将摄像机2配置于床附近,则在通过该摄像机2拍摄的拍摄图像3中,则就导致显现有床的图像占大部分,几乎拍不到与床已分开的场所的可能性高。因此,在通过图8例示的画面中,作为检测从床上下床时在摄像机2的配置上不推荐的位置,用×符号示出了床的下边附近的位置。
这样,在本实施方式中,在摄像机2的配置位置的候选之上,在触摸面板显示器13上显示在摄像机2的配置上不推荐的位置。由此,使用者能够根据在摄像机2的配置上不推荐的位置而准确地掌握各候选示出的摄像机2的配置位置。因此,根据本实施方式,能够降低使用者弄错摄像机2的配置的可能性。
此外,用于确定与已选择的检测对象的行为对应的摄像机2的配置位置的候选及在摄像机2的配置上不推荐的位置的信息(以下,也称为“配置信息”)可适当取得。控制部11例如既可以从存储部12中取得该配置信息,也可以经由网络而从其它信息处理装置中取得。在配置信息中,对应于已选择的检测对象的行为而预先设定有摄像机2的配置位置的候选及在摄像机2的配置上不推荐的位置,控制部11能够通过参照配置信息而确定这些位置。
另外,该配置信息的数据形式可以根据实施的方式而适当选择。例如,配置信息可以为对每个检测对象的行为规定了摄像机2的配置位置的候选及在摄像机2的配置上不推荐的位置的表格形式的数据。另外,例如,配置信息也可以如本实施方式那样是作为用于选择检测对象的行为的各按钮321~324的动作而已设定的数据。即,作为保持配置信息的方式,可以以在操作了各按钮321~324时在配置摄像机2的候选的位置上作出○符号或×符号的显示的方式设定有各按钮321~324的动作。
另外,表现摄像机2的配置位置的候选及在摄像机2的设置上不推荐的位置各个的方法,可以不局限于在图7及图8中例示的基于○符号或×符号的方法,可以根据实施的方式而适当选择。例如,控制部11也可以取代在图7及图8中例示的显示内容而将能配置摄像机2的位置下床的具体距离显示于触摸面板显示器13。
并且,作为摄像机2的配置位置的候选及在摄像机2的设置上不推荐的位置而提示的位置的数量可以根据实施的方式而适当设定。例如,作为摄像机2的配置位置的候选,控制部11既可以提示多个位置,也可以提示单一的位置。
这样,在本实施方式中,在步骤S101中,当在检测对象上所希望的行为由使用者选择时,在步骤S102中,对应于已选择的检测对象的行为,摄像机2的配置位置的候选被示出于区域33上。使用者按照该区域33的内容而配置摄像机2。即,使用者从区域33上示出的配置位置的候选中选择任一个位置而将摄像机2适当地配置于已选择的位置上。
在画面30上,为了接收检测对象的行为的选择和摄像机2的配置已完成这一内容,还设有“下一步”按钮34。作为接收检测对象的行为的选择和摄像机2的配置已完成这一内容的方法的一个例子,通过将“下一步”按钮34设于画面34上,从而本实施方式所涉及的控制部11接收检测对象的行为的选择和摄像机2的配置已完成这一内容。当在检测对象的行为的选择和摄像机2的配置完成了之后使用者操作“下一步”按钮34时,信息处理装置1的控制部11使处理前进至下一个步骤S103。
(步骤S103)
返回至图6,在步骤S103中,控制部11作为设定部24发挥作用,接收床上表面的高度的指定。控制部11将已指定的高度设定为床上表面的高度。另外,控制部11作为图像取得部21发挥作用,从摄像机2中取得包括深度信息的拍摄图像3。而且,当接收到床上表面的高度的指定时,控制部11作为显示控制部25发挥作用,在拍摄图像3上明示显现有位于已指定的高度上的对象的区域,以此方式使已取得的拍摄图像3显示于触摸面板显示器13。
图9例示当接收床上表面的高度的指定时显示于触摸面板显示器13上的画面40。控制部11为了在步骤S103中接收床上表面的高度的指定,将画面40显示于触摸面板显示器13。画面40包括:描画从摄像机2中获得的拍摄图像3的区域41、用于指定床上表面的高度的滚动条42、以及描画使摄像机2的方向对准床的指示内容的区域46。
在步骤S102中,使用者按照画面上所显示的内容而配置了摄像机2。因此,在本步骤S103中,控制部11作为显示控制部25发挥作用,将使摄像机2的方向对准床的指示内容描画于区域46并将通过摄像机2获得的拍摄图像3描画于区域41。由此,在本实施方式中,使用者被指示进行摄像机2的方向的调节。
即,根据本实施方式,能够在指示了摄像机2的配置之后向使用者指示摄像机的方向的调节。因此,使用者可以按照顺序而恰当地进行摄像机2的配置和摄像机2的方向的调节。因此,根据本实施方式,即使是缺乏有关监护系统的知识的使用者,也能够容易地进行监护系统的设置。此外,该指示内容的表现可以不限定于在图9中例示的显示,可以根据实施的方式而适当设定。
当使用者一边按照描画于区域46上的指示内容而确认描画于区域41上的拍摄图像3并一边将摄像机2朝向床方以便使床包括在摄像机2的拍摄范围中时,床就会显现在描画于区域41上的拍摄图像3中。如果床显现在拍摄图像3内,就能够在该拍摄图像3内比较指定的高度与床上表面的高度。因此,使用者在调节了摄像机2的方向之后操作滚动条42的凸块43而指定床上表面的高度。
在此,控制部11在拍摄图像3上明示显现位于根据凸块43的位置而指定的高度上的对象的区域。由此,本实施方式所涉及的信息处理装置1使使用者容易掌握基于凸块43的位置而指定的真实空间上的高度。对该处理,使用图10~12来说明。
首先,使用图10及图11,说明显现在拍摄图像3内的各像素中的对象的高度与该各像素的深度的关系。图10例示拍摄图像3内的坐标关系。另外,图11例示拍摄图像3的任意的像素(点s)与摄像机2在真实空间内的位置关系。此外,图10的左右方向与垂直于图11的纸面的方向对应。即,在图11中显现出的拍摄图像3的长度对应于在图10中例示的纵向的长度(H像素)。另外,在图10中例示的横向的长度(W像素)对应于在图11中未能显出的拍摄图像3的纸面垂直方向的长度。
在此,如在图10中所例示的,将拍摄图像3的任意的像素(点s)的坐标设为(xs,ys),将摄像机2的横向的视角设为Vx,将纵向的视角设为Vy。将拍摄图像3的横向的像素数设为W,将纵向的像素数设为H,将拍摄图像3的中心点(像素)的坐标设为(0,0)。
另外,如在图11中所例示的,将摄像机2的俯仰角设为α。将连接摄像机2和点s的线段与表示真实空间的垂直方向的线段之间的角度设为βs,将连接摄像机2和点s的线段与表示摄像机2的拍摄方向的线段之间的角度设为γs。并且,将连接摄像机2和点s的线段的在从横向上观察的情况下的长度设为Ls,将摄像机2与点s的垂直方向的距离设为hs。此外,在本实施方式中,该距离hs相当于显现在点s上的对象在真实空间上的高度。但是,表现拍于点s上的对象在真实空间上的高度的方法可以不限定于这样的例子,可以根据实施的方式而适当设定。
控制部11能够从摄像机2中取得表示该摄像机2的视角(Vx、Vy)以及俯仰角α的信息。但是,取得这些信息的方法可以不限定于这样的方法,控制部11既可以通过接收来自使用者的输入而取得这些信息,也可以作为预先设定的设置值而取得。
另外,控制部11能够由拍摄图像3取得点s的坐标(xs,ys)以及拍摄图像3的像素数(W×H)。并且,控制部11能够通过参照深度信息而取得点s的深度Ds。控制部11能够通过利用这些信息而算出点s的角度γs以及βs。具体而言,拍摄图像3在纵向上的每一个像素的角度能够近似为由以下的数学式1示出的值。由此,控制部11能够根据由以下的数学式2及数学式3示出的关系式而算出点s的角度γs以及βs
[数学式1]
V y H
[数学式2]
&gamma; s = V y H &times; y s
[数学式3]
βs=90-α-γs
而且,控制部11能够通过将已算出的γs及点s的深度Ds应用到以下的数学式4的关系式中而求出Ls的值。另外,控制部11能够通过将已算出的Ls及βs应用到以下的数学式5的关系式中而算出真实空间上的点s的高度hs
[数学式4]
L s = D s cos&gamma; s
[数学式5]
hs=Ls×cosβs
因此,控制部11能够通过参照由深度信息示出的各像素的深度而确定显现在该各像素中的对象在真实空间上的高度。也就是说,控制部11能够通过参照由深度信息示出的各像素的深度而确定显现在位于根据凸块43的位置而指定的高度上的对象的区域。
需要注意的是,控制部11通过参照由深度信息示出的各像素的深度,不仅能够确定该各像素中显现的对象在真实空间上的高度hs,而且能够确定该各像素中显现的对象在真实空间上的位置。例如,控制部11能够根据由以下的数学式6~数学式8示出的关系式而算出图11例示的摄像机坐标系中的从摄像机2至点s为止的向量S(Sx,Sy,Sz,1)的各值。由此,拍摄图像3内的坐标系中的点s的位置与摄像机坐标系中的点s的位置可相互转换。
[数学式6]
S x = x s &times; ( D s &times; tan V x 2 ) / W 2
[数学式7]
S y = y s &times; ( D s &times; tan V y 2 ) / H 2
[数学式8]
S2=Ds
接着,使用图12来说明基于凸块43的位置而指定的高度与在拍摄图像3上明示的区域的关系。图12示意性例示基于凸块43的位置而指定的高度的面(以下也称为“指定面”)DF与摄像机2的拍摄范围的关系。此外,图12与图1同样地,例示了在从侧面观察了摄像机2的情景,图12的上下方向相当于床的高度方向且相当于真实空间上的垂直方向。
在图12中例示的指定面DF的高度h通过使用者操作滚动条42而被指定。具体而言,凸块43在滚动条42上的位置与指定面DF的高度h对应,控制部11根据凸块43在滚动条42上的位置而决定指定面DF的高度h。由此,例如,使用者通过使凸块43向上方移动,能够以在真实空间上指定面DF向上方移动的方式而使高度h的值变小。另一方面,使用者通过使凸块43向下方移动,能够以在真实空间上指定面DF向下方移动的方式而使高度h的值变大。
在此,正如上所述的,控制部11能够根据深度信息而确定拍摄图像3内显现的各像素上的对象的高度。因此,当接收到这样的通过滚动条42进行的高度指定时,控制部11在拍摄图像3内确定显现有位于该指定的高度h上的对象的区域、换而言之,显现有位于指定面DF上的对象的区域。然后,控制部11作为显示控制部25发挥作用,在描画于区域41的拍摄图像3上明示相当于显现有位于指定面DF上的对象的区域的部分。例如,控制部11通过如图9所例示的那样以与拍摄图像3内的其它区域不同的显示形式描画,从而明示相当于显现有位于指定面DF上的对象的区域的部分。
明示对象的区域的方法可以根据实施的方式而适当设定。例如,控制部11可以通过以与其它区域不同的显示形式描画对象的区域而明示对象的区域。在此,被用于对象的区域上的显示形式只要是能够识别该对象的区域的形态即可,通过色彩、色调等来确定。若列举一个例子的话,控制部11将作为黑白灰度图像的拍摄图像3描画于区域41上。与此相对,控制部11也可以通过用红色描画显现有位于指定面DF的高度上的对象的区域而在拍摄图像3上明示该显现有位于指定面DF的高度上的对象的区域。此外,为了使指定面DF在拍摄图像3内易于显现,指定面DF可以在垂直方向上具有规定的宽度(厚度)。
这样,在本步骤S103中,本实施方式所涉及的信息处理装置1当接收到通过滚动条42进行的高度h的指定时,在拍摄图像3上明示显现有位于高度h上的对象的区域。使用者以如此地明示的、位于指定面DF的高度上的区域为参考而设定床上表面的高度。具体而言,使用者通过以指定面DF成为床上表面的方式调节凸块43的位置而设定床上表面的高度。即,使用者能够一边在拍摄图像3上视觉上掌握指定的高度h,一边进行床上表面的高度的设定。由此,在本实施方式中,即使是缺乏有关监护系统的知识的使用者,也能够容易地进行床上表面的高度的设定。
另外,在本实施方式中,床的上表面被采用为床的基准面。在用摄像机2拍摄监护对象者在床上的行为的情况下,床的上表面是易于拍进通过摄像机2取得的拍摄图像3中的场所。因此,拍摄图像3的显现有床的区域中的、床上表面所占的比例易于变高,能够容易地进行使指定面DF与那样的显现有床上表面的区域一致。因此,通过如本实施方式这样在床的基准面上采用床上表面,从而能够容易地进行床的基准面的设定。
此外,控制部11可以作为显示控制部25发挥作用,当接收到通过滚动条42进行的高度h的指定时,在描画于区域41的拍摄图像3上明示显现有位于从指定面DF起向床的高度方向上方预定的范围AF中的对象的区域。范围AF的区域例如在图9中例示的那样通过以与包括指定面DF的区域的其它区域不同的显示形式描画,从而被明示成与其它区域能区分。
在此,指定面DF的区域的显示形式相当于本发明的“第一显示形式”,范围AF的区域的显示形式相当于本发明的“第二显示形式”。另外,规定范围AF的床的高度方向的距离相当于本发明的“第一规定距离”。例如,控制部11可以在作为黑白灰度图像的拍摄图像3上用蓝色明示显现有位于范围AF的对象的区域。
由此,除位于指定面DF的高度上的区域以外,使用者还能够在拍摄图像3上视觉上掌握在指定面DF的上侧位于预定的范围AF的对象的区域。因此,易于掌握拍摄图像3中显现的被拍摄体在真实空间上的状态。另外,使用者能够利用范围AF的区域作为使指定面DF与床上表面一致时的指标,因此床上表面的高度的设定变容易。
此外,规定范围AF的床的高度方向的距离也可以被设定为床的护栏的高度。该床的护栏的高度既可以作为预先设定的设置值而取得,也可以作为来自使用者的输入值而取得。在像这样设定了范围AF的情况下,在指定面DF已被恰当地设定为床上表面时,范围AF的区域成为表示床的护栏的区域。也就是说,使用者通过使范围AF的区域与床的护栏的区域一致而使指定面DF与床上表面一致变为可能。因此,在拍摄图像3上,在指定床上表面时作为指标而利用显现有床的护栏的区域变为可能,因此床上表面的高度的设定变得容易。
另外,正如后面所述的,信息处理装置1通过判断,相对于通过指定面DF设定的床上表面,前景区域显现的对象在真实空间上是否存在在预定距离hf以上高的位置,从而检测监护对象者在床上的起来。因此,控制部11可以作为显示控制部25发挥作用,当接收到通过滚动条42进行的高度h的指定时,在描画于区域41的拍摄图像3上明示显现有位于从指定面DF起向床的高度方向上方距离hf以上的高度上的对象的区域。
如在图12中所例示的,从指定面DF起向床的高度方向上方距离hf以上的高度的区域可以在床的高度方向上限定范围(范围AS)。该范围AS的区域,例如,通过与包括指定面DF及范围AF的区域的其它区域不同的显示形式描画,从而以与其它区域能区分的方式被明示。
在此,范围AS的区域的显示形式相当于本发明的“第三显示形式”。另外,关于起来的检测的距离hf相当于本发明的“第二预定距离”。例如,控制部11可以在作为黑白灰度图像的拍摄图像3上用黄色明示显现有位于范围AS的对象的区域。
由此,使用者能够在拍摄图像3上视觉上掌握关于起来的检测的区域。因此,以适合起来的检测的方式进行床上表面的高度的设定变为可能。
此外,在图12中,距离hf比定为范围AF的床的高度方向的距离变长。但是,距离hf可以不限定于这样的长度,既可以与定为范围AF的床的高度方向的距离相同,也可以比该距离短。在距离hf比定为范围AF的床的高度方向的距离短的情况下,产生范围AF的区域与范围AS的区域重叠的区域。作为该重叠的区域的显示形式,既可以采用范围AF及范围AS的任一个显示形式,也可以采用与范围AF及范围AS的哪一个显示形式都不同的显示形式。
另外,控制部11可以作为显示控制部25发挥作用,当接收到通过滚动条42进行的高度h的指定时,在描画于区域41的拍摄图像3上以不同的显示形式明示显现有在真实空间内位于指定面DF的上方的对象的区域和显现有位于下方的对象的区域。通过像这样分别以不同的显示形式描画指定面DF的上侧的区域和下侧的区域,从而能够使位于指定面DF的高度上的区域变得易于在视觉上掌握。因此,能够使显现有位于指定面DF的高度上的对象的区域变得易于在拍摄图像3上认识,床上表面的高度的设定变容易。
返回至图9,在画面40上,还设有用于接收进行重新设定的“返回”按钮44,和用于接收指定面DF的设定已完成的“下一步”按钮45。当使用者操作“返回”按钮44时,信息处理装置1的控制部11使处理返回至步骤S101。另一方面,当使用者操作“下一步”按钮45时,控制部11确定所指定的床上表面的高度。即,控制部11存储在该按钮45的操作时所指定的指定面DF的高度,并将已存储的指定面DF的高度设定为床上表面的高度。然后,控制部11使处理前进至下一个步骤S104。
(步骤S104)
返回至图6,在步骤S104中,控制部11判断在步骤S101中已选择的检测对象的一个或多个行为上是否包括在床上的起来以外的行为。在步骤S101中已选择的一个或多个行为包括起来以外的行为的情况下,控制部11使处理前进至下一个步骤S105,接收床上表面的范围的设定。另一方面,在步骤S101中已选择的一个或多个行为未包括起来以外的行为的情况下、换而言之,在步骤S101中已选择的行为只有起来的情况下,控制部11结束本动作例所涉及的关于床的位置的设定,开始后述的行为检测所涉及的处理。
正如上所述的,在本实施方式中,成为通过监护系统来检测的对象的行为有起来、下床、端坐以及越过护栏。这些行为中的“起来”是具有在床上表面的大范围内进行的可能性的行为。因此,即使未设定有床上表面的范围,控制部11也能根据监护对象者与床在床的高度方向上的位置关系而比较高精度地检测监护对象者的“起来”。
另一方面,“下床”、“端坐”以及“越过护栏”相当于本发明的“在床的端部附近或外侧进行的预定行为”,是在比较有限的范围内进行的行为。因此,为了控制部11高精度地检测这些行为,最好设定有床上表面的范围,以便不仅能够确定监护对象者与床在床的高度方向上的位置关系,而且能够确定监护对象者与床在水平方向上的位置关系。即,在步骤S101中“下床”、“端坐”以及“越过护栏”的任一个已被选择为检测对象的行为的情况下,最好设定有床上表面的范围。
因此,在本实施方式中,控制部11判断在步骤S101中选择的一个或多个行为是否包括这样的“预定行为”。然后,在步骤S101中选择的一个或多个行为包括有“预定行为”的情况下,控制部11使处理前进至下一个步骤S105,接收床上表面的范围的设定。另一方面,在步骤S101中选择的一个或多个行为未包括“预定行为”的情况下,控制部11省略床上表面的范围的设定,结束本动作例所涉及的关于床的位置的设定。
即,本实施方式所涉及的信息处理装置1并非在所有的情况下都接收床上表面的范围的设定,只在床上表面的范围的设定被推荐的情况下接收床上表面的范围的设定。由此,在一部分的情况下,能够省略床上表面的范围的设定,能够简化关于床的位置的设定。并且,在床上表面的范围的设定被推荐的情况下,能够接收床上表面的范围的设定。因此,即使为缺乏有关监护系统的知识的使用者,也能够根据选择为检测对象的行为而恰当地选择关于床的位置的设定项目。
具体而言,在本实施方式中,在只有“起来”已被选择为检测对象的行为的情况下,省略床上表面的范围的设定。另一方面,在“下床”、“端坐”以及“越过护栏”中的至少任一个行为已被选择为检测对象的行为的情况下,接收床上表面的范围的设定(步骤S105)。
此外,上述的“预定行为”中所包括的行为可以根据实施的方式而适当选择。例如,具有通过设定床上表面的范围而可提高“起来”的检测精度的可能性。因此,“起来”也可以包括在本发明的“预定行为”中。另外,例如,“下床”、“端坐”以及“越过护栏”具有即使未设定床上表面的范围也能够高精度地检测的可能性。因此,“下床”、“端坐”以及“越过护栏”的任一个行为也可以从“预定行为”中除外。
(步骤S105)
在步骤S105中,控制部11作为设定部24发挥作用,接收床的基准点的位置及床的方向的指定。然后,控制部11根据已指定的基准点的位置及床的方向而设定床上表面在真实空间内的范围。
图13例示当接收床上表面的范围的设定时显示于触摸面板显示器13上的画面50。为了在步骤S105中接收床上表面的范围的指定,控制部11将画面50显示于触摸面板显示器13。画面50包括:描画从摄像机2中获得的拍摄图像3的区域51、用于指定基准点的标识52、以及用于指定床的方向的滚动条53。
在本步骤S105中,使用者通过在被描画于区域51的拍摄图像3上操作标识52而指定床上表面的基准点的位置。另外,使用者操作滑动条53的凸块54而指定床的方向。控制部11根据如此指定的基准点的位置及床的方向而确定床上表面的范围。使用图14~图17来说明这些处理。
首先,使用图14来对通过标识52指定的基准点p的位置进行说明。图14例示拍摄图像3上的指定点ps与床上表面的基准点p的位置关系。指定点ps示出标识52在拍摄图像3上的位置。另外,在图14中例示的指定面DF示出位于在步骤S103中已设定的床上表面的高度h上的面。在这种情况下,控制部11能够将通过标识52指定的基准点p作为连接摄像机2和指定点ps的直线与指定面DF的交点而确定。
在此,将指定点ps的拍摄图像3上的坐标设为(xp,yp)。另外,将连接摄像机2和指定点ps的线段与表示真实空间的垂直方向的线段之间的角度设为βp,将连接摄像机2和指定点ps的线段与表示摄像机2的拍摄方向的线段之间的角度设为γp。并且,将连接摄像机2和基准点p的线段的从横向上观察的情况下的长度设为Lp,将从摄像机2至基准点p为止的深度设为Dp
此时,与步骤S103同样地,控制部11能够取得表示摄像机2的视角(Vx、Vy)以及俯仰角α的信息。另外,控制部11能够取得指定点ps的拍摄图像3上的坐标(xp,yp)以及拍摄图像3的像素数(W×H)。并且,控制部11能够取得表示在步骤S103中已设定的高度h的信息。与步骤S103同样地,控制部11能够通过将这些值应用至由以下的数学式9~数学式11示出的关系式而算出从摄像机2至基准点p为止的深度Dp
[数学式9]
&gamma; p = V y H &times; y p
[数学式10]
βp=90-α-γp
[数学式11]
D p = L p &times; cos&gamma; p = h cos&beta; p &times; cos&gamma; p
然后,控制部11通过将已算出的深度Dp应用至由以下的数学式12~数学式14示出的关系式中能够求出基准点p在摄像机坐标系中的坐标P(Px,Py,Pz,1)。由此,控制部11能够确定通过标识52指定的基准点p在真实空间上的位置。
[数学式12]
P x = x p &times; ( D p &times; tan V x 2 ) / W 2
[数学式13]
P y = y P &times; ( D P &times; tan V y 2 ) / H 2
[数学式14]
Pz=DP
此外,图14例示拍于指定点ps的对象存在于比在步骤S103中已设定的床上表面高的位置的情况下的、拍摄图像3上的指定点ps与床上表面的基准点p的位置关系。在拍于指定点ps的对象位于在步骤S103中已设定的床上表面的高度上的情况下,指定点ps与基准点p在真实空间上变为相同的位置。
接着,使用图15~及图16来对根据通过滚动条53指定的床的方向θ和基准点p而确定的床上表面的范围进行说明。图15例示在从侧面观察摄像机2的情况下的摄像机2与基准点p的位置关系。另外,图16例示在从上方观察摄像机2的情况下的摄像机2与基准点p的位置关系。
床上表面的基准点p是成为确定床上表面的范围的基准的点,被设定为对应于床上表面的预定的位置。使基准点p对应的该预定的位置可以没有特别的限制,可以根据实施的方式而适当设定。在本实施方式中,基准点p被设定为对应于床上表面的中央。
与此相对,如在图16中所例示的,本实施方式所涉及的床的方向θ用床的长度方向相对于摄像机2的拍摄方向的倾斜度来表示,根据凸块54在滚动条53上的位置而指定。在图16中例示的向量Z示出了床的方向。当在画面50上使用者使滚动条53的凸块54向左方向移动时,向量Z以基准点p为中心沿顺时针方向旋转、换而言之,向床的方向θ的值变大的方向变化。另一方面,当使用者使滚动条53的凸块54向右方向移动时,向量Z以基准点p为中心沿逆时针方向旋转、换而言之,向床的方向θ的值变小的方向变化。
也就是说,基准点p示出床中央的位置,床的方向θ示出以床中央为轴的水平方向的旋转程度。因此,当指定床的基准点p的位置及方向θ时,控制部11根据已指定的基准点p的位置及床的方向θ,如在图16中所例示的,能够确定假想的表示床上表面的范围的框FD在真实空间上的位置以及方向。
此外,床的框FD的大小对应于床的尺寸而设定。床的尺寸由例如床的高度(垂直方向的长度)、横宽(短边方向的长度)、以及纵长(长度方向的长度)规定。床的横宽对应于床头板及床尾板的长度。另外,床的纵长对应于侧框架的长度。床的尺寸大多情况根据监护环境而预先已决定。控制部11可以将这样的床的尺寸作为预先设定的设定值而取得,可以作为使用者的输入值而取得,也可以通过从预先设定的多个设定值中选择而取得。
假想的床框FD示出基于所指定的基准点p的位置及床的方向θ而设定的床上表面的范围。因此,控制部11可以作为显示控制部25发挥作用,在拍摄图像3内描画基于已指定的基准点p的位置及床的方向θ而确定的框FD。由此,使用者能够一边用拍摄图像3内所描画的假想的床框FD来确认,一边设定床上表面的范围。因此,能够降低使用者弄错床上表面的范围的设定的可能性。此外,该假想的床框FD可以包括假想的床的护栏。由此,能够进一步使使用者容易掌握假想的床框FD。
因此,在本实施方式中,使用者通过使标识52对准拍摄图像3中显现的床上表面的中央而能够将基准点p设定于恰当的位置。另外,使用者通过决定凸块54的位置以使假想的床框FD与拍摄图像3中显现的床上表面的外周重合能够恰当地设定床的方向θ。此外,将假想的床框FD描画于拍摄图像3内的方法可以根据实施的方式而适当设定。例如,可以使用利用在以下说明的投影变换的方法。
在此,为了使床框FD的位置及后述的检测区域的位置易于掌握,控制部11可以利用将床作为基准的床坐标系。床坐标系为,例如,将床上表面的基准点作为原点、将床的宽度方向作为x轴、将床的高度方向作为y轴、以及将床的长度方向作为z轴的坐标系。在这样的坐标系中,控制部11能根据床的尺寸而确定床框FD的位置。在以下,说明算出将摄像机坐标系的坐标变换为该床坐标系的坐标的投影变换矩阵M的方法。
首先,用以下的数学式15表现使朝着水平方向的摄像机的拍摄方向俯仰(ピッチ)角度α的旋转矩阵R。控制部11通过将该旋转矩阵R应用到由以下的数学式16及数学式17示出的关系式中而能够分别求出在图15中例示的、表示摄像机坐标系中的床的方向的向量Z以及表示在摄像机坐标系中的床的高度方向上方的向量U。此外,在由数学式16及数学式17示出的关系式中所包括的“*”意思是矩阵的乘法。
[数学式15]
R = c o s &alpha; 0 sin a 0 s i n &alpha; cos &alpha; 0 0 - s i n &alpha; 0 cos &alpha; 0 0 0 0 1
[数学式16]
Z=(sinθ 0 -cosθ 0)*R
[数学式17]
U=(0 1 0 0)*R
接着,通过将向量U及Z应用到由以下的数学式8示出的关系式中,能够求出在图16中例示的、沿着床的宽度方向的床坐标系的单位向量X。另外,控制部11通过将向量Z及X应用到由以下的数学式19示出的关系式中,能够求出沿着床的高度方向的床坐标系的单位向量Y。然后,控制部11通过将基准点p在摄像机坐标系中的坐标P、向量X、Y及Z应用到由以下的数学式20示出的关系式中,能够求出将摄像机坐标系的坐标变换为床坐标系的坐标的投影变换矩阵M。此外,在由数学式18及数学式19示出的关系式中所包括的“×”意思是向量的外积。
[数学式18]
X = U &times; Z | U &times; Z |
[数学式19]
Y=Z×X
[数学式20]
M = X x Y x Z x 0 X y Y y Z y 0 X z Y z Z z 0 - P &CenterDot; X - P &CenterDot; Y - P &CenterDot; Z 1
图17例示本实施方式所涉及的摄像机坐标系与床坐标系之间的关系。如图17所例示的,被算出的投影变换矩阵M能够将摄像机坐标系的坐标变换为床坐标系的坐标。因此,如果利用投影变换矩阵M的逆矩阵,能够将床坐标系的坐标变换为摄像机坐标系的坐标。也就是说,通过利用投影变换矩阵M,从而摄像机坐标系的坐标与床坐标系的坐标可相互变换。在此,正如上所述,摄像机坐标系的坐标与拍摄图像3内的坐标能相互变换。因此,在此时点,床坐标系的坐标与拍摄图像3内的坐标能够相互变换。
在此,正如上所述,在床的尺寸已被确定的情况下,控制部11能够在床坐标系中确定假想的床框FD的位置。也就是说,控制部11能够在床坐标系中确定假想的床框FD的坐标。因此,控制部11利用投影变换矩阵M而将框FD在床坐标系中的坐标逆变换为框FD在摄像机坐标系中的坐标
另外,摄像机坐标系的坐标与拍摄图像内的坐标之间的关系通过由上述数学式6~8示出的关系式来表现。因此,控制部11能够根据由上述数学式6~8示出的关系式而由框FD在摄像机坐标系中的坐标确定描画于拍摄图像3内的框FD的位置。也就是说,控制部11能够根据投影变换矩阵M和表示床的尺寸的信息而在各坐标系中确定假想的床框FD的位置。通过这种方式,控制部11可以如在图13所例示的那样将假想的床框FD描画于拍摄图像3内。
返回至图13,在画面50上,还设有用于接收进行重新设定的“返回”按钮55,和用于完成设定并开始监护的“开始”按钮56。当使用者操作“返回”按钮55时,控制部11使处理返回至步骤S103。
另一方面,当使用者操作“开始”按钮56时,控制部11确定基准点p的位置及床的方向θ。即,控制部11将根据在操作了该按钮56时所指定的基准点p的位置及床的方向θ而确定的床框FD的范围设定为床上表面的范围。然后,控制部11使处理前进至下一个步骤S106。
这样,在本实施方式中,能够通过指定基准点p的位置和床的方向θ而设定床上表面的范围。例如,如在图13中所例示的,在拍摄图像3中未必包括整个床。为此,为了设定床上表面的范围,例如在必须指定床的四角这样的系统中,有可能无法设定床上表面的范围。然而,在本实施方式中,为了设定床上表面的范围而指定位置的点为1点(基准点p)即可。由此,在本实施方式中,能够提高摄像机2的设置位置的自由度,并且能够使监护系统变得容易适用于监护环境。
另外,在本实施方式中,作为使基准点p对应的预定的位置,采用了床上表面的中央。床上表面的中央是不论从哪一个方向上拍摄床都易于拍摄图像3中显现的地方。因此,通过采用床上表面的中央作为使基准点p对应的规定的位置,从而能够进一步提高摄像机2的设置位置的自由度。
但是,当摄像机2的设置位置的自由度提高时,导致配置摄像机2的选择范围扩大,具有对使用者来说摄像机2的配置反而变困难的可能性。对此,如上所述,本实施方式通过将摄像机2的配置位置的候选显示于触摸面板显示器13且向使用者指示摄像机2的配置,从而使摄像机2的配置变容易,解决了这样的问题。
此外,存储床上表面的范围的方法可以根据实施的方式而适当设定。如上所述,通过从摄像机坐标系变换为床坐标系的投影变换矩阵M和表示床的尺寸的信息,控制部11能够确定床框FD的位置。因此,作为表示在步骤S105中已设定的床上表面的范围的信息,信息处理装置1可以存储根据在操作了按钮56时所指定的基准点p的位置及床的方向θ而算出的投影变换矩阵M和表示床的尺寸的信息。
(步骤S106~步骤S108)
在步骤S106中,控制部11作为设定部24发挥作用,判断在步骤S101中已选择的“预定行为”的检测区域是否显现到拍摄图像3内。然后,在判断为在步骤S101中已选择的“预定行为”的检测区域未显现到拍摄图像3内的情况下,控制部11使处理前进至下一个步骤S107。另一方面,在判断为在步骤S101中已选择的“预定行为”的检测区域显现到拍摄图像3内的情况下,控制部11结束本动作例所涉及的关于床的位置的设定,并开始后述的行为检测所涉及的处理。
在步骤S107中,控制部11作为设定部24发挥作用,将示出具有不能正常进行在步骤S101中已选择的“预定行为”的检测的可能性的警告信息输出至触摸面板显示器13等。在警告信息中,可以包括表示具有不能正常进行检测的可能性的“预定行为”及未显现到拍摄图像3内的检测区域的地方的信息。
然后,控制部11与该警告信息同时或在此之后接收在进行监护对象者的监护之前是否进行重新设定的选择,并使处理前进至下一个步骤S108。在步骤S108中,控制部11根据使用者的选择而判断是否进行重新设定。在使用者选择了进行重新设定的情况下,控制部11使处理返回至步骤S105。另一方面,在使用者选择了不进行重新设定的情况下,结束本动作例所涉及的关于床的位置的设定,并开始后述的行为检测所涉及的处理。
此外,正如后述的那样,“预定行为”的检测区域是根据用于检测“预定行为”的规定的条件和在步骤S105中已设定的床上表面的范围而确定的区域。即,该“预定行为”的检测区域是规定在监护对象者进行了“预定行为”的情况下所出现的前景区域的位置的区域。因此,控制部11能够通过判断显现到前景区域的对象是否被包括在该检测区域中来检测监护对象者的各行为。
因此,在检测区域未显现到拍摄图像3内的情况下,本实施方式涉及的监护系统就具有无法恰当地检测监护对象者的对象的行为的可能性。因此,本实施方式涉及的信息处理装置1通过步骤S106而判断是否具有这种无法恰当地检测监护对象者的对象的行为的可能性。然后,在具有那样的可能性的情况下,信息处理装置1通过步骤S107,能够通过输出警告信息而通知使用者具有无法恰当地检测对象的行为的可能性。因此,在本实施方式中,能够降低弄错监护系统的设定的可能性。
此外,判断检测区域是否显现到拍摄图像3内的方法可以根据实施的方式而适当设定。例如,控制部可以通过判断检测区域的预定的点是否显现到拍摄图像3内来确定检测区域是否显现到拍摄图像3内。
(其它)
此外,控制部11可以作为未完成通知部28发挥作用,当在开始步骤S101的处理之后规定时间内本动作例所涉及的关于床的位置的设定未完成时,进行用于告知关于床的位置的设定尚未完成的通知。由此,能够防止在关于床的位置的设定的途中对监护系统置之不理。
在此,作为通知关于床的位置的设定未完成的标准的预定时间既可以作为设定值而预先决定,也可以通过使用者的输入值来决定,还可以通过从多个设定值中选择来决定。并且,进行用于告知这样的设定未完成的通知的方法可以根据实施的方式而适当设定。
例如,控制部11可以与连接于信息处理装置1的护士呼叫器等已设置于福利机构中的设备协作而进行这种设定未完成的通知。例如,控制部11可以控制经由外部接口15而已连接的护士呼叫器,从而进行由该护士呼叫器产生的呼叫作为用于告知关于床的位置的设定未完成的通知。由此,向监护监护对象者的行为的人恰当地通知监护系统的设定未完成变为可能。
另外,例如,控制部11可以通过从连接于信息处理装置1的扬声器14中输出声音来进行设定未完成的通知。在该扬声器14已配置于床的周边的情况下,通过用扬声器14进行这样的通知,从而使位于进行监护的场所周边的人知道监护系统的设定未完成变为可能。在这种位于进行监护的场所周边的人中,可以包括监护对象者。由此,能够将监护系统的设定未完成也通知给监护对象者自己。
另外,例如,控制部11可以使用于通知设定未完成的画面显示于触摸面板显示器13上。另外,例如,控制部11可以利用电子邮件而进行这样的通知。在这种情况下,例如,成为通知目的地的用户终端的电子邮件地址预先已被注册于存储部12中,控制部11利用该预先已注册的电子邮件地址而进行用于告知设定未完成的通知。
[监护对象者的行为检测]
接着,使用图18来说明通过信息处理装置1进行的监护对象者的行为检测的处理步骤。图18例示通过信息处理装置1进行的监护对象者的行为检测的处理步骤。这种关于行为检测的处理步骤只不过是一个例子,各处理可以尽可能地变更。并且,关于在以下说明的处理步骤,能根据实施方式而适当进行步骤的省略、置换以及追加。
(步骤S201)
在步骤S201中,控制部11作为图像取得部21发挥作用,取得通过摄像机2拍摄到的拍摄图像3,该摄像机2是为了对监护对象者在床上的行为进行监护而设置的。在本实施方式中,由于摄像机2具有深度传感器,因此在所取得的拍摄图像3中包括有表示各像素的深度的深度信息。
在此,使用图19及图20来对控制部11取得的拍摄图像3进行说明。图19例示通过控制部11取得的拍摄图像3。与图2同样,在图19中例示的拍摄图像3的各像素的灰度值根据该各像素的深度而确定。即,各像素的灰度值(像素值)对应于该各像素显现的对象的深度。
如上所述,控制部11能够根据该深度信息而确定各像素显现的对象在真实空间的位置。即,控制部11能够根据拍摄图像3内的各像素的位置(二维信息)和深度而确定该各像素内显现的被拍摄体在三维空间(真实空间)中的位置。例如,在图19中例示的拍摄图像3显现的被拍摄体在真实空间中的状态在下一个图20中例示。
图20例示基于拍摄图像3中所包括的深度信息而确定的拍摄范围内的被拍摄体的位置的三维分布。通过用拍摄图像3内的位置和深度将各像素绘制于三维空间内,从而能够创建在图20中例示的三维分布。也就是说,控制部11能够如在图20中例示的三维分布那样识别拍摄图像3内显现的被拍摄体在真实空间内的状态。
此外,本实施方式涉及的信息处理装置1被用于在医疗机构或护理机构中监护住院病人或福利机构入住者。因此,控制部11可以使其与摄像机2的视频信号同步而取得拍摄图像3,以便能够实时地监护住院病人或福利机构入住者的行为。而且,控制部11可以对已取得的拍摄图像3立即执行后述的步骤S202直至S205为止的处理。信息处理装置1通过不间断连续地执行这样的动作,从而实现实时图像处理,使实时地监护住院病人或福利机构入住者的行为变为可能。
(步骤S202)
返回至图18,在步骤S202中,控制部11作为前景提取部22发挥作用,根据作为在步骤S201中已取得的拍摄图像3的背景而设定的背景图像与拍摄图像3的差分,提取该拍摄图像3的前景区域。在此,背景图像是为了提取前景区域而利用的数据,被设定为包括成为背景的对象的深度。创建背景图像的方法可以根据实施的方式而适当设定。例如,控制部11可以通过算出在开始了监护对象者的监护时获得的数帧大小的拍摄图像的平均来创建背景图像。此时,通过也包括深度信息而算出拍摄图像的平均,从而创建包括深度信息的背景图像。
图21例示在图19及图20中已例示的被拍摄体中的从拍摄图像3中提取的前景区域的三维分布。具体而言,图21例示了当监护对象者在床上起来了时提取的前景区域的三维分布。利用上述那样的背景图像而提取的前景区域在背景图像中示出的真实空间内的状态上开始发生了变化的位置出现。因此,当监护对象者在床上移动了的情况下,显现有监护对象者的动作部位的区域作为该前景区域而被提取。例如,在图21中,由于监护对象者在床上正在进行立起上半身的(起来)动作,因此,显现有监护对象者的上半身的区域作为前景区域而被提取。控制部11使用这样的前景区域而判断监护对象者的动作。
此外,在本步骤S202中,控制部11提取前景区域的方法可以不限定于以上那样的方法,例如,也可以使用背景差分法来分离背景和前景。作为背景差分法,例如,能够列举出:根据上述那样的背景图像与输入图像(拍摄图像3)的差分而分离背景和前景的方法、使用不同的三张图像而分离背景和前景的方法、以及通过应用统计模型而分离背景和前景的方法。提取前景区域的方法,可以没有特别限制,可以根据实施的方式而适当选择。
(步骤S203)
返回至图18,在步骤S203中,控制部11作为行为检测部23发挥作用,根据在步骤S202中已提取的前景区域内的像素的深度判断前景区域显现的对象与床上表面的位置关系是否满足预定的条件。然后,控制部11根据该判断结果而检测作为监护的对象而已选择的行为中的、监护对象者正在进行的行为。
在此,在只有“起来”被选择为检测对象的行为的情况下,在上述关于床的位置的设定处理中,省略床上表面的范围的设定,只设定床上表面的高度。因此,控制部11通过判断前景区域显现的对象相对于已设定的床上表面而在真实空间内是否存在于预定距离以上高的位置,从而检测监护对象者的起来。
另一方面,在“下床”、“端坐”以及“越过护栏”中的至少任一个已被选择为检测对象的行为的情况下,作为检测监护对象者的行为的基准,设定床上表面在真实空间内的范围。因此,控制部11通过判断已设定的床上表面与前景区域显现的对象在真实空间内的位置关系是否满足预定的条件,从而检测已被选择为监护的对象的行为。
即,不论在哪一种情况下,控制部11都根据前景区域显现的对象与床上表面在真实空间内的位置关系而检测监护对象者的行为。因此,用于检测监护对象者的行为的预定的条件可相当于用于判断前景区域显现的对象是否被包括在将床上表面作为基准而设定的预定的区域中的条件。该预定区域相当于上述的检测区域。因此,在以下,为便于说明,基于该检测区域与前景区域的关系说明检测监护对象者的行为的方法。
但是,检测监护对象者的行为的方法可以不局限于基于该检测区域的方法,可以根据实施的方式而适当设定。另外,判断前景区域显现的对象是否包括在检测区域中的方法可以根据实施的方式而适当设定。例如,可以通过评价阈值以上的像素数的前景区域是否出现于检测区域上来判断前景区域显现的对象是否包括在检测区域中。在本实施方式中,作为检测对象的行为,例示有“起来”、“下床”、“端坐”以及“越过护栏”。控制部11按如下方式检测这些行为。
(1)起来
在本实施方式中,当在步骤S101中“起来”已被选择为检测对象的行为时,监护对象者的“起来”成为本步骤S203的判断对象。在起来的检测上,使用在步骤S103中已设定的床上表面的高度。当步骤S103中的床上表面的高度的设定完成时,控制部11根据已设定的床上表面的高度而确定用于检测起来的检测区域。
图22示意性例示用于检测起来的检测区域DA。例如,如在图22中例示的,检测区域DA被设定为,从步骤S103中指定的指定面(床上表面)DF起在床的高度方向上方距离hf以上高的位置。该距离hf相当于本发明的“第二预定距离”。检测区域DA的范围可以没有特别限制,可以根据实施的方式而适当设定。控制部11可以在已判断为阈值以上的像素数量的前景区域上显现的对象被包括在检测区域DA的情况下,检测监护对象者在床上起来。
(2)下床
当在步骤S101中“下床”已被选择为检测对象的行为时,监护对象者的“下床”成为本步骤S203的判断对象。在下床的检测上,使用在步骤S105中已设定的床上表面的范围。当步骤S105中的床上表面的范围的设定完成时,控制部11根据已设定的床上表面的范围而确定用于检测下床的检测区域。
图23示意性例示用于检测下床的检测区域DB。假定在监护对象者从床上已下床的情况下,前景区域出现于与床的侧框架已分离的位置。因此,如在图23中所例示的,检测区域DB可以根据在步骤S105中已确定的床上表面的范围而设定于与床的侧框架已分离的位置。检测区域DB的范围与上述检测区域DA同样地,可以根据实施的方式而适当设定。控制部11可以在已判断为阈值以上的像素数量的前景区域上显现的对象被包括在检测区域DB中的情况下,检测监护对象者从床上下床。
(3)端坐
当在步骤S101中“端坐”已被选择为检测对象的行为时,监护对象者的“端坐”成为本步骤S203的判断对象。在端坐的检测上,与下床的检测同样地,使用在步骤S105中已设定的床上表面的范围。当步骤S105中的床上表面的范围的设定完成时,控制部11能够根据已设定的床上表面的范围确定用于检测端坐的检测区域。
图24示意性例示用于检测端坐的检测区域DC。设想:当监护对象者在床上进行端坐时,前景区域从床的上方至下方出现在床的侧框架周边。因此,如在图24中所例示的,检测区域DC可以被设定于从床的上方至下方出现在床的侧框架周边。控制部11可以在已判断为阈值以上的像素数量的前景区域上显现的对象被包括在检测区域DC中的情况下,检测监护对象者在床上的端坐。
(4)越过护栏
当在步骤S101中“越过护栏”已被选择为检测对象的行为时,监护对象者的“越过护栏”成为本步骤S203的判断对象。在越过护栏的检测上,与下床及端坐的检测同样地,使用在步骤S105中已设定的床上表面的范围。当步骤S105中的床上表面的范围的设定完成时,控制部11能够根据已设定的床上表面的范围而确定用于检测越过护栏的检测区域。
在此,设想:在监护对象者进行了越过护栏的情况下,前景区域出现于床的侧框架周边并且床的上方。因此,用于检测越过护栏的检测区域可以设定于床的侧框架周边且床的上方。控制部11可以在已判断为阈值以上的像素数量的前景区域上显现的对象被包括在该检测区域中的情况下,检测监护对象者越过护栏。
(5)其它
在本步骤S203中,控制部11通过上述方式进行在步骤S101中已选择的各行为的检测。即,控制部11能够在已判断为满足对象的行为的上述判断条件的情况下检测该对象的行为。另一方面,在已判断为不满足在步骤S101中已选择的各行为的上述判断条件的情况下,控制部11不检测监护对象者的行为,使处理前进至下一个步骤S204。
此外,如上所述,在步骤S105中,控制部11能够算出将摄像机坐标系的向量变换为床坐标系的向量的投影变换矩阵M。并且,控制部11能够根据上述数学式6~数学式8确定拍摄图像3内的任意的点s在摄像机坐标系中的坐标S(Sx,Sy,Sz,1)。因此,当在(2)~(4)中检测各行为时,控制部11可以利用该投影变换矩阵M算出前景区域内的各像素在床坐标系中的坐标。然后,控制部11可以利用已算出的床坐标系的坐标而判断前景区域内显现的各像素的对象是否被包括在各检测区域中。
并且,检测监护对象者的行为的方法可以不限定于上述的方法,可以根据实施的方式而适当设定。例如,控制部11可以通过取得作为前景区域已被提取的各像素的拍摄图像3内的位置及深度的平均而算出前景区域的平均位置。然后,控制部11可以通过判断在真实空间内该前景区域的平均位置是否被包括在作为检测各行为的条件而已设定的检测区域中,从而检测监护对象者的行为。
进一步地,控制部11可以根据前景区域的形状而确定前景区域显现的身体部位。前景区域示出从背景图像上发生的变化。因此,前景区域显现的身体部位对应于监护对象者的动作部位。基于此,控制部11可以根据已确定的身体部位(动作部位)与床上表面的位置关系而检测监护对象者的行为。与此同样地,控制部11可以通过判断各行为的检测区域中所包括的前景区域显现的身体部位是否为预定的身体部位而检测监护对象者的行为。
(步骤S204)
在步骤S204中,控制部11作为危险预兆通知部27发挥作用,判断在步骤S203中检测到的行为是否为显示出危险迫近监护对象者的预兆的行为。当在步骤S203中已检测的行为为显示出危险迫近监护对象者的预兆的行为时,控制部11使处理前进至步骤S205。另一方面,当在步骤S203中未检测监护对象者的行为时,或在步骤S203检测到的行为并不是显示出危险迫近监护对象者的预兆的行为时,控制部11结束本动作例涉及的处理。
被设定为是显示出危险迫近监护对象者的预兆的行为的行为可以根据实施的方式而适当选择。例如,也可以是端坐作为有可能发生滚落或跌倒的行为而被设定为显示出危险迫近监护对象者的预兆的行为。在这种情况下,控制部11当在步骤S203中已检测为监护对象者处于端坐的状态时,就判断为在步骤S203中检测到的行为是显示出危险迫近监护对象者的预兆的行为。
当判断在该步骤S203中检测到的行为是否为显示出危险迫近监护对象者的预兆的行为时,控制部11可以考虑监护对象者的行为的转变。例如,可设想,与从下床变为端坐的状态相比,从起来变为端坐的状态的情况,监护对象者滚落或跌倒的可能性高。因此,控制部11在步骤S204中可以基于监护对象者的行为的转变而判断在步骤S203中检测到的行为是否为显示出危险迫近监护对象者的预兆的行为。
例如,控制部11正在定期地检测监护对象者的行为时,在步骤S203中,在检测了监护对象者的起来之后,检测为监护对象者已变为端坐的状态。此时,控制部11在本步骤S204中可以判断为在步骤S203中推断出的行为是显示出危险迫近监护对象者的预兆的行为。
(步骤S205)
在步骤S205中,控制部11作为危险预兆通知部27发挥作用,进行用于告知具有危险迫近监护对象者的预兆的通知。与上述设定未完成的通知同样地,控制部11进行该通知的方法可以根据实施的方式而适当设定。
例如,与上述设定未完成的通知同样地,控制部11既可以利用护士呼叫器而进行用于告知具有危险迫近监护对象者的预兆的通知,也可以利用扬声器14而进行该通知。并且,控制部11既可以将用于告知具有危险迫近监护对象者的预兆的通知显示于触摸面板显示器13上,也可以利用电子邮件来进行该通知。
当该通知完成时,控制部11结束本动作例所涉及的处理。但是,信息处理装置1在定期地检测监护对象者的行为的情况下,可以定期地重复上述的动作例中所示出的处理。定期地重复处理的间隔可以适当设定。并且,信息处理装置1可以根据使用者的要求而执行上述的动作例中所示出的处理。
如以上那样,本实施方式所涉及的信息处理装置1通过利用前景区域和被拍摄体的深度而评价监护对象者的动作部位与床在真实空间内的位置关系,从而检测监护对象者的行为。因此,根据本实施方式,可以进行符合真实空间中的监护对象者的状态的行为推断。
§4变形例
以上,虽然详细说明了本发明的实施方式,但前述的说明在所有方面都只不过是本发明的例示。可在不脱离本发明范围的前提下进行各种改良和变形,这一点自不必说。
(1)面积的利用
例如,被拍摄体离摄像机2越远,拍摄图像3内的被拍摄体的像越小,被拍摄体越接近摄像机2,拍摄图像3内的被拍摄体的像越大。拍摄图像3内显现的被拍摄体的深度相对于被拍摄体的表面而取得,但是,对应于该拍摄图像3的各像素的被拍摄体的表面部分的面积在各像素间未必一致。
因此,为了排除由于被拍摄体的远近所带来的影响,控制部11可以在上述步骤S203中算出前置区域显现的被拍摄体中的、检测区域上所包括的部分在真实空间中的面积。然后,控制部11可以根据已算出的面积而检测监护对象者的行为。
此外,拍摄图像3内的各像素在真实空间中的面积能够根据该各像素的深度而通过以下方式求出。控制部11能够根据以下的数学式21及数学式22的关系式而分别算出图10及图11中例示的任意的点s(1像素)在真实空间内的横向的长度w及纵向的长度h。
[数学式21]
w = ( D s &times; tan V s 2 ) / W 2
[数学式22]
h = ( D s &times; tan V y 2 ) / H 2
因此,控制部11能够通过如此算出的w的平方、h的平方、或w与h之积来求出深度Ds上的1像素在真实空间内的面积。因此,在上述步骤S203中,控制部11算出显现对象的各像素在真实空间中的面积的总和,其中该对象包括于前置区域内的像素中的检测区域中。然后,控制部11可以通过判断已算出的面积的总和是否包括在预定的范围内而检测监护对象者在床上的行为。由此,能够排除被拍摄体的远近的影响,进而提高监护对象者的行为的检测精度。
此外,由于深度信息的噪声、监护对象者以外的物体的移动等而导致这样的面积具有很大地变化的情况。为了处理该问题,控制部11可以利用数帧大小的面积的平均。另外,当处理对象的帧中的所符合的区域的面积与比该处理对象的帧过去的数帧中的该所符合的区域的面积的平均之差超过预定范围的情况下,控制部11可以将该所符合的区域从处理对象中除外。
(2)利用了面积及弥散(分散)的行为推断
在利用上述那样的面积而检测监护对象者的行为的情况下,成为用于检测行为的条件的面积的范围,是根据被设想为包括在检测区域中的监护对象者的预定部位而设定。该预定部位例如为监护对象者的头部、肩部等。即,根据监护对象者的预定部位的面积而设定成为用于检测行为的条件的面积的范围。
但是,若只用前置区域显现的对象在真实空间内的面积,控制部11并不能够确定该前置区域显现的对象的形状。因此,控制部11具有取错检测区域上所包括的监护对象者的身体部位而导致误检测监护对象者的行为的可能性。因此,控制部11可以利用表示真实空间中的扩展情况的弥散来防止这样的误检测。
使用图25来说明该弥散。图25例示区域的扩展情况与弥散的关系。在图25中例示的区域TA及区域TB假设分别为相同的面积。如果想只用上述那样的面积来推断监护对象者的行为,则就导致控制部11识别为区域TA与区域TB相同,因此具有导致误检测监护对象者的行为的可能性。
然而,如在图25中例示的,区域TA与区域TB在真实空间中的扩展差别很大(在图25中水平方向的扩展情况)。因此,控制部11可以在上述步骤S203中算出前置区域上所包括的像素中的、显现的检测区域上所包括的对象的各像素的弥散。然后,控制部11可以根据已算出的弥散是否包括在预定的范围内的判断而检测监护对象者的行为。
此外,与上述面积的例子同样地,成为行为检测的条件的弥散的范围根据被设想为包括在检测区域中的监护对象者的规定部位而设定。例如,在设想为被包括在检测区域上的预定部位是头部的情况下,成为行为检测的条件的弥散的值设定在比较小的值的范围内。另一方面,在设想为被包括在检测区域上的预定部位是肩部的情况下,成为行为检测的条件的弥散的值设定在比较大的值的范围内。
(3)前景区域的不利用
在上述实施方式中,控制部11(信息处理装置1)利用在步骤S202中提取的前景区域而检测监护对象者的行为。然而,检测监护对象者的行为的方法可以不限定于这种利用了前景区域的方法,可以根据实施的方式而适当选择。
在检测监护对象者的行为时不利用前景区域的情况下,控制部11可以省略上述步骤S202的处理。然后,控制部11可以作为行为检测部23发挥作用,根据拍摄图像3内的各像素的深度判断床基准面与监护对象者在真实空间内的位置关系是否满足预定的条件,从而检测监护对象者的与床关联的行为。作为这种例子,例如,作为步骤S203的处理,控制部11可以通过模式检测、图形元素检测等来解析拍摄图像3而确定与监护对象者关联的像。该与监护对象者关联的像既可以为监护对象者的全身的像,也可以为头部、肩部等一个或多个身体部位的像。然后,控制部11可以根据已确定的与监护对象者关联的像与床在真实空间内的位置关系而检测监护对象者的与床关联的行为。
此外,如上所述,用于提取前景区域的处理只不过是计算拍摄图像3与背景图像的差分的处理。因此,在如上述实施方式那样利用前景区域而检测监护对象者的行为的情况下,控制部11(信息处理装置1)不利用高级的图像处理即可检测监护对象者的行为。由此,能够使对监护对象者的行为的检测所涉及的处理高速化。
(4)深度信息的不利用
在上述实施方式中,控制部11(信息处理装置1)通过根据深度信息推断在真实空间的监护对象者的状态,从而检测监护对象者的行为。然而,检测监护对象者的行为的方法可以不限定于这种利用了深度信息的方法,可以根据实施的方式而适当选择。
在不利用深度信息的情况下,摄像机2可以不包括深度传感器。在这种情况下,控制部11可以作为行为检测部23发挥作用,通过判断在拍摄图像3内显现的监护对象者与床的位置关系是否满足预定的条件来检测监护对象者的行为。例如,控制部11可以通过模式检测、图形元素检测等来解析拍摄图像3而确定与监护对象者关联的像。然后,控制部11可以根据已确定的与监护对象者关联的像与床在拍摄图像3内的位置关系而检测监护对象者的与床关联的行为。另外,例如,控制部11可以将前景区域显现的对象假定为监护对象者,通过判断前景区域所出现的位置是否满足预定的条件来检测监护对象者的行为。
此外,如上所述,当利用深度信息时,能够确定拍摄图像3内显现的被拍摄体在真实空间内的位置。因此,在如上述实施方式那样利用深度信息而检测监护对象者的行为的情况下,信息处理装置1能够考虑真实空间内的状态而检测监护对象者的行为。
(5)床上表面的范围的设定方法
在上述实施方式的步骤S105中,信息处理装置1(控制部11)通过接收床的基准点的位置及床的方向的指定而确定了床上表面在真实空间内的范围。然而,确定床上表面在真实空间内的范围的方法可以不限定于这样的例子,可以根据实施的方式而适当选择。例如,信息处理装置1可以通过接收预定床上表面的范围的四个角中的两个角的指定而确定床上表面在真实空间内的范围。以下,使用图26来说明该方法。
图26例示当接收床上表面的范围的设定时显示于触摸面板显示器13上的画面60。控制部11替换成上述步骤S105的处理并执行该处理。即,为了在步骤S105中接收床上表面的范围的指定,控制部11将画面60显示于触摸面板显示器13。画面60包括:描画从摄像机2中获得的拍摄图像3的区域61、用于指定规定床上表面的四个角中的两个角的两个标识62。
如上所述,床的尺寸大多情况根据监护环境预先已决定,控制部11通过预先决定的设定值或使用者的输入值能够确定床的尺寸。然后,如果能够确定规定床上表面的范围的四个角中的两个角在真实空间内的位置,则通过将表示床的尺寸的信息(以下,也称为床的尺寸信息)应用到这些两个角的位置,从而能够确定床上表面在真实空间内的范围。
因此,控制部11,例如,采用与在上述实施方式中通过标识52算出指定的基准点p在摄像机坐标系中的坐标P的方法同样的方法,算出通过两个标识62分别指定的两个角在摄像机坐标系中的坐标。由此,控制部11能够确定该两个角在真实空间上的位置。在由图26例示的画面60中,使用者指定床头板侧的两个角。因此,控制部11通过将该已确定真实空间内的位置的两个角作为床头板侧的两个角来对待而推断床上表面的范围,从而确定床上表面在真实空间内的范围。
例如,控制部11将连接已确定在真实空间内的位置的两个角之间的向量的方向确定为床头板的方向。在这种情况下,控制部11可以将任一个角作为向量的始点来对待。然后,控制部11将在与该向量同一高度上朝着垂直方向的向量的方向确定作为侧框架的方向。在作为侧框架的方向而具有多个候选的情况下,控制部11既可以按照预先决定的设定而确定侧框架的方向,也可以基于由使用者进行的选择而确定侧框架的方向。
另外,控制部11使根据床的尺寸信息确定的床的横宽的长度与确定了在真实空间内的位置的两个角之间的距离建立对应。由此,表现真实空间的坐标系(例如摄像机坐标系)中的比例尺与真实空间建立对应。然后,控制部11根据由床的尺寸信息确定的床的纵长的长度,分别由床头板侧的两个角确定存在于侧框架的方向上的床尾板侧的两个角在真实空间内的位置。由此,控制部11能够确定床上表面在真实空间内的范围。控制部11将通过这种方式确定的范围设定为床上表面的范围。详细而言,控制部11将根据在操作了“开始”按钮时所指定的标识62的位置而确定的范围设定为床上表面的范围。
此外,在图26中,作为接收指定的两个角,例示了床头板侧的两个角。然而,接收指定的两个角可以不限定于这样的例子,可以从规定床上表面的范围的四个角中适当选择。
另外,接收规定床上表面的范围的四个角中的哪一个角的位置的指定,既可以如上所述预先已确定,也可以通过使用者的选择而决定。成为被使用者指定位置的对象的角的选择既可以在指定位置之前进行,也可以在指定位置之后进行。
并且,与上述实施方式同样地,控制部11可以将由所指定的两个标识的位置确定的床框FD描画于拍摄图像3内。通过如此地将床框FD描画于拍摄图像3内,从而能使使用者确认所指定的床的范围,同时使使用者辨认指定哪一个角的位置较好。
(6)其它
此外,上述实施方式涉及的信息处理装置1根据考虑了摄像机2的俯仰角α的关系式而算出关于床的位置的设定的各种值。但是,信息处理装置1所考虑的摄像机2的属性值可以不限定于该俯仰角α,可以根据实施的方式而适当选择。例如,除摄像机2的俯仰角α以外,上述信息处理装置1还可以根据考虑了摄像机2的侧倾角等的关系式,算出关于床的位置的设定的各种值。
另外,成为监护对象者的行为的基准的床的基准面,可以不采用上述步骤S103~步骤S108而预先设定。床的基准面可以根据实施的方式而适当设定。进一步地,上述实施方式涉及的信息处理装置1,可以不依据床的基准面而判断前景区域显现的对象与床的位置关系。判断前景区域显现的对象与床的位置关系的方法可以根据实施的方式而适当设定。
另外,在上述实施方式中,使摄像机2的方向对准床的指示内容被显示于设定床上表面的高度的画面40内。然而,显示使摄像机2的方向对准床的指示内容的方法可以不局限于这种形态。控制部11可以在与设定床上表面的高度的画面40不同的另外的画面上,将使摄像机2的方向对准床的指示内容,和通过摄像机2已取得的拍摄图像3显示于触摸面板显示器13。另外,控制部11也可以在该画面上接收摄像机2的方向的调整已完成这一内容。而且,控制部11可以在接收到摄像机2的方向的调整已完成这一内容之后,使设定床上表面的高度的画面40显示于触摸面板显示器13。
附图标记说明
1…信息处理装置、2…摄像机、3…拍摄图像、5…程序、6…存储介质、21…图像取得部、22…前景提取部、23…行为检测部、24…设定部、25…显示控制部、26…行为选择部、27…危险预兆通知部、28…未完成通知部。

Claims (13)

1.一种信息处理装置,包括:
行为选择部,从监护对象者的与床关联的多个行为中接收针对该监护对象者的作为监护的对象的行为的选择;
显示控制部,对应于作为所述监护的对象而被选择的行为,使拍摄装置相对于所述床的配置位置的候选显示于显示装置,该拍摄装置用于监护所述监护对象者在床上的行为;
图像取得部,取得通过所述拍摄装置拍摄的拍摄图像;以及
行为检测部,通过判断所述拍摄图像内显现的所述监护对象者与所述床的位置关系是否满足预定的条件,检测作为所述监护的对象而被选择的行为。
2.根据权利要求1所述的信息处理装置,其中,
所述显示控制部除了所述拍摄装置相对于所述床的配置位置的候选之外,还使预先设定的、不推荐设置所述拍摄装置的位置显示于显示装置。
3.根据权利要求1或2所述的信息处理装置,其中,
所述显示控制部在接收到完成所述拍摄装置的配置的情况之后,使通过所述拍摄装置取得的拍摄图像和指示所述拍摄装置的朝向对准所述床的指示内容一起显示于所述显示装置。
4.根据权利要求1至3所述的信息处理装置,其中,
所述图像取得部取得包含深度信息的拍摄图像,该深度信息表示所述拍摄图像内的各像素的深度,
作为所述拍摄图像内显现的所述监护对象者与所述床的位置关系是否满足预定的条件的判断,所述行为检测部根据由所述深度信息所表示的所述拍摄图像内的各像素的深度,判断所述监护对象者与所述床的区域在真实空间内的位置关系是否满足预定的条件,从而检测作为所述监护的对象而被选择的行为。
5.根据权利要求4所述的信息处理装置,其中,
所述信息处理装置还包括设定部,所述设定部在接收到完成所述拍摄装置的配置的情况之后,接收所述床的基准面的高度的指定,并将该指定的高度设定为所述床的基准面的高度,
在所述设定部接收所述床的基准面的高度的指定时,所述显示控制部根据由所述深度信息表示的所述拍摄图像内的各像素的深度,在所述拍摄图像上明示显现有位于作为所述床的基准面的高度而指定的高度上的对象的区域,由此使所取得的所述拍摄图像显示于显示装置,
所述行为检测部判断在真实空间内的所述床的高度方向上的所述床的基准面与所述监护对象者的位置关系是否满足预定的条件,从而检测作为所述监护的对象而被选择的行为。
6.根据权利要求5所述的信息处理装置,其中,
所述信息处理装置还包括前景提取部,该前景提取部根据被设定作为所述拍摄图像的背景的背景图像与所述拍摄图像的差分而提取所述拍摄图像的前景区域,
所述行为检测部将根据所述前景区域内的各像素的深度而确定的、所述前景区域显现的对象在真实空间内的位置用作所述监护对象者的位置,判断在真实空间内的所述床的高度方向上的所述床的基准面与所述监护对象者的位置关系是否满足预定的条件,从而检测作为所述监护的对象而被选择的行为。
7.根据权利要求5所述的信息处理装置,其中,
所述行为选择部从包括在所述床的端部附近或外侧进行的所述监护对象者的预定行为的、所述监护对象者的与床关联的多个行为中接收针对所述监护对象者的作为监护的对象的行为的选择,
所述设定部作为所述床的基准面的高度而接收床上表面的高度的指定,并将该指定的高度设定为所述床上表面的高度,并且,
在作为所述监护的对象而被选择的行为中包含有所述预定行为的情况下,所述设定部在设定所述床上表面的高度之后,还为了确定所述床上表面的范围,在所述拍摄图像内接收设定于所述床上表面内的基准点的位置和所述床的方向的指定,并根据所指定的所述基准点的位置及所述床的方向设定所述床上表面在真实空间内的范围,
所述行为检测部通过判断所设定的所述床的上表面与所述监护对象者在所述真实空间内的位置关系是否满足预定的条件来检测作为所述监护的对象而被选择的所述预定行为。
8.根据权利要求5所述的信息处理装置,其中,
所述行为选择部从包括在所述床的端部附近或外侧进行的所述监护对象者的预定行为的、所述监护对象者的与床关联的多个行为中接收针对所述监护对象者的作为监护的对象的行为的选择,
所述设定部作为所述床的基准面的高度而接收床上表面的高度的指定,并将该指定的高度设定为所述床上表面的高度,并且,
在作为所述监护的对象而被选择的行为中包含有所述预定行为的情况下,所述设定部在设定所述床上表面的高度之后,还在所述拍摄图像内接收用于规定床上表面的范围的四个角中两个角的位置的指定,并根据所指定的该两个角的位置设定所述床上表面在真实空间内的范围,
所述行为检测部通过判断所设定的所述床的上表面与所述监护对象者在所述真实空间内的位置关系是否满足预定的条件来检测作为所述监护的对象而被选择的所述预定行为。
9.根据权利要求7或8所述的信息处理装置,其中,
针对设定的所述床上表面的范围,所述设定部判断根据为了检测作为所述监护的对象而被选择的所述预定行为而设定的所述预定的条件所确定的检测区域是否显现在所述拍摄图像内,在判断为作为所述监护的对象而被选择的所述预定行为的检测区域未显现在所述拍摄图像内的情况下,输出警告信息,该警告信息表示可能无法正常进行作为所述监护的对象而被选择的所述预定行为的检测。
10.根据权利要求7至9中任一项所述的信息处理装置,其中,
所述信息处理装置还包括前景提取部,该前景提取部根据被设定作为所述拍摄图像的背景的背景图像与所述拍摄图像的差分而提取所述拍摄图像的前景区域,
所述行为检测部将根据所述前景区域内的各像素的深度确定的、所述前景区域显现的对象在真实空间内的位置用作所述监护对象者的位置,判断所述床上表面与所述监护对象者在所述真实空间内的位置关系是否满足预定的条件,从而检测作为所述监护的对象而被选择的所述预定行为。
11.根据权利要求5至10中任一项所述的信息处理装置,其中,
所述信息处理装置还包括未完成通知部,所述未完成通知部在通过所述设定部进行的设定在预定时间内未完成的情况下,进行用于告知通过所述设定部进行的设定尚未完成的通知。
12.一种信息处理方法,由计算机执行如下步骤:
从监护对象者的与床关联的多个行为中接收针对该监护对象者的作为监护的对象的行为的选择;
对应于作为所述监护的对象而被选择的行为,使拍摄装置相对于所述床的配置位置的候选显示于显示装置,该拍摄装置用于监护所述监护对象者在床上的行为;
取得通过所述拍摄装置拍摄的拍摄图像;以及
通过判断所述拍摄图像内显现的所述监护对象者与所述床的位置关系是否满足预定的条件,检测作为所述监护的对象而被选择的行为。
13.一种程序,用于使计算机执行如下步骤:
从监护对象者的与床关联的多个行为中接收针对该监护对象者的作为监护的对象的行为的选择;
对应于作为所述监护的对象而被选择的行为,使拍摄装置相对于所述床的配置位置的候选显示于显示装置,该拍摄装置用于监护所述监护对象者在床上的行为;
取得通过所述拍摄装置拍摄的拍摄图像;以及
通过判断所述拍摄图像内显现的所述监护对象者与所述床的位置关系是否满足预定的条件,检测作为所述监护的对象而被选择的行为。
CN201580006834.6A 2014-02-18 2015-01-22 信息处理装置、信息处理方法及程序 Pending CN105960663A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014028656 2014-02-18
JP2014-028656 2014-02-18
PCT/JP2015/051633 WO2015125545A1 (ja) 2014-02-18 2015-01-22 情報処理装置、情報処理方法、及び、プログラム

Publications (1)

Publication Number Publication Date
CN105960663A true CN105960663A (zh) 2016-09-21

Family

ID=53878060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580006834.6A Pending CN105960663A (zh) 2014-02-18 2015-01-22 信息处理装置、信息处理方法及程序

Country Status (4)

Country Link
US (1) US20170055888A1 (zh)
JP (1) JP6432592B2 (zh)
CN (1) CN105960663A (zh)
WO (1) WO2015125545A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108322641A (zh) * 2017-01-16 2018-07-24 佳能株式会社 摄像控制设备、控制方法和存储介质
CN110545775A (zh) * 2017-04-28 2019-12-06 八乐梦床业株式会社 床系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10206630B2 (en) 2015-08-28 2019-02-19 Foresite Healthcare, Llc Systems for automatic assessment of fall risk
US11864926B2 (en) 2015-08-28 2024-01-09 Foresite Healthcare, Llc Systems and methods for detecting attempted bed exit
JP6613828B2 (ja) * 2015-11-09 2019-12-04 富士通株式会社 画像処理プログラム、画像処理装置、及び画像処理方法
US10453202B2 (en) * 2016-06-28 2019-10-22 Foresite Healthcare, Llc Systems and methods for use in detecting falls utilizing thermal sensing
JP6910062B2 (ja) * 2017-09-08 2021-07-28 キング通信工業株式会社 見守り方法
JP7076281B2 (ja) * 2018-05-08 2022-05-27 国立大学法人鳥取大学 危険度推定システム
GB201900581D0 (en) * 2019-01-16 2019-03-06 Os Contracts Ltd Bed exit monitoring
WO2023162016A1 (ja) * 2022-02-22 2023-08-31 日本電気株式会社 監視システム、監視装置、監視方法、および記録媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08150125A (ja) * 1994-09-27 1996-06-11 Kanebo Ltd 病室内患者監視装置
CN102610054A (zh) * 2011-01-19 2012-07-25 上海弘视通信技术有限公司 基于视频的起身检测系统
CN102710894A (zh) * 2011-03-28 2012-10-03 株式会社日立制作所 摄像机设置支援方法、图像识别方法
JP2013078433A (ja) * 2011-10-03 2013-05-02 Panasonic Corp 監視装置、プログラム
CN103189871A (zh) * 2010-09-14 2013-07-03 通用电气公司 用于规程遵守的系统和方法
JP2013149156A (ja) * 2012-01-20 2013-08-01 Fujitsu Ltd 状態検知装置および状態検知方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471198A (en) * 1994-11-22 1995-11-28 Newham; Paul Device for monitoring the presence of a person using a reflective energy beam
US8675059B2 (en) * 2010-07-29 2014-03-18 Careview Communications, Inc. System and method for using a video monitoring system to prevent and manage decubitus ulcers in patients
US9311540B2 (en) * 2003-12-12 2016-04-12 Careview Communications, Inc. System and method for predicting patient falls
US7319386B2 (en) * 2004-08-02 2008-01-15 Hill-Rom Services, Inc. Configurable system for alerting caregivers
US20120140068A1 (en) * 2005-05-06 2012-06-07 E-Watch, Inc. Medical Situational Awareness System
WO2007070384A2 (en) * 2005-12-09 2007-06-21 Honeywell International Inc. Method and system for monitoring a patient in a premises
JP2009049943A (ja) * 2007-08-22 2009-03-05 Alpine Electronics Inc 距離画像によるトップビュー表示装置
WO2009029996A1 (en) * 2007-09-05 2009-03-12 Conseng Pty Ltd Patient monitoring system
US7987069B2 (en) * 2007-11-12 2011-07-26 Bee Cave, Llc Monitoring patient support exiting and initiating response
US9866797B2 (en) * 2012-09-28 2018-01-09 Careview Communications, Inc. System and method for monitoring a fall state of a patient while minimizing false alarms
JP5648840B2 (ja) * 2009-09-17 2015-01-07 清水建設株式会社 ベッド上及び室内の見守りシステム
JP5771778B2 (ja) * 2010-06-30 2015-09-02 パナソニックIpマネジメント株式会社 監視装置、プログラム
JP5682204B2 (ja) * 2010-09-29 2015-03-11 オムロンヘルスケア株式会社 安全看護システム、および、安全看護システムの制御方法
US9530060B2 (en) * 2012-01-17 2016-12-27 Avigilon Fortress Corporation System and method for building automation using video content analysis with depth sensing
US8823529B2 (en) * 2012-08-02 2014-09-02 Drs Medical Devices, Llc Patient movement monitoring system
JP6171415B2 (ja) * 2013-03-06 2017-08-02 ノーリツプレシジョン株式会社 情報処理装置、情報処理方法、及び、プログラム
JP6390886B2 (ja) * 2013-06-04 2018-09-19 旭光電機株式会社 見守り装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08150125A (ja) * 1994-09-27 1996-06-11 Kanebo Ltd 病室内患者監視装置
CN103189871A (zh) * 2010-09-14 2013-07-03 通用电气公司 用于规程遵守的系统和方法
CN102610054A (zh) * 2011-01-19 2012-07-25 上海弘视通信技术有限公司 基于视频的起身检测系统
CN102710894A (zh) * 2011-03-28 2012-10-03 株式会社日立制作所 摄像机设置支援方法、图像识别方法
JP2013078433A (ja) * 2011-10-03 2013-05-02 Panasonic Corp 監視装置、プログラム
JP2013149156A (ja) * 2012-01-20 2013-08-01 Fujitsu Ltd 状態検知装置および状態検知方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108322641A (zh) * 2017-01-16 2018-07-24 佳能株式会社 摄像控制设备、控制方法和存储介质
US11178325B2 (en) 2017-01-16 2021-11-16 Canon Kabushiki Kaisha Image capturing control apparatus that issues a notification when focus detecting region is outside non-blur region, control method, and storage medium
CN110545775A (zh) * 2017-04-28 2019-12-06 八乐梦床业株式会社 床系统
CN110545775B (zh) * 2017-04-28 2021-06-01 八乐梦床业株式会社 床系统

Also Published As

Publication number Publication date
WO2015125545A1 (ja) 2015-08-27
JPWO2015125545A1 (ja) 2017-03-30
US20170055888A1 (en) 2017-03-02
JP6432592B2 (ja) 2018-12-05

Similar Documents

Publication Publication Date Title
CN105960663A (zh) 信息处理装置、信息处理方法及程序
CN105940428A (zh) 信息处理装置、信息处理方法及程序
CN106415654A (zh) 信息处理装置、信息处理方法及程序
CN105283129B (zh) 信息处理装置、信息处理方法
CN105940434A (zh) 信息处理装置、信息处理方法及程序
CN109816745A (zh) 人体热力图展示方法及相关产品
CN105960664A (zh) 信息处理装置、信息处理方法及程序
JP6780641B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
US20160127657A1 (en) Imaging system
WO2014174674A1 (ja) 画像処理プログラム、画像処理方法及び情報端末
US9218794B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
CN106169075A (zh) 身份验证方法及装置
CN108985220A (zh) 一种人脸图像处理方法、装置及存储介质
WO2014182898A1 (en) User interface for effective video surveillance
CN109815813A (zh) 图像处理方法及相关产品
CN105929538A (zh) 一种虚拟现实设备的显示方法及装置
JP2014115821A (ja) 顔特徴抽出装置および顔認証システム
CN112101123A (zh) 一种注意力检测方法及装置
CN105993022B (zh) 利用脸部表情识别和认证的方法和系统
JP6773825B2 (ja) 学習装置、学習方法、学習プログラム、及び対象物認識装置
CN109858319A (zh) 图像处理设备及控制方法和非暂时性计算机可读存储介质
JP6819689B2 (ja) 画像処理装置、滞留物体追跡システム、画像処理方法および記録媒体
JP6354444B2 (ja) 評価方法、評価プログラムおよび情報処理装置
JP6922768B2 (ja) 情報処理装置
CN113011369A (zh) 一种位置区域监控方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160921