JP2017107594A - 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム - Google Patents
画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム Download PDFInfo
- Publication number
- JP2017107594A JP2017107594A JP2017031300A JP2017031300A JP2017107594A JP 2017107594 A JP2017107594 A JP 2017107594A JP 2017031300 A JP2017031300 A JP 2017031300A JP 2017031300 A JP2017031300 A JP 2017031300A JP 2017107594 A JP2017107594 A JP 2017107594A
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- area
- image processing
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Biophysics (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
【課題】行動判別処理で用いられる設定が正しくなくなった場合に、管理者に設定を再度促すことを比較的簡易な構成で実現できる画像処理システムを提供する。
【解決手段】画像処理システムは、被写体を撮影して得られた設定画像(30A)に対してベッド(20)を含むベッド領域(40)の設定を受け付ける受付部と、設定画像(30A)と同じ視点から被写体を撮影して得られる入力画像(30B)から人物(12)を検出する人物検出部と、入力画像(30B)内のベッド領域(40)と、入力画像(30B)内の人物領域との間の位置関係に基づいて、物体に対する人物の行動を判別する行動判別部と、設定画像(30A)内のベッド領域(40)の画像情報と入力画像(30B)内のベッド領域(40)の画像情報とを比較して、ベッド領域(40)からベッド(20)がずれていることを検出するずれ検出部と、ベッド領域(40)から物体がずれていることを報知する報知部とを備える。
【選択図】図2
【解決手段】画像処理システムは、被写体を撮影して得られた設定画像(30A)に対してベッド(20)を含むベッド領域(40)の設定を受け付ける受付部と、設定画像(30A)と同じ視点から被写体を撮影して得られる入力画像(30B)から人物(12)を検出する人物検出部と、入力画像(30B)内のベッド領域(40)と、入力画像(30B)内の人物領域との間の位置関係に基づいて、物体に対する人物の行動を判別する行動判別部と、設定画像(30A)内のベッド領域(40)の画像情報と入力画像(30B)内のベッド領域(40)の画像情報とを比較して、ベッド領域(40)からベッド(20)がずれていることを検出するずれ検出部と、ベッド領域(40)から物体がずれていることを報知する報知部とを備える。
【選択図】図2
Description
本開示は、登録した追跡対象を時系列の画像上で追跡するための画像処理システム、画像処理装置、画像処理方法、および画像処理プログラムに関する。
近年、映像から人物の行動を判別するための画像処理技術が開発されている。この画像処理技術は、たとえば、介護を要する被介護者の行動を見守るための画像処理装置などに応用されている。このような画像処理技術に関して、特開2002−230533号公報(特許文献1)は、「ベッド外形下辺となる境界辺を用いて、入床事象、離床事象を正確に判断することのできる画像処理装置」を開示している。また、特開2012−30042号公報(特許文献2)は、「ベッドを基準にして監視すべき領域を自動的に検出することにより、監視対象の人の動作を正確かつ再現性よく検出することを可能にした監視装置」を開示している。
特許文献1に開示される画像処理装置は、床面領域からベッド領域への人物の移動を検出すると当該人物が入床していると判断し、ベッド領域から床面領域への人物の移動を検出すると当該人物が離床していると判断する。入床および離床の判断処理は、ベッド領域が予め正確に設定されていることを前提としている。そのため、ベッドが移動された場合には、当該画像処理装置は、人物の行動を正確に判別することができない。したがって、行動判別処理で用いられる設定が正しくなくなった場合に、管理者に設定を再度促すための画像処理装置が望まれている。
特許文献2に開示される監視装置は、距離画像センサによって出力された距離画像を用いてベッドの位置を抽出し、ベッドの範囲内と範囲外とにおいて人が占有する領域を検出する。当該監視装置は、検出されたベッドと検出された人の領域との組み合わせによりベッドに対する人の行動を判別する。距離画像センサによる距離画像の生成は、アクティブ方式や、複数のカメラを用いて実現される。そのため、距離画像センサが用いられると、コストが高くなる。また、距離画像を生成するためには処理時間が問題となり、行動判別処理を常時実行することは困難である。
本開示は上述のような問題点を解決するためになされたものであって、その目的は、行動判別処理で用いられる設定が正しくなくなった場合に、管理者に設定を再度促すことを比較的簡易な構成で実現できる画像処理システムを提供することである。他の局面における目的は、行動判別処理で用いられる設定が正しくなくなった場合に、管理者に設定を再度促すことを比較的簡易な構成で実現できる画像処理装置を提供することである。さらに他の局面における目的は、行動判別処理で用いられる設定が正しくなくなった場合に、管理者に設定を再度促すことを比較的簡易な構成で実現できる画像処理方法を提供することである。さらに他の局面における目的は、行動判別処理で用いられる設定が正しくなくなった場合に、管理者に設定を再度促すことを比較的簡易な構成で実現できる画像処理プログラムを提供することである。
一実施の形態に従うと、画像処理システムは、被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるための受付部と、基準画像と同じ視点から被写体を撮影して得られる入力画像から人物領域を検出するための人物検出部と、入力画像内の物体を含む領域と、入力画像内の人物領域との間の位置関係に基づいて、人物領域内の人物の行動を判別するための行動判別部と、基準画像内の物体を含む領域の画像情報と入力画像内の物体を含む領域の画像情報とを比較して、または基準画像内の物体を含む領域近傍の画像情報と入力画像内の物体を含む領域近傍の画像情報とを比較して、物体を含む領域から物体がずれていることを検出するためのずれ検出部と、物体のずれが検出されたときに、人物の行動を判別せずに、設定された物体を含む領域から入力画像内の物体がずれていることを報知するための報知部とを備える。
好ましくは、受付部は、基準画像に対する複数の点の設定、基準画像に対する複数の線の設定、および基準画像に対する面の設定の少なくとも1つを受け付けることで物体を含む領域の設定を受け付ける。
好ましくは、受付部は、基準画像における物体の向きの設定をさらに受け付ける。
好ましくは、行動判別部は、入力画像の物体を含む領域内に占める人物領域の大きさと、入力画像の物体を含む領域外に占める人物領域の大きさとの少なくとも一方に基づいて、人物の行動を判別する。
好ましくは、物体は、寝具である。人物検出部は、時系列の複数の入力画像から人物を順次検出する。行動判別部は、入力画像の物体を含む領域外に占める人物領域の大きさを順次算出し、順次算出される人物領域の大きさが所定閾値よりも大きくなったことに基づいて、人物が起床したと判別する。
好ましくは、物体は、寝具である。人物検出部は、時系列の複数の入力画像から人物を順次検出する。行動判別部は、入力画像の物体を含む領域内に占める人物領域の大きさを順次算出し、順次算出される人物領域の大きさが所定閾値よりも小さくなったことに基づいて、人物が離床したと判別する。
好ましくは、報知部は、ずれを報知しないように設定されている場合、入力画像を生成するカメラの設置条件が所定の禁止条件を満たした場合、または、入力画像に示される環境が所定の条件を満たした場合には、ずれが検出されたときであっても、物体がずれていることを報知しない。
好ましくは、報知部は、ずれを報知しないように設定されている場合、入力画像を生成するカメラの設置条件が所定の禁止条件を満たした場合、または、入力画像に示される環境が所定条件を満たした場合には、ずれ検出部がずれを検出するための条件を現在設定されている条件よりも厳しくする。
他の局面に従うと、画像処理装置は、被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるための受付部と、基準画像と同じ視点から被写体を撮影して得られる入力画像から人物領域を検出するための人物検出部と、入力画像内の物体を含む領域と、入力画像内の人物領域との間の位置関係に基づいて、人物領域内の人物の行動を判別するための行動判別部と、基準画像内の物体を含む領域の画像情報と入力画像内の物体を含む領域の画像情報とを比較して、または基準画像内の物体を含む領域近傍の画像情報と入力画像内の物体を含む領域近傍の画像情報とを比較して、物体を含む領域から物体がずれていることを検出するためのずれ検出部と、物体のずれが検出されたときに、人物の行動を判別せずに、設定された物体を含む領域から入力画像内の物体がずれていることを報知するための報知部とを備える。
さらに他の局面に従うと、画像処理方法は、被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるステップと、基準画像と同じ視点から被写体を撮影して得られる入力画像から人物領域を検出するステップと、入力画像内の物体を含む領域と、入力画像内の人物領域との間の位置関係に基づいて、人物領域内の人物の行動を判別するステップと、基準画像内の物体を含む領域の画像情報と入力画像内の物体を含む領域の画像情報とを比較して、または基準画像内の物体を含む領域近傍の画像情報と入力画像内の物体を含む領域近傍の画像情報とを比較して、物体を含む領域から物体がずれていることを検出するステップと、物体のずれが検出されたときに、人物の行動を判別せずに、設定された物体を含む領域から入力画像内の物体がずれていることを報知するステップとを備える。
さらに他の局面に従うと、画像処理プログラムは、コンピュータに、被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるステップと、基準画像と同じ視点から被写体を撮影して得られる入力画像から人物領域を検出するステップと、入力画像内の物体を含む領域と、入力画像内の人物領域との間の位置関係に基づいて、人物領域内の行動を判別するステップと、基準画像内の物体を含む領域の画像情報と入力画像内の物体を含む領域の画像情報とを比較して、または基準画像内の物体を含む領域近傍の画像情報と入力画像内の物体を含む領域近傍の画像情報とを比較して、物体を含む領域から物体がずれていることを検出するステップと、物体のずれが検出されたときに、人物の行動を判別せずに、設定された物体を含む領域から入力画像内の物体がずれていることを報知するステップとを実行させる。
さらに他の局面に従うと、画像処理プログラムは、コンピュータに、被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるステップと、基準画像と同じ視点から被写体を撮影して得られる入力画像から人物を検出するステップと、入力画像内の領域と、入力画像内の人物領域との間の位置関係に基づいて、物体に対する人物の行動を判別するステップと、基準画像内の上記領域または当該領域近傍の画像情報と、入力画像内の上記領域または当該領域近傍の画像情報とを比較して、領域から物体がずれていることを検出するステップと、物体のずれが検出されたときに、設定された領域から物体がずれていることを報知するステップとを実行させる。
ある局面において、画像処理装置は、行動判別処理で用いられる設定が正しくなくなった場合に、管理者に設定を再度促すことを比較的簡易な構成で実現できる。
本発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本発明に関する次の詳細な説明から明らかとなるであろう。
以下、図面を参照しつつ、本発明に従う各実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。なお、以下で説明される各実施の形態および各変形例は、適宜選択的に組み合わされてもよい。
<第1の実施の形態>
[画像処理システム300の構成]
図1を参照して、画像処理システム300の構成について説明する。図1は、画像処理システム300の構成の一例を示す図である。
[画像処理システム300の構成]
図1を参照して、画像処理システム300の構成について説明する。図1は、画像処理システム300の構成の一例を示す図である。
画像処理システム300は、たとえば、被介護者10の行動を見守るために用いられる。図1に示されるように、画像処理システム300は、画像処理装置としての室内端末100と、管理サーバー200とを含む。室内端末100および管理サーバー200は、ネットワーク400を介して互いに接続されている。
室内端末100は、たとえば、医療施設、介護施設、宅内などに設置される。室内端末100は、後述するカメラ105(図20)を備える。図1には、カメラ105が被介護者10およびベッド20を天井から撮影している様子が示されている。室内端末100は、カメラ105から得られた時系列の画像(映像)に基づいて被介護者10の行動を判別する。一例として、室内端末100が判別可能な行動は、被介護者10の起床および被介護者10の離床を含む。なお、ここでいう「起床」とは、被介護者10がベッド20上で目を覚ましてから立ち上がるまでの行動のことをいう。また、「離床」とは、被介護者10がベッド20から離れる行動のことをいう。
室内端末100は、被介護者10の起床を検出すると、被介護者10が起床したこと示す情報を管理サーバー200に送信する。管理サーバー200は、当該情報を受信すると、被介護者10が起床したことを介護者に報知する。また、室内端末100は、被介護者10の離床を検出すると、被介護者10が離床したことを示す情報を管理サーバー200に送信する。管理サーバー200は、当該情報を受信すると、被介護者10が離床したことを介護者に報知する。これにより、介護者は、被介護者10がベッド20から立ち上がることを支援したり、あるいは、被介護者10の起床時や離床時に生じる転倒などのリスクを未然に防ぐことができる。
なお、図1には、画像処理システム300が1つの室内端末100を備えている例が示されているが、画像処理システム300は、複数の室内端末100を備えてもよい。また、図1には、画像処理システム300が1つの管理サーバー200を備えている例が示されているが、画像処理システム300は、複数の管理サーバー200を備えてもよい。
[画像処理システム300の処理概要]
図2を参照して、第1の実施の形態に従う画像処理システム300の処理概要について説明する。図2は、ベッド20を含む領域を設定するための設定画像30Aと、ベッド20のずれを検出する対象である入力画像30Bとを示す図である。
図2を参照して、第1の実施の形態に従う画像処理システム300の処理概要について説明する。図2は、ベッド20を含む領域を設定するための設定画像30Aと、ベッド20のずれを検出する対象である入力画像30Bとを示す図である。
画像処理システム300は、被写体を撮影して得られた設定画像30A(基準画像)に対してベッド20を含むベッド領域40の設定を受け付ける。ここでいう「被写体」とは、後述するカメラ105の視野に含まれるものをいう。すなわち、被写体は、ベッドなどの物体や監視対象となる被介護者などを含む。画像処理システム300は、たとえば、設定画像30Aに対する点41A〜41Dの設定を受け付けることでベッド領域40の設定を受け付ける。一例として、画像処理システム300の管理者は、マウス操作やタッチ操作などによって、ベッド20の四端に相当する点41A〜41Dを設定画像30Aに対して入力する。画像処理システム300は、ベッド領域40の設定を受け付けると、設定画像30A内でベッド領域40を特定するための情報(たとえば、ベッド領域40の四隅の座標値など)を記憶する。
画像処理システム300は、入力画像30Bを後述するカメラ105(図20)から取得すると、入力画像30Bから人物12を検出する。人物12は、上述の被介護者10(図1)に相当する。入力画像30Bは、設定画像30Aと同じ視点から被写体を撮影して得られた画像である。典型的には、入力画像30Bの撮影時刻は、設定画像30Aの撮影時刻よりも後である。
画像処理システム300は、入力画像30B内のベッド領域40と、入力画像30B内の人物領域との間の位置関係に基づいて、ベッド20に対する人物12の行動を判別する。設定画像30Aのベッド領域40および入力画像30Bのベッド領域40は、両画像内の同じ場所に位置する。画像処理システム300が判別可能な行動は、たとえば、人物12の起床および離床を含む。行動判別処理の詳細については後述する(図16参照)。
画像処理システム300は、設定画像30A内のベッド領域40の画像情報と入力画像30B内のベッド領域40の画像情報とを比較して、または設定画像30A内のベッド領域40近傍の画像情報と入力画像30B内のベッド領域40近傍の画像情報とを比較して、ベッド領域40からベッド20がずれていることを検出する。画像処理システム300は、ベッド20のずれを検出すると、ベッド20がずれていることを報知する。たとえば、ベッド20のずれは、メッセージ50の表示によって報知される。
このように、ベッド20が当初設定されたベッド領域40からずれた場合に、画像処理システム300は、ベッド20のずれを自動で検出し、ベッド20がずれたことを管理者に報知する。管理者によって設定されたベッド領域40は、人物12の行動判別処理に用いられるため、ベッド20のずれは、行動判別処理の精度に大きく影響する。画像処理システム300は、ベッド20がずれていることを管理者に報知することで、ベッド領域40を修正するように管理者に促すことができる。これにより、画像処理システム300は、行動判別処理の精度が低下することを防ぐことができ、起床や離床が誤って報知されることによって介護者にかかる負担を軽減することができる。
なお、上述では画像処理システム300がベッドのずれを報知する例について説明を行なったが、ずれの報知対象は、寝具であるベッドに限定されない。たとえば、ずれの報知対象は、布団などのベッド以外の寝具、椅子、カーテン、テレビ、人物12によって利用されるその他の物体を含む。これらの物体がずれていること検出するためには、管理者は、ずれの報知を所望する物体を含む領域を設定画像30Aに対して設定すればよい。
[画像処理システム300の画面遷移]
図3〜図9を参照して、画像処理システム300に表示される画面例について説明する。図3は、画像処理システム300の画面遷移図を示す図である。
図3〜図9を参照して、画像処理システム300に表示される画面例について説明する。図3は、画像処理システム300の画面遷移図を示す図である。
画像処理システム300は、本実施の形態に従う画像処理プログラムを実行したときに、初期画面としてメイン画面310を表示する。管理者は、メイン画面310を、設定モードトップ画面320または平常時画面340に遷移させることができる。管理者は、設定モードトップ画面320を、メイン画面310または領域設定画面330に遷移させることができる。管理者は、領域設定画面330を、設定モードトップ画面320に遷移させることができる。管理者は、平常時画面340を、メイン画面310、発報時画面350、または異常時画面360に遷移させることができる。管理者は、発報時画面350を、平常時画面340または異常時画面360に遷移させることができる。管理者は、異常時画面360を、平常時画面340または発報時画面350に遷移させることができる。
以下では、メイン画面310、設定モードトップ画面320、領域設定画面330、平常時画面340、発報時画面350、および異常時画面360の画面例について順に説明する。
(a)メイン画面310
図4は、メイン画面310の一例を示す図である。画像処理システム300は、本実施の形態に従う画像処理プログラムを実行したときに、初期画面としてメイン画面310を表示する。
図4は、メイン画面310の一例を示す図である。画像処理システム300は、本実施の形態に従う画像処理プログラムを実行したときに、初期画面としてメイン画面310を表示する。
メイン画面310は、行動判別処理の開始を受け付けるためのボタン312と、行動判別処理に関する設定画面を開くためのボタン314とを含む。画像処理システム300は、ボタン312の押下を検出した場合には、平常時画面340を表示する。また、画像処理システム300は、ボタン314の押下を検出した場合には、設定モードトップ画面320を表示する。
(b)設定モードトップ画面320
図5は、設定モードトップ画面320の一例を示す図である。設定モードトップ画面320は、行動判別処理に関するパラメータの設定を受け付ける。たとえば、設定モードトップ画面320は、後述するカメラ105のフレームレートの設定を受け付ける。また、設定モードトップ画面320は、カメラ105から出力される画像の明るさの設定を受け付ける。さらに、設定モードトップ画面320は、検出した被介護者の行動を報知する感度を示すパラメータの設定を受け付ける。さらに、設定モードトップ画面320は、カメラ105を設置する天井の高さの設定を受け付ける。設定モード画面における「更新ボタン」が押下されると、各パラメータは、画像処理システム300に反映される。
図5は、設定モードトップ画面320の一例を示す図である。設定モードトップ画面320は、行動判別処理に関するパラメータの設定を受け付ける。たとえば、設定モードトップ画面320は、後述するカメラ105のフレームレートの設定を受け付ける。また、設定モードトップ画面320は、カメラ105から出力される画像の明るさの設定を受け付ける。さらに、設定モードトップ画面320は、検出した被介護者の行動を報知する感度を示すパラメータの設定を受け付ける。さらに、設定モードトップ画面320は、カメラ105を設置する天井の高さの設定を受け付ける。設定モード画面における「更新ボタン」が押下されると、各パラメータは、画像処理システム300に反映される。
また、設定モードトップ画面320は、領域設定画面330を開くためのボタン322と、メイン画面310を開くためのボタン324とを含む。画像処理システム300は、ボタン322の押下を検出した場合には、領域設定画面330を表示する。画像処理システム300は、ボタン324の押下を検出した場合には、メイン画面310を表示する。
設定モードトップ画面320は、その他のパラメータの設定を受け付けてもよい。たとえば、設定モードトップ画面320は、カメラ105に関するパラメータとして、入力画像のコントラストに関するパラメータ、カメラのズーム調整に関するパラメータ、およびカメラのパンチルト調整に関するパラメータなどの設定を受け付ける。他にも、設定モードトップ画面320は、室内端末100から画像処理システム300に送信する画像の圧縮率などの設定を受け付けてもよい。他にも、設定モードトップ画面320は、起床または離床などの行動を判別する時間帯などの設定を受け付けてもよい。
(c)領域設定画面330
図6は、領域設定画面330の一例を示す図である。領域設定画面330は、上述の設定画像30A(図2)に対するベッド領域40の設定を受け付ける。設定されたベッド領域40は、行動判別処理で用いられる。
図6は、領域設定画面330の一例を示す図である。領域設定画面330は、上述の設定画像30A(図2)に対するベッド領域40の設定を受け付ける。設定されたベッド領域40は、行動判別処理で用いられる。
領域設定画面330は、たとえば、点41A〜41Dの設定を受け付けることでベッド領域40の設定を受け付ける。一例として、点41A〜41Dは、マウス操作に連動するポインタ332によって入力される。画像処理システム300は、管理者によって設定されたベッド領域40を保存する操作を受け付けたことに基づいて、設定画像30A内でベッド領域40を特定するための情報(たとえば、座標など)を記憶する。
なお、図6では、ベッド領域40を設定する方法として、点41A〜41Dを設定する例について説明を行なったが、ベッド領域40は、他の方法で設定されてもよい。たとえば、画像処理システム300は、領域設定画面330に対する複数の線の設定を受け付けることでベッド領域40の設定を受け付ける。この場合、管理者は、ベッド20を囲むように4本の線を領域設定画面330に対して設定する。他の方法としては、画像処理システム300は、領域設定画面330に対する面の設定を受け付けることでベッド領域40の設定を受け付ける。この場合、管理者は、領域設定画面330に対するドラッグ操作によりベッド20が写っている範囲を指定する。このように、ベッド領域40の設定方法としては、ベッド領域40を指定することが可能な任意の方法が採用され得る。
また、図6では、ベッド領域40を設定する方法として、矩形の領域を設定する例について説明を行なったが、ベッド領域40は、他の形状で設定されもよい。たとえば、ベッド領域40は、円形、楕円形、多角形(たとえば、六角形)などのその他の形状で設定されてもよい。
さらに、図6では、ポインタ332でベッド領域40を設定する例について説明を行なったが、ベッド領域40は、タッチ操作などのその他の操作で設定されもよい。
(d)平常時画面340
図7は、平常時画面340の一例を示す図である。平常時画面340は、画像処理システム300による行動判別処理の実行中において、監視対象の人物が危険を伴わない行動(たとえば、就寝など)を取っているときに表示される画面である。一例として、画像処理システム300は、監視対象の人物を撮影して得られた映像をそのまま平常時画面340として表示する。
図7は、平常時画面340の一例を示す図である。平常時画面340は、画像処理システム300による行動判別処理の実行中において、監視対象の人物が危険を伴わない行動(たとえば、就寝など)を取っているときに表示される画面である。一例として、画像処理システム300は、監視対象の人物を撮影して得られた映像をそのまま平常時画面340として表示する。
(e)発報時画面350
図8は、発報時画面350の一例を示す図である。発報時画面350は、画像処理システム300による行動判別処理の実行中において、監視対象の人物が危険を伴う行動などの発報させたい行動を取ったときに表示される画面である。
図8は、発報時画面350の一例を示す図である。発報時画面350は、画像処理システム300による行動判別処理の実行中において、監視対象の人物が危険を伴う行動などの発報させたい行動を取ったときに表示される画面である。
図8に示されるように、画像処理システム300は、被介護者10が離床したことを検出したことに基づいて、被介護者10の離床を介護者に報知する。ある局面において、画像処理システム300は、メッセージ352によって被介護者10の離床を介護者に報知する。他の局面において、画像処理システム300は、音声などの音によって被介護者10の離床を介護者に報知する。これにより、画像処理システム300は、被介護者10の離床により生じる転倒などのリスクを未然に防ぐことができる。
なお、発報する被介護者10の行動は、離床に限定されない。たとえば、発報する行動は、被介護者10の起床、入床、被介護者10に危険が生じるその他の行動を含む。
(f)異常時画面360
図9は、異常時画面360の一例を示す図である。異常時画面360は、画像処理システム300による後述の本処理(図13〜図19参照)の実行中において、行動判別処理に関する物体の領域の設定が正しくなくなったことが検出された場合に表示される画面である。たとえば、画像処理システム300は、設定されたベッド領域40からベッド20がずれたことを検出したときに、行動判別処理に関する設定が正しくなくなったと判断し、異常時画面360を表示する。
図9は、異常時画面360の一例を示す図である。異常時画面360は、画像処理システム300による後述の本処理(図13〜図19参照)の実行中において、行動判別処理に関する物体の領域の設定が正しくなくなったことが検出された場合に表示される画面である。たとえば、画像処理システム300は、設定されたベッド領域40からベッド20がずれたことを検出したときに、行動判別処理に関する設定が正しくなくなったと判断し、異常時画面360を表示する。
ある局面において、画像処理システム300は、行動判別処理に関する設定が正しくなくなったことメッセージ50によって管理者に報知する。他の局面において、画像処理システム300は、行動判別処理に関する設定が正しくなくなったこと音声などの音によって管理者に報知する。これにより、画像処理システム300は、行動判別処理に関する設定を管理者に促すことができる。
[画像処理システム300の機能構成]
図10を参照して、画像処理システム300の機能について説明する。図10は、画像処理システム300の機能構成の一例を示すブロック図である。図10に示されるように、画像処理システム300は、室内端末100と、管理サーバー200とを備える。以下では、室内端末100および管理サーバー200の機能について順に説明する。
図10を参照して、画像処理システム300の機能について説明する。図10は、画像処理システム300の機能構成の一例を示すブロック図である。図10に示されるように、画像処理システム300は、室内端末100と、管理サーバー200とを備える。以下では、室内端末100および管理サーバー200の機能について順に説明する。
(室内端末100の機能構成)
図10に示されるように、室内端末100は、機能構成として、受信部110と、人物検出部120と、行動判別部130と、ずれ検出部150と、送信部160とを含む。
図10に示されるように、室内端末100は、機能構成として、受信部110と、人物検出部120と、行動判別部130と、ずれ検出部150と、送信部160とを含む。
受信部110は、設定画像30A(図2)に対して設定されたベッド領域40を管理サーバー200から受信する。受信部110は、受信したベッド領域40を行動判別部130およびずれ検出部150に出力する。
人物検出部120は、設定画像30Aと同じ視点から被写体を撮影して得られる入力画像30B(図2)から人物を検出する。人物検出処理の詳細については後述する(図17参照)。
行動判別部130は、入力画像30B内のベッド領域40と、入力画像30B内の人物領域との間の位置関係に基づいて、ベッドに対する人物の行動を判別する。行動判別処理の詳細については後述する(図16参照)。
ずれ検出部150は、設定画像30A内のベッド領域40の画像情報と入力画像30B内のベッド領域40の画像情報とを比較して、または設定画像30A内のベッド領域40近傍の画像情報と入力画像30B内のベッド領域40近傍の画像情報とを比較して、ベッド領域40からベッドがずれていることを検出する。ベッドのずれを検出する処理の詳細については後述する(図14,図15参照)。
送信部160は、カメラ105(図20)によって得られた設定画像30Aと、行動判別部130によって判別された行動の種類と、ずれ検出部150によって検出された物体のずれとを管理サーバー200に送信する。
(管理サーバー200の機能構成)
引き続き図10を参照して、管理サーバー200の機能構成について説明する。図10に示されるように、管理サーバー200は、機能構成として、受信部210と、ずれ報知部220と、行動報知部230と、受付部240と、送信部250とを含む。
引き続き図10を参照して、管理サーバー200の機能構成について説明する。図10に示されるように、管理サーバー200は、機能構成として、受信部210と、ずれ報知部220と、行動報知部230と、受付部240と、送信部250とを含む。
受信部210は、カメラ105(図20)から得られた設定画像30Aと、行動判別部130によって判別された行動の種類と、ずれ検出部150によって検出された物体のずれとを室内端末100から受信する。
ずれ報知部220は、設定されたベッド領域40からベッドがずれていることを報知する。報知手段の一例として、ずれ報知部220は、ベッド領域40からベッドがずれていることをメッセージとして表示したり音声によって出力したりする。
行動報知部230は、ベッドに対する人物の所定の行動が検出された場合に、当該行動が検出されたことを報知する。報知対象の所定の行動は、たとえば、人物の起床、離床、監視対象の人物に危険が伴うその他の行動を含む。報知手段の一例として、行動報知部230は、行動の種類を示す情報をメッセージとして表示したり音声によって出力したりする。
受付部240は、被写体を撮影して得られた設定画像30A(図2)に対して物体を含むベッド領域40の設定を受け付ける。一例として、受付部240は、設定画像30Aに対する複数の点の設定、設定画像30Aに対する複数の線の設定、および設定画像30Aに対する面の設定の少なくとも1つを受け付けることでベッド領域40の設定を受け付ける。受付部240は、設定画像30Aにおけるベッドの向きの設定をさらに受け付けてもよい。
送信部250は、受付部240が受け付けた設定画像30Aに対するベッド領域40の設定を室内端末100に送信する。
[画像処理システム300の事前処理]
図11および図12を参照して、行動判別処理を開始する前に実行される事前処理について説明する。図11は、行動判別処理を開始する前に実行される事前処理を示すフローチャートである。図11の処理は、たとえば、管理サーバー200(図20)のCPU(Central Processing Unit)202によって実行される。他の局面において、処理の一部または全部が、回路素子その他のハードウェアによって実行されてもよい。図12は、行動判別処理を開始する前に実行される事前処理を概略的に示した概念図である。
図11および図12を参照して、行動判別処理を開始する前に実行される事前処理について説明する。図11は、行動判別処理を開始する前に実行される事前処理を示すフローチャートである。図11の処理は、たとえば、管理サーバー200(図20)のCPU(Central Processing Unit)202によって実行される。他の局面において、処理の一部または全部が、回路素子その他のハードウェアによって実行されてもよい。図12は、行動判別処理を開始する前に実行される事前処理を概略的に示した概念図である。
ステップS10において、画像処理システム300は、上述の受付部240(図10)として、設定画像30Aに対するベッド領域40の設定を受け付ける。一例として、画像処理システム300は、ベッド20の四端に相当する点41A〜41Dの入力を受け付け、点41A〜41Dで囲まれる領域をベッド領域40とする。
ステップS12において、画像処理システム300は、設定されたベッド領域40の四隅周辺における輝度値の分布(以下、「ヒストグラム」ともいう。)をベッド領域40の角ごとに算出する。図12には、点41A〜41Dのうち点41A周辺における輝度値からヒストグラム61を算出する例が示されている。たとえば、ヒストグラム61は、点41Aを中心とした周辺5×5画素の輝度値から算出される。より具体的には、画像処理システム300は、当該5×5画素の領域内において、同じ輝度値を有する画素数を輝度値ごとに算出する。
ステップS14において、画像処理システム300は、ベッド領域40の四隅のそれぞれについて算出された4つのヒストグラムをテンプレート106A(図20)として記憶装置206(図20)に格納する。テンプレート106Aは、後述するずれ検出処理において用いられる。
[画像処理システム300の本処理]
(本処理の概要)
図13〜図19を参照して、上述の事前処理の後に実行される画像処理システム300の本処理について説明する。図13は、画像処理システム300の本処理を示すフローチャートである。図13の処理は、室内端末100のCPU102(図20)や、管理サーバー200のCPU202(図20)によって実行される。他の局面において、処理の一部または全部が、回路素子その他のハードウェアによって実行されてもよい。
(本処理の概要)
図13〜図19を参照して、上述の事前処理の後に実行される画像処理システム300の本処理について説明する。図13は、画像処理システム300の本処理を示すフローチャートである。図13の処理は、室内端末100のCPU102(図20)や、管理サーバー200のCPU202(図20)によって実行される。他の局面において、処理の一部または全部が、回路素子その他のハードウェアによって実行されてもよい。
ステップS40において、画像処理システム300は、監視対象の人物(たとえば、被介護者)を撮影して得られた入力画像をカメラ105(図20)から取得する。
ステップS50において、画像処理システム300は、上述のずれ検出部150(図10)として、上記事前処理において設定された行動判別処理に関する設定(たとえば、ベッド領域40の設定)に異常があるか否かを判断する。異常検出処理の詳細については後述する(図14,図15参照)。
ステップS52において、画像処理システム300は、行動判別処理に関する設定に異常があると判断した場合(ステップS52においてYES)、制御をステップS62に切り替える。そうでない場合には(ステップS52においてNO)、画像処理システム300は、制御をステップS60に切り替える。
ステップS60において、画像処理システム300は、上述の行動判別部130として(図10)、被介護者の行動判別処理を実行する。行動判別処理の詳細については後述する(図16参照)。
ステップS62において、画像処理システム300は、本実施の形態に従う画像処理を終了するか否かを判断する。たとえば、画像処理システム300は、管理者から処理を中断する操作を受け付けた場合に、本実施の形態に従う画像処理を終了すると判断する(ステップS62においてYES)。そうでない場合には(ステップS62においてNO)、画像処理システム300は、制御をステップS64に切り替える。
ステップS64において、画像処理システム300は、次の入力画像をカメラ105から取得する。これにより、画像処理システム300は、時系列の画像に対して本実施の形態に従う画像処理を順次実行する。
以下では、ステップS50の異常検出処理、およびステップS60の行動判別処理の詳細について順に説明する。
(a)異常検出処理の詳細
図14および図15を参照して、画像処理システム300の異常検出処理について詳細に説明する。図14は、図13のステップS50で実行される異常検出処理を示すフローチャートである。図14の処理は、室内端末100のCPU102(図20)や、管理サーバー200のCPU202(図20)によって実行される。図15は、異常検出処理を概略的に示した概念図である。
図14および図15を参照して、画像処理システム300の異常検出処理について詳細に説明する。図14は、図13のステップS50で実行される異常検出処理を示すフローチャートである。図14の処理は、室内端末100のCPU102(図20)や、管理サーバー200のCPU202(図20)によって実行される。図15は、異常検出処理を概略的に示した概念図である。
上述したように、画像処理システム300は、異常検出処理により、行動判別処理に関して設定された内容が正常でなくなったことを検出する。
より具体的には、ステップS102において、画像処理システム300は、設定画像30A(図2)に対して設定されたベッド領域40に対応する領域である入力画像30B(図2)のベッド領域40の四隅周辺から、各角の輝度値の分布(すなわち、ヒストグラム)を算出する。
ステップS104において、画像処理システム300は、設定画像30A内のベッド領域40および入力画像30B内のベッド領域40において互いに対応する角周辺のヒストグラムを比較する。図15には、設定画像30Aにおけるベッド領域40の左上周辺のヒストグラム61と、入力画像30Bにおけるベッド領域40の左上周辺のヒストグラム62とを比較している例が示されている。画像処理システム300は、ヒストグラム61,62のいずれか一方のヒストグラムから他方のヒストグラムを差分する。その後、画像処理システム300は、差分した結果の絶対値和を算出する。この絶対値和が大きい値を示すほど、設定画像30Aにおけるベッド領域40の画像情報と、入力画像30Bにおけるベッド領域40の画像情報とが異なっているということが示される。すなわち、このことは、予め設定されたベッド領域40からベッドがずれていることを示す。
ステップS104において、画像処理システム300は、絶対値和が経験的に予め設定された閾値よりも大きいと判断した場合(ステップS104においてYES)、制御をステップS120に切り替える。そうでない場合には(ステップS104においてNO)、画像処理システム300は、制御をステップS110に切り替える。
ステップS110において、画像処理システム300は、行動判別処理に関する設定内容が「正常」であると判断する。すなわち、画像処理システム300は、予め設定されたベッド領域40からベッドがずれていないと判断する。
ステップS120において、画像処理システム300は、行動判別処理に関する設定内容が「異常」であると判断する。すなわち、画像処理システム300は、予め設定されたベッド領域40からベッドがずれていると判断する。ステップS122において、画像処理システム300は、上述のずれ報知部220(図10)として、予め設定されたベッド領域40からベッドがずれていることを管理者に報知する。
なお、ベッドのずれを検出する方法は、図14および図15に示される例に限定されない。たとえば、画像処理システム300は、設定画像30Aのベッド領域40と入力画像30Bのベッド領域40との両方から、ベッドの特徴的な部分(たとえば、エッジ部分)を示す特徴量を抽出し、抽出した2つの特徴量を比較することでベッドのずれを検出してもよい。
また、画像処理システム300は、設定画像30Aにおけるベッド領域40内のベッドの向きと入力画像30Bにおけるベッド領域40内のベッドの向きとを比較することにより、ベッドのずれを検出してもよい。画像処理システム300は、これらの向きが所定角度以上に異なる場合に、ベッドがずれていると判断する。
さらに、画像処理システム300は、画像処理以外の方法でベッドのずれを検出してもよい。たとえば、画像処理システム300は、距離センサ(図示しない)からの出力を用いてベッドのずれを検出する。より具体的には、距離センサは、ベッド周辺に設置され、自身とベッドとの間の距離を計測する。画像処理システム300は、当該距離が予め設定された距離範囲に含まれなくなったことに基づいて、ベッドがずれていると判断する。他にも、画像処理システム300は、サーモグラフィなどのセンサ、ベッドの位置を検出できるその他のセンサを用いて、ベッドのずれを検出してもよい。また、画像処理システム300は、このようなセンサによるベッドのずれの検出結果と、上述の画像処理によるベッドのずれの検出結果とを組み合わせてベッドのずれを検出してもよい。
さらに、異常検出の対象となる行動判別処理の設定内容は、ベッド領域40のずれに限定されない。画像処理システム300は、人物12の行動判別処理に関する任意の設定内容に対して異常を判断することができる。たとえば、画像処理システム300が行動判別処理に用いない領域(以下、「除外領域」ともいう。)の設定を受け付ける場合には、画像処理システム300は、除外領域のずれを検出し、当該除外領域がずれていることを管理者に報知するように構成されてもよい。
(b)行動判別処理の詳細
図16〜図19を参照して、画像処理システム300の行動判別処理について詳細に説明する。図16は、図13のステップS60で実行される行動判別処理を示すフローチャートである。
図16〜図19を参照して、画像処理システム300の行動判別処理について詳細に説明する。図16は、図13のステップS60で実行される行動判別処理を示すフローチャートである。
ステップS152において、画像処理システム300は、上述の人物検出部120として(図10)、入力画像30B(図2)から人物領域を検出する。人物領域検出処理の詳細については後述する(図17参照)。
ステップS154において、画像処理システム300は、入力画像30B内のベッド領域40と、入力画像30B内の人物領域との間の相対的な位置関係に基づいて、入力画像30Bに写っている人物が起床したか否かを判別する。起床判別処理の詳細については後述する(図18参照)。
ステップS156において、画像処理システム300は、入力画像30B内のベッド領域40と、入力画像30B内の人物領域との間の相対的な位置関係に基づいて、入力画像30Bに写っている人物が離床したか否かを判別する。起床判別処理の詳細については後述する(図19参照)。
以下では、ステップS152の人物領域の抽出処理、S154の起床判別処理、およびS156の起床判別処理の詳細について順に説明する。
(b−1)人物領域の抽出処理
図17を参照して、入力画像30Bから人物領域を抽出する処理について説明する。図17は、図16のステップS152で実行される人物領域の抽出(検出)処理の概略を示すフローチャートである。
図17を参照して、入力画像30Bから人物領域を抽出する処理について説明する。図17は、図16のステップS152で実行される人物領域の抽出(検出)処理の概略を示すフローチャートである。
人物領域の抽出処理は、たとえば、入力画像から背景画像を差分する背景差分や、撮影時刻が前後である画像を差分する時間差分によって実現される。図17には、背景差分によって入力画像30Bから人物領域70を抽出する処理が概略的に示されている。
より具体的には、画像処理システム300は、人物が写っていない背景画像30Cを予め取得しておく。背景画像30Cは、上述の設定画像30A(図2)と同一の画像であってもよいし、設定画像30Aとは別に得られた画像であってもよい。
画像処理システム300は、カメラ105(図20)から入力画像30Bを取得すると、入力画像30Bから背景画像30Cを差分する。これにより、画像処理システム300は、入力画像30Bから背景を除くことができる。画像処理システム300は、所定値以上の画素値を有する領域を人物領域70とする。
なお、人物領域70は、図17に示される方法とは異なる方法で抽出されてもよい。たとえば、画像処理システム300は、人物の特徴的な部分(すなわち、特徴量)をテンプレートとして予め準備しておき、入力画像30Bを走査することにより当該テンプレートと類似する領域を探索する。画像処理システム300は、入力画像30B内でテンプレートと類似する領域を探索できた場合には、当該領域を人物領域70とする。他にも、人物領域70は、オプティカルフローやトラッキングなどのその他の画像処理技術によって抽出されてもよい。
(b−2)起床判別処理
図18を参照して、画像処理システム300の起床判別処理について詳細に説明する。図18は、図16のステップS154で実行される起床判別処理を示すフローチャートである。
図18を参照して、画像処理システム300の起床判別処理について詳細に説明する。図18は、図16のステップS154で実行される起床判別処理を示すフローチャートである。
ステップS202において、画像処理システム300は、入力画像30Bに写っている人物12(図17)の現在の行動状態が「起床前」であるか否かを判断する。画像処理システム300は、当該人物の現在の行動状態が「起床前」であると判断した場合(ステップS202においてYES)、制御をステップS204に切り替える。そうでない場合には(ステップS202においてNO)、画像処理システム300は、起床判別処理を終了する。
ステップS204において、画像処理システム300は、ベッド領域外に占める人物領域S1(図17)の大きさと、ベッド領域内に占める人物領域S2(図17)の大きさとの少なくとも一方に基づいて、入力画像30Bに写っている人物12の行動を判別する。たとえば、画像処理システム300は、ベッド領域外の人物領域S1の画素数が予め経験的に設定されている閾値Th1よりも大きいか否かを判断する。画像処理システム300は、ベッド領域外の人物領域S1の画素数が閾値Th1よりも大きいと判断した場合(ステップS204においてYES)、制御をステップS220に切り替える。そうでない場合には(ステップS204においてNO)、画像処理システム300は、制御をステップS210に切り替える。
ステップS210において、画像処理システム300は、入力画像30Bに写っている人物12の現在の行動状態を「起床前」とする。
ステップS220において、画像処理システム300は、入力画像30Bに写っている人物12が起床したものとして判断し、当該人物12の起床を報知する。ステップS222において、画像処理システム300は、入力画像30Bに写っている人物12の現在の行動状態を「起床後」とする。
このように、画像処理システム300は、入力画像30Bのベッド領域40外に占める人物領域S1が閾値Th1を超えたことに基づいて、人物12が起床したと判断する。すなわち、画像処理システム300は、入力画像30Bのベッド領域40外に占める人物領域S1の大きさを入力画像30Bから時系列の順に算出し、順次算出される人物領域S1の大きさが閾値Th1よりも大きくなったことに基づいて、人物12が起床したと判別する。言い換えると、画像処理システム300は、前回の人物領域S1の大きさが閾値Th1よりも小さく、今回の人物領域S1の大きさが当該閾値Th1よりも大きくなった場合に、人物12が起床したと判別する。
あるいは、画像処理システム300は、入力画像30Bのベッド領域40内に占める人物領域S2の大きさを入力画像30Bから時系列の順に算出し、順次算出される人物領域S2の大きさが所定閾値よりも小さくなったことに基づいて、人物12が起床したと判別してもよい。言い換えると、画像処理システム300は、前回の人物領域S2の大きさが所定閾値よりも大きく、今回の人物領域S2の大きさが当該所定閾値よりも小さくなった場合に、人物12が起床したと判別する。
なお、上述では、画像処理システム300が2枚以上の入力画像30Bを用いて人物12の起床を判別する例について説明を行なったが、画像処理システム300は、1枚の入力画像30Bを用いて人物12の起床を判別してもよい。この場合、画像処理システム300は、人物領域S2が入力画像30Bのベッド領域40のエッジ上に存在する場合に、人物12が起床したと判別する。たとえば、画像処理システム300は、入力画像30Bのベッド領域40外の人物領域S1が所定閾値よりも大きく、かつ、入力画像30Bのベッド領域40内の人物領域S2が所定閾値より大きい場合に、人物12が起床したと判別する。また、画像処理システム300は、人物領域S1と人物領域S2との比率を用いて、人物12の起床を判別してもよい。
(b−3)離床判別処理
図19を参照して、画像処理システム300の離床判別処理について詳細に説明する。図19は、図16のステップS156で実行される離床判別処理を示すフローチャートである。
図19を参照して、画像処理システム300の離床判別処理について詳細に説明する。図19は、図16のステップS156で実行される離床判別処理を示すフローチャートである。
ステップS252において、画像処理システム300は、入力画像30Bに写っている人物12(図17)の現在の行動状態が「離床前」であるか否かを判断する。画像処理システム300は、当該人物の現在の行動状態が「離床前」であると判断した場合(ステップS252においてYES)、制御をステップS254に切り替える。そうでない場合には(ステップS252においてNO)、画像処理システム300は、離床判別処理を終了する。
ステップS254において、画像処理システム300は、ベッド領域外に占める人物領域S1(図17)の大きさと、ベッド領域内に占める人物領域S2(図17)の大きさとの少なくとも一方に基づいて、入力画像30Bに写っている人物12の行動を判別する。たとえば、画像処理システム300は、ベッド領域内の人物領域S2の画素数が予め経験的に設定されている閾値Th2よりも小さいか否かを判断する。画像処理システム300は、ベッド領域内の人物領域S2の画素数が閾値Th2よりも小さいと判断した場合(ステップS254においてYES)、制御をステップS270に切り替える。そうでない場合には(ステップS254においてNO)、画像処理システム300は、制御をステップS260に切り替える。
ステップS260において、画像処理システム300は、入力画像30Bに写っている人物12の現在の行動状態を「離床前」とする。
ステップS270において、画像処理システム300は、入力画像30Bに写っている人物12が離床したものとして判断し、当該人物12の離床を報知する。ステップS272において、画像処理システム300は、入力画像30Bに写っている人物12の現在の行動状態を「離床後」とする。
このように、画像処理システム300は、入力画像30Bのベッド領域40内に占める人物領域S2が閾値Th2を下回ったことに基づいて、人物12が離床したと判断する。すなわち、画像処理システム300は、入力画像30Bのベッド領域40内に占める人物領域S2の大きさを入力画像30Bから時系列の順に算出し、当該人物領域S2の大きさが閾値Th2よりも小さくなったことに基づいて、人物12が離床したと判別する。
あるいは、画像処理システム300は、入力画像30Bのベッド領域40外に占める人物領域S1の大きさを入力画像30Bから時系列の順に算出し、当該人物領域S1の大きさが閾値Th2よりも大きくなったことに基づいて、人物12が離床したと判別してもよい。
なお、上述では、画像処理システム300が2枚以上の入力画像30Bを用いて人物12の離床を判別する例について説明を行なったが、画像処理システム300は、1枚の入力画像30Bを用いて人物12の離床を判別してもよい。この場合、たとえば、画像処理システム300は、人物領域の全部がベッド領域40外に存在しているときに、人物12の離床を判別する。また、画像処理システム300は、ベッド領域40外に占める人物領域S1と、ベッド領域40内に占める人物領域S2との比率を用いて、人物12の離床を判別してもよい。
[画像処理システム300のハードウェア構成]
図20を参照して、画像処理システム300のハードウェア構成の一例について説明する。図20は、画像処理システム300の主要なハードウェア構成を示すブロック図である。図20に示されるように、画像処理システム300は、室内端末100と、管理サーバー200と、ネットワーク400とを含む。室内端末100および管理サーバー200は、ネットワーク400を介して接続されている。以下では、室内端末100のハードウェア構成と、管理サーバー200のハードウェア構成とについて順に説明する。
図20を参照して、画像処理システム300のハードウェア構成の一例について説明する。図20は、画像処理システム300の主要なハードウェア構成を示すブロック図である。図20に示されるように、画像処理システム300は、室内端末100と、管理サーバー200と、ネットワーク400とを含む。室内端末100および管理サーバー200は、ネットワーク400を介して接続されている。以下では、室内端末100のハードウェア構成と、管理サーバー200のハードウェア構成とについて順に説明する。
(室内端末100のハードウェア構成)
図20に示されるように、室内端末100は、ROM(Read Only Memory)101と、CPU102と、RAM(Random Access Memory)103と、ネットワークI/F(インタフェース)104と、カメラ105と、記憶装置106とを含む。
図20に示されるように、室内端末100は、ROM(Read Only Memory)101と、CPU102と、RAM(Random Access Memory)103と、ネットワークI/F(インタフェース)104と、カメラ105と、記憶装置106とを含む。
ROM101は、オペレーティングシステム(OS:Operating System)、室内端末100で実行される制御プログラムなどを格納する。CPU102は、オペレーティングシステムや室内端末100の制御プログラムなどの各種プログラムを実行することで、室内端末100の動作を制御する。RAM103は、ワーキングメモリとして機能し、プログラムの実行に必要な各種データを一時的に格納する。
ネットワークI/F104には、アンテナやNIC(Network Interface Card)などの情報送受信装置が接続される。室内端末100は、当該情報送受信装置を介して、他の通信機器との間でデータを送受信する。他の通信機器は、たとえば、管理サーバー200、その他の通信機器などを含む。室内端末100は、本実施の形態に従う各種の処理を実現するためのプログラムを、ネットワーク400を介してダウンロードできるように構成されてもよい。
カメラ105、たとえば、監視カメラまたは被写体を撮影することが可能なその他の撮像装置である。なお、カメラ105は、室内端末100と別個に構成されてもよいし、図20に示されるように室内端末100と一体的に構成されてもよい。
記憶装置106は、たとえば、ハードディスクや外付けの記憶装置などの記憶媒体である。一例として、記憶装置106は、ベッド領域40と、テンプレート106Aと、本実施の形態に従う各種の処理を実現するための画像処理プログラム106Bとを記憶する。
ベッド領域40は、設定画像や入力画像内でベッドが写っている領域を特定するための情報である。たとえば、ベッド領域40は、ベッドの四隅を示す座標値で示される。
テンプレート106Aは、たとえば、ベッド領域40の四隅周辺のそれぞれについて算出された4つのヒストグラムに相当する(図12参照)。ベッド領域40、テンプレート106A、および画像処理プログラム106Bは、記憶装置106ではなく、室内端末100やサーバーなどに格納されてもよい。
なお、画像処理プログラム106Bは、単体のプログラムとしてではなく、任意のプログラムの一部に組み込まれて提供されてもよい。この場合、任意のプログラムと協働して本実施の形態に従う処理が実現される。このような一部のモジュールを含まないプログラムであっても、本実施の形態に従う画像処理システム300の趣旨を逸脱するものではない。さらに、本実施の形態に従う画像処理プログラム106Bによって提供される機能の一部または全部は、専用のハードウェアによって実現されてもよい。さらに、室内端末100と管理サーバー200とが協働して、本実施の形態に従う処理を実現するようにしてもよい。さらに、少なくとも1つのサーバーが本実施の形態に従う処理を実現する、所謂クラウドサービスのような形態で管理サーバー200が構成されてもよい。
(管理サーバー200のハードウェア構成)
次に、管理サーバー200のハードウェア構成について説明する。図20に示されるように、管理サーバー200は、ROM201と、CPU202と、RAM203と、ネットワークI/F204と、モニタ205と、記憶装置206とを含む。
次に、管理サーバー200のハードウェア構成について説明する。図20に示されるように、管理サーバー200は、ROM201と、CPU202と、RAM203と、ネットワークI/F204と、モニタ205と、記憶装置206とを含む。
ROM201は、オペレーティングシステム、管理サーバー200で実行される制御プログラムなどを格納する。CPU202は、オペレーティングシステムや管理サーバー200の制御プログラムなどの各種プログラムを実行することで、管理サーバー200の動作を制御する。RAM203は、ワーキングメモリとして機能し、プログラムの実行に必要な各種データを一時的に格納する。
ネットワークI/F204には、アンテナやNICなどの情報送受信装置が接続される。管理サーバー200は、当該情報送受信装置を介して、他の通信機器との間でデータを送受信する。他の通信機器は、たとえば、室内端末100、その他の通信機器などを含む。管理サーバー200は、本実施の形態に従う各種の処理を実現するためのプログラムを、ネットワーク400を介してダウンロードできるように構成されてもよい。
モニタ205は、メイン画面310(図4)、設定モードトップ画面320(図5)、領域設定画面330(図6)、平常時画面340(図7)、発報時画面350(図8)、および異常時画面360(図9)などの画面を表示する。なお、モニタ205は、タッチセンサ(図示しない)と組み合わされてタッチパネルとして実現されてもよい。タッチパネルは、上述のベッド領域の設定や画面の切り替え操作などをタッチ操作で受け付ける。
記憶装置206は、たとえば、ハードディスクや外付けの記憶装置などの記憶媒体である。一例として、記憶装置206は、本実施の形態に従う各種の処理を実現するための画像処理プログラムを記憶する。
[小括]
以上のようにして、本実施の形態に従う画像処理システム300は、ベッドが当初設定されたベッド領域40からずれた場合に、ベッド20のずれを自動で検出し、ベッドがずれたことを管理者に報知する。予め設定されているベッド領域40は、監視対象の人物の行動判別処理に用いられるため、ベッドのずれは、行動判別処理の精度に大きく影響する。画像処理システム300は、ベッドがずれていることを管理者に報知することで、ベッド領域の設定を修正するように管理者に促すことができる。これにより、画像処理システム300は、行動判別処理の精度が低下することを防止でき、起床や離床が誤って報知されることによって介護者にかかる負担を軽減することができる。
以上のようにして、本実施の形態に従う画像処理システム300は、ベッドが当初設定されたベッド領域40からずれた場合に、ベッド20のずれを自動で検出し、ベッドがずれたことを管理者に報知する。予め設定されているベッド領域40は、監視対象の人物の行動判別処理に用いられるため、ベッドのずれは、行動判別処理の精度に大きく影響する。画像処理システム300は、ベッドがずれていることを管理者に報知することで、ベッド領域の設定を修正するように管理者に促すことができる。これにより、画像処理システム300は、行動判別処理の精度が低下することを防止でき、起床や離床が誤って報知されることによって介護者にかかる負担を軽減することができる。
<第2の実施の形態>
[概要]
第1の実施の形態に従う画像処理システム300は、ベッド領域40からベッドがずれている場合には、必ず、当該ずれを報知していた。これに対して、第2の実施の形態に従う画像処理システム300Aは、ベッド領域40からベッドがずれている場合であっても、当該ずれを報知しない場合がある。たとえば、以下の条件(A)〜(C)が満たされた場合には、画像処理システム300Aは、ベッドがずれていることを報知しない。
[概要]
第1の実施の形態に従う画像処理システム300は、ベッド領域40からベッドがずれている場合には、必ず、当該ずれを報知していた。これに対して、第2の実施の形態に従う画像処理システム300Aは、ベッド領域40からベッドがずれている場合であっても、当該ずれを報知しない場合がある。たとえば、以下の条件(A)〜(C)が満たされた場合には、画像処理システム300Aは、ベッドがずれていることを報知しない。
(A)ずれを報知しないように設定されている場合
画像処理システム300Aは、ベッド領域40からベッドがずれている場合であっても、当該ずれを報知しないように管理者によって設定されているときには、当該ずれを報知しない。
画像処理システム300Aは、ベッド領域40からベッドがずれている場合であっても、当該ずれを報知しないように管理者によって設定されているときには、当該ずれを報知しない。
(B)カメラ105の設置条件が所定の禁止条件を満たした場合
カメラ105の設置条件が変わった場合には、ベッドがずれていないにもかかわらずベッドがずれたと判断される可能性がある。そのため、画像処理システム300Aは、ベッド領域40からベッドがずれている場合であっても、カメラ105の設置条件が所定の禁止条件を満たしたときに、当該ずれを報知しない。一例として、当該禁止条件は、カメラ105のメンテナンスなどにより、カメラ105の方向が予め設定されている方向から外れているときに満たされる。
カメラ105の設置条件が変わった場合には、ベッドがずれていないにもかかわらずベッドがずれたと判断される可能性がある。そのため、画像処理システム300Aは、ベッド領域40からベッドがずれている場合であっても、カメラ105の設置条件が所定の禁止条件を満たしたときに、当該ずれを報知しない。一例として、当該禁止条件は、カメラ105のメンテナンスなどにより、カメラ105の方向が予め設定されている方向から外れているときに満たされる。
(C)入力画像に示される環境が所定の条件を満たした場合
画像処理システム300Aは、ベッド領域40からベッドがずれている場合であっても、入力画像に示される環境が所定の条件を満たしたときには、当該ずれを報知しない。
画像処理システム300Aは、ベッド領域40からベッドがずれている場合であっても、入力画像に示される環境が所定の条件を満たしたときには、当該ずれを報知しない。
一例として、カメラ105の周囲の照明環境が変化したときには、入力画像の画像情報が全体的に変化するため、ベッドがずれていないにもかかわらずベッドがずれたと判断される可能性がある。そのため、画像処理システム300Aは、カメラ105の周囲の照明環境が変化したと判断したときには、ベッドのずれを報知しない。より具体的には、画像処理システム300Aは、入力画像の画像情報からカメラ105の周囲の明るさを順次算出し、前回の明るさよりも今回の明るさが所定値以上変化した場合に、照明条件が変化したと判断する。当該明るさは、たとえば、入力画像の各画素値の平均値で示される。
また、家族や介護者などが被介護者の近くにいる場合には、被介護者の行動を監視する必要性が低い。そのため、画像処理システム300Aは、入力画像から2人以上の人物を検出したときに、入力画像に示される環境が所定の条件を満たしたと判断し、ベッドのずれを報知しない。
さらに、カメラ105の視野から被介護者がはずれた場合には、被介護者の行動を監視できないため、被介護者の行動を監視しても意味がない。そのため、画像処理システム300Aは、被介護者がベッドから所定距離よりも離れた場合には、入力画像に示される環境が所定の条件を満たしたと判断し、ベッドのずれを報知しない。たとえば、被介護者とベッドとの間の距離は、上述の人物領域の抽出処理によって算出される。
あるいは、当該距離は、RFID(Radio Frequency Identifier)などのタグを用いて算出されてもよい。RFIDは、ID(Identification)情報を保持し、電磁界や電波などを用いた近距離無線通信によって読み取り機と情報をやり取りする。読み取り機は、ベッドあるいはベッド周辺に設けられる。読み取り機は、たとえば、自身から数cm〜数mの範囲内にある場合に、RFIDと情報をやり取りできる。すなわち、RFIDを保持する被介護者が読み取り機から所定距離以内にいる場合には、読み取り機は、RFIDと情報をやり取りできる。一方で、読み取り機は、RFIDを保持する被介護者が読み取り機から所定距離よりも離れた場合には、読み取り機は、RFIDと情報をやり取りできない。このことを利用して、画像処理システム300Aは、読み取り機がRFIDと情報をやり取りできない場合に、被介護者がベッドから所定距離よりも離れたと判断する。
[異常検出処理の変形例1]
図21を参照して、図14に示される異常検出処理の変形例について説明する。図21は、図14に示される異常検出処理の変形例を示すフローチャートである。図21に示される各ステップのうちステップS250以外の処理は、図14に示される各ステップと同じであるのでそれらの説明については繰り返さない。
図21を参照して、図14に示される異常検出処理の変形例について説明する。図21は、図14に示される異常検出処理の変形例を示すフローチャートである。図21に示される各ステップのうちステップS250以外の処理は、図14に示される各ステップと同じであるのでそれらの説明については繰り返さない。
上述したように、画像処理システム300Aは、ベッド領域40からベッドがずれている場合であっても、当該ずれを報知しない場合がある。当該ずれを報知するか否かは、図21のステップS250によって判断される。
より具体的には、ステップS250において、画像処理システム300Aは、ベッドがずれていることを報知するか否かを判断する。たとえば、画像処理システム300Aは、上記条件(A)〜(C)が満たされた場合に、ベッドがずれていることを報知しないと判断する。画像処理システム300Aは、ベッドがずれていることを報知すると判断した場合(ステップS250においてYES)、制御をステップS122に切り替える。そうでない場合には(ステップS250においてNO)、画像処理システム300Aは、異常検出処理を終了する。
なお、ずれの報知を禁止する時間は任意である。たとえば、画像処理システム300Aは、上記条件(A)〜(C)が満たされてから一定時間の間だけずれの報知を禁止する。あるいは、画像処理システム300Aは、上記条件(A)〜(C)が満たされてから、報知の禁止を取りやめる操作を管理者から受け付けるまで、ずれの報知を禁止してもよい。あるいは、画像処理システム300Aは、上記条件(A)〜(C)が満たされてから、上記条件(A)〜(C)が満たされなくなるまでの間、ずれの報知を禁止してもよい。
[異常検出処理の変形例2]
以下では、異常検出処理の変形例2について説明する。異常検出処理の変形例1では、画像処理システム300Aは、上記条件(A)〜(C)が満たされた場合に、ベッドのずれを報知しなかった。これに対して、本変形例では、画像処理システム300Aは、上記条件(A)〜(C)が満たされた場合に、ベッドのずれを検出するための条件を現在設定されている条件よりも厳しくする。
以下では、異常検出処理の変形例2について説明する。異常検出処理の変形例1では、画像処理システム300Aは、上記条件(A)〜(C)が満たされた場合に、ベッドのずれを報知しなかった。これに対して、本変形例では、画像処理システム300Aは、上記条件(A)〜(C)が満たされた場合に、ベッドのずれを検出するための条件を現在設定されている条件よりも厳しくする。
たとえば、画像処理システム300Aは、上記条件(A)〜(C)が満たされた場合に、図14のステップS104に示される所定閾値を現在の値よりも大きくする。これにより、ベッドがベッド領域40からずれていると判断されにくくなり、ベッドのずれを誤報することが抑制される。
[小括]
以上のようにして、第2の実施の形態に従う画像処理システム300Aは、上記条件(A)〜(C)が満たされた場合に、ベッドがずれていることを報知しない。これにより、画像処理システム300Aは、ベッドがずれていないにもかかわらず、ベッドのずれが報知されることを防止することができる。
以上のようにして、第2の実施の形態に従う画像処理システム300Aは、上記条件(A)〜(C)が満たされた場合に、ベッドがずれていることを報知しない。これにより、画像処理システム300Aは、ベッドがずれていないにもかかわらず、ベッドのずれが報知されることを防止することができる。
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。
10 被介護者、12 人物、20 ベッド、30A 設定画像、30B 入力画像、30C 背景画像、40 ベッド領域、41A〜41D 点、50,352 メッセージ、61,62 ヒストグラム、70,S1,S2 人物領域、100 室内端末、101,201 ROM、102,202 CPU、103,203 RAM、104,204 ネットワークI/F、105 カメラ、106,206 記憶装置、106A テンプレート、106B 画像処理プログラム、110,210 受信部、120 人物検出部、130 行動判別部、150 ずれ検出部、160,250 送信部、200 管理サーバー、205 モニタ、220 ずれ報知部、230 行動報知部、240 受付部、300,300A 画像処理システム、310 メイン画面、312,314,322,324 ボタン、320 設定モードトップ画面、330 領域設定画面、332 ポインタ、340 平常時画面、350 発報時画面、360 異常時画面、400 ネットワーク、Th1,Th2 閾値。
一実施の形態に従うと、画像処理システムは、被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるための受付部と、基準画像と同じ視点から被写体を撮影して得られる入力画像から人物領域を検出するための人物検出部と、入力画像内の物体を含む領域と、入力画像内の人物領域との間の位置関係に基づいて、人物領域内の人物の行動を判別するための行動判別部と、基準画像内の物体を含む領域の画像情報と入力画像内の物体を含む領域の画像情報とを比較して、または基準画像内の物体を含む領域近傍の画像情報と入力画像内の物体を含む領域近傍の画像情報とを比較して、入力画像内において物体を含む領域から物体がずれていることを検出するためのずれ検出部と、入力画像内において物体のずれが検出されたときに、人物の行動を判別せずに、設定された物体を含む領域から入力画像内の物体がずれていることを報知するための報知部とを備える。
他の局面に従うと、画像処理装置は、被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるための受付部と、基準画像と同じ視点から被写体を撮影して得られる入力画像から人物領域を検出するための人物検出部と、入力画像内の物体を含む領域と、入力画像内の人物領域との間の位置関係に基づいて、人物領域内の人物の行動を判別するための行動判別部と、基準画像内の物体を含む領域の画像情報と入力画像内の物体を含む領域の画像情報とを比較して、または基準画像内の物体を含む領域近傍の画像情報と入力画像内の物体を含む領域近傍の画像情報とを比較して、入力画像内において物体を含む領域から物体がずれていることを検出するためのずれ検出部と、入力画像内において物体のずれが検出されたときに、人物の行動を判別せずに、設定された物体を含む領域から入力画像内の物体がずれていることを報知するための報知部とを備える。
さらに他の局面に従うと、画像処理方法は、被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるステップと、基準画像と同じ視点から被写体を撮影して得られる入力画像から人物領域を検出するステップと、入力画像内の物体を含む領域と、入力画像内の人物領域との間の位置関係に基づいて、人物領域内の人物の行動を判別するステップと、基準画像内の物体を含む領域の画像情報と入力画像内の物体を含む領域の画像情報とを比較して、または基準画像内の物体を含む領域近傍の画像情報と入力画像内の物体を含む領域近傍の画像情報とを比較して、入力画像内において物体を含む領域から物体がずれていることを検出するステップと、入力画像内において物体のずれが検出されたときに、人物の行動を判別せずに、設定された物体を含む領域から入力画像内の物体がずれていることを報知するステップとを備える。
さらに他の局面に従うと、画像処理プログラムは、コンピュータに、被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるステップと、基準画像と同じ視点から被写体を撮影して得られる入力画像から人物領域を検出するステップと、入力画像内の物体を含む領域と、入力画像内の人物領域との間の位置関係に基づいて、人物領域内の行動を判別するステップと、基準画像内の物体を含む領域の画像情報と入力画像内の物体を含む領域の画像情報とを比較して、または基準画像内の物体を含む領域近傍の画像情報と入力画像内の物体を含む領域近傍の画像情報とを比較して、入力画像内において物体を含む領域から物体がずれていることを検出するステップと、入力画像内において物体のずれが検出されたときに、人物の行動を判別せずに、設定された物体を含む領域から入力画像内の物体がずれていることを報知するステップとを実行させる。
Claims (11)
- 被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるための受付部と、
前記基準画像と同じ視点から前記被写体を撮影して得られる入力画像から人物領域を検出するための人物検出部と、
前記入力画像内の前記物体を含む領域と、前記入力画像内の前記人物領域との間の位置関係に基づいて、前記人物領域内の人物の行動を判別するための行動判別部と、
前記基準画像内の前記物体を含む領域の画像情報と前記入力画像内の前記物体を含む領域の画像情報とを比較して、または前記基準画像内の前記物体を含む領域近傍の画像情報と前記入力画像内の前記物体を含む領域近傍の画像情報とを比較して、前記物体を含む領域から前記物体がずれていることを検出するためのずれ検出部と、
前記物体のずれが検出されたときに、前記人物の行動を判別せずに、設定された前記物体を含む領域から前記入力画像内の前記物体がずれていることを報知するための報知部とを備える、画像処理システム。 - 前記受付部は、前記基準画像に対する複数の点の設定、前記基準画像に対する複数の線の設定、および前記基準画像に対する面の設定の少なくとも1つを受け付けることで前記物体を含む領域の設定を受け付ける、請求項1に記載の画像処理システム。
- 前記受付部は、前記基準画像における前記物体の向きの設定をさらに受け付ける、請求項2に記載の画像処理システム。
- 前記行動判別部は、前記入力画像の前記物体を含む領域内に占める人物領域の大きさと、前記入力画像の前記物体を含む領域外に占める人物領域の大きさとの少なくとも一方に基づいて、前記人物の行動を判別する、請求項1〜3のいずれか1項に記載の画像処理システム。
- 前記物体は、寝具であり、
前記人物検出部は、時系列の複数の前記入力画像から人物領域を順次検出し、
前記行動判別部は、
前記入力画像の前記物体を含む領域外に占める人物領域の大きさを順次算出し、
順次算出される前記人物領域の大きさが所定閾値よりも大きくなったことに基づいて、前記人物が起床したと判別する、請求項4に記載の画像処理システム。 - 前記物体は、寝具であり、
前記人物検出部は、時系列の複数の前記入力画像から人物領域を順次検出し、
前記行動判別部は、
前記入力画像の前記物体を含む領域内に占める人物領域の大きさを順次算出し、
順次算出される前記人物領域の大きさが所定閾値よりも小さくなったことに基づいて、前記人物が離床したと判別する、請求項4に記載の画像処理システム。 - 前記報知部は、前記ずれを報知しないように設定されている場合、前記入力画像を生成するカメラの設置条件が所定の禁止条件を満たした場合、または、前記入力画像に示される環境が所定の条件を満たした場合には、前記ずれが検出されたときであっても、前記物体がずれていることを報知しない、請求項1〜6のいずれか1項に記載の画像処理システム。
- 前記報知部は、前記ずれを報知しないように設定されている場合、前記入力画像を生成するカメラの設置条件が所定の禁止条件を満たした場合、または、前記入力画像に示される環境が所定条件を満たした場合には、前記ずれ検出部が前記ずれを検出するための条件を現在設定されている条件よりも厳しくする、請求項1〜6のいずれか1項に記載の画像処理システム。
- 被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるための受付部と、
前記基準画像と同じ視点から前記被写体を撮影して得られる入力画像から人物領域を検出するための人物検出部と、
前記入力画像内の前記物体を含む領域と、前記入力画像内の前記人物領域との間の位置関係に基づいて、前記人物領域内の人物の行動を判別するための行動判別部と、
前記基準画像内の前記物体を含む領域の画像情報と前記入力画像内の前記物体を含む領域の画像情報とを比較して、または前記基準画像内の前記物体を含む領域近傍の画像情報と前記入力画像内の前記物体を含む領域近傍の画像情報とを比較して、前記物体を含む領域から前記物体がずれていることを検出するためのずれ検出部と、
前記物体のずれが検出されたときに、前記人物の行動を判別せずに、設定された前記物体を含む領域から前記入力画像内の前記物体がずれていることを報知するための報知部とを備える、画像処理装置。 - 被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるステップと、
前記基準画像と同じ視点から前記被写体を撮影して得られる入力画像から人物領域を検出するステップと、
前記入力画像内の前記物体を含む領域と、前記入力画像内の前記人物領域との間の位置関係に基づいて、前記人物領域内の人物の行動を判別するステップと、
前記基準画像内の前記物体を含む領域の画像情報と前記入力画像内の前記物体を含む領域の画像情報とを比較して、または前記基準画像内の前記物体を含む領域近傍の画像情報と前記入力画像内の前記物体を含む領域近傍の画像情報とを比較して、前記物体を含む領域から前記物体がずれていることを検出するステップと、
前記物体のずれが検出されたときに、前記人物の行動を判別せずに、設定された前記物体を含む領域から入力画像内の前記物体がずれていることを報知するステップとを備える、画像処理方法。 - 画像処理プログラムであって、
前記画像処理プログラムは、コンピュータに、
被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるステップと、
前記基準画像と同じ視点から前記被写体を撮影して得られる入力画像から人物領域を検出するステップと、
前記入力画像内の前記物体を含む領域と、前記入力画像内の前記人物領域との間の位置関係に基づいて、前記人物領域内の人物の行動を判別するステップと、
前記基準画像内の前記物体を含む領域の画像情報と前記入力画像内の前記物体を含む領域の画像情報とを比較して、または前記基準画像内の前記物体を含む領域近傍の画像情報と前記入力画像内の前記物体を含む領域近傍の画像情報とを比較して、前記物体を含む領域から前記物体がずれていることを検出するステップと、
前記物体のずれが検出されたときに、前記人物の行動を判別せずに、設定された前記物体を含む領域から入力画像内の前記物体がずれていることを報知するステップとを実行させる、画像処理プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015024339 | 2015-02-10 | ||
JP2015024339 | 2015-02-10 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016557155A Division JP6098770B2 (ja) | 2015-02-10 | 2016-01-14 | 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017107594A true JP2017107594A (ja) | 2017-06-15 |
JP6311809B2 JP6311809B2 (ja) | 2018-04-18 |
Family
ID=56614490
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016557155A Active JP6098770B2 (ja) | 2015-02-10 | 2016-01-14 | 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム |
JP2017031300A Active JP6311809B2 (ja) | 2015-02-10 | 2017-02-22 | 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016557155A Active JP6098770B2 (ja) | 2015-02-10 | 2016-01-14 | 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP6098770B2 (ja) |
WO (1) | WO2016129320A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7003921B2 (ja) * | 2016-08-19 | 2022-01-21 | コニカミノルタ株式会社 | 被監視者監視システムの設定変更判定装置、及び、被監視者監視システムの設定変更判定方法 |
US20200323485A1 (en) * | 2017-04-28 | 2020-10-15 | Optim Corporation | Sleep anomaly notification system, sleep anomaly notification method, and program |
JP7508958B2 (ja) * | 2020-09-11 | 2024-07-02 | 株式会社リコー | 情報処理装置、情報処理システム、及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000272863A (ja) * | 1999-03-24 | 2000-10-03 | Hitachi Ltd | 乗客コンベアの監視装置 |
JP2001243472A (ja) * | 2000-03-01 | 2001-09-07 | Matsushita Electric Works Ltd | 画像処理装置 |
JP2005128967A (ja) * | 2003-10-27 | 2005-05-19 | Sozo Gijutsu Kenkyusho:Kk | 医療用動き検出装置、医療用動き検出方法、医療用動き検出プログラム並びにコンピュータで読取可能な記録媒体 |
JP2006175082A (ja) * | 2004-12-24 | 2006-07-06 | Hitachi Engineering & Services Co Ltd | 起床監視方法および装置 |
JP2012030042A (ja) * | 2010-06-30 | 2012-02-16 | Panasonic Electric Works Co Ltd | 監視装置、プログラム |
-
2016
- 2016-01-14 JP JP2016557155A patent/JP6098770B2/ja active Active
- 2016-01-14 WO PCT/JP2016/050940 patent/WO2016129320A1/ja active Application Filing
-
2017
- 2017-02-22 JP JP2017031300A patent/JP6311809B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000272863A (ja) * | 1999-03-24 | 2000-10-03 | Hitachi Ltd | 乗客コンベアの監視装置 |
JP2001243472A (ja) * | 2000-03-01 | 2001-09-07 | Matsushita Electric Works Ltd | 画像処理装置 |
JP2005128967A (ja) * | 2003-10-27 | 2005-05-19 | Sozo Gijutsu Kenkyusho:Kk | 医療用動き検出装置、医療用動き検出方法、医療用動き検出プログラム並びにコンピュータで読取可能な記録媒体 |
JP2006175082A (ja) * | 2004-12-24 | 2006-07-06 | Hitachi Engineering & Services Co Ltd | 起床監視方法および装置 |
JP2012030042A (ja) * | 2010-06-30 | 2012-02-16 | Panasonic Electric Works Co Ltd | 監視装置、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6311809B2 (ja) | 2018-04-18 |
WO2016129320A1 (ja) | 2016-08-18 |
JP6098770B2 (ja) | 2017-03-22 |
JPWO2016129320A1 (ja) | 2017-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6137425B2 (ja) | 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム | |
JP6115335B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6119938B2 (ja) | 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム | |
WO2015133195A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
US20160142680A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6311809B2 (ja) | 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム | |
WO2015118953A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP2018143338A (ja) | 見守り支援システム及びその制御方法 | |
JP6115692B1 (ja) | 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置 | |
JP6417670B2 (ja) | 監視装置、監視システム、監視方法、監視プログラム、および監視プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2018067203A (ja) | 危険報知装置及び危険報知方法、並びに危険報知装置の校正方法 | |
JP2019052889A (ja) | 画像処理装置 | |
WO2018047795A1 (ja) | 見守りシステム、見守り装置、見守り方法、および見守りプログラム | |
US20200382710A1 (en) | Monitoring system | |
JP2018151834A (ja) | 迷子検出装置および迷子検出方法 | |
JP5264457B2 (ja) | 物体検出装置 | |
CN110610119B (zh) | 影像分析方法、电子系统以及非暂态电脑可读取记录媒体 | |
WO2018030024A1 (ja) | 見守りシステム、見守り装置、見守り方法、および見守りプログラム | |
JP2012048691A (ja) | 画像監視装置 | |
JP2007336431A (ja) | 映像監視装置及び方法 | |
CN110415486B (zh) | 姿态判断方法、电子系统以及非暂态电脑可读取记录媒体 | |
CN108198203B (zh) | 运动报警方法、装置以及计算机可读存储介质 | |
KR102565175B1 (ko) | 열-감지센서를 이용한 병동 돌발 상황 경보 및 모니터링 방법 | |
JP2022126069A (ja) | 画像処理方法 | |
JP2022126070A (ja) | 画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180305 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6311809 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |