JP4590745B2

JP4590745B2 - Image processing device

Info

Publication number: JP4590745B2
Application number: JP2001024724A
Authority: JP
Inventors: 忠洋荒川; 聡古川; 啓史松田; 健一萩尾
Original assignee: Panasonic Corp; Matsushita Electric Works Ltd
Current assignee: Panasonic Corp; Panasonic Electric Works Co Ltd
Priority date: 2001-01-31
Filing date: 2001-01-31
Publication date: 2010-12-01
Anticipated expiration: 2021-01-31
Also published as: JP2002230533A

Description

【０００１】
【発明の属する技術分野】
本発明は、人を居室内で監視するために用いられる画像処理装置に関する。
【０００２】
【従来の技術】
従来、居室内の被介護者を監視するために用いられる画像処理装置は、図１０に示す、居室斜め上方から居室下方に向けて撮像カメラで撮影した画像情報の中で、室内床面上に設置されるベッドが占有する領域であるベッド領域Ｂと、ベッドが置かれる領域以外の床面の領域である床面領域Ａとを識別可能であり、ベッド領域Ｂと床面領域Ａとの境界をも識別可能である。ベッド領域Ｂと床面領域Ａは予め設定入力操作部により、監視画面に合わせて設定され、記憶される。ベッドの外形を表わす境界は、境界辺Ｂ１と、境界辺Ｂ２と、境界辺Ｂ３と、境界辺Ｂ４と、境界辺Ｂ５と、境界辺Ｂ６と、で示される。
【０００３】
しかし、画像処理装置は、床面領域Ａからベッド領域Ｂへの人体移動を検知すると、この事象を入床事象と判断し、ベッド領域Ｂから床面領域Ａへの人体移動を検知すると、この事象を離床事象と判断する。しかし、この判断の際、境界辺Ｂ１乃至境界辺Ｂ６のいずれかをまたぐようにして人体の移動を検知した際に入床、離床の発生と認識していたため、ベッド領域Ｂ内を越え、境界をまたぐように人体が存在して画像に捉えられたり、ベッド領域Ｂの内部に収まっていても寝返りをうってベッド領域Ｂの上方や側方にはみだしたように画像に捉えられると、離床の発生と認識されてしまう。つまり、画像の写る角度によってベッド領域Ｂを越えてはいるように見えるものの、実際はベッド上での動作であった場合でも、離床事象の発生だと認識してしまうため、正確な離床判断をしているものではなかった。
【０００４】
【発明が解決しようとする課題】
そこで、本発明は上記問題点に鑑みてなされたもので、その目的とするところは、入床事象、離床事象を正確に判断することのできる画像処理装置を提供することにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するために本発明の画像処理装置は、以下の構成を備える。すなわち、請求項１の発明では、撮影を行う撮像カメラと、室内斜め上方から室内下方に向けて前記撮像カメラにより撮影された画像情報に基づいて人の離床、入床を判断する画像処理部と、を備える画像処理装置であって、前記画像処理部は、前記画像情報のうち、室内床面上に設置されたベッドが占有する領域であるベッド領域と、床面の領域で前記ベッドが置かれる領域以外の床面領域と、を識別可能であるとともに、前記ベッドの外形下辺を表わす境界辺を通過して、前記床面領域から前記ベッド領域への人体移動を検知すると、入床事象と判断し、前記境界辺を通過して、前記ベッド領域から前記床面領域への人体移動を検知すると、離床事象と判断することを特徴とする。
【０００６】
請求項２の発明では、前記撮像カメラにより撮影した前記画像情報を画像上部から画像下部へ向けて走査し、前記画像情報が前記ベッド領域から前記床面領域へ変化した画像位置を、前記境界辺として設定することを特徴とする。
【０００７】
請求項３の発明では、前記境界辺の長辺のみを入床事象もしくは離床事象の判断に用いることを特徴とする。
【０００８】
請求項４の発明では、前記床面領域のうち前記ベッド領域上部の所定の領域を不感領域とし、該不感領域での人体移動の検知は、入床事象もしくは離床事象の判断基準から除外することを特徴とする。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態を図示例と共に説明する。本発明に係わる画像処理装置の第１の実施の形態を、図１に基づいて以下に説明する。
【００１０】
まず、本実施の形態における画像処理装置の構成を説明する。画像処理装置は、人物を撮影する撮像カメラ１と、画像入力インターフェース２と、画像データバッファ３と、画像処理部４と、制御部５と、設定情報記憶部６と、設定入力操作部７と、を備えてなる。撮像カメラ１は、人物の画像を撮影し、その画像情報を、画像入力インターフェース２を介して、画像処理部４へ伝送する。設定入力操作部７は、図２に示すように、撮像カメラ１で撮像された室内斜め上方からの画像情報の中で、室内床面上に設置されるベッドが占有する領域であるベッド領域Ｂと、室内でベッドが置かれる領域以外の床面の領域である床面領域Ａと、を設定する。設定情報記憶部６は、設定入力操作部７により設定される、ベッド領域Ｂ、床面領域Ａ、境界辺を記憶する。制御部５は、画像処理を行う際に、設定情報記憶部６から必要な設定情報を引き出し、画像処理部４に送信する。画像処理部４は、設定された情報に基づいて画像処理を行う。
【００１１】
本実施の形態における画像処理装置は、ベッド外形下辺をあらわす境界辺Ｂ４と境界辺Ｂ５を通過して人体の領域移動が発生した場合のみを事象発生としている。つまり、床面領域Ａから、境界辺Ｂ４もしくは境界辺Ｂ５を通過して、ベッド領域Ｂへの人体移動を検知すると、この事象を入床事象と判断し、ベッド領域Ｂから境界辺Ｂ４もしくは境界辺Ｂ５を通過して、床面領域Ａへの人体移動を検知すると、この事象を離床事象と判断する。このとき、境界辺Ｂ４もしくは境界辺Ｂ５を通過しない場合は、単にベッドの中で手足を動かしたり、寝返りをうったなどのベッド空間内での動きとみなし、離床とは判定しないものである。
【００１２】
次に、画像処理装置の動作を説明する。説明する動作としては、図３に示すアルゴリズムと、図４に示す離床を検出するアルゴリズムと、図５に示す入床を検出するアルゴリズムであり、図３に示すアルゴリズムから、離床を検出するときは、図４に示すアルゴリズムを用い、入床を検出するときは、図５に示すアルゴリズムを用いる。なお、ベッド領域Ｂと、床面領域Ａ、境界辺は、設定情報記憶部６に記憶されたものであり、これらを用いて、入床事象、離床事象を判断するアルゴリズムを、図３と、図４、図５を参照して、説明する。
【００１３】
まず、図３に示すフローチャートを参照して、本実施の形態における入床／離床を自動的に判断するアルゴリズムを詳細に説明する。処理が開始すると（ステップＳＡ１）、アルゴリズムで使用される変数の初期化を行い（ステップＳＡ２）、新規に画像を取得する（ステップＳＡ３）。次に、前回のサイクルにおいて取得した画像との差分処理を行い（ステップＳＡ４）、所定のしきい値で２値化して、変化領域を抽出する（ステップＳＡ５）。抽出された変化領域が、ベッド領域Ｂ、床面領域Ａ、境界辺のどこに当たるかを、設定情報記憶部６に記憶された画像情報と照合し（ステップＳＡ６）、判定処理へ移る（ステップＳＡ７）。
ここまでが、入床／離床を自動的に判断するアルゴリズムである。
【００１４】
次に、ステップＳＡ７の判定処理の動作説明をするが、判定処理には、図４のフローチャートに示される、離床事象を判断するアルゴリズムと、図５のフローチャートに示される、入床事象を判断するアルゴリズムがある。これは、離床事象を判断したい場合には、図４の離床事象を判断するアルゴリズムを用い、入床事象を判断したい場合には、図５の入床事象を判断するアルゴリズムを用いるものである。
【００１５】
まず、図４のフローチャートに示される、離床事象を判断するアルゴリズムを説明する。ステップＳＡ７である判定処理から、前回のサイクルにおける状態ＦＬＡＧの値を参照する（ステップＳＢ１）。ここで、状態ＦＬＡＧの値が特に設定された値でない場合には、状態ＦＬＡＧの値が１である（ステップＳＢ２）とし、ステップＳＢ３以降に進み、状態ＦＬＡＧの値が２であれば、ステップＳＢ５以降に進み、状態ＦＬＡＧの値が３であれば、ステップＳＢ１０以降に進む。
【００１６】
ステップＳＢ２から、ステップＳＡ６で照合された変化領域の参照を行う（ステップＳＢ３）。変化領域がベッド領域Ｂであった場合は、状態ＦＬＡＧ＝２とする（ステップＳＢ４）。変化領域が、床面領域Ａもしくは、前回のサイクルにおいて、ベッド領域Ｂで変化があったが、今回のサイクルにおいては、変化がなかった場合には、特別に処理せずに、非発報処理に進む（ステップＳＡ８）。
【００１７】
状態ＦＬＡＧの値を参照し（ステップＳＢ１）、その値が２であれば（ステップＳＢ５）、今回のサイクルにおいて変化した領域を参照する（ステップＳＢ６）。変化領域が、床面領域Ａであれば、同時に境界辺において変化があったかどうかの判断を行う（ステップＳＢ７）。もし、境界辺でも変化があれば、タイマのカウントをリセットし、状態ＦＬＡＧ＝３とする（ステップＳＢ９）。境界辺での変化がなければ、非発報処理（ステップＳＡ８）に進む。
【００１８】
状態ＦＬＡＧの値を参照し（ステップＳＢ１）、その値が２であれば（ステップＳＢ１０）、今回のサイクルで変化した領域を参照し（ステップＳＢ１１）、それが、ベッド領域Ｂであれば、状態ＦＬＡＧ＝２とし（ステップＳＢ１２）、非発報処理（ステップＳＡ８）に進む。変化した領域が、床面領域Ａ、もしくは動作がなければ、カウンタに１を加える（ステップＳＢ１３）。カウンタの値が、予め設定したしきい値以上に達していなければ、非発報処理（ステップＳＡ８）に進む。カウンタの値が、しきい値以上に達していれば、発報装置（図示せず）で発報させるための発報処理をする（ステップＳＡ９）。発報処理を行えば、自動判断処理終了となる（ステップＳＡ１０）。以上が、離床事象を自動的に判断するアルゴリズムである。
【００１９】
次に、図５に示すフローチャートを参照して、入床事象の判断を行うアルゴリズムの説明をするが、入床事象を判断するアルゴリズムは、図４に示す離床事象を判断するアルゴリズムとほぼ同じ動作をし、異なるところは、図５におけるステップＳＣ３、ステップＳＣ６、ステップＳＣ１１において、参照する領域が異なるだけであるので、説明を省略する。以上が、入床／離床を検出するアルゴリズムである。
【００２０】
上述した入床／離床を検出するアルゴリズムでは、設定情報記憶部６に手動で設定されたベッド外形下辺を表わす境界辺を用いていたが、図６に示す、この境界辺を自動的に検出するアルゴリズムを以下に説明する。
【００２１】
まず、図６に示すベッド外形下辺を表わす境界辺を自動的に検出するアルゴリズムの概要を説明する。ベッド外形下辺を表わす境界辺は、設定入力操作部７で、ベッド領域Ｂ、床面領域Ａと同様に手動で設定することができるが、本実施の形態では、自動的に境界辺を検出するアルゴリズムを用いて設定するものである。
【００２２】
図２に示すように、斜方向から室内を撮影した場合、通常、ベッド領域Ｂは凸多角形として設定される。このようにして設定されたベッド領域Ｂは、凸の頂点を持つ多角形であるため、画像情報を画面上方から画面下方に向けてスキャンすれば、ベッド領域Ｂから床面領域Ａに変化する画素は、１列に１点しかなく、その変化した画素をベッドの外形下辺を表わすとして認識、記憶する。
【００２３】
以下、境界辺を検知するアルゴリズムを、図６のフローチャートを参照して、詳細に説明する。行Ｘと列Ｙが画像情報の２次元アドレスを示し、Ｘｍａｘ、Ｙｍａｘは、それぞれ画像サイズを示す。Ｐ（Ｘ、Ｙ）は、アドレス（Ｘ、Ｙ）における画素を示し、初期状態では、ベッド領域Ｂと、床面領域Ａの２つが記憶されている。境界ＦＬＡＧは列Ｙにおいて、ベッド領域を検出したことを示すフラグである。
【００２４】
そこで、ベッド外形下辺を表わす境界辺を検出するため、画像情報を表示する画面上で、左上隅の画素を画面上の原点として設定する（ステップＳＤ２）。次に、列Ｙを固定し、列Ｙにおける画素を画面上端から画面下端に向かって、走査するため行Ｘをインクリメントする（ステップＳＤ３）。画素Ｐ（Ｘ、Ｙ）を走査し（ステップＳＤ４）、その画素がベッド領域Ｂであれば、走査した画素がベッド領域であったことを示す境界ＦＬＡＧを１とする（ステップＳＤ７）。ベッド領域Ｂでなければ、ステップＳＤ５に進む。
【００２５】
列Ｙにおいて走査している画素が画面下端である、すなわちＸ＝Ｘｍａｘであるかどうかを判断し（ステップＳＤ８）、画面下端でなければ、同じ列Ｙで１つ下の画素を走査するために、行Ｘをインクリメントして（ステップＳＤ３）、再度、画素Ｐ（Ｘ、Ｙ）の走査を行う（ステップＳＤ４）。もし、画面下端である、すなわちＸ＝Ｘｍａｘであれば、列Ｙが画面端に達しているか、すなわち全画面走査したかどうかを判断する（ステップＳＤ９）。全画面走査していれば、ベッド外形下辺を表わす境界辺の検知が終了する（ステップＳＤ１０）。全画面走査していなければ、走査する列を隣に移動させるため列Ｙをインクリメントし、画面上端から走査するために、行Ｘ、変数境界ＦＬＡＧを設定する（ステップＳＤ１１）。
【００２６】
ステップＳＤ４において、走査している画素がベッド領域Ｂでなければ、前回のサイクルにおいて、境界ＦＬＡＧが１であるかどうかを判断する（ステップＳＤ５）。境界ＦＬＡＧが１でなければ、すなわち、前回のサイクルにおいて、走査した画素がベッド領域Ｂでなければ、ステップＳＤ８に移行し、画面下端まで走査したかどうかを判断する。境界ＦＬＡＧ＝１であれば、前回のサイクルにおいてベッド領域Ｂである画素を走査し、今回のサイクルにおいてベッド領域Ｂでない画素を走査したということであるので、走査した画素Ｐ（Ｘ、Ｙ）が境界であると判断し、画素Ｐ（Ｘ、Ｙ）にベッド外形下辺を表わす境界辺であることを示す画像情報を書き戻す（ステップＳＤ６）。なお、図７に示すように、境界辺での動作を確実に検知するために、境界辺に対して膨張処理を施し、検知幅を広くしてもよい。以上が、ベッド外形下辺である境界辺を検出するアルゴリズムである。以上に示した、境界辺を自動的に検知するアルゴリズムにより、ベッド領域Ｂと床面領域Ａを設定するだけで、自動的にベッド外形下辺を表わす境界辺を設定できる。
【００２７】
すなわち、本実施の形態によれば、室内を斜方向から撮影することにより、ベッド上部の空間での動作であるにも関わらず、ベッドの外での動作として認識されることにより、離床事象もしくは、入床事象として判断されることを防止することができる。
【００２８】
本発明に係わる画像処理装置の第２の実施の形態を、図８に基づいて以下に説明する。本実施の形態は、ベッド外形下辺をあらわす境界辺Ｂ４と境界辺Ｂ５のうち、長い方だけを入床事象、離床事象の判断基準として用いることで、より正確に検知するものである。これは、人の入床、離床には、ベッド外形下辺となる境界辺Ｂ４と、境界辺Ｂ５のうち、長辺となる境界辺を通過して行われることを鑑みたものである。
【００２９】
そこで、境界辺Ｂ４と境界辺Ｂ５のうち、長辺を取り出すために、境界辺Ｂ４と境界辺Ｂ５を２つの交わる線分として認識させ、その交点と、境界辺Ｂ４と境界辺Ｂ５のそれぞれの端点との距離を算出し、比較することで、長い方の線分を検知する。図８に示す、境界辺の抽出により、境界辺の画素のアドレスがＴ_n（Ｘ、Ｙ）、（ｎ＝１〜Ｎ）で得られるとする。画素アドレスＴ_n（Ｘ、Ｙ）における境界辺の傾きをＧ_nとしたとき、隣合う画素の傾きの差分はＧ_n−Ｇ_n+1となるが、同一境界辺における線分の傾きは、同じであるので、差分値Ｇ_n−Ｇ_n+1は、０となり、差分値が０以外の値をとったとき、その点が交点画素アドレスＴ_m（Ｘ、Ｙ）であることになる。交点画素アドレスＴ_m（Ｘ、Ｙ）が求まれば、境界辺の１端である交点画素アドレスＴ_m（Ｘ、Ｙ）と、境界辺の他端である画素アドレスＴ₁（Ｘ、Ｙ）と、画素アドレスＴ_N（Ｘ、Ｙ）との距離を算出し、その値の大きい方を求めれば、境界辺のうち長辺を求めることができる。
【００３０】
また、正確な判断を行うために、図９に示すように、表示画像のうち、床面領域Ａとベッド領域Ｂ以外の領域を不感領域Ｃとするが、本実施の形態においては、床面領域Ａのうち、ベッド領域Ｂの上部に不感領域Ｄを設定する。この不感領域Ｄを設定することで、ベッド上にいるにも関わらず、ベッド上部の空間に手を伸ばしたときに、動作が床面領域Ａに射影され、床面領域Ａで動作が起こっていると判断されることを防ぐことが可能となる。不感領域Ｄの設定については、ベッド上で予想される動作を床面領域Ａに投影したとき、投影画像を覆うような大きさにすればよい。不感領域Ｄを設定することで、より正確に離床事象を検知できる。
【００３１】
以上、本発明の好適な実施の形態を説明したが、本発明はこの実施の形態に限らず、種々の形態で実施することができる。
【００３２】
【発明の効果】
本発明の請求項１に係わる画像処理装置によれば、正確な入床／離床を判断でき、ベッド上での寝返りなどを、入床事象、離床事象と判断して誤報することを防止することができる。
【００３３】
本発明の請求項２によれば、ベッド領域と床面領域を設定するだけで、自動的にベッド領域と床面領域の境界である境界辺を設定できる。
【００３４】
本発明の請求項３によれば、ベッド外形下辺である境界辺のうち長いほうだけを、入床事象、離床事象の判断基準として使用するので、より正確な判断をすることができる。
【００３５】
本発明の請求項４によれば、ベッド領域上部に不感領域を設けたので、離床事象の判断において、誤報の発生を防ぐことができる。
【図面の簡単な説明】
【図１】本発明に係わる画像処理装置の第１の実施の形態を示す図である
【図２】上記画像処理装置が認識する領域と境界を示す図である
【図３】上記画像処理装置の動作を示すフローチャートを示す図である
【図４】上記画像処理装置における離床事象のフローチャートを示す図である
【図５】上記画像処理装置における入床事象のフローチャートを示す図である
【図６】上記画像処理装置における境界辺を検知するフローチャートを示す図である
【図７】上記画像処理装置における境界辺に膨張処理を施したことを示す図である
【図８】本発明に係わる画像処理装置の第２の実施の形態における境界辺のうち長辺の検出を示す図である。
【図９】上記画像処理装置において設定される不感領域を示す図である。
【図１０】従来の画像処理装置が認識する領域と、境界辺を示す図である。
【符号の説明】
１撮像カメラ
２画像入力インターフェース
３画像データバッファ
４画像処理部
５制御部
６設定情報記憶部
７操作入力処理部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus used for monitoring a person in a living room.
[0002]
[Prior art]
Conventionally, an image processing apparatus used for monitoring a cared person in a living room is shown in FIG. 10 on an indoor floor surface in image information photographed by an imaging camera from an obliquely upward direction to a downward direction of the living room. The bed area B, which is an area occupied by the bed to be installed, and the floor area A, which is a floor area other than the area where the bed is placed, can be identified, and the boundary between the bed area B and the floor area A Can also be identified. The bed area B and the floor area A are previously set and stored in accordance with the monitoring screen by the setting input operation unit. The boundary representing the outer shape of the bed is indicated by a boundary side B1, a boundary side B2, a boundary side B3, a boundary side B4, a boundary side B5, and a boundary side B6.
[0003]
However, when the image processing apparatus detects a human body movement from the floor area A to the bed area B, the image processing apparatus determines that this event is an entry event, and when detecting a human body movement from the bed area B to the floor area A, The event is determined to be a bed leaving event. However, at the time of this determination, when the movement of the human body was detected so as to straddle any one of the boundary sides B1 to B6, it was recognized that the person entered the floor or left the floor. If a human body exists across the bed and is captured in the image, or even if it is within the bed area B, it turns over and is captured in the image as if it protrudes above or to the side of the bed area B. It will be recognized as occurring. In other words, although it seems that it exceeds the bed area B depending on the angle at which the image is captured, even if it is actually an action on the bed, it will recognize that a bed leaving event has occurred. It wasn't what it was.
[0004]
[Problems to be solved by the invention]
Accordingly, the present invention has been made in view of the above problems, and an object of the present invention is to provide an image processing apparatus capable of accurately determining an entry event and an exit event.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, an image processing apparatus of the present invention comprises the following arrangement. That is, according to the first aspect of the present invention, an imaging camera that performs imaging, and an image processing unit that determines whether a person leaves or enters the floor based on image information captured by the imaging camera from an obliquely upward direction to a downward direction in the room; The image processing unit includes: a bed area that is occupied by a bed installed on an indoor floor surface of the image information; and the bed is placed in an area of the floor surface. and the floor surface region other than the region wither, and can be identified together, through the boundary edges representing the outer shape lower side of the bed, when detecting the body movement to the bed area from the floor area,-bed event When the movement of the human body from the bed area to the floor area is detected after passing through the boundary side, it is determined as a bed leaving event.
[0006]
In the invention of claim 2, the image information captured by the imaging camera is scanned from the upper part of the image toward the lower part of the image, and the image position where the image information has changed from the bed region to the floor surface region is determined as the boundary side. It is characterized by setting as.
[0007]
The invention according to claim 3 is characterized in that only the long side of the boundary side is used for the judgment of a bed entry event or a bed leaving event.
[0008]
According to a fourth aspect of the present invention, a predetermined area above the bed area of the floor area is set as a dead area, and detection of human body movement in the dead area is excluded from criteria for determining an entrance event or a leaving event. It is characterized by.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. A first embodiment of an image processing apparatus according to the present invention will be described below with reference to FIG.
[0010]
First, the configuration of the image processing apparatus according to the present embodiment will be described. The image processing apparatus includes an imaging camera 1 that captures a person, an image input interface 2, an image data buffer 3, an image processing unit 4, a control unit 5, a setting information storage unit 6, and a setting input operation unit 7. , Provided. The imaging camera 1 captures an image of a person and transmits the image information to the image processing unit 4 via the image input interface 2. As shown in FIG. 2, the setting input operation unit 7 is a bed area B that is an area occupied by a bed installed on the indoor floor surface in the image information taken obliquely from above the room captured by the imaging camera 1. And a floor surface area A that is an area of the floor surface other than the area where the bed is placed indoors. The setting information storage unit 6 stores the bed area B, the floor area A, and the boundary side set by the setting input operation unit 7. When the image processing is performed, the control unit 5 extracts necessary setting information from the setting information storage unit 6 and transmits it to the image processing unit 4. The image processing unit 4 performs image processing based on the set information.
[0011]
In the image processing apparatus according to the present embodiment, an event occurs only when a region movement of the human body occurs through the boundary side B4 and the boundary side B5 representing the lower side of the bed outer shape. That is, when a human body movement from the floor area A to the bed area B is detected after passing through the boundary edge B4 or B5, this event is determined to be an entry event, and the boundary area B4 or boundary from the bed area B is detected. When the movement of the human body to the floor area A is detected through the side B5, this event is determined as a bed leaving event. At this time, if the boundary side B4 or the boundary side B5 is not passed, it is regarded as a movement in the bed space such as moving a limb or turning over in the bed, and is not determined to be out of bed.
[0012]
Next, the operation of the image processing apparatus will be described. The operations to be described are the algorithm shown in FIG. 3, the algorithm for detecting bed leaving shown in FIG. 4, and the algorithm for detecting bed entering shown in FIG. 5. When detecting bed leaving from the algorithm shown in FIG. When detecting the entrance using the algorithm shown in FIG. 4, the algorithm shown in FIG. 5 is used. The bed area B, the floor area A, and the boundary side are stored in the setting information storage unit 6, and using these, an algorithm for determining a bed entry event and a bed leaving event is shown in FIG. This will be described with reference to FIGS.
[0013]
First, an algorithm for automatically determining entering / leaving in the present embodiment will be described in detail with reference to the flowchart shown in FIG. When the process starts (step SA1), variables used in the algorithm are initialized (step SA2), and a new image is acquired (step SA3). Next, a difference process with the image acquired in the previous cycle is performed (step SA4), binarization is performed with a predetermined threshold value, and a change area is extracted (step SA5). The extracted change area is collated with the image information stored in the setting information storage unit 6 where the extracted change area corresponds to the bed area B, the floor surface area A, or the boundary side (step SA6), and the process proceeds to the determination process (step SA7). ).
Up to this point, the algorithm for automatically determining the entry / exit is described.
[0014]
Next, the operation of the determination process in step SA7 will be described. In the determination process, an algorithm for determining a bed leaving event shown in the flowchart of FIG. 4 and a bed entry event shown in the flowchart of FIG. 5 are determined. There is an algorithm. In this case, when it is desired to determine a bed leaving event, the algorithm for determining the bed leaving event shown in FIG. 4 is used, and when it is desired to determine the bed leaving event, the algorithm for determining the bed leaving event shown in FIG. 5 is used.
[0015]
First, an algorithm for determining a bed leaving event shown in the flowchart of FIG. 4 will be described. The value of the state FLAG in the previous cycle is referred from the determination process in step SA7 (step SB1). Here, when the value of the state FLAG is not a set value, it is assumed that the value of the state FLAG is 1 (step SB2), the process proceeds to step SB3 and the subsequent steps, and if the value of the state FLAG is 2, step SB5 Thereafter, if the value of the state FLAG is 3, the process proceeds to step SB10 and subsequent steps.
[0016]
From step SB2, the change area collated in step SA6 is referred to (step SB3). When the change area is the bed area B, the state FLAG = 2 is set (step SB4). The change area is the floor area A or the bed area B in the previous cycle, but if there is no change in the current cycle, no special processing is performed and no notification processing is performed. (Step SA8).
[0017]
The value of the state FLAG is referred to (step SB1). If the value is 2 (step SB5), the area changed in the current cycle is referred to (step SB6). If the change area is the floor area A, it is determined whether there is a change at the boundary side at the same time (step SB7). If there is also a change at the boundary side, the timer count is reset and the state FLAG = 3 is set (step SB9). If there is no change at the boundary, the process proceeds to the non-reporting process (step SA8).
[0018]
The value of the state FLAG is referred to (step SB1). If the value is 2 (step SB10), the region changed in the current cycle is referred to (step SB11). FLAG = 2 is set (step SB12), and the process proceeds to the non-reporting process (step SA8). If the changed area is the floor area A or if there is no action, 1 is added to the counter (step SB13). If the value of the counter does not reach the preset threshold value or more, the process proceeds to the non-reporting process (step SA8). If the value of the counter has reached the threshold value or more, a reporting process for reporting by a reporting device (not shown) is performed (step SA9). If the notification process is performed, the automatic determination process ends (step SA10). The above is an algorithm for automatically determining a bed leaving event.
[0019]
Next, an algorithm for determining an entrance event will be described with reference to the flowchart shown in FIG. 5. The algorithm for determining an entrance event is substantially the same as the algorithm for determining the exit event shown in FIG. However, the difference is that, in steps SC3, SC6, and SC11 in FIG. The above is the algorithm for detecting entering / leaving.
[0020]
In the above-described algorithm for detecting entering / leaving, the boundary side representing the lower side of the bed outer shape manually set in the setting information storage unit 6 is used, but this boundary side shown in FIG. 6 is automatically detected. The algorithm is described below.
[0021]
First, the outline of the algorithm for automatically detecting the boundary side representing the lower side of the bed outer shape shown in FIG. 6 will be described. The boundary side representing the lower edge of the bed outer shape can be manually set by the setting input operation unit 7 in the same manner as the bed region B and the floor surface region A. However, in this embodiment, the boundary side is automatically detected. It is set using an algorithm.
[0022]
As shown in FIG. 2, when the room is photographed from the oblique direction, the bed region B is usually set as a convex polygon. Since the bed area B set in this way is a polygon having a convex vertex, the pixels that change from the bed area B to the floor area A when the image information is scanned from the upper part of the screen to the lower part of the screen. Recognizes and stores the changed pixel as representing the lower outline of the bed.
[0023]
Hereinafter, the algorithm for detecting the boundary side will be described in detail with reference to the flowchart of FIG. Row X and column Y indicate the two-dimensional address of the image information, and Xmax and Ymax indicate the image size. P (X, Y) indicates a pixel at the address (X, Y), and two areas of the bed area B and the floor area A are stored in the initial state. The boundary FLAG is a flag indicating that a bed area is detected in the column Y.
[0024]
Therefore, in order to detect the boundary side representing the lower side of the bed outer shape, the pixel at the upper left corner is set as the origin on the screen on the screen displaying the image information (step SD2). Next, the column Y is fixed, and the row X is incremented to scan the pixels in the column Y from the upper end of the screen toward the lower end of the screen (step SD3). The pixel P (X, Y) is scanned (step SD4). If the pixel is the bed region B, the boundary FLAG indicating that the scanned pixel is the bed region is set to 1 (step SD7). If it is not the bed area B, the process proceeds to step SD5.
[0025]
It is determined whether or not the pixel being scanned in the column Y is the lower end of the screen, that is, X = Xmax (step SD8). The row X is incremented (step SD3), and the pixel P (X, Y) is scanned again (step SD4). If it is the lower end of the screen, that is, if X = Xmax, it is determined whether column Y has reached the end of the screen, that is, whether the entire screen has been scanned (step SD9). If the entire screen is scanned, the detection of the boundary side representing the lower side of the bed outer shape ends (step SD10). If the entire screen is not scanned, the column Y is incremented to move the column to be scanned next, and the row X and variable boundary FLAG are set to scan from the upper end of the screen (step SD11).
[0026]
In step SD4, if the pixel being scanned is not the bed region B, it is determined whether the boundary FLAG is 1 in the previous cycle (step SD5). If the boundary FLAG is not 1, that is, if the scanned pixel is not the bed region B in the previous cycle, the process proceeds to step SD8 to determine whether the screen has been scanned to the lower end. If the boundary FLAG = 1, it means that the pixel that is the bed region B is scanned in the previous cycle and the pixel that is not the bed region B is scanned in the current cycle, and therefore the scanned pixel P (X, Y) is It is determined that it is a boundary, and image information indicating the boundary side representing the lower side of the bed outer shape is written back to the pixel P (X, Y) (step SD6). In addition, as shown in FIG. 7, in order to detect the operation | movement in a boundary side reliably, an expansion process may be performed with respect to a boundary side and a detection width | variety may be made wide. The above is the algorithm for detecting the boundary side that is the lower side of the bed outer shape. By setting the bed region B and the floor surface region A by the above-described algorithm for automatically detecting the boundary side, the boundary side representing the bed outer shape lower side can be automatically set.
[0027]
That is, according to the present embodiment, by taking an image of the room from an oblique direction, it is recognized as an action outside the bed, although it is an action in the space above the bed, Therefore, it is possible to prevent the event from being determined as an entry event.
[0028]
A second embodiment of the image processing apparatus according to the present invention will be described below with reference to FIG. In the present embodiment, only the longer one of the boundary side B4 and the boundary side B5 that represents the lower side of the bed outer shape is used as a judgment criterion for the entrance event and the exit event, thereby more accurately detecting. This is in consideration of the fact that a person enters and leaves the floor by passing through the boundary side that is the long side of the boundary side B4 and the boundary side B5 that is the lower side of the bed outer shape.
[0029]
Therefore, in order to extract the long side of the boundary side B4 and the boundary side B5, the boundary side B4 and the boundary side B5 are recognized as two intersecting line segments, and each of the intersection point, the boundary side B4, and the boundary side B5 is recognized. The longer line segment is detected by calculating and comparing the distance to the end point. It is assumed that the address of the pixel on the boundary side is obtained by T _n (X, Y), (n = 1 to N) by extracting the boundary side shown in FIG. When the pixel address T _n (X, Y) the slope of the boundary side in was G _n, but the difference between the inclination of the adjacent pixel is G _n -G _n + _1, the line of slope of the same boundary-edge, Since they are the same, the difference value G _n −G _{n + 1} is 0, and when the difference value takes a value other than 0, that point is the intersection pixel address T _m (X, Y). If the intersection pixel address T _m (X, Y) is obtained, the intersection pixel address T _m (X, Y) which is one end of the boundary side and the pixel address T ₁ (X, Y) which is the other end of the boundary side are obtained. If the distance from the pixel address T _N (X, Y) is calculated and the larger one is obtained, the long side of the boundary sides can be obtained.
[0030]
In order to make an accurate determination, as shown in FIG. 9, in the display image, an area other than the floor area A and the bed area B is set as an insensitive area C. In the area A, the dead area D is set above the bed area B. By setting this insensitive area D, when the hand is extended to the space above the bed, the movement is projected onto the floor area A, and the movement occurs in the floor area A. It is possible to prevent being judged as being. The insensitive area D may be set to a size that covers the projected image when an expected motion on the bed is projected onto the floor area A. By setting the insensitive area D, a bed leaving event can be detected more accurately.
[0031]
The preferred embodiment of the present invention has been described above, but the present invention is not limited to this embodiment and can be implemented in various forms.
[0032]
【The invention's effect】
According to the image processing apparatus of the first aspect of the present invention, it is possible to determine accurate bed entry / leaving, and to prevent erroneous reporting of bed turnover or the like as a bed entry event or bed leaving event. Can do.
[0033]
According to the second aspect of the present invention, it is possible to automatically set a boundary side that is a boundary between the bed area and the floor area only by setting the bed area and the floor area.
[0034]
According to the third aspect of the present invention, since only the longer side of the boundary side that is the lower side of the bed outer shape is used as the judgment criterion for the entrance event and the exit event, more accurate judgment can be made.
[0035]
According to the fourth aspect of the present invention, since the dead area is provided in the upper part of the bed area, it is possible to prevent the occurrence of false alarms in the determination of the bed leaving event.
[Brief description of the drawings]
FIG. 1 is a diagram showing a first embodiment of an image processing apparatus according to the present invention. FIG. 2 is a diagram showing areas and boundaries recognized by the image processing apparatus. FIG. 4 is a diagram showing a flowchart of a bed leaving event in the image processing apparatus. FIG. 5 is a diagram showing a flowchart of a bed entering event in the image processing apparatus. FIG. 7 is a diagram showing a flowchart for detecting a boundary side in the image processing apparatus. FIG. 7 is a diagram showing that the boundary side in the image processing apparatus has been subjected to expansion processing. FIG. It is a figure which shows the detection of the long side among the boundary sides in 2nd Embodiment of an apparatus.
FIG. 9 is a diagram illustrating a dead area set in the image processing apparatus.
FIG. 10 is a diagram illustrating a region recognized by a conventional image processing apparatus and a boundary side.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Imaging camera 2 Image input interface 3 Image data buffer 4 Image processing part 5 Control part 6 Setting information storage part 7 Operation input processing part

Claims

An image processing apparatus comprising: an imaging camera that performs imaging; and an image processing unit that determines whether a person has left or entered the floor based on image information captured by the imaging camera from an obliquely upward to an indoor downward direction The image processing unit includes, in the image information, a bed area that is an area occupied by a bed installed on an indoor floor surface, and a floor surface area other than an area where the bed is placed in the floor surface area, both that it is possible to identify, through the boundary edges representing the outer shape lower side of the bed, when detecting the body movement to the bed area from the floor surface area, determines that the-bed event, passing the boundary side Then, an image processing apparatus is characterized in that when a movement of a human body from the bed area to the floor area is detected, it is determined as a bed leaving event.

The image processing unit scans the image information captured by the imaging camera from the upper part of the image toward the lower part of the image, and an image position where the image information has changed from the bed region to the floor surface region is defined as the boundary side. The image processing apparatus according to claim 1, wherein the image processing apparatus is set.

The image processing apparatus according to claim 1, wherein the image processing unit uses only a long side of the boundary side for determination of an entering event or a leaving event.

The image processing unit sets a predetermined area above the bed area in the floor area as a non-sensitive area, and detection of human body movement in the non-sensitive area is excluded from a criterion for determining an entrance event or a leaving event. The image processing apparatus according to claim 1, wherein the image processing apparatus is characterized.