JP2021149692A - 画像処理システム及び制御プログラム - Google Patents

Abstract

【課題】監視空間内の人物の姿勢を精度良く検出することができる画像処理システム及び制御プログラムを提供する。【解決手段】監視空間内の基準位置から物体までの距離に関する情報を階調値とする距離画像を取得する。距離画像に対応した、監視空間を撮像した２次元画像を取得する。予め設定された条件に従って、距離画像から監視空間内に存在する所定の姿勢にある物体を検出する。入力された学習用画像に人物が含まれるか否かに関する情報を出力するように学習されたモデルに２次元画像を入力し、モデルから出力された情報に基づいて、監視空間内に人物が存在するか否かを判定する。所定条件に従って行った所定姿勢の物体の検出結果及びモデルに基づく人物か否かの判定結果に基づいて、監視空間内に存在する人物の姿勢を判定する。【選択図】図１

Description

本発明は、監視空間内の人物の姿勢を検出する画像処理システム及び制御プログラムに関する。

近年、監視空間を撮像した画像に基づいて、監視空間内の人物の姿勢を検出する画像処理システムが開発されている。

特許文献１には、画素値が物体までの距離値である距離画像を生成する距離画像センサを有し、寝具上の人を監視する監視装置が開示されている。この監視装置は、距離画像を用いてベッドの位置を抽出し、ベッドの範囲内と範囲外とにおいて人が占有する領域を検出し、ベッドと人の領域との組み合わせによりベッドに対する人の動作を判別する。

特許第５７７１７７８号公報

画像処理システムでは、監視空間内の人物の姿勢を精度良く検出することが望まれている。

本発明が解決しようとする課題は、監視空間内の人物の姿勢を精度良く検出することができる画像処理システム及び制御プログラムを提供することである。

上述の課題を解決するため、本発明は、その一態様として、監視空間内の基準位置から物体までの距離に関する情報を階調値とする距離画像を取得する距離画像取得手段と、距離画像に対応した、監視空間を撮像した２次元画像を取得する２次元画像取得手段と、予め設定された条件に従って、距離画像から監視空間内に存在する所定の姿勢にある物体を検出する検出手段と、入力された学習用画像に人物が含まれるか否かに関する情報を出力するように学習されたモデルに２次元画像を入力し、モデルから出力された情報に基づいて、監視空間内に人物が存在するか否かを判定する人物判定手段と、検出手段の検出結果及び人物判定手段の判定結果に基づいて、監視空間内に存在する人物の姿勢を判定する姿勢判定手段と、を有することを特徴とする画像処理システムを提供する。

上記の画像処理システムにおいて、監視空間に対応する３次元空間に含まれる複数のブロックに関する情報を記憶する記憶手段をさらに有し、検出手段は、距離画像において階調値が変化した変化領域を検出し、３次元空間内で変化領域に対応する３次元領域と、複数のブロックとの位置関係に基づいて、所定の姿勢にある物体を検出することが好ましい。

上記の画像処理システムにおいて、人物判定手段は、入力された２次元画像に含まれる人物の位置を判定結果に含めて出力するように学習され、姿勢判定手段は、検出手段で検出された物体の位置と、判定結果に含まれる人物の位置とにさらに基づいて、検出された物体が人物であるか否かを判定することが好ましい。

上記の画像処理システムにおいて、人物判定手段は、モデルに、距離画像から検出された物体を含む領域に対応する２次元画像内の領域の画像を入力し、モデルから出力された情報に基づいて、検出された物体が人物であるか否かを判定することが好ましい。

また、本発明は、上述の課題を解決するため、他の一態様として、監視空間内の基準位置から物体までの距離に関する情報を階調値とする距離画像を取得する距離画像取得手段と、予め設定された条件に従って、距離画像から監視空間内に存在する所定の姿勢にある物体を検出する検出手段と、入力された学習用画像に人物が含まれるか否かに関する情報を出力するように学習されたモデルに距離画像を入力し、モデルから出力された情報に基づいて、監視空間内に人物が存在するか否かを判定する人物判定手段と、検出手段の検出結果及び人物判定手段の判定結果に基づいて、監視空間内に存在する人物の姿勢を判定する姿勢判定手段と、を有することを特徴とする画像処理システムを提供する。

また、本発明は、上述の課題を解決するため、他の一態様として、監視空間内の基準位置から物体までの距離に関する情報を階調値とする距離画像を取得し、距離画像に対応した、監視空間を撮像した２次元画像を取得し、予め設定された条件に従って、距離画像から監視空間内に存在する所定の姿勢にある物体を検出し、入力された学習用画像に人物が含まれるか否かに関する情報を出力するように学習されたモデルに２次元画像を入力し、モデルから出力された情報に基づいて、監視空間内に人物が存在するか否かを判定し、検出結果及び判定結果に基づいて、監視空間内に存在する人物の姿勢を判定する、ことをコンピュータに実行させることを特徴とする制御プログラムを提供する。

また、本発明は、上述の課題を解決するため、他の一態様として、監視空間内の基準位置から物体までの距離に関する情報を階調値とする距離画像を取得し、予め設定された条件に従って、距離画像から監視空間内に存在する所定の姿勢にある物体を検出し、入力された学習用画像に人物が含まれるか否かに関する情報を出力するように学習されたモデルに距離画像を入力し、モデルから出力された情報に基づいて、監視空間内に人物が存在するか否かを判定し、検出結果及び判定結果に基づいて、監視空間内に存在する人物の姿勢を判定する、ことをコンピュータに実行させることを特徴とする制御プログラムを提供する。

本発明によれば、監視空間内の人物の姿勢を精度良く検出することができる画像処理システム及び制御プログラムを提供することができる。

画像処理システムのブロック図である。 （Ａ）はブロックテーブルのデータ構造の一例を示す模式図であり、（Ｂ）はルールテーブルのデータ構造の一例を示す模式図である。 （Ａ）、（Ｂ）は、ブロックの例を示す模式図である。 （Ａ）、（Ｂ）は、ブロックの例を示す模式図である。 ブロックの例を示す模式図である。 （Ａ）、（Ｂ）は、ブロックの例を示す模式図である。 画像処理システムの動作を示すフローチャートである。

以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲は、それらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。また、各図において同一、又は相当する機能を有するものは、同一符号を付し、その説明を省略又は簡潔にすることもある。

（画像処理システム１の概要）
図１は、画像処理システム１のブロック図である。画像処理システム１は、監視空間内の人物、例えば病院の病室内の入院患者又は家屋の部屋内の被介護者の見守り等に用いられ、見守り対象者の姿勢を検出して、見守り者が使用する外部装置に通知する。画像処理システム１は、撮像装置２、距離センサ３、画像処理装置４等を有する。

撮像装置２は、２次元画像生成手段の一例であり、監視空間を撮像した２次元画像を順次生成する。２次元画像は、監視空間内の濃淡に関する情報（輝度値または色値等）を階調値とする複数の画素が２次元に配置された画像である。撮像装置２は、発光器、２次元検出器、結像光学系及びＡ／Ｄ変換器等を有する。発光器は、例えば約890nmの波長を持つ近赤外光を監視空間に向けて照射する。２次元検出器は、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）素子、Ｃ−ＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）など、近赤外光に感度を有する光電変換器を有する。結像光学系は、２次元検出器上に監視場所の像を結像する。Ａ／Ｄ変換器は、２次元検出器から出力された電気信号を増幅し、アナログ／デジタル（Ａ／Ｄ）変換する。

撮像装置２は、一定の時間間隔（例えば１／３０秒）毎に発光器に近赤外光を照射させながら監視空間を撮像し、各画素が近赤外光の強度を表す輝度値を階調値として有する近赤外光画像を２次元画像として生成し、画像処理装置４へ出力する。人間は近赤外光を直接視認することができないので、撮像装置２は、監視空間内の人物の視覚に影響を与えない。このため、画像処理システム１は、例えば入院患者または被介護者の見守りを行う場合に、入院患者または被介護者の就寝を妨げることなく、見守りを行うことができる。

尚、２次元検出器は、可視光に感度を有する光電変換器を有し、各画素が可視光の輝度値、ＲＧＢ値又はＣＭＹ値を階調値として有する可視光画像を２次元画像として生成してもよい。この場合、発光器は省略されてもよい。

距離センサ３は、距離画像生成手段の一例であり、監視空間内の基準位置から物体までの距離に関する情報を階調値とする距離画像を生成する。距離画像は、監視空間内の基準位置から物体の対応する位置までの距離に関する情報を階調値とする複数の画素が２次元に配置された画像である。基準位置は、距離センサ３の配置位置である。距離センサ３は、撮像装置２が撮影を行う毎に、撮像装置２の発光器が近赤外線を照射するタイミングとずらしたタイミングで、撮像装置２の撮影範囲に向けて近赤外線を照射する。距離センサ３は、２次元画像内の各画素に対応する監視空間内の各位置に探査信号を順次照射する。例えば、距離センサ３は、撮像装置２の撮影範囲を水平方向及び垂直方向に２次元画像の水平方向及び垂直方向の画素数で等間隔に分割し、分割した各領域内の位置を２次元画像内の各画素に対応する位置として設定する。距離センサ３は、探査信号が照射された走査方位に沿って到来する反射信号を受光し、反射信号の強度に応じた値を持つ受光信号を生成する。

距離センサ３は、探査信号の位相情報と、現時点で探査信号が照射されている方向を表す角度情報と、受光信号とに基づいて、走査方位ごとに、距離センサ３から反射信号を反射した物体までの距離を測定し、走査方位とその距離との関係を示す測距データを生成する。例えば、距離センサ３は、Time Of Flight法に従って、受光信号から求めた反射信号の位相と探査信号の位相との差を求め、その差に基づいて距離を測定する。距離センサ３は、測距データに示される各走査方位に対応する距離に応じた値を、各走査方位に対応する画素の階調値とした距離画像を生成し、画像処理装置４へ出力する。例えば、距離センサ３は、予め定められた距離範囲（例えば０．５ｍ〜７ｍ）を２５６段階に等間隔に区分して０から２５５までの各値を割り当てる。距離センサ３は、測距データに示される各走査方位に対応する距離が属する区分に割り当てられた値を、各走査方位に対応する画素の階調値として設定する。対応する物体までの距離が短いほど階調値が小さくなり、対応する物体までの距離が長いほど階調値が大きくなるように、各階調値は設定される。

尚、距離センサ３は、近赤外光やミリ波・レーザーなどを照射して物体に反射して返ってくる時間を計測するTOF・LiDAR方式、ステレオカメラなどを用いて三角測量を行う方式等の他の公知の方式に従って距離を測定してもよい。

このように、距離センサ３は、順次生成される２次元画像に対応して、距離画像を順次生成する。即ち、撮像装置２は、順次生成される距離画像に対応して、２次元画像を順次生成する。

尚、撮像装置２と距離センサ３は、離間して配置され、撮影及び測定してもよい。その場合、処理部１４が、監視空間内の同一位置に対応する画素が２次元画像及び距離画像内で同一位置に配置されるように、２次元画像又は距離画像を補正する。画像処理装置４は、２次元画像及び距離画像の各画素の関係が示されるテーブルを記憶部９に予め記憶しておき、処理部１４は、記憶部９に記憶されたテーブルを参照して画像を補正する。

また、撮像装置２と距離センサ３の一部または全部が共通に用いられてもよい。例えば、撮像装置２及び距離センサ３は、共通の発光器及び／又は受光器を用いて２次元画像及び距離画像を生成してもよい。

画像処理装置４は、デスクトップコンピュータ、ワークステーション、ノートパソコン等の一般的なコンピュータである。画像処理装置４は、インタフェース部５、入力部６、表示部７、通信部８、記憶部９、処理部１４、データバスＢを有する。

インタフェース部５は、撮像装置２及び距離センサ３とデータ通信を行うためのインタフェース回路を有し、撮像装置２及び距離センサ３と電気的に接続して、各種の制御信号又は画像信号を送受信する。

入力部６は、（キーボード、マウス等の）入力装置、及び、入力装置から信号を取得するインタフェース回路を有し、画像処理装置４を操作するオペレータからの入力操作を受け付ける。

表示部７は、液晶、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）等のディスプレイ及びディスプレイに画像データを出力するインタフェース回路を有し、各種の情報をディスプレイに表示する。

通信部８は、出力手段の一例であり、例えばＴＣＰ／ＩＰ等に準拠した通信インタフェース回路を有し、インターネット等の通信ネットワークに接続する。通信部８は、通信ネットワークから受信したデータを処理部１４へ出力し、処理部１４から入力されたデータを通信ネットワークに送信する。

記憶部９は、記憶手段の一例であり、ＲＯＭ、ＲＡＭ等の半導体メモリ、磁気ディスク又はＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の光ディスクドライブ及びその記録媒体を有する。また、記憶部９は、画像処理装置４を制御するためのコンピュータプログラム及び各種データを記憶し、処理部１４との間でこれらの情報を入出力する。コンピュータプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて記憶部９にインストールされてもよい。また、記憶部９は、データとして、モデル１０、背景画像１１、ブロックテーブル１２及びルールテーブル１３を記憶する。

モデル１０は、入力された学習用画像に含まれる人物に関する人物情報を出力するように事前学習された判定モデルである。

背景画像１１は、無人状態の監視空間が撮影されて生成された距離画像である。背景画像１１は、定期的に、または、監視空間内に人物が存在しないと判定されたタイミングで、適宜更新されてもよい。背景画像１１は、監視空間内に配置されているベッド、ソファ、椅子、机、窓、ドア等の背景物体を含み、監視空間内の基準位置から背景物体の各部までの距離に関する情報を階調値として有する。

ブロックテーブル１２及びルールテーブル１３の詳細については後述する。

処理部１４は、ＣＰＵ、ＭＰＵ等のプロセッサと、ＲＯＭ、ＲＡＭ等のメモリと、その周辺回路とを有し、画像処理装置４の各種信号処理を実行する。なお、処理部１４として、ＤＳＰ、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等が用いられてもよい。処理部１４は、距離画像取得手段１５、２次元画像取得手段１６、検出手段１７、人物判定手段１８、姿勢判定手段１９、学習手段２０等を有する。

図２（Ａ）は、ブロックテーブル１２のデータ構造の一例を示す模式図である。図２（Ａ）に示すように、ブロックテーブル１２には、複数のブロック毎に、各ブロックの領域情報及び判定閾値等が予め設定される。

各ブロックは、監視空間に対応する３次元空間内の予め定められた領域を占める仮想的な直方体等の立体である。この３次元空間は、撮像装置２が生成する２次元画像の水平方向に対応する方向と、２次元画像の垂直方向に対応する方向と、撮像装置２の撮像方向とをそれぞれＸ軸、Ｙ軸、Ｚ軸とするように設定される。ブロックは、３次元空間内の撮像装置２の撮像範囲、及び、距離センサ３の距離測定範囲内に設定される。ブロックは、監視空間内の人物、動物、布団、カーテン等の物体の姿勢を判定するために設定される。記憶部９には、監視空間内に配置された背景物体の配置位置が予め設定され、ブロックは、各背景物体の配置位置を基準として設定される。例えば、ブロックとして、ベッド内ブロック、ベッド上方ブロック、ベッド端ブロック、ベッド近傍ブロック、ベッド外ブロック、床ブロック等が設定される。領域情報は、ブロックに関する情報の一例であり、３次元空間内で各ブロックが存在する領域（範囲）の座標を示す。判定閾値は、そのブロック内に物体が存在するか否かを判定するための閾値である。

図３（Ａ）、（Ｂ）、図４（Ａ）、（Ｂ）、図５、及び、図６（Ａ）、（Ｂ）は、ブロックの例を示す模式図である。各図は、見守り対象者Ｐが寝るマットレスＭを有するベッドＤが背景物体として配置された監視空間を示す。各図において、右方側に撮像装置２が設置され、右方側から監視空間が撮像される。

図３（Ａ）、（Ｂ）は、ベッド内ブロックＢ１の一例を示す。ベッド内ブロックＢ１は、水平方向においてベッドＤのマットレスＭの全範囲に、且つ、垂直方向においてマットレスＭの上方にマットレスＭと接するように設けられる。尚、ベッド内ブロックＢ１は、掛布団等と接するように設けてもよい。

図４（Ａ）、（Ｂ）は、ベッド上方ブロックＢ２の一例を示す。ベッド上方ブロックＢ２は、水平方向においてベッドＤのマットレスＭの全範囲に、且つ、垂直方向においてマットレスＭの上方にマットレスから所定距離（一般的な人体の肩幅にマージンを加えた大きさ）だけ離間するように設けられる。

図５は、ベッド端ブロックＢ３及びベッド近傍ブロックＢ４の一例を示す。ベッド端ブロックＢ３は、水平方向においてベッドＤのマットレスＭの撮像装置２側の端部に、且つ、垂直方向においてマットレスＭの上方にマットレスＭと接するように設けられる。ベッド近傍ブロックＢ４は、水平方向においてベッドＤのマットレスＭから撮像装置２側に第１範囲（例えば０．３ｍ以内の範囲）内に、且つ、垂直方向において床面から第２範囲（例えば０．５ｍ以内の範囲）内に設けられる。

図６（Ａ）は、ベッド外ブロックＢ５の一例を示す。ベッド外ブロックＢ５は、水平方向においてベッドＤから撮像装置２側に第１範囲より大きい第３範囲（例えば２ｍ以内の範囲）内であり、且つ、垂直方向において床面から第２範囲より大きい第４範囲（例えば２ｍ以内の範囲）内に設けられる。

図６（Ｂ）は、床ブロックＢ６を示す。床ブロックＢ６は、水平方向においてベッドＤから撮像装置２側に第３範囲と略同一の第５範囲内であり、且つ、垂直方向において床面から第４範囲より小さい第６範囲（例えば０．５ｍ以内の範囲）内に設けられる。

図２（Ｂ）は、ルールテーブル１３のデータ構造の一例を示す模式図である。図２（Ｂ）に示すように、ルールテーブル１３には、複数の姿勢毎に、監視空間内の物体が各姿勢を有していると判定するためのルールが予め設定される。各ルールは、距離画像から監視空間内で所定の姿勢を有する物体を検出するための条件の一例である。

姿勢として、例えば就寝、起床、座位、立ち、転倒・転落等が設定される。

就寝のルールとして、物体がベッド内ブロックＢ１に存在し且つベッド上方ブロックＢ２に存在しないことが設定される（図３（Ａ）、図３（Ｂ）参照）。起床のルールとして、物体がベッド内ブロックＢ１に存在し且つベッド上方ブロックＢ２に存在することが設定される（図４（Ａ）、図４（Ｂ）参照）。座位のルールとして、物体がベッド端ブロックＢ３に存在し且つベッド近傍ブロックＢ４に存在することが設定される（図５参照）。立ちのルールとして、物体がベッド外ブロックＢ５に存在することが設定される（図６（Ａ）参照）。転倒・転落のルールとして、物体が床ブロックＢ６に存在することが設定される（図６（Ｂ）参照）。

なお、ルールとして、物体とブロックの位置関係以外のルールが設定されてもよい。例えば、姿勢として離床が設定され、離床のルールとして座位から立ちに変化したことが設定される。また、転倒・転落のルールとして、物体が床ブロックに存在することに加えて又は代えて、物体の高さが、第１所定値（例えば１．５ｍ）以上から、第１所定値より小さい第２所定値（例えば０．５ｍ）未満に変化することが設定される。

（画像処理システム１の姿勢検出動作）
図７は、画像処理システム１の動作シーケンスを示すフローチャートである。この動作シーケンスは、記憶部９に記憶されている制御プログラムに基づいて、主に処理部１４により、画像処理装置４の各要素と協働して実行される。この動作シーケンスは、距離画像及び２次元画像が生成される時間間隔ごとに実行される。

まず、距離画像取得手段１５は、距離センサ３が生成した最新の距離画像を取得し、記憶部９に記憶させる（ステップＳ１）。距離画像取得手段１５は、監視空間内の基準位置から物体までの距離に関する情報を階調値とする距離画像を取得する。

次に、２次元画像取得手段１６は、撮像装置２が生成した最新の２次元画像を取得し、記憶部９に記憶させる（ステップＳ２）。２次元画像取得手段１６は、距離画像に対応した、監視空間を撮像した２次元画像を取得する。このように、距離画像取得手段１５は、距離センサ３が生成した距離画像を取得し、２次元画像取得手段１６は、距離センサ３が生成した距離画像に対応して撮像装置２が生成した２次元画像を取得する。

次に、検出手段１７は、距離画像において階調値が変化した変化領域を検出する（ステップＳ３）。検出手段１７は、距離画像内の各画素の階調値と、記憶部９に記憶されている背景画像１１内の対応する各画素の階調値との差の絶対値を算出し、算出した差の絶対値が所定閾値以上となる画素の領域を差分領域として抽出する。検出手段１７は、同一物体による差分領域をラベリングによりグループ化し、変化領域として検出する。即ち、検出手段１７は、一枚の距離画像から抽出した差分領域の内、相互に隣接（８連結）する画素をグループ化し、相互に近接する（所定範囲内に位置する）グループを、大きさ又は位置関係に基づいて結合し、結合した領域を変化領域として検出する。

尚、検出手段１７は、フレーム間差分を用いて変化領域を検出してもよい。その場合、検出手段１７は、最新の距離画像内の各画素の階調値と、直前の距離画像内の対応する各画素の階調値との差の絶対値を算出し、算出した差の絶対値が所定閾値以上となる画素の領域を差分領域として抽出する。

次に、検出手段１７は、所定サイズ以上の変化領域が検出されたか否かを判定する（ステップＳ４）。例えば、所定サイズは、ノイズとみなされるサイズ（例えば全画素数が１０画素）に設定される。なお、所定サイズは、距離画像内の位置、及び、記憶部９に記憶されている撮像装置２の設置情報等を用いて実際の大きさに変換されてもよい。所定サイズ以上の変化領域が検出されなかった場合、検出手段１７は、監視空間内に所定の姿勢を有する人物が検出されなかったと判定し、一連のステップを終了する。

一方、所定サイズ以上の変化領域が検出された場合、検出手段１７は、３次元空間内で物体が存在するブロックを検出する（ステップＳ５）
画像処理装置４は、所定の形状を有する３次元形状モデルを記憶部９に予め記憶しておく。所定の形状は、例えば円柱形状、楕円体形状又は直方体形状等である。３次元形状モデルは、ワイヤーフレームモデル、サーフェイスモデル等の公知のモデル化手法により表現されてもよい。検出手段１７は、検出した変化領域と、変化領域内の各画素の階調値（距離に関する情報）から、抽出した変化領域に対応する物体の距離センサ３側の３次元形状を推定する。検出手段１７は、記憶部９に記憶された３次元形状モデルを変形、拡大／縮小又は回転させて、推定した３次元形状に適合させ、その３次元形状に適合させた３次元形状モデルの領域を、３次元空間内で変化領域に対応する３次元領域として推定する。

尚、検出手段１７は、距離画像から推定した物体の距離センサ３側の３次元形状に含まれる各点をＸ方向、Ｙ方向、Ｚ方向及び斜め方向に膨張させた立体（ボクセル）の集合を変化領域に対応する３次元領域として推定してもよい。

検出手段１７は、ブロックテーブル１２に記憶された複数のブロック毎に、各ブロックの領域情報を参照して、変化領域に対応する３次元領域と、各ブロックとの重なり度合いを算出する。重なり度合いは、３次元領域と各ブロックが重なっている度合いであり、各ブロック内で３次元領域が重なっている領域の体積、又は、各ブロックの体積に対する各ブロック内で３次元領域が重なっている領域の体積の割合等である。

検出手段１７は、複数のブロック毎に、算出した重なり度合いが、各ブロックに対応する判定閾値以上であるか否かを判定する。検出手段１７は、重なり度合いが判定閾値以上である場合、そのブロックに物体が存在すると判定し、重なり度合いが判定閾値未満である場合、そのブロックに物体が存在しないと判定する。

次に、検出手段１７は、ルールテーブル１３に設定されたルールに従って、監視空間内で所定の姿勢を有する物体を検出する（ステップＳ６）。即ち、検出手段１７は、予め設定された条件に従って、前記距離画像から前記監視空間内に存在する所定の姿勢にある物体を検出する。検出手段１７は、ルールテーブル１３に設定された姿勢毎に、その姿勢に対応するルールが満たされるか否かを判定する。検出手段１７は、各ブロックに物体が存在するか否か、各姿勢の変化、又は、各変化領域の位置もしくはサイズの変化等に基づいて、各姿勢に対応するルールが満たされるか否かを判定する。検出手段１７は、何れかの姿勢に対応するルールが満たされる場合に、監視空間内でその姿勢を有する物体が存在すると判定する。

このように、検出手段１７は、いわゆるルールベース判定（条件判定）によって、距離画像から監視空間内で所定の姿勢を有する物体を検出する。特に、検出手段１７は、３次元領域と、複数のブロックとの位置関係に基づいて、所定の姿勢を有する物体を検出する。これにより、検出手段１７は、物体までの距離に基づいて、物体の形状を精度良く特定し、物体の姿勢を精度良く特定することができる。

尚、検出手段１７は、他の任意の公知の手法を用いて、距離画像から、監視空間内で所定の姿勢を有する物体を検出してもよい。例えば、検出手段１７は、パターンマッチング技術を用いて所定の姿勢を有する物体してもよい。その場合、画像処理装置４は、所定の姿勢を有する物体に対して生成された複数の距離画像のパターンを予め記憶部９に記憶しておく。検出手段１７は、ステップＳ２で生成された距離画像内の所定の大きさの領域を、その位置をずらしながら切り出して、記憶部９に記憶しておいた距離画像のパターンとの類似の程度を算出する。類似の程度は、例えば正規化相互相関値である。検出手段１７は、算出した類似の程度が閾値以上である場合、監視空間内に所定の姿勢を有する物体が存在すると判定する。

次に、検出手段１７は、所定の姿勢を有する物体が検出されたか否かを判定する（ステップＳ７）。所定の姿勢を有する物体が検出されなかった場合、検出手段１７は、監視空間内に所定の姿勢を有する人物が検出されなかったと判定し、一連のステップを終了する。

一方、所定の姿勢を有する物体が検出された場合、人物判定手段１８は、記憶部９に記憶されたモデル１０を用いて、二次元画像に含まれる人物に関する人物情報を取得する（ステップＳ８）。人物判定手段１８は、入力された学習用画像に人物が含まれるか否かに関する情報を出力するように学習されたモデルに２次元画像を入力し、モデルから出力された情報に基づいて、監視空間内に人物が存在するか否かを判定する。人物情報は、画像内に人物が含まれるか否かに関する情報、画像に含まれる人物の位置情報及び姿勢情報等を含む。画像内に人物が含まれるか否かに関する情報は、例えば画像内に人物が含まれている確からしさを示す評価値である。評価値は、画像に人物が含まれている可能性が高いほど高くなるように定められる。尚、画像内に人物が含まれるか否かに関する情報は、画像内に人物が含まれるか否か自体を示す情報でもよい。位置情報は、画像内で人物が含まれる領域の位置を示す。姿勢情報は、画像内の人物の姿勢を示す。尚、人物情報には、位置情報及び／又は姿勢情報が含まれなくてもよい。

モデル１０は、学習手段２０により生成される。学習手段２０は、例えばディープラーニング等の公知の機械学習技術を用いて、複数の学習用画像と、各学習用画像に含まれる人物に関する人物情報との関係性を学習する。各学習用画像は、二次元画像と同様にして生成された画像であり、様々な姿勢を有する人物が含まれる画像又は人物が含まれない画像である。なお、各学習用画像は、画像全体でなく、画像内で人物が写っている領域を切り出した画像でもよい。また、各学習用画像には、公知の射影変換技術を用いて、一つの学習用画像から、視点（見かけの撮像方向）を変更することにより生成された一又は複数の学習用画像が含まれてもよい。学習手段２０は、学習した関係性をモデル１０として記憶部９に記憶する。

入力層には、学習用画像が入力される。中間層の各ノードは、入力層の各ノードから出力された画像から特徴ベクトルを抽出し、抽出した各特徴ベクトルに重みを乗算した値の総和を出力する。出力層は、中間層の各ノードから出力された各特徴ベクトルに重みを乗算した値の総和を出力する。学習手段２０は、各重みを調整しながら、出力層からの出力値と、正解値、人物が含まれる領域の位置及び人物の姿勢を示す情報との差分が小さくなるように学習する。正解値は、例えばその学習用画像に人物が含まれる場合は１に設定され、人物が含まれない場合は０に設定される。

このように、モデル１０は、入力された学習用画像に含まれる人物に関する人物情報を出力するように学習される。尚、モデル１０は、ＤＰＭ（Deformable Part Model）、Ｒ−ＣＮＮ（Regions with Convolutional Neural Networks）、ＹＯＬＯ等の他の機械学習技術により学習されてもよい。また、モデル１０は、画像処理装置４とは別の外部のコンピュータで生成され、画像処理装置４に送信されてもよい。その場合、学習手段２０は省略されてもよい。

人物判定手段１８は、記憶部９に記憶されたモデル１０に、ステップＳ２で取得された二次元画像を入力し、モデル１０から出力された出力値を二次元画像に含まれる人物に関する人物情報として取得する。

尚、人物判定手段１８は、２次元画像内で、検出手段１７によって検出された所定の姿勢を有する物体を含む領域の画像を切り出し、切り出した画像をモデル１０に入力して人物情報を取得してもよい。その場合、人物判定手段１８は、検出手段１７によって検出された所定の姿勢を有する物体に対応する変化領域と同一位置に配置された２次元画像内の領域を切り出す。これにより、人物判定手段１８は、所定の姿勢を有する物体が写っている領域に限定して人物を検出することができ、人物をより精度良く検出することができる。

次に、人物判定手段１８は、取得した人物情報に基づいて、２次元画像内に人物が含まれるか否かを判定する（ステップＳ９）。例えば、人物判定手段１８は、人物情報に示される評価値が予め定められた閾値以上である場合、２次元画像内に人物が含まれると判定し、評価値が閾値未満である場合、２次元画像内に人物が含まれないと判定する。２次元画像内に人物が含まれないと判定した場合、人物判定手段１８は、検出手段１７によって検出された所定の姿勢を有する物体は人物でないと判定し、一連のステップを終了する。一方、２次元画像内に人物が含まれると判定した場合、ステップＳ１０に進む。尚、人物判定手段１８は、モデル１０から出力される結果が２次元画像内（監視空間内）に人物が存在するか否かである場合は、その結果を用いて人物判定をしてもよい。その場合、人物判定手段１８は、モデル１０に、距離画像から検出された物体を含む領域に対応する２次元画像内の領域の画像を入力する。

このように、人物判定手段１８は、モデル１０から出力された情報に基づいて、監視空間内に人物が存在するか否かを判定する。人物判定手段１８は、様々な大きさ、向き及び姿勢で画像に写る可能性がある人物を、機械学習技術を用いて精度良く識別し、検出された物体が人物であるか否かを精度良く判定することができる。特に、人物判定手段１８は、人物の形状又はテクスチャを明瞭に表す２次元画像を用いることにより、検出された物体が人物であるか否かを精度良く判定することができる。

２次元画像内に人物が含まれると判定した場合、姿勢判定手段１９は、取得した人物情報に基づいて、距離画像から検出された物体の領域と、モデル１０により検出された人物の領域とが重複するか否かを判定する（ステップＳ１０）。例えば、姿勢判定手段１９は、検出手段１７によって検出された所定の姿勢を有する物体に対応する距離画像内の変化領域の位置と、人物情報に含まれる位置情報に示される位置とに基づいて、物体の領域と人物の領域とが重複するか否かを判定する。姿勢判定手段１９は、検出された物体に対応する変化領域と、位置情報に示される人物の領域との重複度合いを算出する。重複度合いは、変化領域と、位置情報に示される人物の領域に対応する距離画像内の領域とが重なっている度合いである。重複度合いは、変化領域と人物の領域に対応する領域とが重なっている領域の面積、又は、変化領域の面積に対する重なっている領域の面積の割合等である。姿勢判定手段１９は、重複度合いが予め定められた重複閾値以上である場合、物体の領域と人物の領域とが重複すると判定し、重複度合いが重複閾値未満である場合、物体の領域と人物の領域とが重複しないと判定する。物体の領域と人物の領域とが重複しないと判定した場合、姿勢判定手段１９は、検出手段１７によって検出された所定の姿勢を有する物体は人物でないと判定し、一連のステップを終了する。

尚、姿勢判定手段１９は、検出手段１７によって所定の姿勢を有する物体が検出されたブロックの位置と、人物情報に含まれる位置情報に示される位置との関係に基づいて、物体の領域と人物の領域とが重複するか否かを判定してもよい。その場合、姿勢判定手段１９は、所定の姿勢を有する物体が検出されたブロックをＺ軸と直交する平面に投影した領域と、位置情報に示される人物の領域との重複度合いを算出する。または、姿勢判定手段１９は、監視空間を背景物体の配置位置に基づいて複数の領域に分割し、物体の領域と人物の領域とが同一の領域に存在するか否かにより、物体の領域と人物の領域とが重複するか否かを判定してもよい。その場合、姿勢判定手段１９は、例えば、監視空間をベッド上の領域とベッド外の領域に分割する。

一方、物体の領域と人物の領域とが重複すると判定した場合、姿勢判定手段１９は、検出手段１７によって検出された所定の姿勢を有する物体は人物であると判定する（ステップＳ１１）。姿勢判定手段１９は、検出手段１７の検出結果及び人物判定手段１８の判定結果に基づいて、監視空間内に存在する人物の姿勢を判定する。姿勢判定手段１９は、検出手段１７で検出された物体の位置と、判定結果に含まれる人物の位置とにさらに基づいて、検出された物体が人物であるか否かを判定する。

姿勢判定手段１９は、距離画像における、検出された物体の位置と、モデル１０から出力された位置情報に示される位置とに基づいて、検出された物体が人物であるか否かを判定する。これにより、姿勢判定手段１９は、監視領域内に見守り対象者以外の人物が存在する場合に、見守り対象者が所定の姿勢を有していないにも関わらず、所定の姿勢を有する人物を誤って検出してしまうことを抑制できる。

尚、姿勢判定手段１９は、検出手段１７によって検出された物体の姿勢と、モデル１０から出力された姿勢情報に示される姿勢とにさらに基づいて、検出された物体が人物であるか否かを判定してもよい。その場合、姿勢判定手段１９は、検出された物体の姿勢と、姿勢情報に示される姿勢とが一致する場合、検出された物体は人物であると判定し、検出された物体の姿勢と、姿勢情報に示される姿勢とが一致しない場合、検出された物体は人物でないと判定する。これにより、姿勢判定手段１９は、監視領域内に見守り対象者以外の人物が存在する場合に、見守り対象者が所定の姿勢を有していないにも関わらず、所定の姿勢を有する人物を誤って検出してしまうことを抑制できる。

さらに姿勢判定手段１９は、判定の結果に関する情報を、通信部８を介して出力して外部装置に通知し（ステップＳ１２）、一連のステップを終了する。判定の結果に関する情報は、所定の姿勢を有する人物が検出されたこと、姿勢の種類、検出された時刻、その人物がその姿勢を有している継続時間、その人物が検出された領域等を含む。尚、姿勢判定手段１９は、判定の結果に関する情報を、表示部７に表示し又は不図示の音出力装置から出力してもよい。

尚、ステップＳ８において、人物判定手段１８は、モデル１０を用いて、距離画像に含まれる人物に関する人物情報を取得してもよい。その場合、モデル１０は、人物が含まれる領域が測定された距離画像又は人物が含まれない領域が測定された距離画像を学習用画像として用いて事前学習される。人物判定手段１８は、モデル１０に、ステップＳ１で取得された距離画像を入力し、モデル１０から出力された出力値を距離画像に含まれる人物に関する人物情報として取得する。

また、人物判定手段１８は、モデル１０を用いて、３次元空間内の点群データ（点データの集合）に含まれる人物に関する人物情報を取得してもよい。その場合、モデル１０は、人物が含まれる領域が測定された距離画像又は人物が含まれない領域が測定された距離画像から生成された点群データを学習用データとして用いて事前学習される。人物判定手段１８は、モデル１０に、ステップＳ１で取得された距離画像を用いて生成した点群データを入力し、モデル１０から出力された出力値を点群データに含まれる人物に関する人物情報として取得する。なお、この場合、人物判定手段１８は、検出手段１７によって検出された所定の姿勢を有する物体に対応する変化領域に相当する、３次元空間内の点群データを切り出し、切り出した点群データをモデル１０に入力して人物情報を取得してもよい。

これらの場合、ステップＳ９において、人物判定手段１８は、２次元画像内に人物が含まれるか否かを判定する場合と同様にして、距離画像内に人物が含まれるか否かを判定する。

また、ステップＳ３〜Ｓ７の処理と、ステップＳ８〜Ｓ９の処理とは、並行して実行されてもよい。これにより、画像処理装置４は、所定の姿勢を有する人物の検出に係る処理時間を低減させることができる。

（画像処理システム１の効果）
以上説明してきたように、画像処理システム１は、ルールベース判定によって、距離画像から物体の姿勢を判定し、機械学習モデルによって、その物体が人物であるか否かを判定する。これにより、画像処理システム１は、監視空間内の人物の姿勢を精度良く検出することが可能となる。

仮に、画像処理システムが、機械学習モデルによって画像から人物の姿勢を判定しようとすると、膨大な量の人物のパターンと姿勢のパターンの組合せについて学習を行う必要があり、機械学習モデルの作成時間及び作成コストが膨大になる。画像処理システムは、物体の姿勢については、予め設定した条件に従って、物体内の各位置までの距離に基づくルールベース判定によって精度良く判定することができる。しかしながら、距離に基づくルールベース判定では、物体の形状又はテクスチャ（表面）を識別することが困難であるため、物体が人物であるか人物以外のもの（布団等）であるかを正確に区別することが困難である。そのため、画像処理システムは、ルールベース判定によって距離画像から人物の姿勢を判定しようとすると、例えば、ベッドから落ちた布団を、転落した人物として誤って検出してしまう可能性がある。一方、画像処理システムは、物体が人物であるか否かについては、現在までに蓄積されたノウハウにより、機械学習モデルを用いて精度良く判定することができる。したがって、画像処理システム１は、ルールベース判定と機械学習モデルとを組合せることにより、監視空間内の人物の姿勢を精度良く検出することが可能となる。特に、画像処理システム１は、見守り対象者の姿勢を精度良く検出し、見守り者に通知することが可能となる。

１ 画像処理システム、２ 撮像装置、３ 距離センサ、８ 通信部、９ 記憶部

Claims (7)

1. 監視空間内の基準位置から物体までの距離に関する情報を階調値とする距離画像を取得する距離画像取得手段と、
   前記距離画像に対応した、前記監視空間を撮像した２次元画像を取得する２次元画像取得手段と、
   予め設定された条件に従って、前記距離画像から前記監視空間内に存在する所定の姿勢にある物体を検出する検出手段と、
   入力された学習用画像に人物が含まれるか否かに関する情報を出力するように学習されたモデルに前記２次元画像を入力し、前記モデルから出力された情報に基づいて、前記監視空間内に人物が存在するか否かを判定する人物判定手段と、
   前記検出手段の検出結果及び前記人物判定手段の判定結果に基づいて、前記監視空間内に存在する人物の姿勢を判定する姿勢判定手段と、
   を有することを特徴とする画像処理システム。
2. 前記監視空間に対応する３次元空間に含まれる複数のブロックに関する情報を記憶する記憶手段をさらに有し、
   前記検出手段は、前記距離画像において前記階調値が変化した変化領域を検出し、前記３次元空間内で前記変化領域に対応する３次元領域と、前記複数のブロックとの位置関係に基づいて、前記所定の姿勢にある物体を検出する、請求項１に記載の画像処理システム。
3. 前記人物判定手段は、入力された前記２次元画像に含まれる人物の位置を前記判定結果に含めて出力するように学習され、
   前記姿勢判定手段は、前記検出手段で検出された前記物体の位置と、前記判定結果に含まれる前記人物の位置とにさらに基づいて、前記検出された物体が人物であるか否かを判定する、請求項１または２に記載の画像処理システム。
4. 前記人物判定手段は、前記モデルに、前記距離画像から検出された物体を含む領域に対応する前記２次元画像内の領域の画像を入力し、前記モデルから出力された情報に基づいて、前記検出された物体が人物であるか否かを判定する、請求項１〜３の何れか一項に記載の画像処理システム。
5. 監視空間内の基準位置から物体までの距離に関する情報を階調値とする距離画像を取得する距離画像取得手段と、
   予め設定された条件に従って、前記距離画像から前記監視空間内に存在する所定の姿勢にある物体を検出する検出手段と、
   入力された学習用画像に人物が含まれるか否かに関する情報を出力するように学習されたモデルに前記距離画像を入力し、前記モデルから出力された情報に基づいて、前記監視空間内に人物が存在するか否かを判定する人物判定手段と、
   前記検出手段の検出結果及び前記人物判定手段の判定結果に基づいて、前記監視空間内に存在する人物の姿勢を判定する姿勢判定手段と、
   を有することを特徴とする画像処理システム。
6. 監視空間内の基準位置から物体までの距離に関する情報を階調値とする距離画像を取得し、
   前記距離画像に対応した、前記監視空間を撮像した２次元画像を取得し、
   予め設定された条件に従って、前記距離画像から前記監視空間内に存在する所定の姿勢にある物体を検出し、
   入力された学習用画像に人物が含まれるか否かに関する情報を出力するように学習されたモデルに前記２次元画像を入力し、前記モデルから出力された情報に基づいて、前記監視空間内に人物が存在するか否かを判定し、
   前記検出結果及び前記判定結果に基づいて、前記監視空間内に存在する人物の姿勢を判定する、
   ことをコンピュータに実行させることを特徴とする制御プログラム。
7. 監視空間内の基準位置から物体までの距離に関する情報を階調値とする距離画像を取得し、
   予め設定された条件に従って、前記距離画像から前記監視空間内に存在する所定の姿勢にある物体を検出し、
   入力された学習用画像に人物が含まれるか否かに関する情報を出力するように学習されたモデルに前記距離画像を入力し、前記モデルから出力された情報に基づいて、前記監視空間内に人物が存在するか否かを判定し、
   前記検出結果及び判定結果に基づいて、前記監視空間内に存在する人物の姿勢を判定する、
   ことをコンピュータに実行させることを特徴とする制御プログラム。

Images