JP2015224879A - 検出装置及び方法、コンピュータプログラム並びに記録媒体 - Google Patents

Abstract

【課題】設置及び移動の容易な、物体の面を検出する検出装置を提供する。
【解決手段】検出装置（１）は、物体の表面上の複数の点各々と基準点との間の距離を示す距離情報を取得する取得手段（１１）と、該取得された距離情報に基づいて、複数の点のうち一の点、及び該複数の点のうち該一の点の近傍の２以上の他の点により特定される仮想的な局所平面に係る局所ベクトルを算出し、該算出された局所ベクトルを上記一の点に対応付ける算出手段（１２）と、複数の点に夫々対応付けられた複数の局所ベクトルに基づいて、物体の一の面領域を検出する検出手段（１２）と、を備える。
【選択図】図１

Description

本発明は、例えばベッド等の物体の面を検出する検出装置及び方法、コンピュータプログラム、並びに、該コンピュータプログラムが記録された記録媒体の技術分野に関する。

この種の装置として、例えば、ベッドの上面四隅に赤外光を強く反射するマーカを取り付け、ベッド上方から赤外光を照射しつつ、赤外線カメラで撮像することにより得られた画像中の各マーカの位置に基づいて、ベッド領域を検出する装置が提案されている（特許文献１参照）。

或いは、ベッドの上方且つベッドの長手方向を向くように設置された距離画像センサにより得られた距離画像に基づいて、ベッドの長手方向及び短手方向各々の高さヒストグラムを作成し、ベッドの領域を推定する装置が提案されている（特許文献２参照）。

或いは、ベッドのフットボード又はサイドレールにマーカを取り付け、ベッドの上方且つベッドの長手方向を向くように設置された距離画像センサにより得られた距離画像中の各マーカ位置に基づいて、ベッドの角度を検出する装置が提案されている（特許文献３参照）。

特開２００１−２４３４７２号公報 特開２０１２−３００４２号公報 特開２０１３−７８４３３号公報

この種の装置は、例えば注意を要する人の確認（所謂見守り）に用いられることが多い。

特許文献１に記載の技術では、赤外線カメラが天井に固定されるため、特許文献２及び３に記載の技術では、例えば、距離画像センサと床面（水平面）とがなす角が既知でなければならい等の設置条件が多数あるため、装置が一旦設置されると、該装置の移動が困難である。

すると、例えば病院において、見守りが必要な時期だけ患者の病室を変更しなければならないという技術的問題点がある。尚、病院の全てのベッドにこの種の装置を設置することは、コストの観点から現実的ではない。

また、特許文献１及び３に記載の技術では、マーカが、例えば掛け布団等により隠されてしまうと、検出ができない可能性があるという技術的問題点がある。

本発明は、例えば上記問題点に鑑みてなされたものであり、設置及び移動を容易にしつつ、物体の面を検出することができる検出装置及び方法、コンピュータプログラム並びに記録媒体を提供することを課題とする。

本発明の請求項１に記載の検出装置は、上記課題を解決するために、物体の表面上の複数の点各々と基準点との間の距離を示す距離情報を取得する取得手段と、前記取得された距離情報に基づいて、前記複数の点のうち一の点、及び前記複数の点のうち前記一の点の近傍の２以上の他の点により特定される仮想的な局所平面に係る局所ベクトルを算出し、前記算出された局所ベクトルを前記一の点に対応付ける算出手段と、前記複数の点に夫々対応付けられた複数の局所ベクトルに基づいて、前記物体の一の面領域を検出する検出手段と、を備える。

本発明の請求項６に記載の検出方法は、上記課題を解決するために、物体の表面上の複数の点各々と基準点との間の距離を示す距離情報を取得する取得工程と、前記取得された距離情報に基づいて、前記複数の点のうち一の点、及び前記複数の点のうち前記一の点の近傍の２以上の他の点により特定される仮想的な局所平面に係る局所ベクトルを算出し、前記算出された局所ベクトルを前記一の点に対応付ける算出工程と、前記複数の点に夫々対応付けられた複数の局所ベクトルに基づいて、前記物体の一の面領域を検出する検出工程と、を備える。

本発明の請求項７に記載のコンピュータプログラムは、上記課題を解決するために、コンピュータを、物体の表面上の複数の点各々と基準点との間の距離を示す距離情報を取得する取得手段と、前記取得された距離情報に基づいて、前記複数の点のうち一の点、及び前記複数の点のうち前記一の点の近傍の２以上の他の点により特定される仮想的な局所平面に係る局所ベクトルを算出し、前記算出された局所ベクトルを前記一の点に対応付ける算出手段と、前記複数の点に夫々対応付けられた複数の局所ベクトルに基づいて、前記物体の一の面領域を検出する検出手段と、として機能させる。

本発明の請求項８に記載の記録媒体は、上記課題を解決するために、本発明のコンピュータプログラムが記録されている。

本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。

実施例に係る検出装置の構成を示すブロック図である。 実施例に係る検出処理の要部を示すフローチャートである。 距離画像の一例である。 三次元点群データに変換された距離画像の一例である。 法線ベクトルのヒストグラムの一例である。 推定されたベッドの上面領域の一例を示す図である。

（検出装置）
本発明の検出装置に係る実施形態について説明する。

実施形態に係る検出装置は、取得手段、算出手段及び検出手段を備えて構成されている。

取得手段は、物体の表面上の複数の点各々と基準点との間の距離を示す距離情報を取得する。具体的には例えば、取得手段が距離画像センサである場合には、距離情報として距離画像が取得される。或いは、取得手段がレーダである場合には、該レーダの出力が距離情報として取得される。

「基準点」は、典型的には、取得手段内の一点（例えばセンサ位置、レーダ発信源等）であるが、これに限定されるものではない。

例えばメモリ、プロセッサ等を備えてなる算出手段は、取得された距離情報に基づいて、複数の点のうち一の点、及び該複数の点のうち該一の点の近傍の２以上の他の点により特定される仮想的な局所平面に係る局所ベクトルを算出する。そして、算出手段は、算出された局所ベクトルを一の点に対応付ける。算出手段は、この処理を複数の点全てに対して行う。

具体的には例えば、算出手段は、先ず、取得された距離情報を、例えば上述の特許文献２に記載されている方法により、三次元点群データに変換する。次に、算出手段は、三次元点群データに基づいて、例えば三次元距離が互いに近い点を用いて局所ベクトルを算出する、画像の近傍点を用いて局所ベクトルを算出する、或いは、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）を用いて局所ベクトルを算出する。

例えばメモリ、プロセッサ等を備えてなる検出手段は、複数の点に夫々対応付けられた複数の局所ベクトルに基づいて、物体の一の面領域を検出する。

本実施形態に係る検出装置では、例えば、当該検出装置の設置条件又は設置状況が既知でなくても、或いは、物体にマーカが設置されていなくても、取得された距離情報に基づいて物体の一の面領域を検出することができる。このため、本実施形態に係る検出装置が設置される際に、特別な制約はない。

従って、本実施形態に係る検出装置によれば、当該検出装置の設置及び移動を容易にすることができ、且つ、物体の面を検出することができる。

本実施形態に係る検出装置の一態様では、上記局所ベクトルは、局所法線ベクトルである。検出手段は、上記複数の点に夫々対応付けられた複数の局所法線ベクトルに基づいて、物体の一の面の法線方向を推定すると共に、該推定された法線方向に沿う局所法線ベクトルに対応付けられた複数の点を抽出して物体の一の面領域を検出する。

検出手段は、例えば複数の局所法線ベクトルの分布に基づいて、最も頻度の高いビン、又は隣接する複数のビンの和が最大となるビン、に対応する局所法線ベクトルに沿う方向を、物体の一の面の法線方向として推定する。続いて、検出手段は、推定された法線方向に沿う局所法線ベクトルに夫々対応する点群を抽出する。

次に、検出手段は、例えば、抽出された点群の位置平均を物体の一の面の中心と仮定して、予め設定された範囲を該物体の一の面領域として検出する。或いは例えば、検出手段は、抽出された点群の位置平均を物体の一の面の中心と仮定して、分散（例えばマハラノビス距離）を用いて物体の一の面領域を検出する。或いは例えば、検出手段は、推定された法線方向に垂直な仮想的な平面に、抽出された点群を射影し、該仮想的な平面上におけるマハラノビス距離に基づいて、物体の一の面領域を検出する。

或いは、検出手段は、距離情報が取得された複数の点を含む仮想的な空間をボクセルに分割し、各ボクセルの値を点群の有無に応じて２値化する。次に、検出手段は、各ボクセルの値を用いて、上記のいずれかの方法により物体の一の面領域を検出する。

このように構成すれば、比較的容易にして、物体の一の面領域を検出することができ、実用上非常に有利である。

この態様では、検出手段は、複数の局所法線ベクトルの分布に基づいて、物体の一の面の法線方向を推定してよい。

このように構成すれば、比較的容易にして、物体の一の面の法線方向を推定することができ、実用上非常に有利である。

本実施形態に係る検出装置の他の態様では、取得手段は、上記距離情報として距離画像を取得する。

この態様によれば、比較的容易に、距離情報を取得することができ、実用上非常に有利である。

本実施形態に係る検出装置の他の態様では、当該検出装置は、物体が存在する空間内の人を検出する第２検出手段と、上記検出手段により検出された一の面領域と、第２検出手段による検出結果との関係に応じて報知する報知手段と、を更に備える。

この態様によれば、例えばメモリ、プロセッサ等を備えてなる第２検出手段は、物体が存在する空間内の人を検出する。尚、人の検出方法には、公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。

報知手段は、検出手段により検出された物体の一の面領域と、第２検出手段による検出結果との関係に応じて報知する。具体的には例えば、物体がベッドであり、一の面領域がベッドマットの上面であり、人が見守り対象の患者であるとする。報知手段は、ベッドマットの上面と検出された患者の位置とから、例えば患者がベッド上で起き上がる、患者がベッドから離れる等の場合に、アラームを発する等の報知を行う。

（検出方法）
本発明の検出方法に係る実施形態について説明する。

実施形態に係る検出方法は、物体の表面上の複数の点各々と基準点との間の距離を示す距離情報を取得する取得工程と、該取得された距離情報に基づいて、複数の点のうち一の点、及び該複数の点のうち該一の点の近傍の２以上の他の点により特定される仮想的な局所平面に係る局所ベクトルを算出し、該算出された局所ベクトルを該一の点に対応付ける算出工程と、複数の点に夫々対応付けられた複数の局所ベクトルに基づいて、物体の一の面領域を検出する検出工程と、を備える。

本実施形態に係る検出方法によれば、上述した実施形態に係る検出装置と同様に、検出装置の設置及び移動を容易にすることができ、且つ、物体の面を検出することができる。

尚、本実施形態に係る検出方法においても、上述した実施形態に係る検出装置の各種態様と同様の各種態様を採ることができる。

（コンピュータプログラム）
本発明のコンピュータプログラムに係る実施形態について説明する。

実施形態に係るコンピュータプログラムは、コンピュータを、物体の表面上の複数の点各々と基準点との間の距離を示す距離情報を取得する取得手段と、該取得された距離情報に基づいて、複数の点のうち一の点、及び該数の点のうち該一の点の近傍の２以上の他の点により特定される仮想的な局所平面に係る局所ベクトルを算出し、該算出された局所ベクトルを該一の点に対応付ける算出手段と、複数の点に夫々対応付けられた複数の局所ベクトルに基づいて、物体の一の面領域を検出する検出手段と、として機能させる。

実施形態に係るコンピュータプログラムによれば、当該コンピュータプログラムを格納するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（ＤＶＤ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体から、当該コンピュータプログラムを、検出装置に備えられたコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを、通信手段を介してダウンロードさせた後に実行させれば、上述した実施形態に係る検出装置を比較的容易にして実現できる。これにより、上述した実施形態に係る検出装置と同様に、検出装置の設置及び移動を容易にすることができ、且つ、物体の面を検出することができる。

上記、実施形態に係るコンピュータプログラムが格納されたＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等が、本発明の記録媒体に係る実施形態の一例である。

本発明の検出装置に係る実施例を、図面に基づいて説明する。実施例では、本発明の検出装置が、病院における患者見守りシステムに適用された場合を一例として挙げる。

先ず、実施例に係る検出装置の構成について、図１を参照して説明する。図１は、実施例に係る検出装置の構成を示すブロック図である。

図１において、検出装置１は、距離画像センサ１１、ベッド位置認識部１２１及びベッド方向認識部１２２を有する設置状況認識部１２、人物動作推定部１３、検出部１４及び報知手段１５を備えて構成されている。

尚、本実施例に係る「距離画像センサ１１」、「設置状況認識部１２」、「人物動作推定部１３」及び「検出部１４」は、夫々、本発明に係る「取得手段」、「算出手段」、「第２検出手段」及び「検出手段」の一例である。

距離画像センサ１１は、例えばベッドサイドテーブル等、ベッドの大半、望ましくはベッド全体を画角に収めることができるような場所に設置されている。本実施例では、距離画像センサ１１は、簡易的に固定されていればよく、例えばネジ等による固定は不要である。尚、距離画像センサ１１については、公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。

次に、設置状況認識部１２について、図２のフローチャートを参照して説明する。図２は、実施例に係る検出処理の要部を示すフローチャートである。

図２において、先ず、距離画像センサ１１により、例えば図３に示すような、距離画像が取得される（ステップＳ１０１）。該取得された距離画像は、公知の方法（例えば、特許文献２参照）により、例えば図４に示すような、三次元点群データに変換される（ステップＳ１０２）。

次に、設置状況認識部１２のベッド方向認識部１２２は、三次元点群データから、本発明に係る「物体の一の面」の一例としての、ベッドの上面を推定する。ベッドの上面は平面に近い形状であるため、例えば点群の法線方向（法線ベクトル）に基づいて、該ベッドの上面を推定することができる。

具体的には、ベッド方向認識部１２２は、三次元点群データに含まれる各点について法線ベクトル（本発明に係る“局所法線ベクトル”に相当）を算出する（ステップＳ１０３）。法線ベクトルの算出には、例えば、三次元点群データにおいて相互に三次元距離が近い複数の点により特定される仮想的な局所平面から算出する方法、或いは、距離画像において近接する複数の点に夫々対応する三次元点群データの複数の点により特定される仮想的な局所平面から算出する方法、或いは、ＲＡＮＳＡＣ等を用いればよい。

次に、ベッド方向認識部１２２は、算出された法線ベクトルに基づいて、例えば図５に示すような、ヒストグラムを作成する（ステップＳ１０４）。尚、ヒストグラムのビンは、三次元点群データに係る空間において、例えば球状や半球状に配置されてもよいし、均等に配置されてもよい。或いは、距離画像センサ１１の設置時に得られる距離画像における上下方向等がある程度わかるので、注目すべき方向（本実施例では、例えばベッドの上面に垂直な方向等）に、ヒストグラムのビンが重点的に配置されてもよい。

次に、ベッド方向認識部１２２は、作成されたヒストグラムに基づいて、ベッドの上面の法線方向を推定する（ステップＳ１０５）。具体的には例えば、ベッド方向認識部１２２は、作成されたヒストグラムにおいて最頻値を有するビンに係る方向を、或いは、相互に隣接する複数のビンの和が最大値となるビンに係る方向を、法線方向と推定する。

ベッドの上面の法線方向が推定された後、ベッド位置認識部１２１は、三次元点群データから、推定された法線方向に沿う法線ベクトルを有する点群を抽出する（ステップＳ１０６）。ここで、「法線方向に沿う法線ベクトル」とは、法線方向に平行な法線ベクトルに限らず、実践上法線方向に沿っているとみなせる程度に該法線方向からずれた法線ベクトルも含む概念である。

次に、ベッド位置認識部１２１は、三次元点群データに係る空間をボクセルに分割する（ステップＳ１０７）。尚、空間のボクセルへの分割方法には、公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。

次に、ベッド位置認識部１２１は、各ボクセルについて、三次元点群データの点を含むか否かに応じて、ボクセル値を２値化する（ステップＳ１０８）。ここで、三次元点群データには、撮像される物体の、距離画像センサ１１に比較的近い部分に対応する点が比較的多く含まれる。そこで、上記のように、空間をボクセルに分割すると共に、ボクセル値を２値化することによって、三次元点群データの偏りの影響を抑制することができ、実用上非常に有利である。

次に、ベッド位置認識部１２１は、複数のボクセルのうち、上記ステップＳ１０６において抽出された点群に対応するボクセルに基づいて、ベッドの上面領域を推定する（ステップＳ１０９）。

具体的には例えば、ベッド位置認識部１２１は、上記対応するボクセルの位置平均をベッドの上面中心と仮定して、予め設定された範囲をベッドの上面領域として推定する。尚、「予め設定された範囲」は、ここでは、ベッドサイズとすればよい（ベッドサイズは、ある程度規格化されているので、比較的容易に設定することが可能である）。

或いは、ベッド位置認識部１２１は、上記対応するボクセルの位置平均をベッドの上面中心と仮定して、分散（例えばマハラノビス距離）を用いて、ベッドの上面領域を推定する。或いは、ベッド位置認識部１２１は、推定された法線方向に垂直な仮想的な平面に、
上記対応するボクセルを射影し、該仮想的な平面上におけるマハラノビス距離に基づいて、ベッドの上面領域を推定する。

次に、ベッド位置認識部１２１は、推定されたベッドの上面領域を出力する（ステップＳ１１０）。上述の処理により推定されたベッドの上面領域は、例えば図６における最も明るい領域に対応する。尚、図６における白直線は、推定された法線方向に対応する。

再び図１に戻り、人物動作推定部１３は、距離画像センサ１１により取得された距離画像に基づいて、人物の動作を推定する。人物の動作の推定方法には、公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。

検出部１４は、設置状況認識部１２による推定結果と、人物動作推定部１３により推定結果と、に基づいて、見守り対象である患者に係る検出結果を出力する。具体的には例えば、検出部１４は、人物動作推定部１３により、複数枚の時間的に連続する距離画像を用いて、過去の距離画像と比較して所定以上の変化があった箇所が検出された場合、該検出された箇所と、設置状況認識部１２により推定されたベッドの上面領域との関係に応じて、患者の動作であるか否かを検出する。

或いは、検出部１４は、人物動作推定部１３により、所定の高さ（典型的には、ベッドの上面の高さより高く設定されている）以上に閾値以上の数の点が検出された場合、設置状況認識部１２により推定されたベッドの上面領域を参照して、例えば患者のベッド上での起き上がり、又は患者のベッド上での立ち上がり等を検出する。

或いは、人物動作推定部１３により、再近傍点探索やＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）等を用いて、距離画像を構成する各点がどのように動いたかが推定された場合、検出部１４は、推定結果と、設置状況認識部１２により推定されたベッドの上面領域との関係に応じて、患者の動作を検出する。

検出部１４は、検出された患者の動作が、所定の危険とみなされる動作に該当した場合、検出部１４は、例えばナースコールや警報等である報知手段１５を動作させる。尚、「所定の危険とみなされる動作」は、例えば、頭部の手術後の患者が立ち上がる、ベッドから患者が離れる、等であり、見守り対象に応じて適宜設定されればよい。

尚、上述のステップＳ１０６〜Ｓ１０９の処理では、推定された法線方向に沿う法線ベクトルを有する点群を用いて、ベッドの上面領域が推定されているが、三次元点群データの全ての点を用いて、ベッドの上面領域が推定されてもよい。

このように構成すれば、例えば推定された法線方向に沿う法線ベクトルを有する点の数が過度に少なかった場合の誤検出を防止することができる。或いは、例えば上述のステップＳ１０６の処理等を省略することができ、処理を簡易化することができる。

また、上述のステップＳ１０７及びＳ１０８の処理を実施せず（即ち、ボクセル化せず）に、三次元点群データそのものを用いて、ベッドの上面領域が推定されてもよい。

このように構成すれば、例えばベッドの距離画像センサから遠い側が壁である等、ベッドの設置場所がある程度限定される場合に、三次元点群データに係る点の密度の偏りを利用して、検出結果の高精度化を図ることができる。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う検出装置及び方法、コンピュータプログラム並びに記録媒体もまた本発明の技術的範囲に含まれるものである。

１…検出装置、１１…距離画像センサ、１２…設置状況認識部、１３…人物動作推定部、１４…検出部、１５…報知手段、１２１…ベッド位置認識部、１２２…ベッド方向認識部

Claims (8)

1. 物体の表面上の複数の点各々と基準点との間の距離を示す距離情報を取得する取得手段と、
   前記取得された距離情報に基づいて、前記複数の点のうち一の点、及び前記複数の点のうち前記一の点の近傍の２以上の他の点により特定される仮想的な局所平面に係る局所ベクトルを算出し、前記算出された局所ベクトルを前記一の点に対応付ける算出手段と、
   前記複数の点に夫々対応付けられた複数の局所ベクトルに基づいて、前記物体の一の面領域を検出する検出手段と、
   を備えることを特徴とする検出装置。
2. 前記局所ベクトルは、局所法線ベクトルであり、
   前記検出手段は、前記複数の点に夫々対応付けられた複数の局所法線ベクトルに基づいて、前記一の面の法線方向を推定すると共に、前記推定された法線方向に沿う局所法線ベクトルに対応付けられた複数の点を抽出して前記一の面領域を検出する
   ことを特徴とする請求項１に記載の検出装置。
3. 前記検出手段は、前記複数の局所法線ベクトルの分布に基づいて、前記一の面の法線方向を推定することを特徴とする請求項２に記載の検出装置。
4. 前記取得手段は、前記距離情報として距離画像を取得することを特徴とする請求項１乃至３のいずれか一項に記載の検出装置。
5. 前記物体が存在する空間内の人を検出する第２検出手段と、
   前記検出された一の面領域と前記第２検出手段による検出結果との関係に応じて報知する報知手段と、
   を更に備えることを特徴とする請求項１乃至４のいずれか一項に記載の検出装置。
6. 物体の面を検出する検出装置において使用される検出方法であって、
   前記物体の表面上の複数の点各々と基準点との間の距離を示す距離情報を取得する取得工程と、
   前記取得された距離情報に基づいて、前記複数の点のうち一の点、及び前記複数の点のうち前記一の点の近傍の２以上の他の点により特定される仮想的な局所平面に係る局所ベクトルを算出し、前記算出された局所ベクトルを前記一の点に対応付ける算出工程と、
   前記複数の点に夫々対応付けられた複数の局所ベクトルに基づいて、前記物体の一の面領域を検出する検出工程と、
   を備えることを特徴とする検出方法。
7. コンピュータを、
   物体の表面上の複数の点各々と基準点との間の距離を示す距離情報を取得する取得手段と、
   前記取得された距離情報に基づいて、前記複数の点のうち一の点、及び前記複数の点のうち前記一の点の近傍の２以上の他の点により特定される仮想的な局所平面に係る局所ベクトルを算出し、前記算出された局所ベクトルを前記一の点に対応付ける算出手段と、
   前記複数の点に夫々対応付けられた複数の局所ベクトルに基づいて、前記物体の一の面領域を検出する検出手段と、
   として機能させることを特徴とするコンピュータプログラム。
8. 請求項７に記載のコンピュータプログラムが記録されていることを特徴とする記録媒体。