JP2015175633A - 立体抽出方法および立体抽出装置 - Google Patents

Abstract

【課題】測定対象が傾いていた場合でも測定対象を正確に認識可能な立体抽出方法および立体抽出装置を提供する。【解決手段】立体抽出方法は、３次元センサが測距する第１測定点および第２測定点が同一物体の点であるか閾値を用いて判定する際に、３次元センサが測定する前記第１測定点までの距離と、第１測定点および第２測定点を結ぶ線と３次元センサの焦点および第１測定点を結ぶ線とがなす角度と、に基づいて閾値を調整する。【選択図】図２

Description

本件は、立体抽出方法および立体抽出装置に関する。

室内を３次元センサでセンシングし、得られた３次元の点群情報から物体を抽出する技術が開発されている（例えば、特許文献１参照）。

特表２０００−５０９１５０号公報

しかしながら、特許文献１の技術では、測定対象が傾いていた場合に測定対象を正確に認識することができない。

１つの側面では、本件は、測定対象が傾いていた場合でも測定対象を正確に認識可能な立体抽出方法および立体抽出装置を提供することを目的とする。

１つの態様では、立体抽出方法は、３次元センサが測距する第１測定点および第２測定点が同一物体の点であるか閾値を用いて判定する際に、前記３次元センサが測定する前記第１測定点までの距離と、前記第１測定点および前記第２測定点を結ぶ線と前記３次元センサの焦点および前記第１測定点を結ぶ線とがなす角度と、に基づいて前記閾値を調整する。

測定対象が傾いていた場合でも測定対象を正確に認識することができる。

立体抽出を例示する図である。 ３次元センサとベッドとの位置関係の例である。 実施例１に係る立体抽出装置の模式図である。 （ａ）〜（ｃ）は３次元センサの詳細を例示する図である。 演算部のブロック図である。 演算部が実行するフローチャートの一例である。 三角形の形状について例示する図である。 距離Ａと角度Ｂとから求まる閾値Ｔをあらわした図である。 実施例２に係る演算部のブロック図である。 （ａ）および（ｂ）は探索領域αおよび特定物体を例示する図である。 特定物体を抽出する際の演算部のブロック図である。 （ａ）および（ｂ）は探索領域および閾値を例示する図である。 （ａ）および（ｂ）はベッドおよび車椅子の位置関係を例示する図である。 閾値を例示する図である。 実施例４に係る演算部のブロック図である。 演算部のハードウェア構成を説明するためのブロック図である。

実施例の説明に先立って、３次元センサを用いた立体抽出について説明する。

病院、介護施設等において、看護師が２４時間患者を見守ることは難しく、看護師が気付かない内に患者がベッドから転落したり、病室内で転倒したりして、患者の容体が悪化する事故が発生している。病院での患者見守り分野において、看護師に代わってセンサを用いたシステムが病室内の患者を見守ることで、これらの事故や事故の予兆を認識し報知して、患者の容体の重篤化を防ぐ見守りシステムが求められている。

ナースコールシステムと連携して病室での患者の状態を検出するセンサが開発されている。例えば、圧力センサをベッド上に設置し、患者が起床する際に圧力が無くなることを感知し、ナースコールで看護師に知らせるベッドセンサなどが開発されている。しかしながら、ベッドセンサは、圧力がかかっているか否かしか判断できないため、寝返りを誤って起床と検知してしまうおそれがある。

また、カメラを使って患者の状態を認識するシステムの開発も進んでいる。しかしながら、２次元の情報のみでは判断できない患者の状態が存在する場合がある。また、カメラを使用すると患者の顔を認識することができるため、プライバシーの問題などが生じ得る。

そこで、２次元情報に加え、奥行き方向の３次元情報を取得することが可能な３次元センサを用いた立体監視装置の開発が行われている。カメラのようなカラー情報は取得されない。患者のプライバシー問題にも対応している。このような立体監視装置では、ベッドに対して患者がどのような位置にいるのか、どのような動きをしているのか、で患者の状態・動作が判定される。そのため、患者とベッドとを認識することが望まれる。例えば、３次元センサを用いた立体監視装置では、以下のステップで患者の状態が認識される。

ステップ１：３次元センサで取得される対象物の３次元測定点を患者やベッドなどの物体ごとにまとめて、抽出する。
ステップ２：物体ごとにまとめた３次元測定点群の内、どれがベッドでどれが患者かを特定する。
ステップ３：認識した患者の姿勢や位置、動きの変動などから患者の状態を認識する。

ステップ１の物体抽出において、３次元測定点をまとめる手法として、以下の２つの技術が挙げられる。

（技術１）
測距した対象物上の点（特定点）とその隣接点との距離(点間距離)が近ければ同一物体上の点であると判定し、まとめる手法が用いられる。近いかどうかを判定する基準として、物体までの距離に応じて閾値を変える。具体的には、３次元センサから物体までの距離が離れるほど閾値を大きくし、距離が近づくほど閾値を小さくする手法(距離変動閾値）がある。この閾値よりも点間距離が近い点同士を1つの物体としてまとめる。

（技術２）
図１で例示するように、センサから特定点までの距離ｘと、センサから隣接点までの距離ｙとの差（ｘ−ｙ）を第１パラメータとする。特定点と隣接点とで構成する平面の法線ベクトルθ１と、隣接点とその隣接点（隣接点’）とで構成する平面の法線ベクトルθ２との差θを第２パラメータとする。第１パラメータおよび第２パラメータのどちらか一方が閾値より大きい場合に、特定点と隣接点とを別の物体として分割する。この場合の閾値は、球や円柱、平面などの物体の幾何学形状によって決定される。

技術１では、距離のみから閾値を決定しているため、センサの光軸に対して傾きの大きな物体上の点を同一物体の点と見なせず、同一物体を分割して認識してしまうという課題がある。図２で例示するように、ベッド上方から斜めに俯瞰する位置にセンサを置いた場合、ベッドの各面はセンサ光軸に対して斜めになる。このような場合、患者動作の基準となるベッドが複数に分裂してしまいベッドとしてまとめるべき起点が分からなくなってしまうため、ベッドを抽出できない。その結果、患者の状態・動作を判定できない。距離変動閾値を大きくした場合はベッドを１つの物体とみなすことができるが、ベッドとベッド近傍の他物体とが同一物体と判定されたり、患者と患者以外の物体（例えば壁など）とが１つの物体と判定されたりする。なお、図２では、各寸法の一例（単位：ｍｍ）が併記してある。

技術２では、特定点と隣接点とのセンサからの距離の差と、法線ベクトルの差とから物体を幾何学形状毎にまとめている。幾何学形状毎に３次元点をまとめているため、例えば、病室のベッドは、上面と側面が分割してしまい、人は、腕や足、胴体で分割してしまう。すなわち、技術２でも、測定対象を正確に認識することができない。

そこで、以下の実施例では、測定対象が傾いていた場合でも測定対象を正確に認識することができる立体抽出方法および立体抽出装置について説明する。

図３は、実施例１に係る立体抽出装置１００の模式図である。立体抽出装置１００は、３次元センサ１０および演算部２０を備える。３次元センサ１０は、３次元で測距することができるセンサである。例えば、３次元センサ１０は、センシング領域に向けて測定光を走査し、所定の走査角度ごとに測定光に対する物体からの反射光を検知することによって、当該走査角度ごとに物体までの距離を取得する。このようにすることによって、３次元センサ１０は、走査角度ごとに、センシング領域の全ての測定点までの距離を測定することができる。この走査角度は、分解能角度とも称する。

例えば、３次元センサ１０は、病室内のベッド上方に設置され、１台のベッド周辺の立体を監視する。実際の病院においては、医療器具の設置のためにベッド位置を動かしたり、看護師の目が届きやすいように夜間のみベッドを病室の入り口付近に移動させたりと、ベッドを動かす状況があるため、ベッド位置が変動し得る。そこで、センサで取得した距離情報から定期的にベッドを抽出できることが好ましい。本実施例においては、演算部２０は、３次元センサ１０からベッド、患者等の対象物までの測距点を取得し、物体抽出を行う。

図４（ａ）〜（ｃ）は、３次元センサ１０の詳細を例示する図である。図４（ａ）で例示するように、３次元センサ１０は、一定の角度間隔でセンシングを行う。この角度は、３次元センサ１０の分解能角度に相当する。図４（ｂ）で特定点および隣接点が例示されている。特定点とは、３次元センサ１０によって認識される物体の注目点である。隣接点とは、特定点に対して分解能角度離れ、３次元センサ１０によって認識される他の点である。３次元センサ１０の基準点（焦点）から物体までの距離が遠いほど、特定点と隣接点との点間が広くなる。一方で、３次元センサ１０から物体までの距離が近いほど、特定点と隣接点との点間が狭くなる。また、図４（ｃ）で例示するように、３次元センサ１０から物体までの距離が変わらない場合でも、物体の傾きが大きいと同一物体上の特定点とその隣接点との点間が広くなる。このように、特定点と隣接点との点間は、３次元センサ１０から物体までの距離および物体の傾きに依存する。

図５は、演算部２０のブロック図である。図５で例示するように、演算部２０は、距離測定部２１、形状算出部２２、同一物体判定部２３、および物体抽出部２４として機能する。図６は、演算部２０が実行するフローチャートの一例である。以下、図５および図６を参照しつつ、演算部２０の演算について説明する。

まず、距離測定部２１は、３次元センサ１０の基準位置（焦点）から対象物までの距離を全点測定する（ステップＳ１）。すなわち、距離測定部２１は、３次元センサ１０によって測定される互いに分解能角度分離れた全ての点までの距離を測定する。次に、形状算出部２２は、距離測定部２１で測定した全点に対して、３次元センサ１０の基準位置（焦点）と、距離測定部２１で測定した全点の内のある点（特定点）と、その隣接点と、の３点から構成される三角形の形状を算出する（ステップＳ２）。

三角形の形状を特定するための３成分は、上記に限られない。例えば、三角形の形状は、図７で例示するように、基準位置から特定点までの距離Ａと、基準位置から隣接点までの距離Ａ´と、特定点から隣接点までの距離ｘの３辺の長さを用いた方法で算出することができる。また、基準位置から特定点までの距離Ａと、基準位置から特定点と隣接点との間の角度Ｒと、基準位置から特定点と特定点から隣接点とがなす角度Ｂとの、１辺とその両端の２角を用いた方法で算出することもできる。また、基準位置から特定点までの距離Ａと、基準位置から隣接点までの距離Ａ´と、基準位置から特定点と隣接点との間の角度Ｒとの、２辺とその間の角を用いた方法で算出することもできる。また、基準位置から特定点までの距離Ａと、基準位置から隣接点までの距離Ａ´と、三角形の面積と、を用いた方法で算出することもできる。点間距離ｘは、下記式（１）に従って求めることができる。角度Ｂは、下記式（２）に従って求めることができる。本実施例では、形状算出部２２は、一例として、距離Ａ、距離Ａ´、および角度Ｒから、特定点と隣接点との間の点間距離ｘおよび角度Ｂを算出する。

次に、同一物体判定部２３は、特定点と隣接点とが同一物体上の点か否かを判定する（ステップＳ３）。具体的には、同一物体判定部２３は、形状算出部２２で算出された点間距離ｘと、特定点と隣接点とが同一物体かどうかを判定する閾値Ｔとを比較する。同一物体判定部２３は、点間距離ｘと閾値Ｔとを比較し、点間距離ｘが閾値Ｔ以下であれば、特定点と隣接点とを同一物体の点と判定する。同一物体判定部２３は、点間距離ｘが閾値Ｔよりも大きければ、特定点と隣接点とを別物体の点と判定する。

閾値Ｔは、基準位置から特定点までの距離Ａと、角度Ｂとに応じて設定される。具体的には、閾値Ｔは、距離Ａが大きいほど大きく設定され、角度Ｂが９０°から外れるほど大きく設定される。それにより、特定点と隣接点とが同一物体であるか否かを判定する精度が向上する。一例として、閾値Ｔは、予め設定した１つの物体とみなす最大角度Ｂ_ＭＡＸと、基準位置から特定点までの距離Ａと、基準位置から特定点と隣接点との間の角度Ｒと、から下記式（３）に従って求めることができる。角度Ｒは３次元センサ１０の分解能角度であり、最大角度Ｂ_ＭＡＸは予め設定した値であるため、閾値Ｔは、３次元センサ１０から対象点までの距離Ａが測定されれば一意に求まる。なお、Ｂ_ＭＡＸは、角度Ｂと相関関係を有したパラメータである。例えば、Ｂ_ＭＡＸは、角度Ｂが大きくなると連続的または段階的に大きくなり、角度Ｂが小さくなると連続的または段階的に小さくなる値である。例えば、Ｂ_ＭＡＸは、角度Ｂの小数点以下を切り捨てまたは四捨五入したものとしてもよい。

図８は、距離Ａと角度Ｂとから上記式（３）で求まる閾値Ｔをあらわした図である。なお、３次元センサ１０の水平方向の角度分解能を０．０８９５８３°とし、垂直方向の角度分解能を０．０８９０６３としてある。図８で例示するように、閾値Ｔは、距離Ａが大きいほど大きくなり、角度Ｂが９０°から外れるほど大きくなる。

物体抽出部２４は、ステップＳ３で同一物体と判定された特定点と隣接点とを同一の物体の点として抽出する（ステップＳ４）。物体抽出部２４は、ステップＳ３で他の物体と判定された特定点と隣接点とを他の物体の点として分離する（ステップＳ５）。同一物体判定部２３は、全ての測定点に対してステップＳ２〜ステップＳ５が実行されたか否かを判定する（ステップＳ６）。ステップＳ６で「Ｎｏ」と判定された場合、ステップＳ２から再度実行される。ステップＳ６で「Ｙｅｓ」と判定された場合、フローチャートの実行が終了する。

本実施例によれば、閾値Ｔは、距離Ａに応じて設定されるとともに、角度Ｂに応じて設定される。すなわち、閾値Ｔは、３次元センサ１０からの距離および物体の角度に応じて設定される。それにより、測定対象が傾いていた場合でも測定対象を正確に認識可能となり、１つの物体が複数に分裂してしまうことなく、また、他の物体と連結することなく認識が可能となる。

上記式（３）に基づいて、閾値Ｔ、または閾値Ｔを求める途中過程のパラメータをあらかじめルックアップテーブル（以下、ＬＵＴ）として保持しておいてもよい。図９は、実施例２に係る演算部２０ａのブロック図である。実施例１と同一の構成については、同一の符号を付すことによって説明を省略する。図９で例示するように、演算部２０ａが演算部２０と異なる点は、ＬＵＴ保持部２５としての機能がさらに備わっている点である。

ＬＵＴ保持部２５は、三角形の形状を特定するための３成分をパラメータにした複数のＬＵＴをあらかじめ保持する。ＬＵＴ保持部２５は、設定した最大角度Ｂ_ＭＡＸから、Ｂ_ＭＡＸに対応したＬＵＴを同一物体判定部２３に出力する。同一物体判定部２３は、Ｂ_ＭＡＸに対応したＬＵＴに対して、距離Ａで求まる閾値Ｔと当該距離Ａから算出した点間距離ｘとを比較し、特定点と隣接点とが同一物体上の点がどうかを判定する。

病室内においては、ベッドは３次元センサ１０のセンシング領域内に存在し、優先して抽出すべき物体となる。このような物体を特定物体と称し、特定物体とそれ以外の物体とで判定内容を変更してもよい。具体的には、図１０（ａ）および図１０（ｂ）で例示するように、３次元センサ１０近くの探索領域αにおいて特定物体（ベッド）を抽出し、あらかじめ保持しておいたベッドの寸法に基づいてベッド全体を推定する。その後、ベッドに係る測定点以外の測定点を用いて、他の物体（例えば人物）を抽出してもよい。

図１１は、特定物体を抽出する際の、演算部２０ｂのブロック図である。実施例２と同一の構成については、同一の符号を付すことによって説明を省略する。図１１で例示するように、演算部２０ｂが図９の演算部２０ａと異なる点は、特定物体寸法保持部２６、特定物体領域保持部２７、特定物体抽出部２８、特定物体データ除去部２９、および特定物体以外抽出部３０としての機能がさらに備わっている点である。なお、特定物体抽出部２８は、物体抽出部２４の代わりに備わっている。

特定物体寸法保持部２６は、特定物体（一例としてベッド）の寸法を保持する。特定物体領域保持部２７は、特定物体の変動領域（一例としてベッドの探索領域）を保持する。この場合、図１２（ａ）の右に表した閾値Ｔを用いて、探索領域α内のベッド下端の一部分を１つの物体として抽出することができる。図１２（ａ）の右のグラフは、測定点までの距離と、測定点と隣接点との角度、閾値を軸とした３次元の閾値テーブルを、ある角度のときのみを示した図である。特定物体抽出部２８は、抽出した特定物体の一部分を起点とし、特定物体寸法保持部２６が保持する寸法に基づいて特定物体全体を推定し、抽出する。

特定物体抽出部２８が特定物体を抽出した後、特定物体データ除去部２９は、図１２（ｂ）で例示するように、測定データの中から、特定物体の測定データを除去する。特定物体以外抽出部３０は、特定物体が除去された測定データの中から、ＬＵＴ保持部２５の特定物体以外の物体（例えば、人）を抽出するためのＬＵＴを用いて物体を抽出する。

特定物体抽出部２８において、図１４のような閾値を用いれば、基準位置から離れているベッド上端（３次元センサ１０から離れている側）はベッド下端（３次元センサ１０に近い側）から分割されてしまう。しかしながら、ベッド下端はベッド全体を抽出する時よりも小さな閾値で抽出することができる。すなわち、物体の抽出精度が向上する。具体的に、ベッドの下端に車椅子（他には椅子やサイドテーブルなども考えられる）が隣接する場合、ベッドの構成は、図１３（ａ）および図１３（ｂ）で例示するように、ベッドフレームの上にマットや布団などが置かれることになり、３次元センサ１０で測定されるマットとベッドに隣接する車椅子との間にはベッドフレーム分の隙間が存在する。この時のベッドフレームの幅は、ベッドの規格にもよるが、約２５ｍｍである。図１４の閾値からベッド探索領域内の閾値では２３ｍｍ以上離れた他物体は分離できるため、ベッドに車椅子が隣接していたとしてもベッドのみを抽出することが可能である。判定のためのＬＵＴは、複数物体の分離と１つの物体の結合の優先順位に応じて作成してもよい。

図１５は、実施例４に係る演算部２０ｃのブロック図である。図１５で例示するように、演算部２０ｃが実施例３の演算部２０ｂと異なる点は、距離測定部２１の代わりに連続距離測定部３１としての機能が備わり、切替部３２の機能が備わっている点である。

連続距離測定部３１は、３次元センサ１０の基準位置から特定角度ごとに対象物までの距離を複数フレームとして連続して測定する。連続距離測定部３１での測定データから特定物体抽出部２８でのベッド抽出処理と、特定物体以外抽出部３０での患者などの抽出処理を切替部３２によって特定フレーム毎に切り替えることで、さらにより小さい閾値でベッドと患者の抽出が可能となる。例えば、３０ｆｐｓで処理する場合、1分毎に1フレームで特定物体を抽出し、残り１７９９フレームで特定物体以外の物体を抽出する。特定物体以外を抽出する際に、切替部３２は、特定物体データ除去部２９に距離Ａを渡し、特定物体以外抽出部３０に点間距離ｘを渡す。また、ＬＵＴ保持部２５ｂは特定物体以外抽出部３０に閾値Ｔを渡す。

なお、上記例では、特定点とその隣接点とが同一物体であるか判定されているが、それに限られない。特定点とその２つ隣の点とが同一物体であるか判定することもできる。この場合、センサ１０の分解能角度を用いて特定点とその２つ隣の点とが同一物体でるか否かを判定してもよい。

（他の例）
図１６は、演算部２０，２０ａ，２０ｂ，２０ｃのハードウェア構成を説明するためのブロック図である。図１６を参照して、演算部２０，２０ａ，２０ｂ，２０ｃは、ＣＰＵ１０１、ＲＡＭ１０２、記憶装置１０３、インタフェース１０４などを備える。これらの各機器は、バスなどによって接続されている。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、中央演算処理装置である。ＣＰＵ１０１は、１以上のコアを含む。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２は、ＣＰＵ１０１が実行するプログラム、ＣＰＵ１０１が処理するデータなどを一時的に記憶する揮発性メモリである。記憶装置１０３は、不揮発性記憶装置である。記憶装置１０３として、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどのソリッド・ステート・ドライブ（ＳＳＤ）、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。ＣＰＵ１０１が立体抽出プログラムを実行することによって、演算部２０，２０ａ，２０ｂ、２０ｃの各部の機能が実現される。または、演算部２０，２０ａ，２０ｂ，２０ｃは、専用の回路などのハードウェアであってもよい。

以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０ ３次元センサ
２０ 演算部
２１ 距離測定部
２２ 形状算出部
２３ 同一物体判定部
２４ 物体抽出部
２５ ＬＵＴ保持部
２６ 特定物体寸法保持部
２７ 特定物体領域保持部
２８ 特定物体抽出部
２９ 特定物体データ除去部
３０ 特定物体以外抽出部
３１ 連続距離測定部
３２ 切換部
１００ 立体抽出装置

Claims (6)

1. ３次元センサが測距する第１測定点および第２測定点が同一物体の点であるか閾値を用いて判定する際に、前記３次元センサが測定する前記第１測定点までの距離と、前記第１測定点および前記第２測定点を結ぶ線と前記３次元センサの焦点および前記第１測定点を結ぶ線とがなす角度と、に基づいて前記閾値を調整することを特徴とする立体抽出方法。
2. 前記焦点と前記第１測定点とを結ぶ線と、前記焦点と前記第２測定点とを結ぶ線とがなす角度は、前記３次元センサの分解能角度であることを特徴とする請求項１記載の立体抽出方法。
3. 前記３次元センサが測定する前記第１測定点までの距離と、前記第２測定点および前記第１測定点を結ぶ線と前記焦点と前記第１測定点とを結ぶ線とがなす角度と、に対応するルックアップテーブルから、前記閾値を取得することを特徴とする請求項１または２記載の立体抽出方法。
4. 前記３次元センサのセンシング領域の一部の領域における複数の測定点について同一物体の点であるか判定することによって、前記一部の領域における特定物体を抽出し、
   あらかじめ保持しておいた前記特定物体の寸法に基づいて前記特定物体の全体を推定することを特徴とする請求項１〜３のいずれか一項に記載の立体抽出方法。
5. 前記特定物体に係る測定データ以外の測定データから、前記特定物体以外の物体を抽出し、
   前記特定物体を抽出するための前記閾値と、前記特定物体以外の物体を抽出するための前記閾値とを異ならせることを特徴とする請求項４記載の立体抽出方法。
6. ３次元センサのある基準位置から分解能角度毎に前記３次元センサの測定範囲内の第１測定点及び第２測定点までの距離を測定する距離測定部と、
   前記距離測定部で測定され前記基準位置から前記第１測定点及び前記基準位置から前記第２測定点までの距離と、前記基準位置から前記第１測定点と前記第２測定点との間の角度又は、前記基準位置と前記第１測定点及び前記第２測定点の位置関係から、前記基準位置と前記第１測定点及び前記第２測定点で構成する三角形の形状を算出する形状算出部と、
   前記形状算出部で算出された三角形の形状に基づいて決定される閾値に基づいて、前記３次元センサが測距する前記第１測定点および前記第２測定点が同一物体の点であるか判定する判定部と、を備えることを特徴とする立体抽出装置。

Images