JP2014035302A - 対象物検出装置、対象物検出方法、プログラム - Google Patents

対象物検出装置、対象物検出方法、プログラム Download PDF

Info

Publication number
JP2014035302A
JP2014035302A JP2012177519A JP2012177519A JP2014035302A JP 2014035302 A JP2014035302 A JP 2014035302A JP 2012177519 A JP2012177519 A JP 2012177519A JP 2012177519 A JP2012177519 A JP 2012177519A JP 2014035302 A JP2014035302 A JP 2014035302A
Authority
JP
Japan
Prior art keywords
pixel
information
distance
image
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012177519A
Other languages
English (en)
Inventor
Nobuhiro Miichi
伸裕 見市
Tomoharu Nakahara
智治 中原
Sho Ikemura
翔 池村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2012177519A priority Critical patent/JP2014035302A/ja
Priority to PCT/JP2013/003272 priority patent/WO2014024364A1/ja
Priority to TW102123886A priority patent/TW201415415A/zh
Publication of JP2014035302A publication Critical patent/JP2014035302A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】対象物に関する所要情報を抽出する際に、信頼性の低い画素を除外することによって、抽出される所要情報の精度を高めることを可能にする。
【解決手段】対象物検出装置1は、計測装置20と処理装置10とを備える。計測装置20は、複数個の画素に対象空間をマッピングし、画素ごとに対象空間に関する距離情報を対応付けた距離画像を生成する。処理装置10は、信頼度評価部13と不定画素除外部14と情報抽出部15とを備える。信頼度評価部13は、画素ごとに周辺画素との距離変化の程度を表す評価値を求める。不定画素除外部14は、周辺画素との間の距離変化の程度が大きく信頼度評価部13が求めた評価値が許容範囲を逸脱している画素を不定画素として除外する。情報抽出部15は、不定画素除外部14に除外されなかった画素を用いて対象物に関する所要情報を抽出する。
【選択図】図1

Description

本発明は、画像を用いて対象空間に存在する対象物の情報を検出する対象物検出装置、対象物検出方法、対象物検出装置を実現するプログラムに関するものである。
従来から、2次元に配列されている複数個の画素に対象空間をマッピングし、画素ごとに対象空間に関する距離情報を対応付けた距離画像を生成する計測装置を用いることにより、対象空間に存在する対象物の情報を検出する対象物検出装置が知られている。この種の対象物検出装置は、計測装置が生成した距離画像に含まれる距離情報を用いることにより、対象空間に存在する対象物に関して、形状、種類、個数などの所要情報を抽出する機能を有する。
たとえば、特許文献1には、対象物(検出対象)が含まれない距離画像(背景距離画像)と、対象物の存否を検出する対象距離画像との差画像(差分距離画像)を生成し、差分距離画像を2値化することにより対象物の存在領域を抽出する技術が記載されている。特許文献1には、差画像に含まれるノイズ成分や誤差成分の影響を軽減するために、背景距離画像と対象距離画像との測距精度の信頼性の評価を行い、評価結果に基づいて差画像から対象物の候補となる画素を抽出することが記載されている。
つまり、背景距離画像と対象距離画像との両方について各画素の測距精度の信頼性を信頼度として評価し、背景距離画像の各画素値の信頼度と対象距離画像の各画素値の信頼度とを組み合わせることにより、差分距離画像の各画素を分類している。特許文献1に記載された技術では、距離画像において着目する画素の近傍領域では画素値(距離値)の差が小さいと推定し、近傍領域において画素値が他の画素とは大きく異なる場合に当該画素の画素値の信頼度が低くなるように信頼度を算出している。
具体的には、距離画像において着目する画素を中心として、N×M画素(N,Mは自然数)の大きさの近傍領域が設定され、近傍領域における画素値の分散の関数として信頼度が求められている。さらに、個々の画素について信頼度を求める技術のほかに、着目する画素の近傍領域に含まれる全画素をそれぞれ中心としてN×M画素の大きさで設定した近傍領域の分散の総和を信頼度に用いる技術も記載されている。
登録第4389602号公報
特許文献1に記載された技術は、背景距離画像および対象距離画像のすべての画素について、画素値(距離情報)のばらつきの程度(分散)を求め、ばらつきの大きい領域は信頼度が低いという評価を行っている。そのため、背景距離画像と対象距離画像との2種類の距離画像の全画素について分散を算出しなければならず、演算のための処理負荷が大きくなるという問題がある。
特許文献1に記載された技術は、対象物の反射特性や周囲光量に起因して距離情報の信頼性が低下している場合にもロバストに対象物を検出することを可能にしているが、対象物の境界付近で生じる計測精度の低下についてはとくに考慮していない。したがって、対象物に関する位置や形状などの所要情報を抽出する際に、対象物の境界付近における信頼性の低い情報を含む画素を用いる可能性があり、結果的に、画像を用いて求めた対象物の位置や形状の精度が低くなる可能性がある。
本発明は、対象物に関する所要情報を抽出する際に、信頼性の低い画素を除外することによって、抽出される所要情報の精度を高めることを可能にする対象物検出装置および対象物検出方法を提供することを目的とし、さらに、この対象物検出装置を実現するプログラムを提供することを目的とする。
本発明に係る対象物検出装置は、2次元に配列されている複数個の画素に対象空間をマッピングし、前記画素ごとに前記対象空間に関する距離情報を対応付けた距離画像を生成する計測装置と、前記画素に対応付けた距離情報を用いることにより前記画素ごとに周辺画素との距離変化の程度を表す評価値を求める信頼度評価部と、周辺画素との間の距離変化の程度が大きく前記信頼度評価部が求めた前記評価値が許容範囲を逸脱している前記画素を不定画素として除外する不定画素除外部と、前記不定画素除外部に除外されなかった前記画素を用いて前記対象空間に存在する対象物に関する所要情報を抽出する情報抽出部とを備えることを特徴とする。
この対象物検出装置において、前記信頼度評価部は、前記計測装置が生成した距離画像の空間微分により得られる前記画素ごとの微分強度値の関数として前記評価値を求め、前記許容範囲は上限値で定められ、前記評価値が前記許容範囲以上である前記画素を不定画素として除外することが好ましい。
この対象物検出装置において、前記信頼度評価部は、前記計測装置が生成した距離画像の距離情報に関する度数分布から求められる度数の関数として前記評価値を求め、前記許容範囲は下限値で定められ、前記評価値が前記許容範囲以下である前記画素を不定画素として除外することが好ましい。
この対象物検出装置において、前記情報抽出部は、前記対象空間において抽出すべき対象物が存在しない状態の距離画像を基準画像とし、前記計測装置が生成した距離画像と前記基準画像とのうち前記不定画素を除く領域の差画像において、画素値である差分値が規定した閾値以上である画素群からなる領域を前記対象物の候補領域として抽出し、さらに、前記候補領域のうち距離情報が前記対象物に関する既知の特徴を満たす領域を前記対象物に対応する領域として抽出することが好ましい。
この対象物検出装置において、前記計測装置は、所定の時間間隔で距離画像を生成する機能を有し、前記情報抽出部は、前記計測装置が生成した距離画像のうち着目時点に対してあらかじめ定めた参照時間内に得られる距離画像を基準画像とし、着目時点の距離画像と前記基準画像とのうち前記不定画素を除く領域の差画像において、画素値である差分値が規定した閾値以上である画素群からなる領域を前記対象物の候補領域として抽出し、さらに、前記候補領域のうち距離情報が前記対象物に関する既知の特徴を満たす領域を前記対象物に対応する領域として抽出することが好ましい。
この対象物検出装置において、前記計測装置は、前記画素ごとに対象空間に関する輝度情報を対応付けた濃淡画像を生成する機能を有し、前記情報抽出部は、前記対象空間において抽出すべき対象物が存在しない状態の濃淡画像を基準画像とし、前記計測装置が生成した濃淡画像と前記基準画像とのうち前記不定画素を除く領域の差画像において、画素値である差分値が規定した閾値以上である画素群からなる領域を前記対象物の候補領域として抽出し、さらに、前記候補領域のうち輝度情報が前記対象物に関する既知の特徴を満たす領域を前記対象物に対応する領域として抽出することが好ましい。
この対象物検出装置において、前記計測装置は、前記画素ごとに対象空間に関する輝度情報を対応付けた濃淡画像を所定の時間間隔で生成する機能を有し、前記情報抽出部は、前記計測装置が生成した濃淡画像のうち着目時点に対してあらかじめ定めた参照時間内に得られる濃淡画像を基準画像とし、着目時点の濃淡画像と前記基準画像とのうち前記不定画素を除く領域の差画像において、画素値である差分値が規定した閾値以上である画素群からなる領域を前記対象物の候補領域として抽出し、さらに、前記候補領域のうち輝度情報が前記対象物に関する既知の特徴を満たす領域を前記対象物に対応する領域として抽出することが好ましい。
この対象物検出装置において、前記情報抽出部は、実空間である前記対象空間と等価な仮想空間に世界座標を設定し、前記候補領域に含まれる前記画素の2次元の位置と前記画素ごとの距離情報との組合せを前記世界座標の座標位置に変換することにより、前記候補領域を前記世界座標にマッピングし、前記世界座標にマッピングされた前記候補領域の形状に関する特徴を、既知である前記対象物の特徴と比較することにより、既知である前記対象物の存否の判定結果を前記所要情報として抽出することが好ましい。
この対象物検出装置において、前記情報抽出部は、実空間である前記対象空間と等価な仮想空間に世界座標を設定し、前記候補領域に含まれる前記画素の2次元の位置と前記画素ごとの距離情報との組合せを前記世界座標の一つの平面に射影することにより、前記候補領域の3次元の情報を前記世界座標の前記平面に2次元の情報としてマッピングし、前記世界座標にマッピングされた前記候補領域の形状に関する特徴を、既知である前記対象物の特徴と比較することにより、既知である前記対象物の存否の判定結果を前記所要情報として抽出することが好ましい。
この対象物検出装置において、前記情報抽出部は、既知である前記対象物が存在する場合、前記候補領域の位置の時系列を評価することにより、前記対象物の位置変化および移動速度を算出することが好ましい。
この対象物検出装置において、前記情報抽出部は、実空間である前記対象空間と等価な仮想空間に世界座標を設定し、前記候補領域に含まれる前記画素の2次元の位置と前記画素ごとの距離情報との組合せを前記世界座標の一つの平面に射影することにより、前記候補領域の3次元の情報を前記世界座標の前記平面に2次元の情報としてマッピングし、前記世界座標にマッピングされた前記候補領域に既知であるテンプレートを重ね合わせて一致の程度を評価し、一致の程度が最大になるときに、前記テンプレートの位置を前記対象物の位置とみなすことが好ましい。
この対象物検出装置において、前記情報抽出部は、前記対象物に対応する領域の位置を前記対象物の位置として求めることが好ましい。
本発明に係る対象物検出方法は、2次元に配列されている複数個の画素に対象空間をマッピングし、前記画素ごとに対象空間に関する距離情報を対応付けた距離画像を計測装置が生成する過程と、前記画素に対応付けた距離情報を用いることにより前記画素ごとに周辺画素との距離変化の程度を表す評価値を信頼度評価部とが求める過程と、周辺画素との間の距離変化の程度が大きく前記信頼度評価部が求めた前記評価値が許容範囲を逸脱している前記画素を不定画素除外部が不定画素として除外する過程と、前記不定画素除外部に除外されなかった前記画素を用いて情報抽出部が前記対象空間に存在する対象物に関する所要情報を抽出する過程とを備えることを特徴とする。
本発明に係るプログラムは、2次元に配列されている複数個の画素に対象空間をマッピングし、前記画素ごとに対象空間に関する距離情報を対応付けた距離画像を生成する計測装置とともに用いられるコンピュータを、前記画素に対応付けた距離情報を用いることにより前記画素ごとに周辺画素との距離変化の程度を表す評価値を求める信頼度評価部と、周辺画素との間の距離変化の程度が大きく前記信頼度評価部が求めた前記評価値が許容範囲を逸脱している前記画素を不定画素として除外する不定画素除外部と、前記不定画素除外部に除外されなかった前記画素を用いて前記対象空間に存在する対象物に関する所要情報を抽出する情報抽出部として機能させるものである。
本発明の構成によれば、距離画像において画素ごとに周辺画素との距離変化の程度を評価し、距離変化の程度が大きい画素を除外して対象物に関する所要情報を抽出する構成を採用したことにより、対象物に関して抽出される所要情報の精度を高めることが可能になるという利点を有する。
実施形態を示すブロック図である。 同上における距離情報の一例を示す図である。 同上の動作説明図である。 同上の使用例における濃淡画像を示す図である。 同上を照明器具の制御に用いる例を示す図である。 同上をジェスチャ操作による装置の制御に用いる例を示す図である。 同上をベッドの監視に用いる例を示す図である。
以下に説明する実施形態では、2次元に配列されている複数個の画素の対象空間をマッピングし、画素ごとに対象空間に関する距離情報を対応付けた距離画像を生成する計測装置が用いられる。この計測装置は、対象空間に関する距離情報を取得できれば、距離情報を取得するために採用する技術についてはとくに問わない。以下の実施形態で用いられる計測装置は、ステレオビジョンの技術により距離情報を取得する構成を採用する場合を想定している。ただし、計測装置は、飛行時間法、光切断法、位相シフト法などの周知の技術が採用されていてもよい。
どの技術を採用する場合であっても、距離画像の各画素は距離情報だけではなく、輝度情報を容易に対応付けられることが望ましい。すなわち、計測装置において対象空間がマッピングされる画素は、距離情報だけではなく、輝度情報も対応付けられることが望ましい。言い換えると、計測装置は、距離画像と濃淡画像とを生成することが望ましい。以下では、とくに断りがなければ、距離情報と輝度情報との両方を用いる場合を想定する。
図1に示すように、計測装置20は処理装置10と併せて用いられることにより対象物検出装置1を構成する。処理装置10は、以下に説明する機能を実現するために、専用のハードウェアで構成される場合と、プログラムを実行する汎用のコンピュータで構成される場合とがある。
以下に説明する実施形態では、対象空間が室内空間であって、計測装置20は室内の天井において中央付近に配置される例を想定する。計測装置20は、下向きに取り付けられており、室内の全体を監視できるように広い視野を有するように構成される。ただし、このような構成および配置は実施形態を説明するための例であって、構成を限定する趣旨ではない。
処理装置10は、計測装置20が接続されるインターフェイス部(以下、「I/F部」と記載する)111と、処理装置10が抽出した所要情報を外部に出力させるI/F部112とを備える。I/F部112から出力される所要情報の具体例は後述する。
I/F部111を通して計測装置20から取得した距離画像および濃淡画像は、記憶部12に格納される。記憶部12は、距離画像が格納される距離画像記憶部121と、濃淡画像が記憶される濃淡画像記憶部122とを備える。距離画像記憶部121と濃淡画像記憶部122とは、ともに画素に対応した記憶領域を有し、記憶領域ごとに距離情報および輝度情報が格納される。
ところで、距離画像や濃淡画像を用いて対象物に関して、形状、種類、個数などの所要情報を抽出しようとすれば、距離画像や濃淡画像の中で対象物が占有する領域を確定しなければならない。濃淡画像では、濃淡画像の中で対象物が占有する領域は、対象物に照射される光の向きや強さとの関係によって変化する可能性があり、対象物のエッジを確定できない場合がある。また、距離画像では、理論的には、対象物に照射される光の向きや強さの影響を受けないが、対象物が立体物であれば、対象物のエッジ付近で距離情報が比較的大きく変化するから、対象物のエッジを確定できない場合がある。
本実施形態は、距離画像において対象物が立体物であれば、対象物のエッジ付近で距離情報が比較的大きく変化することを利用し、距離情報が比較的大きく変化する場合に、対象物のエッジ付近であると推定している。言い換えると、距離画像において、距離情報が比較的大きく変化している領域を対象物が占有する領域から除外することによって、対象物のエッジを確定し、対象物に関してほぼ一定の条件で所要情報を抽出可能にしている。
処理装置10は、対象物のエッジ付近の距離情報の変化を抽出するために、距離画像記憶部121に格納された距離画像から画素ごとに周辺画素との距離変化の程度を表す評価値を求める信頼度評価部13を備える。また、処理装置10は、距離画像においてエッジ付近の距離情報を対象物が占有する領域から除外するために、信頼度評価部13が求めた評価値を許容範囲と比較し、評価値が許容範囲を逸脱している画素を不定画素として除外する不定画素除外部14を備える。さらに、処理装置10は、不定画素除外部14に除外されなかった画素を用いて対象空間に存在する対象物に関する所要情報を抽出する情報抽出部15を備える。
すなわち、処理装置10は、信頼度評価部13において、距離画像から対象物に関する所要情報の抽出に採用可能な画素か否かを判断する処理と、不定画素除外部14において、対象物に関する所要情報の抽出には採用しない画素を除外する処理とを順に行う。さらに、処理装置10は、情報抽出部15において、不定画素除外部14に除外されなかった画素を用い、対象物に関する所要情報を抽出する。情報抽出部15は、対象物に関して処理装置10の使用目的に応じた所要情報を抽出する。たとえば、対象物が検出されたことを報知する目的であれば、I/F部112は報知装置に報知信号を出力するように構成される。また、対象物が検出されたことを契機として負荷装置を制御する目的であれば、I/F部112は負荷装置に制御信号を出力するように構成される。
以下では、不定画素を抽出する技術を具体的に説明する。いま、距離画像の一直線上に並ぶ画素に、図2のように距離情報が対応付けられている場合を想定する。計測装置20が天井に配置され視野が下向きに設定されている場合、対象空間において床面上に存在する対象物との距離は床面よりも小さくなる。また、接して隣り合う画素間の距離情報の差が規定範囲内である画素が連続して複数個存在する場合、これらの複数個の画素は、対象物または床面に対応していると推定される。したがって、距離情報の変化が少ない領域のうち最遠方の画素の領域R1,R2,R3は床面に対応すると推定され、距離情報の変化が少ない領域のうち床面よりも近い領域R4,R5は対象物に対応すると推定される。
図からわかるように、床面に対応すると推定される領域R1,R2,R3と、対象物に対応すると推定される領域R4,R5との境界となる領域R6,R7,R8,R9、すなわち、対象物のエッジ付近の領域では、距離情報が比較的大きく変化している。この知見によれば、距離情報が比較的大きく変化している領域R6,R7,R8,R9は、対象物のエッジ付近の領域を含むことが予想される。そのため、上述したように、信頼度評価部13が距離情報の変化の程度を評価する評価値を求め、この評価値を用いて、不定画素除外部14が距離情報の変化の程度が許容範囲より大きい領域に含まれる画素を不定画素として除外するのである。
距離情報の変化の程度を評価する評価値は、距離画像の空間微分により得られる画素ごとの微分強度値の関数が用いられる。着目する画素をPiとし、画素Piの8近傍の画素P1〜P8の画素値をE1〜E8とするとき、画素Piの微分強度値Diは、ここでは、次式で定義される。
Di=(Dx+Dy1/2
Dx=(E1+E4+E6)−(E3+E5+E8)
Dy=(E1+E2+E3)−(E6+E7+E8)
ここに、画素P1〜P8は、画素Piを中心として、左上、上、右上、左、右、左下、下、右下に位置する画素をそれぞれ表している。言い換えると、3×3個の正方格子における中心が画素Piであって、上列の並びが画素P1,P2,P3、下列の並びが画素P6,P7,P8、左列の並びが画素P1,P4,P6、右列の並びが画素P3,P5,P8に相当する。
微分強度値Diの定義から明らかなように、微分強度値Diは、着目する画素Piについて周辺画素の濃度勾配の大きさを表している。上述した微分強度値Diは、8近傍を用いて定義しているが、4近傍、16近傍などを用いて定義した微分強度値Diを採用することも可能である。評価値は、微分強度値Diを含む関数(微分強度値Diの単調関数の絶対値が望ましい)を採用する。図2の例では、領域R6〜R9における濃度勾配は、他の領域R1〜R5の濃度勾配よりも大きい値になる。たとえば、評価値が微分強度値Diの絶対値である場合、不定画素除外部14は、評価値の許容範囲として上限値を定め、評価値が許容範囲以上である画素を不定画素として除外する。
評価値は、微分強度値Diのほか、距離情報の度数を用いてもよい。たとえば、図2の例において、計測装置20により計測可能な距離情報の範囲を0〜4500mmとして、500mmずつの区間に区切った度数分布を求める場合を想定する。この場合、領域R1〜R3に対応する3000〜3500mmの区間の度数が最大になり、領域R5に対応する500〜1000mmの区間の度数が次に大きくなる。また、領域R6〜R9に対応する1000〜3500mmの範囲の5区間については、500〜1000mmの区間および3000〜3500mmの区間とは明確に区別される程度に度数が小さくなる。したがって、度数分布が大きい区間の距離情報は信頼度が高く、度数分布が小さい区間の距離情報は信頼度が低いと推定される。
距離情報の度数を用いる場合、信頼度評価部13は、計測装置20が取得した距離画像の距離情報に関する度数分布を生成し、度数分布における各区間の度数の関数として評価値を求める。すなわち、距離画像における画素ごとに、画素に対応する距離情報が、どの区間に属するかに応じて当該区間の度数に応じた評価値を定める。評価値は、度数の単調増加関数であることが望ましい。この場合、不定画素除外部14は、評価値の許容範囲として下限値を定め、評価値が許容範囲以下である画素を不定画素として除外する。
上述のように、信頼度評価部13が距離画像に基づいて画素ごとの評価値を定め、不定画素除外部14が評価値を判断して不定画素を除外するから、情報抽出部15は、対象物のエッジ付近である不定画素を考慮することなく、対象物に関する所要情報を抽出することが可能になる。また、評価値として、距離情報の微分絶対値や距離情報の度数を用いるから、評価値の算出が容易であって、評価値を少ない処理負荷で高速に算出することが可能である。
本実施形態の原理を直観的に理解するために図3を用いて説明する。図3(a)のように、計測装置20の視野に対象物30が存在する場合、対象物30のエッジ付近では上述のように距離情報が大きく変化する領域R10(図2の領域R6〜R9に相当)が生じる。図3(b)のように、距離画像において、領域R10は対象物30に対応する領域R11を囲むように形成される。信頼度評価部13は、領域R10に含まれる画素と領域R10に含まれない画素とを区別するための標識としての評価値を各画素に付与していることになる。不定画素除外部14は、領域R10に含まれる画素を不定画素として除外し、図3(c)のように、領域R10を除外した画像を生成する。
ここに、図3(c)は距離画像と濃淡画像との少なくとも一方であればよい。距離画像および濃淡画像の画素には対象空間がマッピングされているから、距離情報と輝度情報とは対象空間の同じ場所に関する情報を表している。したがって、対象物30に関する所要情報は、情報の種類に応じて、距離情報と輝度情報とを適宜に用いて抽出される。また、図示例では、図3(b)に示されている領域R12が図3(c)には示されていないが、これは領域R12に含まれる画素を不定画素として除外したのではなく、領域R12を対象外として除外した結果である。対象外の画素を除外する技術については後述する。
以下では、情報抽出部15が着目する対象物を抽出する技術について説明する。計測装置20は、距離画像と濃淡画像とを所定の時間間隔で生成する機能を有しており、距離画像および濃淡画像の動画像を生成することが可能である。もっとも、対象物に関する所要情報は、時間経過に伴って変化する情報ばかりではなく、所定時刻の情報のみが必要になる場合もある。したがって、対象物に関して抽出する所要情報の種類によっては、計測装置20は、距離画像および濃淡画像の静止画像を生成する構成であってもよい。
計測装置20は、上述した動作から明らかなように、距離画像を生成することが必須であるが、濃淡画像を生成することは必須ではない。さらに、計測装置20は、対象物に関して抽出しようとする所要情報に応じて、動画像と静止画像との少なくとも一方を生成する。
以下の構成例では、計測装置20が、距離画像と濃淡画像との動画像を生成する場合を例示する。ただし、計測装置20が距離画像のみを用いる場合について先に説明し、その後、濃淡画像を併せて利用する場合について説明する。
情報抽出部15は、まず、距離画像の中で対象物が存在する領域の候補を抽出する。そのため、情報抽出部15は、対象物が存在しない状態の距離画像を基準画像として取得した後、計測装置20で生成された距離画像と基準画像との差画像を生成する。差画像は、計測装置20で生成された距離画像と基準画像における同位置の画素に対応する画素値の差分値を各画素に対応付けた画像である。
ここに、対象物を含む距離画像から対象物を含まない基準画像を減算して差画像を生成したとすれば、理想的には、差画像の画素値は対象物が存在する領域でのみ0以外の値になる。しかしながら、現実的には、対象物が存在しない領域であっても差分値が0にならない場合がある。差分値が0にならない原因としては、たとえば、計測装置20の測定誤差、計測装置20の内部雑音などが考えられる。そこで、情報抽出部15は、差画像において画素値が所定の閾値未満である画素については、画素値を0として扱う。
基準画像は、対象空間に対象物が存在しない状態において、記憶部12に設けられた基準画像記憶部123に格納される。基準画像は、対象空間に対象物が存在しない状態の画像であるから背景を表しており、基準画像は背景画像と言える。この基準画像には、対象空間において固定的に配置されている物体が含まれていてもよい。たとえば、図3における領域R12は、対象空間において固定的に配置された物体を表しており、計測装置20により生成された距離画像と基準画像との差画像では、対象物から除外されている。基準画像記憶部123に基準画像を登録するタイミングは、処理装置10に設けられたスイッチのような操作部(図示せず)を利用者が操作することにより指示される。
情報抽出部15は、差画像において不定画素を除く領域について、上述した閾値以上の画素を抽出する。抽出された画素は、対象物が存在する領域の候補になるが、対象物に対応していない画素を含んでいる可能性がある。一方、対象物の種類が定まっている場合、計測装置20の視野内で対象物が存在する領域に応じて、対象物が距離画像に占める面積の範囲はほぼ決まることになる。そこで、情報抽出部15は、差画像において上述した閾値以上の画素であって不定画素を除いた画素が、複数画素からなる連結領域を形成している場合、連結領域の面積(画素数)を求める。
連結領域は、画素値が閾値以上である画素が接して存在している領域を意味する。要するに、画素値が閾値以上である画素という条件を満たす画素が、隙間なく隣り合わせに存在することにより形成される画素群により形成された領域を連結領域と呼ぶ。
対象物が人である場合には、連結領域の面積だけではなく、連結領域の最大幅あるいは連結領域の最大幅と最小幅との比、連結領域の最高点と床面との距離などを特徴量に用いることにより、対象物の種類の識別に用いることが可能である。このように対象物の3次元情報を用いることができるのは、計測装置20が距離画像を生成するからである。
ここに、対象物の3次元情報を用いることにより対象物の特徴量を評価する場合には、計測装置20を基準として設定された装置座標から、対象空間に相当する仮想空間に設定された直交座標系である世界座標への座標変換を行うことが望ましい。装置座標から世界座標への座標変換を行うと、以下の理由により対象物の評価が容易になる。なお、装置座標から世界座標への座標変換は必須ではなく、装置座標の座標値を用いて対象物を評価することも可能である。
装置座標は、計測装置20から対象空間を見込む方向と対象空間における距離とによって対象空間における座標位置を特定している。そのため、装置座標で表される空間に占める対象物のサイズが、計測装置20の視野内において対象物が存在する位置によって変化する。これに対して、直交座標系である世界座標を用いると、世界座標で表される仮想空間に占める対象物のサイズは、世界座標において対象物が存在する位置によって変化することはない。したがって、対象物の寸法を特徴量に用いる場合には、世界座標に変換することにより、特徴量と比較する基準を仮想空間での対象物の位置によって変化させる必要がなく、特徴量の評価を簡単に行うことが可能になる。
以上説明したように、情報抽出部15は、差画像について規定した閾値以上である画素群からなる領域を対象物の候補領域として抽出し、候補領域のうち対象物の既知の特徴量(上述の例では寸法)を満たす領域を対象物に対応する領域として抽出する。対象物の特徴量としては、対象物の形状(輪郭線形状や輪郭線内の特定形状)を用いたり、場合によっては反射率や色などの情報を用いることも可能である。
上述した動作例では、対象物が存在しない状態の基準画像を基準画像記憶部123に格納している。そのため、基準画像を基準画像記憶部123に登録するタイミングを利用者が指示する構成が必要になっている。これに対して、計測装置20が動画像を出力する機能を利用し、所定の時間間隔で生成される距離画像のうち、あらかじめ定めた参照時間内に得られる距離画像を基準画像に用いてもよい。参照時間は、対象物を抽出しようとする着目時点に対してあらかじめ定められている。
たとえば、対象物検出装置1がオフィスにおいて対象物として人を検出する目的で用いられる場合、着目時点はオフィスに人が存在する時間帯であり、参照時間は夜間などオフィスに人が存在しない時間帯として定めることができる。この構成を採用することにより、基準画像記憶部123に基準画像を格納するタイミングを利用者が指示しなくとも、必要な基準画像を自動的に基準画像記憶部123に取り込むことが可能になる。また、日毎に基準画像を自動的に更新するようにしておけば、対象空間におけるレイアウトの変更などが生じた場合でも、遅くとも1日後にはレイアウトの変更が基準画像に反映されるから、対象空間の最新の状態に応じた基準画像を用いて対象物を精度よく検出することが可能になる。
上述した動作例は、情報抽出部15が距離画像を用いて対象物が存在する領域を抽出しているが、距離画像に代えて濃淡画像を用いて対象物が存在する領域を抽出してもよい。この場合、対象物を含む画像と基準画像とはともに濃淡画像であり、差画像の画素値は輝度値に関する差分値になる。そのため、対象物の特徴量として3次元情報を用いることはできないが、輪郭線形状のほか、凹凸のない模様などの情報を特徴量として用いることが可能である。
基準画像として濃淡画像を用いる場合も、着目時点に対して参照時間があらかじめ定められていてもよい。この場合、参照時間内に得られる濃淡画像を基準画像とし、着目時点において計測装置20が生成した濃淡画像と、基準画像記憶部123に格納された基準画像との差画像を用いて対象物に関する既知の特徴を満たす領域を対象物に対応する領域として抽出してもよい。
なお、距離画像を用いる動作と濃淡画像を用いる動作とは、それぞれ単独で用いるだけではなく、両方を用いるようにしてもよい。距離画像を用いることにより3次元情報を利用することが可能であり、また、濃淡画像を用いることにより凹凸のない模様などを利用することが可能になる。したがって、距離画像と濃淡画像とを併せて用いることにより、種々の対象物を精度よく検出することが可能になる。
ところで、すでに述べたように、計測装置20に設定された装置座標から直交座標系である世界座標への座標変換が行われることにより、世界座標において対象物の位置が変化してもサイズや形状が変化することはない。したがって、情報抽出部15は、差画像から抽出した対象物の候補領域について、世界座標への座標変換を行った後に、当該領域の形状を対象物の形状に関する特徴と比較する。すなわち、情報抽出部15は、既知の対象物の形状に関する特徴と候補領域の形状とを比較することにより、対象空間に既知の対象物の存否を判定することが可能になる。
たとえば、情報抽出部15は、座標変換後の候補領域と、既知の対象物の形状に関するテンプレートとの一致の程度を定量的に判定し、テンプレートの一致の程度が基準値以上であれば既知の対象物と判断する。対象物の形状に関する特徴は、距離画像と濃淡画像とのどちらかを単独で用いて判定するほか、距離画像と濃淡画像とにおいてそれぞれ判定した結果が一致する場合に、既知の対象物と判定することも可能である。
ところで、距離画像から求めた候補領域は3次元情報を含んでいるから、既知の対象物の形状に関する特徴と候補領域の形状に関する特徴とを比較する際に、比較すべき情報量が多く、処理負荷が大きくなる可能性がある。そこで、候補領域の3次元の情報を世界座標に規定した一つの平面(たとえば、床面に平行な平面)に射影することにより、3次元の情報を2次元の情報としてマッピングしてもよい。この場合、3次元の情報を2次元の情報に圧縮するから情報量が低減され、そのため、対象物の形状に関する特徴を比較する際の処理負荷が低減され、結果として処理速度の向上が期待できる。
情報抽出部15は、上述した処理により、候補領域が既知の対象物に対応しているか否かを判定し、対象空間における既知の対象物の存否を検出する。さらに、情報抽出部15は、検出した対象物の位置を計測する機能も備える。対象物の位置は、距離画像と濃淡画像とのどちらを用いても計測可能であるが、距離画像を用いる場合、候補領域を世界座標における一つの平面(たとえば、床面に平行な平面)に射影し、3次元の情報を2次元の情報としてマッピングすることが望ましい。この処理によって、3次元の情報が2次元の情報に圧縮され、対象物の位置を検出する際の処理負荷が軽減される。
対象物の位置を検出する場合、情報抽出部15は、対象物の候補領域の位置を対象物の位置として求めることが可能である。この場合、候補領域の重心位置を対象物の位置に用いればよい。情報抽出部15は、世界座標の一平面における候補領域の占有範囲を、当該平面を規定する2本の座標軸に沿う2方向の範囲として求め、各方向の中点の座標位置を対象物の位置として用いてもよい。
また、情報抽出部15は、候補領域から対象物の位置を検出する際に、世界座標にマッピングされた候補領域と、既知であるテンプレートとを重ね合わせて一致の程度を評価し、一致の程度が最大になるときのテンプレートの位置を対象物の位置と判断してもよい。たとえば、上から見た人の形状を単純化した楕円形あるいは長方形のテンプレートを用い、床面に平行な平面に投影した候補領域の形状とテンプレートとの一致の程度を評価すれば、人の位置を判断することができる。また、テンプレートの形状を適宜に設定すれば、人の向きを判断することも可能である。
対象物を抽出する距離画像あるいは濃淡画像が動画像である場合、情報抽出部15は、対象物の位置の時系列を評価することにより、対象物の位置変化および移動速度を対象物に関する所要情報として抽出してもよい。対象物の位置は、上述した処理によって求められるから、距離画像あるいは濃淡画像のフレームごとに対象物の位置を検出することにより、対象物の位置変化あるいは対象物の移動軌跡が算出される。また、対象物の位置変化により対象物の移動距離が求められるから、対象物の移動距離とフレーム数との関係から対象物の移動速度が算出される。つまり、情報抽出部15は、対象物が移動しているか静止しているかの別、対象物が移動している場合は、移動速度、移動軌跡、移動方向などを対象物に関する所要情報として抽出することが可能である。
(使用例1)
上述した対象物検出装置1を、オフィスの天井に配置された複数個の照明器具(図示せず)を制御する目的に使用する例について説明する。したがって、処理装置10のI/F部112は、照明器具の点灯と消灯とを制御する制御信号を出力するように構成される。
また、計測装置20は、ステレオビジョンの技術により距離画像を生成する構成を想定する。計測装置20は、CCDイメージセンサあるいはCMOSイメージセンサのような撮像素子を備えた2台のカメラを備え、それぞれのカメラが生成する画像は濃淡画像になる。したがって、2台のカメラから得られた情報をステレオビジョンの技術を用いて統合することにより距離画像が生成され、いずれか1台のカメラから出力される濃淡画像の出力を用いることにより濃淡画像が得られる。
2台のカメラから得られる濃淡画像をマッチングさせる技術は種々考えられているが、どの技術を採用してもよいからとくに説明しない。ただし、本実施形態は、オフィスの天井に配置した計測装置20を用いて、オフィスの全体を監視することが望ましいから、計測装置20は視野の広い構成が望ましい。そのため、計測装置20は、半球状に形成された魚眼レンズを備えることが望ましい。
図4は一方のカメラで撮像された濃淡画像を示している。また、図5のように、有効な視野40を9m×9mとして、縦方向と横方向とに10個ずつの監視エリア41に分割している。したがって、監視エリア41は、0.9m×0.9mの正方形になる。個々の照明器具は、それぞれの監視エリア41の中央位置に配置される。対象物検出装置1は、それぞれの監視エリア41における人の存否に応じて照明器具の点灯状態を制御する。
ここでは、説明を簡単にするために、人が検出された監視エリア41に配置された照明器具が点灯するという規則を適用する。したがって、複数の監視エリア41に跨って人が検出された場合は、それらの複数の監視エリア41に配置された照明器具が点灯することになる。ただし、人が検出された監視エリア41と点灯させる照明器具とを対応付ける規則は、これに限らず、必要に応じて適宜に設定可能である。
図5に示す例では、人31の存在範囲を白丸に代えて表している。人31の存在範囲は、1個の監視エリア41のみで検出される場合、2個の監視エリア41に跨って検出される場合、4個の監視エリア41に跨って検出される場合の3種類が考えられる。図示例では、人31が検出された監視エリア41に斜線を付している。ここでは、人31が検出された監視エリア41に配置された照明器具が点灯するという規則を採用しているから、人が検出された監視エリア41の個数に応じて照明器具が点灯する。
この使用例は、対象物検出装置1によりオフィスにおける人31の位置を検出し、人31の存在が検出された領域のみで照明器具を点灯させる。そのため、人31の周辺のみの照明を行い、照明による安全性や利便性を確保しながらも、無駄な電力消費を抑制することが可能になる。また、1台の計測装置20を用いてオフィスの全体を視野とすることが可能であるから、同様の制御を行うために、照明器具ごとに人感センサを設ける場合と比較すると、構成が簡単になる。また、計測装置20を1台だけ用いているから、多数個の人感センサを用いる場合よりもコストを低減できる可能性がある。
(使用例2)
対象物検出装置1は、利用者の身体の動きを検出し、検出した動きに応じて装置の動作を指示する目的に用いることが可能である。この場合、距離画像は、不定画素の除去だけではなく、利用者の身体の動きの検出にも用いられる。このような目的に対象物検出装置1を用いる場合、処理装置1の情報抽出部15は、人31(図6参照)を対象物として検出し、さらに検出した人31の着目部位を抽出する機能が必要になる。
着目部位は、たとえば上肢であって、情報抽出部15は、検出した人31の身体における位置および形状の知識を用いて上肢を抽出する。さらに、情報抽出部15は、上肢を関節モデルに当て嵌めることにより、上肢の動きを関節モデルの動きとして抽出する。この処理により、上肢の動きを関節の位置および角度で表し、関節の位置および角度の時系列によって上肢の移動で表現される指示を検出する。すなわち、情報抽出部15は、いわゆるジェスチャ操作の意味を解釈し、I/F部112を通して装置に動作を指示するための制御信号を出力する。
図6に示す例では、人31の上肢の動きを検出しやすいように、情報抽出部15は、人31の位置を基準として監視エリア42を設定している。この監視エリア42は、人31に付随して設定され、人31が移動すれば監視エリア42も移動する。また、情報抽出部15は、監視エリア42の範囲でのみ上肢の動きを検出するように制限している。したがって、不定画素除外部14により不定画素が除外されるだけではなく、上肢の動きを検出する範囲が制限されることにより、上肢の動きを検出する精度が高くなり、誤操作の可能性を低減することが可能になる。
なお、上述した動作例は一例であって、装置の動作を指示するジェスチャ操作は、上肢の動きのほか、手や指の動きを用いるように構成することも可能であり、あるいはまた、上肢ではなく下肢の動きを用いたり、身体全体の動きをジェスチャ操作に用いるように構成することも可能である。したがって、監視エリア42も、人31のどの部位の動きを検出するかに応じて適宜に設定される。
(使用例3)
対象物検出装置1は、ベッドを使用する病人や被介護人について、ベッド周りでの動きを検出し、必要に応じて看護士や介護人に報知する目的で利用することも可能である。たとえば、病人や被介護人は心身が脆弱であるから、ベッド内で寝返りができずに床擦れが生じたり、ベッドからの離床時に転倒したりする可能性がある。したがって、ベッド内での姿勢を監視したり、ベッドからの離床を監視したりすることが要求されている。
上述した対象物検出装置1をこの種の目的で用いる場合、図7に示すように、計測装置20は、ベッド32を視野とするように設置される。また、情報抽出部15は、ベッド32と人31とを、それぞれ対象物30として抽出する。ここでも不定画素除外部14が不定画素を除外しているから、情報抽出部15は、ベッド32と人31とを明確に分離することが可能になる。すなわち、ベッド周りでの病人や被介護人の動きを正確に把握することが可能になる。
この種の目的では、I/F部112は報知装置に対して報知信号を出力するように構成される。情報抽出部15は、ベッドの位置を把握し、かつベッドに対する病人や被介護人の動きを検出することにより、病人や被介護人の動きが、あらかじめ定められた状態になったときに、I/F部112を通して報知装置への報知を行う。
この構成では、病人や被介護人の動きを距離画像を用いて監視する。そのため、病人や被介護人の動きを監視しながらも、プライバシを守ることが可能になる。しかも、不定画素を除外しているから、上述したように、ベッド32と人31とを明確に分離することが可能になり、検出精度が高くなる。
1 対象物検出装置
10 処理装置
13 信頼度評価部
14 不定画素除外部
15 情報抽出部
20 計測装置
31 人(対象物)
32 ベッド(対象物)
121 距離画像記憶部
122 濃淡画像記憶部
123 基準画像記憶部

Claims (14)

  1. 2次元に配列されている複数個の画素に対象空間をマッピングし、前記画素ごとに前記対象空間に関する距離情報を対応付けた距離画像を生成する計測装置と、
    前記画素に対応付けた距離情報を用いることにより前記画素ごとに周辺画素との距離変化の程度を表す評価値を求める信頼度評価部と、
    周辺画素との間の距離変化の程度が大きく前記信頼度評価部が求めた前記評価値が許容範囲を逸脱している前記画素を不定画素として除外する不定画素除外部と、
    前記不定画素除外部に除外されなかった前記画素を用いて前記対象空間に存在する対象物に関する所要情報を抽出する情報抽出部とを備える
    ことを特徴とする対象物検出装置。
  2. 前記信頼度評価部は、前記計測装置が生成した距離画像の空間微分により得られる前記画素ごとの微分強度値の関数として前記評価値を求め、前記許容範囲は上限値で定められ、前記評価値が前記許容範囲以上である前記画素を不定画素として除外する
    ことを特徴とする請求項1記載の対象物検出装置。
  3. 前記信頼度評価部は、前記計測装置が生成した距離画像の距離情報に関する度数分布から求められる度数の関数として前記評価値を求め、前記許容範囲は下限値で定められ、前記評価値が前記許容範囲以下である前記画素を不定画素として除外する
    ことを特徴とする請求項1記載の対象物検出装置。
  4. 前記情報抽出部は、前記対象空間において抽出すべき対象物が存在しない状態の距離画像を基準画像とし、前記計測装置が生成した距離画像と前記基準画像とのうち前記不定画素を除く領域の差画像において、画素値である差分値が規定した閾値以上である画素群からなる領域を前記対象物の候補領域として抽出し、さらに、前記候補領域のうち距離情報が前記対象物に関する既知の特徴を満たす領域を前記対象物に対応する領域として抽出する
    ことを特徴とする請求項1〜3のいずれか1項に記載の対象物検出装置。
  5. 前記計測装置は、所定の時間間隔で距離画像を生成する機能を有し、
    前記情報抽出部は、前記計測装置が生成した距離画像のうち着目時点に対してあらかじめ定めた参照時間内に得られる距離画像を基準画像とし、着目時点の距離画像と前記基準画像とのうち前記不定画素を除く領域の差画像において、画素値である差分値が規定した閾値以上である画素群からなる領域を前記対象物の候補領域として抽出し、さらに、前記候補領域のうち距離情報が前記対象物に関する既知の特徴を満たす領域を前記対象物に対応する領域として抽出する
    ことを特徴とする請求項1〜3のいずれか1項に記載の対象物検出装置。
  6. 前記計測装置は、前記画素ごとに対象空間に関する輝度情報を対応付けた濃淡画像を生成する機能を有し、
    前記情報抽出部は、前記対象空間において抽出すべき対象物が存在しない状態の濃淡画像を基準画像とし、前記計測装置が生成した濃淡画像と前記基準画像とのうち前記不定画素を除く領域の差画像において、画素値である差分値が規定した閾値以上である画素群からなる領域を前記対象物の候補領域として抽出し、さらに、前記候補領域のうち輝度情報が前記対象物に関する既知の特徴を満たす領域を前記対象物に対応する領域として抽出する
    ことを特徴とする請求項1〜3のいずれか1項に記載の対象物検出装置。
  7. 前記計測装置は、前記画素ごとに対象空間に関する輝度情報を対応付けた濃淡画像を所定の時間間隔で生成する機能を有し、
    前記情報抽出部は、前記計測装置が生成した濃淡画像のうち着目時点に対してあらかじめ定めた参照時間内に得られる濃淡画像を基準画像とし、着目時点の濃淡画像と前記基準画像とのうち前記不定画素を除く領域の差画像において、画素値である差分値が規定した閾値以上である画素群からなる領域を前記対象物の候補領域として抽出し、さらに、前記候補領域のうち輝度情報が前記対象物に関する既知の特徴を満たす領域を前記対象物に対応する領域として抽出する
    ことを特徴とする請求項1〜3のいずれか1項に記載の対象物検出装置。
  8. 前記情報抽出部は、
    実空間である前記対象空間と等価な仮想空間に世界座標を設定し、
    前記候補領域に含まれる前記画素の2次元の位置と前記画素ごとの距離情報との組合せを前記世界座標の座標位置に変換することにより、前記候補領域を前記世界座標にマッピングし、
    前記世界座標にマッピングされた前記候補領域の形状に関する特徴を、既知である前記対象物の特徴と比較することにより、既知である前記対象物の存否の判定結果を前記所要情報として抽出する
    ことを特徴とする請求項4〜7のいずれか1項に記載の対象物検出装置。
  9. 前記情報抽出部は、
    実空間である前記対象空間と等価な仮想空間に世界座標を設定し、
    前記候補領域に含まれる前記画素の2次元の位置と前記画素ごとの距離情報との組合せを前記世界座標の一つの平面に射影することにより、前記候補領域の3次元の情報を前記世界座標の前記平面に2次元の情報としてマッピングし、
    前記世界座標にマッピングされた前記候補領域の形状に関する特徴を、既知である前記対象物の特徴と比較することにより、既知である前記対象物の存否の判定結果を前記所要情報として抽出する
    ことを特徴とする請求項4〜7のいずれか1項に記載の対象物検出装置。
  10. 前記情報抽出部は、既知である前記対象物が存在する場合、前記候補領域の位置の時系列を評価することにより、前記対象物の位置変化および移動速度を算出する
    ことを特徴とする請求項5又は7記載の対象物検出装置。
  11. 前記情報抽出部は、
    実空間である前記対象空間と等価な仮想空間に世界座標を設定し、
    前記候補領域に含まれる前記画素の2次元の位置と前記画素ごとの距離情報との組合せを前記世界座標の一つの平面に射影することにより、前記候補領域の3次元の情報を前記世界座標の前記平面に2次元の情報としてマッピングし、
    前記世界座標にマッピングされた前記候補領域に既知であるテンプレートを重ね合わせて一致の程度を評価し、一致の程度が最大になるときに、前記テンプレートの位置を前記対象物の位置とみなす
    ことを特徴とする請求項4〜7のいずれか1項に記載の対象物検出装置。
  12. 前記情報抽出部は、前記対象物に対応する領域の位置を前記対象物の位置として求める
    ことを特徴とする請求項4〜9のいずれか1項に記載の対象物検出装置。
  13. 2次元に配列されている複数個の画素に対象空間をマッピングし、前記画素ごとに対象空間に関する距離情報を対応付けた距離画像を計測装置が生成する過程と、
    前記画素に対応付けた距離情報を用いることにより前記画素ごとに周辺画素との距離変化の程度を表す評価値を信頼度評価部とが求める過程と、
    周辺画素との間の距離変化の程度が大きく前記信頼度評価部が求めた前記評価値が許容範囲を逸脱している前記画素を不定画素除外部が不定画素として除外する過程と、
    前記不定画素除外部に除外されなかった前記画素を用いて情報抽出部が前記対象空間に存在する対象物に関する所要情報を抽出する過程とを備える
    ことを特徴とする対象物検出方法。
  14. 2次元に配列されている複数個の画素に対象空間をマッピングし、前記画素ごとに対象空間に関する距離情報を対応付けた距離画像を生成する計測装置とともに用いられるコンピュータを、
    前記画素に対応付けた距離情報を用いることにより前記画素ごとに周辺画素との距離変化の程度を表す評価値を求める信頼度評価部と、
    周辺画素との間の距離変化の程度が大きく前記信頼度評価部が求めた前記評価値が許容範囲を逸脱している前記画素を不定画素として除外する不定画素除外部と、
    前記不定画素除外部に除外されなかった前記画素を用いて前記対象空間に存在する対象物に関する所要情報を抽出する情報抽出部として機能させるプログラム。
JP2012177519A 2012-08-09 2012-08-09 対象物検出装置、対象物検出方法、プログラム Pending JP2014035302A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012177519A JP2014035302A (ja) 2012-08-09 2012-08-09 対象物検出装置、対象物検出方法、プログラム
PCT/JP2013/003272 WO2014024364A1 (ja) 2012-08-09 2013-05-23 対象物検出装置、対象物検出方法、プログラム
TW102123886A TW201415415A (zh) 2012-08-09 2013-07-03 對象物偵測裝置、對象物偵測方法及程式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012177519A JP2014035302A (ja) 2012-08-09 2012-08-09 対象物検出装置、対象物検出方法、プログラム

Publications (1)

Publication Number Publication Date
JP2014035302A true JP2014035302A (ja) 2014-02-24

Family

ID=50067636

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012177519A Pending JP2014035302A (ja) 2012-08-09 2012-08-09 対象物検出装置、対象物検出方法、プログラム

Country Status (3)

Country Link
JP (1) JP2014035302A (ja)
TW (1) TW201415415A (ja)
WO (1) WO2014024364A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016038796A (ja) * 2014-08-08 2016-03-22 東芝テック株式会社 情報処理装置及びプログラム
JP2017146298A (ja) * 2016-02-18 2017-08-24 株式会社ミツトヨ 形状測定システム、形状測定装置及び形状測定方法
JP2017223461A (ja) * 2016-06-13 2017-12-21 パナソニックIpマネジメント株式会社 レーダ装置および検出方法
EP3309583A1 (en) 2016-10-14 2018-04-18 Fujitsu Limited Distance measuring apparatus, distance measuring method, and distance measuring program
JP2018142358A (ja) * 2018-05-01 2018-09-13 東芝テック株式会社 情報処理装置及びプログラム
JP2019021318A (ja) * 2017-07-20 2019-02-07 タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited 頭部装着装置を使用して関心領域を標識するテレプレゼンスのフレームワーク
US11513221B2 (en) 2018-04-17 2022-11-29 Kabushiki Kaisha Toshiba Distance measurement processing device, image processing method, and distance measuring system comprising a reliability-degree generation circuit

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11340352B2 (en) 2014-12-29 2022-05-24 Pixart Imaging Inc. Image noise compensating system, and auto clean machine
TWI542891B (zh) 2014-12-29 2016-07-21 原相科技股份有限公司 光學測距方法與光學測距系統
JP6587421B2 (ja) * 2015-05-25 2019-10-09 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
TWI818837B (zh) * 2022-03-09 2023-10-11 四零四科技股份有限公司 物件辨識方法及裝置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05143737A (ja) * 1991-11-22 1993-06-11 Ohkura Electric Co Ltd 動きベクトルによる識別方法及び装置
JPH06231252A (ja) * 1993-02-04 1994-08-19 Toshiba Corp 監視画像の移動物体追跡方法
JP2002208073A (ja) * 2001-01-10 2002-07-26 Secom Co Ltd 侵入監視装置
WO2011078264A1 (ja) * 2009-12-25 2011-06-30 本田技研工業株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び移動体
JP2012120647A (ja) * 2010-12-07 2012-06-28 Alpha Co 姿勢検出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05143737A (ja) * 1991-11-22 1993-06-11 Ohkura Electric Co Ltd 動きベクトルによる識別方法及び装置
JPH06231252A (ja) * 1993-02-04 1994-08-19 Toshiba Corp 監視画像の移動物体追跡方法
JP2002208073A (ja) * 2001-01-10 2002-07-26 Secom Co Ltd 侵入監視装置
WO2011078264A1 (ja) * 2009-12-25 2011-06-30 本田技研工業株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び移動体
JP2012120647A (ja) * 2010-12-07 2012-06-28 Alpha Co 姿勢検出装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016038796A (ja) * 2014-08-08 2016-03-22 東芝テック株式会社 情報処理装置及びプログラム
JP2017146298A (ja) * 2016-02-18 2017-08-24 株式会社ミツトヨ 形状測定システム、形状測定装置及び形状測定方法
JP2017223461A (ja) * 2016-06-13 2017-12-21 パナソニックIpマネジメント株式会社 レーダ装置および検出方法
EP3309583A1 (en) 2016-10-14 2018-04-18 Fujitsu Limited Distance measuring apparatus, distance measuring method, and distance measuring program
US10648795B2 (en) 2016-10-14 2020-05-12 Fujitsu Limited Distance measuring apparatus and distance measuring method
JP2019021318A (ja) * 2017-07-20 2019-02-07 タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited 頭部装着装置を使用して関心領域を標識するテレプレゼンスのフレームワーク
US11513221B2 (en) 2018-04-17 2022-11-29 Kabushiki Kaisha Toshiba Distance measurement processing device, image processing method, and distance measuring system comprising a reliability-degree generation circuit
JP2018142358A (ja) * 2018-05-01 2018-09-13 東芝テック株式会社 情報処理装置及びプログラム

Also Published As

Publication number Publication date
TW201415415A (zh) 2014-04-16
WO2014024364A1 (ja) 2014-02-13

Similar Documents

Publication Publication Date Title
WO2014024364A1 (ja) 対象物検出装置、対象物検出方法、プログラム
TWI425431B (zh) 監視裝置與程式
US8427324B2 (en) Method and system for detecting a fallen person using a range imaging device
US20130163879A1 (en) Method and system for extracting three-dimensional information
US20130136307A1 (en) Method for counting objects and apparatus using a plurality of sensors
US20130177205A1 (en) Exterior environment recognition device and exterior environment recognition method
JP2014518729A5 (ja)
JP2014119442A (ja) 3次元計測装置およびその制御方法
JP2018067203A (ja) 危険報知装置及び危険報知方法、並びに危険報知装置の校正方法
JP5300694B2 (ja) 検出装置
JP6712778B2 (ja) 物体検知装置、物体検知システムおよび物体検知方法
US20170049366A1 (en) Information processing device, information processing method, and program
JP5868426B2 (ja) 停立人物の向き推定方法
JP2011195288A (ja) マンコンベア画像処理装置
JP2012146132A (ja) 3次元データと2次元データの統合方法及びこれを用いた見守りシステム、監視システム
JP2015120584A (ja) 画像監視装置およびエレベーター監視装置
Martinez et al. “BAM!” depth-based body analysis in critical care
JPWO2020008726A1 (ja) 対象物体検出プログラム、および対象物体検出装置
Galanakis et al. Tracking persons using a network of RGBD cameras
JPWO2018038087A1 (ja) 個室見守り装置
JP2018117331A (ja) ベッド見守り装置
JP2013214258A (ja) 歩行者検出装置及び方法、並びに車両用衝突判定装置
US10796449B2 (en) Measurement device, measurement method, and computer readable recording medium
JP6565468B2 (ja) 呼吸検知装置、呼吸検知方法、及び呼吸検知プログラム
JP5846596B2 (ja) 監視装置及びプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141003

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150915

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160329