JP2002352231A - 人体端点検出方法及び装置 - Google Patents

人体端点検出方法及び装置

Info

Publication number
JP2002352231A
JP2002352231A JP2001160775A JP2001160775A JP2002352231A JP 2002352231 A JP2002352231 A JP 2002352231A JP 2001160775 A JP2001160775 A JP 2001160775A JP 2001160775 A JP2001160775 A JP 2001160775A JP 2002352231 A JP2002352231 A JP 2002352231A
Authority
JP
Japan
Prior art keywords
human body
image
end point
dimensional
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001160775A
Other languages
English (en)
Other versions
JP4101478B2 (ja
Inventor
Masao Miyaoka
政夫 宮岡
Kazuhiro Morizaki
和裕 森崎
Katsumasa Onda
勝政 恩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2001160775A priority Critical patent/JP4101478B2/ja
Publication of JP2002352231A publication Critical patent/JP2002352231A/ja
Application granted granted Critical
Publication of JP4101478B2 publication Critical patent/JP4101478B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 画像処理によって、接触型のセンサを装着し
ていない人体の部位を検出できる人体端点検出方法およ
び装置を提供すること。 【解決手段】 撮像手段101によって検知空間を撮像
し、歪み補正手段105によって歪みのない画像を作成
し、距離計測手段112がステレオ画像処理により人体ま
での距離分布を計測し、人体3次元座標算出手段114に
よって人体の3次元座標を算出し、人体端点検出手段11
6が、人体の頭、肩、足、手を検出する。また、画像変
化算出手段110が起動時に得られた基準歪み補正画像109
と歪み補正画像107とを比較して画像変化を算出し、人
体端点修正手段122によって端点座標結果121を画像変化
のある領域へ補正する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は画像処理により、所
定の検知空間内に存在する人体の頭部、両肩部、両手
部、両足部などを検出する人体端点検出方法及び装置に
関するものである。
【0002】
【従来の技術】従来、この種の人体端点検出方法は、マ
ーカやセンサなどを人体の検出対象の部位に装着し、画
像処理でマーカを検出し、または検知器でセンサ位置を
検出することで、頭、手、足といった所望の人体部位を
検出していた。なお、被験者にマーカを装着して検出す
る方法は、図8に示すとおりである。すなわち、図8
(a)に示すように、被験者の頭部に赤のマーク201、
両手に青のマーク202、203、両肩に黄色のマーク204、2
05、両足に緑のマーク206、207を装着する。次いで、図
8(b)に示すように、前記被験者を1式の計測用カラ
ーカメラ208で撮像し、前述の4色(赤、青、黄、緑)
を識別できる画像処理装置209で各色を検出する。こう
して各部位を検出することが可能となる。
【0003】一方、ステレオ画像処理を用い、撮像され
た画像から検知空間内の物体を検出する物体検出方法及
び装置に関する技術が開示されている。この種の物体検
出装置は、カメラなどの撮像手段で得られた複数の画像
を用い、ステレオ画像処理により物体までの距離分布を
計測する距離計測手段と、この距離計測手段で計測され
た前記物体までの距離分布データから、検知空間内の物
体を検出する物体検知手段と、検出された物体情報を補
正する検出結果補正手段とを備え、ステレオ画像処理で
距離分布が正しく計測されなかった場合でも、検知空間
内の物体を検出可能とするものであった(特開2000-261
787号公報)。
【0004】
【発明が解決しようとする課題】しかし、このような従
来の人体端点検出方法では、被験者がマーカを装着する
必要があるために、長時間の計測には苦痛を伴うという
問題があった。また、被験者がマーカを装着する必要が
あるために、被験者の自然な動作を阻害する、あるいは
色情報を利用するので計測用カメラはカラーカメラに限
定されるという問題があった。
【0005】また、前述の特開2000-261787号公報に開
示された技術では、人体(物体)の3次元座標から頭、
手、足といった人体の端点を検出する手段を備えていな
いために、ステレオ画像処理を用いた人体端点検出装置
にそのまま適用するのは難しいという問題があった。ま
た、カメラなどの撮像手段で得られた画像に対して歪み
補正を施す手段を備えていないために、ステレオ画像処
理の距離計測精度を向上させ、あるいは検出率を向上さ
せることが難しいという問題があった。
【0006】本発明は、このような問題を解決するため
になされたもので、画像処理によって、マーカ等の接触
型センサを装着していない人体の部位を検出できる人体
端点検出方法及び装置を提供するものである。
【0007】
【課題を解決するための手段】本発明の人体端点検出方
法は、複数のカメラを搭載した撮像装置により所定の検
知空間内に存在する人体を撮像し、ステレオ画像処理で
撮像されている人体全体の距離分布を計測し、前記人体
全体の距離分布の計測データと前記複数のカメラの位置
データとから人体全体の3次元座標を算出し、人体の端
点を出力するようにしている。この方法により、接触型
のセンサを使用しなくても距離分布から人体の端点を検
出できることとなる。
【0008】また、本発明の人体端点検出方法は、前記
人体全体の3次元座標算出データから人体の頭頂点を求
め、この頭頂点より下に胸部があると仮定し、前記人体
全体の3次元座標算出データの中で胸部以上を表す3次
元座標算出データを用いて床面に投影画像を作成し、こ
の投影画像において頭部を中心にして所定の距離内で最
遠点を示す2点を人体の両肩部とし、この両肩部を示す
3次元座標算出データを逆投影処理で求めるようにして
いる。この方法により、接触型のセンサを使用しなくて
も距離分布から人体の両肩部を精度よく検出できること
となる。
【0009】さらに、本発明の人体端点検出方法は、前
記人体の膝部が床面より上にあると仮定し、前記人体全
体の3次元座標算出データの中で膝部以上を表す3次元
座標算出データを用いて床面に投影画像を作成し、この
投影画像において重心座標を算出し、重心座標から最遠
点1点とこの最遠点の周囲を除く重心座標からの最遠点
1点の合計2点を人体の両手部とし、この両手部を示す
3次元座標算出データを逆投影処理で求めるようにして
いる。この方法により、接触型のセンサを使用しなくて
も距離分布から人体の両手部を精度よく検出できること
となる。
【0010】本発明の人体端点検出装置は、所定の検知
空間を撮像するための複数のカメラからなる撮像手段
と、前記複数のカメラから得られた画像を用い、ステレ
オ画像処理で撮像された人体の距離分布を計測する距離
計測手段と、この距離計測手段で計測された距離分布と
予め定められた前記複数のカメラの位置データとから人
体全体の3次元座標を算出する人体3次元座標算出手段
と、この人体3次元座標算出手段で算出された人体全体
の3次元座標から人体の端点を出力する人体端点出力手
段とを設けた構成を有している。この構成により、接触
型のセンサを使用しなくても距離分布から人体の端点を
検出できることとなる。
【0011】また、本発明の人体端点検出装置は、所定
の検知空間を撮像する複数のカメラからなる撮像手段
と、前記複数のカメラから得られた画像の歪みを補正す
る歪み補正手段と、この歪み補正手段により補正された
画像を用い、ステレオ画像処理で撮像された人体の距離
分布を計測する距離計測手段と、この距離計測手段で計
測された距離分布と予め定められた前記複数のカメラの
位置データとから人体全体の3次元座標を算出する人体
3次元座標算出手段と、この人体3次元座標算出手段で
算出された人体全体の3次元座標から人体の端点を出力
する人体端点出力手段とを設けた構成を有している。こ
の構成により、歪みのある画像に対して歪み補正をする
ことで、ステレオ画像処理の距離計測精度を向上させ、
画像の歪みが原因で位置精度が悪化するのを回避できる
こととなる。
【0012】また、本発明の人体端点検出装置は、所定
の検知空間を撮像する複数のカメラからなる撮像手段
と、前記複数のカメラから得られた画像の歪みを補正す
る歪み補正手段と、装置起動時に得られた画像に対して
歪み補正した画像を基準画像として記憶する基準画像記
憶手段と、この基準画像記憶手段に記憶されている画像
と装置起動時以降に得た画像に対して歪み補正した画像
とを比較して画像変化を算出する画像変化算出手段と、
前記歪み補正手段により補正された画像を用い、ステレ
オ画像処理で撮像された人体の距離分布を計測する距離
計測手段と、この距離計測手段で計測された距離分布と
予め定められた前記複数のカメラの位置データとから人
体全体の3次元座標を算出する人体3次元座標算出手段
と、この人体3次元座標算出手段で算出された人体全体
の3次元座標から人体の端点を出力する人体端点出力手
段と、前記画像変化算出手段から得られた画像変化算出
結果と前記人体端点出力手段から得られた端点座標結果
とから端点座標を画像変化領域に修正する人体端点修正
手段とを設けた構成を有している。この構成により、基
準画像と順次入力される撮像画像を比較して変化のある
領域上に人体の部位が検出されるように修正すること
で、距離計測の誤差やノイズにより誤って検出した端点
を修正して精度よく端点を出力でき、人体端点の検出率
が向上することとなる。
【0013】さらに、本発明の人体端点検出装置は、前
記人体3次元座標算出手段で算出された人体全体の3次
元座標から人体の頭部を検出する頭部検出手段と、前記
人体3次元座標算出手段で算出された人体全体の3次元
座標から人体の両肩部を検出する両肩部検出手段と、前
記人体3次元座標算出手段で算出された人体全体の3次
元座標から人体の両手部を検出する両手部検出手段と、
前記人体3次元座標算出手段で算出された人体全体の3
次元座標から人体の両足部を検出する両足部検出手段と
を設けた構成を有している。この構成により、接触型の
センサを使用しなくても距離分布から人体の両肩部、両
手部、両足部を精度よく検出できることとなる。
【0014】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を用いて説明する。図1に示すように、本発明
の第1の実施の形態の人体端点検出装置は、所定の検知
空間を撮像するための複数のカメラ102、103からなる撮
像手段(撮像装置)101と、複数のカメラ102、103から
得られた画像を用い、ステレオ画像処理で撮像された人
体の距離分布を計測する距離計測手段112と、この距離
計測手段112で計測された距離分布と予め定められた複
数のカメラ102、103の位置データとから人体全体の3次
元座標を算出する人体3次元座標算出手段114と、この
人体3次元座標算出手段114で算出された人体全体の3
次元座標から人体の端点を出力する人体端点出力手段11
6とを設けたものである。
【0015】図1において、撮像手段101は、複数のカ
メラ102、103を備えて所定の検知空間を撮像するもので
ある。歪み補正手段105は、カメラ103から得られる画像
に対して歪み補正を施し、歪み補正手段106は、カメラ1
02から得られる画像104に対して歪み補正を施すもので
ある。基準画像記憶手段108は、装置起動時の歪み補正
画像107を記憶するものである。画像変化算出手段110
は、基準画像記憶手段108に記憶されている基準歪み補
正画像109と、歪み補正手段106により歪み補正された画
像107とを比較して画像変化を算出するものである。距
離計測手段112は、歪み補正手段105、106で補正された
画像を用い、ステレオ画像処理で撮像されている人体の
距離分布を計測するものである。人体3次元座標算出手
段114は、距離計測手段112で計測された人体の距離分布
データ113と、予め定められている複数のカメラ102、10
3の位置データとから人体全体の3次元座標を算出する
ものである。人体端点出力手段116は、人体3次元情報1
15を用いて人体の端点を出力するものである。頭部検出
手段117は、人体3次元座標算出手段114で算出された人
体3次元情報115を用いて人体の頭部を検出するもので
ある。両肩部検出手段118は、人体3次元座標算出手段1
14で算出された人体3次元情報115を用いて人体の両肩
部を検出するものである。両足部検出手段119は、人体
3次元座標算出手段114で算出された人体3次元情報115
を用いて人体の両足部を検出するものである。両手部検
出手段120は、人体3次元座標算出手段114で算出された
人体3次元情報115を用いて人体の両手部を検出するも
のである。人体端点修正手段122は、画像変化算出手段1
10で算出された画像変化算出結果111と、頭部検出手段1
17と両肩部検出手段118と両足部検出手段119と両手部検
出手段120で検出された端点座標結果121から人体部分に
端点を修正するものである。
【0016】次に、本実施形態における人体端点検出方
法について詳細に説明する。まず、撮像手段101は複数
のカメラ102、103で所定の検知空間を撮影する。次い
で、歪み補正手段104、105はカメラ102、103から得られ
る画像の歪みを補正する。ここで、画像の歪み(歪曲収
差)は、カメラ102、103とこのカメラ102、103に装着す
るレンズによって決まり、歪み補正関数FHで補正でき
る。よって、歪み補正画像Ib(i,j)は、歪み画像
Ia(i,j)から、
【数1】 と表すことができる。この数式(1)により、カメラ10
2から得られる歪み画像104から、歪み補正画像107が得
られる。これは、歪み補正手段106でも同様である。
【0017】次いで、基準画像記憶手段108では、装置
起動時の人体の撮像されていない歪み補正画像107を基
準歪み補正画像109として記憶し、画像変化算出手段110
では、基準歪み補正画像109と起動時以降の歪み補正画
像107とを比較して、画像変化のあった領域を算出す
る。ここで、基準歪み補正画像109をIc(i,j)と
し、起動時以降の歪み補正画像107をId(i,j)と
すると、
【数2】 を満たす時に、画素(i,j)が変化画素となる。ただ
し、TH1は輝度変化から求まる所定の閾値である。こ
こで、数式(2)を満たす画素では画像変化分布C
(i,j)=1とし、数式(2)を満たさない画素では
画像変化分布C(i,j)=0とする。この画素変化分
布C(i,j)を画素変化算出結果111とする。
【0018】次いで、距離計測手段112では、歪み補正
手段105、106から得られる歪み補正画像を用いてステレ
オ画像処理により、撮像されている人体までの距離分布
を計測する。ここで、ステレオ画像処理を用いた距離計
測方法の例として、『実吉他著、「三次元画像認識技術
を用いた運転支援システム」、自動車技術学会学術講演
会前刷924、pp169-172(1992-10)』に記載の方法を説
明する。なお、これに限らず、他の距離計測方法を用い
てもよい。
【0019】具体的には、カメラ102とカメラ103は、水
平方向に既知の間隔で平行に設置されており、図2に示
すように、カメラ102より撮影される画像を歪み補正し
た画像を右画像301、カメラ103により撮影される画像を
歪み補正した画像を左画像とする。まず、右画像301を
水平方向にm分割、垂直方向にn分割して、合計(m×
n)個の画素302からなる部分領域303に分割する。これ
によって、右画像301は水平方向にM分割、垂直方向に
N分割の合計(M×N)個の部分領域303に分割され
る。
【0020】次いで、右画像301の部分領域303毎に、左
画像中を順次探索していき、対応する領域を決定してい
く。具体的には、左画像の中で右画像301の部分領域303
の画像に類似する画像が存在する可能性のある探索範囲
において、水平方向にm、垂直方向にnの合計(m×
n)個の画素302からなる探索矩形領域を水平方向に1
画素ずつ移動させるごとに、右画像301の部分領域303の
画像と左画像の探索矩形領域の画像との類似度評価値B
を求める。
【0021】この類似度評価値Bは、右画像301の部分
領域303のi番目の画素における輝度値をLi、左画像の
探索矩形領域中のi番目の画素における輝度値をRi
したとき、数式(3)によって求めることができる。
【数3】 その結果、類似度評価値Bが最小になった時の左画像に
おける探索部分領域の位置を、右画像301の部分領域303
に対応する領域(以下「対応領域」という)と判定し
て、右画像301の部分領域303の座標PRと左画像の対応
領域の座標PLとのずれから、視差dを次に示す数式
(4)によって求め、それを出力する。
【数4】 以上のように、右画像301の部分領域303の対応領域を求
めて視差dを算出する動作を、右画像301に含まれる全
ての部分領域303に対して順次行うものとする。
【0022】次いで、右画像301の部分領域303毎に得ら
れた視差d(X,Y)[但し、0≦X<M、0≦Y<N]
をもとに、カメラ102,103から撮像された人体までの光
軸方向の距離分布データK(X,Y)を、数式(5)に
よって部分領域303毎に求める。
【数5】 但し、2aはカメラ102とカメラ103の設置間距離を表
し、fはカメラ102とカメラ103のレンズの焦点距離を表
す。
【0023】次いで、人体3次元座標算出手段114で
は、予め床面までの距離分布K0を計測しておく。そし
て、距離計測手段112により計測された距離分布データ
K(X,Y)と地面までの距離分布用データK0(X,
Y)を用いて、撮像されている人体の3次元データを算
出する。
【0024】ここで、図3を参照しながら、人体3次元
座標算出手段114の動作を説明する。図3(a)に示す
ように、カメラの撮像面のX軸と実空間のU軸とが平行
になるようにカメラを設置し、検知空間401中に存在す
る人間402を撮影する。このとき、撮像面403に撮像され
ている人間402の距離分布データ(X,Y)のV軸方向
の位置V(X,Y)を算出する。図3(b)は、撮像さ
れている人間402のH軸方向の位置HとV軸方向の位置
Vを算出する手順を説明する図である。図3(b)か
ら、H軸方向の位置HとV軸方向の位置Vは、
【数6】
【数7】 として、算出できる。但し、1≦X≦M、1≦Y≦N、
Hcamはカメラの設置高であり、θはカメラの設置俯角
である。さらに、U軸方向の位置Uは、X軸とU軸は平
行なので、
【数8】 として算出できる。但し、a及びbは使用する撮像装置
(図1の101に相当)とその設置位置によって決定さ
れる定数である。
【0025】以上、数式6から数式8に示すように、距
離分布データK(X,Y)と地面までの距離分布用デー
タK0(X,Y)を用いて、撮像されている人体の3次
元情報を算出することができる。この数式(6)から数
式(8)を人体3次元情報115とする。
【0026】次いで、人体端点出力手段116において、
はじめに頭部検出手段117に人体3次元情報115を入力す
る。頭部検出手段117では、人体3次元情報115を用いて
人体の頭部を検出する。ここで、図4を参照しながら頭
部検出手段117の動作を説明する。
【0027】入力された人体3次元情報115から、人体
で最も高い頭頂点501を求める。この頭頂点501から床面
方向へ、順次体の幅BWを計測していき、次式(9)を
満たす高さhを求める。
【数9】 但し、頭と手が同じ高さであった場合、大きい方を体の
幅BWとする。また、TH2は頭の大きさによって決定
される閾値である。数式(9)を満たす値hのうち最も
高いものをh_maxとし、高さh_maxの人体の中央点を頭
位置502とする。この頭位置502の3次元座標が端点位座
標結果121として出力される。
【0028】次いで、人体端点出力手段116において、
両肩検出手段118に人体3次元情報115を入力する。両肩
検出手段118では、人体3次元情報115を用いて人体の両
肩部を検出する。
【0029】ここで、図5を参照しながら両肩検出手段
118の動作を説明する。まず、入力された人体3次元情
報115から、人体の中で最も高い頭頂点AH601を求め
る。人体の肩SHの高さは頭頂点601より下にあると仮
定し、人体の肩は次の数式(10)で示す領域にあるもの
とする。
【数10】 但し、N、Pは頭と肩の構造な関係から決まる定数であ
る。人体3次元情報115から、数式(10)のSHの示す
領域を満たす3次元情報を抽出し、その情報を床面に投
影して得られる像が、図5(a)に示す肩投影像602で
ある。また、頭頂点を床面に投影して得られる点が頭投
影点603である。
【0030】次いで、肩投影像602を構成する全ての点
のうち、頭投影点603を通過する2点u(ui,uj)、
v(vi,vj)の線分の長さdistを次式(11)によ
って求める。但し、2点u、vは各々の頭投影点603か
ら等距離にあるものとする。
【数11】 次いで、数式(11)で求めた長さを持つ各線分u、vの
うち、次式(12)を満たすものを求める。
【数12】 但し、TH3は肩の広さから決まる定数である。数式(1
2)を満たすdistのうち最長のものをdist_ma
xとし、その線分を構成する2点を肩投影点604とする
(図5(b)に示す)。この肩投影点604に投影した点
を人体3次元情報115から探索して求め、その肩逆投影
点605を肩位置とする。この肩位置605の3次元座標が端
点座標結果121として出力される。
【0031】次いで、人体端点出力手段116において、
両足検出手段119に人体3次元情報115を入力する。両足
検出手段119では、人体3次元情報115を用いて人体の両
足部を検出する。
【0032】ここで、図6を参照しながら両足検出手段
119の動作を説明する。人体の足LHは膝KHの高さよ
り下にあると仮定し、人体の足は次式(13)で示す領域
にあるものとする。
【数13】 ただし、KHは足の構造から決まる定数である。人体3
次元情報115から、数式(13)のLHの示す領域を満た
す3次元情報を抽出し、その情報を床面に投影して得ら
れる像が足投影像702であり、これを二つの領域に分割
する(図6(a)に示す)。
【0033】まず、任意の点P、Qを定め、それらと足
投影像702上の全ての点(i,j)との距離を各々di
stP(i,j)、distQ(i,j)として求める。
distP(i,j)、distQ(i,j)の比較を行
い、小さい方に前記点(i,j)が属するものとする。
例えば、distP(i,j)がdistQ(i,j)よ
り小さいとき、投影点属性分布D(i,j)=Pとす
る。投影点属性分布D(i,j)から、足投影像702上
の全ての点(i,j)は、P、Qのいずれかに属したこ
とになる。次いで、P、Q各々に属する点(i,j)の
重心を求め、各重心点をP、Qとふりなおす。
【0034】以上の、PQと足投影像上の全ての点との
距離を求め、投影点属性分布Dを求め、属性毎に重心を
求めそれらをPQとする、という一連の処理をPQの位
置が変化しなくなるまで続ける。変化しなくなった点
を、足投影点703とする(図6(b)に示す)。床面上
での位置を示す足投影点703の2次元座標と両足とはい
ずれも床面に接していることから、両足の高さは0であ
るという1次元座標の合計3次元座標が、端点座標結果1
21として出力される。
【0035】次いで、人体端点出力手段116において、
両手部検出手段120に人体3次元情報115を入力する。両
手部検出手段120では、人体3次元情報115を用いて人体
の両手部を検出する。
【0036】ここで、図7を参照しながら両手部検出手
段119の動作を説明する。人体の手HHは膝KHの高さ
より上にあると仮定し、人体の手は次式(14)で示す領
域にあるものとする。
【数14】 但し、KHは足の構造から決まる定数である。人体3次
元情報115から、数式(14)のHHの示す領域を満たす
3次元情報を抽出し、その情報を床面に投影して得られ
る像が手投影像802である(図7(a)に示す)。
【0037】次いで、手投影像802の重心803を求める。
さらに、重心803と手投影像802上の全ての点(i,j)
との距離dist(i,j)を求める。距離dist
(i,j)のうち最大を示す点をR(iR,jR)とす
る。次に重心803と数式(15)を満たす点(i,j)の
距離dist(i,j)を求める。距離dist(i,
j)のうち最大を示す点をSとする。
【数15】 但し、TH4は両手間の距離から決まる閾値である。以
上2点R、Sを手投影点804とする(図7(b)に示
す)。この投影点804に投影した点を人体3次元情報115
から探索して求め、その手逆投影点805を手位置とす
る。この手逆投影点805の3次元情報が端点座標結果121
として出力される。
【0038】こうして、頭部検出手段117と両肩部検出
手段118と両足部検出手段119と両手部検出手段120から
出力された端点座標結果121は、人体端点修正手段122に
入力される。この人体端点修正手段122では、画素変化
算出結果111と端点座標結果121から、部位を修正する。
まず、端点座標結果が画素変化分布C(i,j)=1上
に存在するかを調べ、存在しなければ、画素変化分布C
(i,j)=1を満たす画素(i,j)と端点座標結果
121の座標との距離を求め、最小となる点を新たな端点
座標結果とする。
【0039】以上のように、本発明の実施の一形態に係
る人体端点検出装置は、所定の検知空間を撮像するため
の複数のカメラ102、103からなる撮像手段(撮像装置)
101と、複数のカメラ102、103から得られた画像を用
い、ステレオ画像処理で撮像された人体の距離分布を計
測する距離計測手段112と、この距離計測手段112で計測
された距離分布と予め定められた複数のカメラ102、103
の位置データとから人体全体の3次元座標を算出する人
体3次元座標算出手段114と、この人体3次元座標算出
手段114で算出された人体全体の3次元座標から人体の
端点を出力する人体端点出力手段116とを設け、撮像手
段101により所定の検知空間内に存在する人体を撮像
し、ステレオ画像処理で撮像されている人体全体の距離
分布を計測し、この距離分布の計測データと複数のカメ
ラ102、103の位置データとから人体全体の3次元座標を
算出して、人体の端点を出力しているので、接触型のセ
ンサを使用しなくても距離分布から人体の端点を検出で
きる。
【0040】なお、本実施形態においては、歪みのある
画像に対して歪み補正をすることで、ステレオ画像処理
の距離計測精度を向上させ、基準画像と順次入力される
撮像画像とを比較して変化のある領域に人体の部位が検
出されているか否かを判定し、変化のない領域に人体の
部位が検出されている場合は変化のある領域に修正する
ことで、検出率を向上させることが可能である。
【0041】また、本実施形態においては、人体全体の
3次元座標算出データから頭頂点を求め、頭頂点から床
方向に身体の幅を計測し、所定の閾値以上の幅を持つ部
分を人体の頭部とし、その幅の中央点を頭部の位置とす
ることで、頭部に接触型のセンサを装着しなくても距離
分布から精度良く頭部を検出できる。
【0042】さらに、本実施形態においては、床面より
上に膝部があると仮定し、身体全体の3次元座標算出デ
ータの中で膝部以下を表す3次元座標算出データを用い
て床面に投影画像を作成し、投影画像において領域を2
つに分割し、各領域の重心を人体の足部とすることで、
足部に接触型のセンサを装着しなくても距離分布から精
度良く足部を検出できる。
【0043】
【発明の効果】以上説明したように、本発明はステレオ
画像処理により人体全体の3次元座標を算出することに
より、被験者にマーカ等の接触型のセンサを取り付ける
ことなく、人体部位を検出できるという優れた効果を有
する人体端点検出装置及び方法を提供することができる
ものである。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る人体端点検出装置の
構成を示すブロック図
【図2】本発明の実施の形態に係る人体端点検出方法
(距離計測方法)における画像と部分領域の関係を表す
模式図
【図3】本発明の実施の形態に係る人体端点検出装置に
おける人体3次元座標算出手段の動作を説明する模式図
【図4】本発明の実施の形態に係る人体端点検出装置に
おける頭部検出手段の動作を説明する模式図
【図5】本発明の実施の形態に係る人体端点検出装置に
おける両肩部検出手段の動作を説明する模式図
【図6】本発明の実施の形態に係る人体端点検出装置に
おける両足部検出手段の動作を説明する模式図
【図7】本発明の実施の形態に係る人体端点検出装置に
おける両手部検出手段の動作を説明する模式図
【図8】従来のマーカを装着して人体端点を検出する方
法を説明する模式図
【符号の説明】
101 撮像手段 102、103 カメラ 104 画像 105、106 歪み補正手段 107 歪み補正画像 108 基準画像記憶手段 109 基準歪み補正画像 110 画像変化算出手段 111 画像変化算出結果 112 距離計測手段 113 距離分布データ 114 人体3次元座標算出手段 115 人体3次元情報 116 人体端点出力手段 117 頭部検出手段 118 両肩部検出手段 119 両足検出手段 120 両手検出手段 121 端点座標結果 122 人体端点修正手段 201 頭に装着した赤マーク 202 手に装着した青マーク 203 手に装着した青マーク 204 肩に装着した黄マーク 205 肩に装着した黄マーク 206 足に装着した緑マーク 207 足に装着した緑マーク 208 計測用カラーカメラ 209 画像処理装置 301 右画像 302 画素 303 部分領域 401 検知空間 402 人間(人体) 403 撮像面 501 頭頂点 502 頭の位置 601 頭頂点 602 肩投影像 603 頭投影点 604 肩投影点 605 肩逆投影点 701 膝の高さ 702 足投影像 703 足投影点 801 膝の高さ 802 手投影像 803 重心 804 手投影点 805 手逆投影点
───────────────────────────────────────────────────── フロントページの続き (72)発明者 恩田 勝政 神奈川県横浜市港北区綱島東四丁目3番1 号 松下通信工業株式会社内 Fターム(参考) 5B057 BA11 CA13 CA16 DA08 DB03 DC05 DC36 5C054 CH08 EA01 EF06 FB03 FC04 FC12 FD02 FD03 FE25 GB15 GB16 GD05 HA33 5C061 AA21 AB04 AB08 5L096 AA09 CA05 FA09 FA69 JA03 JA11

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 複数のカメラを搭載した撮像装置により
    所定の検知空間内に存在する人体を撮像し、ステレオ画
    像処理で撮像されている人体全体の距離分布を計測し、
    前記人体全体の距離分布の計測データと前記複数のカメ
    ラの位置データとから人体全体の3次元座標を算出し、
    人体の端点を出力することを特徴とする人体端点検出方
    法。
  2. 【請求項2】 前記人体全体の3次元座標算出データか
    ら人体の頭頂点を求め、この頭頂点より下に胸部がある
    と仮定し、前記人体全体の3次元座標算出データの中で
    胸部以上を表す3次元座標算出データを用いて床面に投
    影画像を作成し、この投影画像において頭部を中心にし
    て所定の距離内で最遠点を示す2点を人体の両肩部と
    し、この両肩部を示す3次元座標算出データを逆投影処
    理で求めることを特徴とする請求項1に記載の人体端点
    検出方法。
  3. 【請求項3】 前記人体の膝部が床面より上にあると仮
    定し、前記人体全体の3次元座標算出データの中で膝部
    以上を表す3次元座標算出データを用いて床面に投影画
    像を作成し、この投影画像において重心座標を算出し、
    重心座標から最遠点1点とこの最遠点の周囲を除く重心
    座標からの最遠点1点の合計2点を人体の両手部とし、
    この両手部を示す3次元座標算出データを逆投影処理で
    求めることを特徴とする請求項1または2に記載の人体
    端点検出方法。
  4. 【請求項4】 所定の検知空間を撮像するための複数の
    カメラからなる撮像手段と、前記複数のカメラから得ら
    れた画像を用い、ステレオ画像処理で撮像された人体の
    距離分布を計測する距離計測手段と、この距離計測手段
    で計測された距離分布と予め定められた前記複数のカメ
    ラの位置データとから人体全体の3次元座標を算出する
    人体3次元座標算出手段と、この人体3次元座標算出手
    段で算出された人体全体の3次元座標から人体の端点を
    出力する人体端点出力手段とを設けたことを特徴とする
    人体端点検出装置。
  5. 【請求項5】 所定の検知空間を撮像する複数のカメラ
    からなる撮像手段と、前記複数のカメラから得られた画
    像の歪みを補正する歪み補正手段と、この歪み補正手段
    により補正された画像を用い、ステレオ画像処理で撮像
    された人体の距離分布を計測する距離計測手段と、この
    距離計測手段で計測された距離分布と予め定められた前
    記複数のカメラの位置データとから人体全体の3次元座
    標を算出する人体3次元座標算出手段と、この人体3次
    元座標算出手段で算出された人体全体の3次元座標から
    人体の端点を出力する人体端点出力手段とを設けたこと
    を特徴とする人体端点検出装置。
  6. 【請求項6】 所定の検知空間を撮像する複数のカメラ
    からなる撮像手段と、前記複数のカメラから得られた画
    像の歪みを補正する歪み補正手段と、装置起動時に得ら
    れた画像に対して歪み補正した画像を基準画像として記
    憶する基準画像記憶手段と、この基準画像記憶手段に記
    憶されている画像と装置起動時以降に得られた画像に対
    して歪み補正した画像とを比較して画像変化を算出する
    画像変化算出手段と、前記歪み補正手段により補正され
    た画像を用い、ステレオ画像処理で撮像された人体の距
    離分布を計測する距離計測手段と、この距離計測手段で
    計測された距離分布と予め定められた前記複数のカメラ
    の位置データとから人体全体の3次元座標を算出する人
    体3次元座標算出手段と、この人体3次元座標算出手段
    で算出された人体全体の3次元座標から人体の端点を出
    力する人体端点出力手段と、前記画像変化算出手段から
    得られた画像変化算出結果と前記人体端点出力手段から
    得られた端点座標結果とから端点座標を画像変化領域に
    修正する人体端点修正手段とを設けたことを特徴とする
    人体端点検出装置。
  7. 【請求項7】 前記人体3次元座標算出手段で算出され
    た人体全体の3次元座標から人体の頭部を検出する頭部
    検出手段と、前記人体3次元座標算出手段で算出された
    人体全体の3次元座標から人体の両肩部を検出する両肩
    部検出手段と、前記人体3次元座標算出手段で算出され
    た人体全体の3次元座標から人体の両手部を検出する両
    手部検出手段と、前記人体3次元座標算出手段で算出さ
    れた人体全体の3次元座標から人体の両足部を検出する
    両足部検出手段とを設けたことを特徴とする請求項4〜
    6のいずれかに記載の人体端点検出装置。
JP2001160775A 2001-05-29 2001-05-29 人体端点検出方法及び装置 Expired - Fee Related JP4101478B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001160775A JP4101478B2 (ja) 2001-05-29 2001-05-29 人体端点検出方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001160775A JP4101478B2 (ja) 2001-05-29 2001-05-29 人体端点検出方法及び装置

Publications (2)

Publication Number Publication Date
JP2002352231A true JP2002352231A (ja) 2002-12-06
JP4101478B2 JP4101478B2 (ja) 2008-06-18

Family

ID=19004139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001160775A Expired - Fee Related JP4101478B2 (ja) 2001-05-29 2001-05-29 人体端点検出方法及び装置

Country Status (1)

Country Link
JP (1) JP4101478B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005012367A (ja) * 2003-06-17 2005-01-13 Intec Web & Genome Informatics Corp 新生児モニタリングシステム
JP2006053147A (ja) * 2004-08-11 2006-02-23 Acushnet Co 物体を走査する装置および方法
JP2006065419A (ja) * 2004-08-24 2006-03-09 Matsushita Electric Works Ltd 人検出装置
JP2008015931A (ja) * 2006-07-07 2008-01-24 Honda Motor Co Ltd 車両周辺監視システム、車両、車両周辺監視プログラム、および車両周辺監視システムの構築システム
JP2015192743A (ja) * 2014-03-31 2015-11-05 カシオ計算機株式会社 画像解析装置、画像解析方法、およびプログラム
JP2019071578A (ja) * 2017-10-11 2019-05-09 パナソニックIpマネジメント株式会社 物体検知装置、物体検知システムおよび物体検知方法
WO2019176090A1 (ja) * 2018-03-16 2019-09-19 株式会社ソニー・インタラクティブエンタテインメント 身体サイズ推定装置、身体サイズ推定方法及びプログラム
US11688095B2 (en) 2019-10-18 2023-06-27 Aisin Corporation Tiptoe position estimating device and fingertip position estimating device

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005012367A (ja) * 2003-06-17 2005-01-13 Intec Web & Genome Informatics Corp 新生児モニタリングシステム
JP2006053147A (ja) * 2004-08-11 2006-02-23 Acushnet Co 物体を走査する装置および方法
JP2006065419A (ja) * 2004-08-24 2006-03-09 Matsushita Electric Works Ltd 人検出装置
JP2008015931A (ja) * 2006-07-07 2008-01-24 Honda Motor Co Ltd 車両周辺監視システム、車両、車両周辺監視プログラム、および車両周辺監視システムの構築システム
JP2015192743A (ja) * 2014-03-31 2015-11-05 カシオ計算機株式会社 画像解析装置、画像解析方法、およびプログラム
JP2019071578A (ja) * 2017-10-11 2019-05-09 パナソニックIpマネジメント株式会社 物体検知装置、物体検知システムおよび物体検知方法
WO2019176090A1 (ja) * 2018-03-16 2019-09-19 株式会社ソニー・インタラクティブエンタテインメント 身体サイズ推定装置、身体サイズ推定方法及びプログラム
JPWO2019176090A1 (ja) * 2018-03-16 2020-12-03 株式会社ソニー・インタラクティブエンタテインメント 身体サイズ推定装置、身体サイズ推定方法及びプログラム
US11589778B2 (en) 2018-03-16 2023-02-28 Sony Interactive Entertainment Inc. Body size estimation apparatus, body size estimation method, and program
US11688095B2 (en) 2019-10-18 2023-06-27 Aisin Corporation Tiptoe position estimating device and fingertip position estimating device

Also Published As

Publication number Publication date
JP4101478B2 (ja) 2008-06-18

Similar Documents

Publication Publication Date Title
JP4095491B2 (ja) 距離測定装置、距離測定方法、及び距離測定プログラム
EP2870428B1 (en) System and method for 3d measurement of the surface geometry of an object
CN110009732B (zh) 基于gms特征匹配的面向复杂大尺度场景三维重建方法
KR100513055B1 (ko) 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
CN106875435B (zh) 获取深度图像的方法及系统
CN104685513A (zh) 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
CN108629756B (zh) 一种Kinectv2深度图像无效点修复方法
JP4055998B2 (ja) 距離検出装置、距離検出方法、及び距離検出プログラム
CN110223355B (zh) 一种基于双重极线约束的特征标志点匹配方法
KR20160121509A (ko) 2개의 카메라로부터의 곡선의 세트의 구조형 광 매칭
KR102289688B1 (ko) 광학식 위치 추적 시스템의 3차원 마커 좌표 추정 방법
JP2010267232A (ja) 位置姿勢推定方法および装置
CN116188558B (zh) 基于双目视觉的立体摄影测量方法
JP6942566B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
Kruger et al. In-factory calibration of multiocular camera systems
KR20150105190A (ko) 컬러-코드화된 구조를 사용하는 카메라 캘리브레이션 방법 및 장치
JP4101478B2 (ja) 人体端点検出方法及び装置
JP5987584B2 (ja) 画像処理装置、映像投影システムおよびプログラム
US20220012905A1 (en) Image processing device and three-dimensional measuring system
KR20130041440A (ko) 영상 처리 장치 및 방법
JP3221384B2 (ja) 三次元座標計測装置
WO2023273427A1 (zh) 复数相机测速方法及测速装置
WO2021049281A1 (ja) 画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法
CN114399540A (zh) 一种基于二维迭代最近点的异源图像配准方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080319

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110328

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110328

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120328

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130328

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees