JP2002352231A - 人体端点検出方法及び装置 - Google Patents
人体端点検出方法及び装置Info
- Publication number
- JP2002352231A JP2002352231A JP2001160775A JP2001160775A JP2002352231A JP 2002352231 A JP2002352231 A JP 2002352231A JP 2001160775 A JP2001160775 A JP 2001160775A JP 2001160775 A JP2001160775 A JP 2001160775A JP 2002352231 A JP2002352231 A JP 2002352231A
- Authority
- JP
- Japan
- Prior art keywords
- human body
- image
- end point
- dimensional
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 画像処理によって、接触型のセンサを装着し
ていない人体の部位を検出できる人体端点検出方法およ
び装置を提供すること。 【解決手段】 撮像手段101によって検知空間を撮像
し、歪み補正手段105によって歪みのない画像を作成
し、距離計測手段112がステレオ画像処理により人体ま
での距離分布を計測し、人体３次元座標算出手段114に
よって人体の３次元座標を算出し、人体端点検出手段11
6が、人体の頭、肩、足、手を検出する。また、画像変
化算出手段110が起動時に得られた基準歪み補正画像109
と歪み補正画像107とを比較して画像変化を算出し、人
体端点修正手段122によって端点座標結果121を画像変化
のある領域へ補正する。
ていない人体の部位を検出できる人体端点検出方法およ
び装置を提供すること。 【解決手段】 撮像手段101によって検知空間を撮像
し、歪み補正手段105によって歪みのない画像を作成
し、距離計測手段112がステレオ画像処理により人体ま
での距離分布を計測し、人体３次元座標算出手段114に
よって人体の３次元座標を算出し、人体端点検出手段11
6が、人体の頭、肩、足、手を検出する。また、画像変
化算出手段110が起動時に得られた基準歪み補正画像109
と歪み補正画像107とを比較して画像変化を算出し、人
体端点修正手段122によって端点座標結果121を画像変化
のある領域へ補正する。
Description
【０００１】
【発明の属する技術分野】本発明は画像処理により、所
定の検知空間内に存在する人体の頭部、両肩部、両手
部、両足部などを検出する人体端点検出方法及び装置に
関するものである。
定の検知空間内に存在する人体の頭部、両肩部、両手
部、両足部などを検出する人体端点検出方法及び装置に
関するものである。
【０００２】
【従来の技術】従来、この種の人体端点検出方法は、マ
ーカやセンサなどを人体の検出対象の部位に装着し、画
像処理でマーカを検出し、または検知器でセンサ位置を
検出することで、頭、手、足といった所望の人体部位を
検出していた。なお、被験者にマーカを装着して検出す
る方法は、図８に示すとおりである。すなわち、図８
（ａ）に示すように、被験者の頭部に赤のマーク201、
両手に青のマーク202、203、両肩に黄色のマーク204、2
05、両足に緑のマーク206、207を装着する。次いで、図
８（ｂ）に示すように、前記被験者を１式の計測用カラ
ーカメラ208で撮像し、前述の４色（赤、青、黄、緑）
を識別できる画像処理装置209で各色を検出する。こう
して各部位を検出することが可能となる。
ーカやセンサなどを人体の検出対象の部位に装着し、画
像処理でマーカを検出し、または検知器でセンサ位置を
検出することで、頭、手、足といった所望の人体部位を
検出していた。なお、被験者にマーカを装着して検出す
る方法は、図８に示すとおりである。すなわち、図８
（ａ）に示すように、被験者の頭部に赤のマーク201、
両手に青のマーク202、203、両肩に黄色のマーク204、2
05、両足に緑のマーク206、207を装着する。次いで、図
８（ｂ）に示すように、前記被験者を１式の計測用カラ
ーカメラ208で撮像し、前述の４色（赤、青、黄、緑）
を識別できる画像処理装置209で各色を検出する。こう
して各部位を検出することが可能となる。
【０００３】一方、ステレオ画像処理を用い、撮像され
た画像から検知空間内の物体を検出する物体検出方法及
び装置に関する技術が開示されている。この種の物体検
出装置は、カメラなどの撮像手段で得られた複数の画像
を用い、ステレオ画像処理により物体までの距離分布を
計測する距離計測手段と、この距離計測手段で計測され
た前記物体までの距離分布データから、検知空間内の物
体を検出する物体検知手段と、検出された物体情報を補
正する検出結果補正手段とを備え、ステレオ画像処理で
距離分布が正しく計測されなかった場合でも、検知空間
内の物体を検出可能とするものであった（特開2000-261
787号公報）。
た画像から検知空間内の物体を検出する物体検出方法及
び装置に関する技術が開示されている。この種の物体検
出装置は、カメラなどの撮像手段で得られた複数の画像
を用い、ステレオ画像処理により物体までの距離分布を
計測する距離計測手段と、この距離計測手段で計測され
た前記物体までの距離分布データから、検知空間内の物
体を検出する物体検知手段と、検出された物体情報を補
正する検出結果補正手段とを備え、ステレオ画像処理で
距離分布が正しく計測されなかった場合でも、検知空間
内の物体を検出可能とするものであった（特開2000-261
787号公報）。
【０００４】
【発明が解決しようとする課題】しかし、このような従
来の人体端点検出方法では、被験者がマーカを装着する
必要があるために、長時間の計測には苦痛を伴うという
問題があった。また、被験者がマーカを装着する必要が
あるために、被験者の自然な動作を阻害する、あるいは
色情報を利用するので計測用カメラはカラーカメラに限
定されるという問題があった。
来の人体端点検出方法では、被験者がマーカを装着する
必要があるために、長時間の計測には苦痛を伴うという
問題があった。また、被験者がマーカを装着する必要が
あるために、被験者の自然な動作を阻害する、あるいは
色情報を利用するので計測用カメラはカラーカメラに限
定されるという問題があった。
【０００５】また、前述の特開2000-261787号公報に開
示された技術では、人体（物体）の３次元座標から頭、
手、足といった人体の端点を検出する手段を備えていな
いために、ステレオ画像処理を用いた人体端点検出装置
にそのまま適用するのは難しいという問題があった。ま
た、カメラなどの撮像手段で得られた画像に対して歪み
補正を施す手段を備えていないために、ステレオ画像処
理の距離計測精度を向上させ、あるいは検出率を向上さ
せることが難しいという問題があった。
示された技術では、人体（物体）の３次元座標から頭、
手、足といった人体の端点を検出する手段を備えていな
いために、ステレオ画像処理を用いた人体端点検出装置
にそのまま適用するのは難しいという問題があった。ま
た、カメラなどの撮像手段で得られた画像に対して歪み
補正を施す手段を備えていないために、ステレオ画像処
理の距離計測精度を向上させ、あるいは検出率を向上さ
せることが難しいという問題があった。
【０００６】本発明は、このような問題を解決するため
になされたもので、画像処理によって、マーカ等の接触
型センサを装着していない人体の部位を検出できる人体
端点検出方法及び装置を提供するものである。
になされたもので、画像処理によって、マーカ等の接触
型センサを装着していない人体の部位を検出できる人体
端点検出方法及び装置を提供するものである。
【０００７】
【課題を解決するための手段】本発明の人体端点検出方
法は、複数のカメラを搭載した撮像装置により所定の検
知空間内に存在する人体を撮像し、ステレオ画像処理で
撮像されている人体全体の距離分布を計測し、前記人体
全体の距離分布の計測データと前記複数のカメラの位置
データとから人体全体の３次元座標を算出し、人体の端
点を出力するようにしている。この方法により、接触型
のセンサを使用しなくても距離分布から人体の端点を検
出できることとなる。
法は、複数のカメラを搭載した撮像装置により所定の検
知空間内に存在する人体を撮像し、ステレオ画像処理で
撮像されている人体全体の距離分布を計測し、前記人体
全体の距離分布の計測データと前記複数のカメラの位置
データとから人体全体の３次元座標を算出し、人体の端
点を出力するようにしている。この方法により、接触型
のセンサを使用しなくても距離分布から人体の端点を検
出できることとなる。
【０００８】また、本発明の人体端点検出方法は、前記
人体全体の３次元座標算出データから人体の頭頂点を求
め、この頭頂点より下に胸部があると仮定し、前記人体
全体の３次元座標算出データの中で胸部以上を表す３次
元座標算出データを用いて床面に投影画像を作成し、こ
の投影画像において頭部を中心にして所定の距離内で最
遠点を示す２点を人体の両肩部とし、この両肩部を示す
３次元座標算出データを逆投影処理で求めるようにして
いる。この方法により、接触型のセンサを使用しなくて
も距離分布から人体の両肩部を精度よく検出できること
となる。
人体全体の３次元座標算出データから人体の頭頂点を求
め、この頭頂点より下に胸部があると仮定し、前記人体
全体の３次元座標算出データの中で胸部以上を表す３次
元座標算出データを用いて床面に投影画像を作成し、こ
の投影画像において頭部を中心にして所定の距離内で最
遠点を示す２点を人体の両肩部とし、この両肩部を示す
３次元座標算出データを逆投影処理で求めるようにして
いる。この方法により、接触型のセンサを使用しなくて
も距離分布から人体の両肩部を精度よく検出できること
となる。
【０００９】さらに、本発明の人体端点検出方法は、前
記人体の膝部が床面より上にあると仮定し、前記人体全
体の３次元座標算出データの中で膝部以上を表す３次元
座標算出データを用いて床面に投影画像を作成し、この
投影画像において重心座標を算出し、重心座標から最遠
点１点とこの最遠点の周囲を除く重心座標からの最遠点
１点の合計２点を人体の両手部とし、この両手部を示す
３次元座標算出データを逆投影処理で求めるようにして
いる。この方法により、接触型のセンサを使用しなくて
も距離分布から人体の両手部を精度よく検出できること
となる。
記人体の膝部が床面より上にあると仮定し、前記人体全
体の３次元座標算出データの中で膝部以上を表す３次元
座標算出データを用いて床面に投影画像を作成し、この
投影画像において重心座標を算出し、重心座標から最遠
点１点とこの最遠点の周囲を除く重心座標からの最遠点
１点の合計２点を人体の両手部とし、この両手部を示す
３次元座標算出データを逆投影処理で求めるようにして
いる。この方法により、接触型のセンサを使用しなくて
も距離分布から人体の両手部を精度よく検出できること
となる。
【００１０】本発明の人体端点検出装置は、所定の検知
空間を撮像するための複数のカメラからなる撮像手段
と、前記複数のカメラから得られた画像を用い、ステレ
オ画像処理で撮像された人体の距離分布を計測する距離
計測手段と、この距離計測手段で計測された距離分布と
予め定められた前記複数のカメラの位置データとから人
体全体の３次元座標を算出する人体３次元座標算出手段
と、この人体３次元座標算出手段で算出された人体全体
の３次元座標から人体の端点を出力する人体端点出力手
段とを設けた構成を有している。この構成により、接触
型のセンサを使用しなくても距離分布から人体の端点を
検出できることとなる。
空間を撮像するための複数のカメラからなる撮像手段
と、前記複数のカメラから得られた画像を用い、ステレ
オ画像処理で撮像された人体の距離分布を計測する距離
計測手段と、この距離計測手段で計測された距離分布と
予め定められた前記複数のカメラの位置データとから人
体全体の３次元座標を算出する人体３次元座標算出手段
と、この人体３次元座標算出手段で算出された人体全体
の３次元座標から人体の端点を出力する人体端点出力手
段とを設けた構成を有している。この構成により、接触
型のセンサを使用しなくても距離分布から人体の端点を
検出できることとなる。
【００１１】また、本発明の人体端点検出装置は、所定
の検知空間を撮像する複数のカメラからなる撮像手段
と、前記複数のカメラから得られた画像の歪みを補正す
る歪み補正手段と、この歪み補正手段により補正された
画像を用い、ステレオ画像処理で撮像された人体の距離
分布を計測する距離計測手段と、この距離計測手段で計
測された距離分布と予め定められた前記複数のカメラの
位置データとから人体全体の３次元座標を算出する人体
３次元座標算出手段と、この人体３次元座標算出手段で
算出された人体全体の３次元座標から人体の端点を出力
する人体端点出力手段とを設けた構成を有している。こ
の構成により、歪みのある画像に対して歪み補正をする
ことで、ステレオ画像処理の距離計測精度を向上させ、
画像の歪みが原因で位置精度が悪化するのを回避できる
こととなる。
の検知空間を撮像する複数のカメラからなる撮像手段
と、前記複数のカメラから得られた画像の歪みを補正す
る歪み補正手段と、この歪み補正手段により補正された
画像を用い、ステレオ画像処理で撮像された人体の距離
分布を計測する距離計測手段と、この距離計測手段で計
測された距離分布と予め定められた前記複数のカメラの
位置データとから人体全体の３次元座標を算出する人体
３次元座標算出手段と、この人体３次元座標算出手段で
算出された人体全体の３次元座標から人体の端点を出力
する人体端点出力手段とを設けた構成を有している。こ
の構成により、歪みのある画像に対して歪み補正をする
ことで、ステレオ画像処理の距離計測精度を向上させ、
画像の歪みが原因で位置精度が悪化するのを回避できる
こととなる。
【００１２】また、本発明の人体端点検出装置は、所定
の検知空間を撮像する複数のカメラからなる撮像手段
と、前記複数のカメラから得られた画像の歪みを補正す
る歪み補正手段と、装置起動時に得られた画像に対して
歪み補正した画像を基準画像として記憶する基準画像記
憶手段と、この基準画像記憶手段に記憶されている画像
と装置起動時以降に得た画像に対して歪み補正した画像
とを比較して画像変化を算出する画像変化算出手段と、
前記歪み補正手段により補正された画像を用い、ステレ
オ画像処理で撮像された人体の距離分布を計測する距離
計測手段と、この距離計測手段で計測された距離分布と
予め定められた前記複数のカメラの位置データとから人
体全体の３次元座標を算出する人体３次元座標算出手段
と、この人体３次元座標算出手段で算出された人体全体
の３次元座標から人体の端点を出力する人体端点出力手
段と、前記画像変化算出手段から得られた画像変化算出
結果と前記人体端点出力手段から得られた端点座標結果
とから端点座標を画像変化領域に修正する人体端点修正
手段とを設けた構成を有している。この構成により、基
準画像と順次入力される撮像画像を比較して変化のある
領域上に人体の部位が検出されるように修正すること
で、距離計測の誤差やノイズにより誤って検出した端点
を修正して精度よく端点を出力でき、人体端点の検出率
が向上することとなる。
の検知空間を撮像する複数のカメラからなる撮像手段
と、前記複数のカメラから得られた画像の歪みを補正す
る歪み補正手段と、装置起動時に得られた画像に対して
歪み補正した画像を基準画像として記憶する基準画像記
憶手段と、この基準画像記憶手段に記憶されている画像
と装置起動時以降に得た画像に対して歪み補正した画像
とを比較して画像変化を算出する画像変化算出手段と、
前記歪み補正手段により補正された画像を用い、ステレ
オ画像処理で撮像された人体の距離分布を計測する距離
計測手段と、この距離計測手段で計測された距離分布と
予め定められた前記複数のカメラの位置データとから人
体全体の３次元座標を算出する人体３次元座標算出手段
と、この人体３次元座標算出手段で算出された人体全体
の３次元座標から人体の端点を出力する人体端点出力手
段と、前記画像変化算出手段から得られた画像変化算出
結果と前記人体端点出力手段から得られた端点座標結果
とから端点座標を画像変化領域に修正する人体端点修正
手段とを設けた構成を有している。この構成により、基
準画像と順次入力される撮像画像を比較して変化のある
領域上に人体の部位が検出されるように修正すること
で、距離計測の誤差やノイズにより誤って検出した端点
を修正して精度よく端点を出力でき、人体端点の検出率
が向上することとなる。
【００１３】さらに、本発明の人体端点検出装置は、前
記人体３次元座標算出手段で算出された人体全体の３次
元座標から人体の頭部を検出する頭部検出手段と、前記
人体３次元座標算出手段で算出された人体全体の３次元
座標から人体の両肩部を検出する両肩部検出手段と、前
記人体３次元座標算出手段で算出された人体全体の３次
元座標から人体の両手部を検出する両手部検出手段と、
前記人体３次元座標算出手段で算出された人体全体の３
次元座標から人体の両足部を検出する両足部検出手段と
を設けた構成を有している。この構成により、接触型の
センサを使用しなくても距離分布から人体の両肩部、両
手部、両足部を精度よく検出できることとなる。
記人体３次元座標算出手段で算出された人体全体の３次
元座標から人体の頭部を検出する頭部検出手段と、前記
人体３次元座標算出手段で算出された人体全体の３次元
座標から人体の両肩部を検出する両肩部検出手段と、前
記人体３次元座標算出手段で算出された人体全体の３次
元座標から人体の両手部を検出する両手部検出手段と、
前記人体３次元座標算出手段で算出された人体全体の３
次元座標から人体の両足部を検出する両足部検出手段と
を設けた構成を有している。この構成により、接触型の
センサを使用しなくても距離分布から人体の両肩部、両
手部、両足部を精度よく検出できることとなる。
【００１４】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を用いて説明する。図１に示すように、本発明
の第１の実施の形態の人体端点検出装置は、所定の検知
空間を撮像するための複数のカメラ102、103からなる撮
像手段（撮像装置）101と、複数のカメラ102、103から
得られた画像を用い、ステレオ画像処理で撮像された人
体の距離分布を計測する距離計測手段112と、この距離
計測手段112で計測された距離分布と予め定められた複
数のカメラ102、103の位置データとから人体全体の３次
元座標を算出する人体３次元座標算出手段114と、この
人体３次元座標算出手段114で算出された人体全体の３
次元座標から人体の端点を出力する人体端点出力手段11
6とを設けたものである。
て、図面を用いて説明する。図１に示すように、本発明
の第１の実施の形態の人体端点検出装置は、所定の検知
空間を撮像するための複数のカメラ102、103からなる撮
像手段（撮像装置）101と、複数のカメラ102、103から
得られた画像を用い、ステレオ画像処理で撮像された人
体の距離分布を計測する距離計測手段112と、この距離
計測手段112で計測された距離分布と予め定められた複
数のカメラ102、103の位置データとから人体全体の３次
元座標を算出する人体３次元座標算出手段114と、この
人体３次元座標算出手段114で算出された人体全体の３
次元座標から人体の端点を出力する人体端点出力手段11
6とを設けたものである。
【００１５】図１において、撮像手段101は、複数のカ
メラ102、103を備えて所定の検知空間を撮像するもので
ある。歪み補正手段105は、カメラ103から得られる画像
に対して歪み補正を施し、歪み補正手段106は、カメラ1
02から得られる画像104に対して歪み補正を施すもので
ある。基準画像記憶手段108は、装置起動時の歪み補正
画像107を記憶するものである。画像変化算出手段110
は、基準画像記憶手段108に記憶されている基準歪み補
正画像109と、歪み補正手段106により歪み補正された画
像107とを比較して画像変化を算出するものである。距
離計測手段112は、歪み補正手段105、106で補正された
画像を用い、ステレオ画像処理で撮像されている人体の
距離分布を計測するものである。人体３次元座標算出手
段114は、距離計測手段112で計測された人体の距離分布
データ113と、予め定められている複数のカメラ102、10
3の位置データとから人体全体の３次元座標を算出する
ものである。人体端点出力手段116は、人体３次元情報1
15を用いて人体の端点を出力するものである。頭部検出
手段117は、人体３次元座標算出手段114で算出された人
体３次元情報115を用いて人体の頭部を検出するもので
ある。両肩部検出手段118は、人体３次元座標算出手段1
14で算出された人体３次元情報115を用いて人体の両肩
部を検出するものである。両足部検出手段119は、人体
３次元座標算出手段114で算出された人体３次元情報115
を用いて人体の両足部を検出するものである。両手部検
出手段120は、人体３次元座標算出手段114で算出された
人体３次元情報115を用いて人体の両手部を検出するも
のである。人体端点修正手段122は、画像変化算出手段1
10で算出された画像変化算出結果111と、頭部検出手段1
17と両肩部検出手段118と両足部検出手段119と両手部検
出手段120で検出された端点座標結果121から人体部分に
端点を修正するものである。
メラ102、103を備えて所定の検知空間を撮像するもので
ある。歪み補正手段105は、カメラ103から得られる画像
に対して歪み補正を施し、歪み補正手段106は、カメラ1
02から得られる画像104に対して歪み補正を施すもので
ある。基準画像記憶手段108は、装置起動時の歪み補正
画像107を記憶するものである。画像変化算出手段110
は、基準画像記憶手段108に記憶されている基準歪み補
正画像109と、歪み補正手段106により歪み補正された画
像107とを比較して画像変化を算出するものである。距
離計測手段112は、歪み補正手段105、106で補正された
画像を用い、ステレオ画像処理で撮像されている人体の
距離分布を計測するものである。人体３次元座標算出手
段114は、距離計測手段112で計測された人体の距離分布
データ113と、予め定められている複数のカメラ102、10
3の位置データとから人体全体の３次元座標を算出する
ものである。人体端点出力手段116は、人体３次元情報1
15を用いて人体の端点を出力するものである。頭部検出
手段117は、人体３次元座標算出手段114で算出された人
体３次元情報115を用いて人体の頭部を検出するもので
ある。両肩部検出手段118は、人体３次元座標算出手段1
14で算出された人体３次元情報115を用いて人体の両肩
部を検出するものである。両足部検出手段119は、人体
３次元座標算出手段114で算出された人体３次元情報115
を用いて人体の両足部を検出するものである。両手部検
出手段120は、人体３次元座標算出手段114で算出された
人体３次元情報115を用いて人体の両手部を検出するも
のである。人体端点修正手段122は、画像変化算出手段1
10で算出された画像変化算出結果111と、頭部検出手段1
17と両肩部検出手段118と両足部検出手段119と両手部検
出手段120で検出された端点座標結果121から人体部分に
端点を修正するものである。
【００１６】次に、本実施形態における人体端点検出方
法について詳細に説明する。まず、撮像手段101は複数
のカメラ102、103で所定の検知空間を撮影する。次い
で、歪み補正手段104、105はカメラ102、103から得られ
る画像の歪みを補正する。ここで、画像の歪み（歪曲収
差）は、カメラ102、103とこのカメラ102、103に装着す
るレンズによって決まり、歪み補正関数ＦＨで補正でき
る。よって、歪み補正画像Ｉｂ（ｉ，ｊ）は、歪み画像
Ｉａ（ｉ，ｊ）から、
法について詳細に説明する。まず、撮像手段101は複数
のカメラ102、103で所定の検知空間を撮影する。次い
で、歪み補正手段104、105はカメラ102、103から得られ
る画像の歪みを補正する。ここで、画像の歪み（歪曲収
差）は、カメラ102、103とこのカメラ102、103に装着す
るレンズによって決まり、歪み補正関数ＦＨで補正でき
る。よって、歪み補正画像Ｉｂ（ｉ，ｊ）は、歪み画像
Ｉａ（ｉ，ｊ）から、
【数１】 と表すことができる。この数式（１）により、カメラ10
2から得られる歪み画像104から、歪み補正画像107が得
られる。これは、歪み補正手段106でも同様である。
2から得られる歪み画像104から、歪み補正画像107が得
られる。これは、歪み補正手段106でも同様である。
【００１７】次いで、基準画像記憶手段108では、装置
起動時の人体の撮像されていない歪み補正画像107を基
準歪み補正画像109として記憶し、画像変化算出手段110
では、基準歪み補正画像109と起動時以降の歪み補正画
像107とを比較して、画像変化のあった領域を算出す
る。ここで、基準歪み補正画像109をＩｃ（ｉ，ｊ）と
し、起動時以降の歪み補正画像107をＩｄ（ｉ，ｊ）と
すると、
起動時の人体の撮像されていない歪み補正画像107を基
準歪み補正画像109として記憶し、画像変化算出手段110
では、基準歪み補正画像109と起動時以降の歪み補正画
像107とを比較して、画像変化のあった領域を算出す
る。ここで、基準歪み補正画像109をＩｃ（ｉ，ｊ）と
し、起動時以降の歪み補正画像107をＩｄ（ｉ，ｊ）と
すると、
【数２】 を満たす時に、画素（ｉ，ｊ）が変化画素となる。ただ
し、ＴＨ1は輝度変化から求まる所定の閾値である。こ
こで、数式（２）を満たす画素では画像変化分布Ｃ
（ｉ，ｊ）＝１とし、数式（２）を満たさない画素では
画像変化分布Ｃ（ｉ，ｊ）＝０とする。この画素変化分
布Ｃ（ｉ，ｊ）を画素変化算出結果111とする。
し、ＴＨ1は輝度変化から求まる所定の閾値である。こ
こで、数式（２）を満たす画素では画像変化分布Ｃ
（ｉ，ｊ）＝１とし、数式（２）を満たさない画素では
画像変化分布Ｃ（ｉ，ｊ）＝０とする。この画素変化分
布Ｃ（ｉ，ｊ）を画素変化算出結果111とする。
【００１８】次いで、距離計測手段112では、歪み補正
手段105、106から得られる歪み補正画像を用いてステレ
オ画像処理により、撮像されている人体までの距離分布
を計測する。ここで、ステレオ画像処理を用いた距離計
測方法の例として、『実吉他著、「三次元画像認識技術
を用いた運転支援システム」、自動車技術学会学術講演
会前刷924、pp169-172（1992-10）』に記載の方法を説
明する。なお、これに限らず、他の距離計測方法を用い
てもよい。
手段105、106から得られる歪み補正画像を用いてステレ
オ画像処理により、撮像されている人体までの距離分布
を計測する。ここで、ステレオ画像処理を用いた距離計
測方法の例として、『実吉他著、「三次元画像認識技術
を用いた運転支援システム」、自動車技術学会学術講演
会前刷924、pp169-172（1992-10）』に記載の方法を説
明する。なお、これに限らず、他の距離計測方法を用い
てもよい。
【００１９】具体的には、カメラ102とカメラ103は、水
平方向に既知の間隔で平行に設置されており、図２に示
すように、カメラ102より撮影される画像を歪み補正し
た画像を右画像301、カメラ103により撮影される画像を
歪み補正した画像を左画像とする。まず、右画像301を
水平方向にｍ分割、垂直方向にｎ分割して、合計（ｍ×
ｎ）個の画素302からなる部分領域303に分割する。これ
によって、右画像301は水平方向にＭ分割、垂直方向に
Ｎ分割の合計（Ｍ×Ｎ）個の部分領域303に分割され
る。
平方向に既知の間隔で平行に設置されており、図２に示
すように、カメラ102より撮影される画像を歪み補正し
た画像を右画像301、カメラ103により撮影される画像を
歪み補正した画像を左画像とする。まず、右画像301を
水平方向にｍ分割、垂直方向にｎ分割して、合計（ｍ×
ｎ）個の画素302からなる部分領域303に分割する。これ
によって、右画像301は水平方向にＭ分割、垂直方向に
Ｎ分割の合計（Ｍ×Ｎ）個の部分領域303に分割され
る。
【００２０】次いで、右画像301の部分領域303毎に、左
画像中を順次探索していき、対応する領域を決定してい
く。具体的には、左画像の中で右画像301の部分領域303
の画像に類似する画像が存在する可能性のある探索範囲
において、水平方向にｍ、垂直方向にｎの合計（ｍ×
ｎ）個の画素302からなる探索矩形領域を水平方向に１
画素ずつ移動させるごとに、右画像301の部分領域303の
画像と左画像の探索矩形領域の画像との類似度評価値Ｂ
を求める。
画像中を順次探索していき、対応する領域を決定してい
く。具体的には、左画像の中で右画像301の部分領域303
の画像に類似する画像が存在する可能性のある探索範囲
において、水平方向にｍ、垂直方向にｎの合計（ｍ×
ｎ）個の画素302からなる探索矩形領域を水平方向に１
画素ずつ移動させるごとに、右画像301の部分領域303の
画像と左画像の探索矩形領域の画像との類似度評価値Ｂ
を求める。
【００２１】この類似度評価値Ｂは、右画像301の部分
領域303のｉ番目の画素における輝度値をＬi、左画像の
探索矩形領域中のｉ番目の画素における輝度値をＲiと
したとき、数式（３）によって求めることができる。
領域303のｉ番目の画素における輝度値をＬi、左画像の
探索矩形領域中のｉ番目の画素における輝度値をＲiと
したとき、数式（３）によって求めることができる。
【数３】 その結果、類似度評価値Ｂが最小になった時の左画像に
おける探索部分領域の位置を、右画像301の部分領域303
に対応する領域（以下「対応領域」という）と判定し
て、右画像301の部分領域303の座標ＰＲと左画像の対応
領域の座標ＰＬとのずれから、視差ｄを次に示す数式
（４）によって求め、それを出力する。
おける探索部分領域の位置を、右画像301の部分領域303
に対応する領域（以下「対応領域」という）と判定し
て、右画像301の部分領域303の座標ＰＲと左画像の対応
領域の座標ＰＬとのずれから、視差ｄを次に示す数式
（４）によって求め、それを出力する。
【数４】 以上のように、右画像301の部分領域303の対応領域を求
めて視差ｄを算出する動作を、右画像301に含まれる全
ての部分領域303に対して順次行うものとする。
めて視差ｄを算出する動作を、右画像301に含まれる全
ての部分領域303に対して順次行うものとする。
【００２２】次いで、右画像301の部分領域303毎に得ら
れた視差ｄ（Ｘ，Ｙ）[但し、０≦Ｘ＜Ｍ、０≦Ｙ＜Ｎ]
をもとに、カメラ102,103から撮像された人体までの光
軸方向の距離分布データＫ（Ｘ，Ｙ）を、数式（５）に
よって部分領域303毎に求める。
れた視差ｄ（Ｘ，Ｙ）[但し、０≦Ｘ＜Ｍ、０≦Ｙ＜Ｎ]
をもとに、カメラ102,103から撮像された人体までの光
軸方向の距離分布データＫ（Ｘ，Ｙ）を、数式（５）に
よって部分領域303毎に求める。
【数５】 但し、２ａはカメラ102とカメラ103の設置間距離を表
し、ｆはカメラ102とカメラ103のレンズの焦点距離を表
す。
し、ｆはカメラ102とカメラ103のレンズの焦点距離を表
す。
【００２３】次いで、人体３次元座標算出手段114で
は、予め床面までの距離分布Ｋ0を計測しておく。そし
て、距離計測手段112により計測された距離分布データ
Ｋ（Ｘ，Ｙ）と地面までの距離分布用データＫ0（Ｘ，
Ｙ）を用いて、撮像されている人体の３次元データを算
出する。
は、予め床面までの距離分布Ｋ0を計測しておく。そし
て、距離計測手段112により計測された距離分布データ
Ｋ（Ｘ，Ｙ）と地面までの距離分布用データＫ0（Ｘ，
Ｙ）を用いて、撮像されている人体の３次元データを算
出する。
【００２４】ここで、図３を参照しながら、人体３次元
座標算出手段114の動作を説明する。図３（ａ）に示す
ように、カメラの撮像面のＸ軸と実空間のＵ軸とが平行
になるようにカメラを設置し、検知空間401中に存在す
る人間402を撮影する。このとき、撮像面403に撮像され
ている人間402の距離分布データ（Ｘ，Ｙ）のＶ軸方向
の位置Ｖ（Ｘ，Ｙ）を算出する。図３（ｂ）は、撮像さ
れている人間402のＨ軸方向の位置ＨとＶ軸方向の位置
Ｖを算出する手順を説明する図である。図３（ｂ）か
ら、Ｈ軸方向の位置ＨとＶ軸方向の位置Ｖは、
座標算出手段114の動作を説明する。図３（ａ）に示す
ように、カメラの撮像面のＸ軸と実空間のＵ軸とが平行
になるようにカメラを設置し、検知空間401中に存在す
る人間402を撮影する。このとき、撮像面403に撮像され
ている人間402の距離分布データ（Ｘ，Ｙ）のＶ軸方向
の位置Ｖ（Ｘ，Ｙ）を算出する。図３（ｂ）は、撮像さ
れている人間402のＨ軸方向の位置ＨとＶ軸方向の位置
Ｖを算出する手順を説明する図である。図３（ｂ）か
ら、Ｈ軸方向の位置ＨとＶ軸方向の位置Ｖは、
【数６】
【数７】 として、算出できる。但し、１≦Ｘ≦Ｍ、１≦Ｙ≦Ｎ、
Ｈcamはカメラの設置高であり、θはカメラの設置俯角
である。さらに、Ｕ軸方向の位置Ｕは、Ｘ軸とＵ軸は平
行なので、
Ｈcamはカメラの設置高であり、θはカメラの設置俯角
である。さらに、Ｕ軸方向の位置Ｕは、Ｘ軸とＵ軸は平
行なので、
【数８】 として算出できる。但し、ａ及びbは使用する撮像装置
（図１の１０１に相当）とその設置位置によって決定さ
れる定数である。
（図１の１０１に相当）とその設置位置によって決定さ
れる定数である。
【００２５】以上、数式６から数式８に示すように、距
離分布データＫ（Ｘ，Ｙ）と地面までの距離分布用デー
タＫ0（Ｘ，Ｙ）を用いて、撮像されている人体の３次
元情報を算出することができる。この数式（６）から数
式（８）を人体３次元情報115とする。
離分布データＫ（Ｘ，Ｙ）と地面までの距離分布用デー
タＫ0（Ｘ，Ｙ）を用いて、撮像されている人体の３次
元情報を算出することができる。この数式（６）から数
式（８）を人体３次元情報115とする。
【００２６】次いで、人体端点出力手段116において、
はじめに頭部検出手段117に人体３次元情報115を入力す
る。頭部検出手段117では、人体３次元情報115を用いて
人体の頭部を検出する。ここで、図４を参照しながら頭
部検出手段117の動作を説明する。
はじめに頭部検出手段117に人体３次元情報115を入力す
る。頭部検出手段117では、人体３次元情報115を用いて
人体の頭部を検出する。ここで、図４を参照しながら頭
部検出手段117の動作を説明する。
【００２７】入力された人体３次元情報115から、人体
で最も高い頭頂点501を求める。この頭頂点501から床面
方向へ、順次体の幅ＢＷを計測していき、次式（９）を
満たす高さｈを求める。
で最も高い頭頂点501を求める。この頭頂点501から床面
方向へ、順次体の幅ＢＷを計測していき、次式（９）を
満たす高さｈを求める。
【数９】 但し、頭と手が同じ高さであった場合、大きい方を体の
幅ＢＷとする。また、ＴＨ2は頭の大きさによって決定
される閾値である。数式（９）を満たす値ｈのうち最も
高いものをｈ_maxとし、高さｈ_maxの人体の中央点を頭
位置502とする。この頭位置502の３次元座標が端点位座
標結果121として出力される。
幅ＢＷとする。また、ＴＨ2は頭の大きさによって決定
される閾値である。数式（９）を満たす値ｈのうち最も
高いものをｈ_maxとし、高さｈ_maxの人体の中央点を頭
位置502とする。この頭位置502の３次元座標が端点位座
標結果121として出力される。
【００２８】次いで、人体端点出力手段116において、
両肩検出手段118に人体３次元情報115を入力する。両肩
検出手段118では、人体３次元情報115を用いて人体の両
肩部を検出する。
両肩検出手段118に人体３次元情報115を入力する。両肩
検出手段118では、人体３次元情報115を用いて人体の両
肩部を検出する。
【００２９】ここで、図５を参照しながら両肩検出手段
118の動作を説明する。まず、入力された人体３次元情
報115から、人体の中で最も高い頭頂点ＡＨ601を求め
る。人体の肩ＳＨの高さは頭頂点601より下にあると仮
定し、人体の肩は次の数式（10）で示す領域にあるもの
とする。
118の動作を説明する。まず、入力された人体３次元情
報115から、人体の中で最も高い頭頂点ＡＨ601を求め
る。人体の肩ＳＨの高さは頭頂点601より下にあると仮
定し、人体の肩は次の数式（10）で示す領域にあるもの
とする。
【数10】 但し、Ｎ、Ｐは頭と肩の構造な関係から決まる定数であ
る。人体３次元情報115から、数式（10）のＳＨの示す
領域を満たす３次元情報を抽出し、その情報を床面に投
影して得られる像が、図５（ａ）に示す肩投影像602で
ある。また、頭頂点を床面に投影して得られる点が頭投
影点603である。
る。人体３次元情報115から、数式（10）のＳＨの示す
領域を満たす３次元情報を抽出し、その情報を床面に投
影して得られる像が、図５（ａ）に示す肩投影像602で
ある。また、頭頂点を床面に投影して得られる点が頭投
影点603である。
【００３０】次いで、肩投影像602を構成する全ての点
のうち、頭投影点603を通過する２点ｕ（ｕi，ｕj）、
ｖ（ｖi，ｖj）の線分の長さｄｉｓｔを次式（11）によ
って求める。但し、２点ｕ、ｖは各々の頭投影点603か
ら等距離にあるものとする。
のうち、頭投影点603を通過する２点ｕ（ｕi，ｕj）、
ｖ（ｖi，ｖj）の線分の長さｄｉｓｔを次式（11）によ
って求める。但し、２点ｕ、ｖは各々の頭投影点603か
ら等距離にあるものとする。
【数11】 次いで、数式（11）で求めた長さを持つ各線分ｕ、ｖの
うち、次式（12）を満たすものを求める。
うち、次式（12）を満たすものを求める。
【数12】 但し、ＴＨ3は肩の広さから決まる定数である。数式（1
2）を満たすｄｉｓｔのうち最長のものをｄｉｓｔ_ｍａ
ｘとし、その線分を構成する２点を肩投影点604とする
（図５（ｂ）に示す）。この肩投影点604に投影した点
を人体３次元情報115から探索して求め、その肩逆投影
点605を肩位置とする。この肩位置605の３次元座標が端
点座標結果121として出力される。
2）を満たすｄｉｓｔのうち最長のものをｄｉｓｔ_ｍａ
ｘとし、その線分を構成する２点を肩投影点604とする
（図５（ｂ）に示す）。この肩投影点604に投影した点
を人体３次元情報115から探索して求め、その肩逆投影
点605を肩位置とする。この肩位置605の３次元座標が端
点座標結果121として出力される。
【００３１】次いで、人体端点出力手段116において、
両足検出手段119に人体３次元情報115を入力する。両足
検出手段119では、人体３次元情報115を用いて人体の両
足部を検出する。
両足検出手段119に人体３次元情報115を入力する。両足
検出手段119では、人体３次元情報115を用いて人体の両
足部を検出する。
【００３２】ここで、図６を参照しながら両足検出手段
119の動作を説明する。人体の足ＬＨは膝ＫＨの高さよ
り下にあると仮定し、人体の足は次式（13）で示す領域
にあるものとする。
119の動作を説明する。人体の足ＬＨは膝ＫＨの高さよ
り下にあると仮定し、人体の足は次式（13）で示す領域
にあるものとする。
【数13】 ただし、ＫＨは足の構造から決まる定数である。人体３
次元情報115から、数式（13）のＬＨの示す領域を満た
す３次元情報を抽出し、その情報を床面に投影して得ら
れる像が足投影像702であり、これを二つの領域に分割
する（図６（ａ）に示す）。
次元情報115から、数式（13）のＬＨの示す領域を満た
す３次元情報を抽出し、その情報を床面に投影して得ら
れる像が足投影像702であり、これを二つの領域に分割
する（図６（ａ）に示す）。
【００３３】まず、任意の点Ｐ、Ｑを定め、それらと足
投影像702上の全ての点（ｉ，ｊ）との距離を各々ｄｉ
ｓｔP（ｉ，ｊ）、ｄｉｓｔQ（ｉ，ｊ）として求める。
ｄｉｓｔP（ｉ，ｊ）、ｄｉｓｔQ（ｉ，ｊ）の比較を行
い、小さい方に前記点（ｉ，ｊ）が属するものとする。
例えば、ｄｉｓｔP（ｉ，ｊ）がｄｉｓｔQ（ｉ，ｊ）よ
り小さいとき、投影点属性分布Ｄ（ｉ，ｊ）＝Ｐとす
る。投影点属性分布Ｄ（ｉ，ｊ）から、足投影像702上
の全ての点（ｉ，ｊ）は、Ｐ、Ｑのいずれかに属したこ
とになる。次いで、Ｐ、Ｑ各々に属する点（ｉ，ｊ）の
重心を求め、各重心点をＰ、Ｑとふりなおす。
投影像702上の全ての点（ｉ，ｊ）との距離を各々ｄｉ
ｓｔP（ｉ，ｊ）、ｄｉｓｔQ（ｉ，ｊ）として求める。
ｄｉｓｔP（ｉ，ｊ）、ｄｉｓｔQ（ｉ，ｊ）の比較を行
い、小さい方に前記点（ｉ，ｊ）が属するものとする。
例えば、ｄｉｓｔP（ｉ，ｊ）がｄｉｓｔQ（ｉ，ｊ）よ
り小さいとき、投影点属性分布Ｄ（ｉ，ｊ）＝Ｐとす
る。投影点属性分布Ｄ（ｉ，ｊ）から、足投影像702上
の全ての点（ｉ，ｊ）は、Ｐ、Ｑのいずれかに属したこ
とになる。次いで、Ｐ、Ｑ各々に属する点（ｉ，ｊ）の
重心を求め、各重心点をＰ、Ｑとふりなおす。
【００３４】以上の、ＰＱと足投影像上の全ての点との
距離を求め、投影点属性分布Ｄを求め、属性毎に重心を
求めそれらをＰＱとする、という一連の処理をＰＱの位
置が変化しなくなるまで続ける。変化しなくなった点
を、足投影点703とする（図６（ｂ）に示す）。床面上
での位置を示す足投影点703の２次元座標と両足とはい
ずれも床面に接していることから、両足の高さは０であ
るという1次元座標の合計３次元座標が、端点座標結果1
21として出力される。
距離を求め、投影点属性分布Ｄを求め、属性毎に重心を
求めそれらをＰＱとする、という一連の処理をＰＱの位
置が変化しなくなるまで続ける。変化しなくなった点
を、足投影点703とする（図６（ｂ）に示す）。床面上
での位置を示す足投影点703の２次元座標と両足とはい
ずれも床面に接していることから、両足の高さは０であ
るという1次元座標の合計３次元座標が、端点座標結果1
21として出力される。
【００３５】次いで、人体端点出力手段116において、
両手部検出手段120に人体３次元情報115を入力する。両
手部検出手段120では、人体３次元情報115を用いて人体
の両手部を検出する。
両手部検出手段120に人体３次元情報115を入力する。両
手部検出手段120では、人体３次元情報115を用いて人体
の両手部を検出する。
【００３６】ここで、図７を参照しながら両手部検出手
段119の動作を説明する。人体の手ＨＨは膝ＫＨの高さ
より上にあると仮定し、人体の手は次式（14）で示す領
域にあるものとする。
段119の動作を説明する。人体の手ＨＨは膝ＫＨの高さ
より上にあると仮定し、人体の手は次式（14）で示す領
域にあるものとする。
【数14】 但し、ＫＨは足の構造から決まる定数である。人体３次
元情報115から、数式（14）のＨＨの示す領域を満たす
３次元情報を抽出し、その情報を床面に投影して得られ
る像が手投影像802である（図７（ａ）に示す）。
元情報115から、数式（14）のＨＨの示す領域を満たす
３次元情報を抽出し、その情報を床面に投影して得られ
る像が手投影像802である（図７（ａ）に示す）。
【００３７】次いで、手投影像802の重心803を求める。
さらに、重心803と手投影像802上の全ての点（ｉ，ｊ）
との距離ｄｉｓｔ（ｉ，ｊ）を求める。距離ｄｉｓｔ
（ｉ，ｊ）のうち最大を示す点をＲ（ｉR，ｊR）とす
る。次に重心803と数式（15）を満たす点（ｉ，ｊ）の
距離ｄｉｓｔ（ｉ，ｊ）を求める。距離ｄｉｓｔ（ｉ，
ｊ）のうち最大を示す点をＳとする。
さらに、重心803と手投影像802上の全ての点（ｉ，ｊ）
との距離ｄｉｓｔ（ｉ，ｊ）を求める。距離ｄｉｓｔ
（ｉ，ｊ）のうち最大を示す点をＲ（ｉR，ｊR）とす
る。次に重心803と数式（15）を満たす点（ｉ，ｊ）の
距離ｄｉｓｔ（ｉ，ｊ）を求める。距離ｄｉｓｔ（ｉ，
ｊ）のうち最大を示す点をＳとする。
【数15】 但し、ＴＨ4は両手間の距離から決まる閾値である。以
上２点Ｒ、Ｓを手投影点804とする（図７（ｂ）に示
す）。この投影点804に投影した点を人体３次元情報115
から探索して求め、その手逆投影点805を手位置とす
る。この手逆投影点805の３次元情報が端点座標結果121
として出力される。
上２点Ｒ、Ｓを手投影点804とする（図７（ｂ）に示
す）。この投影点804に投影した点を人体３次元情報115
から探索して求め、その手逆投影点805を手位置とす
る。この手逆投影点805の３次元情報が端点座標結果121
として出力される。
【００３８】こうして、頭部検出手段117と両肩部検出
手段118と両足部検出手段119と両手部検出手段120から
出力された端点座標結果121は、人体端点修正手段122に
入力される。この人体端点修正手段122では、画素変化
算出結果111と端点座標結果121から、部位を修正する。
まず、端点座標結果が画素変化分布Ｃ（ｉ，ｊ）＝１上
に存在するかを調べ、存在しなければ、画素変化分布Ｃ
（ｉ，ｊ）＝１を満たす画素（ｉ，ｊ）と端点座標結果
121の座標との距離を求め、最小となる点を新たな端点
座標結果とする。
手段118と両足部検出手段119と両手部検出手段120から
出力された端点座標結果121は、人体端点修正手段122に
入力される。この人体端点修正手段122では、画素変化
算出結果111と端点座標結果121から、部位を修正する。
まず、端点座標結果が画素変化分布Ｃ（ｉ，ｊ）＝１上
に存在するかを調べ、存在しなければ、画素変化分布Ｃ
（ｉ，ｊ）＝１を満たす画素（ｉ，ｊ）と端点座標結果
121の座標との距離を求め、最小となる点を新たな端点
座標結果とする。
【００３９】以上のように、本発明の実施の一形態に係
る人体端点検出装置は、所定の検知空間を撮像するため
の複数のカメラ102、103からなる撮像手段（撮像装置）
101と、複数のカメラ102、103から得られた画像を用
い、ステレオ画像処理で撮像された人体の距離分布を計
測する距離計測手段112と、この距離計測手段112で計測
された距離分布と予め定められた複数のカメラ102、103
の位置データとから人体全体の３次元座標を算出する人
体３次元座標算出手段114と、この人体３次元座標算出
手段114で算出された人体全体の３次元座標から人体の
端点を出力する人体端点出力手段116とを設け、撮像手
段101により所定の検知空間内に存在する人体を撮像
し、ステレオ画像処理で撮像されている人体全体の距離
分布を計測し、この距離分布の計測データと複数のカメ
ラ102、103の位置データとから人体全体の３次元座標を
算出して、人体の端点を出力しているので、接触型のセ
ンサを使用しなくても距離分布から人体の端点を検出で
きる。
る人体端点検出装置は、所定の検知空間を撮像するため
の複数のカメラ102、103からなる撮像手段（撮像装置）
101と、複数のカメラ102、103から得られた画像を用
い、ステレオ画像処理で撮像された人体の距離分布を計
測する距離計測手段112と、この距離計測手段112で計測
された距離分布と予め定められた複数のカメラ102、103
の位置データとから人体全体の３次元座標を算出する人
体３次元座標算出手段114と、この人体３次元座標算出
手段114で算出された人体全体の３次元座標から人体の
端点を出力する人体端点出力手段116とを設け、撮像手
段101により所定の検知空間内に存在する人体を撮像
し、ステレオ画像処理で撮像されている人体全体の距離
分布を計測し、この距離分布の計測データと複数のカメ
ラ102、103の位置データとから人体全体の３次元座標を
算出して、人体の端点を出力しているので、接触型のセ
ンサを使用しなくても距離分布から人体の端点を検出で
きる。
【００４０】なお、本実施形態においては、歪みのある
画像に対して歪み補正をすることで、ステレオ画像処理
の距離計測精度を向上させ、基準画像と順次入力される
撮像画像とを比較して変化のある領域に人体の部位が検
出されているか否かを判定し、変化のない領域に人体の
部位が検出されている場合は変化のある領域に修正する
ことで、検出率を向上させることが可能である。
画像に対して歪み補正をすることで、ステレオ画像処理
の距離計測精度を向上させ、基準画像と順次入力される
撮像画像とを比較して変化のある領域に人体の部位が検
出されているか否かを判定し、変化のない領域に人体の
部位が検出されている場合は変化のある領域に修正する
ことで、検出率を向上させることが可能である。
【００４１】また、本実施形態においては、人体全体の
３次元座標算出データから頭頂点を求め、頭頂点から床
方向に身体の幅を計測し、所定の閾値以上の幅を持つ部
分を人体の頭部とし、その幅の中央点を頭部の位置とす
ることで、頭部に接触型のセンサを装着しなくても距離
分布から精度良く頭部を検出できる。
３次元座標算出データから頭頂点を求め、頭頂点から床
方向に身体の幅を計測し、所定の閾値以上の幅を持つ部
分を人体の頭部とし、その幅の中央点を頭部の位置とす
ることで、頭部に接触型のセンサを装着しなくても距離
分布から精度良く頭部を検出できる。
【００４２】さらに、本実施形態においては、床面より
上に膝部があると仮定し、身体全体の３次元座標算出デ
ータの中で膝部以下を表す３次元座標算出データを用い
て床面に投影画像を作成し、投影画像において領域を２
つに分割し、各領域の重心を人体の足部とすることで、
足部に接触型のセンサを装着しなくても距離分布から精
度良く足部を検出できる。
上に膝部があると仮定し、身体全体の３次元座標算出デ
ータの中で膝部以下を表す３次元座標算出データを用い
て床面に投影画像を作成し、投影画像において領域を２
つに分割し、各領域の重心を人体の足部とすることで、
足部に接触型のセンサを装着しなくても距離分布から精
度良く足部を検出できる。
【００４３】
【発明の効果】以上説明したように、本発明はステレオ
画像処理により人体全体の３次元座標を算出することに
より、被験者にマーカ等の接触型のセンサを取り付ける
ことなく、人体部位を検出できるという優れた効果を有
する人体端点検出装置及び方法を提供することができる
ものである。
画像処理により人体全体の３次元座標を算出することに
より、被験者にマーカ等の接触型のセンサを取り付ける
ことなく、人体部位を検出できるという優れた効果を有
する人体端点検出装置及び方法を提供することができる
ものである。
【図１】本発明の実施の形態に係る人体端点検出装置の
構成を示すブロック図
構成を示すブロック図
【図２】本発明の実施の形態に係る人体端点検出方法
（距離計測方法）における画像と部分領域の関係を表す
模式図
（距離計測方法）における画像と部分領域の関係を表す
模式図
【図３】本発明の実施の形態に係る人体端点検出装置に
おける人体３次元座標算出手段の動作を説明する模式図
おける人体３次元座標算出手段の動作を説明する模式図
【図４】本発明の実施の形態に係る人体端点検出装置に
おける頭部検出手段の動作を説明する模式図
おける頭部検出手段の動作を説明する模式図
【図５】本発明の実施の形態に係る人体端点検出装置に
おける両肩部検出手段の動作を説明する模式図
おける両肩部検出手段の動作を説明する模式図
【図６】本発明の実施の形態に係る人体端点検出装置に
おける両足部検出手段の動作を説明する模式図
おける両足部検出手段の動作を説明する模式図
【図７】本発明の実施の形態に係る人体端点検出装置に
おける両手部検出手段の動作を説明する模式図
おける両手部検出手段の動作を説明する模式図
【図８】従来のマーカを装着して人体端点を検出する方
法を説明する模式図
法を説明する模式図
101 撮像手段 102、103 カメラ 104 画像 105、106 歪み補正手段 107 歪み補正画像 108 基準画像記憶手段 109 基準歪み補正画像 110 画像変化算出手段 111 画像変化算出結果 112 距離計測手段 113 距離分布データ 114 人体３次元座標算出手段 115 人体３次元情報 116 人体端点出力手段 117 頭部検出手段 118 両肩部検出手段 119 両足検出手段 120 両手検出手段 121 端点座標結果 122 人体端点修正手段 201 頭に装着した赤マーク 202 手に装着した青マーク 203 手に装着した青マーク 204 肩に装着した黄マーク 205 肩に装着した黄マーク 206 足に装着した緑マーク 207 足に装着した緑マーク 208 計測用カラーカメラ 209 画像処理装置 301 右画像 302 画素 303 部分領域 401 検知空間 402 人間（人体） 403 撮像面 501 頭頂点 502 頭の位置 601 頭頂点 602 肩投影像 603 頭投影点 604 肩投影点 605 肩逆投影点 701 膝の高さ 702 足投影像 703 足投影点 801 膝の高さ 802 手投影像 803 重心 804 手投影点 805 手逆投影点
───────────────────────────────────────────────────── フロントページの続き (72)発明者 恩田 勝政 神奈川県横浜市港北区綱島東四丁目３番１ 号 松下通信工業株式会社内 Ｆターム(参考） 5B057 BA11 CA13 CA16 DA08 DB03 DC05 DC36 5C054 CH08 EA01 EF06 FB03 FC04 FC12 FD02 FD03 FE25 GB15 GB16 GD05 HA33 5C061 AA21 AB04 AB08 5L096 AA09 CA05 FA09 FA69 JA03 JA11
Claims (7)
- 【請求項１】 複数のカメラを搭載した撮像装置により
所定の検知空間内に存在する人体を撮像し、ステレオ画
像処理で撮像されている人体全体の距離分布を計測し、
前記人体全体の距離分布の計測データと前記複数のカメ
ラの位置データとから人体全体の３次元座標を算出し、
人体の端点を出力することを特徴とする人体端点検出方
法。 - 【請求項２】 前記人体全体の３次元座標算出データか
ら人体の頭頂点を求め、この頭頂点より下に胸部がある
と仮定し、前記人体全体の３次元座標算出データの中で
胸部以上を表す３次元座標算出データを用いて床面に投
影画像を作成し、この投影画像において頭部を中心にし
て所定の距離内で最遠点を示す２点を人体の両肩部と
し、この両肩部を示す３次元座標算出データを逆投影処
理で求めることを特徴とする請求項１に記載の人体端点
検出方法。 - 【請求項３】 前記人体の膝部が床面より上にあると仮
定し、前記人体全体の３次元座標算出データの中で膝部
以上を表す３次元座標算出データを用いて床面に投影画
像を作成し、この投影画像において重心座標を算出し、
重心座標から最遠点１点とこの最遠点の周囲を除く重心
座標からの最遠点１点の合計２点を人体の両手部とし、
この両手部を示す３次元座標算出データを逆投影処理で
求めることを特徴とする請求項１または２に記載の人体
端点検出方法。 - 【請求項４】 所定の検知空間を撮像するための複数の
カメラからなる撮像手段と、前記複数のカメラから得ら
れた画像を用い、ステレオ画像処理で撮像された人体の
距離分布を計測する距離計測手段と、この距離計測手段
で計測された距離分布と予め定められた前記複数のカメ
ラの位置データとから人体全体の３次元座標を算出する
人体３次元座標算出手段と、この人体３次元座標算出手
段で算出された人体全体の３次元座標から人体の端点を
出力する人体端点出力手段とを設けたことを特徴とする
人体端点検出装置。 - 【請求項５】 所定の検知空間を撮像する複数のカメラ
からなる撮像手段と、前記複数のカメラから得られた画
像の歪みを補正する歪み補正手段と、この歪み補正手段
により補正された画像を用い、ステレオ画像処理で撮像
された人体の距離分布を計測する距離計測手段と、この
距離計測手段で計測された距離分布と予め定められた前
記複数のカメラの位置データとから人体全体の３次元座
標を算出する人体３次元座標算出手段と、この人体３次
元座標算出手段で算出された人体全体の３次元座標から
人体の端点を出力する人体端点出力手段とを設けたこと
を特徴とする人体端点検出装置。 - 【請求項６】 所定の検知空間を撮像する複数のカメラ
からなる撮像手段と、前記複数のカメラから得られた画
像の歪みを補正する歪み補正手段と、装置起動時に得ら
れた画像に対して歪み補正した画像を基準画像として記
憶する基準画像記憶手段と、この基準画像記憶手段に記
憶されている画像と装置起動時以降に得られた画像に対
して歪み補正した画像とを比較して画像変化を算出する
画像変化算出手段と、前記歪み補正手段により補正され
た画像を用い、ステレオ画像処理で撮像された人体の距
離分布を計測する距離計測手段と、この距離計測手段で
計測された距離分布と予め定められた前記複数のカメラ
の位置データとから人体全体の３次元座標を算出する人
体３次元座標算出手段と、この人体３次元座標算出手段
で算出された人体全体の３次元座標から人体の端点を出
力する人体端点出力手段と、前記画像変化算出手段から
得られた画像変化算出結果と前記人体端点出力手段から
得られた端点座標結果とから端点座標を画像変化領域に
修正する人体端点修正手段とを設けたことを特徴とする
人体端点検出装置。 - 【請求項７】 前記人体３次元座標算出手段で算出され
た人体全体の３次元座標から人体の頭部を検出する頭部
検出手段と、前記人体３次元座標算出手段で算出された
人体全体の３次元座標から人体の両肩部を検出する両肩
部検出手段と、前記人体３次元座標算出手段で算出され
た人体全体の３次元座標から人体の両手部を検出する両
手部検出手段と、前記人体３次元座標算出手段で算出さ
れた人体全体の３次元座標から人体の両足部を検出する
両足部検出手段とを設けたことを特徴とする請求項４〜
６のいずれかに記載の人体端点検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001160775A JP4101478B2 (ja) | 2001-05-29 | 2001-05-29 | 人体端点検出方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001160775A JP4101478B2 (ja) | 2001-05-29 | 2001-05-29 | 人体端点検出方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002352231A true JP2002352231A (ja) | 2002-12-06 |
| JP4101478B2 JP4101478B2 (ja) | 2008-06-18 |
Family
ID=19004139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001160775A Expired - Fee Related JP4101478B2 (ja) | 2001-05-29 | 2001-05-29 | 人体端点検出方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4101478B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005012367A (ja) * | 2003-06-17 | 2005-01-13 | Intec Web & Genome Informatics Corp | 新生児モニタリングシステム |
| JP2006053147A (ja) * | 2004-08-11 | 2006-02-23 | Acushnet Co | 物体を走査する装置および方法 |
| JP2006065419A (ja) * | 2004-08-24 | 2006-03-09 | Matsushita Electric Works Ltd | 人検出装置 |
| JP2008015931A (ja) * | 2006-07-07 | 2008-01-24 | Honda Motor Co Ltd | 車両周辺監視システム、車両、車両周辺監視プログラム、および車両周辺監視システムの構築システム |
| JP2015192743A (ja) * | 2014-03-31 | 2015-11-05 | カシオ計算機株式会社 | 画像解析装置、画像解析方法、およびプログラム |
| JP2019071578A (ja) * | 2017-10-11 | 2019-05-09 | パナソニックＩｐマネジメント株式会社 | 物体検知装置、物体検知システムおよび物体検知方法 |
| WO2019176090A1 (ja) * | 2018-03-16 | 2019-09-19 | 株式会社ソニー・インタラクティブエンタテインメント | 身体サイズ推定装置、身体サイズ推定方法及びプログラム |
| US11688095B2 (en) | 2019-10-18 | 2023-06-27 | Aisin Corporation | Tiptoe position estimating device and fingertip position estimating device |
-
2001
- 2001-05-29 JP JP2001160775A patent/JP4101478B2/ja not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005012367A (ja) * | 2003-06-17 | 2005-01-13 | Intec Web & Genome Informatics Corp | 新生児モニタリングシステム |
| JP2006053147A (ja) * | 2004-08-11 | 2006-02-23 | Acushnet Co | 物体を走査する装置および方法 |
| JP2006065419A (ja) * | 2004-08-24 | 2006-03-09 | Matsushita Electric Works Ltd | 人検出装置 |
| JP2008015931A (ja) * | 2006-07-07 | 2008-01-24 | Honda Motor Co Ltd | 車両周辺監視システム、車両、車両周辺監視プログラム、および車両周辺監視システムの構築システム |
| JP2015192743A (ja) * | 2014-03-31 | 2015-11-05 | カシオ計算機株式会社 | 画像解析装置、画像解析方法、およびプログラム |
| JP2019071578A (ja) * | 2017-10-11 | 2019-05-09 | パナソニックＩｐマネジメント株式会社 | 物体検知装置、物体検知システムおよび物体検知方法 |
| WO2019176090A1 (ja) * | 2018-03-16 | 2019-09-19 | 株式会社ソニー・インタラクティブエンタテインメント | 身体サイズ推定装置、身体サイズ推定方法及びプログラム |
| JPWO2019176090A1 (ja) * | 2018-03-16 | 2020-12-03 | 株式会社ソニー・インタラクティブエンタテインメント | 身体サイズ推定装置、身体サイズ推定方法及びプログラム |
| US11589778B2 (en) | 2018-03-16 | 2023-02-28 | Sony Interactive Entertainment Inc. | Body size estimation apparatus, body size estimation method, and program |
| US11688095B2 (en) | 2019-10-18 | 2023-06-27 | Aisin Corporation | Tiptoe position estimating device and fingertip position estimating device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4101478B2 (ja) | 2008-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4095491B2 (ja) | 距離測定装置、距離測定方法、及び距離測定プログラム | |
| EP2870428B1 (en) | System and method for 3d measurement of the surface geometry of an object | |
| CN110009732B (zh) | 基于gms特征匹配的面向复杂大尺度场景三维重建方法 | |
| KR100513055B1 (ko) | 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법 | |
| CN108470356B (zh) | 一种基于双目视觉的目标对象快速测距方法 | |
| CN106875435B (zh) | 获取深度图像的方法及系统 | |
| CN104685513A (zh) | 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计 | |
| CN108629756B (zh) | 一种Kinectv2深度图像无效点修复方法 | |
| JP4055998B2 (ja) | 距離検出装置、距離検出方法、及び距離検出プログラム | |
| CN110223355B (zh) | 一种基于双重极线约束的特征标志点匹配方法 | |
| KR20160121509A (ko) | 2개의 카메라로부터의 곡선의 세트의 구조형 광 매칭 | |
| KR102289688B1 (ko) | 광학식 위치 추적 시스템의 3차원 마커 좌표 추정 방법 | |
| JP2010267232A (ja) | 位置姿勢推定方法および装置 | |
| CN116188558B (zh) | 基于双目视觉的立体摄影测量方法 | |
| JP6942566B2 (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
| Kruger et al. | In-factory calibration of multiocular camera systems | |
| KR20150105190A (ko) | 컬러-코드화된 구조를 사용하는 카메라 캘리브레이션 방법 및 장치 | |
| JP4101478B2 (ja) | 人体端点検出方法及び装置 | |
| JP5987584B2 (ja) | 画像処理装置、映像投影システムおよびプログラム | |
| US20220012905A1 (en) | Image processing device and three-dimensional measuring system | |
| KR20130041440A (ko) | 영상 처리 장치 및 방법 | |
| JP3221384B2 (ja) | 三次元座標計測装置 | |
| WO2023273427A1 (zh) | 复数相机测速方法及测速装置 | |
| WO2021049281A1 (ja) | 画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法 | |
| CN114399540A (zh) | 一种基于二维迭代最近点的异源图像配准方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080319 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110328 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110328 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120328 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130328 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |