JP2006221610A - 人間追跡装置及び方法、その方法を行うためのプログラムが記録された記録媒体とその装置を備えた移動型電子機器 - Google Patents
人間追跡装置及び方法、その方法を行うためのプログラムが記録された記録媒体とその装置を備えた移動型電子機器 Download PDFInfo
- Publication number
- JP2006221610A JP2006221610A JP2005359745A JP2005359745A JP2006221610A JP 2006221610 A JP2006221610 A JP 2006221610A JP 2005359745 A JP2005359745 A JP 2005359745A JP 2005359745 A JP2005359745 A JP 2005359745A JP 2006221610 A JP2006221610 A JP 2006221610A
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- position information
- foot
- human
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 53
- 238000001514 detection method Methods 0.000 claims abstract description 89
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 241000282414 Homo sapiens Species 0.000 claims description 109
- 230000010355 oscillation Effects 0.000 claims description 16
- 230000008034 disappearance Effects 0.000 claims description 6
- 241000282412 Homo Species 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims 2
- 230000036632 reaction speed Effects 0.000 claims 2
- 239000002245 particle Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Data Mining & Analysis (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Manipulator (AREA)
- Steering Controls (AREA)
Abstract
【解決手段】人間追跡装置Hは、人間の少なくとも1つの上体位置情報を検出する上体位置情報検出モジュール100と、人間の少なくとも1つの足位置情報を検出する足位置情報検出モジュール110と、少なくとも1つの上体位置情報と少なくとも1つの足位置情報とを基に、追跡対象を選択する追跡対象選択モジュール130と、追跡対象選択モジュール130で選択された追跡対象を追跡するための移動型電子機器の追跡速度及び方向を計算する追跡速度及び方向計算部150と、移動型電子機器を駆動するモータ170と、追跡速度及び方向計算部150で計算された結果を基に移動型電子機器を駆動するためのモータを制御するモータ制御部160とを備える。
【選択図】図1
Description
しかし、さらに知能的なロボットが要求されるにつれ、ロボットと人間との相互作用に関連した多くの技術が研究されている。ロボットと人間との円滑な相互作用のために、優先的に要求される課題は、ロボットが人間を追跡できねばならないということである。
また、前記した既存の人間追跡方法は、障害物を考慮しておらず、ロボットが障害物を回避しながら人間を追跡することができず、さらに、ほとんどのユーザの顔を基に追跡するので、ユーザの後ろ姿を基とした追跡が不可能である。
また、本発明が解決しようとする他の技術的課題は、ユーザの上体と足とを対象にユーザを追跡できる装置及び方法と、その方法を行うためのプログラムが記録された記録媒体とを提供することである。
また、本発明が解決しようとする他の技術的課題は、ユーザが別途の発信装置を携帯せずとも、移動型電子機器によるユーザ追跡を可能にするユーザ追跡装置及び方法と、その方法を行うためのプログラムが記録された記録媒体とを提供することである。
さらに、本発明が解決しようとする他の技術的課題は、前記人間追跡装置を有する移動型電子機器を提供することである。
図1は、本発明の一実施形態による人間追跡装置の機能ブロック図である。図1に示すように、人間追跡装置Hは、上体位置情報検出モジュール100、足位置情報検出モジュール110、追跡対象選択モジュール130、障害物登録部140、追跡速度及び方向計算部150、モータ制御部160、及びモータ170を備える。図1に示した人間追跡装置Hは、ロボットのような移動型電子機器に含まれうる。
上体位置情報検出モジュール100は、人間の少なくとも1つの上体位置情報を検出するために、第1カメラ101、上体映像取得部102、及び上体候補検出部103を備える。
上体映像取得部102は、第1カメラ101から出力される映像で事前に設定された領域の映像を上体映像として取得する。すなわち、第1カメラ101から入力映像が提供されれば、例えば、図2の領域201の映像を上体映像として取得する。
上体映像取得部102は、取得された領域201内の上体映像についてのカラーヒストグラムを利用し、領域201内の色相数を定量化した数値を上体候補検出部103に提供する。
初期フレーム以外のフレームの場合に、上体候補検出部103は、上体映像取得部102から提供された上体映像についての色相数の定量化された数値を基に、第1カメラ101から提供される入力映像についてパーチクルフィルタリング(particle-filtering)及び平均移動追跡を行い、少なくとも1つの上体候補を検出する。
図3に示したように、上体候補検出部103は、第1カメラ101から提供される現在フレーム映像にいくつかのパーチクル(点)を振りまき、前記パーチクルを中心にいくつかのウィンドー(領域201と同様の長方形の領域)を形成する(ステップ301)。もし10個のパーチクルがまかれれば、前記10個のウィンドーが形成される。前記ウィンドーは、前記領域201と同じサイズおよび形を有する。
上体候補検出部103は、各ウィンドーについて定量化された数値をバタリア係数(Bhattacharyya coefficient)に変換し、以前映像での追跡対象ウィンドーと前記現在フレーム映像に形成された各ウィンドーとの間の類似度を比較する(ステップ303)。以前映像での追跡対象ウィンドーについての情報は、上体映像取得部102で取得した領域201映像についての定量化された数値である。
ユーザが追跡開始を指示すれば、足映像取得部113は、レーザ発振部111を制御し、レーザを水平方向にプロジェクション(投射)する。前記プロジェクションされたレーザ光は、SL(Structured Light)という。前記レーザは、赤外線レーザを使用できる。
足映像取得部113は、レーザ発振部111を制御し、第2カメラ112から撮像された入力映像から足映像を取得する。前記取得される足映像は、プロジェクションフレーム映像である。足映像取得部113で取得される足映像は、第2カメラ112から出力される映像と同一である。
映像歪曲補償部114は、足映像取得部113で取得されたプロジェクションフレーム映像の歪曲を補償する。前記映像の歪曲は、第2カメラ112に装着されたレンズ(図示せず)による幾何学的映像歪曲である。従って、前記第2カメラ112に魚眼レンズが装着された場合に、映像歪曲補償部114は、プロジェクションフレーム映像についての放射状方向の歪曲と接線方向の歪曲とをいずれも補償する。従って、映像歪曲補償部114から出力されるプロジェクション映像は、図4に示したように、レンズによる映像歪曲が補償された映像である。図4は、図1に示した映像歪曲補償部で補償された足映像の例示図である(詳細は後記)。
レーザ発振部111と第2カメラ112及びSLにより形成されるプロジェクション面間の関係は、図5に示したように定義できる。図5で、Xp,Yp,Zpは、レーザ発振部111のフレームであり、Xc,Yc,Zcは、第2カメラ112のフレームであり、αは、第2カメラ112のフレームとレーザ発振部111のフレームとの間のX軸を中心にした回転角である。Pyは、第2カメラ112のフレームとレーザ発振部111のフレームとの間のY軸方向へのオフセットである。前記フレームXp,Yp,Zpと前記フレームXc,Yc,Zcとの関係は数式(1)のように定義される。
従って、足候補検出部115は、図6に示したようなSLレーザラインパターンの含まれている二次元映像を得る。
足候補検出部115は、画素間の距離により、図6に示したように、二次元マッピングされた映像をグルーピング及びクラスタリングして足候補を検出する。すなわち、二次元マッピングされた映像について、前記のグルーピング及びクラスタリングを行えば、図6の領域610から領域611、領域612を得る。領域610は、二次元マッピングされた映像を拡大して図示したものである。
前記の足パターンサイズは、最適の足パターンの属性として定義できる。前記足パターンサイズは、移動型電子機器が人間を正面、背面、側面(左右面)に見たとき、1メートル(m)と3メートル(m)とで測定された多数の成人男女の足パターンのサイズを基に設定されうる。
追跡対象選択モジュール130は、上体候補検出部103から提供された上体候補の二次元座標値と、足候補検出部115から提供された足候補の二次元座標値とを利用して追跡対象を選択する。
追跡対象選択モジュール130は、追跡候補検出部131及び追跡対象選択部132を備える。
また、追跡候補検出部131は、上体候補検出部103から提供された上体候補の位置情報(または、二次元座標情報)が、前記探索領域内に含まれているか否かチェックする。もし、上体候補の位置情報が前記探索領域の外に外れれば、追跡候補検出部131は、前記上体候補の位置情報を無視する。これは、上体候補の位置情報を誤って検出することによる誤追跡を防止するためのものである。
前記探索領域が入力された足候補の位置を含んでいないとき、追跡候補検出部131は、ユーザに追跡対象の消失を知らせることができる。
上体候補検出部103から上体候補の位置情報が提供されていないか、または足候補検出部115から足候補の位置情報が提供されていない場合にも、追跡候補検出部131は、ユーザを呼び出すか、またはそれ以外の方法で追跡対象の消失をユーザに通報できる。
追跡対象選択部132は、追跡候補検出部131から追跡候補と判断された上体候補の位置情報と、追跡候補と決定された足候補の位置情報とを受信し、受信された位置情報を利用して最適の追跡対象を選択する。
このように、追跡対象を選択するために、追跡対象選択部132は、足候補の二次元座標値を利用して方向誤差と距離誤差とを求め、上体候補の二次元座標値を利用して方向誤差を求める。前記方向誤差及び距離誤差は、数式(5)により求めることができる。
数式(5)により求められた方向誤差及び距離誤差値を利用し、探索範囲内の各足候補、上体候補、及び以前追跡対象間の位置関係を把握できる。
追跡対象が選択されれば、追跡対象選択部132は、選択された追跡対象の位置情報を障害物登録部140と、追跡速度及び方向計算部150とに提供する。
従って、障害物登録部140は、前記移動型電子機器と最も近いところに位置したSLレーザラインパターンを障害物として選択し、選択された障害物の位置情報を登録する。障害物として選択されるSLレーザラインパターンの位置情報は、SLレーザラインパターンをグルーピング及びクラスタリングにより得られた位置情報でありうる。
追跡速度及び方向計算部150、モータ制御部160及びモータ170は、選択された追跡対象を追跡するために、人間追跡装置Hを駆動する駆動モジュールと定義可能である。しかし、選択された追跡対象を追跡するために、人間追跡装置Hは、固定された位置で追跡方向だけを計算し、計算された追跡方向を基に、追跡対象を追跡するように具現できる。
一方、移動型電子機器は、レーザ発振部111を制御してレーザを発振し、第2カメラ112を介してSLレーザラインを含むプロジェクション映像を足映像として取得する(ステップ1104)。
追跡対象が選択されれば、移動型電子機器は、選択された追跡対象の位置情報と、ステップ1106で、足候補を検出するために利用されたSLレーザラインパターンを基とした位置情報とを利用して障害物を登録する(ステップ1109)。すなわち、図1の障害物登録部140の場合と同様に、移動型電子機器は、前記SLレーザラインパターンを基とした位置情報で、前記選択された追跡対象の位置情報を除外し、前記選択された追跡対象の位置情報が除外されたSLレーザラインパターンの位置情報のうち、移動型電子機器に最も近いところの位置情報を有するSLレーザラインパターンを障害物として登録する。登録情報は、SLレーザラインパターンの位置情報である。前記SLレーザラインパターンの位置情報は、グルーピング及びクラスタリングにより得られた位置情報でありうる。
移動型電子機器は、計算された追跡速度及び方向を基に、移動型電子機器の移動を制御するモータ(図示せず)を制御する(ステップ1111)。移動型電子機器は、ユーザによる追跡終了命令を受信すれば(ステップ1112で「はい」)、上体候補及び足候補追跡作業を終了する。しかし、移動型電子機器は、ユーザによる追跡終了命令を受信しなければ(ステップ1112で「いいえ」)、ステップ1102及びステップ1104に戻って前記の過程を繰り返す。
101 第1カメラ
102 上体映像取得部
103 上体候補検出部
110 足位置情報検出モジュール
111 レーザ発振部
112 第2カメラ
113 足映像取得部
114 映像歪曲補償部
115 足候補検出部
130 追跡対象選択モジュール
131 追跡候補検出部
132 追跡対象選択部
140 障害物登録部
150 追跡速度及び方向計算部
160 モータ制御部
170 モータ
H 人間追跡装置
Claims (36)
- 人間を追跡する人間追跡装置であって、
前記人間の少なくとも1つの上体位置情報を検出する上体位置情報検出モジュールと、
前記人間の少なくとも1つの足位置情報を検出する足位置情報検出モジュールと、
前記少なくとも1つの上体位置情報と前記少なくとも1つの足位置情報とを基に、追跡対象を選択する追跡対象選択モジュールと、
前記追跡対象選択モジュールで選択された追跡対象を追跡するように、前記人間追跡装置を駆動する駆動モジュールと、
を備えることを特徴とする人間追跡装置。 - 前記追跡対象選択モジュールは、
前記少なくとも1つの上体位置情報と前記少なくとも1つの足位置情報のうちから、所定の探索範囲に含まれる上体位置情報と足位置情報とを追跡候補情報として検出する追跡候補検出部と、
前記追跡候補検出部で検出された追跡候補情報を基に、追跡対象を選択する追跡対象選択部と、
を備えることを特徴とする請求項1に記載の人間追跡装置。 - 前記追跡候補検出部は、
前記所定の探索範囲を、以前に選択された追跡対象を基に設定することを特徴とする請求項2に記載の人間追跡装置。 - 前記追跡候補検出部は、
前記所定の探索範囲を、成人男女の前に歩く場合と横に歩く場合の平均歩幅、平均速度、及びこの人間追跡装置を搭載する移動型電子機器の反応速度を基に決定することを特徴とする請求項2に記載の人間追跡装置。 - 前記追跡候補検出部は、
前記所定の探索範囲に少なくとも1つの上体位置情報が含まれていないか、または少なくとも1つの足位置情報が含まれていなければ、追跡対象の消失を知らせる信号を出力することを特徴とする請求項2に記載の人間追跡装置。 - 前記追跡対象選択部は、
前記追跡候補に含まれている足位置情報が複数個ならば、前記追跡候補に含まれている上体位置情報に近接した足位置情報を追跡対象情報として選択することを特徴とする請求項2に記載の人間追跡装置。 - 前記追跡対象選択部は、
前記追跡候補に含まれている足位置情報が複数個ならば、以前の追跡対象位置に近接した足位置情報を追跡対象情報として選択することを特徴とする請求項2に記載の人間追跡装置。 - 前記足位置情報検出モジュールは、
レーザを発振させるレーザ発振部と、
前記レーザ発振部から発生したレーザラインを撮像するカメラと、
前記カメラを介して撮像されたレーザライン映像を足映像として取得する足映像取得部と、
前記足映像取得部で取得された足映像から、前記少なくとも1つの足位置情報を足候補として検出する足候補検出部と、
を備えることを特徴とする請求項1に記載の人間追跡装置。 - 前記足候補検出部は、
前記人間追跡装置と前記レーザラインとの間の距離と、前記人間追跡装置と前記レーザラインとの間の左右距離とを求め、
前記求められた距離を利用して二次元マッピングした映像を得て、
前記二次元マッピングされた映像に対してグルーピング及びクラスタリングを行い、
前記クラスタリングにより設定された映像領域の対角線長さと事前に設定された足パターン属性とを比較し、前記少なくとも1つの足位置情報を検出する
ことを特徴とする請求項8に記載の人間追跡装置。 - 前記足パターン属性は、前記人間追跡装置が人間を正面、背面、側面から見たとき、所定距離で測定された多数の成人男女の足パターンのサイズを基に設定されたことを特徴とする請求項9に記載の人間追跡装置。
- 移動型電子機器に利用される人間追跡装置であって、
人間の少なくとも1つの上体位置情報を検出する上体位置情報検出モジュールと、
前記人間の少なくとも1つの足位置情報を検出する足位置情報検出モジュールと、
前記少なくとも1つの上体位置情報と前記少なくとも1つの足位置情報とを基に、追跡対象を選択する追跡対象選択モジュールと、
前記追跡対象選択モジュールで選択された追跡対象を追跡するための、前記移動型電子機器の追跡速度及び方向を計算する追跡速度及び方向計算部と、
前記移動型電子機器を駆動するモータと、
前記追跡速度及び方向計算部で計算された結果を基に、前記モータを制御するモータ制御部と、
を備えることを特徴とする人間追跡装置。 - 前記追跡対象選択モジュールは、
前記少なくとも1つの上体位置情報と前記少なくとも1つの足位置情報のうちから、所定の探索範囲に含まれる上体位置情報と足位置情報とを追跡候補情報として検出する追跡候補検出部と、
前記追跡候補検出部で検出された追跡候補情報を基に、追跡対象を選択する追跡対象選択部とを備えることを特徴とする請求項11に記載の人間追跡装置。 - 前記追跡候補検出部は、
前記所定の探索範囲を、以前に選択された追跡対象を基に設定することを特徴とする請求項12に記載の人間追跡装置。 - 前記追跡候補検出部は、
前記所定の探索範囲を、成人男女の前に歩く場合と横に歩く場合の平均歩幅、平均速度、及び前記移動型電子機器の反応速度を基に決定することを特徴とする請求項12に記載の人間追跡装置。 - 前記追跡候補検出部は、
前記所定の探索範囲に少なくとも1つの上体位置情報が含まれていないか、または少なくとも1つの足位置情報が含まれていなければ、追跡対象の消失を知らせる信号を出力することを特徴とする請求項12に記載の人間追跡装置。 - 前記追跡対象選択部は、
前記追跡候補に含まれている足位置情報が複数個ならば、前記追跡候補に含まれている上体位置情報に近接した足位置情報を追跡対象情報として選択することを特徴とする請求項12に記載の人間追跡装置。 - 前記追跡対象選択部は、
前記追跡候補に含まれている足位置情報が複数個ならば、以前の追跡対象位置に近接した足位置情報を追跡対象情報として選択することを特徴とする請求項12に記載の人間追跡装置。 - 前記足位置情報検出モジュールは、
レーザを発振させるレーザ発振部と、
前記レーザ発振部から発生したレーザラインを撮像するカメラと、
前記カメラを介して撮像されたレーザライン映像を足映像として取得する足映像取得部と、
前記足映像取得部で取得された足映像から、前記少なくとも1つの足位置情報を足候補として検出する足候補検出部と、
を備えることを特徴とする請求項11に記載の人間追跡装置。 - 前記足候補検出部は、
前記移動型電子機器と前記レーザラインとの間の距離と、前記移動型電子機器と前記レーザラインとの間の左右距離とを求め、
前記求められた距離を利用して二次元マッピングした映像を得て、
前記二次元マッピングされた映像に対してグルーピング及びクラスタリングを行い、
前記クラスタリングにより設定された映像領域の対角線長さと事前に設定された足パターン属性とを比較し、前記少なくとも1つの足位置情報を検出する
ことを特徴とする請求項18に記載の人間追跡装置。 - 前記足パターン属性は、前記移動型電子機器が人間を正面、背面、側面に見たとき、所定距離で測定された多数の成人男女の足パターンのサイズを基に設定されたことを特徴とする請求項19に記載の人間追跡装置。
- 前記追跡対象選択モジュールで選択された追跡対象の位置情報と前記足位置情報検出モジュールで検出された位置情報とを基に障害物を検出し、前記検出された障害物の位置情報を登録する障害物登録部をさらに備える
ことを特徴とする請求項18に記載の人間追跡装置。 - 前記障害物登録部は、
前記足位置情報検出モジュールで検出された位置情報で、前記選択された追跡対象の位置情報を除外した位置情報のうちから、前記移動型電子機器と最も近いところの位置情報を前記検出された障害物の位置情報として登録することを特徴とする請求項21に記載の人間追跡装置。 - 前記足位置情報検出モジュールで検出された位置情報は、前記レーザライン映像に含まれているレーザラインパターンを基にした情報であることを特徴とする請求項21に記載の人間追跡装置。
- 前記追跡速度及び方向計算部は、
前記選択された追跡対象の位置情報と前記障害物登録部に登録された障害物の位置情報とを利用し、前記追跡速度及び方向を計算することを特徴とする請求項21に記載の人間追跡装置。 - 前記追跡速度及び方向計算部は、
前記選択された追跡対象の位置情報と前記障害物登録部に登録された障害物の位置情報とを基にした前記人間と前記人間追跡装置との間の引力及び前記障害物と前記移動型電子機器との間の斥力のベクトル和を利用して前記追跡速度及び方向を決定することを特徴とする請求項21に記載の人間追跡装置。 - 前記追跡対象選択モジュールで選択された追跡対象の位置情報と前記足位置情報検出モジュールで検出された位置情報とを基に障害物を検出し、前記検出された障害物の位置情報を登録する障害物登録部をさらに備える
ことを特徴とする請求項11に記載の人間追跡装置。 - 前記上体位置情報検出モジュールは、
前記人間の正面、背面、側面を考慮した領域を基に前方カメラを利用して撮像された映像から、前記少なくとも1つの上体位置情報を検出することを特徴とする請求項11に記載の人間追跡装置。 - 人間を追跡する人間追跡方法であって、
人間の少なくとも1つの上体位置情報と少なくとも1つの足位置情報とを検出するステップと、
前記少なくとも1つの上体位置情報と前記少なくとも1つの足位置情報とを基に、追跡対象を選択するステップと、
前記選択された追跡対象を追跡するステップと、
を含むことを特徴とする人間追跡方法。 - 前記追跡対象を選択するステップは、
前記少なくとも1つの上体位置情報と前記少なくとも1つの足位置情報のうちから、所定探索範囲に含まれる上体位置情報と足位置情報とを追跡候補の位置情報として検出するステップと、
前記検出された追跡候補の位置情報を基に、前記追跡対象を選択するステップと、
を含むことを特徴とする請求項28に記載の人間追跡方法。 - 移動型電子機器により使用される人間追跡方法であって、
人間の少なくとも1つの上体位置情報と少なくとも1つの足位置情報とを検出するステップと、
前記少なくとも1つの上体位置情報と前記少なくとも1つの足位置情報とを基に、追跡対象を選択するステップと、
前記選択された追跡対象を追跡するために、前記移動型電子機器の追跡速度及び方向を計算するステップと、
前記計算された追跡速度及び方向を基に、前記移動型電子機器の駆動を制御するステップと、
を含むことを特徴とする人間追跡方法。 - 前記追跡対象を選択するステップは、
前記少なくとも1つの上体位置情報と前記少なくとも1つの足位置情報のうちから、所定探索範囲に含まれる上体位置情報と足位置情報とを追跡候補の位置情報として検出するステップと、
前記検出された追跡候補の位置情報のうちから、前記追跡対象の位置情報を選択するステップと、
を含むことを特徴とする請求項30に記載の人間追跡方法。 - 前記足位置情報を検出するために取得された足映像で検出された位置情報で、前記選択された追跡対象の位置情報を除外した位置情報のうちから、前記移動型電子機器と最も近接した位置情報を障害物の位置情報として検出して障害物位置情報として登録するステップをさらに含むことを特徴とする請求項30に記載の人間追跡方法。
- 前記取得された足映像は、レーザラインパターンを有し、前記取得された足映像で検出された位置情報は、前記レーザラインパターンを基とすることを特徴とする請求項32に記載の人間追跡方法。
- 前記追跡速度及び方向は、前記選択された追跡対象の位置情報と前記障害物位置情報とを基に決定されることを特徴とする請求項32に記載の人間追跡方法。
- 移動型電子機器により使用される人間追跡方法を実行するためのプログラムが記録された記録媒体であって、
前記人間追跡方法は、
人間の少なくとも1つの上体位置情報と少なくとも1つの足位置情報とを検出するステップと、
前記少なくとも1つの上体位置情報と前記少なくとも1つの足位置情報とを基に、追跡対象を選択するステップと、
前記選択された追跡対象を追跡するために、前記移動型電子機器の追跡速度及び方向を計算するステップと、
前記計算された追跡速度及び方向を基に、前記移動型電子機器の駆動を制御するステップと、
を含むことを特徴とする記録媒体。 - 人間の少なくとも1つの上体位置情報を検出する上体位置情報検出モジュールと、
前記人間の少なくとも1つの足位置情報を検出する足位置情報検出モジュールと、
前記少なくとも1つの上体位置情報と前記少なくとも1つの足位置情報とを基に、追跡対象を選択する追跡対象選択モジュールと、
前記追跡対象選択モジュールで選択された追跡対象を追跡するための前記移動型電子機器の追跡速度及び方向を計算する追跡速度及び方向計算部と、
前記移動型電子機器を駆動するモータと、
前記追跡速度及び方向計算部で計算された結果を基に、前記モータを制御するモータ制御部と、を有する人間追跡装置を備えたことを特徴とする移動型電子機器。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020040105650A KR100790860B1 (ko) | 2004-12-14 | 2004-12-14 | 사람 추적 장치 및 방법, 그 방법을 수행하기 위한프로그램이 저장된 기록매체와 그 장치를 포함하는 이동형전자기기 |
KR10-2004-0105650 | 2004-12-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006221610A true JP2006221610A (ja) | 2006-08-24 |
JP4815208B2 JP4815208B2 (ja) | 2011-11-16 |
Family
ID=35811646
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005359745A Expired - Fee Related JP4815208B2 (ja) | 2004-12-14 | 2005-12-14 | 人間追跡装置及び方法、その方法を行うためのプログラムが記録された記録媒体とその装置を備えた移動型電子機器 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7330567B2 (ja) |
EP (1) | EP1672584B1 (ja) |
JP (1) | JP4815208B2 (ja) |
KR (1) | KR100790860B1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008148287A (ja) * | 2006-11-03 | 2008-06-26 | Samsung Electronics Co Ltd | 動作追跡装置、方法および媒体 |
JP2008186375A (ja) * | 2007-01-31 | 2008-08-14 | Univ Of Tokyo | 物体測定システム |
JP2009110185A (ja) * | 2007-10-29 | 2009-05-21 | East Japan Railway Co | 通行人行動解析装置及び通行人行動解析方法並びにそのプログラム |
JP2010237872A (ja) * | 2009-03-30 | 2010-10-21 | Sogo Keibi Hosho Co Ltd | 人物領域検出装置、人物領域検出方法、及び人物領域検出プログラム |
JP2011053005A (ja) * | 2009-08-31 | 2011-03-17 | Mega Chips Corp | 監視システム |
JP2020056635A (ja) * | 2018-09-28 | 2020-04-09 | 株式会社ニコン | 形状測定装置、形状測定方法及び形状測定プログラム |
JP2020107238A (ja) * | 2018-12-28 | 2020-07-09 | 富士ゼロックス株式会社 | 自律移動装置およびプログラム |
JP2020135561A (ja) * | 2019-02-21 | 2020-08-31 | 新東工業株式会社 | 自律移動ロボット |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7450735B1 (en) * | 2003-10-16 | 2008-11-11 | University Of Central Florida Research Foundation, Inc. | Tracking across multiple cameras with disjoint views |
KR100647321B1 (ko) * | 2005-02-07 | 2006-11-23 | 삼성전자주식회사 | 사용자 위치 추적 방법 및 장치 |
JP5558004B2 (ja) | 2006-01-13 | 2014-07-23 | ライカ・ゲオジステームス・アクチェンゲゼルシャフト | レーザートラッカーを用いたトラッキング方法及び測定システム |
US8068935B2 (en) * | 2006-10-18 | 2011-11-29 | Yutaka Kanayama | Human-guided mapping method for mobile robot |
US7974460B2 (en) * | 2007-02-06 | 2011-07-05 | Honeywell International Inc. | Method and system for three-dimensional obstacle mapping for navigation of autonomous vehicles |
JP4315991B2 (ja) * | 2007-04-20 | 2009-08-19 | 本田技研工業株式会社 | 車両周辺監視装置、車両周辺監視方法、車両周辺監視プログラム |
US8654197B2 (en) * | 2009-03-04 | 2014-02-18 | Raytheon Company | System and method for occupancy detection |
AU2009243528B2 (en) * | 2009-12-04 | 2013-08-01 | Canon Kabushiki Kaisha | Location-based signature selection for multi-camera object tracking |
KR101014531B1 (ko) | 2009-12-30 | 2011-02-14 | 고려대학교 산학협력단 | 거리 센서를 이용한 다리 추출 방법, 이를 이용한 이동 로봇의 사람 추종 주행 방법 및 이동 로봇 |
KR101054736B1 (ko) * | 2010-05-04 | 2011-08-05 | 성균관대학교산학협력단 | 3차원 물체 인식 및 자세 추정 방법 |
KR101103923B1 (ko) * | 2010-10-20 | 2012-01-12 | 성균관대학교산학협력단 | 동영상을 촬영하는 카메라 로봇 및 카메라 로봇을 이용한 동영상 촬영 방법 |
US8520080B2 (en) | 2011-01-31 | 2013-08-27 | Hand Held Products, Inc. | Apparatus, system, and method of use of imaging assembly on mobile terminal |
US9321173B2 (en) | 2012-06-22 | 2016-04-26 | Microsoft Technology Licensing, Llc | Tracking and following people with a mobile robotic device |
JP6003942B2 (ja) * | 2014-04-24 | 2016-10-05 | トヨタ自動車株式会社 | 動作制限装置及び動作制限方法 |
KR101573620B1 (ko) | 2014-07-09 | 2015-12-02 | 고려대학교 산학협력단 | Sjpdaf기법을 기반으로 하는 다리 추종 방법 |
US9943046B2 (en) | 2014-09-29 | 2018-04-17 | International Business Machines Corporation | Targeted irrigation using a central pivot irrigation system with a sensor network |
CN105652895A (zh) * | 2014-11-12 | 2016-06-08 | 沈阳新松机器人自动化股份有限公司 | 基于激光传感器的移动机器人人体跟踪系统及跟踪方法 |
US9623560B1 (en) * | 2014-11-26 | 2017-04-18 | Daniel Theobald | Methods of operating a mechanism and systems related therewith |
US10044988B2 (en) * | 2015-05-19 | 2018-08-07 | Conduent Business Services, Llc | Multi-stage vehicle detection in side-by-side drive-thru configurations |
FR3048406B1 (fr) * | 2016-03-07 | 2019-08-16 | Effidence | Robot autonome avec guidage en mode poussee |
TW201805598A (zh) * | 2016-08-04 | 2018-02-16 | 鴻海精密工業股份有限公司 | 自主移動設備及建立導航路徑的方法 |
KR101932200B1 (ko) * | 2016-11-07 | 2018-12-28 | 경일대학교산학협력단 | 이미지 인식을 이용한 보행자 보조 신호 제공 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 |
KR101907548B1 (ko) | 2016-12-23 | 2018-10-12 | 한국과학기술연구원 | 휴먼 추종을 위한 이동로봇의 주행 및 탐색방법 |
KR102021833B1 (ko) * | 2017-09-26 | 2019-09-17 | 엘지전자 주식회사 | 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법 |
TWI695180B (zh) * | 2018-07-24 | 2020-06-01 | 國立交通大學 | 機器人導引方法 |
FR3091609A1 (fr) | 2019-01-04 | 2020-07-10 | Balyo | Système de robot-compagnon comprenant un engin à guidage autonome |
CN114510021A (zh) * | 2021-12-15 | 2022-05-17 | 广东盈峰智能环卫科技有限公司 | 机器人自跟随方法和无人驾驶环卫机器人 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0973543A (ja) * | 1995-09-06 | 1997-03-18 | Toshiba Corp | 画像処理装置 |
JPH0990026A (ja) * | 1995-09-27 | 1997-04-04 | Honda Motor Co Ltd | 物体検出装置およびその方法 |
JPH10255057A (ja) * | 1997-03-06 | 1998-09-25 | Matsushita Electric Ind Co Ltd | 移動物体抽出装置 |
JPH1196376A (ja) * | 1997-09-24 | 1999-04-09 | Oki Electric Ind Co Ltd | 移動物体追跡装置及び方法 |
JP2001155164A (ja) * | 1999-11-26 | 2001-06-08 | Ntt Communications Kk | 移動物体追跡装置 |
JP2001184488A (ja) * | 1999-12-27 | 2001-07-06 | Matsushita Electric Ind Co Ltd | 人物追跡装置、人物追跡方法及びそのプログラムを記録した記録媒体 |
JP2002255037A (ja) * | 2001-02-28 | 2002-09-11 | Nippon Soken Inc | 可動型ケース |
JP2003085583A (ja) * | 2001-09-14 | 2003-03-20 | Mitsubishi Electric Corp | 頭部姿勢計測装置およびcgキャラクタ制御装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3062383B2 (ja) * | 1994-01-31 | 2000-07-10 | 沖電気工業株式会社 | 人物認識方法 |
US6795567B1 (en) * | 1999-09-16 | 2004-09-21 | Hewlett-Packard Development Company, L.P. | Method for efficiently tracking object models in video sequences via dynamic ordering of features |
US6629028B2 (en) * | 2000-06-29 | 2003-09-30 | Riken | Method and system of optical guidance of mobile body |
JP3681620B2 (ja) * | 2000-07-26 | 2005-08-10 | 株式会社デンソー | 車両用障害物認識装置 |
US20020100884A1 (en) * | 2001-01-29 | 2002-08-01 | Maddock Brian L.W. | Digital 3-D model production method and apparatus |
JP2003346159A (ja) | 2002-05-28 | 2003-12-05 | Oki Electric Ind Co Ltd | 人物追跡方法及び人物追跡装置 |
KR20050063401A (ko) * | 2003-12-22 | 2005-06-28 | 한국전자통신연구원 | 인체 루트 위치 검출 방법 |
-
2004
- 2004-12-14 KR KR1020040105650A patent/KR100790860B1/ko not_active IP Right Cessation
-
2005
- 2005-10-04 US US11/241,968 patent/US7330567B2/en not_active Expired - Fee Related
- 2005-12-14 EP EP05257657.6A patent/EP1672584B1/en not_active Not-in-force
- 2005-12-14 JP JP2005359745A patent/JP4815208B2/ja not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0973543A (ja) * | 1995-09-06 | 1997-03-18 | Toshiba Corp | 画像処理装置 |
JPH0990026A (ja) * | 1995-09-27 | 1997-04-04 | Honda Motor Co Ltd | 物体検出装置およびその方法 |
JPH10255057A (ja) * | 1997-03-06 | 1998-09-25 | Matsushita Electric Ind Co Ltd | 移動物体抽出装置 |
JPH1196376A (ja) * | 1997-09-24 | 1999-04-09 | Oki Electric Ind Co Ltd | 移動物体追跡装置及び方法 |
JP2001155164A (ja) * | 1999-11-26 | 2001-06-08 | Ntt Communications Kk | 移動物体追跡装置 |
JP2001184488A (ja) * | 1999-12-27 | 2001-07-06 | Matsushita Electric Ind Co Ltd | 人物追跡装置、人物追跡方法及びそのプログラムを記録した記録媒体 |
JP2002255037A (ja) * | 2001-02-28 | 2002-09-11 | Nippon Soken Inc | 可動型ケース |
JP2003085583A (ja) * | 2001-09-14 | 2003-03-20 | Mitsubishi Electric Corp | 頭部姿勢計測装置およびcgキャラクタ制御装置 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008148287A (ja) * | 2006-11-03 | 2008-06-26 | Samsung Electronics Co Ltd | 動作追跡装置、方法および媒体 |
JP2008186375A (ja) * | 2007-01-31 | 2008-08-14 | Univ Of Tokyo | 物体測定システム |
JP2009110185A (ja) * | 2007-10-29 | 2009-05-21 | East Japan Railway Co | 通行人行動解析装置及び通行人行動解析方法並びにそのプログラム |
JP4631036B2 (ja) * | 2007-10-29 | 2011-02-16 | 東日本旅客鉄道株式会社 | 通行人行動解析装置及び通行人行動解析方法並びにそのプログラム |
JP2010237872A (ja) * | 2009-03-30 | 2010-10-21 | Sogo Keibi Hosho Co Ltd | 人物領域検出装置、人物領域検出方法、及び人物領域検出プログラム |
JP2011053005A (ja) * | 2009-08-31 | 2011-03-17 | Mega Chips Corp | 監視システム |
JP2020056635A (ja) * | 2018-09-28 | 2020-04-09 | 株式会社ニコン | 形状測定装置、形状測定方法及び形状測定プログラム |
JP7318190B2 (ja) | 2018-09-28 | 2023-08-01 | 株式会社ニコン | 形状測定装置、形状測定方法及び形状測定プログラム |
JP2020107238A (ja) * | 2018-12-28 | 2020-07-09 | 富士ゼロックス株式会社 | 自律移動装置およびプログラム |
JP7351083B2 (ja) | 2018-12-28 | 2023-09-27 | 富士フイルムビジネスイノベーション株式会社 | 自律移動装置およびプログラム |
JP2020135561A (ja) * | 2019-02-21 | 2020-08-31 | 新東工業株式会社 | 自律移動ロボット |
JP7192563B2 (ja) | 2019-02-21 | 2022-12-20 | 新東工業株式会社 | 自律移動ロボット |
Also Published As
Publication number | Publication date |
---|---|
EP1672584B1 (en) | 2016-04-27 |
KR100790860B1 (ko) | 2008-01-03 |
US7330567B2 (en) | 2008-02-12 |
EP1672584A2 (en) | 2006-06-21 |
KR20060066975A (ko) | 2006-06-19 |
EP1672584A3 (en) | 2009-07-15 |
JP4815208B2 (ja) | 2011-11-16 |
US20060140450A1 (en) | 2006-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4815208B2 (ja) | 人間追跡装置及び方法、その方法を行うためのプログラムが記録された記録媒体とその装置を備えた移動型電子機器 | |
US11544867B2 (en) | Mapping optimization in autonomous and non-autonomous platforms | |
US11501527B2 (en) | Visual-inertial positional awareness for autonomous and non-autonomous tracking | |
JP3978938B2 (ja) | 映像投射装置及び方法 | |
KR101776622B1 (ko) | 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
US10390003B1 (en) | Visual-inertial positional awareness for autonomous and non-autonomous device | |
US8090193B2 (en) | Mobile robot | |
JP4871160B2 (ja) | ロボットおよびその制御方法 | |
KR101725060B1 (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
KR101784183B1 (ko) | ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
US11348276B2 (en) | Mobile robot control method | |
JP4644992B2 (ja) | 距離画像を用いた人体検知方法 | |
KR20150144727A (ko) | 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
JPWO2003092291A1 (ja) | 物体検出装置、物体検出サーバおよび物体検出方法 | |
JP5892588B2 (ja) | 人物誘導ロボット | |
JP5001930B2 (ja) | 動作認識装置及び方法 | |
KR102560462B1 (ko) | 이동 로봇 | |
EP2610783B1 (en) | Object recognition method using an object descriptor | |
JP2016057720A (ja) | 移動体制御装置及び移動体 | |
JP2009178782A (ja) | 移動体、環境地図生成装置、及び環境地図生成方法 | |
Jean et al. | Body tracking in human walk from monocular video sequences | |
JP2012198802A (ja) | 侵入物検出システム | |
Stronger et al. | Selective visual attention for object detection on a legged robot | |
JP7354528B2 (ja) | 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム | |
JP2021026302A (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061026 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20061027 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090811 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110111 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110411 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110414 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110425 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110802 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110829 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140902 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |