JP2017205135A - 個人識別装置、個人識別方法、及び、個人識別プログラム - Google Patents
個人識別装置、個人識別方法、及び、個人識別プログラム Download PDFInfo
- Publication number
- JP2017205135A JP2017205135A JP2014170790A JP2014170790A JP2017205135A JP 2017205135 A JP2017205135 A JP 2017205135A JP 2014170790 A JP2014170790 A JP 2014170790A JP 2014170790 A JP2014170790 A JP 2014170790A JP 2017205135 A JP2017205135 A JP 2017205135A
- Authority
- JP
- Japan
- Prior art keywords
- pedestrian
- personal identification
- walking
- captured image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 54
- 238000004458 analytical method Methods 0.000 claims abstract description 98
- 238000003384 imaging method Methods 0.000 claims abstract description 13
- 238000005452 bending Methods 0.000 claims description 16
- 210000000629 knee joint Anatomy 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 12
- 230000005021 gait Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 description 26
- 238000012545 processing Methods 0.000 description 14
- 210000003371 toe Anatomy 0.000 description 13
- 210000004197 pelvis Anatomy 0.000 description 12
- 238000001514 detection method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 210000002683 foot Anatomy 0.000 description 8
- 230000010365 information processing Effects 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 210000003127 knee Anatomy 0.000 description 4
- 241001166076 Diapheromera femorata Species 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000087 stabilizing effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 241001290864 Schoenoplectus Species 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000012730 carminic acid Nutrition 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 210000001699 lower leg Anatomy 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
Abstract
【課題】撮影装置に対する歩行者の移動方向に影響を受けることなく、撮影画像内に写る歩行者の歩行特性を解析し、当該歩行者を特定することを可能にする技術を提供する。【解決手段】本発明の一側面に係る個人識別装置は、個人の実空間における歩行特性を示す個人を識別するための個人識別用データを記憶する記憶部と、各画素の深度を示す深度データを含む、歩行者を撮影した撮影画像を取得する画像取得部と、撮影画像内で歩行者の写る領域を抽出し、撮影画像内の各画素の深度に基づいて、当該領域に写る歩行者の実空間における歩行特性を解析することで、歩行者の実空間における歩行特性を示す解析データを取得する歩行特性解析部と、取得した解析データを個人識別用データと比較することにより、取得した解析データが個人識別用データに適合するか否かを判定し、判定の結果に基づいて撮影画像に写る歩行者を特定する歩行者特定部と、を備える。【選択図】図7
Description
本発明は、個人識別装置、個人識別方法、及び、個人識別プログラムに関する。
特許文献1には、人間の歩行動作を捉えた動画像を利用して、動画像内に写る歩行者が予め登録されている人物のうちの誰であるかを判定する個人識別装置が開示されている。具体的には、当該個人識別装置は、撮影装置により取得された二次元画像を解析して、動画像内に写る歩行者のシルエットを作成する。そして、当該個人識別装置は、作成したシルエットの輪郭から特徴量を抽出して、抽出した特徴量と予め登録された個人情報とを比較することによって、動画像内に写る歩行者を識別する。
また、特許文献2には、異なる時間に撮影された映像に含まれる人物を同定する人物同定装置が開示されている。具体的には、当該人物同定装置は、撮影装置によって取得された二次元画像内に写る歩行者の髪の色、服の色、体型、性別、身長等の身体的特徴と歩幅、歩速、歩行姿勢等の歩行の特徴とを同定要素として抽出する。そして、当該人物同定装置は、抽出した同定要素に基づいて、画像内に写る歩行者の同定を行う。
例えば、特許文献1では、撮影装置に対する歩行者の移動方向が変化すると、歩行者のシルエットは大きく変わってしまう。そのため、このような変化に対応できず、歩行者を特定できない可能性があった。また、例えば、特許文献2では、二次元画像内に写る歩行者の縦方向及び横方向の画素数(ピクセル)に基づいて、歩幅、脚長、歩行姿勢、体型、性別等の同定要素の値が算出されている。そのため、撮影装置に対して歩行者が縦方向又は斜め方向に移動した場合には、これらの同定要素の値を算出するのが困難になる。よって、特許文献2に開示される人物同定装置は、画像内のY方向に歩行者の像が移動した場合には、これらの同定要素を無効とするように構成されている。
すなわち、特許文献1及び2で例示される個人識別方法では、二次元画像を解析することで歩行者の歩行特性を抽出している。そのため、撮影装置に対する歩行者の移動方向によっては、歩行者の歩行特性を十分に抽出できず、画像内に写る歩行者を特定できない可能性があるという問題点があった。
本発明は、一側面では、このような点を考慮してなされたものであり、撮影装置に対する歩行者の移動方向に影響を受けることなく、撮影画像に写る歩行者の歩行特性を解析し、当該歩行者を特定することを可能にする技術を提供することを目的とする。
本発明は、上述した課題を解決するために、以下の構成を採用する。
すなわち、本発明の一側面に係る個人識別装置は、個人を識別するための個人識別用データであって、当該個人の実空間における歩行特性を示す個人識別用データ、を個人毎に記憶する記憶部と、歩行者を撮影するために設置された撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像、を取得する画像取得部と、前記撮影画像内で前記歩行者の写る領域を抽出し、前記深度データにより示される前記撮影画像内の各画素の深度に基づいて、当該領域に写る前記歩行者の実空間における歩行特性を解析することで、前記撮影画像に写る前記歩行者の実空間における歩行特性を示す解析データを取得する歩行特性解析部と、前記個人識別用データの示す歩行特性及び取得した前記解析データの示す歩行特性を比較することによって、取得した解析データが前記個人識別用データに適合するか否かを判定し、当該判定の結果に基づいて、前記撮影画像に写る歩行者を特定する歩行者特定部と、を備える。
上記構成によれば、歩行者の歩行特性を解析するために取得される撮影画像には各画素の深度を示す深度データが含まれている。この各画素の深度は、撮影装置から被写体までの深さを表している。そのため、この深度を利用することで、撮影装置に対する被写体の移動方向とは無関係に、当該被写体の実空間(三次元空間)上の状態を解析することが可能である。したがって、上記構成によれば、撮影装置に対する歩行者の移動方向に影響を受けることなく、撮影画像に写る歩行者の歩行特性を解析し、当該歩行者を特定することができる。
なお、歩行特性とは、歩行者の歩行動作の有する性質であり、例えば、身長、歩幅、歩幅の左右比、歩隔、つま先の上がり方、つま先の上がり方の左右比、かかとの上がり方、かかとの上がり方の左右比、ケーデンス、身体の傾き、体幹の側方動揺、骨盤の側方傾斜、膝関節の曲がり角度、膝関節の曲がり角度の左右比、腕振り角度、腕振り角度の左右比、歩行補助器具の有無等の項目を含むことができる。
また、上記一側面に係る個人識別装置の別の形態として、前記記憶部は、前記特定した歩行者の個人識別用データを取得した前記解析データに置き換えることで、前記特定した歩行者の個人識別用データを更新してもよい。時間が経つにつれて、人間の歩行特性は変化する可能性がある。これに対して、当該構成に係る個人識別装置は、個人識別が成功した解析データを利用して、個人識別用データを更新する。そのため、このような時間経過に伴う歩行特性の変化に対応可能な個人識別装置を提供することができる。
また、上記一側面に係る個人識別装置の別の形態として、前記歩行特性は複数の項目で構成されてもよい。そして、前記歩行者特定部は、前記個人識別用データの示す歩行特性と取得した前記解析データの示す歩行特性とを項目毎に比較し、一致すると評価可能な項目が所定数以上存在する場合に、取得した解析データが前記個人識別用データに適合すると判定し、前記撮影画像に写る歩行者は当該適合する個人識別用データの示す人物であると特定してもよい。当該構成によれば、複数の項目に基づいて多面的に歩行者を特定することができるため、個人識別の精度を高めることができる。
また、上記一側面に係る個人識別装置の別の形態として、前記歩行特性解析部は、前記撮影装置に対する前記歩行者の移動方向を更に解析してもよい。そして、前記個人識別用データの示す歩行特性と取得した前記解析データの示す歩行特性とを比較する際に、前記歩行者の移動方向に応じて選択される項目を優先的に比較してもよい。
撮影装置に対する歩行者の移動方向によって、歩行者の身体部位のうち撮影画像に写らない部位が存在しうる。そのため、歩行特性には、撮影装置に対する歩行者の移動方向によっては、正確に解析しやすい項目と正確に解析し難い項目とが含まれ得る。これに対して、当該構成では、歩行者の移動方向に応じて優先的に比較する項目を選択する。そのため、当該構成によれば、個人識別の精度を高めることができる。
また、上記一側面に係る個人識別装置の別の形態として、前記歩行特性は、前記複数の項目として、歩隔、つま先の上がり方、かかとの上がり方、身体の傾き、体幹の側方動揺、骨盤の側方傾斜、膝関節の曲がり角度、腕振り角度、及び歩行補助器具の有無を含んでもよい。
撮影装置に近付く方向に歩行者が移動している場合、撮影画像には歩行者の前面が写りやすい。そのため、このような場合には、歩隔、体幹の側方動揺及び骨盤の側方傾斜に関連する身体部位が撮影画像に写りやすく、これらの項目については比較的に精度よく解析することができる。なお、例えば、歩隔に関連する身体部位とは足である。
また、撮影装置から遠ざかる方向に歩行者が移動している場合、撮影画像には歩行者の背面が写りやすい。そのため、このような場合には、歩隔、体幹の側方動揺、骨盤の側方傾斜及びかかとの上がり方に関連する身体部位が撮影画像に写りやすく、これらの項目については比較的に精度よく解析することができる。
更に、撮影装置の撮影範囲を横切る方向に歩行者が移動している場合、撮影画像には歩行者の側面が写りやすい。そのため、このような場合には、身体の傾き、膝関節の曲がり角度及び腕振り角度に関連する身体部位並びに歩行補助器具が撮影画像に写りやすく、これらの項目については比較的に精度よく解析することができる。
したがって、当該構成によれば、歩行特性は、撮影装置に対して様々な方向に移動する歩行者について比較的に精度よく解析することのできる項目を含んでいる。そのため、当該歩行者の歩行特性を十分に解析し、当該歩行者の人物特定を精度よく行うことができる。なお、歩行補助器具とは、歩行を安定されるための器具であり、例えば、杖、歩行器等である。
また、上記一側面に係る個人識別装置の別の形態として、前記歩行特性解析部は、前記撮影画像の背景として設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を前記歩行者の写る領域として抽出してもよい。そして、当該歩行特性解析部は、前記深度データを参照することで当該前景領域内の各画素の深度を特定して、特定した当該前景領域内の各画素の深度に基づいて、当該前景領域に写る前記歩行者の実空間における歩行特性を解析してもよい。
当該構成によれば、背景画像と撮影画像との差分を抽出することにより、撮影画像の前景領域が特定される。すなわち、この前景領域は、背景画像から変化の生じている領域である。そのため、歩行者が歩行動作を行っている場合には、この前景領域には、当該歩行動作を行う歩行者が写っている。よって、この前景領域を利用することで、歩行者の写る領域を特定することが可能である。ここで、前景領域を抽出する処理は、背景画像と撮影画像との差分算出に過ぎない。したがって、当該構成によれば、簡易な処理で歩行者の写る領域を絞り込むことができる。
なお、上記各形態に係る個人識別装置の別の形態として、以上の各構成を実現する情報処理システムであってもよいし、情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記録したコンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。また、情報処理システムは、1又は複数の情報処理装置によって実現されてもよい。
例えば、本発明の一側面に係る個人識別方法は、個人を識別するための個人識別用データであって、当該個人の実空間における歩行特性を示す個人識別用データ、を個人毎に記憶する記憶部を備えるコンピュータが、歩行者を撮影するために設置された撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像、を取得するステップと、前記撮影画像内で前記歩行者の写る領域を抽出するステップと、前記深度データにより示される前記撮影画像内の各画素の深度に基づいて、当該領域に写る前記歩行者の実空間における歩行特性を解析することで、前記撮影画像に写る前記歩行者の実空間における歩行特性を示す解析データを取得するステップと、前記個人識別用データの示す歩行特性及び取得した前記解析データの示す歩行特性を比較することによって、取得した解析データが前記個人識別用データに適合するか否かを判定するステップと、前記判定の結果に基づいて、前記撮影画像に写る歩行者を特定するステップと、を実行する情報処理方法である。
また、例えば、本発明の一側面に係るプログラムは、個人を識別するための個人識別用データであって、当該個人の実空間における歩行特性を示す個人識別用データ、を個人毎に記憶する記憶部を備えるコンピュータに、歩行者を撮影するために設置された撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像、を取得するステップと、前記撮影画像内で前記歩行者の写る領域を抽出するステップと、前記深度データにより示される前記撮影画像内の各画素の深度に基づいて、当該領域に写る前記歩行者の実空間における歩行特性を解析することで、前記撮影画像に写る前記歩行者の実空間における歩行特性を示す解析データを取得するステップと、前記個人識別用データの示す歩行特性及び取得した前記解析データの示す歩行特性を比較することによって、取得した解析データが前記個人識別用データに適合するか否かを判定するステップと、前記判定の結果に基づいて、前記撮影画像に写る歩行者を特定するステップと、を実行させるための個人識別プログラムである。
本発明によれば、撮影装置に対する歩行者の移動方向に影響を受けることなく、撮影画像に写る歩行者の歩行特性を解析し、当該歩行者を特定することができる。
以下、本発明の一側面に係る実施の形態(以下、「本実施形態」とも表記する)を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメタ、マシン語等で指定される。
§1 適用場面
まず、図1を用いて、本発明が適用される場面について説明する。図1は、本実施形態に係る個人識別装置1が用いられる場面を例示する。本実施形態に係る個人識別装置1は、歩行者を撮影し、それにより得られた撮影画像3に写る歩行者の歩行特性を解析することで、当該歩行者を特定する。そのため、本実施形態に係る個人識別装置1は、歩行者を特定する場面に広く利用可能である。
まず、図1を用いて、本発明が適用される場面について説明する。図1は、本実施形態に係る個人識別装置1が用いられる場面を例示する。本実施形態に係る個人識別装置1は、歩行者を撮影し、それにより得られた撮影画像3に写る歩行者の歩行特性を解析することで、当該歩行者を特定する。そのため、本実施形態に係る個人識別装置1は、歩行者を特定する場面に広く利用可能である。
具体的には、本実施形態に係る個人識別装置1は、カメラ2によって歩行者を撮影する。カメラ2は、本発明の撮影装置に相当する。当該カメラ2は、歩行者を撮影するために設置される。そのため、カメラ2は、歩行者を撮影可能であれば、いかなる場所に配置されてもよい。
当該カメラ2は、撮影画像3内の各画素に対応する深度を取得可能に構成される。本実施形態では、カメラ2は、各画素の深度を取得可能なように、被写体の深度を測定する深度センサ(後述する深度センサ21)を含んでいる。ただし、カメラ2の構成は、深度を取得可能であれば、このような例に限定されず、実施の形態に応じて適宜選択可能である。
例えば、カメラ2は、撮影範囲内の被写体の深度を特定することが可能なように、ステレオカメラであってもよい。ステレオカメラは、撮影範囲内の被写体を複数の異なる方向から撮影するため、当該被写体の深度を記録することができる。また、カメラ2は、撮影範囲内の被写体の深度を特定可能であれば、深度センサ単体に置き換わってもよい。
本実施形態に係る個人識別装置1は、情報処理装置として、このようなカメラ2により撮影された撮影画像3を取得する。この撮影画像3は、後述する図8に例示されるように、画素毎に得られる深度を示す深度データを含んでいる。撮影画像3は、撮影範囲内の被写体の深度を示すデータであればよく、例えば、撮影範囲内の被写体の深度が二次元状に分布したデータ(例えば、深度マップ)であってもよい。また、撮影画像3は、深度データとともに、RGB画像を含んでもよい。更に、撮影画像3は、動画像であってもよいし、静止画像であってもよい。
続いて、個人識別装置1は、取得した撮影画像3内において歩行者の写る領域を抽出し、抽出した領域に写る歩行者の歩行特性を解析する。このとき、個人識別装置1は、深度データにより示される撮影画像3内の各画素の深度を利用して、当該歩行者の実空間上の状態を解析する。これにより、個人識別装置1は、撮影画像3に写る歩行者の実空間における歩行特性を示す解析データ(後述する解析データ40)を取得する。
更に、個人識別装置1は、予め登録されている個人識別用データ(後述する個人識別用データ121)と解析データとを比較することによって、取得した解析データが個人識別用データに適合するか否かを判定する。そして、個人識別装置1は、当該判定の結果に基づいて、撮影画像3に写る歩行者を特定する。
このように、本実施形態によれば、個人識別装置1は、歩行者の歩行特性を解析するため、各画素の深度を示す深度データを撮影画像3と共に取得する。この深度データを利用すると、図1に例示されるように、撮影画像に写る被写体の実空間(三次元空間)上の位置を特定することができる。そのため、個人識別装置1は、この深度データを利用することにより、カメラ2に対する歩行者の移動方向とは無関係に、当該歩行者の実空間上の状態を解析することができる。よって、本実施形態によれば、カメラ2に対する歩行者の移動方向に影響を受けることなく、撮影画像3内に写る歩行者の歩行特性を解析し、当該歩行者を特定することができる。
なお、個人識別装置1の配置場所は、カメラ2から撮影画像3を取得可能であれば、実施の形態に応じて適宜決定可能である。例えば、個人識別装置1は、図1に例示されるように、カメラ2に近接するように配置されてもよい。また、個人識別装置1は、ネットワークを介してカメラ2と接続してもよく、当該カメラ2とは全く異なる場所に配置されてもよい。
§2 構成例
<ハードウェア構成>
次に、図2を用いて、個人識別装置1のハードウェア構成を説明する。図2は、本実施形態に係る個人識別装置1のハードウェア構成を例示する。個人識別装置1は、図2に例示されるように、CPU、RAM(Random Access Memory)、ROM(Read Only Memory)等を含む制御部11、制御部11で実行するプログラム5等を記憶する記憶部12、画像の表示と入力を行うためのタッチパネルディスプレイ13、音声を出力するためのスピーカ14、外部装置と接続するための外部インタフェース15、ネットワークを介して通信を行うための通信インタフェース16、及び記憶媒体6に記憶されたプログラムを読み込むためのドライブ17が電気的に接続されたコンピュータである。図2では、通信インタフェース及び外部インタフェースは、それぞれ、「通信I/F」及び「外部I/F」と記載されている。
<ハードウェア構成>
次に、図2を用いて、個人識別装置1のハードウェア構成を説明する。図2は、本実施形態に係る個人識別装置1のハードウェア構成を例示する。個人識別装置1は、図2に例示されるように、CPU、RAM(Random Access Memory)、ROM(Read Only Memory)等を含む制御部11、制御部11で実行するプログラム5等を記憶する記憶部12、画像の表示と入力を行うためのタッチパネルディスプレイ13、音声を出力するためのスピーカ14、外部装置と接続するための外部インタフェース15、ネットワークを介して通信を行うための通信インタフェース16、及び記憶媒体6に記憶されたプログラムを読み込むためのドライブ17が電気的に接続されたコンピュータである。図2では、通信インタフェース及び外部インタフェースは、それぞれ、「通信I/F」及び「外部I/F」と記載されている。
なお、個人識別装置1の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換、及び追加が可能である。例えば、制御部11は、複数のプロセッサを含んでもよい。また、例えば、タッチパネルディスプレイ13は、それぞれ別個独立に接続される入力装置及び表示装置に置き換えられてもよい。また、例えば、スピーカ14は省略されてもよい。また、例えば、スピーカ14は、個人識別装置1の内部装置としてではなく、外部装置として個人識別装置に接続されてもよい。また、個人識別装置1はカメラ2を内蔵してもよい。
個人識別装置1は、複数の外部インタフェース15を備えてもよく、複数の外部装置と接続してもよい。本実施形態では、個人識別装置1は、外部インタフェース15を介してカメラ2と接続している。本実施形態に係るカメラ2は、歩行者を撮影するために設置されている。このカメラ2は、被写体の深度を測定するための深度センサ21を備えている。この深度センサ21の種類及び測定方法は、実施の形態に応じて適宜選択されてよい。例えば、深度センサ21として、TOF(Time Of Flight)方式等のセンサを挙げることができる。
なお、歩行者を撮影する場所は暗い可能性がある。そこで、撮影場所の明るさに影響されずに深度を取得可能なように、赤外線の照射に基づいて深度を測定する赤外線深度センサを深度センサ21として利用してもよい。このような赤外線深度センサを含む比較的安価な撮影装置として、例えば、マイクロソフト社のKinect、ASUS社のXtion、PrimeSense社のCARMINEを挙げることができる。
ここで、図3を用いて、本実施形態に係る深度センサ21によって測定される深度を詳細に説明する。図3は、本実施形態に係る深度として扱うことが可能な距離の一例を示す。当該深度は、被写体の深さを表現する。図3で例示されるように、被写体の深さは、例えば、カメラ2と対象物との直線の距離Aで表現されてもよいし、カメラ2の被写体に対する水平軸から下ろした垂線の距離Bで表現されてもよい。
すなわち、本実施形態に係る深度は、距離Aであってもよいし、距離Bであってもよい。本実施形態では、距離Bを深度として扱うことにする。ただし、距離Aと距離Bとは、例えば、三平方の定理等を用いることで、互いに変換可能である。そのため、距離Bを用いた以降の説明は、そのまま、距離Aに適用することが可能である。このような深度を利用することで、本実施形態に係る個人識別装置1は、歩行者の実空間における歩行特性を解析する。
また、本実施形態に係る個人識別装置1は、記憶部12において、個人の実空間における歩行特性を示す個人識別用データ121を記憶している。この個人識別用データ121について、図4を用いて説明する。
図4は、本実施形態に係る個人識別用データ121を例示する。個人識別用データ121は、個人を識別するためのデータである。本実施形態では、1件の個人識別用データ121が1個人のデータに相当する。そのため、本実施形態では、識別対象の人物の数に応じた件数の個人識別用データ121が保持される。
図4で例示されるように、本実施形態に係る個人識別用データ121は、データID、人物名及び歩行特性を示す情報を含んでいる。データIDは、各個人の個人識別用データ121を識別するための識別子である。人物名は、この個人識別用データ121により識別される人物の名称を示す。
また、歩行特性は、この個人識別用データ121により識別される人物の歩行動作の有する性質を示す。本実施形態では、この歩行特性は、歩隔、つま先の上がり方、かかとの上がり方、身体の傾き、体幹の側方動揺、骨盤の側方傾斜、膝関節の曲がり角度、腕振り角度、歩行補助器具の有無等の項目を含んでいる。
歩隔は、両足間の左右の幅を示す。つま先の上がり方は、歩行動作中における右足又は/及び左足のつま先の上がり具合を示す。かかとの上がり方は、歩行動作中における右足又は/及び左足のかかとの上がり具合を示す。身体の傾きは、歩行動作中における身体軸の角度を示す。体幹の側方動揺は、歩行動作中における体幹の外側への動き具合を示す。骨盤の側方傾斜は、歩行動作中における骨盤の上下方向への傾き具合を示す。膝関節の曲がり角度は、歩行動作中における右膝又は/及び左膝の曲がり具合を示す。腕振り角度は、歩行動作中における右腕又は/及び左腕の曲がり具合を示す。歩行補助器具の有無は、対象の個人が歩行補助器具を利用しているか否かを示す。なお、歩行補助器具とは、歩行を安定させるための器具であり、例えば、杖、歩行器等である。
各項目の属性値は、後述する解析処理に適合するように与えられる。例えば、歩隔、身体の傾き、歩行補助器具の有無等の経時的な変化が比較的に生じ難い項目の属性値は、単一の数値で付与されてもよい。一方、つま先の上がり方、かかとの上がり方、体幹の側方動揺、骨盤の側方傾斜、膝関節の曲がり角度、腕振り角度等の属性値は、比較的に経時的な変化が生じやすく、例えば、歩行周期に合わせて波形パターンのように変化する。そのため、このような項目の属性値は、最大値(単一の数値)で付与されてもよいし、当該波形パターンを表す配列で付与されてもよいし、周期及び最大値の2つの数値で付与されてもよい。各項目の属性値の形式は、実施の形態に応じて適宜選択可能である。
なお、歩行特性の項目は、これらの例に限定されなくてもよく、実施の形態に応じて適宜選択可能である。例えば、歩行特性は、上述した項目の他、身長、歩幅、歩幅の左右比、つま先の上がり方の左右比、かかとの上がり方の左右比、ケーデンス、膝関節の曲がり角度の左右比、腕振り角度の左右比等の項目を含むことができる。なお、ケーデンスとは、歩行率とも称され、単位時間内の歩数を示す。
また、歩行特性の項目数についても、実施の形態に応じて適宜選択可能である。歩行特性の項目数は、単数であってもよいし、複数であってもよい。また、個人識別用データ121の示す歩行特性が複数の項目を含んでいる場合には、個人識別装置1は、当該歩行特性の複数の項目の中から個人識別に利用する項目の選択をユーザから受け付けてもよい。
なお、個人識別用データ121のデータ形式は、各個人の歩行特性を記憶可能であれば、このような例に限定されなくてもよく、実施の形態に応じて適宜選択可能である。例えば、個人識別用データ121は、テーブル形式のデータベースの1レコードとして保持されてもよい。
また、個人識別用データ121の歩行特性に係る各属性値は、各個人の歩行動作を撮影した撮影画像を後述する歩行特性の解析処理によって解析することで、取得されてもよい。その他、各属性値は、ユーザによって直接入力されてもよいし、複数の候補から選択することで決定されてもよい。このような個人識別用データ121は、ネットワークを介して他の情報処理装置から取得されてもよい。
なお、記憶部12に記憶されたプログラム5は、個人識別装置1に後述する個人識別に関する各処理を実行させるためのプログラムであり、本発明の「プログラム」に相当する。このプログラム5は記憶媒体6に記録されていてもよい。記憶媒体6は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶媒体6は、本発明の「記憶媒体」に相当する。なお、図2は、記憶媒体6の一例として、CD(Compact Disk)、DVD(Digital Versatile Disk)等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体6の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。
また、個人識別装置1として、例えば、提供されるサービス専用に設計された装置の他、PC(Personal Computer)、タブレット端末等の汎用の装置が用いられてよい。更に、個人識別装置1は、1又は複数のコンピュータにより実装されてもよい。
<機能構成例>
次に、図5を用いて、個人識別装置1の機能構成を説明する。図5は、本実施形態に係る個人識別装置1の機能構成を例示する。本実施形態では、個人識別装置1の制御部11は、記憶部12に記憶されたプログラム5をRAMに展開する。そして、制御部11は、RAMに展開されたプログラム5をCPUにより解釈及び実行して、各構成要素を制御する。これにより、個人識別装置1は、画像取得部31、歩行特性解析部32及び歩行者特定部33を備えるコンピュータとして機能する。
次に、図5を用いて、個人識別装置1の機能構成を説明する。図5は、本実施形態に係る個人識別装置1の機能構成を例示する。本実施形態では、個人識別装置1の制御部11は、記憶部12に記憶されたプログラム5をRAMに展開する。そして、制御部11は、RAMに展開されたプログラム5をCPUにより解釈及び実行して、各構成要素を制御する。これにより、個人識別装置1は、画像取得部31、歩行特性解析部32及び歩行者特定部33を備えるコンピュータとして機能する。
画像取得部31は、カメラ2によって撮影された撮影画像3を取得する。上記のとおり、この撮影画像3には、各画素の深度を示す深度データが含まれている。そこで、歩行特性解析部32は、撮影画像3内で歩行者の写る領域を抽出する。そして、深度データにより示される撮影画像3内の各画素の深度に基づいて、抽出した領域に写る歩行者の実空間における歩行特性を解析する。これにより、歩行特性解析部32は、図6で例示される解析データ40を取得する。
図6は、本実施形態に係る解析データ40を例示する。解析データ40は、歩行特性解析部32による解析の結果に基づいて得られ、撮影画像3に写る歩行者の実空間における歩行特性を示す。この解析データ40は、上記個人識別用データ121に含まれる歩行特性に対応して取得される。
すなわち、歩行特性解析部32は、上記個人識別用データ121に含まれる歩行特性の各項目に関して、撮影画像3に写る歩行者の歩行動作を解析する。そのため、本実施形態に係る解析データ40には、撮影画像3に写る歩行者の歩行特性として、歩隔、つま先の上がり方、かかとの上がり方、身体の傾き、体幹の側方動揺、骨盤の側方傾斜、膝関節の曲がり角度、腕振り角度、歩行補助器具の有無等の項目が含まれる。
ただし、個人識別用データ121の示す歩行特性と解析データ40の示す歩行特性とを比較可能であれば、個人識別用データ121に含まれる歩行特性の項目と解析データ40に含まれる歩行特性の項目とは完全には一致していなくてもよい。すなわち、個人識別用データ121及び解析データ40は互いに共通する歩行特性の項目を含んでいればよく、一方のデータには含まれていない歩行特性の項目が他方のデータに含まれていてもよい。
歩行者特定部33は、このように取得される解析データ40と記憶部12に保持されている個人識別用データ121とを照合する。換言すると、歩行者特定部33は、個人識別用データ121の示す歩行特性と取得した解析データ40の示す歩行特性とを比較することによって、取得した解析データ40が個人識別用データ121に適合するか否かを判定する。そして、歩行者特定部33は、当該判定の結果に基づいて撮影画像3に写る歩行者を特定する。
なお、本実施形態では、これらの機能がいずれも汎用のCPUによって実現される例を説明している。しかしながら、これらの機能の一部又は全部が、1又は複数の専用のプロセッサにより実現されてもよい。また、個人識別装置1の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換、及び追加が行われてもよい。各機能に関しては後述する動作例で詳細に説明する。
§3 動作例
次に、図7を用いて、個人識別装置1の動作例を説明する。図7は、個人識別装置1の個人識別に関する処理手順を例示する。なお、以下で説明する個人識別に関する処理手順は一例にすぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
次に、図7を用いて、個人識別装置1の動作例を説明する。図7は、個人識別装置1の個人識別に関する処理手順を例示する。なお、以下で説明する個人識別に関する処理手順は一例にすぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
(ステップS101)
ステップS101では、制御部11は、画像取得部31として機能し、カメラ2により撮影された撮影画像3を取得する。その後、制御部11は、次のステップS102に処理を進める。ここで、本実施形態では、カメラ2は、深度センサ21を備えている。そのため、本ステップS101において取得される撮影画像3には、各画素の深度を示す深度データが含まれる。制御部11は、この深度データを含む撮影画像3として、例えば、図8で例示される撮影画像3を取得する。
ステップS101では、制御部11は、画像取得部31として機能し、カメラ2により撮影された撮影画像3を取得する。その後、制御部11は、次のステップS102に処理を進める。ここで、本実施形態では、カメラ2は、深度センサ21を備えている。そのため、本ステップS101において取得される撮影画像3には、各画素の深度を示す深度データが含まれる。制御部11は、この深度データを含む撮影画像3として、例えば、図8で例示される撮影画像3を取得する。
図8は、深度データを含む撮影画像3の一例を示す。図8で例示される撮影画像3は、各画素の濃淡値が当該各画素の深度に応じて定められた画像である。黒色の画素ほど、カメラ2に近いことを示す。一方、白色の画素ほど、カメラ2から遠いことを示す。制御部11は、この深度データに基づいて、各画素の写る対象の実空間での位置を特定することができる。すなわち、制御部11は、撮影画像3内の各画素の座標(二次元情報)と深度とから、当該各画素内に写る被写体の三次元空間(実空間)での位置を特定することができる。
ここで、図8は、床面に対して水平方向に向けられたカメラ2で取得された深度データを例示している。しかしながら、カメラ2の向きは、このような例に限定される訳ではなく、実施の形態に応じて適宜設定可能である。カメラ2が床面に対して傾いている場合には、カメラ2のロール角、ピッチ角及びヨー角を用いた射影変換を行うことによって、撮影画像3に写る被写体の実空間における三次元分布を得ることができる。
なお、制御部11は、リアルタイムに歩行者の特定を行うため、カメラ2のビデオ信号に同期させて撮影画像3を取得してもよい。そして、1又は複数枚の撮影画像3を取得した段階で、制御部11は、後述するステップS102〜S106までの処理を取得した1又は複数枚の撮影画像3に対して即座に実行してもよい。個人識別装置1は、このような動作を絶え間なく連続して実行することにより、リアルタイム画像処理を実現し、カメラ2の撮影範囲に存在する歩行者の特定をリアルタイムに行うことができる。
(ステップS102)
図7に戻り、次のステップS102では、制御部11は、歩行特性解析部32として機能し、ステップS101で取得した撮影画像3内で歩行者の写る領域を抽出する。その後、制御部11は、次のステップS103に処理を進める。なお、以下では、説明の便宜のため、撮影画像3内で歩行者の写る領域を「人物領域」とも称する。
図7に戻り、次のステップS102では、制御部11は、歩行特性解析部32として機能し、ステップS101で取得した撮影画像3内で歩行者の写る領域を抽出する。その後、制御部11は、次のステップS103に処理を進める。なお、以下では、説明の便宜のため、撮影画像3内で歩行者の写る領域を「人物領域」とも称する。
人物領域を抽出する方法は、実施の形態に応じて適宜選択可能である。例えば、制御部11は、人物の形状に基づいて、パターン検出、図形要素検出等の画像解析を行うことによって、撮影画像3内で歩行者の写る人物領域を抽出してもよい。なお、撮影画像3に複数の歩行者が写っている場合には、制御部11は歩行者毎に人物領域を抽出する。
(ステップS103)
次のステップS103では、制御部11は、歩行特性解析部32として機能し、深度データにより示される撮影画像3内の各画素の深度に基づいて、ステップS102で抽出した領域に写る歩行者の実空間における歩行特性を解析する。
次のステップS103では、制御部11は、歩行特性解析部32として機能し、深度データにより示される撮影画像3内の各画素の深度に基づいて、ステップS102で抽出した領域に写る歩行者の実空間における歩行特性を解析する。
具体的には、制御部11は、深度データを利用することにより、被写体の三次元分布を認識することができる。そこで、制御部11は、ステップS102で抽出した人物領域の深度を参照することにより、当該人物領域に写る歩行者の各身体部位の実空間における位置関係を特定してもよい。
そして、制御部11は、各身体部位の実空間における位置関係から、当該歩行者の歩行特性の各項目に係る属性値を特定してもよい。これにより、制御部11は、撮影画像3に写る歩行者の実空間における歩行特性を示す解析データ40を取得することができ、次のステップS104に処理を進めることができる。
なお、人物領域において各身体部位の領域を特定する方法は、実施の形態に応じて適宜選択可能である。例えば、人物領域の抽出と同様に、各身体部位の形状に基づいて、パターン検出、図形要素検出等の画像解析を行うことによって、人物領域において各身体部位の領域を特定することができる。
また、歩行特性の各項目の解析方法は、実施の形態に応じて適宜選択可能である。例えば、以下のようにして、撮影画像3に写る歩行者の歩行特性を解析し、各項目の属性値を特定することができる。
例えば、制御部11は、地面(かかと又はつま先)から頭までの距離を測定することで、ユーザの身長を算出してもよい。また、例えば、制御部11は、一方の足のかかとから他方の足のつま先までの距離を測定することで、ユーザの歩幅を算出してもよい。また、例えば、制御部11は、左右の足首間の水平方向の距離を測定することで、ユーザの歩隔を算出してもよい。
また、例えば、制御部11は、少なくとも一方の足のつま先から地面までの距離を継続的に測定することで、つま先の上がり方に係る属性値を算出してもよい。また、例えば、制御部11は、少なくとも一方の足のかかとから地面までの距離を継続的に測定することで、かかとの上がり方に係る属性値を算出してもよい。また、例えば、制御部11は、単位時間当たりの歩数を測定することで、ケーデンスを算出してもよい。
また、例えば、制御部11は、地面に垂直な直線に対する上半身の傾きを測定することで、身体の傾きを算出してもよい。また、例えば、制御部11は、地面に垂直な直線に対する身体の左右方向の傾きを継続的に測定することで、体躯の側方動揺に係る属性値を算出してもよい。また、例えば、制御部11は、地面に垂直な直線に対する骨盤の左右方向の傾きを測定することで、骨盤の側方傾斜に係る属性値を算出してもよい。
また、例えば、制御部11は、少なくとも一方の足における大腿部と下腿部との間にできる膝を頂点とした角度を測定することで、膝関節の曲がり角度を算出してもよい。また、例えば、制御部11は、地面に垂直な直線に対する腕の角度を測定することで、腕振り角度を算出してもよい。
また、例えば、制御部11は、各歩行補助器具の形状に基づいて、パターン検出、図形要素検出等の画像解析を人物領域において行うことで、歩行補助器具の検知を行ってもよい。歩行補助器具を検知できた場合には、制御部11は、歩行補助器具を有することを示すように、解析データ40の歩行補助器具の有無に係る属性値を設定する。一方、歩行補助器具を検知できなかった場合には、制御部11は、歩行補助器具を有さないことを示すように、解析データ40の歩行補助器具の有無に係る属性値を設定する。また、制御部11は、右側と左側とに分けて各属性値を特定し、特定した各属性値の比を求めることで、各左右比の属性値を取得してもよい。
なお、歩行特性の解析に利用する身体部位が撮影画像3に写らず、対象の項目に係る属性値を特定できない場合がある。この場合、制御部11は、当該属性値の特定できなかった歩行特性の項目を、解析不能として取り扱い、以下のステップS104で比較する対象から除外する。また、ステップS102において、複数人の歩行者が抽出されている場合には、本ステップS103では、制御部11は、歩行者毎に歩行特性の解析を行う。そして、制御部11は、歩行者毎に解析データ40を取得する。
(ステップS104)
図7に戻り、次のステップS104では、制御部11は、歩行者特定部33として機能し、記憶部12に記憶されている個人識別用データ121とステップS103で取得した解析データ40とを照合する。具体的には、制御部11は、個人識別用データ121の示す歩行特性とステップS103で取得した解析データ40の示す歩行特性とを項目毎に比較する。
図7に戻り、次のステップS104では、制御部11は、歩行者特定部33として機能し、記憶部12に記憶されている個人識別用データ121とステップS103で取得した解析データ40とを照合する。具体的には、制御部11は、個人識別用データ121の示す歩行特性とステップS103で取得した解析データ40の示す歩行特性とを項目毎に比較する。
この比較において、一致すると評価可能な項目が所定数以上存在する場合に、制御部11は、ステップS103で取得した解析データ40は記憶部12に記憶されている個人識別用データ121に適合すると判定する。そして、制御部11は、ステップS102で抽出した歩行者は当該適当する個人識別用データ121の示す人物であると特定して、次のステップS105に処理を進める。
一方、歩行特性の比較において、一致すると評価可能な項目が所定数以上存在しない場合には、制御部11は、解析データ40は個人識別用データ121に適合しないと判定する。そして、制御部11は、ステップS102で抽出した歩行者を特定不能として取り扱い、次のステップS105に処理を進める。
ここで、各項目の比較に関して、属性値を比較する方法は、実施の形態に応じて適宜選択可能である。例えば、属性値が単一の数値で表されている場合には、解析データ40の示す属性値と個人識別用データ121の示す属性値との差(絶対値)が閾値以内であるときに、制御部11は、解析データ40及び個人識別用データ121において当該項目に係る属性値が一致すると評価可能である。
他方、解析データ40の示す属性値と個人識別用データ121の示す属性値との差が閾値を超えているときには、制御部11は、解析データ40及び個人識別用データ121において当該項目に係る属性値は一致しないと評価可能である。属性値が配列で表現されている場合及び属性値が周期及び最大値(極大値)の2つの数値で表現されている場合についても、制御部11は、属性値が単一の数値で表されている場合とほぼ同様に処理することが可能である。
なお、記憶部12には、複数件の個人識別用データ121が記憶されている場合がある。この場合、制御部11は、記憶部12に記憶されている複数件の個人識別用データ121を順に解析データ40と照合し、解析データ40に適合する個人識別用データ121を特定する。解析データ40に適合する個人識別用データ121が複数件存在する場合には、制御部11は、最も適合する個人識別用データ121を解析データ40に適合するデータとして採用する。一方、全ての個人識別用データ121が解析データ40と適合しない場合には、制御部11は、ステップS102で抽出した歩行者を特定不能として取り扱い、次のステップS105に処理を進める。
また、ステップS102において複数人の歩行者が抽出されている場合には、本ステップS104において、制御部11は、解析データ40と個人識別用データ121との照合を歩行者毎に行う。これにより、制御部11は、ステップS102で抽出した歩行者毎に人物の特定を行う。
(ステップS105)
ステップS105では、制御部11は、ステップS104において歩行者を特定することができたか否か、換言すると、解析データ40に適合する個人識別用データ121が存在したか否かを判定する。ステップS104において歩行者を特定することができた場合には、制御部11は、次のステップS106に処理を進める。一方、ステップS104において歩行者を特定できなかった場合には、制御部11は、ステップS106の処理を省略して、本動作例に係る処理を終了する。
ステップS105では、制御部11は、ステップS104において歩行者を特定することができたか否か、換言すると、解析データ40に適合する個人識別用データ121が存在したか否かを判定する。ステップS104において歩行者を特定することができた場合には、制御部11は、次のステップS106に処理を進める。一方、ステップS104において歩行者を特定できなかった場合には、制御部11は、ステップS106の処理を省略して、本動作例に係る処理を終了する。
なお、ステップS102において歩行者が複数人抽出された場合には、抽出された歩行者全てについて人物を特定できなかったときに限り、制御部11は、歩行者を特定不能として、本動作例に係る処理を終了する。一方、少なくとも一部の歩行者について人物を特定できた場合には、制御部11は、人物を特定できた歩行者について、次のステップS106に処理を進める。
(ステップS106)
ステップS106では、制御部11は、個人識別用データ121の更新処理を実行する。具体的には、制御部11は、ステップS104で特定した歩行者の個人識別用データ121に含まれる歩行特性の各属性値を、ステップS103で取得した解析データ40に含まれる歩行特性の各属性値に置き換える。これによって、記憶部12は、ステップS104で特定した歩行者の個人識別用データ121を更新する。
ステップS106では、制御部11は、個人識別用データ121の更新処理を実行する。具体的には、制御部11は、ステップS104で特定した歩行者の個人識別用データ121に含まれる歩行特性の各属性値を、ステップS103で取得した解析データ40に含まれる歩行特性の各属性値に置き換える。これによって、記憶部12は、ステップS104で特定した歩行者の個人識別用データ121を更新する。
本ステップS106の処理が完了すると、制御部11は、本動作例に係る処理を終了する。個人識別に係る処理を繰り返す場合には、制御部11は、再度ステップS101から処理を実行する。なお、ステップS103において解析不能であった項目については、制御部11は、属性値の置き換えを行わず、元の個人識別用データ121に含まれる属性値を維持する。
(作用・効果)
以上のように、本実施形態に係る個人識別装置1は、歩行者の歩行特性を解析するために、各画素の深度を示す深度データを撮影画像3と共に取得する。そして、この深度データを利用することにより、個人識別装置1は、カメラ2に対する歩行者の移動方向とは無関係に、当該歩行者の実空間上の状態を解析することができる。よって、本実施形態によれば、カメラ2に対する歩行者の移動方向に影響を受けることなく、撮影画像3に写る歩行者の歩行特性を解析し、当該歩行者を特定することができる。
以上のように、本実施形態に係る個人識別装置1は、歩行者の歩行特性を解析するために、各画素の深度を示す深度データを撮影画像3と共に取得する。そして、この深度データを利用することにより、個人識別装置1は、カメラ2に対する歩行者の移動方向とは無関係に、当該歩行者の実空間上の状態を解析することができる。よって、本実施形態によれば、カメラ2に対する歩行者の移動方向に影響を受けることなく、撮影画像3に写る歩行者の歩行特性を解析し、当該歩行者を特定することができる。
より詳細には、二次元画像において撮影方向の奥行きを特定するのは困難である。そのため、二次元画像を用いて歩行者の歩行特性を解析する場合に、例えば、歩行者を側面から撮影したときには、歩行者の歩隔を解析するのは困難である。しかしながら、本実施形態によれば、撮影画像3と共に、各画素の深度を示す深度データが取得される。そのため、歩行者を側面から撮影しても、被写体の奥行きを特定可能であり、歩行者の歩隔を解析することができる。したがって、本実施形態によれば、カメラ2の撮影方向によらず、撮影画像3に写る歩行者の実空間における歩行特性を安定して解析することができ、これによって、当該歩行者を特定することができる。
また、人間の歩行特性は、時間が経過するにつれて変化する可能性がある。これに対して、本実施形態に係る個人識別装置1は、ステップS106において、適合した解析データ40を利用して個人識別用データ121を更新する。すなわち、制御部11は、個人識別の成功した解析データ40によって個人識別用データ121を更新する。そのため、本実施形態によれば、このような時間経過に伴う歩行特性の変化に対応可能な個人識別装置1を提供することができる。
また、本実施形態では、歩行特性は、複数の項目で構成されている。そして、ステップS104では、制御部11は、個人識別用データ121と解析データ40とを項目毎に比較し、一致すると評価可能な項目が所定数以上存在する場合に、取得した解析データ40が個人識別用データ121に適合すると判定する。そのため、本実施形態によれば、複数の項目に基づいて多面的に歩行者を特定することができるため、個人識別の精度を高めることができる。
また、本実施形態では、歩行特性を構成する項目として、歩隔、つま先の上がり方、かかとの上がり方、身体の傾き、体幹の側方動揺、骨盤の側方傾斜、膝関節の曲がり角度、腕振り角度、及び歩行補助器具の有無が選択されている。カメラ2に近付く方向に歩行者が移動している場合には、撮影画像3には歩行者の前面が写りやすい。そのため、歩隔、体幹の側方動揺及び骨盤の側方傾斜の解析に利用する身体部位が撮影画像3に写りやすく、これらの属性値を比較的に精度よく特定することができる。
同様に、カメラ2から遠ざかる方向に歩行者が移動する場合には、撮影画像3には歩行者の背面が写りやすく、歩隔、体幹の側方動揺、骨盤の側方傾斜及びかかとの上がり方に係る属性値を比較的に精度よく特定することができる。また、カメラ2の撮影範囲を横切る方向に歩行者が移動している場合には、撮影画像3には歩行者の側面が写りやすく、身体の傾き、膝関節の曲がり角度、腕振り角度及び歩行補助器具の有無に係る属性値を比較的に精度よく特定することができる。
したがって、本実施形態に係る歩行特性は、カメラ2に対して様々な方向に移動する歩行者について比較的に精度よく解析することのできる項目を含んでいる。そのため、本実施形態によれば、撮影画像3に写る歩行者の歩行特性を十分に解析し、歩行者の人物特定を精度よく行うことができる。
なお、本実施形態に係る個人識別装置1はカメラ2により撮影された歩行者を特定する。そのため、個人識別装置1の処理結果を以下のシステムで利用することができる。
例えば、本実施形態に係る個人識別装置1は、電子錠の開閉システムに適用されてもよい。この場合、カメラ2は、電子錠の設置されるドア等に近接する歩行者を撮影可能なように配置される。また、記憶部12に記憶される個人識別用データ121には、当該個人識別用データ121の示す人物が電子錠を解錠する対象か否かを示す情報が含まれる。そして、個人識別装置1は、歩行者の識別処理の結果、当該ドア等に近接した歩行者が解錠対象の人物であると特定した場合に、電子錠を解錠するように構成されてもよい。
また、例えば、本実施形態に係る個人識別装置1は、登録外の人物を検知することによる不審者判定システムに適用されてもよい。この場合、カメラ2は、例えば、建物の入り口等、不審者の侵入を警戒する場所を撮影可能なように配置される。また、記憶部12には、当該建物に出入りする各人物の個人識別用データ121が予め登録される。そして、個人識別装置1は、歩行者の識別処理の結果、当該歩行者が特定不能であった場合、換言すると、記憶部12に登録されたどの人物にも該当しない歩行者が撮影画像3に写っている場合に、当該歩行者を不審者と判定してもよい。更に、このような場合に、任意の通知方法を利用して、不審者が侵入したことを通知してもよい。
§4 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。
(1)比較項目の選択
上記実施形態では、制御部11(歩行者特定部33)は、ステップS104において、歩行特性のいずれの項目を優先することなく、解析データ40の示す歩行特性と個人識別用データ121の示す歩行特性との比較処理を実行している。しかしながら、制御部11は、歩行特性のいずれかの項目を優先して当該比較処理を実行してもよい。
上記実施形態では、制御部11(歩行者特定部33)は、ステップS104において、歩行特性のいずれの項目を優先することなく、解析データ40の示す歩行特性と個人識別用データ121の示す歩行特性との比較処理を実行している。しかしながら、制御部11は、歩行特性のいずれかの項目を優先して当該比較処理を実行してもよい。
この場合、制御部11は、ステップS102において、歩行者の移動方向を解析してもよい。歩行者の移動方向は、例えば、数フレーム分の撮影画像3を用いて特定することができる。具体的には、制御部11は、深度データを利用し、各フレームにおける歩行者の実空間上の位置を特定する。そして、この各フレームにおける歩行者の位置を参照することで、制御部11は、数フレーム間における歩行者の実空間上の変位、すなわち、移動方向を特定することができる。
そして、制御部11は、ステップS104において、個人識別用データ121の示す歩行特性と解析データ40の示す歩行特性とを比較する際に、ステップS102で特定した移動方向に応じて選択される項目を優先的に比較してもよい。具体的には、制御部11は、特定の項目を優先する結果として、例えば、ステップS104において解析データ40及び個人識別用データ121で比較する項目を当該優先する項目に限定してもよい。
歩行者の移動方向に応じて優先する項目を選択する方法は実施の形態に応じて適宜設定可能である。例えば、上記のとおり、カメラ2に近付く方向に歩行者が移動している場合、歩隔、体幹の側方動揺及び骨盤の側方傾斜の属性値が比較的に精度よく取得することができる。そのため、ステップS102において歩行者がカメラ2に近付く方向に移動していると判定された場合には、制御部11は、ステップS104の比較処理において、歩行特性の項目のうち、歩隔、体幹の側方動揺及び骨盤の側方傾斜を優先してもよい。
同様に、ステップS102において歩行者がカメラ2から遠ざかる方向に移動していると判定された場合には、制御部11は、ステップS104の比較処理において、歩行特性の項目のうち、歩隔、体幹の側方動揺、骨盤の側方傾斜及びかかとの上がり方を優先してもよい。また、ステップS102において歩行者がカメラ2の撮影範囲を横切る方向に歩行者が移動していると判定された場合には、制御部11は、ステップS104の比較処理において、歩行特性の項目のうち、身体の傾き、膝関節の曲がり角度、腕振り角度及び歩行補助器具の有無を優先してもよい。
カメラ2に対する歩行者の移動方向によっては、歩行者の身体部位のうち撮影画像3に写らない部位が存在しうる。そのため、ステップS103において、全ての歩行特性が常に解析可能とは限らない。これに対して、本変形例では、歩行者の移動方向に応じて優先的に比較する項目を選択する。例えば、制御部11は、歩行特性に含まれる項目のうち、上記のように、ステップS102で特定された移動方向を向いた歩行者の写る撮影画像3から比較的に精度よく解析される項目を優先する。
この優先の結果、制御部11は、例えば、比較処理の対象とする項目を当該特定の項目に限定する。すなわち、制御部11は、比較的に精度よく解析される項目の比較結果に基づいて、歩行者の人物特定を行うことになる。そのため、当該構成によれば、個人識別の精度を高めることができる。なお、この際、ステップS104の比較処理の対象となる項目は、ステップS102で特定された移動方向により選択された優先する項目のみに限定されなくてもよい。つまり、比較処理の対象となる項目には、歩行者の移動方向に応じて優先される項目の他に、1又は複数の項目が含まれてもよい。
(2)前景領域の利用
また、上記実施形態では、制御部11(歩行特性解析部32)は、ステップS102において、パターン検出等の画像処理によって撮影画像3から歩行者の写る人物領域を抽出している。ただし、撮影画像3から人物領域を抽出する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択可能である。例えば、制御部11は、前景領域を利用して、人物領域を検索する範囲を絞ってもよい。
また、上記実施形態では、制御部11(歩行特性解析部32)は、ステップS102において、パターン検出等の画像処理によって撮影画像3から歩行者の写る人物領域を抽出している。ただし、撮影画像3から人物領域を抽出する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択可能である。例えば、制御部11は、前景領域を利用して、人物領域を検索する範囲を絞ってもよい。
この場合、制御部11は、上記ステップS102において、ステップS101で取得した撮影画像3の背景として設定された背景画像と撮影画像3との差分から、撮影画像3の前景領域を抽出する。ここで、背景画像は、前景領域を抽出するために利用されるデータであり、背景となる対象の深度を含んで設定される。背景画像を作成する方法は、実施の形態に応じて、適宜、設定されてよい。例えば、制御部11は、カメラ2による撮影を開始したときに得られる数フレーム分の撮影画像の平均を算出することで、背景画像を作成してもよい。このとき、深度データも含んで撮影画像の平均が算出されることで、深度データを含む背景画像を作成することができる。
このように抽出される前景領域は、背景画像から変化の生じている領域を示す。そのため、撮影画像3に歩行動作を行っている人物(歩行者)が写っている場合には、当該歩行者の写る領域が前景領域として抽出される。そこで、制御部11は、ステップS102において、パターン検出、図形要素検出等の画像解析を前景領域内で実行することによって、歩行者の写る領域を抽出してもよい。
これにより、歩行者を検出する撮影画像3内の領域を限定することができる。すなわち、パターンマッチング等の画像解析の対象となる領域を、撮影画像3内全域とするのではなく、前景領域内に制限することができる。ここで、前景領域を抽出するための処理は、撮影画像3と背景画像との差分を計算する処理に過ぎない。そのため、本実施形態によれば、制御部11(個人識別装置1)は、高度な画像処理を利用せずに、歩行者を検出する範囲を絞ることができる。よって、当該変形例によれば、ステップS102における処理の負荷を低減することができる。
なお、制御部11が前景領域を抽出する方法は、上記のような方法に限定されなくてもよく、例えば、背景差分法を用いて背景と前景とを分離してもよい。背景差分法として、例えば、上記のような背景画像と入力画像(撮影画像3)との差分から背景と前景とを分離する方法、異なる3枚の画像を用いて背景と前景とを分離する方法、及び統計的モデルを適用することで背景と前景とを分離する方法を挙げることができる。前景領域を抽出する方法は、特に限定されなくてよく、実施の形態に応じて、適宜、選択されてよい。
1…個人識別装置、
2…カメラ、21…深度センサ、
3…撮影画像、5…プログラム、6…記憶媒体、
11…制御部、12…記憶部、13…タッチパネルディスプレイ、
14…スピーカ、15…外部インタフェース、16…通信インタフェース、
17…ドライブ、
31…画像取得部、32…歩行特性解析部、33…歩行者特定部、
40…解析データ、121…個人識別用データ
2…カメラ、21…深度センサ、
3…撮影画像、5…プログラム、6…記憶媒体、
11…制御部、12…記憶部、13…タッチパネルディスプレイ、
14…スピーカ、15…外部インタフェース、16…通信インタフェース、
17…ドライブ、
31…画像取得部、32…歩行特性解析部、33…歩行者特定部、
40…解析データ、121…個人識別用データ
Claims (8)
- 個人を識別するための個人識別用データであって、当該個人の実空間における歩行特性を示す個人識別用データを個人毎に記憶する記憶部と、
歩行者を撮影するために設置された撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得する画像取得部と
前記撮影画像内で前記歩行者の写る領域を抽出し、前記深度データにより示される前記撮影画像内の各画素の深度に基づいて、当該領域に写る前記歩行者の実空間における歩行特性を解析することで、前記撮影画像に写る前記歩行者の実空間における歩行特性を示す解析データを取得する歩行特性解析部と、
前記個人識別用データの示す歩行特性及び取得した前記解析データの示す歩行特性を比較することによって、取得した解析データが前記個人識別用データに適合するか否かを判定し、当該判定の結果に基づいて、前記撮影画像に写る歩行者を特定する歩行者特定部と、
を備える、
個人識別装置。 - 前記記憶部は、前記特定した歩行者の個人識別用データを取得した前記解析データに置き換えることで、前記特定した歩行者の個人識別用データを更新する、
請求項1に記載の個人識別装置。 - 前記歩行特性は複数の項目で構成され、
前記歩行者特定部は、前記個人識別用データの示す歩行特性と取得した前記解析データの示す歩行特性とを項目毎に比較し、一致すると評価可能な項目が所定数以上存在する場合に、取得した解析データが前記個人識別用データに適合すると判定し、前記撮影画像に写る歩行者は当該適合する個人識別用データの示す人物であると特定する、
請求項1又は2に記載の個人識別装置。 - 前記歩行特性解析部は、前記撮影装置に対する前記歩行者の移動方向を更に解析し、
前記歩行者特定部は、前記個人識別用データの示す歩行特性と取得した前記解析データの示す歩行特性とを比較する際に、前記歩行者の移動方向に応じて選択される項目を優先的に比較する、
請求項3に記載の個人識別装置。 - 前記歩行特性は、前記複数の項目として、歩隔、つま先の上がり方、かかとの上がり方、身体の傾き、体幹の側方動揺、骨盤の側方傾斜、膝関節の曲がり角度、腕振り角度、及び歩行補助器具の有無を含む、
請求項3又は4に記載の個人識別装置。 - 前記歩行特性解析部は、前記撮影画像の背景として設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を前記歩行者の写る領域として抽出し、前記深度データを参照することで当該前景領域内の各画素の深度を特定し、特定した当該前景領域内の各画素の深度に基づいて、当該前景領域に写る前記歩行者の実空間における歩行特性を解析する、
請求項1から5のいずれか1項に記載の個人識別装置。 - 個人を識別するための個人識別用データであって、当該個人の実空間における歩行特性を示す個人識別用データを個人毎に記憶する記憶部を備えるコンピュータが、
歩行者を撮影するために設置された撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、
前記撮影画像内で前記歩行者の写る領域を抽出するステップと、
前記深度データにより示される前記撮影画像内の各画素の深度に基づいて、当該領域に写る前記歩行者の実空間における歩行特性を解析することで、前記撮影画像に写る前記歩行者の実空間における歩行特性を示す解析データを取得するステップと、
前記個人識別用データの示す歩行特性及び取得した前記解析データの示す歩行特性を比較することによって、取得した解析データが前記個人識別用データに適合するか否かを判定するステップと、
前記判定の結果に基づいて、前記撮影画像に写る歩行者を特定するステップと、
を実行する個人識別方法。 - 個人を識別するための個人識別用データであって、当該個人の実空間における歩行特性を示す個人識別用データを個人毎に記憶する記憶部を備えるコンピュータに、
歩行者を撮影するために設置された撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、
前記撮影画像内で前記歩行者の写る領域を抽出するステップと、
前記深度データにより示される前記撮影画像内の各画素の深度に基づいて、当該領域に写る前記歩行者の実空間における歩行特性を解析することで、前記撮影画像に写る前記歩行者の実空間における歩行特性を示す解析データを取得するステップと、
前記個人識別用データの示す歩行特性及び取得した前記解析データの示す歩行特性を比較することによって、取得した解析データが前記個人識別用データに適合するか否かを判定するステップと、
前記判定の結果に基づいて、前記撮影画像に写る歩行者を特定するステップと、
を実行させるための個人識別プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014170790A JP2017205135A (ja) | 2014-08-25 | 2014-08-25 | 個人識別装置、個人識別方法、及び、個人識別プログラム |
PCT/JP2015/064256 WO2016031314A1 (ja) | 2014-08-25 | 2015-05-19 | 個人識別装置、個人識別方法、及び、個人識別プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014170790A JP2017205135A (ja) | 2014-08-25 | 2014-08-25 | 個人識別装置、個人識別方法、及び、個人識別プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017205135A true JP2017205135A (ja) | 2017-11-24 |
Family
ID=55399220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014170790A Pending JP2017205135A (ja) | 2014-08-25 | 2014-08-25 | 個人識別装置、個人識別方法、及び、個人識別プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2017205135A (ja) |
WO (1) | WO2016031314A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021157214A1 (ja) * | 2020-02-04 | 2021-08-12 | オムロン株式会社 | 情報処理装置、シルエット抽出方法、プログラム |
EP4361962A1 (en) | 2022-10-31 | 2024-05-01 | Fujitsu Limited | Comparison support program, comparison support method, and information processing apparatus |
EP4361973A1 (en) | 2022-10-31 | 2024-05-01 | Fujitsu Limited | Comparison support program, comparison support method, and information processing apparatus |
US12020510B2 (en) | 2018-12-28 | 2024-06-25 | Nec Corporation | Person authentication apparatus, control method, and non-transitory storage medium |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7024604B2 (ja) * | 2018-05-23 | 2022-02-24 | トヨタ車体株式会社 | 車体情報管理システムおよび車体情報管理方法 |
JP7169213B2 (ja) * | 2019-02-05 | 2022-11-10 | 株式会社日立製作所 | 身体健康状態映像分析装置、方法並びにシステム |
CN110992397B (zh) * | 2019-10-21 | 2023-07-21 | 浙江大华技术股份有限公司 | 人员出入轨迹追踪方法、系统、计算机设备和存储介质 |
JPWO2021192906A1 (ja) * | 2020-03-25 | 2021-09-30 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005074075A (ja) * | 2003-09-02 | 2005-03-24 | Matsushita Electric Works Ltd | 歩行周期計測装置、周期画像取得装置、移動体輪郭の圧縮処理装置、移動体識別システム |
JP2015061577A (ja) * | 2013-01-18 | 2015-04-02 | 株式会社東芝 | 動作情報処理装置 |
-
2014
- 2014-08-25 JP JP2014170790A patent/JP2017205135A/ja active Pending
-
2015
- 2015-05-19 WO PCT/JP2015/064256 patent/WO2016031314A1/ja active Application Filing
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12020510B2 (en) | 2018-12-28 | 2024-06-25 | Nec Corporation | Person authentication apparatus, control method, and non-transitory storage medium |
WO2021157214A1 (ja) * | 2020-02-04 | 2021-08-12 | オムロン株式会社 | 情報処理装置、シルエット抽出方法、プログラム |
EP4361962A1 (en) | 2022-10-31 | 2024-05-01 | Fujitsu Limited | Comparison support program, comparison support method, and information processing apparatus |
EP4361973A1 (en) | 2022-10-31 | 2024-05-01 | Fujitsu Limited | Comparison support program, comparison support method, and information processing apparatus |
Also Published As
Publication number | Publication date |
---|---|
WO2016031314A1 (ja) | 2016-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016031314A1 (ja) | 個人識別装置、個人識別方法、及び、個人識別プログラム | |
JP6534499B1 (ja) | 監視装置、監視システム、及び、監視方法 | |
Dikovski et al. | Evaluation of different feature sets for gait recognition using skeletal data from Kinect | |
Chattopadhyay et al. | Pose Depth Volume extraction from RGB-D streams for frontal gait recognition | |
KR101870902B1 (ko) | 영상 처리 장치 및 영상 처리 방법 | |
KR101283262B1 (ko) | 영상 처리 방법 및 장치 | |
JP6286474B2 (ja) | 画像処理装置および領域追跡プログラム | |
JP6731097B2 (ja) | 人体行動分析方法、人体行動分析装置、機器及びコンピュータ可読記憶媒体 | |
WO2016031313A1 (ja) | 体調検出装置、体調検出方法及び体調検出プログラム | |
JP6638723B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
KR100824757B1 (ko) | 걸음걸이를 이용한 생체 인식 방법 | |
JP6868061B2 (ja) | 人物追跡方法、装置、機器及び記憶媒体 | |
JP5027741B2 (ja) | 画像監視装置 | |
CN106264537B (zh) | 图像中人体姿态高度的测量系统及方法 | |
JP5868426B2 (ja) | 停立人物の向き推定方法 | |
JP2010123019A (ja) | 動作認識装置及び方法 | |
KR20200134502A (ko) | 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법 및 시스템 | |
JP2010225118A (ja) | 画像処理装置、方法及びプログラム | |
JP2008288684A (ja) | 人物検出装置及びプログラム | |
JP2009211122A (ja) | 画像処理装置およびオブジェクト推定プログラム。 | |
JP2011209794A (ja) | 対象物認識システム及び該システムを利用する監視システム、見守りシステム | |
Nguyen et al. | Extracting silhouette-based characteristics for human gait analysis using one camera | |
JP7426611B2 (ja) | 校正方法および校正装置 | |
JP2010015472A (ja) | 歩行者性別判定装置、歩行者性別判定方法、歩行者性別判定プログラムおよびその記録媒体 | |
JP6661082B2 (ja) | 画像認識装置、及び画像認識プログラム |