JP2021033343A - 人物検知装置、方法およびプログラム - Google Patents

Abstract

【課題】転倒状態にある人物を、その転倒方向とカメラとの位置関係に関わらず確実に判別できる人物検知装置、方法およびプログラムを提供する。【解決手段】人物検知装置１において、フレーム画像取得部１０１は、人物が映ったカメラ映像からフレーム画像を取得する。人物領域抽出部１０２は、フレーム画像から人物領域を抽出する。骨格情報抽出部１０３は、抽出した人物領域から骨格情報を抽出する。身体配置検知部１０４は、抽出した骨格情報に基づいて各身体部位の配置を検知する。比率計算部１０５は、前記身体配置の検知結果に基づき、下半身の上方に上半身が位置しており、立位状態と推定できる人物を対象に、その人物領域の縦横比（H/W）を計算する。転倒検知部１０６は、身体配置検知部１０４の検知結果および比率計算部１０５の計算結果に基づいて転倒した人物を検知する。【選択図】図１

Description

本発明は、人物検知装置、方法およびプログラムに係り、特に、カメラ画像上で転倒している人物を検知する人物検知装置、方法およびプログラムに関する。

警備や防犯上の要請から、屋外で人物を上方から撮影したカメラ映像に基づいて人物領域を抽出し、各人物の動向を分析する研究が行われている。従来、このような屋外カメラはビルなどの構造物の高所に固定的に設けられていたが、近年、いわゆるドローンへの小型カメラの搭載が可能となったことから、任意の場所を、任意の角度、向きで撮影することが容易となり、様々な分野への応用が期待されている。

非特許文献１には、機械学習により物体をその画像の色の特徴などに基づいて識別する技術が開示されている。

非特許文献２には、画像のみから人物の骨格を抽出する技術が開示されている。

特許文献１には、被監視サイトにおいて、進入者を検知する検知エリアへの不正進入者の追跡を迅速かつ正確に行う技術が開示されている。

特許文献２には、不特定多数の人物が集まり且つ専ら出迎えのために人物同士の接触が生じる監視領域において、不審度の高い受け渡しを行った可能性のある不審者を効率的に監視できる画像監視装置が開示されている。

特許文献３には、人物を真上のカメラから撮影し、人物領域の面積に基づいて当該人物が転倒しているか否かを判断する技術が開示されている。

特願2017-216477号 特願2017-238178号 特開2000-207664号公報

SSD：Single Shot Multi Detector ( https://arxiv.org/pdf/1512.02325.pdf) Z. Cao, T. Simon, S. Wei and Y. Sheikh, "Realtime Multi-person 2D Pose Estimation Using Part Affinity Fields," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, 2017, pp. 1302-1310.

図９のように、人物を上方から撮影した場合、立位状態の人物は角度や向きに関わらず上半身が下半身の上方に位置するのに対して、転倒状態の人物は上半身が下半身の上方に位置しなくなる。そのため、各人物の骨格情報を分析し、上半身と下半身との相対的な位置関係を識別することができれば、当該人物が立位状態および転倒状態のいずれにあるかを比較的正確に認識することができる。

これに対して、図１０に示したように、人物がカメラ視点で後方に転倒した場合、そのカメラ映像は立位人物を撮影した場合と同様に、上半身が下半身の上方に位置するように映るので、当該人物が立位状態および転倒状態のいずれにあるかを骨格情報に基づいて判別することが難しかった。

特許文献３では、人物を真上から撮影したカメラ画像であれば当該人物の転倒／非転倒を判断できる。しかしながら、例えばビルの高所に設けられカメラで人物を上方斜めから撮影した鳥瞰画のような画像上で、特に人物がカメラ視点で後方に倒れた場合には転倒状態を検知することが難しかった。

本発明の目的は、上記の技術課題を解決し、転倒状態にある人物を、その転倒方向とカメラとの位置関係に関わらず確実に判別できる人物検知装置、方法およびプログラムを提供することにある。

上記の目的を達成するために、本発明の人物検知装置は、以下の構成を具備した点に特徴がある。

(1) カメラ映像から人物領域を抽出する手段と、抽出した人物領域の縦横比を計算する手段と、人物領域の縦横比に基づいて当該人物が転倒状態にあるか否かを判定する縦横比ベース判定手段とを具備した。

(2) 人物領域から骨格情報を抽出する手段と、骨格情報に基づいて当該人物が転倒状態にあるか否かを判定する骨格情報ベース判定手段とを具備し、縦横比ベース判定手段は、骨格情報ベース判定手段が転倒状態と判定しなかった人物が転倒状態にあるか否かを判定するようにした。

(3) 骨格情報ベース判定手段は、人物の上半身またはその主要部位が、下半身またはその主要部位の上方に位置していないと当該人物を転倒状態と判定するようにした。

(4) 立位状態にある人物のカメラ映像上での人物領域の縦横比の標準値R_refおよびそのレンジΔR_refを保持し、抽出した人物領域の縦横比と標準値R_refとの差分がレンジΔR_refから外れると、当該人物を転倒状態と判定するようにした。

(5) カメラ映像を出力するカメラの光軸角度θ_camを取得し、光軸角度に基づいて標準値R_refを計算するようにした。

本発明によれば、以下のような効果が達成される。

(1) 人物領域の縦横比に基づいて、当該人物が転倒状態にあるか否かを判定するので、人物がカメラ視点で後方に倒れた場合も転倒状態を確実に検知できるようになる。

(2) 骨格情報ベースで転倒状態を判別し、骨格情報ベースで転倒状態と判定しなかった人物を人物領域の縦横比に基づいて転倒状態にあるか否かを判定するので、人物領域の縦横比のみでは転倒状態を正確に検知できない場合も含めて、転倒状態の人物を確実に検知できるようになる。

(3) 人物の上半身またはその主要部位が、下半身またはその主要部位の上方に位置していないと当該人物を転倒状態と判定するので、転倒状態の人物を確実に検知できるようになる。

(4) 人物領域の縦横比と標準値R_refとの差分がレンジΔR_refから外れると当該人物を転倒状態と判定するので、人物領域の縦横比の個体差に関わらず転倒状態の人物を確実に検知できるようになる。

(5) カメラの光軸角度θ_camを取得し、この光軸角度に基づいて人物領域の縦横比の標準値R_refを計算するので、カメラがドローンに搭載され、あるいはハンディカメラであって、光軸角度θ_camの変化に応じて標準値R_refが変化する場合でも、人物領域の縦横比（H/W）に基づいて転倒状態の人物を確実に検知できるようになる。

本発明の一実施形態に係る人物検知装置の主要部の構成を示した機能ブロック図である。 固定カメラの光軸角度θ_camが４５°よりも十分に小さい場合の実施例を示した図である。 固定カメラの光軸角度θ_camが４５°よりも十分に大きい場合の実施例を示した図である。 立位状態の人物の人物領域の縦横比（H/W）の例を示した図である。 転倒状態の人物の人物領域の縦横比（H/W）の例を示した図である。 本発明の第１実施形態の動作を示したフローチャートである。 本発明の第２実施形態に係る人物検知装置の主要部の構成を示した機能ブロック図である。 本発明の第２実施形態の動作を示したフローチャートである。 人物を上方から撮影したカメラ映像の例を示した図である。 人物がカメラ視点で後方へ転倒した場合のカメラ画像の例を示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る人物検知装置１の主要部の構成を示した機能ブロック図であり、固定カメラ２が撮影した動画映像に基づいて、特に転倒している人物を検知する。

このような人物検知装置１は、CPU、メモリ、インタフェースおよびこれらを接続するバス等を備えた汎用のコンピュータやサーバに、後述する各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいは、アプリケーションの一部をハードウェア化またはプログラム化した専用機や単能機としても構成できる。

人物検知装置１において、フレーム画像取得部１０１は、人物が映ったカメラ映像からフレーム画像を取得する。人物領域抽出部１０２は、フレーム画像から人物領域を抽出する。骨格情報抽出部１０３は、抽出した人物領域から骨格情報を抽出する。

カメラ映像のフレーム画像から人物領域を矩形のBounding Boxとして抽出する技術は、例えば非特許文献１に開示されている。人物領域から骨格情報を抽出して人物の行動を分析、認識する技術は、例えば非特許文献２に開示されている。

身体配置検知部１０４は、抽出した骨格情報に基づいて各身体部位の配置を検知する。本実施形態では、骨格情報に基づいて上半身および下半身の位置を検知し、下半身と上半身との相対的な位置関係を検知する。なお、上半身に代えてその主要部位である頭や首を検知しても良い。同様に、下半身に代えてその主要部位である大腿部や下腿部を検知しても良い。

比率計算部１０５は、前記身体配置の検知結果に基づき、下半身の上方に上半身が位置しており、立位状態と推定できる人物を対象に、その人物領域の縦横比（H/W）を計算する。但し、人物の上半身もしくはその主要部位、または下半身もしくはその主要部位を検出できない場合は縦横比（H/W）を計算しない。なお、下半身等の上方に上半身等が位置しているか否かは、人物の骨格情報として各骨格や関節の座標が与えられているとき、上半身に分類される骨格等に外接する矩形枠と、下半身に分類される骨格等に外接する矩形枠との相対位置を比較し、上半身の矩形枠が下半身の矩形枠よりも上に位置し、かつ各矩形枠の水平方向の重なりが所定の割合以上であれば下半身等の上方に上半身等が位置していると判断することができる。

転倒検知部１０６は、身体配置検知部１０４の検知結果および比率計算部１０５の計算結果に基づいて、転倒した人物を検知する。本実施形態では、身体配置検知部１０４による検知結果に基づき、下半身の上方に上半身が位置していない人物は転倒状態と判断される。これに対して、下半身の上方に上半身が位置している人物は、前記縦横比（H/W）に基づいて転倒状態であるか否かが判断される。

本実施形態では、人物領域の縦横比（H/W）が次式(1)を満足した人物は立位状態と判断され、次式(1)を満足しない人物は転倒状態またはそれに類する立位以外の状態と判断される。ここで、R_refは固定カメラ２の光軸角度θ_camにおいて立位状態の人物を撮影した場合の標準的な縦横比（H/W）であり、ΔR_refは縦横比（H/W）の個体差レンジである。

｜H/W-R_ref｜≦ΔR_ref ...(1)

例えば、図２に示すように固定カメラ２の光軸O_camと地表とがなす光軸角度θ_camが４５°よりも十分に小さい場合、固定カメラ２が十分に遠方に位置していると仮定すれば、図４，５に示すように、転倒状態の人物P_Lの投影画像における身長H_Lは、立位状態の人物Psの投影画像における身長H_Sよりも低くなる一方、投影画像上での幅Wに差はない。したがって、転倒状態の人物P_LのH/Wは、光軸角度θ_camに対応した立位状態での標準的な縦横比R_refとの比較で有意に小さくなり、H/WとR_refとの差が個体差レンジΔR_refを超える。その結果、上式(1)が不成立となるので転倒した人物P_Lを確実に検知できるようになる。

同様に、図３に示すように固定カメラ２の光軸角度θ_camが４５°よりも十分に大きい場合、転倒状態の人物P_Lの投影画像における身長H_Lは、立位状態の人物Psの投影画像における身長H_Sよりも高くなる一方、投影画像上での幅Wに差はない。したがって、転倒状態の人物P_LのH/Wは、光軸角度θ_camに対応した立位状態での標準的な縦横比R_refとの比較で有意に大きくなり、H/WとR_refとの差が個体差レンジΔR_refを超える。その結果、上式(1)が不成立となるので転倒状態の人物P_Lを確実に検知できるようになる。

図６は、本実施形態の動作を示したフローチャートであり、ステップＳ１では、前記フレーム画像取得部１０１により、カメラ画像から静止画がフレーム単位で取得される。ステップＳ２では、前記人物領域抽出部１０２により、フレーム画像から人物領域が抽出される。ステップＳ３では、前記骨格情報抽出部１０３により、人物領域から骨格情報が抽出される。

ステップＳ４では、前記身体配置検知部１０４により、骨格情報に基づいて上半身またはその主要部位および下半身またはその主要部位が識別され、ステップＳ５では、上半身等が下半身等の上方に位置しているか否かが判断される。上半身等が下半身等の上方に位置していなければステップＳ９へ進み、当該人物が転倒していると判断される。

これに対して、上半身等が下半身等の上方に位置していればステップＳ６へ進み、前記比率計算部１０５により、人物領域の縦横比（H/W）が計測される。ステップＳ７では、前記転倒検知部１０６により、上式(1)が成立するか否かが判断される。上式(1)が成立しなければステップＳ９へ進み、当該人物が後方に転倒していると判定される。これに対して、上式(1)が成立すればステップＳ８へ進み、当該人物が転倒していないと判定される。

図７は、本発明の第２実施形態に係る人物検知装置１の主要部の構成を示した機能ブロック図であり、前記と同一の又は同等部分を表しているので、その説明は省略する。

上記の第１実施形態では、カメラ２が固定され、その光軸と地表との角度θ_camに応じて人物領域の縦横比に関する標準値R_refが予め登録されているものとして説明した。本実施形態ではカメラ２がドローンに搭載され、あるいはハンディカメラであって、その光軸角度θ_camが可変であるために標準値R_refを予め登録しておくことができない場合を例にして説明する。

カメラ２は、自身の姿勢をモーションセンサで検知し、地表に対する光軸角度θ_camを出力する。転倒検知部１０６は、R_ref計算部１０６ａを具備し、前記光軸角度θ_camに基づいて、当該光軸角度θ_camにおける人物領域の縦横比の標準値R_refを動的に計算する。光軸角度θ_camと標準値R_refとの関係は、例えばマップ形式で予め登録しておくことができる。

転倒検知部１０６は、R_ref計算部１０６ａが光軸角度θ_camに基づいて計算したR_refを、人物領域の縦横比（H/W）の計算結果と共に上式(1)に適用することにより、当該人物が転倒しているか否かを判断する。

図８は、本発明の第２実施形態の動作を示したフローチャートであり、前記と同一のステップ番号を付した手順では同一または同等の処理が実行されるので、その説明は省略する。

本実施形態では、ステップＳ５において上半身が下半身の上方に位置していると判断され、骨格情報のみからは立位／転倒の状態を判別できない場合、ステップＳ６ａにおいて、カメラ２から光軸角度θcamが取得される。ステップＳ６ｂでは、光軸角度θ_camに基づいてθcam／R_refマップを参照することでR_refが取得される。ステップＳ６ｃでは、前記人物領域の縦横比（H/W）が計測される。

本実施形態によれば、カメラの光軸角度θ_camに基づいて標準値R_refが動的に変更されるので、光軸角度θ_camが撮影中に変化する場合でも転倒人物を正確に検知できるようになる。

１...人物検知装置，２...固定カメラ，１０１...フレーム画像取得部，１０２...人物領域抽出部，１０３...骨格情報抽出部，１０４...身体配置検知部，１０５...比率計算部，１０６...転倒検知部

Claims (9)

1. カメラ映像から人物領域を抽出する手段と、
   抽出した人物領域の縦横比を計算する手段と、
   前記縦横比に基づいて当該人物が転倒状態にあるか否かを判定する縦横比ベース判定手段とを具備したことを特徴とする人物検知装置。
2. 前記抽出した人物領域から骨格情報を抽出する手段と、
   前記骨格情報に基づいて当該人物が転倒状態にあるか否かを判定する骨格情報ベース判定手段とを具備し、
   前記縦横比ベース判定手段は、前記骨格情報ベース判定手段が転倒状態と判定しなかった人物が転倒状態にあるか否かを判定することを特徴とする請求項１に記載の人物検知装置。
3. 前記骨格情報ベース判定手段は、人物の上半身またはその主要部位が、下半身またはその主要部位の上方に位置していないと当該人物を転倒状態と判定することを特徴とする請求項２に記載の人物検知装置。
4. 立位状態にある人物のカメラ映像上での人物領域の縦横比の標準値R_refおよびそのレンジΔR_refを保持し、抽出した人物領域の縦横比と標準値R_refとの差分がレンジΔR_refから外れると、当該人物を転倒状態と判定することを特徴とする請求項１ないし３のいずれかに記載の人物検知装置。
5. カメラ映像を出力するカメラの光軸角度θ_camを取得する手段と、
   前記光軸角度に基づいて前記標準値R_refを計算する手段とを更に具備したことを特徴とする請求項４に記載の人物検知装置。
6. コンピュータが、
   カメラ映像から人物領域を抽出し、
   抽出した人物領域の縦横比を計算し、
   前記縦横比に基づいて当該人物が転倒状態にあるか否かを判定することを特徴とする人物検知方法。
7. 前記抽出した人物領域から骨格情報を抽出し、
   前記骨格情報に基づいて当該人物が転倒状態にあるか否かを判定し、
   前記骨格情報に基づいて転倒状態と判定しなかった人物を対象に、当該人物の人物領域の縦横比に基づいて転倒状態にあるか否かを判定することを特徴とする請求項６に記載の人物検知方法。
8. カメラ映像から人物領域を抽出する手順と、
   抽出した人物領域の縦横比を計算する手順と、
   前記縦横比に基づいて当該人物が転倒状態にあるか否かを判定する手順と、
   をコンピュータに実行させる人物検知プログラム。
9. 前記抽出した人物領域から骨格情報を抽出する手順と、
   前記骨格情報に基づいて当該人物が転倒状態にあるか否かを判定する手順とを含み、
   前記骨格情報に基づいて転倒状態と判定しなかった人物を対象に、当該人物の人物領域の縦横比に基づいて転倒状態にあるか否かを判定することを特徴とする請求項８に記載の人物検知プログラム。