JP2022190504A - 画像解析装置及び監視システム - Google Patents

Abstract

【課題】監視空間内の人が正しく撮影画像に映らない状態にあることを把握する。【解決手段】画像解析装置１０は、カメラが映す車両の車室を監視空間として、その撮影画像を解析することにより、この撮影画像に映る人の情報、即ち乗員の乗員情報を取得する人情報取得部を備える。そして、画像解析装置１０は、撮影画像に複数の乗員が重なって映る隠れ状態の発生を検知する隠れ状態検知部４０を備える。【選択図】図７

Description

本発明は、画像解析装置及び監視システムに関するものである。

従来、カメラが映す監視空間の撮影画像を解析することにより、この撮影画像に映る人の情報を取得する画像解析装置がある。そして、例えば、特許文献１には、車両の車室を監視空間として、そのカメラの撮影画像に映る乗員の姿勢及び体格を検出する構成が開示されている。

特開２０２０－１０４６８０号公報

しかしながら、カメラとの位置関係によっては、その監視空間に位置する人が、正しく撮影画像に映らない場合がある。そして、これにより、その情報の取得が阻害される可能性がある。

上記課題を解決する画像解析装置は、カメラが映す監視空間の撮影画像を解析することにより該撮影画像に映る人の情報を取得する人情報取得部と、前記撮影画像に複数の前記人が重なって映る隠れ状態の発生を検知する隠れ状態検知部と、を備える。

上記構成によれば、撮影画像に生じた隠れ状態を検知して、監視空間内の人が正しく撮影画像に映らない状態にあることを把握することができる。そして、この場合、例えば、その隠れ状態が生じた撮影画像の解析的な利用を控えることで、高精度の情報取得を担保することが可能になる。

上記課題を解決する画像解析装置は、前記撮影画像に映る前記各人の移動予測を実行する移動予測部と、前記移動予測に基づき前記重なって映ると推定される前記各人の撮像領域について該撮像領域の重なり率を演算する重なり率演算部と、を備え、前記隠れ状態検知部は、前記重なり率と重なり判定値との比較に基づいて、前記隠れ状態の検知判定を実行することが好ましい。

上記構成によれば、精度よく、撮影画像における隠れ状態の発生を検知することができる。更に、隠れ状態の発生を事前に予測することができるという利点がある。そして、これにより、より高精度の情報取得を行なうことができる。

上記課題を解決する画像解析装置は、前記監視空間に出入りする前記人の出入人数を計測する出入人数計測部を備え、前記隠れ状態検知部は、前記出入人数の計測により特定される前記監視空間内の総人数と前記撮影画像に映る前記人の検出人数との差分に基づいて、前記隠れ状態の検知判定を実行することが好ましい。

即ち、撮影画像に隠れ状態が生じていない場合、この撮影画像に映る人の検出人数は、監視空間内の総人数と等しくなる。従って、上記構成によれば、簡素な構成にて、容易に、その撮影画像に生じた隠れ状態を検知することができる。

上記課題を解決する画像解析装置において、前記隠れ状態検知部は、前記カメラに近接した隠し位置において前記撮影画像に映る前記人が検出されている場合には、前記隠れ状態が発生しているとみなすことが好ましい。

即ち、カメラに近接した隠し位置で撮影画像に映る人が、そのカメラの視野を遮ることにより、監視空間内に位置する他の人を隠すかたちで、その撮影画像に隠れ状態が発生する可能性がある。そして、この場合、その隠れ状態が実際に発生しているか否かは判定することができない。この点を踏まえ、上記構成のように、隠れ状態が発生しているとみなす。そして、この場合、例えば、その隠れ状態が生じた撮影画像の解析的な利用を控えることで、高精度の情報取得を担保することが可能になる。

上記課題を解決する画像解析装置は、前記人の撮像領域が前記撮影画像の全体に占める割合を画像比率として演算する画像比率演算部と、所定の近接判定値以上の前記画像比率を有する前記人が検出されている場合に該人が前記隠し位置において前記撮影画像に映っていると判定するカメラ近接位置判定部と、を備えることが好ましい。

上記構成によれば、簡素な構成にて、カメラに近接した隠し位置において撮影画像に映る人を検出することができる。
上記課題を解決する画像解析装置は、前記撮影画像に含まれる前記人の骨格点を検出する骨格点検出部と、前記骨格点の検出により前記取得される前記人の情報に基づいて前記監視空間に生じた異常を検知する異常検知部と、を備えることが好ましい。

即ち、骨格点の検出により、精度よく、人の姿勢や体格等、身体的な情報を取得することができる。そして、これにより、その取得した人の情報に基づいて、高精度に、監視空間の異常検知判定を行うことができる。しかしながら、撮影画像に隠れ状態が発生することで、その骨格点の検出状態もまた低下する。その結果、精度よく、その異常検知判定を行えない可能性が生ずる。従って、このような構成について、上記各構成の何れかに示す隠れ状態の検知判定を適用することで、より顕著な効果を得ることができる。

上記課題を解決する画像解析装置は、前記隠れ状態の発生が検知された場合に、前記隠れ状態の検知出力として、前記隠れ状態の発生が検知された前記撮影画像における前記骨格点の検出状態についての判定出力を実行する判定出力部を備えることが好ましい。

上記構成によれば、隠れ状態の発生により変化した骨格点の検出状態を正しく把握することができる。そして、これにより、その隠れ状態が生じた撮影画像を、適切に利用することが可能になる。

上記課題を解決する画像解析装置において、前記監視空間は、車両の車室であり、前記人は、前記車両の乗員であることが好ましい。
上記構成によれば、車室内の乗員について、高精度の情報取得を行なうことができる。

上記課題を解決する監視システムは、上記何れかに記載の画像解析装置を備える。

本発明によれば、監視空間内の人が正しく撮影画像に映らない状態にあることを把握することができる。

監視システムが適用される車両の斜視図。 車室内の乗員、及び、この乗員を撮影するカメラの説明図。 車室を上面視で見た場合の説明図。 画像解析装置の概略構成を示すブロック図。 人の骨格点を示す説明図。 監視システムの概略構成図。 隠れ状態検知部の概略構成を示すブロック図。 乗員の移動予測及び重なり率演算の説明図。 重なり率判定に基づいた隠れ状態検知の処理手順を示すフローチャート。 乗車検出の説明図。 降車検出の説明図。 乗降人数計測の処理手順を示すフローチャート。 人数差分判定に基づいた隠れ状態検知の処理手順を示すフローチャート。 カメラに近接した隠し位置で撮影画像に映る乗員の説明図。 カメラ近接位置判定に基づいた隠れ状態検知の処理手順を示すフローチャート。 隠れ状態検知及び異常検知の処理手順を示すフローチャート。 骨格点の検出状態についての判定出力の処理手順を示すフローチャート。

以下、画像解析装置及び監視システムの一実施形態を図面に従って説明する。
図１～図３に示すように、本実施形態の車両１は、車両前後方向に延在する四角略箱状の車体２を有している。また、車体２の側面には、乗員の乗降口となるドア開口部３が設けられている。尚、このドア開口部３には、車両前後方向、相反する方向に開閉動作する一対のスライドドア４，４が設けられている。そして、車両１の乗員５は、車室６内に設けられたシート７に着座する「座位姿勢」、又は、例えば、図示しない吊り革や手すりを利用する等、「立位姿勢」で、この車両１に乗車する構成になっている。

また、本実施形態の車両１には、その車室６内を撮影するカメラ８が設けられている。本実施形態の車両１において、このカメラ８は、車室６の前方位置において、そのコーナー部６ｆａ近傍の天井部９付近に設けられている。尚、このカメラ８には、例えば、赤外線カメラ等が用いられる。そして、本実施形態のカメラ８は、これにより、車両１の乗員５を、その車室６に設定された所定の方向から撮影する構成となっている。

図４に示すように、本実施形態の車両１において、カメラ８が映す車室６内の撮影画像Ｖｄは、画像解析装置１０に入力される。更に、この画像解析装置１０は、その撮影画像Ｖｄを解析することにより、この撮影画像Ｖｄに映る車室６内の状態を監視する機能を備えている。そして、本実施形態の車両１には、これにより、そのカメラ８が映す車室６を監視空間１１とした監視システム１５が構築されている。

詳述すると、本実施形態の画像解析装置１０は、画像解析部２０と、この画像解析部２０による画像解析の結果に基づいて、その撮影画像Ｖｄに映る車室６内の人Ｈ、つまりは車両１の乗員５を認識する人認識部２１と、を備えている。本実施形態の画像解析装置１０において、人認識部２１は、機械学習により生成された推論モデルを用いることにより、その人Ｈの認識処理を実行する。そして、本実施形態の画像解析装置１０は、これにより認識した車両１の乗員５を監視することで、そのカメラ８が映す車室６内に生じた異常を検知する異常検知部２２を備えている。

具体的には、図４及び図５に示すように、本実施形態の画像解析装置１０は、撮影画像Ｖｄに含まれる人Ｈの骨格点ＳＰを検出する骨格点検出部２３を備えている。即ち、骨格点ＳＰは、関節や体表面上の点等、人Ｈの身体を特徴付ける固有の点であり、例えば、頭部、首、肩、腋、肘、手首、手先、腰、股関節、臀部、膝、足首等が該当する。そして、本実施形態の画像解析装置１０においては、この骨格点検出部２３もまた、機械学習により生成された推論モデルを用いることにより、その骨格点ＳＰの検出処理を実行する。

また、図４に示すように、本実施形態の画像解析装置１０は、この骨格点ＳＰの検出に基づいた特徴量Ｖｓｐを演算する特徴量演算部２４を備えている。具体的には、本実施形態の画像解析装置１０において、この特徴量演算部２４は、撮影画像Ｖｄにおける骨格点ＳＰの二次元座標上の位置に基づいて、その撮影画像Ｖｄに映る人Ｈの特徴量Ｖｓｐを演算する。更に、この特徴量演算部２４は、例えば、乗員５の肩幅等、その複数の骨格点ＳＰに示される身体寸法に基づいて、その撮影画像Ｖｄに映る人Ｈの特徴量Ｖｓｐを演算する。そして、本実施形態の画像解析装置１０は、この一連の解析処理により得られる人Ｈの特徴量Ｖｓｐに基づいて、そのカメラ８が映す監視空間１１に認識された人Ｈの情報Ｉｈを取得する人情報取得部２５を備えている。

詳述すると、本実施形態の人情報取得部２５は、その撮影画像Ｖｄに映る人Ｈの姿勢を判定する姿勢判定部２６を備えている。本実施形態の姿勢判定部２６は、上記特徴量演算部２４から取得した人Ｈの特徴量Ｖｓｐを機械学習により生成された推論モデルに入力する。そして、これにより得られる姿勢判別確率値に基づいて、その車室６内の撮影画像Ｖｄに映る人Ｈの姿勢を判別する。

具体的には、本実施形態の姿勢判定部２６は、姿勢判別の対象者となる乗員５の姿勢が「立位姿勢」であることの確率を演算する立位判別確率値演算部２６ａを備えている。また、姿勢判定部２６は、対象者となる乗員５の姿勢が「座位姿勢」であることの確率を演算する座位判別確率値演算部２６ｂを備えている。そして、本実施形態の姿勢判定部２６は、対象者となる乗員５の姿勢が「転倒姿勢」であることの確率を演算する転倒判別確率値演算部２６ｃを備えている。

即ち、本実施形態の姿勢判定部２６は、姿勢判別確率値として、立位判別確率値演算部２６ａが立位判別確率値ＸＡを演算し、座位判別確率値演算部２６ｂが座位判別確率値ＸＢを演算し、転倒判別確率値演算部２６ｃが転倒判別確率値ＸＣを演算する。更に、本実施形態の姿勢判定部２６は、これらの立位判別確率値ＸＡ、座位判別確率値ＸＢ、及び転倒判別確率値ＸＣの合計値が「１．０」となるように、その姿勢判別確率値の演算を実行する。そして、本実施形態の姿勢判定部２６は、これにより、その姿勢判別確率値に基づいて、矛盾なく、乗員５の姿勢を判定することが可能になっている。

尚、本実施形態の立位判別確率値演算部２６ａが演算する立位判別確率値ＸＡは、更に、その「立位姿勢」にある乗員５が、「移動状態」である確率、「静止状態」である確率、及び「吊り革や手すり等を利用している状態」である確率に区分される。そして、本実施形態の姿勢判定部２６は、これにより、その「立位姿勢」を細分化して判別することのできる構成となっている。

本実施形態の画像解析装置１０において、上記異常検知部２２は、この姿勢判定部２６によって、車両１の乗員５が転倒したと判定された場合に、そのカメラ８の撮影画像Ｖｄに映る車室６内に異常が発生したものと判定する。そして、本実施形態の監視システム１５は、これにより、その車室６内の安全を確保することのできる構成になっている。

尚、本実施形態の画像解析装置１０において、人情報取得部２５には、この姿勢判定部２６の他、撮影画像Ｖｄに映る人Ｈの属性を判定する属性判定部２７や、その体格を判定する体格判定部２８等が設けられている。そして、本実施形態の画像解析装置１０は、これにより、精度よく、その撮影画像Ｖｄに映る人Ｈの状態を検知することが可能になっている。

また、図６に示すように、本実施形態の監視システム１５は、図示しない情報通信ネットワークを介して車両１の内外に配置された複数の情報処理装置３０を相互に接続することにより形成されている。具体的には、本実施形態の画像解析装置１０は、車両１に搭載された車載の情報処理装置３０ａと、クラウドサーバ３１を構成する車外の情報処理装置３０ｂとが、その画像解析処理を分散して行なう構成になっている。そして、本実施形態の監視システム１５は、これにより、車両１に搭載する情報処理装置３０ａの演算負荷を軽減することで、その車両１に対する優れた搭載性を確保する構成になっている。

更に、本実施形態の監視システム１５は、異常発生時、カメラ８が映す車室６内の撮影画像Ｖｄを、車両１の運行センター３２に駐在するオペレータ３３等、車外の管理者３５が確認することのできる構成となっている。そして、本実施形態の監視システム１５においては、これにより、その高い信頼性及び安全性が確保されている。

（隠れ状態検知）
次に、本実施形態の画像解析装置１０に実装された隠れ状態の検知機能について説明する。

図４に示すように、本実施形態の画像解析装置１０は、撮影画像Ｖｄに複数の人Ｈが重なって映ることにより、その画像解析に基づいた情報Ｉｈの取得が阻害される可能性のある所謂隠れ状態の発生を検知する隠れ状態検知部４０を備えている。即ち、複数の乗員５が車両１に乗車している場合、カメラ８が映す車室６の撮影画像Ｖｄ中、このカメラ８から離れた位置の乗員５が、より近い位置の乗員５に隠れてしまう可能性がある。その結果、手前の乗員５に隠れた奥側の乗員５については、その存在が認識できない、或いは、骨格点ＳＰの検出が不完全になることで、精度よく、その乗員情報Ｉｃｈを取得することができないという問題が生ずる。

この点を踏まえ、本実施形態の画像解析装置１０においては、上記隠れ状態検知部４０によって、このような隠れ状態の発生が検知される。そして、本実施形態の監視システム１５は、これにより、車室６内の乗員５が正しく撮影画像Ｖｄに映らない状態にあることを把握することができる構成となっている。

具体的には、図７に示すように、本実施形態の隠れ状態検知部４０は、第１隠れ状態判定部４１、第１隠れ状態判定部４２、及び第３隠れ状態判定部４３を備えている。そして、これらの第１隠れ状態判定部４１、第２隠れ状態判定部４２、及び第３隠れ状態判定部４３が、それぞれ、異なる方法で、そのカメラ８の撮影画像Ｖｄに生じた隠れ状態の判定を実行する構成になっている。

（重なり率判定）
先ず、第１隠れ状態判定部４１が実行する重なり率判定に基づいた隠れ状態の検知判定について説明する。

図８に示すように、本実施形態の隠れ状態検知部４０において、第１隠れ状態判定部４１は、カメラ８の撮影画像Ｖｄに映る人Ｈについて、その移動予測を実行する。また、この第１隠れ状態判定部４１は、その移動予測に基づいて、所定の将来時間後に、「重なって映る」と推定される人Ｈの撮像領域５０があるか否かを判定する。尚、「所定の将来時間」としては、例えば、次回の画像解析を実行する予定のタイミング等が設定される。更に、第１隠れ状態判定部４１は、このような重なって映る人Ｈの撮像領域５０について、その撮像領域５０の重なり率αを演算する。そして、本実施形態の第１隠れ状態判定部４１は、この重なり率αと所定の重なり判定値αｔｈとの比較に基づいて、その撮影画像Ｖｄに生じた隠れ状態の検知判定を実行する。

詳述すると、本実施形態の画像解析装置１０において、この第１隠れ状態判定部４１が実行する重なり率αの演算には、その人Ｈの撮像領域５０として、撮影画像Ｖｄに映る乗員５の上半身、詳しくは、その胴体部分の撮像領域６０が用いられる。具体的には、本実施形態の第１隠れ状態判定部４１は、前回及び今回の解析タイミングで撮影画像Ｖｄ中に検出した胴体部分の撮像領域６１，６２について、その中心点６０ｘの移動方向及び移動量を演算する。更に、第１隠れ状態判定部４１は、これら各撮像領域６１，６２の大きさを比較する。そして、本実施形態の第１隠れ状態判定部４１は、これにより、所定の将来時間において、その撮影画像Ｖｄ中に映る撮像領域６３の位置及び大きさを予測する構成になっている。

例えば、図８中には、後部座席領域Ａ１のシート７に着座した着座姿勢の乗員５ａよりもカメラ８に近い手前側の位置を立位姿勢の乗員５ｂが歩いて横切る状況が例示されている。この場合、着座姿勢の乗員５ａについては、その撮影画像Ｖｄ中の撮像領域５０ａが、ほぼ移動しない。一方、立位姿勢の乗員５ｂについては、この乗員５ｂが歩行することにより、その撮像領域５０ｂが、図８の撮影画像Ｖｄ中、右下から左上に向かって移動すると予測されている。更に、この移動予測に基づいて、撮影画像Ｖｄ中、これら各乗員５ａ、５ｂの撮像領域５０ａ，５０ｂが重なって映る重なり領域５５が推定される。そして、本実施形態の第１隠れ状態判定部４１は、これにより、カメラ８に近い立位姿勢の乗員５ｂに隠れると予測される遠い位置の乗員５ａについて、その撮像領域５０ａに占める重なり領域５５の割合を重なり率αとして演算する構成になっている。

即ち、図９に示すように、本実施形態の第１隠れ状態判定部４１は、撮影画像Ｖｄに映る各乗員５について、それぞれ、その撮像領域５０を検出する（ステップ１０１）。次に、第１隠れ状態判定部４１は、これらの各乗員５の移動予測を実行する（ステップ１０２）。続いて、第１隠れ状態判定部４１は、この移動予測に基づき、各乗員５の撮像領域５０に形成される重なり領域５５を推定し、及び、その重なり率αを演算する（ステップ１０３）。そして、本実施形態の第１隠れ状態判定部４１は、この重なり率αが所定の重なり判定値αｔｈ以上である場合（α≧αｔｈ、ステップ１０４：ＹＥＳ）に、その撮影画像Ｖｄに隠れ状態が発生しているものと判定する構成になっている（ステップ１０５）。

（人数差分判定）
次に、第２隠れ状態判定部４２が実行する人数差分判定に基づいた隠れ状態の検知判定について説明する。

図１０及び図１１に示すように、本実施形態の隠れ状態検知部４０において、第２隠れ状態判定部４２は、撮影画像Ｖｄの解析に基づいて、この撮影画像Ｖｄに映る監視空間１１としての車室６に出入りする人Ｈの出入人数、即ち車両１の乗降人数を計測する。そして、本実施形態の第２隠れ状態判定部４２は、この乗降人数の計測に基づいて、その車室６内の総人数を特定する構成になっている。

詳述すると、図１及び図３に示すように、本実施形態の監視システム１５において、カメラ８が映す車両１の車室６には、略コの字状に配置された後部座席領域Ａ１、前部座席領域Ａ２、及び中間座席領域Ａ３が設定されている。また、この車両１の車室６には、これらの後部座席領域Ａ１、前部座席領域Ａ２、及び中間座席領域Ａ３に囲まれた範囲に、乗員５が立位姿勢で乗車することのできるフロア領域Ａ４が設定されている。更に、この車両１の車室６には、そのドア開口部３を開閉するスライドドア４，４の近傍に、乗員５の滞留を禁止する乗降領域Ａ５が設定されている。そして、本実施形態の第２隠れ状態判定部４２は、この乗降領域Ａ５に乗員５が検出された場合に、その乗員５が、車両１に乗車した乗員５又は車両１から降車する乗員５であると判定する。

具体的には、図１０及び図１１に示すように、本実施形態の第２隠れ状態判定部４２は、乗降領域Ａ５に位置する乗員５について、その移動方向を特定する。更に、第２隠れ状態判定部４２は、乗員５の移動方向が、ドア開口部３から車室６内に向かう方向である場合（図１０参照、同図中、左側）に、この乗員５が車両１に乗車したと判定する。そして、第２隠れ状態判定部４２は、乗員５の移動方向が、車室６内からドア開口部３に向かう方向である場合（図１１参照、同図中、右側）に、この乗員５が車両１から降車すると判定する。

尚、本実施形態の画像解析装置１０において、この第２隠れ状態判定部４２による乗員５の乗降判定は、カメラ８が映す車室６の撮影画像Ｖｄを、図３に示すような上面視に変換した状態で行われる。そして、本実施形態の第２隠れ状態判定部４２は、これにより、精度よく、その車両１の乗降人数Ｎを計測することが可能になっている。

更に、本実施形態の第２隠れ状態判定部４２は、車両１に乗車した乗員５を一人検出した場合には「＋１」、車両１から降車する乗員５を一人検出した場合には「－１」として、その車両１の乗降人数を計測する。そして、本実施形態の第２隠れ状態判定部４２においては、これにより、その乗降人数の計測に基づいて、車室６内に位置する乗員５の総人数を特定することが可能になっている。

即ち、図１２に示すように、本実施形態の第２隠れ状態判定部４２は、カメラ８が映す車室６の撮影画像Ｖｄを上面視に変換し（ステップ２０１）、そのドア開口部３前の乗降領域Ａ５に乗員５が検出されているかを判定する（ステップ２０２）。次に、第２隠れ状態判定部４２は、乗降領域Ａ５に乗員５が検出されている場合（ステップ２０２：ＹＥＳ）、その乗員５が、車両１に乗車するか、又は車両１から降車するかを判定する（ステップ２０３及びステップ２０４）。更に、第２隠れ状態判定部４２は、車両１に乗車する乗員５を検出した場合（ステップ２０３：ＹＥＳ）には、その計測する車両１の乗降人数Ｎに「１」を加算する（Ｎ＝Ｎ＋１、ステップ２０５）。また、第２隠れ状態判定部４２は、車両１から降車する乗員５を検出した場合（ステップ２０４：ＹＥＳ）に、その計測する車両１の乗降人数Ｎから「１」を減算する構成となっている（Ｎ＝Ｎ－１、ステップ２０６）。そして、本実施形態の第２隠れ状態判定部４２は、これにより積算された乗降人数Ｎを、その車室６内に位置する乗員５の総人数Ｎａとして特定する（Ｎａ＝Ｎ、ステップ２０７）。

また、本実施形態の第２隠れ状態判定部４２は、車室６の撮影画像Ｖｄに映る人Ｈの検出人数として、上記のような骨格点ＳＰの検出に基づいて、その撮影画像Ｖｄに映る乗員５の検出人数Ｎｄを算出する。具体的には、本実施形態の第２隠れ状態判定部４２は、カメラ８が映す車室６の撮影画像Ｖｄ中に、上記姿勢判定等に用いられる主要な骨格点ＳＰを抽出することのできる乗員５を検出した場合に、この乗員５を、その撮影画像Ｖｄ中の検出人数Ｎｄに加算する。更に、第２隠れ状態判定部４２は、上記のように乗降人数Ｎの計測により特定された車室６内の総人数Ｎａと、この撮影画像Ｖｄに映る乗員５の検出人数Ｎｄとを比較する。そして、本実施形態の第２隠れ状態判定部４２は、その総人数Ｎａと検出人数Ｎｄとの差分に基づいて、撮影画像Ｖｄに生じた隠れ状態の検知判定を実行する構成になっている。

さらに詳述すると、図１３に示すように、本実施形態の第２隠れ状態判定部４２は、乗降人数Ｎの計測に基づき車室６内の総人数Ｎａを特定すると（ステップ３０１）、続いて、撮影画像Ｖｄに映る乗員５の検出人数Ｎｄを算出する（ステップ３０２）。次に、第２隠れ状態判定部４２は、その乗降人数Ｎの計測に基づき特定された車室６内の総人数Ｎａと撮影画像Ｖｄに映る乗員５の検出人数Ｎｄとの差分値δを演算する（δ＝Ｎａ－Ｎｄ、ステップ３０３）。そして、本実施形態の第２隠れ状態判定部４２は、この差分値δが「０」よりも大きい値である場合（δ＞０、ステップ３０４：ＹＥＳ）である場合に、その撮影画像Ｖｄに隠れ状態が発生しているものと判定する構成になっている（ステップ３０５）。

（カメラ近接位置判定）
次に、第３隠れ状態判定部４３が実行するカメラ近接位置判定に基づいた隠れ状態の検知判定について説明する。

図１４に示すように、車室６内の乗員５がカメラ８に近接した位置に立つことで、この乗員５が、そのカメラ８の視野を遮る場合がある。そして、これにより、このカメラ８に近接した位置の乗員５が、車室６内に位置する他の乗員５を隠すかたちで、その撮影画像Ｖｄに隠れ状態が発生する可能性がある。

この点を踏まえ、本実施形態の隠れ状態検知部４０において、第３隠れ状態判定部４３は、このようなカメラ８に近接した隠し位置Ｐｘで、その撮影画像Ｖｄに映る乗員５の検出判定を実行する。そして、本実施形態の第３隠れ状態判定部４３は、その隠し位置Ｐｘで撮影画像Ｖｄに映る乗員５が検出されている場合、この撮影画像Ｖｄに隠れ状態が発生しているとみなす構成となっている。

具体的には、図１４及び図１５に示すように、本実施形態の第３隠れ状態判定部４３は、撮影画像Ｖｄに映る乗員５の撮像領域７０について、その大きさを演算する（ステップ４０１）。次に、第３隠れ状態判定部４３は、その乗員５の撮像領域７０が撮影画像Ｖｄの全体に占める割合を画像比率βとして演算する（ステップ４０２）。続いて、第３隠れ状態判定部４３は、この画像比率βを所定の近接判定値βｔｈと比較する（ステップ４０３）。尚、本実施形態の第２隠れ状態判定部４２において、このステップ４０１～ステップ４０３の各処理は、撮影画像Ｖｄに映る全ての乗員５を対象として行われる。更に、第３隠れ状態判定部４３は、近接判定値βｔｈ以上の画像比率βを有する乗員５が検出されている場合（β≧βｔｈ、ステップ４０３：ＹＥＳ）に、この乗員５が、カメラ８に近接した隠し位置Ｐｘで撮影画像Ｖｄに映っていると判定する（ステップ４０４）。そして、本実施形態の第３隠れ状態判定部４３は、これにより、その撮影画像Ｖｄに隠れ状態が発生しているとみなす構成となっている（ステップ４０５）。

（骨格点の検出状態についての判定出力）
次に、隠し状態の発生が検知された撮影画像Ｖｄにおける骨格点ＳＰの検出状態についての判定出力について説明する。

本実施形態の監視システム１５は、上記のように隠れ状態の発生が検知された場合にも、そのカメラ８が映す車室６の撮影画像Ｖｄを車両１の運行センター３２に駐在するオペレータ３３等、車外の管理者３５が確認することのできる構成となっている。そして、本実施形態の監視システム１５においては、この際、その車室６の撮影画像Ｖｄとともに、上記隠れ状態検知部４０による隠れ状態の検知出力が、そのオペレータ３３が駐在する運行センター３２に配信される構成となっている。

詳述すると、図７に示すように、本実施形態の隠れ状態検知部４０は、隠れ状態の発生を検知した場合、その検知出力として、隠れ状態の発生が検知された撮影画像Ｖｄにおける骨格点ＳＰの検出状態についての判定出力を実行する判定出力部８０を備えている。

具体的には、本実施形態の判定出力部８０は、第１隠れ状態判定部４１が実行する重なり率判定に基づいて撮影画像Ｖｄに生じた隠れ状態を検知した場合、その検知出力として、撮影画像Ｖｄを用いた骨格点ＳＰの検出状態を「不定」と出力する。また、この判定出力部８０は、第２隠れ状態判定部４２が実行する人数差分判定に基づいて撮影画像Ｖｄに生じた隠れ状態を検知した場合にも、その検知出力として、この撮影画像Ｖｄを用いた骨格点ＳＰの検出状態を「不定」と出力する。そして、本実施形態の判定出力部８０は、第３隠れ状態判定部４３が実行するカメラ近接位置判定に基づいて撮影画像Ｖｄに隠れ状態が発生しているとみなした場合、その検知出力として、この撮影画像Ｖｄを用いた骨格点ＳＰの検出状態を「判定不能」と出力する。

即ち、隠れ状態検知部４０による「不定」の出力は、骨格点ＳＰの検出ができていない未検出の乗員５が存在することで、その骨格点ＳＰの検出に基づいた乗員情報Ｉｃｈの取得精度が低下した状態にあることを示している。また、隠れ状態検知部４０による「判定不能」の出力は、第１隠れ状態判定部４１が実行する重なり率判定、及び第２隠れ状態判定部４２が実行する人数差分判定によっても、その骨格点ＳＰが未検出であるかを判定することができない状態にあることを示している。更に、本実施形態の監視システム１５において、この「判定不能」の出力は、上記異常検知部２２による異常検知出力と同様、緊急性の高い「異常の発生」として取り扱われるものとなっている。そして、本実施形態の監視システム１５は、これにより、その骨格点ＳＰの検出状態、つまりは画像解析により取得される乗員情報Ｉｃｈの精度を参照しつつ、その車室６の撮影画像Ｖｄを車外の管理者３５が確認することのできる構成になっている。

詳述すると、図１６に示すように、本実施形態の画像解析装置１０は、車室６内の撮影画像Ｖｄを取得すると（ステップ５０１）、画像解析を実行することにより、その撮影画像Ｖｄに映る乗員５の骨格点ＳＰを検出する（ステップ５０２）。次に、画像解析装置１０は、その隠れ状態検知部４０による隠れ状態判定を実行する（ステップ５０３）。そして、この隠れ状態判定により撮影画像Ｖｄの隠れ状態を検知した場合（ステップ５０４：ＹＥＳ）には、この隠れ状態の検知出力を撮影画像Ｖｄとともに車外の管理者３５に配信する検知出力制御を実行する（ステップ５０５）。

具体的には、図１７に示すように、本実施形態の画像解析装置１０において、隠れ状態検知部４０は、先ず、その第３隠れ状態判定部４３による隠れ状態の検知判定、即ちカメラ近接位置判定を実行する（ステップ６０１）。そして、本実施形態の隠れ状態検知部４０は、これにより、カメラ８に近接した隠し位置Ｐｘで撮影画像Ｖｄに映る乗員５が検出された場合（ステップ６０２：ＹＥＳ）に、その判定出力部８０が「判定不能」を出力する（ステップ６０３）。

また、隠れ状態検知部４０は、そのカメラ８に近接した隠れ位置Ｐｘに乗員５を検出しない場合（ステップ６０２：ＮＯ）に、その第１隠れ状態判定部４１による隠れ状態の検知判定、即ち重なり率判定を実行する（ステップ６０４）。続いて、隠れ状態検知部４０は、その第２隠れ状態判定部４２による隠れ状態の検知判定、即ち人数差分判定を実行する（ステップ６０５）。更に、隠れ状態検知部４０は、これらの重なり率判定及び人数差分判定によって、撮影画像Ｖｄの隠れ状態が検知された場合（ステップ６０６：ＹＥＳ）、車室６内に、骨格点ＳＰが未検出の乗員５がいると判定する（ステップ６０７）。そして、本実施形態の画像解析装置１０は、これにより、隠れ状態検知部４０の判定出力部８０が、その隠れ状態の検知出力として「不定」を出力する構成となっている（ステップ６０８）。

尚、図１６に示すように、画像解析装置１０は、その隠れ状態判定において、撮影画像Ｖｄの隠れ状態を検知しなかった場合（ステップ５０４：ＮＯ）に、その異常検知部２２が撮影画像Ｖｄに映る車室６の異常検知判定を実行する（ステップ５０６）。即ち、上記のように、本実施形態の画像解析装置１０において、この異常検知部２２の実行する異常検知判定は、骨格点ＳＰの検出に基づいて姿勢判定部２６が実行する乗員５の姿勢判定、詳しくは、転倒姿勢の検出によるものとなっている。そして、本実施形態の画像解析装置１０は、これにより車室６の異常が検知された場合（ステップ５０７：ＹＥＳ）に、その異常検知部２２が、撮影画像Ｖｄとともに異常検知出力を車外の管理者３５に配信する構成となっている（ステップ５０８）。

次に、本実施形態の作用について説明する。
即ち、本実施形態の画像解析装置１０においては、車室６の撮影画像Ｖｄに映る各乗員５について、その移動予測に基づき推定される撮像領域５０の重なり率αが演算される。また、乗降人数Ｎの計測により特定された車室６内の総人数Ｎａと撮影画像Ｖｄに映る乗員５の検出人数Ｎｄとの差分値δが演算される。更に、カメラ８に近接した隠し位置Ｐｘにおいて、その撮影画像Ｖｄに映る乗員５の有無についての検出判定が実行される。そして、これらの重なり率判定、人数差分判定、及びカメラ近接位置判定の結果に基づいて、その撮影画像Ｖｄに複数の乗員５が重なって映る隠れ状態の発生が検知される。

次に、本実施形態の効果について説明する。
（１）画像解析装置１０は、カメラ８が映す車両１の車室６を監視空間１１として、その撮影画像Ｖｄを解析することにより、この撮影画像Ｖｄに映る人Ｈの情報Ｉｈ、即ち乗員５の乗員情報Ｉｃｈを取得する人情報取得部２５を備える。そして、画像解析装置１０は、撮影画像Ｖｄに複数の乗員５が重なって映る隠れ状態の発生を検知する隠れ状態検知部４０を備える。

上記構成によれば、撮影画像Ｖｄに生じた隠れ状態を検知して、車室６内の乗員５が正しく撮影画像Ｖｄに映らない状態にあることを把握することができる。そして、この場合、例えば、その隠れ状態が生じた撮影画像Ｖｄの解析的な利用を控えることで、高精度の情報取得を担保することができる。

（２）隠れ状態検知部４０に設けられた第１隠れ状態判定部４１は、撮影画像Ｖｄに映る各乗員５の移動予測を実行する移動予測部９０ａとしての機能を有する。また、この第１隠れ状態判定部４１は、その移動予測に基づいて撮影画像Ｖｄに重なって映ると推定される各乗員５の撮像領域５０について、その重なり率αを演算する重なり率演算部９０ｂとしての機能を備える。そして、第１隠れ状態判定部４１は、この重なり率αと重なり判定値αｔｈとの比較に基づいて、その隠れ状態の検知判定を実行する。

上記構成によれば、精度よく、撮影画像Ｖｄにおける隠れ状態の発生を検知することができる。更に、隠れ状態の発生を事前に予測することができるという利点がある。そして、これにより、より高精度の情報取得を行なうことができる。

（３）隠れ状態検知部４０に設けられた第２隠れ状態判定部４２は、監視空間１１に出入りする人Ｈの出入人数となる乗員５の乗降人数Ｎを計測する出入人数計測部９０ｃとしての機能を有する。そして、この第２隠れ状態判定部４２は、乗降人数Ｎの計測により特定される車室６内の総人数Ｎａと撮影画像Ｖｄに映る乗員５の検出人数Ｎｄとの差分に基づいて、その隠れ状態の検知判定を実行する。

即ち、撮影画像Ｖｄに隠れ状態が生じていない場合、この撮影画像Ｖｄに映る乗員５の検出人数Ｎｄは、車室６内の総人数Ｎａと等しくなる。従って、上記構成によれば、簡素な構成にて、容易に、その撮影画像Ｖｄに生じた隠れ状態を検知することができる。

（４）隠れ状態検知部４０に設けられた第３隠れ状態判定部４３は、カメラ８に近接した隠し位置Ｐｘにおいて撮影画像Ｖｄに映る乗員５が検出されている場合には、この撮影画像Ｖｄに隠れ状態が発生しているとみなす。

即ち、カメラ８に近接した隠し位置Ｐｘで撮影画像Ｖｄに映る乗員５が、そのカメラ８の視野を遮ることにより、車室６内に位置する他の乗員５を隠すかたちで、その撮影画像Ｖｄに隠れ状態が発生する可能性がある。そして、この場合、その隠れ状態が実際に発生しているか否かは判定することができない。この点を踏まえ、上記構成のように、隠れ状態が発生しているとみなす。そして、この場合、例えば、その隠れ状態が生じた撮影画像Ｖｄの解析的な利用を控えることで、高精度の情報取得を担保することが可能になる。

（５）第３隠れ状態判定部４３は、撮影画像Ｖｄに映る乗員５の撮像領域７０が撮影画像Ｖｄの全体に占める割合を画像比率βとして演算する画像比率演算部９０ｄとしての機能を有する。そして、第３隠れ状態判定部４３は、所定の近接判定値βｔｈ以上の画像比率βを有する乗員５が検出されている場合に、この乗員５が隠し位置Ｐｘにおいて、その撮影画像Ｖｄに映っていると判定するカメラ近接位置判定部９０ｅとしての機能を有する。これにより、簡素な構成にて、カメラ８に近接した隠し位置Ｐｘにおいて撮影画像Ｖｄに映る乗員５を検出することができる。

（６）画像解析装置１０は、撮影画像Ｖｄに含まれる乗員５の骨格点ＳＰを検出する骨格点検出部２３を備える。そして、画像解析装置１０は、この骨格点ＳＰの検出により取得される乗員情報Ｉｃｈに基づいて車室６内に生じた異常を検知する異常検知部２２を備える。

即ち、骨格点ＳＰの検出により、精度よく、乗員５の姿勢や体格等、身体的な乗員情報Ｉｃｈを取得することができる。そして、これにより、取得した乗員情報Ｉｃｈに基づいて、乗員５が乗車する車室６について、高精度の異常検知判定を行うことができる。しかしながら、撮影画像Ｖｄに隠れ状態が発生することで、その骨格点ＳＰの検出状態も低下する。その結果、精度よく、その異常検知判定を行えない可能性が生ずる。従って、このような構成について、上記（１）～（５）に示す隠れ状態の検知判定を適用することで、より顕著な効果を得ることができる。

（７）隠れ状態検知部４０は、隠れ状態の発生が検知された場合に、その隠れ状態の検知出力として、隠れ状態の発生が検知された撮影画像Ｖｄにおける骨格点ＳＰの検出状態についての判定出力を実行する判定出力部８０を備える。

上記構成によれば、隠れ状態の発生により変化した骨格点ＳＰの検出状態を正しく把握することができる。そして、これにより、その隠れ状態が生じた撮影画像Ｖｄを、適切に活用することができる。

なお、上記実施形態は、以下のように変更して実施することができる。上記実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

・上記実施形態では、カメラ８には、赤外線カメラが用いられることとしたが、その型式は任意に変更してもよい。例えば、可視光カメラ等を用いる構成であってもよい。
・上記実施形態では、重なり率αの演算には、その人Ｈの撮像領域５０として胴体部分の撮像領域６０が用いられることとしたが、例えば、頭部を含める等、重なり率αの演算に用いる撮像領域５０の範囲は、任意に変更してもよい。また、移動予測及び重なり推定を行なう将来時間についてもまた、任意に変更してもよい。そして、移動予測の具体的な手法については、任意に変更してもよい。

・上記実施形態では、乗員５の乗降判定は、撮影画像Ｖｄを上面視変換して行われることとしたが、上面視変換は、必ずしも行わなくともよい。そして、例えば、乗車予約情報等、画像解析以外の方法で車室６内の総人数Ｎａを取得可能な場合には、その値を利用してもよい。

・上記実施形態では、骨格点ＳＰの検出、詳しくは、主要な骨格点ＳＰの抽出可能性に基づいて、その撮影画像Ｖｄに映る乗員５の検出人数Ｎｄを算出することとしたが、必ずしも、骨格点ＳＰの検出によるものでなくともよい。その他の方法を用いて撮影画像Ｖｄ内に認識した乗員５の数を、その検出人数Ｎｄとする構成であってもよい。そして、車室６内の総人数Ｎａと乗員５の検出人数Ｎｄとの差分値δは、必ずしも演算しなくともよく、単に一致判定を行なう構成であってもよい。

・上記実施形態では、撮影画像Ｖｄに映る乗員５の撮像領域７０が撮影画像Ｖｄの全体に占める割合を画像比率βとして、所定の近接判定値βｔｈ以上の画像比率βを有する乗員５を、隠し位置Ｐｘで撮影画像Ｖｄに映っていると判定することとした。しかし、これに限らず、隠し位置Ｐｘで撮影画像Ｖｄに映る乗員５の検出判定については、任意に変更してもよい。即ち、車室６内の乗員５がカメラ８に近接した位置に立つことで、この乗員５がカメラ８の視野を遮ることを特定できればよく、その特定された乗員５の位置が隠し位置Ｐｘである。例えば、必ずしも画像比率βは演算しなくともよく、撮像領域７０の大きさと、その乗員５がカメラ８に近接した位置にいることを示す車両１の備品、例えばつり革や手摺などの利用状態との組み合わせ等により、そのカメラ近接位置判定を行なう構成としてもよい。

・上記実施形態では、骨格点ＳＰの検出に基づいて乗員５の姿勢判定を実行する。そして、転倒姿勢の検出により、その撮影画像Ｖｄに映る車室６の異常を検知することとした。しかし、これに限らず、撮影画像Ｖｄの画像解析により取得した他の乗員情報Ｉｃｈを利用して、その異常検知判定を実行する構成であってもよい。更に、骨格点ＳＰの検出に依らず、乗員情報Ｉｃｈの取得を実行する構成に適用してもよい。そして、その取得した乗員情報Ｉｃｈを、異常検知判定以外の用途に用いる構成であってもよい。

・上記実施形態では、図示しない情報通信ネットワークを介して車両１の内外に配置された複数の情報処理装置３０を相互に接続することにより、その監視システム１５が形成される。そして、画像解析装置１０は、車両１に搭載された車載の情報処理装置３０ａと、クラウドサーバ３１を構成する車外の情報処理装置３０ｂとが、その画像解析処理を分散して行なうこととした。しかし、これに限らず、監視システム１５のシステム構成は、任意に変更してもよい。例えば、車両１に搭載された車載の情報処理装置３０ａに、その画像解析装置１０が実装される構成であってもよい。そして、管理者３５としてのオペレータ３３が駐在する車両１の運行センター３２に、その画像解析装置１０を構成する車外の情報処理装置３０ｂを配置する構成であってもよい。

・また、異常発生時や隠れ状態の検知時に、管理者３５が確認する車室６内の撮影画像Ｖｄについてもまた、そのカメラ８が映す撮影画像Ｖｄが、車外の管理者３５に対し、常時、配信される構成であってよく、イベント発生時のみ配信される構成であってもよい。

・上記実施形態では、車両１のカメラ８が映す車室６を監視空間１１とした監視システム１５に具体化した。しかし、これに限らず、建物の室内を監視空間１１とする構成であってもよい。そして、例えば、屋外に監視空間１１を設定する構成であってもよい。

１…車両
５…乗員
６…車室
８…カメラ
１１…監視空間
２５…人情報取得部
４０…隠れ状態検知部
Ｖｄ…撮影画像
Ｈ…人
Ｉｈ…情報
Ｉｃｈ…乗員情報

Claims (9)

1. カメラが映す監視空間の撮影画像を解析することにより該撮影画像に映る人の情報を取得する人情報取得部と、
   前記撮影画像に複数の前記人が重なって映る隠れ状態の発生を検知する隠れ状態検知部と、を備える画像解析装置。
2. 請求項１に記載の画像解析装置において、
   前記撮影画像に映る前記各人の移動予測を実行する移動予測部と、
   前記移動予測に基づき前記重なって映ると推定される前記各人の撮像領域について該撮像領域の重なり率を演算する重なり率演算部と、を備え、
   前記隠れ状態検知部は、前記重なり率と重なり判定値との比較に基づいて、前記隠れ状態の検知判定を実行すること、を特徴とする画像解析装置。
3. 請求項１又は請求項２に記載の画像解析装置において、
   前記監視空間に出入りする前記人の出入人数を計測する出入人数計測部を備え、
   前記隠れ状態検知部は、前記出入人数の計測により特定される前記監視空間内の総人数と前記撮影画像に映る前記人の検出人数との差分に基づいて、前記隠れ状態の検知判定を実行すること、を特徴とする画像解析装置。
4. 請求項１～請求項３の何れか一項に記載の画像解析装置において、
   前記隠れ状態検知部は、前記カメラに近接した隠し位置において前記撮影画像に映る前記人が検出されている場合には、前記隠れ状態が発生しているとみなすこと、
   を特徴とする画像解析装置。
5. 請求項４に記載の画像解析装置において、
   前記人の撮像領域が前記撮影画像の全体に占める割合を画像比率として演算する画像比率演算部と、
   所定の近接判定値以上の前記画像比率を有する前記人が検出されている場合に該人が前記隠し位置において前記撮影画像に映っていると判定するカメラ近接位置判定部と、
   を備えること、を特徴とする画像解析装置。
6. 請求項１～請求項５の何れか一項に記載の画像解析装置において、
   前記撮影画像に含まれる前記人の骨格点を検出する骨格点検出部と、
   前記骨格点の検出により前記取得される前記人の情報に基づいて前記監視空間に生じた異常を検知する異常検知部と、を備えること、を特徴とする画像解析装置。
7. 請求項６に記載の画像解析装置において、
   前記隠れ状態の発生が検知された場合に、前記隠れ状態の検知出力として、前記隠れ状態の発生が検知された前記撮影画像における前記骨格点の検出状態についての判定出力を実行する判定出力部を備えること、を特徴とする画像解析装置。
8. 請求項１～請求項７の何れか一項に記載の画像解析装置において、
   前記監視空間は、車両の車室であり、前記人は、前記車両の乗員であること、
   を特徴とする画像解析装置。
9. 請求項１～請求項８の何れか一項に記載の画像解析装置を備えた監視システム。

Images