JP2019012304A - 移動物認識装置、移動物認識方法およびプログラム - Google Patents

Abstract

【課題】移動物体の動きを適切に検出することができる移動物認識装置を提供する。【解決手段】移動物認識装置（１）は、車両に搭載されたカメラ（３０）にて撮影された画像を入力する入力部（１１）と、画像に含まれる移動物を検出すると共に、移動物の種別を判定する移動物検出部（２０）と、移動物に含まれる人体の関節を認識する関節認識処理部（２１）と、移動物の種別ごとに骨格の動きに基づいて移動物の移動状態を求める移動状態算出処理部（２２）と、移動状態算出処理部（２２）にて算出された移動状態の情報を出力する出力部（１３）とを備える。【選択図】図１

Description

本発明は、移動物認識装置、移動物認識方法およびプログラムに関する。

従来から、車両に搭載されたカメラ等で車両周辺の移動物（歩行者、自転車等）を検出する技術の研究がなされており、これまでに様々な方法が提案されている。特許文献１は、赤外線画像から移動物（歩行者等）をテンプレートマッチング等により検出する手法を開示している。特許文献２は、オプティカルフロー画像に対するテンプレートマッチング等により、歩行者と自転車を区別して検出する手法を開示している。特許文献３には、オプティカルフロー画像から自車の移動の影響を補正することで、旋回中等であっても精度よく移動物を検出する手法を開示している。

特開２００２−９９９９７号公報 特開２００７−２４９８４１号公報 特開２０１４−１９４６１８号公報

しかし、上記した従来技術では、交通環境に存在する様々な種類の移動物に対して、正確な移動速度や急な動きの変化等を認識することが困難であった。例えば、赤外線やオプティカルフローを用いた手法では、検出対象の移動物の詳細な変化が検出できない。

そこで本発明は、移動物の移動状態を適切に検出することができる移動物認識装置を提供することを目的とする。

本発明は上記課題を解決するために以下の技術的手段を採用する。特許請求の範囲及びこの項に記載した括弧内の符号は、ひとつの態様として後述する実施の形態に記載の具体的手段との対応関係を示す一例であって、本発明の技術的範囲を限定するものではない。

本発明の移動物認識装置（１）は、車両に搭載されたカメラ（３０）にて撮影された画像を入力する入力部（１１）と、前記画像に含まれる移動物を検出すると共に、前記移動物の種別を判定する移動物検出部（２０）と、前記移動物に含まれる人体の骨格を認識する骨格認識処理部と、前記移動物の種別ごとに前記骨格の動きに基づいて前記移動物の移動状態を求める移動状態算出処理部（２２）と、前記移動状態算出処理部（２２）にて算出された移動状態の情報を出力する出力部（１３）とを備える。ここで、前記骨格認識処理部は、人体の関節を認識し、前記移動状態算出処理部（２２）は、前記移動物の種別ごとに前記関節の動きに基づいて前記移動物の移動状態を求めてもよい。なお、移動物の移動状態とは、移動物の速度、加速度、軌跡、右左折等であり、現時点の状態と将来に予測される状態の両方を含む。

このように移動物の種別ごとに移動物の移動状態を求めることにより、移動物の移動状態を精度良く求めることができる。

本発明の移動物認識装置（１）は、前記移動物の種別には、歩行者と自転車が含まれてもよい。また、歩行者と自転車の移動状態を求めるのに関節の動きを用いるときには、前記歩行者の腰関節、足首関節、及び肩関節の動きに基づいて前記歩行者の移動状態を算出し、前記移動物が自転車のときには、その乗員の腰関節、膝関節、手首関節の動きに基づいて前記自転車の移動状態を算出してもよい。

本発明の移動物認識方法は、車両に搭載されたカメラ（３０）にて撮影された画像に基づいて移動物を認識する方法であって、前記カメラ（３０）から前記画像を取得するステップと、前記画像に含まれる移動物を検出すると共に、前記移動物の種別を判定するステップと、前記移動物に含まれる人体の骨格を認識するステップと、前記移動物の種別ごとに前記骨格の動きに基づいて前記移動物の移動状態を求めるステップと、算出された移動状態の情報を出力するステップとを備える。

本発明のプログラムは、車両に搭載されたカメラ（３０）にて撮影された画像に基づいて移動物を認識するためのプログラムであって、コンピュータに、前記カメラ（３０）から前記画像を取得するステップと、前記画像に含まれる移動物を検出すると共に、前記移動物の種別を判定するステップと、前記移動物に含まれる人体の骨格を認識するステップと、前記移動物の種別ごとに前記骨格の動きに基づいて前記移動物の移動状態を求めるステップと、算出された移動状態の情報を出力するステップとを実行させてもよい。

本発明によれば、移動物の種別ごとに移動物の移動状態を求めることによって、移動物の移動状態を精度良く求めることができる。

実施の形態の移動物認識装置の構成を示す図である。 移動物データ記憶部に記憶されるデータの例を示す図である。 移動状態算出処理部にて用いるニューラルネットワークを示す図である。 実施の形態の移動物認識装置の動作を示すフローチャートである。

以下、本発明の実施の形態の移動物認識装置について図面を参照して説明する。
図１は、実施の形態の移動物認識装置１の構成を示す図である。移動物認識装置１は、車両に搭載して用いられる。移動物認識装置１は、車両に搭載されたカメラ３０と接続され、カメラ３０にて撮影した画像が入力される。

移動物認識装置１は、カメラ３０にて撮影された画像を入力する機能を有する入力部１１と、入力された画像内に映る移動物を認識する機能を有する制御部１２と、移動物の認識結果を図示しない車載機器に対して出力する出力部１３とを有している。なお、車載機器は、移動物の認識結果に基づいて車両の運転制御を行ったり、ドライバに対して注意喚起をすることができる。

制御部１２は、移動物検出部２０と、関節認識処理部２１と、移動状態算出処理部２２とを有している。移動物検出部２０は、画像に映っている移動物を検出する機能と、移動物の種別を判定する機能を有している。画像からの移動物の検出、及び移動物の種別判定には、例えば、テンプレートマッチングやニューラルネットワーク等の技術を用いることができる。関節認識処理部２１は、移動物に含まれる人体の画像から関節を認識する機能を有する。関節認識処理部２１は、関節を認識すると、関節の種類とその位置のデータを移動物データに記憶する。

図２は、移動物データ記憶部１４に記憶されるデータの例を示す図である。移動物データ記憶部１４には、フレーム番号と移動物種別と関節位置のデータが記憶されている。フレーム番号は、移動物を検出した画像のフレームを特定するデータである。フレーム番号を管理することにより、移動物のデータを時系列で管理することができる。移動物種別は、画像から検出した移動物の種別のデータである。図２では、移動物の種別の例として、自転車、歩行者、自動車を示しているが、その他に、バイク、手動車椅子、電動車椅子、キックボード、ローラースケート等の路上で遭遇し得る移動物の種別のデータを記憶してもよい。

関節位置のデータは、移動物に含まれる人体の関節の位置を示すデータである。例えば、肩、腰、膝、肘、手首、足首の関節の位置を示すデータである。これらの関節を特定するデータと関節の位置のデータが対応付けられている。個々のフレームにおける関節位置のデータは、そのフレーム内に映っている人体の関節の位置を示すものであるが、フレームを時系列に見ていくことにより、人体の関節の動きを捉えることができる。

移動状態算出処理部２２は、移動物データ記憶部１４に記憶された人体の関節の位置の時系列データに基づいて、移動物の移動状態を求める機能を有している。移動状態算出処理部２２は、移動物の種別ごとに、その移動状態を求める算出部を有している。すなわち、歩行者の移動状態を求める歩行者状態算出処理部２３、自転車の移動状態を求める自転車状態算出処理部２４、バイクの移動状態を求めるバイク状態算出処理部２５、自動車の移動状態を求める自動車状態算出処理部２６である。この他にも、車椅子の移動状態を求める車椅子状態算出処理部やキックボードの移動状態を求めるキックボード状態算出処理部、ローラースケートの移動状態を求めるローラースケート状態算出処理部等を有してもよい。以下、これらの各種別にかかる移動物の移動状態算出部２３〜２６等を総称して「個別移動状態算出処理部」という。

移動物の各種別に対応する個別移動状態算出処理部は、移動物に特有の動きをする関節の動きに基づいて、移動物の移動状態を検出する。例えば、歩行者であれば、腰、肩、足首の関節の位置変化に基づいて移動状態を求める。自転車であれば、ペダルを回すことで進むので、膝の関節の位置変化を用いて自転車の移動状態を求める。例えば、バイクであれば、指先や足先で運転操作を行うから、指先の関節や足首の関節の位置変化を用いてバイクの移動状態を求める。自動車の場合には、手を使ってハンドル操作を行うので、肩、肘の関節の位置変化に基づいて自動車の移動状態を求める。

図３は、移動状態算出処理部２２にて用いるニューラルネットワークを示す図であり、図３（ａ）は歩行者の移動状態を求めるニューラルネットワーク、図３（ｂ）は自転車の移動状態を求めるニューラルネットワークである。本実施の形態では、ニューラルネットワークを用いて、関節の位置変化のデータから移動速度、加速度、右左折の状態を求める。なお、これらの状態は、現時点の状態を求めることとしてもよいし、数秒先の移動状態を求めることとしてもよい。

図３（ａ）に示すように、歩行者の移動状態を求めるニューラルネットワークは、入力ノードとして、腰関節、肩関節、足首関節のノードを有しており、移動状態を求める際には、画像から検出されたこれらの関節の時系列データを入力する。図３（ｂ）に示すように、自転車の移動状態を求めるニューラルネットワークは、入力ノードとして、腰関節、膝関節、手首関節のノードを有しており、移動状態を求める際には、画像から検出されたこれらの関節の時系列データを入力する。

以上に、移動物を認識するための制御部１２の機能について説明したが、制御部１２の機能は、電子制御ユニット（ＥＣＵ）にてプログラムを実行することによって実現される。このようなプログラムも本発明の範囲に含まれる。

図４は、実施の形態の移動物認識装置１の動作を示すフローチャートである。実施の形態の移動物認識装置１は、カメラ３０にて撮影された画像データを取得し（Ｓ１０）、移動物検出部２０によって、画像に映っている移動物を検出し、その種別を判定する（Ｓ１１）。また、移動物認識装置１の関節認識処理部２１は、移動物に含まれる人体の関節を認識し（Ｓ１２）、関節のデータを移動物データ記憶部１４に記憶する。

次に、移動物認識装置１は、移動物データ記憶部１４に記憶されたデータに基づいて、複数フレームに亘って検出された移動物の移動状態を求める（Ｓ１３）。具体的には、移動状態算出処理部２２は、対象の移動物の種別に対応する個別移動状態算出処理部にて、移動状態の算出処理を行う。例えば、移動物の種別が歩行者であれば、歩行者状態算出処理部２３にて歩行者の移動状態の算出を行い、移動物の種別が自転車であれば、自転車状態算出処理部２４にて自転車の移動状態の算出を行う。移動物認識装置１は、移動物の移動状態の認識結果を出力する（Ｓ１４）。以上、本実施の形態の移動物認識装置１の構成、及び動作について説明した。

本実施の形態の移動物認識装置１は、移動物の種別に応じて、当該種別の移動物に特化した個別移動状態算出処理部にて移動状態を求めるので、関節位置の時系列変化から、移動物の適切な移動状態を求めることができる。

また、関節の位置のデータから移動状態を求める前に、移動物の種別を判定するので、人の姿勢が類似しても適切に動きを予測できる。例えば、自転車とバイクの場合のように、人体の姿勢が類似している場合、自転車を前提に予測すると単に、膝の関節の動きが小さいからまだ動き出さないと判定されるが、実はバイクであった場合には、急に動き出して危険であるが、本実施の形態によれば、移動状態を適切に認識できる。

上記した実施の形態では、ニューラルネットワークを用いて、移動物の移動状態を求める例を説明したが、移動状態の算出は、例えば、テーブルを参照する等の別の方法を用いて行ってもよい。

なお、上記した実施の形態では、人体の関節位置の時系列変化に基づいて移動物の移動状態を求める例を挙げたが、本発明の移動物認識装置１は、関節ではなく、人体の骨格の動きを用いて移動物の移動状態を算出してもよい。

本実施の形態の移動物認識装置１は、車両に搭載されたカメラ３０を用いて、車両の周辺にいる移動物の移動状態を求める例を挙げて説明したが、本発明は、車両周辺の移動物を求める以外にも、例えば、セキュリティ分野において不審者（歩いている不審者、自転車に乗っている不審者等）を検出する用途にも適用することも可能であるし、福祉分野において室内にいる老人（松葉杖をついている老人、車いすの老人等）の動きを検出する用途にも適用することができる。

１ 移動物認識装置、１１ 入力部、１２ 制御部、１３ 出力部、
１４ 移動物データ記憶部、２０ 移動物検出部、２１ 関節認識処理部、
２２ 移動状態算出処理部、２３ 歩行者状態算出処理部、
２４ 自転車状態算出処理部、２５ バイク状態算出処理部、
２６ 自動車状態算出処理部、３０ カメラ

Claims (6)

1. 車両に搭載されたカメラにて撮影された画像を入力する入力部（１１）と、
   前記画像に含まれる移動物を検出すると共に、前記移動物の種別を判定する移動物検出部と、
   前記移動物に含まれる人体の骨格を認識する骨格認識処理部と、
   前記移動物の種別ごとに前記骨格の動きに基づいて前記移動物の移動状態を求める移動状態算出処理部（２２）と、
   前記移動状態算出処理部（２２）にて算出された移動状態の情報を出力する出力部（１３）と、
   を備える移動物認識装置。
2. 前記骨格認識処理部は、人体の関節を認識し、
   前記移動状態算出処理部（２２）は、前記移動物の種別ごとに前記関節の動きに基づいて前記移動物の移動状態を求める請求項１に記載の移動物認識装置。
3. 前記移動物の種別には、歩行者と自転車が含まれる請求項１または２に記載の移動物認識装置。
4. 前記移動状態算出処理部（２２）は、前記移動物が歩行者のときには、前記歩行者の腰関節、足首関節、及び肩関節の動きに基づいて前記歩行者の移動状態を算出し、前記移動物が自転車のときには、その乗員の腰関節、膝関節、手首関節の動きに基づいて前記自転車の移動状態を算出する請求項２に記載の移動物認識装置。
5. 車両に搭載されたカメラにて撮影された画像に基づいて移動物を認識する方法であって、
   前記カメラから前記画像を取得するステップと、
   前記画像に含まれる移動物を検出すると共に、前記移動物の種別を判定するステップと、
   前記移動物に含まれる人体の骨格を認識するステップと、
   前記移動物の種別ごとに前記骨格の動きに基づいて前記移動物の移動状態を求めるステップと、
   算出された移動状態の情報を出力するステップと、
   を備える移動物認識方法。
6. 車両に搭載されたカメラにて撮影された画像に基づいて移動物を認識するためのプログラムであって、コンピュータに、
   前記カメラから前記画像を取得するステップと、
   前記画像に含まれる移動物を検出すると共に、前記移動物の種別を判定するステップと、
   前記移動物に含まれる人体の骨格を認識するステップと、
   前記移動物の種別ごとに前記骨格の動きに基づいて前記移動物の移動状態を求めるステップと、
   算出された移動状態の情報を出力するステップと、
   を実行させるプログラム。