JP2020091667A

JP2020091667A - 定点画像認識装置

Info

Publication number: JP2020091667A
Application number: JP2018228614A
Authority: JP
Inventors: 中野　雄介; Yusuke Nakano; 雄介中野
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2018-12-06
Filing date: 2018-12-06
Publication date: 2020-06-11

Abstract

【課題】人と路面との認識を精度良く迅速に行うことができる定点画像認識装置を提供する。【解決手段】定点画像認識装置は、温度判定が可能なカメラにより取得された画像において、路面に相当する領域を予め抽出する領域抽出部と、温度に基づいて画像中における人の有無の判定を行う温度情報依拠モデルと、機械学習で画像中における人の有無の判定を行う機械学習モデルと、のいずれかの検知モデルを用いて路面に相当する領域に人がいるかいないかを判定する画像認識部と、画像認識部で用いる検知モデルの切替えを行うタイミングを判定する切替えタイミング判定部と、を備え、切替えタイミング判定部が、カメラが取得した画像における輝度値に基づいて決定した切替えを行うタイミング、または、予め定められた切替えを行うタイミングになったときに、画像認識部に対して、検知モデルを切替えするよう指示する。【選択図】図１

Description

本発明は、定点画像認識装置に関する。

赤外線カメラなどの取得画像の輝度値により温度の認識が可能なカメラを用いて人の有無を認識する技術が知られている。特許文献１には、車両用赤外線人検知警報装置において、路面の温度が高い場合に、路面を人と誤認識してしまうのを防止するため、人の認識をしないようにする技術が記載されている。

特開２０００−２１１４５３号公報

特許文献１に記載の技術では、誤認識を抑制することはできるものの、人を認識することができない時間帯が発生してしまうという問題がある。これに対し、機械学習の手法等を用いる高精度なモデルにより比較的複雑な計算をすることによって、全ての時間帯で人の認識をする方法も考えられる。しかしながら、この方法は計算負荷が高く、迅速に人を認識できないことが問題となっていた。

本発明は、以上の背景に鑑みなされたものであり、人と路面との認識を精度良く迅速に行うことができる定点画像認識装置を提供することを目的とする。

本発明は、取得画像の輝度値により温度の認識が可能で定位置に設置されるカメラにより取得された画像において人がいることを認識する定点画像認識装置であって、前記カメラにより取得された画像において、路面に相当する領域を予め抽出する領域抽出部と、認識された前記温度に基づいて画像中における人の有無の判定を行う温度情報依拠モデルと、機械学習データを用いた機械学習の手法により画像中における人の有無の判定を行う機械学習モデルと、のいずれかの検知モデルを用いて前記路面に相当する領域に人がいるかいないかを判定する画像認識部と、前記画像認識部で用いる前記検知モデルの切替えを行うタイミングを判定する切替えタイミング判定部と、を備え、前記切替えタイミング判定部が、前記カメラが取得した画像における輝度値に基づいて決定した前記切替えを行うタイミング、または、予め定められた前記切替えを行うタイミングになったときに、前記画像認識部に対して、前記検知モデルを切替えするよう指示するものである。

夜間から昼間に移行する時間帯や昼間から夜間に移行する時間帯では、２値化モデルでは人と路面との認識を精度良くできない。２値化モデルにより人と路面との認識を精度良くできない時間帯になるタイミング、及び、２値化モデルにより人と路面との認識を精度良くできる時間帯になるタイミングは、取得した画像の輝度値に基づいて決定することができる。２値化モデルにより人と路面との認識を精度良くできない時間帯になるタイミング、及び、２値化モデルにより人と路面との認識を精度良くできる時間帯になるタイミングは、予め決定されていてもよい。当該タイミングで検知モデルを切替えることにより、２値化モデルでは人と路面との認識を精度良くできない時間帯に限り、検知モデルとして計算負荷の比較的高い高精度モデルを用いるようにすることができる。そして、その他の時間帯には、検知モデルとして計算負荷の比較的低い２値化モデルを用いる。これにより、人と路面との認識を精度良く迅速に行うことができる。

本発明によれば、人と路面との認識を精度良く迅速に行うことができる。

本実施の形態に係る定点画像認識装置の構成の一例を示すブロック図である。本実施の形態に係る定点画像認識装置で歩行者検出を行う処理の流れを示すフローチャートである。赤外線カメラにより取得された観測画像の計算領域における平均輝度値の時間変化の一例について示すグラフである。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

まず、図１を参照して本実施の形態にかかる定点画像認識装置の構成について説明する。
図１は、本実施の形態に係る定点画像認識装置１００の構成の一例を示すブロック図である。図１に示すように、定点画像認識装置１００は、画像入力部１と、領域抽出部２と、切替えタイミング判定部３と、画像認識部４と、出力部５と、学習部６と、を備えている。

画像入力部１は、例えば赤外線カメラなどの取得画像の輝度値により温度の認識が可能なカメラである。つまり、画像入力部１で取得した画像において、各画素における輝度値を温度に換算することで、各画素における温度が分かる。画像入力部１は、インフラに固定設置されるなど、定位置に設置される。領域抽出部２は、画像入力部１であるカメラにより取得された画像（観測画像）において、路面に相当する領域（道路領域）を予め抽出する。すなわち、領域抽出部２は、道路マップのマスク画像から観測画像上の道路領域を抽出するものである。

切替えタイミング判定部３は、画像認識部４で用いる検知モデルの切替えを行うタイミングを判定し、当該タイミングにおいて画像認識部４に対し検知モデルの切替えを指示する。すなわち、切替えタイミング判定部３は、検知モデルの切替えを行うタイミングであると判定されたときに画像認識部４に対し、検知モデルを、温度情報依拠モデルから機械学習モデルに、または、機械学習モデルから温度情報依拠モデルに切替えするよう指示する。検知モデルの切替えを行うタイミングは、切替えタイミング判定部３において、観測画像における輝度値に基づいて決定するようにしてもよく、予め定められていてもよい。検知モデルを切替えするタイミングの詳細については後述する。

画像認識部４は、温度情報に基づいて画像中における人の有無の判定を行う温度情報依拠モデルと、機械学習データを用いた機械学習の手法により画像中における人の有無の判定を行う機械学習モデルと、のいずれかの検知モデルを用いて道路領域に人がいるかいないかを判定する。機械学習モデルは、例えばＨｏＧ（ＨｉｓｔｏｇｒａｍｓｏｆＯｒｉｅｎｔｅｄＧｒａｄｉｅｎｔｓ)特徴、サポートベータマシン（ＳＶＭ）、深層学習ニューラルネットワークなどを用いることができる。

切替えタイミング判定部３からの切替え指示に基づいて選択された検知モデルを用いて、車両や歩行者などの物体を画像認識するためのものである。出力部５は、画像認識部４における認識結果を表示、出力するもので、例えば、ドライバーのスマートフォンのディスプレイや路側表示装置である。

学習部６は、画像認識を行うための２値化閾値の設定や機械学習モデルの学習を行うためのものである。なお、２値化閾値についてもニューラルネットワークなどの機械学習により設定するようにしてもよい。第１記憶部７ａは、画像上の道路領域を決定するための道路マップのマスク画像を格納するためのものである。第２記憶部７ｂは、画像認識部４で用いられる、温度情報依拠モデルとしての２値化モデルを格納するためのものである。第３記憶部７ｃは、画像認識部４で用いられる、機械学習モデルとしての高精度モデルを格納するためのものである。

次に、定点画像認識装置１００で人の検出（歩行者検出）を行う処理の流れについて以下で説明する。なお、以下の説明においては図１も適宜参照する。
図２は、定点画像認識装置１００で歩行者検出を行う処理の流れを示すフローチャートである。図２に示すように、まず、分離度に基づいて、検知モデルとして、２値化モデルと高精度モデルのいずれかを選択し、選択した検知モデルとパラメータを読み込む（ステップＳ１０１）。なお、２値化モデルを検知モデルに選択した場合には、ステップＳ１０１において、２値化処理に使用するパラメータを決定する。２値化処理に使用するパラメータは、以下に示す式（１）と式（２）のいずれか一方に決定される。

ステップＳ１０１に続いて、画像入力部１であるカメラにより時系列で観測画像を取得する（ステップＳ１０２）。続いて、領域抽出部２が、第１記憶部７ａに格納されている道路マップのマスク画像を参照し、観測画像における道路領域（もしくは道路領域を拡張した領域）を計算領域として設定する（ステップＳ１０３）。なお、道路領域を拡張した領域は、観測画像上において道路の端に人が立ったときに人が含まれる領域とする。なお、画像入力部１は、定位置に設置されて定点観測することを想定しているため、道路マップのマスク画像は予め生成しておくことができる。定位置に設置された画像入力部１では、道路領域のマスク画像の時系列変化は基本的にないため、計算領域の設定は一度行えば良い。また、計算領域の設定は、セマンティックセグメンテーション等の技術を使えば、ある程度自動化することも可能である。

ステップＳ１０３に続いて、読み込んだ検知モデルが２値化モデルか否かを判定する（ステップＳ１０４）。ステップＳ１０４において、読み込んだ検知モデルが２値化モデルであると判定された場合、上限閾値Ｔ１または下限閾値Ｔ２を用いて２値化し（ステップＳ１０５）、２値化された画像に対してモフォロジー処理及び画像ラベリング処理を実行する（ステップＳ１０６）。ここで、モフォロジー処理は、収縮処理、膨張処理を繰り返し、孤立点除去と穴埋めを行う処理である。ラベリング処理は、モフォロジー処理の後に連結画素に対して同一ラベルを割り当て、クラスタリングを行う処理である。続いて、歩行者領域を抽出する（ステップＳ１０７）。なお、ステップＳ１０７において、２値化モデルが使用された場合には、面積でフィルタリングしてノイズや誤検出を除去したものを歩行者領域（人領域）とする。ステップＳ１０４において、読み込んだ検知モデルが２値化モデルではないと判定された場合、高精度モデルで歩行者領域を抽出する（ステップＳ１１０）。

ステップＳ１０７、ステップＳ１１０に続いて、分離度を計算するタイミングか否かを判定する（ステップＳ１０８）。ステップＳ１０８において分離度を計算するタイミングであると判定された場合、分離度を計算し（ステップＳ１０９）、処理をステップＳ１０１に戻す。ステップＳ１０８において分離度を計算するタイミングではないと判定された場合、処理をステップＳ１０１に戻す。

ステップＳ１０９において、分離度は、クラス間分散ν_ｂとクラス内分散ν_ｗとの比で計算できる。クラス内分散ν_ｗは各クラスでの分散の平均値である。クラス間分散ν_ｂは各クラスの平均と全平均との差の２乗の期待値である。ここでのクラスは、歩行者等のラベルではなく、計算領域Ｒに含まれる画素の各輝度値のヒストグラムにおける階級幅である。クラス間分散ν_ｂ、クラス内分散ν_ｗは、それぞれ、以下に示す式（１）、式（２）で表される。ここで、計算領域Ｒにおける、全画像数をｎ、全平均をｍ、全分散をνとし、閾値よりも輝度が小さい側における、画素数をｎ_１、平均をｍ_１、分散をν_１とし、閾値よりも輝度が大きい側における、画素数をｎ_２、平均をｍ_２、分散をν_２とする。全画像数ｎ、全平均ｍ、全分散νは、閾値Ｔに関係なく一定である。また、閾値Ｔで２値化したときの分離度Ｂは以下に示す式（３）で定義される。

閾値Ｔを変化させたときに、クラス間分散ν_ｂが最大になる分離度を分離度ＢＭとし、そのときの閾値をＴＭとする。分離度ＢＭが一定値より大きいときは、２値化モデルを選択し、そのときのＴＭを下限閾値Ｔ１あるいは上限閾値Ｔ２とする。ＴＭとして下限閾値Ｔ１と上限閾値Ｔ２のどちらを採用するかは検知モデルを選択する順序に依存する。つまり、現在の検知モデルが高精度モデルの場合、次に選択する２値化モデルにおけるＴＭは、現在の検知モデル（高精度モデル）を選択する前に選択していた２値化モデルのＴＭとは逆の閾値を採用する。すなわち、現在の検知モデルである高精度モデルを選択する前の２値化モデルのＴＭが下限閾値Ｔ１であったとすれば、次に選択する２値化モデルのＴＭは上限閾値Ｔ２を採用する。現在の検知モデルである高精度モデルを選択する前の２値化モデルのＴＭが上限閾値Ｔ２であったとすれば、次に選択する２値化モデルのＴＭは下限閾値Ｔ１を採用する。

昼間では、道路の温度が高くなるので、道路領域が歩行者領域よりも輝度が高くなる。一方、夜間では、道路の温度が低くなるので、道路領域が歩行者領域よりも輝度が低くなる。このため、ステップＳ１０１において、昼間に２値化モデルを使う場合にはＴＭとして上限閾値Ｔ２を採用し、夜間に２値化モデルを使う場合にはＴＭとして下限閾値Ｔ１を採用するようにする。

夜間から昼間に移行する時間帯及び昼間から夜間に移行する時間帯では、周辺温度と人の温度が近くなるので、分離度ＢＭが所定値よりも小さくなる。分離度ＢＭが所定値よりも小さい場合、２値化モデルを使って歩行者検出を行うことが難しい。このため、ステップＳ１０９において分離度ＢＭの計算を行い、分離度ＢＭが所定値以上である場合は２値化モデルを使って歩行者検出を行い、分離度ＢＭが所定値よりも小さい場合は高精度モデルを使って歩行者検出を行うようにする。なお、分離度ＢＭが所定値よりも小さい場合にも、輝度ヒストグラムの傾向は、分離度ＢＭが所定値以上の場合と同様になるので、機械学習による検出は比較的容易である。

ステップＳ１０８において、分離度を計算するタイミングか否かの判定は、観測画像に変化があったときのみ行う。上述したように、画像入力部１がインフラに固定設置されている場合、フレーム間差分を用いることで、観測画像の変化を容易に捉えることができる。

次に、検知モデルを切替えするタイミングについて説明する。
図３は、画像入力部１としての赤外線カメラにより取得された観測画像の計算領域における平均輝度値の時間変化の一例について示すグラフである。ここで、１時台〜７時台を第１の時間帯、８時台〜１１時台を第２の時間帯、１２時台〜１８時台前半を第３の時間帯、１２時台〜１８時台後半を第４の時間帯とする。

上述したように、赤外線カメラでは、画像の輝度値により温度を判定することが可能である。観測画像の計算領域において、平均輝度値が相対的に高い場合は温度が相対的に高く、平均輝度値が相対的に低い場合は温度が相対的に低いことが分かる。図３に示すように、夜間から昼間にかけては温度が上昇するので計算領域における平均輝度値も上昇している。また、昼間から夜間にかけては温度が下降するので、計算領域における平均輝度値も下降している。

また、図３に示す例において、第１の時間帯及び第３の時間帯では分離度が相対的に大きく、第２の時間帯及び第４の時間帯では分離度が相対的に小さくなった。つまり、夜間から昼間に移行する時間帯及び昼間から夜間に移行する時間帯に分離度が小さくなった。これは、夜間から昼間に移行する第２の時間帯及び昼間から夜間に移行する第４の時間帯では、周辺温度と人の温度が近くなるためである。上述したように、分離度が小さいと、２値化モデルにより歩行者検出するのは困難である。よって、分離度が相対的に大きい第１の時間帯及び第３の時間帯には、検知モデルとして２値化モデルを選択し、分離度が相対的に小さい第２の時間帯及び第４の時間帯には、検知モデルとして高精度モデルを選択する。なお、分離度が相対的に小さいとは、分離度ＢＭが所定値よりも小さい場合、分離度が相対的に大きいとは、分離度ＢＭが所定値以上の場合である。また、分離度と平均輝度値との間には相関があるので、分離度と平均輝度値との相関を予め把握しておけば、高精度モデルを選択する必要のある、分離度が相対的に小さくなる時間帯は、平均輝度値の時間変化より推測することもできる。

上述したように、昼間（第３の時間帯）と夜間（第１の時間帯）では、路面の温度と人の温度との大小関係が逆転する。このため、第１の時間帯と第３の時間帯とでは、２値化モデルの閾値を逆にする必要がある。すなわち、第１の時間帯にはＴＭとして下限閾値Ｔ１を用い、第３の時間帯にはＴＭとして上限閾値Ｔ２を用いる。上述したように、ＴＭは、クラス間分散ν_ｂが最大になる分離度（分離度ＢＭ）のときの２値化モデルの閾値である。

このように、第１の時間帯と第２の時間帯を区分けする時刻ｔ１、第２の時間帯と第３の時間帯を区分けする時刻ｔ２、第３の時間帯と第４の時間帯を区分けする時刻ｔ３、第４の時間帯と第１の時間帯を区分けする時刻ｔ４が検知モデルの切替えを行うタイミングである。このタイミングは、観測画像における輝度値に基づいて決定することができる。よって、切替えタイミング判定部３は、観測画像における輝度値に基づいて検知モデルの切替えを行うタイミングを決定するようにしてもよい。なお、観測画像の１日における輝度値の時間変化を予め取得しておけば、検知モデルの切替えを行うタイミングは予め決定しておくこともできる。ただし、季節によって観測画像の１日における輝度値の時間変化は変わるので、観測画像の１日における輝度値の時間変化は季節ごとに取得しておく必要がある。

分離度の計算は、例えば所定の時間間隔で行うようにする。なお、検知モデルとして２値化モデルが選択されている場合、観測画像に変化があったときにのみ分離度を計算するようにしてもよい。観測画像の変化は、フレーム間差分を用いることにより容易に検知することができる。観測画像における輝度値に基づいて検知モデルの切替えを行うタイミングを決定する代わりに、分離度に基づいて検知モデルの切替えを行うタイミングを決定するようにしてもよい。すなわち、分離度が、所定値以上に維持されていた状態から所定値を下回ったときを、検知モデルを２値化モデルから高精度モデルに切替えするタイミングとする。また、分離度が、所定値未満に維持されていた状態から所定値以上になったときを、検知モデルを高精度モデルから２値化モデルに切替えするタイミングとする。

以上により、本実施の形態にかかる定点画像認識装置１００では、夜間から昼間に移行する時間帯や昼間から夜間に移行する時間帯など、分離度が相対的に小さくなる時間帯に限り、高精度モデルを選択し、分離度が相対的に大きくなる時間帯には２値化モデルを選択する。つまり、２値化モデルで人と路面との認識を精度良く行うことができない時間帯にのみ計算負荷が高い高精度モデルを選択する。このように高精度モデルを使用する時間を削減することで計算リソースを低減することができる。また、高精度モデルを学習させる観測画像の変動を抑えることができるので、高精度モデルにおいてより歩行者検出の精度を向上させることができる。

また、検知モデルとして２値化モデルを選択した場合、昼間と夜間では、路面の温度と人の温度との大小関係が逆転する。このため、２値化モデルを選択する場合に、時間帯によって２値化モデルの閾値を変更するようにする。これにより、検知モデルとして２値化モデルを選択した時間帯において、人と路面との認識を精度良く迅速に行うことができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１画像入力部
２領域抽出部
３タイミング判定部
４画像認識部
５出力部
６学習部
７ａ第１記憶部
７ｂ第２記憶部
７ｃ第３記憶部
１００定点画像認識装置

Claims

取得画像の輝度値により温度の認識が可能で定位置に設置されるカメラにより取得された画像において人がいることを認識する定点画像認識装置であって、
前記カメラにより取得された画像において、路面に相当する領域を予め抽出する領域抽出部と、
認識された前記温度に基づいて画像中における人の有無の判定を行う温度情報依拠モデルと、機械学習データを用いた機械学習の手法により画像中における人の有無の判定を行う機械学習モデルと、のいずれかの検知モデルを用いて前記路面に相当する領域に人がいるかいないかを判定する画像認識部と、
前記画像認識部で用いる前記検知モデルの切替えを行うタイミングを判定する切替えタイミング判定部と、を備え、
前記切替えタイミング判定部が、前記カメラが取得した画像における輝度値に基づいて決定した前記切替えを行うタイミング、または、予め定められた前記切替えを行うタイミングになったときに、前記画像認識部に対して、前記検知モデルを切替えするよう指示する、定点画像認識装置。