JP2020190931A

JP2020190931A - 人物判定用の学習済みモデルセットの生成装置、生成方法、生成プログラム、人物領域判定装置、判定方法、および判定プログラム

Info

Publication number: JP2020190931A
Application number: JP2019095945A
Authority: JP
Inventors: 卓也小倉; Takuya Ogura
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2019-05-22
Filing date: 2019-05-22
Publication date: 2020-11-26
Anticipated expiration: 2039-05-22
Also published as: JP7167850B2

Abstract

【課題】撮像環境が変化しても入力画像に人物が写っているか否かを高い確率で判定できる人物判定用の学習済みモデルの生成装置、およびその学習済みモデルを搭載した人物領域判定装置等を提供する。【解決手段】第１対象地域で撮像された、人物が写る第１人物画像データを正解、人物が写らない第１非人物画像データを不正解として与えて教師あり学習をさせて第１の学習済みモデルを生成し、第１対象地域とは異なる第２対象地域で撮像された、人物が写る第２人物画像データを正解、人物が写らない第２非人物画像データを不正解として与えて教師あり学習をさせて第２の学習済みモデルを生成して、これらの学習済みモデルを、入力画像がいずれの地域で撮像されたかにより選択的に利用する。【選択図】図４

Description

本発明は、人物判定用の学習済みモデルセットの生成装置、生成方法、生成プログラム、人物領域判定装置、判定方法、および判定プログラムに関する。

車載カメラから得られた撮像画像を解析して、進行方向の歩行者を検出する技術が知られている。車載カメラが搭載された車両は多様な環境下で走行することが想定されるため、歩行者の検出精度を高めることが困難であった。そこで、ソナーやレーダーによる検出結果を併せて利用し、その検出結果と最も整合する識別辞書を選択して撮像画像を解析する技術等が検討されている（例えば、特許文献１参照）。

特開２０１６−３１５６４号公報

ソナー等の他のセンサー出力を利用することなく、入力画像から人物の有無を判定したい。このような要望に応えられるものとして、入力された撮像画像に人物が写っているかを判定する学習済みモデルを利用した判定装置が考えられる。しかし、このような判定装置を車両に搭載すると、上述のように大きく変化する走行環境の違いから、やはり検出精度が所望の水準に達しないという問題に直面している。

本発明は、このような問題を解決するためになされたものであり、撮像環境が変化しても入力画像に人物が写っているか否かを高い確率で判定できる人物判定用の学習済みモデルの生成装置、およびその学習済みモデルを搭載した人物領域判定装置等を提供することを目的とする。

本発明の第１の態様における人物判定用の学習済みモデルセットの生成装置は、第１対象地域で撮像された、人物が写る第１人物画像データを正解、人物が写らない第１非人物画像データを不正解として与えて教師あり学習をさせることにより、入力画像データに人物が写っている確からしさをスコアとして出力する第１の学習済みモデルを生成する第１生成部と、第１対象地域とは異なる第２対象地域で撮像された、人物が写る第２人物画像データを正解、人物が写らない第２非人物画像データを不正解として与えて教師あり学習をさせることにより、入力画像データに人物が写っている確からしさをスコアとして出力する第２の学習済みモデルを生成する第２生成部とを備える。

本発明の第２の態様における人物判定用の学習済みモデルセットの生成方法は、第１対象地域で撮像された、人物が写る第１人物画像データを正解、人物が写らない第１非人物画像データを不正解として与えて教師あり学習をさせることにより、入力画像データに人物が写っている確からしさをスコアとして出力する第１の学習済みモデルを生成する第１生成ステップと、第１対象地域とは異なる第２対象地域で撮像された、人物が写る第２人物画像データを正解、人物が写らない第２非人物画像データを不正解として与えて教師あり学習をさせることにより、入力画像データに人物が写っている確からしさをスコアとして出力する第２の学習済みモデルを生成する第２生成ステップとを含む。

本発明の第３の態様における人物判定用の学習済みモデルセットの生成プログラムは、第１対象地域で撮像された、人物が写る第１人物画像データを正解、人物が写らない第１非人物画像データを不正解として与えて教師あり学習をさせることにより、入力画像データに人物が写っている確からしさをスコアとして出力する第１の学習済みモデルを生成する第１生成ステップと、第１対象地域とは異なる第２対象地域で撮像された、人物が写る第２人物画像データを正解、人物が写らない第２非人物画像データを不正解として与えて教師あり学習をさせることにより、入力画像データに人物が写っている確からしさをスコアとして出力する第２の学習済みモデルを生成する第２生成ステップとをコンピュータに実行させる。

本発明の第４の態様における人物領域判定装置は、第１対象地域で撮像された、人物が写る第１人物画像データを正解、人物が写らない第１非人物画像データを不正解として与えて教師あり学習をさせることにより生成された、入力画像データに人物が写っている確からしさをスコアとして出力する第１の学習済みモデルと、第１対象地域とは異なる第２対象地域で撮像された、人物が写る第２人物画像データを正解、人物が写らない第２非人物画像データを不正解として与えて教師あり学習をさせることにより生成された、入力画像データに人物が写っている確からしさをスコアとして出力する第２の学習済みモデルとを含む人物判定用の学習済みモデルセットを記憶する記憶部と、移動体に搭載されたカメラが出力した撮像画像データを取得する取得部と、移動体が予め定められたいずれの対象地域に位置するかを判断する判断部と、移動体が第１対象地域に位置すると判断部が判断した場合に、記憶部から第１の学習済みモデルを読み出し、移動体が第２対象地域に位置すると判断部が判断した場合に、記憶部から第２の学習済みモデルを読み出す読出部と、取得部が取得した撮像画像データの画像に対し読出部が読み出した学習済みモデルを用いてスコアを算出させ、スコアが予め定められた閾値を超える特定の画像領域を人物領域と判定する判定部とを備える。

本発明の第５の態様における人物領域判定方法は、第１対象地域で撮像された、人物が写る第１人物画像データを正解、人物が写らない第１非人物画像データを不正解として与えて教師あり学習をさせることにより生成された、入力画像データに人物が写っている確からしさをスコアとして出力する第１の学習済みモデルと、第１対象地域とは異なる第２対象地域で撮像された、人物が写る第２人物画像データを正解、人物が写らない第２非人物画像データを不正解として与えて教師あり学習をさせることにより生成された、入力画像データに人物が写っている確からしさをスコアとして出力する第２の学習済みモデルとを含む人物判定用の学習済みモデルセットを記憶する記憶部を利用して人物領域を判定する人物領域判定方法であって、移動体に搭載されたカメラが出力した撮像画像データを取得する取得ステップと、移動体が予め定められたいずれの対象地域に位置するかを判断する判断ステップと、移動体が第１対象地域に位置すると判断ステップで判断された場合に、記憶部から第１の学習済みモデルを読み出し、移動体が第２対象地域に位置すると判断ステップで判断された場合に、記憶部から第２の学習済みモデルを読み出す読出ステップと、取得ステップで取得された撮像画像データの画像に対し読出ステップで読み出された学習済みモデルを用いてスコアを算出させ、スコアが予め定められた閾値を超える特定の画像領域を人物領域と判定する判定ステップとを含む。

本発明の第６の態様における人物領域判定プログラムは、第１対象地域で撮像された、人物が写る第１人物画像データを正解、人物が写らない第１非人物画像データを不正解として与えて教師あり学習をさせることにより生成された、入力画像データに人物が写っている確からしさをスコアとして出力する第１の学習済みモデルと、第１対象地域とは異なる第２対象地域で撮像された、人物が写る第２人物画像データを正解、人物が写らない第２非人物画像データを不正解として与えて教師あり学習をさせることにより生成された、入力画像データに人物が写っている確からしさをスコアとして出力する第２の学習済みモデルとを含む人物判定用の学習済みモデルセットを記憶する記憶部を利用して人物領域を判定する人物領域判定プログラムであって、移動体に搭載されたカメラが出力した撮像画像データを取得する取得ステップと、移動体が予め定められたいずれの対象地域に位置するかを判断する判断ステップと、移動体が第１対象地域に位置すると判断ステップで判断された場合に、記憶部から第１の学習済みモデルを読み出し、移動体が第２対象地域に位置すると判断ステップで判断された場合に、記憶部から第２の学習済みモデルを読み出す読出ステップと、取得ステップで取得された撮像画像データの画像に対し読出ステップで読み出された学習済みモデルを用いてスコアを算出させ、スコアが予め定められた閾値を超える特定の画像領域を人物領域と判定する判定ステップとをコンピュータに実行させる。

本発明により、撮像環境が変化しても入力画像に人物が写っているか否かを高い確率で判定できる人物判定用の学習済みモデルの生成装置、およびその学習済みモデルを搭載した人物領域判定装置等を提供することができる。

都市部地域で撮像された画像から学習用の人物画像と非人物画像を作成する様子を示す図である。非都市部地域で撮像された画像から学習用の人物画像と非人物画像を作成する様子を示す図である。学習済みモデルセットを生成する生成装置の構成を示すブロック図である。学習済みモデルセットを生成する処理手順を示すフロー図である。判定装置を搭載した車両の室内から走行方向を観察した様子を示す概略図である。撮像画像から判定画像を切り出す手法を説明する説明図である。判定画像が人物領域であるか否かを判定する手法を説明する説明図である。入力画像から人物領域を判定する判定装置の構成を示すブロック図である。人物領域を判定する処理手順を示すフロー図である。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。

近時、入力された撮像画像に人物が写っているかを判定する学習済みモデルを利用した人物判定装置が知られるようになってきた。しかし、走行する車両から撮像された撮像画像を入力画像とすると、当該人物判定装置は、誤った判定結果を示すことが多かった。本願発明者は、その原因を追究したところ、画像中に人物と背景物体が混在して写り込み、しかも、背景物体が多様であることが主な原因であると理解した。特に、背景物体が多様なことに対応すべく、あらゆる物体を背景として人物が写り込む多くの画像を用意して機械学習を行っても、一定の水準を満たす検出精度は得られないことを見出した。

本願発明者は、さらに原因を追究すると、入力された撮像画像がどの地域で撮像されたかという要因が、判定結果に大きな影響を与えることに気付いた。すなわち、背景物体として写り込む物体は地域ごとに特徴があるにも関わらず、このような特徴を考慮せずにあらゆる地域で撮像された画像を教師データとして学習させても、検出精度の高い学習済みモデルは得られないということに気付いた。そこで、背景物体の特徴を基準として地域を区分し、それぞれの地域で撮像された画像を教師画像として、地域ごとの学習済みモデルを生成する手法を構築するに至った。しかも、人物が写る画像を正解画像とするだけではなく、地域ごとに特徴的な背景物体が写るのみで人物が写っていない画像を不正解画像として教示することにより、それぞれの学習済みモデルにおける人物判定精度を向上させることに成功した。以下に、具体的に説明する。

以下に説明する本実施形態に係る人物判定用の学習済みモデルセットは、車両に搭載されたカメラユニットで撮像された撮像画像から人物が写り込む領域を判定する人物領域判定装置に組み込まれることを想定している。具体的には、本実施形態に係る人物領域判定装置は、運転支援システム装置やドライブレコーダの一部として装備される。

様々な環境を走行し得る車両に装備された人物領域判定装置は、主に屋外環境を背景とする撮像画像から人物領域を判定する。このとき、屋外環境の背景として顕著な違いが現れるのは、都市部地域の環境とそれ以外の非都市部地域の環境との間である。そこで、本実施形態においては、第１対象地域として都市部地域を定め、第２対象地域として都市部以外の非都市部地域を定める。具体的には、人口密度や建築物の密集度等を基準として、車両が走行し得る地域を都市部地域と非都市部地域に区分して規定する。学習用画像データセットを生成する準備として、都市部地域および非都市部地域のそれぞれで撮像した画像を十分に用意する。そして、用意した画像から学習用の教師データを作成する。

図１は、都市部地域で撮像された画像から学習用の教師データとしての人物画像と非人物画像を作成する様子を示す図である。図示するように、まず都市部地域で撮像された画像を多数用意する。そして、画像中から予め設定されたアスペクト比で人物領域と非人物領域を切り出す。ここで、アスペクト比は、屋外環境において人は一般的に立った姿勢であることが多いことから、横の長さよりも縦の長さが大きく設定されることが好ましい。具体的には、縦：横＝２：１、４：３、５：２等であり、本実施例においては、点線の枠で示すように、２：１のアスペクト比を採用する。

都市部地域で撮像された画像から人物が写り込む領域（人物領域）を２：１のアスペクト比で切り出し、規定の大きさになるように拡大処理または縮小処理して、人物画像の画像データを生成する。人物画像データは、正解のタグ情報が付与される。なお、人物が写り込む領域の切り出しについては、対象となる人物の全身が収まるように、切り出し枠の大きさが調整される。このとき、人物の周辺に都市部地域を構成する物体、典型的には人工物が写り込んでいることが好ましい。なお、１つの切り出し領域に複数の人物が写り込んでいても構わない。この場合は、複数の人物の全身が収まるように、切り出し枠の大きさが調整されることが好ましい。また、自転車に乗った人物、ベンチに座る人物等を人物領域として切り出しても良い。

同様に、都市部地域で撮像された画像から人物が写っていない領域（非人物領域）を２：１のアスペクト比で切り出し、規定の大きさになるように拡大処理または縮小処理して、非人物画像の画像データを生成する。非人物画像データは、不正解のタグ情報が付与される。ここで、切り出しの対象とする非人物領域は、都市部地域を構成する物体、典型的には人工物のうち、その輪郭がおよそ２：１であるものが選ばれる。図の例では、歩行者用信号機や、ビルであり、この他にも電柱、窓、標識、看板等も対象となり得る。一般的に、このようなアスペクト比の輪郭を有する背景物体は、都市部地域において人物と誤認識される場合が多いので、本実施形態においては、非人物画像の画像データを不正解の画像データとして積極的に学習させる。

図２は、非都市部地域で撮像された画像から学習用の教師データとしての人物画像と非人物画像を作成する様子を示す図である。図示するように、まず非都市部地域で撮像された画像を多数用意する。そして、都市部地域の画像に対して採用したアスペクト比と同じアスペクト比で、人物領域と非人物領域を切り出す。

非都市部地域で撮像された画像から人物が写り込む領域（人物領域）を２：１のアスペクト比で切り出し、規定の大きさになるように拡大処理または縮小処理して、人物画像の画像データを生成する。人物画像データは、正解のタグ情報が付与される。都市部地域で人物画像データを生成する場合と同様に、人物が写り込む領域の切り出しについては、対象となる人物の全身が収まるように、切り出し枠の大きさが調整される。このとき、人物の周辺に非都市部地域を構成する物体、典型的には自然物が写り込んでいることが好ましい。なお、１つの切り出し領域に複数の人物が写り込んでいても構わない。

同様に、非都市部地域で撮像された画像から人物が写っていない領域（非人物領域）を２：１のアスペクト比で切り出し、規定の大きさになるように拡大処理または縮小処理して、非人物画像の画像データを生成する。非人物画像データは、不正解のタグ情報が付与される。ここで、切り出しの対象とする非人物領域は、非都市部地域を構成する物体、典型的には自然物のうち、その輪郭がおよそ２：１であるものが選ばれる。図の例では、樹木であり、この他にも雑草、田畑等も対象となり得る。ただし、本実施形態のように生成された学習済みモデルセットをドライブレコーダの一部として装備される人物領域判定装置に組み込むような場合には、非都市部地域の道路を走行中に観察される人工物も非人物領域として切り出しても良い。例えば、踏切の警報器や交通標識も対象として良い。このようなアスペクト比の輪郭を有する背景物体は、非都市部地域において人物と誤認識される場合が多いので、本実施形態においては、非人物画像の画像データを不正解の画像データとして積極的に学習させる。

次に、このような前準備によって用意された都市部地域における人物画像データと非人物画像データ、および非都市部地域における人物画像データと非人物画像データを教師データとして人物判定用の学習済みモデルセットを生成する生成装置１００について説明する。図３は、学習済みモデルセットを生成する生成装置１００の構成を示すブロック図である。生成装置１００は、機械学習装置であり、汎用の計算機を用いることもできる。なお、ＧＰＧＰＵ(General-Purpose computing on Graphics Processing Units)や大規模ＰＣクラスターを利用すれば、より高速に処理できる。

生成装置１００は、主に、画像取得部１１０、操作入力部１２０、演算部１３０、出力部１４０を備える。画像取得部１１０は、上述のように用意された都市部地域における人物画像データと非人物画像データ、および非都市部地域における人物画像データと非人物画像データを取り込む。それぞれの人物画像データおよび非人物画像データがネットワークを介して送られて来るのであれば、画像取得部１１０は、例えばＬＡＮインタフェースである。

操作入力部１２０は、ユーザの入力操作を受け付けるインタフェースであり、モニタに重畳されたタッチパネルやキーボード等である。画像取得部１１０が取得する画像データに「正解」または「不正解」のタグ情報が付与されていない場合には、ユーザは、当該画像データの画像を確認しながら操作入力部１２０を操作して「正解」または「不正解」の情報を当該画像データに付与することができる。また、タグ情報に誤りがある場合には、修正することができる。

演算部１３０は、処理プロセッサであり、生成装置１００全体の制御とさまざまな演算処理とを担う。演算部１３０が担う機能実行部としての第１生成部１３１は、画像取得部１１０で取得された画像データのうち、都市部地域で撮像された画像から切り出されて作成された人物画像データを正解、非人物画像データを不正解として教師あり学習を行う。このような機械学習を行うことにより、入力画像データに人物が写っている確からしさをスコアとして出力する都市部地域用学習済みモデルである第１モデルを生成する。演算部１３０が担う機能実行部としての第２生成部１３２は、画像取得部１１０で取得された画像データのうち、非都市部地域で撮像された画像から切り出されて作成された人物画像データを正解、非人物画像データを不正解として教師あり学習を行う。

このような機械学習を行うことにより、入力画像データに人物が写っている確からしさをスコアとして出力する非都市部地域用学習済みモデルである第２モデルを生成する。本実施形態においてスコアは、０から１までの値として出力され、１に近いほど人物が写っている確からしさが大きいことを表す。したがって、第１生成部１３１および第２生成部１３２は、人物画像データが入力された場合の出力値と１との誤差を減らすように、また非人物画像データが入力された場合の出力と０との誤差を減らすように、例えば誤差逆伝播法を用いてエッジの重みを調整する学習を繰り返す。

出力部１４０は、第１生成部１３１が生成した第１モデル、第２生成部１３２が生成した第２モデルを学習済みモデルセットとして外部装置へ出力する。外部装置がネットワークを介して接続されているのであれば、出力部１４０は、例えばＬＡＮインタフェースである。画像取得部１１０も同一のインタフェースで構成されるのであれば、１つのインタフェースを画像取得部１１０と出力部１４０で共用しても良い。外部装置は、例えば、出力された第１モデルおよび第２モデルを記憶しておくための記憶装置や、出力された第１モデルおよび第２モデルを後述する判定装置へ実装するためのシステムサーバである。

なお、生成装置１００は、図１および図２を用いて説明した前準備を行うための構成を備えていても良い。生成装置１００が前準備を行うための構成を備えるのであれば、学習済みモデルセットを生成するまでの処理を、一貫して行うことができる。具体的には、画像取得部１１０が都市部地域および非都市部地域でそれぞれ撮像された画像の画像データを取り込むと、ユーザは、不図示のモニタに表示されたそれらの画像を視認しながら、操作入力部１２０を操作して上述の切り出し作業を行う。演算部１３０は、切り出された領域を規定の大きさになるように拡大処理または縮小処理して、それぞれの地域に対応する人物画像データおよび非人物画像データを生成する。また、ユーザは、操作入力部１２０を操作してそれぞれの画像データに「正解」または「不正解」のタグ情報を付与する。このように準備された人物画像データと非人物画像データは、不図示の記憶部へ一旦記憶され、第１生成部１３１および第２生成部１３２へ順次供給される。

図４は、学習済みモデルセットを生成する処理手順を示すフロー図である。ここでは、「正解」または「不正解」のタグ情報が付与され人物画像データと非人物画像データが画像取得部１１０によって取得された状態からの処理手順を説明する。

第１生成部１３１は、ステップＳ１０１で、都市部地域の人物画像データを選択的に取り込み、学習を実行する。具体的には、教師データである都市部地域の人物画像データを入力すると１に近い値を出力するように、第１モデルのエッジの重みを調整する。第１生成部１３１は、ステップＳ１０２で、都市部地域の非人物画像データを選択的に取り込み、学習を実行する。具体的には、教師データである都市部地域の非人物画像データを入力すると０に近い値を出力するように、第１モデルのエッジの重みを調整する。ステップＳ１０１とステップＳ１０２は逆順であっても良いし、取り込んだ都市部地域の画像データが人物画像データか非人物画像データかを認識して、それに応じた処理を行っても良い。第１生成部１３１は、第１モデルの学習が完了したら、ステップＳ１０３で、出力部１４０から当該第１モデルを出力する。

第２生成部１３２は、ステップＳ１０４で、非都市部地域の人物画像データを選択的に取り込み、学習を実行する。具体的には、教師データである非都市部地域の人物画像データを入力すると１に近い値を出力するように、第２モデルのエッジの重みを調整する。第２生成部１３２は、ステップＳ１０４で、非都市部地域の非人物画像データを選択的に取り込み、学習を実行する。具体的には、教師データである非都市部地域の非人物画像データを入力すると０に近い値を出力するように、第２モデルのエッジの重みを調整する。ステップＳ１０４とステップＳ１０５は逆順であっても良いし、取り込んだ非都市部地域の画像データが人物画像データか非人物画像データかを認識して、それに応じた処理を行っても良い。第２生成部１３２は、第２モデルの学習が完了したら、ステップＳ１０６で、出力部１４０から当該第２モデルを出力する。

第１モデルおよび第２モデルの出力が完了したら、一連の処理を終了する。なお、ステップＳ１０１からステップＳ１０３における第１生成部１３１の処理と、ステップＳ１０４からステップＳ１０６における第２生成部１３２の処理の順序は入れ替えても良いし、それぞれの処理が並列して行われても良い。

次に、生成装置１００によって生成された学習済みモデルセットが組み込まれた判定装置３００について説明する。判定装置３００は、人物領域判定装置の一例である。本実施形態において人物領域を判定する判定装置３００は、運転支援システム装置やドライブレコーダの一部として装備される。図５は、判定装置３００を搭載した車両の室内から走行方向を観察した様子を示す概略図である。なお、図５においては、搭乗者の描画を省いている。

判定装置３００は、カメラユニット３２０を備え、カメラユニット３２０は、フロントガラス越しに前方の様子を撮像する。判定装置３００は、ナビシステム５００と連動しており、カメラユニット３２０が撮像した画像は、ナビシステム５００が備える表示パネル５１０に撮像画像５１２として表示される。

判定装置３００は、車両が走行可能な状態においてカメラユニット３２０に撮像を行わせて、撮像画像をナビシステム５００へ送信する。さらに、判定装置３００は、当該撮像画像を解析して画像内に人物が写り込んでいるか否かを判定し、人物が写り込んでいる場合には、その領域の位置情報をナビシステム５００へ送信する。

ナビシステム５００は、人物領域の位置情報を受信すると、撮像画像５１２の人物領域に対してＣＧで描画する人物枠５１３を重畳すると共に、警告表示５１４を表出させる。警告表示５１４は、例えば図示するように「注意！」のように、テキストやアニメーションを用いて目立つように表示される。警告は、音声を伴っても良い。運転者は、このような警告を認知することで、より安全な運転を行うことができる。

次に、カメラユニット３２０が撮像した撮像画像５１２から人物が写り込んでいる領域を判定するまでの処理について説明する。図６は、撮像画像５１２から判定画像ＣＦを切り出す手法を説明する説明図である。ここでは、車両が非都市部地域を走行している場合を想定して説明する。

判定装置３００は、撮像画像５１２を取得すると、予め設定されたアスペクト比のフレーム窓ＦＷを生成する。ここで設定されているアスペクト比は、上述の第１モデルおよび第２モデルが学習した人物画像および非人物画像のアスペクト比と等しい。また、フレーム窓ＦＷは、撮像画像中に現れ得る人物の大きさを考慮して、異なる大きさのものが複数用意されており、それぞれの大きさのフレーム窓ＦＷに対して以下の処理が実行される。

判定装置３００は、生成したフレーム窓ＦＷを撮像画像５１２の画像領域上を所定幅ずつずらしつつ走査する。そして、走査されるそれぞれの位置においてフレーム窓ＦＷに囲われた画像領域に対して輪郭抽出を行い、フレーム窓ＦＷに適応する物体が存在するか否かを判断する。具体的には、例えばフレーム窓ＦＷの面積に対して５０％以上の面積を有する閉じた輪郭が存在する場合に、適応する物体が存在すると判断する。

判定装置３００は、フレーム窓ＦＷに適応する物体が存在すると判断した場合には、そのフレーム窓ＦＷで囲われた領域を判定画像ＣＦとして切り出す。切り出された判定画像ＣＦは、第１モデルおよび第２モデルが入力画像データとして受け付ける形式に整形され、順番に判定画像データＣＦ_１、ＣＦ_２、ＣＦ_３…として保存される。それぞれの判定画像データには、撮像画像５１２のどの領域を切り出したかを表す切出座標情報が関連付けられる。

図７は、撮像画像５１２から切り出された判定画像ＣＦが人物領域であるか否かを判定する手法を説明する説明図である。判定装置３００は、上段に示す判定画像ＣＦ_ｍを、非都市部地域用学習済みモデルである第２モデルへ入力する。その結果としてスコア＝０．０１２７が出力されたとする。判定装置３００は、スコア＝０．０１２７が人物だと判定する閾値（例えば、０．７５）以下であるので、判定画像ＣＦ_ｍの領域は人物領域ではないと判定する。

同様に、判定装置３００は、下段に示す判定画像ＣＦ_ｎを第２モデルへ入力する。その結果としてスコア＝０．８７５２が出力されたとする。判定装置３００は、スコア＝０．８７５２が閾値を超えているので、判定画像ＣＦ_ｎの領域は人物領域と判定する。判定装置３００は、人物領域と判定した判定画像ＣＦの切出座標情報と共に撮像画像５１２をナビシステム５００へ送信すると、ナビシステム５００は、上述のように撮像画像５１２に人物枠５１３を重畳して表示することができる。撮像画像５１２に複数の人物領域が存在する場合には、それぞれの領域に対して人物枠５１３が重畳される。カメラユニット３２０は、例えば３０ｆｐｓで撮像画像を生成するので、判定装置３００は、生成される撮像画像に対して逐次上述の処理を実行する。

なお、図５から図７の例は、車両が非都市部地域を走行する例であったが、都市部地域を走行する場合には、適用する学習済みモデルが都市部地域用学習済みモデルである第１モデルに切り替えられる。その他の処理については、都市部地域を走行する場合も同様である。このような手法により、都市部地域と非都市部地域のそれぞれに対応する学習済みモデルを用意して、現時点の環境に合わせて選択的にこれらを使い分ければ、それぞれの環境に応じて、入力画像に人物が写っているか否かを高い確率で判定することができる。

次に、入力画像から人物領域を判定する判定装置３００の構成について説明する。図８は、判定装置３００の構成を示すブロック図である。判定装置３００は、主に、演算部３１０、カメラユニット３２０、画像処理部３３０、ＧＰＳユニット３４０、出力部３５０、記憶部３６０を備える。演算部３１０は、処理プロセッサであり、判定装置３００全体の制御とさまざまな演算処理とを担う。カメラユニット３２０は、レンズや撮像素子を含み、周辺環境を撮像して撮像信号を生成し、画像処理部３３０へ出力する。画像処理部３３０は、カメラユニット３２０から撮像信号を受け取って、規定のフォーマットに従って撮像画像データを生成する。また、画像処理部３３０は、当該撮像画像データに対して上述の切出し処理や整形処理等を実行して判定画像データを生成する。なお、カメラユニット３２０は、外部装置として判定装置３００に有線または無線で接続される構成であっても良い。この場合、判定装置３００は、カメラユニット３２０から画像信号を受け取るインタフェースとしての画像取得部を備えれば良い。

ＧＰＳユニット３４０は、ＧＰＳ信号を受信し、現在位置を緯度経度情報に変換して演算部３１０へ引き渡す。なお、ＧＰＳユニット３４０は、外部装置として判定装置３００に有線または無線で接続される構成であっても良い。この場合、判定装置３００は、ＧＰＳユニット３４０から現在位置の緯度経度情報を受け取るインタフェースとしての情報取得部を備えれば良い。出力部３５０は、上述のように、生成されたカメラユニット３２０で撮像され画像処理部３３０で生成された撮像データと、人物領域と判定した判定画像ＣＦの切出座標情報を外部装置（本実施形態においては、ナビシステム５００）へ出力する。

記憶部２１７は、例えばＳＳＤ（Solid State Drive）であり、判定装置３００を制御するための制御プログラムや人物用域の判定演算を行わせるための判定プログラムの他にも、制御や演算に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。特に、生成装置１００で生成された第１モデル３６１および第２モデル３６２、判定装置３００が利用されると想定される範囲の地図情報３６３を格納している。地図情報３６３の地図には、上述のように規定された都市部地域と非都市部地域が記述されている。

演算部３１０が担う機能実行部としての地域判断部３１１は、ＧＰＳユニット３４０から緯度経度情報を受け取り、地図情報３６３を参照して、現地点が都市部地域に位置するのか、非都市部地域に位置するのかを判断して、その判断結果を読出部３１２へ引き渡す。読出部３１２は、当該判断結果が都市部地域に位置するものであった場合に、記憶部３６０から第１モデル３６１を読み出し、非都市部地域に位置するものであった場合に、記憶部３６０から第２モデル３６２を読み出す。

判定部３１３は、画像処理部３３０が撮像画像データから生成した判定画像データを、読出部３１２が読み出した学習済みモデルに順次入力して、スコアを算出させる。算出されたスコアが予め設定された閾値を超えていれば、当該判定画像データに対応する撮像画像領域を人物領域と判定する。

図９は、人物領域を判定する処理手順を示すフロー図である。ここでは、車両が走行可能な状態になった時点からの処理手順を説明する。判定装置３００は、ステップＳ２０１で、撮像画像データを取得する。具体的には、画像処理部３３０が、カメラユニット３２０から撮像信号を受け取り、撮像画像データを生成する。地域判断部３１１は、ステップＳ２０２で、ＧＰＳユニット３４０から緯度経度情報を受け取り、記憶部３６０の地図情報３６３を参照して、現地点が都市部地域に位置するのか、非都市部地域に位置するのかを判断する。

ステップＳ２０３へ進み、読出部３１２は、ステップＳ２０２の判断結果が都市部地域に位置するものであった場合に、記憶部３６０から第１モデル３６１を読み出し、非都市部地域に位置するものであった場合に、記憶部３６０から第２モデル３６２を読み出す。演算部３１０は、ステップＳ２０４で、画像処理部３３０と協働して、ステップＳ２０１で取得した撮像画像データの画像から判定画像ＣＦを切り出す。画像処理部３３０は、切り出した判定画像ＣＦから判定画像データを生成する。ステップＳ２０５へ進み、演算部３１０は、用意されたフレーム窓ＦＷの全てに対して走査処理を完了したか、すなわち、切出し処理を完了したか否かを判断する。完了していなければステップＳ２０４へ戻り、完了していればステップＳ２０６へ進む。

判定部３１３は、ステップＳ２０６で、生成した判定画像データのそれぞれをステップＳ２０３で読み出した学習済みモデルへ順次入力して、スコアを算出させる。算出されたスコアが予め設定された閾値を超えていれば、当該判定画像データに対応する撮像画像領域を人物領域と判定する。ここで適用する閾値は、第１モデル３６１が出力したスコアに対して用いる第１閾値と、第２モデル３６２が出力したスコアに対して用いる第２閾値を設定しても良い。すなわち、第１モデル３６１を用いるか第２モデル３６２を用いるかで適用する閾値を異ならせても良い。この場合、第１閾値は、第２閾値よりも大きいことが好ましい。都市部地域において背景物体となり得る人工物は多種多様であるので、第１モデルは、判定画像に人物が含まれていなくても比較的高いスコアを出力する傾向にある。このように、第１閾値を第２閾値よりも大きな値とすれば、都市部地域において人物領域をより正しく判定することができる。

ステップＳ２０７へ進み、演算部３１０は、ステップＳ２０１で取得した撮像画像データと、ステップＳ２０６で人物領域と判定した判定画像の切出座標情報とを出力部３５０から外部装置へ出力する。演算部３１０は、ステップＳ２０８で、終了指示があったか否かを確認する。終了指示は、車両が停止したり、判定装置３００の電源ボタンがオフにされたりした場合に生成される。終了指示がなければステップＳ２０１へ戻る。終了指示があれば、一連の処理を終了する。

以上説明した本実施形態においては、可視光を撮像した可視画像を前提としたが、赤外光を撮像した赤外画像であっても良い。赤外画像は、可視画像に比べて画素数が少なく粗い画像であることが多いことと、遠赤外領域を撮影する場合は、撮影対象物が発する熱を画像として取得するため、熱源の多い都市部地域では人物に近いアスペクト比の物体が人物として誤認識されやすい。このため、赤外画像（遠赤外画像を含む）から人物領域を判定する場合に上記の手法は特に有効である。

また、以上説明した本実施形態においては、第１モデル３６１へ入力する判定画像のアスペクト比と第２モデル３６２へ入力する判定画像のアスペクト比を同一としたが、互いに異ならせても良い。それぞれの対象地域において誤認識を生じやすい背景物体があれば、その背景物体の輪郭に合わせてアスペクト比を個別に設定しても良い。

また、以上説明した本実施形態においては、車両に搭載される判定装置３００を想定したが、人物領域を判定する判定装置の用途はこれに限らない。車両に搭載されるのであれば、自動車道を想定して対象地域を都市部地域と非都市部地域に分けるのが有効であるが、異なる用途に用いるのであれば、対象地域をその用途に応じて区分するのが好ましい。例えば、都市部地域内であっても住宅部地域と商業部地域との区分や、公園部地域と非公園部地域、非都市部地域内であっても住宅部地域と郊外部地域などである。また、区分数も２つに限らず、３つ以上に区分しても良い。この場合、学習済みモデルは、対象地域の区分に応じて生成される。

また、以上説明した本実施形態においては、判定装置３００が運転支援システム装置やドライブレコーダの一部として装備される場合を想定したが、車両と通信によって接続される、遠隔地に設置されたサーバが判定装置の機能を担っても構わない。この場合、サーバは、車両に設置されたカメラユニットで撮像された撮像画像データを受け取り、人物領域を判定して人物領域の座標情報を車両の運転支援システム装置等に返せば良い。

１００生成装置、１１０画像取得部、１２０操作入力部、１３０演算部、１３１第１生成部、１３２第２生成部、１４０出力部、３００判定装置、３１０演算部、３１１地域判断部、３１２読出部、３１３判定部、３２０カメラユニット、３３０画像処理部、３４０ＧＰＳユニット、３５０出力部、３６０記憶部、３６１第１モデル、３６２第２モデル、３６３地図情報、５００ナビシステム、５１０表示パネル、５１２撮像画像、５１３人物枠、５１４警告表示、９０１人

Claims

第１対象地域で撮像された、人物が写る第１人物画像データを正解、人物が写らない第１非人物画像データを不正解として与えて教師あり学習をさせることにより、入力画像データに人物が写っている確からしさをスコアとして出力する第１の学習済みモデルを生成する第１生成部と、
前記第１対象地域とは異なる第２対象地域で撮像された、人物が写る第２人物画像データを正解、人物が写らない第２非人物画像データを不正解として与えて教師あり学習をさせることにより、入力画像データに人物が写っている確からしさをスコアとして出力する第２の学習済みモデルを生成する第２生成部と
を備える人物判定用の学習済みモデルセットの生成装置。
前記第１人物画像データおよび前記第１非人物画像データは、前記第１対象地域で撮像された第１画像から予め設定されたアスペクト比で切り出された画像領域に基づいて作成されたものであり、
前記第２人物画像データおよび前記第２非人物画像データは、前記第２対象地域で撮像された第２画像から前記アスペクト比で切り出された画像領域に基づいて作成されたものであり、
前記アスペクト比は、横の長さよりも縦の長さが大きい請求項１に記載の生成装置。
第１対象地域で撮像された、人物が写る第１人物画像データを正解、人物が写らない第１非人物画像データを不正解として与えて教師あり学習をさせることにより、入力画像データに人物が写っている確からしさをスコアとして出力する第１の学習済みモデルを生成する第１生成ステップと、
前記第１対象地域とは異なる第２対象地域で撮像された、人物が写る第２人物画像データを正解、人物が写らない第２非人物画像データを不正解として与えて教師あり学習をさせることにより、入力画像データに人物が写っている確からしさをスコアとして出力する第２の学習済みモデルを生成する第２生成ステップと
を含む人物判定用の学習済みモデルセットの生成方法。
第１対象地域で撮像された、人物が写る第１人物画像データを正解、人物が写らない第１非人物画像データを不正解として与えて教師あり学習をさせることにより、入力画像データに人物が写っている確からしさをスコアとして出力する第１の学習済みモデルを生成する第１生成ステップと、
前記第１対象地域とは異なる第２対象地域で撮像された、人物が写る第２人物画像データを正解、人物が写らない第２非人物画像データを不正解として与えて教師あり学習をさせることにより、入力画像データに人物が写っている確からしさをスコアとして出力する第２の学習済みモデルを生成する第２生成ステップと
をコンピュータに実行させる人物判定用の学習済みモデルセットの生成プログラム。
第１対象地域で撮像された、人物が写る第１人物画像データを正解、人物が写らない第１非人物画像データを不正解として与えて教師あり学習をさせることにより生成された、入力画像データに人物が写っている確からしさをスコアとして出力する第１の学習済みモデルと、前記第１対象地域とは異なる第２対象地域で撮像された、人物が写る第２人物画像データを正解、人物が写らない第２非人物画像データを不正解として与えて教師あり学習をさせることにより生成された、入力画像データに人物が写っている確からしさをスコアとして出力する第２の学習済みモデルとを含む人物判定用の学習済みモデルセットを記憶する記憶部と、
移動体に搭載されたカメラが出力した撮像画像データを取得する取得部と、
前記移動体が予め定められたいずれの対象地域に位置するかを判断する判断部と、
前記移動体が前記第１対象地域に位置すると前記判断部が判断した場合に、前記記憶部から前記第１の学習済みモデルを読み出し、前記移動体が前記第２対象地域に位置すると前記判断部が判断した場合に、前記記憶部から前記第２の学習済みモデルを読み出す読出部と、
前記取得部が取得した前記撮像画像データの画像に対し前記読出部が読み出した学習済みモデルを用いて前記スコアを算出させ、前記スコアが予め定められた閾値を超える特定の画像領域を人物領域と判定する判定部と
を備える人物領域判定装置。
前記第１対象地域は都市部の地域として規定された地域であり、前記第２対象地域は都市部以外の地域として規定された地域であり、
前記閾値は、前記第１の学習済みモデルが出力したスコアに対して用いる第１閾値と、前記第２の学習済みモデルが出力したスコアに対して用いる第２閾値とを含み、
前記第１閾値は、前記第２閾値よりも大きい請求項５に記載の人物領域判定装置。
第１対象地域で撮像された、人物が写る第１人物画像データを正解、人物が写らない第１非人物画像データを不正解として与えて教師あり学習をさせることにより生成された、入力画像データに人物が写っている確からしさをスコアとして出力する第１の学習済みモデルと、前記第１対象地域とは異なる第２対象地域で撮像された、人物が写る第２人物画像データを正解、人物が写らない第２非人物画像データを不正解として与えて教師あり学習をさせることにより生成された、入力画像データに人物が写っている確からしさをスコアとして出力する第２の学習済みモデルとを含む人物判定用の学習済みモデルセットを記憶する記憶部を利用して人物領域を判定する人物領域判定方法であって、
移動体に搭載されたカメラが出力した撮像画像データを取得する取得ステップと、
前記移動体が予め定められたいずれの対象地域に位置するかを判断する判断ステップと、
前記移動体が前記第１対象地域に位置すると前記判断ステップで判断された場合に、前記記憶部から前記第１の学習済みモデルを読み出し、前記移動体が前記第２対象地域に位置すると前記判断ステップで判断された場合に、前記記憶部から前記第２の学習済みモデルを読み出す読出ステップと、
前記取得ステップで取得された前記撮像画像データの画像に対し前記読出ステップで読み出された学習済みモデルを用いて前記スコアを算出させ、前記スコアが予め定められた閾値を超える特定の画像領域を人物領域と判定する判定ステップと
を含む人物領域判定方法。
第１対象地域で撮像された、人物が写る第１人物画像データを正解、人物が写らない第１非人物画像データを不正解として与えて教師あり学習をさせることにより生成された、入力画像データに人物が写っている確からしさをスコアとして出力する第１の学習済みモデルと、前記第１対象地域とは異なる第２対象地域で撮像された、人物が写る第２人物画像データを正解、人物が写らない第２非人物画像データを不正解として与えて教師あり学習をさせることにより生成された、入力画像データに人物が写っている確からしさをスコアとして出力する第２の学習済みモデルとを含む人物判定用の学習済みモデルセットを記憶する記憶部を利用して人物領域を判定する人物領域判定プログラムであって、
移動体に搭載されたカメラが出力した撮像画像データを取得する取得ステップと、
前記移動体が予め定められたいずれの対象地域に位置するかを判断する判断ステップと、
前記移動体が前記第１対象地域に位置すると前記判断ステップで判断された場合に、前記記憶部から前記第１の学習済みモデルを読み出し、前記移動体が前記第２対象地域に位置すると前記判断ステップで判断された場合に、前記記憶部から前記第２の学習済みモデルを読み出す読出ステップと、
前記取得ステップで取得された前記撮像画像データの画像に対し前記読出ステップで読み出された学習済みモデルを用いて前記スコアを算出させ、前記スコアが予め定められた閾値を超える特定の画像領域を人物領域と判定する判定ステップと
をコンピュータに実行させる人物領域判定プログラム。