JP2019028840A - 車両用安全判定装置、方法及びプログラム - Google Patents

Abstract

【課題】 的確な安全判定を行うことが可能な車両用安全判定装置を提供する。【解決手段】 車両用安全判定装置では、画像認識記録部１２は、画像内の各認識対象の種類、位置及び形状を認識して記録すると共に、各認識対象の内から安全判断の対象となる対象者を検出する。予測経路算出部１６は、対象者についての画像認識の認識結果に基づいて、対象者の予測経路を算出する。安全判定部２４は、予測経路に基づいて、車両と対象者とが最も接近する最接近時間における対象者の予測位置を算出し、対象者を除く少なくとも１つの認識対象の種類、位置及び形状と予測位置とに基づいて、対象者の安全判定を行う。【選択図】 図１

Description

本発明は、対象者の安全を判定する車両用安全判定装置、方法及びプログラムに関する。

従来、車両の安全運転を実現するために、車載カメラによって取得された画像の認識結果に基づいて、歩行者等の安全を判定し、当該安全判定の判定結果に基いて、車両の制御や運転者への告知を行う様々な安全運転装置が提案されている（例えば、特許文献１参照）。

特開２０１６−１９２１０４号公報

しかしながら、従来の安全運転装置の画像認識では、画像内に全体が包含された認識対象について、個別にその種類と概略位置を認識するにすぎず、的確な安全判定を行うことが困難であった。

本発明は上記課題に鑑みてなされたものであり、その目的は、的確な安全判定を行うことが可能な車両用安全判定装置、方法及びプログラムを提供することにある。

本発明は上記課題を解決するために以下の技術的手段を採用する。特許請求の範囲及びこの項に記載した括弧内の符号は、一つの態様として後述する実施の形態に記載の具体的手段との対応関係を示す一例であって、本発明の技術的範囲を限定するものではない。

本発明の第1実施態様は、車両から観察される画像を取得する画像取得部（１０）と、前記画像取得部によって取得された画像に基づいて、画像内の各認識対象の種類、位置及び形状を認識して記録すると共に、各認識対象の内から安全判断の対象となる対象者を検出する画像認識記録部（１２）と、前記画像認識記録部に記録された前記対象者についての画像認識の認識結果に基づいて、前記対象者の予測経路を算出する予測経路算出部（１６）と、前記車両の走行状態を検出する走行状態検出部（１８）と、前記対象者の車両からの距離及び移動状態を検出する距離移動状態検出部（２０）と、前記車両の走行状態並びに前記対象者の車両からの距離及び移動状態に基づいて、前記車両と前記対象者とが最も接近する最接近時間を算出する最接近時間算出部（２２）と、前記予測経路に基づいて前記最接近時間における前記対象者の予測位置を算出し、前記画像認識記録部によって認識された前記対象者を除く少なくとも１つの認識対象の種類、位置及び形状と前記予測位置とに基づいて、前記対象者の安全判定を行う安全判定部（２４）と、を具備する車両用安全判定装置である。

本発明の第２実施態様は、車両から観察される画像を取得する画像取得ステップと、前記画像取得ステップによって取得された画像に基づいて、画像内の各認識対象の種類、位置及び形状を認識して記録すると共に、各認識対象の内から安全判断の対象となる対象者を検出する画像認識記録ステップと、前記画像認識記録ステップに記録された前記対象者についての画像認識の認識結果に基づいて、前記対象者の予測経路を算出する予測経路算出ステップと、前記車両の走行状態を検出する走行状態検出ステップと、前記対象者の車両からの距離及び移動状態を検出する距離移動状態検出ステップと、前記車両の走行状態並びに前記対象者の車両からの距離及び移動状態に基づいて、前記車両と前記対象者とが最も接近する最接近時間を算出する最接近時間算出ステップと、前記予測経路に基づいて前記最接近時間における前記対象者の予測位置を算出し、前記画像認識記録ステップによって認識された前記対象者を除く少なくとも１つの認識対象の種類、位置及び形状と前記予測位置とに基づいて、前記対象者の安全判定を行う安全判定ステップと、を具備する車両用安全判定方法である。

本発明の第３実施態様は、コンピュータに、車両から観察される画像を取得する画像取得機能と、前記画像取得機能によって取得された画像に基づいて、画像内の各認識対象の種類、位置及び形状を認識して記録すると共に、各認識対象の内から安全判断の対象となる対象者を検出する画像認識記録機能と、前記画像認識記録機能に記録された前記対象者についての画像認識の認識結果に基づいて、前記対象者の予測経路を算出する予測経路算出機能と、前記車両の走行状態を検出する走行状態検出機能と、前記対象者の車両からの距離及び移動状態を検出する距離移動状態検出機能と、前記車両の走行状態並びに前記対象者の車両からの距離及び移動状態に基づいて、前記車両と前記対象者とが最も接近する最接近時間を算出する最接近時間算出機能と、前記予測経路に基づいて前記最接近時間における前記対象者の予測位置を算出し、前記画像認識記録機能によって認識された前記対象者を除く少なくとも１つの認識対象の種類、位置及び形状と前記予測位置とに基づいて、前記対象者の安全判定を行う安全判定機能と、を実現させるための車両用安全判定プログラムである。

本発明では、的確な安全判定を行うことが可能となっている。

本発明の一実施形態の安全運転装置を示すブロック図。 本発明の一実施形態の安全運転方法を示すフロー図。 本発明の一実施形態の予測経路算出ステップを示すフロー図。 本発明の一実施形態の安全判定ステップを示すフロー図。 本発明の一実施形態の安全制御ステップを示すフロー図。

図１乃至図５を参照して、本発明の一実施形態を説明する。
本実施形態の車両用安全運転装置及び方法では、例えば、次のようなステップを行う。即ち、単眼の車載カメラによって車両から観察される画像を取得し、セマンティックセグメンテーションのような画像認識手法を用いて、画像内の歩行者、車道、歩道、ガードレール等の位置及び形状を認識する。画像認識の認識結果に基づいて歩行者の従前の歩行経路を算出し、従前の歩行経路から算出された将来の予測歩行経路から、車両と歩行者とが最も接近する最接近時間における歩行者の予測位置を算出する。画像認識によって認識された車道の分布範囲に基づいて、予測位置における歩行者の車道からの距離を算出し、当該距離に基づいて歩行者の安全判定を行う。また、画像認識によって認識されたガードレール等の分布範囲に基づいて、歩行者の予測歩行経路上に、歩行者の車道への進入を防止するガードレール等の対象が存在するか否か検出し、かかる対象の存否に基づいて歩行者の安全判定を行う。そして、画像認識によって認識された歩行者の接地位置に基づき、歩行者が車道上、歩道上のどこにいるかといった歩行者の配置を検出し、歩行者の安全判定の判定結果を歩行者の配置と共に車両の運転者に告知する。

図１を参照して、本実施形態の車両用安全運転装置の概略構成について説明する。

安全運転装置において、画像取得部１０は、車両から観察される画像を取得する機能を有する。画像認識記録部１２は、データベース１４に蓄積された画像認識の学習データを利用して、画像取得部１０によって取得された画像に基づいて、画像内の各認識対象の種類、位置及び形状を認識して記録する機能を有する。また、画像認識記録部１２は、各認識対象の内から安全判断の対象となる対象者を検出する機能を有する。

予測経路算出部１６は、画像認識記録部１２に記録された各対象者についての画像認識の認識結果に基づいて、各対象者について従前の経路を算出し、算出された従前の経路から将来の予測経路を算出する機能を有する。

走行状態検出部１８は、車両の走行状態を検出する機能を有する。距離移動状態検出部２０は、各対象者の車両からの距離及び移動状態を検出する機能を有する。最接近時間算出部２２は、走行状態検出部１８によって検出された走行状態と、距離移動状態検出部２０によって検出された各対象者の車両からの距離及び移動状態とに基づいて、車両と各対象者とが最も接近する最接近時間を算出する機能を有する。

安全判定部２４は、予測経路算出部１６によって算出された予測経路、最接近時間算出部２２によって算出された最接近時間、及び、画像認識記録部１２による画像認識の認識結果に基づいて、各対象者の内で安全に注意が必要な注意対象者を検出し、各注意対象者について安全度を算出する機能を有する。

安全制御部２６は、安全判定部２４によって算出された各注意対象者の安全度に基づいて、各注意対象者の内から特に安全に注意すべき警告対象者を決定する機能を有する。そして、安全制御部２６は、車両制御部３２を制御して、各警告対象者について、最接近時間算出部２２によって算出された最接近時間に基づいて、車両を自動運転する機能を有する。また、位置配置検出部２８は、画像認識記録部１２による画像認識の認識結果に基づいて、各警告対象者の位置及び配置を検出する機能を有する。属性検出部３０は、画像取得部１０によって取得された画像に基づいて、各警告対象者の属性を検出する機能を有する。安全制御部２６は、告知部３４を制御して、位置配置検出部２８及び属性検出部３０によって検出された各警告対象者の位置、配置及び属性を車両の運転者に告知する機能を有する。

図２乃至図５を参照して、本実施形態の車両用安全運転方法について説明する。
図２を参照して、車両用安全運転方法の概略を説明する。
安全運転方法は、以下の各ステップを有する。
なお、安全運転方法の各ステップの内、画像認識記録ステップ（Ｓ１２）、予測経路算出ステップ（Ｓ１５）、安全判定ステップ（Ｓ１９）及び安全制御ステップ（Ｓ２２）については、改めて順次詳細に説明する。

画像取得ステップ（Ｓ１１）
車両から観察される画像を取得する。本実施形態では、単眼の車載カメラによって車両の前方画像が取得される。

画像認識記録ステップ（Ｓ１２）
画像認識の学習データを利用し、画像取得ステップにおいて取得された画像に基づいて、画像内の各認識対象の種類、位置及び形状を認識して記録する。本実施形態では、歩行者、車道、歩道、ガードレール等の位置及び形状が認識される。

対象者検出ステップ（Ｓ１３）
画像認識ステップにおいて得られた画像認識の認識結果から、安全判定の対象となる対象者を検出する。対象者としては、安全判定が必要な様々な対象者が選択される。本実施形態では、対象者として歩行者が選択される。

対象者存否判断ステップ（Ｓ１４）
安全判定の対象となる対象者が存在するか否か判断する。対象者が存在しない場合には、画像取得ステップに戻る。一方、対象者が存在する場合には、次の各ステップに進行する。

予測経路算出ステップ（Ｓ１５）
画像認識ステップにおいて得られた画像認識の認識結果から、各対象者について従前の経路を算出し、従前の経路から将来の予測経路を算出する。本実施形態では、各歩行者の予測歩行経路が算出される。

走行状態検出ステップ（Ｓ１６）
車両の走行状態を検出する。本実施形態では、各種車載センサを用いて、車両の速度、加速度及び進行方向が検出される。

距離及び移動状態検出ステップ（Ｓ１７）
各対象者の車両からの距離及び移動状態を検出する。本実施形態では、車載ミリ波レーダを用いて、歩行者の車両からの距離並びに歩行速度及び歩行方向が検出される。

最接近時間算出ステップ（Ｓ１８）
走行状態検出ステップにおいて検出された車両の走行状態と、距離及び移動状態検出ステップにおいて検出された各対象者の車両からの距離及び移動状態とに基づいて、車両と各対象者とが最も接近する最接近時間を算出する。本実施形態では、車両の速度、加速度及び進行方向と、各歩行者の車両からの距離並びに歩行速度及び歩行方向とから、車両と各歩行者との最接近時間が算出される。

安全判定ステップ（Ｓ１９）
予測経路算出ステップにおいて算出された予測経路、最接近時間算出ステップにおいて算出された最接近時間、及び、画像認識ステップにおける画像認識の認識結果に基づいて、各対象者の内で安全に注意が必要となる注意対象者を検出し、各注意対象者について安全度を算出する。

注意対象者存否判断ステップ（Ｓ２０）
安全に注意が必要となる注意対象者が存在するか否か判断する。注意対象者が存在しない場合には、安全運転方法を終了する。一方、注意対象者が存在する場合には、警告対象者決定ステップに進行する。

警告対象者決定ステップ（Ｓ２１）
安全判定ステップにおいて算出された各注意対象者の安全度に基づいて、各注意対象者の内から特に安全に注意すべき警告対象者を決定する。本実施形態では、各注意対象者の内、安全度の最も低い注意対象者を警告対象者として決定する。本実施形態の変形例では、各注意対象者の内、所定の閾値以下の安全度の注意対象者を警告対象者としてもよいし、安全度の低い下位数名を警告対象者としてもよい。

安全制御ステップ（Ｓ２２）
各警告対象者について車両の安全制御を行う。車両の安全制御では、各警告対象者について、最接近時間算出ステップにおいて算出された最接近時間に基づいて車両の自動運転を行う。また、車両の安全制御では、画像認識ステップにおける画像認識の認識結果に基づいて、警告対象者の位置及び配置を検出し、さらに警告対象者の属性を検出して、各警告対象者の位置、配置及び属性を車両の運転者に告知する。

以下、画像認識記録ステップ（Ｓ１２）について詳細に説明する。
従来の安全運転方法における画像認識では、画像内に全体が包含された認識対象について、個別にその種類と概略位置を認識するにすぎなかったが、本実施形態の安全運転方法における画像認識では、画像内の各認識対象の種類、位置及び形状を認識する。

このような画像認識手法として、例えば、セマンティックセグメンテーションが用いられる。セマンティックセグメンテーションでは、単眼カメラで撮影した画像において、画像認識の学習データを利用して、画像上の各ピクセルを認識対象の種類別に分類することが可能である。このため、例えば、歩行者、車道、歩道、ガードレール等の位置及び形状を同時に認識することができ、歩行者の歩行経路の算出、車両の走行する車道の検出、車道、歩道、ガードレール等の分布範囲の検出、歩行者の接地位置の検出等が可能となる。このような画像認識手法として、例えば、Ｖ．Ｂａｄｒｉｎａｒａｙａｎａｎ， ａｎｄ ｅｔ ａｌ．， Ｓｅｇｎｅｔ： Ａ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｅｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ， ａｒＸｉｖ ２０１５．に開示されている画像認識手法を用いることが可能である。

図３を参照して、予測経路算出ステップ（Ｓ１５）について詳細に説明する。
予測経路算出ステップでは、以下の各ステップによって、上述したように、画像認識の認識結果から、各対象者について従前の経路を算出し、従前の経路から将来の予測経路を算出する。本実施形態では、歩行者の予測歩行経路を算出する。

時刻ループステップ（Ｓ３１、Ｓ３２〜Ｓ４０、Ｓ４１）
Ｔを現在時刻、δＴを検索時間、Ｎを分割数、δｔ（＝δＴ／Ｎ）を分割時間とする。時刻ｔについて、時刻Ｔ−δＴから時刻Ｔまで、分割時間δｔ毎に、以下の総数及び位置検出ステップ並びに対象者ループステップについてループを行う。

総数及び位置検出ステップ（Ｓ３２）
時刻ｔにおける画像認識の認識結果に基づき、画像内の対象者の総数Ｍ及び各対象者の位置を検出する。

対象者ループステップ（Ｓ３４、Ｓ３５〜Ｓ３９、Ｓ４０）
時刻ｔにおいて、１番目の対象者からＭ番目の対象者まで、対象者毎に、以下の変位距離算出ステップ、変位距離判断ステップ、同一性認定ステップ及び非同一性認定ステップについてループを行う。

変位距離算出ステップ（Ｓ３６）
時刻ｔにおけるｍ番目の対象者と、時刻ｔ−δｔにおける各対象者との間の各変位距離を算出し、最小の変位距離ｌとなる時刻ｔ−δｔにおけるｍ’番目の対象者を検出する。

変位距離判断ステップ（Ｓ３７）
変位距離ｌが所定の閾値Ｌ以下となるか否か判断する。閾値Ｌは、時間δｔの間に対象者が通常移動可能な距離に適宜設定される。本実施形態では、閾値Ｌは、時間δｔの間に歩行者が通常歩行可能な距離に適宜設定される。
変位距離ｌが所定の閾値Ｌ以下である場合には、変位距離ｌは時間δｔの間に対象者が通常移動可能な距離であるから、同一性認定ステップに進行する。一方、変位距離ｌが所定の閾値Ｌ以下ではない場合には、変位距離ｌは時間δｔの間に対象者が通常移動可能な距離ではないから、非同一性認定ステップに進行する。

同一性認定ステップ（Ｓ３８）
変位距離ｌが所定の閾値Ｌ以下である場合には、変位距離ｌは時間δｔの間に対象者が通常移動可能な距離であるから、時刻ｔにおけるｍ番目の対象者は、時刻ｔ−δｔにおけるｍ’番目の対象者と同一人物であって、時刻ｔ−δｔにおけるｍ’番目の対象者の位置から時刻ｔにおけるｍ番目の対象者の位置まで移動したと認定する。

非同一性認定ステップ（Ｓ３９）
一方、変位距離ｌが所定の閾値Ｌ以下ではない場合には、変位距離ｌは時間δｔの間に対象者が通常移動可能な距離ではないから、時刻ｔにおけるｍ番目の対象者は、時刻ｔ−δｔにおけるｍ’番目の対象者と同一人物ではなく、時刻ｔにおいて初めて出現したと認定する。

経路検出ステップ（Ｓ４２）
現在時刻Ｔにおける各対象者について、最初に出現した時刻Ｔ０から現在時刻Ｔまでの分割時間δｔ毎の位置に基づいて、時刻Ｔ０から現在時刻Ｔまでの経路を算出する。

予測経路算出ステップ（Ｓ４３）
現在時刻Ｔにおける各対象者について、時刻Ｔ０から現在時刻Ｔまでの経路に基づいて、現在時刻Ｔから最接近時間後までの予測経路を算出する。本実施形態では、各歩行者について、時刻Ｔ０から現在時刻Ｔまでの歩行経路を線形に延長することで、現在時刻Ｔから最接近時間後までの予測歩行経路を算出する。

図4を参照して、安全判定ステップについて詳細に説明する。
安全判定ステップでは、以下の各ステップによって、上述したように、予測経路、最接近時間及び画像認識の認識結果に基づいて、各対象者の内で安全に注意が必要な注意対象者を検出し、各注意対象者について安全度を算出する。

予測位置算出ステップ（Ｓ５１）
対象者の予測経路に基づいて、最接近時間における対象者の予測位置を算出する。

車両距離算出ステップ（Ｓ５２）
自車両の進行方向中心線から対象者の予測位置までの車両距離ｄ１を算出する。

車両距離判断ステップ（Ｓ５３）
対象者の車両距離ｄ１が所定の閾値Ｄ１以上であるか否か判断する。閾値Ｄ１は、車両の進行方向中心線から対象者が距離Ｄ１以上離間しているのであれば、車両との位置関係上では、対象者は充分に安全であると認定できる閾値が適宜設定される。対象者の車両距離ｄ１が所定の閾値Ｄ１以上であると判断された場合には、車両との位置関係から、対象者は充分に安全であると認定できるため、非該当性認定ステップに進行する。一方、対象者の車両距離ｄ１が所定の閾値Ｄ１以上でないと判断された場合には、車両との位置関係上、対象者の安全に注意する必要があり、車道距離算出ステップに進行する。

車道距離算出ステップ（Ｓ５４）
車道距離算出ステップでは、自車両が走行する車道から対象者の予測位置までの車道距離ｄ２を算出する。対象者の予測位置が車道上にある場合には、車道距離ｄ２はゼロに設定する。上述したように、本実施形態の安全運転方法における画像認識では、車道の分布範囲を認識できるため、車両の走行する車道を検出したうえで、車道からの歩行者の距離を算出することが可能である。

車道距離判断ステップ（Ｓ５５）
車道距離判断ステップでは、対象者の車両距離ｄ２が所定の閾値Ｄ２以上であるか否か判断する。閾値Ｄ２は、車両の進行方向中心線からの車両距離ｄ１が閾値Ｄ１未満であっても、車道から対象者が距離Ｄ２以上離間しているのであれば、車道との位置関係からは、対象者は充分に安全であると判断できる閾値が適宜設定される。対象者の車道距離ｄ２が所定の閾値Ｄ２以上であると判断された場合には、車道との位置関係からは、対象者は充分に安全であると認定できるため、非該当性認定ステップに進行する。一方、対象者の車道距離ｄ２が所定の閾値Ｄ２以上でないと判断された場合には、車両及び車道との位置関係上、対象者の安全に注意する必要があり、進入防止対象検出ステップに進行する。

進入防止対象検出ステップ（Ｓ５６）
進入防止対象検出ステップでは、対象者の予測経路上において、対象者が車道へと進入するのを防止する進入防止対象が存在するか否かを検出する。進入防止対象としては、ガードレールの他、歩道橋への上り階段、地下道への下り階段、歩行者が乗車することが予想される自家用車やバス等の駐停車車両が想定される。本実施形態の安全運転方法における画像認識では、ガードレール等の分布範囲を認識でき、また、画像認識の認識結果から歩行者の予測歩行経路を算出することができるため、歩行者の予測歩行経路上にガードレール等が存在するか否かを検出することが可能である。

進入防止対象存否判断ステップ（Ｓ５７）
進入防止対象存否判断ステップでは、対象者の予測経路上に進入防止対象が存在するか否か判断する。対象者の予測経路上に進入防止対象が存在すると判断された場合には、対象者が車道に進入する可能性はなく、対象者は充分に安全であると認定できるため、非該当性認定ステップに進行する。一方、対象者の予測経路上に進入防止対象が存在しないと判断された場合には、対象者が車道に進入する可能性があり、対象者の安全に注意する必要があるため、該当性認定ステップに進行する。

該当性認定ステップ（Ｓ５８）
対象者の車両距離ｄ１が所定の閾値Ｄ１以上でないと判断され、車道距離ｄ２が所定の閾値Ｄ２以上でないと判断され、対象者の予測経路上に進入防止対象が存在しないと判断された場合には、対象者を安全に注意する必要がある注意対象者であると認定する。

安全度算出ステップ（Ｓ５９）
注意対象者について、車両距離ｄ１と車道距離ｄ２とを加算することにより、安全度ｄを算出する。車両距離ｄ１ないし車道距離ｄ２が大きいほど、対象者は車両の進行方向中心線ないし車道からより離間していることになり、より安全であるといえるため、安全度が高くなるようになっている。

非該当性認定ステップ（Ｓ６０）
対象者の車両距離ｄ１が所定の閾値Ｄ１以上と判断された場合、車両距離ｄ２が所定の閾値Ｄ２以上であると判断された場合、又は、対象者の予測経路上に進入防止対象が存在すると判断された場合には、対象者は安全に注意する必要がある注意対象者ではないと認定する。

図5を参照して、安全制御ステップについて詳細に説明する。
安全制御ステップでは、以下の各ステップにより、上述したように、各注意対象者の内で特に安全に注意すべき警告対象者について車両の安全制御を行う。

自動運転要否判断ステップ（Ｓ７１）
最接近時間Ｔｓが所定の閾値Ｔ１以下であるか否か判断する。閾値Ｔ１は、運転者自身の運転操作によって、警告対象者を安全に回避することが充分に可能な最短時間に設定される。最接近時間Ｔｓが所定の閾値Ｔ１以下であると判断された場合には、運転者自身の運転操作によっては対象者を安全に回避することが充分に可能ではないため、自動運転ステップに進行する。一方、最接近時間Ｔｓが所定の閾値Ｔ１以下ではないと判断された場合には、運転者自身の運転操作によって警告対象者を安全に回避することが充分に可能であり、告知要否判断ステップに進行する。

自動運転ステップ（Ｓ７２）
自動運転要否判断ステップにおいて、最接近時間Ｔｓが所定の閾値Ｔ１以下であると判断された場合には、車両を自動運転に移行させて、駆動装置、制動装置、操舵装置等を自動制御して、警告対象者を安全に回避する。

告知要否判断ステップ（Ｓ７３）
最接近時間Ｔｓが所定の閾値Ｔ２以上であるか否か判断する。閾値Ｔ２は、警告対象者に車両が最も接近するにはまだ充分に時間があるため、当該時点においては運転者に警告対象者の存在を告知する必要はないといえる最短時間に適宜設定される。最接近時間Ｔｓが所定の閾値Ｔ２以上であると判断された場合には、警告対象者に車両が最も接近するにはまだ充分に時間があり、当該時点においては運転者に警告対象者の存在を告知する必要はないといえるため、安全制御ステップを終了する。一方、最接近時間Ｔｓが所定の閾値Ｔ２以上であると判断された場合には、当該時点において運転者に警告対象者の存在を告知する必要があるといえるため、位置及び配置検出ステップに進行する。

位置及び配置検出ステップ（Ｓ７４）
画像認識記憶ステップにおける画像認識の認識結果に基づいて、警告対象者の位置及び配置を検出する。本実施形態では、警告対象者の位置として、運転者から視認される方向である「左前」「前」「右前」が用いられる。警告対象者の配置としては、「車道上」「歩道上」等が用いられる。上述したように、本実施形態の安全運転方法における画像認識では、車道、歩道等の分布範囲と歩行者の接地位置とを同時に認識できるため、警告対象者が「車道上」「歩道上」等のどこにいるのか検出することが可能である。

属性検出ステップ（Ｓ７５）
画像取得ステップにおいて取得された画像に基づいて、画像認識によって警告対象者の属性を検出する。本実施形態では、警告対象者の属性として、着衣や荷物の種類、年齢、性別等が用いられる。このような画像認識として、例えば、Ｙ． Ｄｅｎｇ， ａｎｄ ｅｔ ａｌ．， Ｐｅｄｅｓｔｒｉａｎ ａｔｔｒｉｂｕｔｅ ｒｅｃｏｇｎｉｔｉｏｎ ａｔ ｆａｒ ｄｉｓｔａｎｃｅ， ＡＣＭ ＭＭ ２０１４．に開示されている画像認識を用いることが可能である。

警告文作成ステップ（Ｓ７６）
位置及び配置検出ステップにおいて検出された警告対象者の位置及び配置、並びに、属性検出ステップによって検出された警告対象者の属性に基づいて、警告文を作成する。本実施形態では、例えば、「『左前』の『歩道』上にいる『赤い服』の『若い』『男性』に注意してください」といった警告文を作成する。

警告文告知ステップ（Ｓ７７）
警告文作成ステップにおいて作成された警告文を車両の運転者に告知する。警告文の告知方法としては、画面表示出力、合成音声出力等が用いられる。

本実施形態の車両用安全運転装置及び方法は以下の効果を奏する。
本実施形態の車両用安全運転装置及び方法では、車両から観察される画像に基づいて、画像認識によって画像内の各認識対象の種類、位置及び形状を認識している。そして、画像認識の認識結果に基づいて、安全判断の対象となる対象者の予測経路を算出し、算出された予測経路に基づいて、車両と対象者とが最も接近する最接近時間における対象者の予測位置を算出している。さらに、対象者の予測位置と、画像認識によって認識された対象者以外の少なくとも１つの認識対象の種類、位置及び形状とに基づいて、対象者の安全判定を行っている。このため、対象者の安全判定を的確に行うことが可能となっている。

特に、本実施形態では、画像認識において、歩行者及び車道の位置及び形状を同時に認識しているため、歩行者の歩行経路の算出、車両の走行する車道の検出、車道の分布範囲の検出ができ、最接近時間における歩行者の車道からの距離を算出することが可能となっている。ここで、車両の進行方向中心線の比較的近くに歩行者が位置する場合であっても、車道から比較的離れて歩行者が位置するのであれば、歩行者は安全であるということができる。本実施形態では、歩行者の車道からの距離を算出し、当該距離に基づいて安全判定を行うようにしているため、歩行者の安全判定を的確に行うことが可能となっている。

さらに、画像認識において、ガードレール等の位置及び形状も同時に認識しているため、歩行者の予測歩行経路上において、歩行者が車道へと進入するのを防止するガードレール等が存在するか否かを検出することが可能となっている。ここで、最接近時間における歩行者の車道からの距離が比較的小さく、車道上に歩行者が位置する場合であっても、歩行者の予測歩行経路上に歩行者が車道へと進入するのを防止するガードレール等が存在するのであれば、歩行者が車道へと進入することはなく、歩行者は安全であるということができる。本実施形態では、歩行者の予測歩行経路上において、歩行者が車道へと進入するのを防止するガードレール等が存在するか否かに基づいて、安全判定を行うようにしているため、歩行者の安全判定をさらに的確に行うことが可能となっている。

また、本実施形態の車両用安全運転装置及び方法では、画像認識の認識結果に基づいて対象者の配置を検出し、対象者についての安全判定の判定結果を対象者の配置と共に車両の運転者に告知するようにしている。このため、運転者に対して対象者についての的確な注意喚起を行うことが可能となっている。

特に、本実施形態では、画像認識において、歩行者、車道、歩道等の位置及び形状を同時に認識しているため、歩行者の接地位置を検出でき、歩行者が車道上、歩道上等のどこにいるのかを検出することが可能となっている。このため、運転者に対して警告対象者が車道上、歩道上等のどこにいるのかを告知することができ、運転者に対して警告対象者についての的確な注意喚起を行うことが可能となっている。

以上述べた一実施形態及びその変形例では、安全運転装置及び方法について説明したが、コンピュータに一実施形態及びその変形例の安全運転装置の各種機能を実現させるためのプログラム、コンピュータに一実施形態及びその変形例の安全運転方法の各種手順を実行させるためのプログラムも本願発明の範囲に含まれる。

１０…画像取得部 １２…画像認識記録部 １４…データベース
１６…予測経路算出部 １８…走行状態検出部 ２０…距離移動状態検出部
２２…最接近時間算出部 ２４…安全判定部 ２６…安全制御部
２８…位置配置検出部 ３０…属性検出部 ３２…車両制御部 ３４…告知部

Claims (7)

1. 車両から観察される画像を取得する画像取得部（１０）と、
   前記画像取得部によって取得された画像に基づいて、画像内の各認識対象の種類、位置及び形状を認識して記録すると共に、各認識対象の内から安全判断の対象となる対象者を検出する画像認識記録部（１２）と、
   前記画像認識記録部に記録された前記対象者についての画像認識の認識結果に基づいて、前記対象者の予測経路を算出する予測経路算出部（１６）と、
   前記車両の走行状態を検出する走行状態検出部（１８）と、
   前記対象者の車両からの距離及び移動状態を検出する距離移動状態検出部（２０）と、
   前記車両の走行状態並びに前記対象者の車両からの距離及び移動状態に基づいて、前記車両と前記対象者とが最も接近する最接近時間を算出する最接近時間算出部（２２）と、
   前記予測経路に基づいて前記最接近時間における前記対象者の予測位置を算出し、前記画像認識記録部によって認識された前記対象者を除く少なくとも１つの認識対象の種類、位置及び形状と前記予測位置とに基づいて、前記対象者の安全判定を行う安全判定部（２４）と、
   を具備する車両用安全判定装置。
2. 前記安全判定部は、前記車両が走行する車道の位置及び形状と前記予測位置とに基づいて前記対象者の安全判定を行う、
   請求項１に記載の車両用安全判定装置。
3. 前記安全判定部は、前記車道から前記予測位置までの距離が大きいほど前記対象者の安全度を増大させる、
   請求項２に記載の車両用安全判定装置。
4. 前記安全判定部は、前記予測経路上に前記対象者の前記車道への進入を防止する進入防止対象が存在するか否かに基づいて前記対象者の安全判定を行う、
   請求項２に記載の車両用安全判定装置。
5. 請求項１に記載の前記車両用安全判定装置と、
   前記画像認識記録部による各認識対象についての画像認識の認識結果に基づいて、前記対象者の配置を検出する配置検出部（２８）と、
   前記安全判定部による前記対象者についての安全判定の判定結果を前記対象者の配置と共に前記車両の運転者に告知する告知部（３４）と、
   を具備する車両用安全運転装置。
6. 車両から観察される画像を取得する画像取得ステップと、
   前記画像取得ステップによって取得された画像に基づいて、画像内の各認識対象の種類、位置及び形状を認識して記録すると共に、各認識対象の内から安全判断の対象となる対象者を検出する画像認識記録ステップと、
   前記画像認識記録ステップに記録された前記対象者についての画像認識の認識結果に基づいて、前記対象者の予測経路を算出する予測経路算出ステップと、
   前記車両の走行状態を検出する走行状態検出ステップと、
   前記対象者の車両からの距離及び移動状態を検出する距離移動状態検出ステップと、
   前記車両の走行状態並びに前記対象者の車両からの距離及び移動状態に基づいて、前記車両と前記対象者とが最も接近する最接近時間を算出する最接近時間算出ステップと、
   前記予測経路に基づいて前記最接近時間における前記対象者の予測位置を算出し、前記画像認識記録ステップによって認識された前記対象者を除く少なくとも１つの認識対象の種類、位置及び形状と前記予測位置とに基づいて、前記対象者の安全判定を行う安全判定ステップと、
   を具備する車両用安全判定方法。
7. コンピュータに、
   車両から観察される画像を取得する画像取得機能と、
   前記画像取得機能によって取得された画像に基づいて、画像内の各認識対象の種類、位置及び形状を認識して記録すると共に、各認識対象の内から安全判断の対象となる対象者を検出する画像認識記録機能と、
   前記画像認識記録機能に記録された前記対象者についての画像認識の認識結果に基づいて、前記対象者の予測経路を算出する予測経路算出機能と、
   前記車両の走行状態を検出する走行状態検出機能と、
   前記対象者の車両からの距離及び移動状態を検出する距離移動状態検出機能と、
   前記車両の走行状態並びに前記対象者の車両からの距離及び移動状態に基づいて、前記車両と前記対象者とが最も接近する最接近時間を算出する最接近時間算出機能と、
   前記予測経路に基づいて前記最接近時間における前記対象者の予測位置を算出し、前記画像認識記録機能によって認識された前記対象者を除く少なくとも１つの認識対象の種類、位置及び形状と前記予測位置とに基づいて、前記対象者の安全判定を行う安全判定機能と、
   を実現させるための車両用安全判定プログラム。