JP2020107059A - 運転操作判断装置、車両および運転操作判断方法 - Google Patents

Abstract

【課題】自動運転車両に搭載されるカメラの動作信頼度に合わせて、自動運転車両による運転中の適応的な運転操作の判断を支援する。
【解決手段】車両制御ＥＣＵ５０は、カメラ１１が搭載された自動運転車両１０に配置される。車両制御ＥＣＵ５０は、カメラ１１の画角内に対象物が映る撮像画像を解析し、その解析結果に基づいてカメラ１１の信頼度を算出する信頼度算出部１５５と、算出されたカメラ１１の信頼度に基づいて、自動運転車両１０が行う速度制御を決定する指示速度決定部１７と、決定された速度制御に従う自動運転の速度指示を、自動運転車両１０の自動運転を実行するための車両制御部２０に伝達する速度指示生成部１９と、を備える。
【選択図】図２

Description

本開示は、カメラが搭載された自動運転車両の運転操作を判断する運転操作判断装置、車両および運転操作判断方法に関する。

特許文献１には、車両周辺の物体を検出する画像センサと、車両周辺の物体を検出するレーダセンサと、画像センサおよびレーダセンサのうちのいずれか一方のセンサでのみ物体が検出された場合に他方のセンサの信頼性を判定し、判定された信頼性に基づいて一方のセンサでのみ検出された物体との衝突を回避するための衝突回避制御の性能を変更する制御装置とを備えた衝突回避制御装置が開示されている。この衝突回避制御装置は、判定された信頼性が高いほど衝突回避の性能が低くなるように、衝突回避制御の性能を変更する。

特許第５９９１３３２号公報

しかし、特許文献１では、レーダセンサのみが障害物を検知する状態になるまで画像センサの信頼性が評価されない。このため、画像センサが障害物等の物体を検出する前の状態での画像センサの信頼性を判定することは考慮されていなかった。このため、検出前の時点において画像センサの信頼性が既に低い場合には、その判定された信頼性に応じて車両の運転操作を適切に判断することが困難であるという課題があった。特に、例えば自動運転レベル３以上のレベルを満たす自動運転車両においては、車両周辺の状況を検出するためのカメラ等のセンサ類の動作信頼性が低い状態では安全な自動運転の実現が困難であるという懸念があった。

本開示は、上述した従来の状況に鑑みて案出され、自動運転車両に搭載されるカメラの動作信頼度に合わせて、自動運転車両による運転中の適応的な運転操作の判断を支援する運転操作判断装置、車両および運転操作判断方法を提供することを目的とする。

本開示は、カメラが搭載された自動運転車両に配置される運転操作判断装置であって、前記カメラの画角内に対象物が映る撮像画像を解析し、その解析結果に基づいて前記カメラの動作信頼度を評価する評価部と、評価された前記カメラの動作信頼度に基づいて、前記自動運転車両が行う運転操作を決定する決定部と、決定された前記運転操作に従う自動運転の実行指示を、前記自動運転車両の作動制御を実行するための車両制御部に伝達する指示生成部と、を備える、運転操作判断装置を提供する。

また、本開示は、カメラと、自動運転に関する運転操作を判断する運転操作判断装置と、を備え、前記運転操作判断装置は、前記カメラの画角内に対象物が映る撮像画像を解析し、その解析結果に基づいて前記カメラの動作信頼度を評価する評価部と、評価された前記カメラの動作信頼度に基づいて、前記自動運転車両が行う運転操作を決定する決定部と、決定された前記運転操作に従う自動運転の実行指示を、自車両の作動制御を実行するための車両制御部に伝達する指示生成部と、を備える、車両を提供する。

また、本開示は、カメラが搭載された自動運転車両の運転操作を判断する運転操作判断方法であって、前記カメラの画角内に対象物が映る撮像画像を解析し、その解析結果に基づいて前記カメラの動作信頼度を評価するステップと、評価された前記カメラの動作信頼度に基づいて、前記自動運転車両が行う運転操作を決定するステップと、決定された前記運転操作に従う自動運転の実行指示を、前記自動運転車両の作動制御を実行するための車両制御部に伝達するステップと、を有する、運転操作判断方法を提供する。

本開示によれば、自動運転車両に搭載されるカメラの動作信頼度に合わせて、自動運転車両による運転中の適応的な運転操作の判断を支援できる。

実施の形態１に係る自動運転制御装置の全体構成の一例を示すブロック図 車両制御ＥＣＵおよび動作判断部の構成例を示すブロック図 カメラによる車両前方の撮像画像の一例を示す図 車両制御ＥＣＵによる速度設定手順を示すフローチャート 実施の形態１の変形例に係る車両制御ＥＣＵおよび動作判断部の構成例を示すブロック図 車両制御ＥＣＵによる速度設定手順を示すフローチャート 実施の形態２に係る車両制御ＥＣＵおよび動作判断部の構成例を示すブロック図 車両制御ＥＣＵによる速度設定手順を示すフローチャート

以下、適宜図面を参照しながら、本開示に係る運転操作判断装置、車両および運転操作判断方法の構成および作用を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

以下、実施の形態において、本開示に係る運転操作判断装置の一例として、自動運転制御装置を例示して説明する。車両（自車両）の自動運転制御では、例えば、他車両等の障害物に衝突しそうになる直前にブレーキを作動させて車両（自車両）を停止させる機能、車両（自車両）の前方を走る他車両との間で一定の間隔を保ったまま追従する機能、車線からはみ出さないように車両（自車両）のステアリングを制御する機能等が要求される。本実施の形態では、自動運転車両が自動運転中の速度（いわゆる車速）を制御する機能の例について説明する。

（実施の形態１）
図１は、実施の形態１に係る自動運転車両１０の全体構成を示すブロック図である。自動運転車両１０は、自動運転車両１０（図３参照）に搭載され、カメラ１１と、センサ部１２と、車両制御ＥＣＵ（Electronic Control Unit）５０と、車両制御部２０と、を含む構成である。自動運転車両１０では、車両制御ＥＣＵ５０、カメラ１１およびセンサ部１２は、それぞれ独立した筐体を有し、ＣＡＮ（Controller Area Network）等の車載ネットワークを介して相互にデータあるいは情報が通信可能に接続される。なお、実施の形態１に係る自動運転制御装置の一例としての車両制御ＥＣＵは、単一の筐体に、車両制御ＥＣＵ５０、カメラ１１およびセンサ部１２が収容された構成であってもよい。また、自動運転制御装置は、カメラを持たず、車両制御ＥＣＵが通信ネットワークを介してカメラによる撮像画像の画像データを入力する構成であってもよい。

カメラ１１は、例えば、可視光カメラを含んで構成され、自動運転車両１０の前方に配置される。カメラ１１は、車両前方の映像を撮像し、撮像画像のデータを車両制御ＥＣＵ５０に送信する。なお、カメラは、前方に配置されたカメラの他、車両の後方や左右に配置されたカメラを補助的に有してもよい。また、カメラ１１は、可視光のみならず赤外光感知カメラを含み、夜間走行時に車両前方の映像を撮像可能であってもよい。

センサ部１２は、ミリ波レーダ１２１、ＬｉＤＡＲ（Light Detection and Ranging）１２２等のセンサを含む。ミリ波レーダ１２１は、自動運転車両１０の周囲に電波（例えばミリ波）を放射して、その反射波を受信し、受信した反射波を基に周囲に存在する対象物までの距離を測定する。ミリ波レーダ１２１は、この測定結果を車両制御ＥＣＵ５０に送信する。

ＬｉＤＡＲ１２２は、自動運転車両１０の周囲に光線（例えば、赤外線レーザ）を放射して、その反射光を受信し、受信した反射光を基に周囲に存在する対象物との距離、対象物の大きさ、および対象物の組成を測定する。ＬｉＤＡＲ１２２は、この測定結果を車両制御ＥＣＵ５０に送信する。なお、ミリ波レーダ１２１は、ＬｉＤＡＲ１２２で検出困難な遠方の対象物も検出可能である。ＬｉＤＡＲ１２２は、ミリ波レーダ１２１よりも混信が少なく、対象物までの距離を正確に測定可能である。

運転操作判断装置の一例としての車両制御ＥＣＵ５０は、自動運転車両１０のエンジン制御、速度制御、舵角制御を含む各種の自動運転に関する作動を制御する。車両制御ＥＣＵ５０は、例えば、プロセッサおよびメモリ等のハードウェアによる構成を含む。車両制御ＥＣＵ５０は、プロセッサがメモリに記憶された制御プログラムを実行することにより各種の機能を実現し、これらの機能として、障害物検知部１６、動作判断部１５、最大速度決定部１４、指示速度決定部１７、舵角決定部１８、および速度指示生成部１９を有する。

障害物検知部１６は、カメラ１１による撮像画像の解析、ミリ波レーダ１２１およびＬｉＤＡＲ１２２による検知結果を基に、自動運転車両１０の前方にある障害物（例えば人物等の自動運転車両１０の自動運転を阻害する物体）や対象物（後述参照）を検知する。なお、障害物や対象物は、自動運転車両の前方に限らず、左右の側方あるいは後方にあって、検知されてもよい。障害物や対象物として、路面に置かれている積荷、前方車両、道路標識等が挙げられる。

動作判断部１５は、カメラ１１による撮像画像の画像データを入力して撮像画像を解析し、カメラ１１の動作に関する信頼性を定量的に示すパラメータである信頼度（以下、「動作信頼度」）や、撮像画像に映る対象物ｔｇ（図３参照）までの距離等の情報を取得する。また、動作判断部１５は、自動運転車両１０の走行中における最大速度（いわゆる最高速度）を決定する。動作判断部１５の動作の詳細については後述する。

最大速度決定部１４は、動作判断部１５で算出されたカメラ１１の動作信頼度を基に、カメラ１１の視界距離内に所定の減速度で車両が停止できる最大速度を決定する。最大速度決定部１４は、カメラ１１の動作信頼度を基に最大速度を決定する際、カメラ１１の視界距離（つまりカメラ１１が鮮明に対象物を撮像できる距離）内に、自動運転車両１０が所定の減速度で停止できる速度を最大速度に決定する。

例えば、視界距離が１００ｍの場合（つまり、カメラが１００ｍ先の対象物を鮮明に撮像できる場合）、制動力が乗員に衝撃を与えないと考えられる減速度０．１Ｇで１００ｍ先で自動運転車両１０を停止できる速度を最大速度Ｖｍａｘ（Ａ）とする。なお、減速度０．１Ｇは、一例であり、０．１５Ｇや０．２Ｇであってもよい。

一方、降雨、降雪、霧の発生等の悪天候や、降雨時のワイパ作動、ライト点灯等の車載機器の作動によってカメラ１１の動作信頼度が低く、カメラが８０ｍ先の対象物までしか鮮明に撮像できないと判断した場合、カメラの視界距離が８０ｍであるとし、減速度０．１Ｇで８０ｍ先で自動運転車両を停止できる速度を最大速度Ｖｍａｘ（Ｂ）とする。この場合、減速度が同じであるので、最大速度Ｖｍａｘ（Ａ） ＞ 最大速度Ｖｍａｘ（Ｂ）の関係がある。

決定部の一例としての指示速度決定部１７は、自動運転車両１０の速度を、最大速度決定部１４が決定した最大速度、あるいは、地図データベースＭＰ１に登録されている道路地図データから得られる制限速度や法定速度等の速度制御指示値ｖｄ１のいずれかに決定する。なお、速度制御指示は、車両制御ＥＣＵ５０のメモリに、対象物の位置情報と対応付けて登録されてもよい。また、速度制御指示は、道路に設置された１機以上のビーコン端末（図示略）から発信される信号を自動運転車両１０が受信することで取得されてもよい。

指示生成部の一例としての速度指示生成部１９は、指示速度決定部１７により決定された最大速度あるいは制限速度になるように、現在の速度を基に、アクセルペダルアクチュエータ２１を駆動する速度指示の指示情報（実行指示の一例）、またはブレーキペダルアクチュエータ２２を駆動する速度指示の指示情報（実行指示の一例）を車両制御部２０に出力する。

舵角決定部１８は、車両の舵角を決定し、決定した舵角になるように、ステアリングアクチュエータ２３を駆動する。

車両制御部２０は、例えば自動運転車両１０の速度指示生成部１９からの指示情報（例えば、自動運転車両１０の作動制御）に従って、自動運転車両１０の自動運転に関する各種の作動を実行する。例えば、車両制御部２０は、アクセルペダルアクチュエータ２１およびブレーキペダルアクチュエータ２２を備える。アクセルペダルアクチュエータ２１およびブレーキペダルアクチュエータ２２は、速度指示生成部１９で生成される指示情報に従い、アクセルペダルアクチュエータ２１およびブレーキペダルアクチュエータ２２を駆動して自動運転車両１０の速度（いわゆる車速）を適応的に変更する。

アクセルペダルアクチュエータ２１は、アクセルペダルの踏込み量に相当するアクセル開度を調節するものであり、電気自動車の場合、駆動モータに供給される電気量を調節し、ガソリン車の場合、エンジンに供給される燃料量を調節する。ブレーキペダルアクチュエータ２２は、ブレーキペダルの踏込み量に相当する制動量を調節する。また、車両制御部２０は、ステアリングアクチュエータ２３を有し、舵角決定部１８で決定した舵角に従い、自動運転車両１０に備えられるステアリング（図示略）の舵角を制御する。

図２は、車両制御ＥＣＵ５０および動作判断部１５の構成例を示すブロック図である。動作判断部１５は、画像入力部１５１、判定エリア抽出部１５２、空間ＦＦＴ変換部１５３、高周波成分比率算出部１５４、信頼度算出部１５５、判定対象物決定部１５６、自車位置計測部１５７、および地図データベースＭＰ１を有する。なお、図２以降の図において、「データベース」を「ＤＢ」と略記している。

画像入力部１５１は、カメラ１１から出力される車両前方の撮像画像の画像データを入力する。

測位部の一例としての自車位置計測部１５７は、自動運転車両１０の位置情報を検出する。例えば、自車位置計測部１５７がＧＰＳ（Global Positioning System）受信機である場合、自車位置計測部１５７は、複数のＧＰＳ衛星や準天頂衛星から発信される電波を受信し、受信地点の位置情報（緯度、経度、高度）を算出し、自車両（つまり自動運転車両１０）の位置情報として取得する。

地図データベースＭＰ１は、各場所の道路地図データを含む。道路地図データは、自動運転車両１０の位置に対応する道路地図の他、道路標識、信号機、歩道橋、高架橋、駅等の建物、路面に描かれた横断歩道や道路標示等の対象物ｔｇの情報が登録されている。対象物ｔｇの情報には、対象物の内容、位置、サイズ等の情報が含まれる。つまり、対象物とは、カメラ１１の動作信頼度が低くなっていないか否かを判別するために、カメラ１１の撮像画像中に映る、不動の物体（言い換えると、目安になり易い固定物体）である。

対象物決定部の一例としての判定対象物決定部１５６は、自動運転車両１０の位置情報を基に、道路地図データを参照し、カメラ１１による撮像画像に映る対象物ｔｇを同定し、判定対象となる対象物に決定する。判定対象物決定部１５６は、判定対象となる対象物の、撮像画像の画面内の位置およびサイズの情報を判定エリア抽出部１５２に通知する。また、判定対象物決定部１５６は、判定対象となる対象物までの距離情報を算出して最大速度決定部１４に通知する。

判定エリア抽出部１５２は、通知された対象物の画面内の位置およびサイズの情報を基に、画像入力部１５１から入力された撮像画像を解析し、判定対象となる対象物を含む判定エリアを抽出する。

空間ＦＦＴ（Fast Fourier Transform,）変換部１５３は、抽出された対象物ｔｇを囲む撮像画像の判定エリア（図３参照）に対し、高速フーリエ変換（いわゆる空間ＦＦＴ）を行う。

高周波成分比率算出部１５４は、高速フーリエ変換の結果、撮像画像の輝度分布に含まれる高周波成分の比率を算出する。高周波成分の比率は、撮像画像のボケ具合を表す。高周波成分の比率が大きい場合、撮像画像は鮮明である。例えば、判定エリアに含まれる道路標識のエッジが明瞭である場合、高速フーリエ変換によって高周波成分の比率が増加する。一方、高周波成分の比率が小さい場合、撮像画像は不鮮明である（いわゆる画質がボケている）。

評価部の一例としての信頼度算出部１５５は、信頼度判定テーブルＴｂ１を参照し、高周波成分の比率に対応するカメラ１１の動作信頼度を算出する（言い換えると、動作信頼度を評価する）。信頼度算出部１５５は、算出した動作信頼度を最大速度決定部１４に出力する。信頼度判定テーブルＴｂ１には、高周波成分の比率が大きい程、高くなる動作信頼度が登録されている。

最大速度決定部１４は、最大速度判定テーブルＴｂ２を参照し、対象物までの距離とカメラ１１の動作信頼度とを基に、最大速度を決定する。最大速度判定テーブルＴｂ２には、カメラ１１の動作信頼度および対象物ｔｇまでの距離に対応する最大速度が登録されている。なお、最大速度判定テーブルＴｂ２に登録されている最大速度は、例えば降雨、降雪、霧等の天候条件によって異なる値に設定されてよい。また、最大速度決定部１４は、最大速度判定テーブルＴｂ２を用いて、あるいは最大速度判定テーブルＴｂ２を用いることなく、対象物までの距離とカメラの動作信頼度とを基に、簡単な関数式（例えば一次関数）で最大速度を算出してもよい。

具体的に、最大速度決定部１４は、判定対象物決定部１５６によって決定された、自車両の位置と道路地図データに登録されている対象物ｔｇの位置とから得られる、対象物ｔｇまでの距離１００ｍを取得する。対象物ｔｇが映る撮像画像の画質（鮮鋭度）からカメラ１１の動作信頼度が１００％である場合、最大速度決定部１４は、カメラ１１の視界距離を１００ｍ（＝１００ｍ×１００％）とする。さらに、最大速度決定部１４は、所定の減速度（例えば０．１Ｇ）で減速して１００ｍの視界距離で停止できる速度を、最大速度として決定する。一方、対象物ｔｇが映る撮像画像の画質（鮮鋭度）からカメラ１１の動作信頼度が２０％である場合、最大速度決定部１４は、カメラ１１の視界距離を２０ｍ（＝１００ｍ×２０％）とする。最大速度決定部１４は、所定の減速度（例えば０．１Ｇ）で減速して２０ｍの視界距離で停止できる速度を、最大速度として決定する。

また、最大速度決定部１４は、最大速度を算出する際、最大速度の他、速度制御に関わる加速度、減速度等のデータが登録された複数の速度モード（１〜ｎ）の中から１つを選択してもよい。

また、信頼度判定テーブルＴｂ１、最大速度判定テーブルＴｂ２、および地図データベースＭＰ１は、車両制御ＥＣＵ５０のメモリ（記憶部の一例）に記憶される。なお、車両制御ＥＣＵ５０は、ＣＡＮ（Controller Area Network）等の車載ネットワークを介して、広域ネットワークに接続可能である場合、クラウドサーバに保存されている、信頼度判定テーブルＴｂ１、最大速度判定テーブルＴｂ２、地図データベースＭＰ１の道路地図データ等を利用してもよい。

図３は、カメラ１１による車両前方の撮像画像ＧＺ１を示す図である。撮像画像ＧＺ１は、例えば降雨時に撮像された画像である。撮像画像ＧＺ１には、自車両（つまり自動運転車両１０）のボンネット、道路１０１、前方車両１０２、道路脇の支柱１０３に支えられ、道路１０１の中央部上方にせり出した道路標識１０４（つまり案内標識）等が映っている。図３では、判定エリア抽出部１５２によって抽出された判定エリア（つまり道路標識１０４を囲む領域を表すマーカｍｋ１）が撮像画像ＧＺ１に重畳して描かれている。ここでは、マーカｍｋ１は、便宜上描かれているが、撮像画像ＧＺ１をモニタに表示する場合、撮像画像ＧＺ１とともに表示されてもよい。

次に、実施の形態１に係る自動運転車両１０の動作を示す。

図４は、車両制御ＥＣＵ５０による速度設定手順を示すフローチャートである。この処理は、自動運転車両１０の走行中、車両制御ＥＣＵ５０によって繰り返し実行される。

図４において、画像入力部１５１は、カメラ１１から出力される撮像画像の画像データを入力する（Ｓ１）。判定エリア抽出部１５２は、判定対象物決定部１５６によって決定された判定対象となる対象物ｔｇの撮像画像の画面内の位置およびサイズの情報を基に対象物ｔｇを同定し、対象物ｔｇを囲む判定エリアを抽出する（Ｓ２）。空間ＦＦＴ変換部１５３は、対象物ｔｇを囲む判定エリアに対し、高速フーリエ変換を行う（Ｓ３）。高周波成分比率算出部１５４は、判定エリア内の輝度分布に含まれる高周波成分の比率を算出する（Ｓ４）。信頼度算出部１５５は、信頼度判定テーブルＴｂ１を参照し、高周波成分の比率に対応するカメラ１１の動作信頼度を算出して取得する（Ｓ５）。最大速度決定部１４は、カメラ１１の動作信頼度と対象物ｔｇまでの距離とを基に、最大速度判定テーブルＴｂ２を参照し、複数の速度モード（１〜ｎ）の１つを選択して最大速度を決定する（Ｓ６）。最大速度決定部１４は、決定した最大速度を車両制御ＥＣＵ５０のメモリに記憶する。この後、車両制御ＥＣＵ５０は、最大速度設定動作を終了する。

指示速度決定部１７は、メモリに記憶された最大速度と速度制御指示値ｖｄ１を比較し、小さい方の値を指示速度として決定し、速度指示生成部１９に出力する。速度指示生成部１９は、指示速度に従い、車両制御部２０を駆動する指示情報を出力する。車両制御部２０は、指示情報に従い、アクセルペダルアクチュエータ２１およびブレーキペダルアクチュエータ２２を駆動して自動運転車両１０の速度を適応的に変更する。

以上により、実施の形態１の自動運転車両１０では、車両制御ＥＣＵ５０は、カメラ１１が搭載された自動運転車両１０に配置される。車両制御ＥＣＵ５０は、カメラ１１の画角内に対象物ｔｇが映る撮像画像ＧＺ１を解析し、その解析結果に基づいてカメラ１１の動作信頼度を算出する信頼度算出部１５５と、算出されたカメラ１１の動作信頼度に基づいて、自動運転車両１０が行う速度制御を決定する指示速度決定部１７と、決定された速度制御に従う自動運転の速度指示を、自動運転車両１０の自動運転（作動制御）を実行するための車両制御部２０に伝達する速度指示生成部１９と、を備える。

これにより、車両制御ＥＣＵ５０は、自動運転車両１０に搭載されるカメラ１１の動作信頼度に合わせて、自動運転車両１０による運転中の適応的な運転操作の判断を支援できる。

また、車両制御ＥＣＵ５０は、自動運転車両１０の位置を検出する自車位置計測部１５７と、道路地図情報と道路に沿って配置された複数の対象物のそれぞれに関する情報とを含む道路地図データを登録した地図データベースＭＰ１を保持するメモリと、検出された自動運転車両１０の位置情報と道路地図データとを用いて、解析の対象となる対象物ｔｇを決定する判定対象物決定部１５６と、を更に備える。これにより、自動運転車両１０は、自動運転車両１０の現在位置に合わせて、速度指示を決定するための適切な対象物を撮像画像から容易に同定できる。

また、信頼度算出部１５５は、撮像画像ＧＺ１中の対象物ｔｇの画質に基づいて、カメラ１１の動作信頼度を算出する。これにより、車両制御ＥＣＵは、カメラの動作信頼度を容易に推定できる。

また、判定対象物決定部１５６は、自動運転車両１０から対象物ｔｇまでの距離を算出する。最大速度決定部１４は、算出された距離とカメラ１１の動作信頼度とに基づいて、カメラ１１の視界距離内で自動運転車両１０が所定の減速度で停止可能な最大速度を決定する。これにより、自動運転車両１０は、安全な最大速度の範囲内で走行できる。

また、指示速度決定部１７は、メモリに保持された地図データベースＭＰ１に登録されている道路地図データから自動運転車両１０の位置情報に対応した、法定速度や制限速度等の速度制御指示値ｖｄ１（速度指示値）を読み出し、算出された最大速度と速度制御指示値ｖｄ１とのうち値が小さい方の速度を速度制御に用いる最大速度として決定する。これにより、車両制御ＥＣＵ５０は、法定速度や制限速度を遵守して、自動運転車両１０における運転操作（例えば速度制御）に用いる最大速度を決定できる。

また、対象物ｔｇは、道路標識１０４である。これにより、降雨、降雪、霧の発生等の悪天候や、降雨時のワイパ作動、ライト点灯等の車載機器の作動によってカメラ１１の動作信頼度が低い場合でも、道路標識１０４は撮像画像中において識別がし易い。この特性を利用することで、自動運転車両１０の走行中、車両制御ＥＣＵ５０は、容易に対象物を見つけることができる。

（実施の形態１の変形例）
実施の形態１では、車両制御ＥＣＵ５０は、撮像画像の画質からカメラの動作信頼度を算出し、この動作信頼度を基に、対象物までの距離に応じて最大速度を決定していた。実施の形態１の変形例（以下、変形例１と略記する場合がある）では、カメラ１１から対象物ｔｇまでの距離を用いてカメラ１１の動作信頼度を算出する例を説明する。

なお、変形例１に係る車両制御ＥＣＵ５０Ａの構成は、実施の形態１に係る車両制御ＥＣＵ５０とほぼ同様である。実施の形態１に係る車両制御ＥＣＵ５０と同一の構成要素については、同一の符号を付すことで、その説明を省略する。ここでは、実施の形態１に係る車両制御ＥＣＵ５０と異なる構成要素について説明する。

図５は、実施の形態１の変形例に係る車両制御ＥＣＵ５０Ａおよび動作判断部１５Ａの構成例を示すブロック図である。信頼度算出部１５５Ａは、撮像画像に含まれる判定エリアの高周波成分の比率と判定対象物決定部１５６で決定された対象物ｔｇまでの距離とを基に、信頼度判定テーブルＴｂ１Ａを参照し、カメラ１１の動作信頼度を算出する。信頼度判定テーブルＴｂ１Ａには、高周波成分の比率と対象物までの距離に対応する、カメラ１１の動作信頼度が登録されている。信頼度判定テーブルＴｂ１Ａでは、カメラ１１から対象物ｔｇまでの距離が長い程、撮像画像の画質は低下することから、カメラ１１の動作信頼度は低くなるように設定される。このように、対象物までの距離を用いることで、カメラ１１の動作信頼度の確度は高まる。

最大速度決定部１４Ａは、信頼度算出部１５５Ａで算出された動作信頼度を基に、最大速度判定テーブルＴｂ２Ａを参照し、最大速度を決定する。最大速度判定テーブルＴｂ２Ａには、事前の試行によって決定された、カメラ１１の動作信頼度に対応する最大速度が登録されている。事前の試行では、カメラ１１の動作信頼度ごとに、カメラ１１の視界距離にある対象物に所定の減速度で停止できる最大速度が求められる。なお、最大速度決定部は、実施の形態１と同様、最大速度判定テーブルＴｂ２を参照し、対象物までの距離とカメラ１１の動作信頼度を基に、最大速度を決定してもよい。

図６は、車両制御ＥＣＵ５０Ａによる速度設定手順を示すフローチャートである。実施の形態１と同一のステップ処理については、同一のステップ番号を付すことで、その説明を省略する。

図６において、ステップＳ４で高周波成分比率算出部１５４が判定エリアの高周波成分比率を算出した後、信頼度算出部１５５Ａは、判定エリアの高周波成分の比率と対象物までの距離とを基に、信頼度判定テーブルＴｂ１Ａを参照し、カメラ１１の動作信頼度を算出する（Ｓ５Ａ）。最大速度決定部１４Ａは、信頼度算出部１５５Ａで算出された動作信頼度を基に、最大速度判定テーブルＴｂ２Ａを参照し、最大速度を決定する（Ｓ６Ａ）。

このように、実施の形態１の変形例に係る自動運転制御装置では、判定対象物決定部１５６は、自動運転車両１０から対象物ｔｇまでの距離を算出する。信頼度算出部１５５Ａは、算出された距離を用いた撮像画像の解析結果に基づいてカメラ１１の動作信頼度を算出する。最大速度決定部１４Ａは、算出されたカメラ１１の動作信頼度に基づいて、カメラ１１の視界距離内で自動運転車両１０が所定の減速度で停止可能な最大速度を決定する。これにより、車両制御ＥＣＵは、カメラ１１から対象物ｔｇまでの距離が長い場合、カメラ１１の動作信頼度を下げることができ、より正確なカメラ１１の動作信頼度を得ることができる。

（実施の形態２）
実施の形態１およびその変形例では、カメラ１１による撮像画像を用いて最大速度を決定する場合を説明した。実施の形態２では、カメラ１１による撮像画像とカメラ１１以外の他のセンサ部１２によるセンサ情報とを用いて、つまり複数のセンサ情報（センサフュージョン）を用いて最大速度を総合的に算出する例を説明する。

実施の形態２に係る車両制御ＥＣＵ５０Ｂは、実施の形態１に係る車両制御ＥＣＵ５０とほぼ同一の構成を有する。実施の形態１に係る車両制御ＥＣＵ５０と同一の構成要素については同一の符号を用いることで、その説明を省略する。

図７は、実施の形態２に係る車両制御ＥＣＵ５０Ｂおよび動作判断部１５Ｂの構成例を示すブロック図である。実施の形態２では、車両制御ＥＣＵ５０Ｂは、実施の形態１に係る車両制御ＥＣＵ５０の構成に加え、最大速度最終決定部４１と、他の最大速度・信頼度算出部４５とをさらに有する。

他の最大速度・信頼度算出部４５は、センサ部１２に含まれるミリ波レーダ１２１およびＬｉＤＡＲ１２２の動作信頼度をそれぞれ算出し、また、これらの動作信頼度を基に最大速度を算出する。最大速度の算出方法は、カメラ１１による撮像画像を用いて最大速度を算出する方法と同様である。即ち、センサ部１２のミリ波レーダ１２１で測定される対象物までの距離に対し、ミリ波レーダ１２１の動作信頼度を加味し、所定の減速度で対象物の位置に停止できる速度が最大速度である。同様に、センサ部１２のＬｉＤＡＲ１２２で測定される対象物ｔｇまでの距離に対し、ＬｉＤＡＲ１２２の動作信頼度を加味し、所定の減速度で対象物の位置に停止できる速度が最大速度である。この最大速度の算出には、ミリ波レーダ１２１およびＬｉＤＡＲ１２２を用いて算出される全ての値が用いられてもよい。なお、この最大速度には、ミリ波レーダ１２１およびＬｉＤＡＲ１２２を用いて算出される全ての値のうち、最も大きな値や最も動作信頼度が高い値が用いられてもよい。

最大速度最終決定部４１は、実施の形態１の変形例と同様、最大速度決定部１４Ａで決定されるカメラ１１の動作信頼度を基に算出された最大速度と、センサ部１２の動作信頼度を基に算出された最大速度とを用いて、最終的な最大速度を決定する。

カメラ１１の動作信頼度を基に算出された最大速度と、センサ部１２の動作信頼度を基に算出された最大速度とを用いて、最終的な最大速度を決定する場合、最終的な最大速度の決定には、算出例１または算出例２に示す方法が用いられる。なお、算出例１、２に示す方法は、一例であり、他の方法でもよい。

（算出例１）
最大速度最終決定部４１は、カメラ１１によって得られる最大速度、およびセンサ部１２（ミリ波レーダ１２１、ＬｉＤＡＲ１２２を含む）によって得られる最大速度のうち、動作信頼度が最大である、つまり動作信頼度が最も高いセンサ（カメラ１１を含む）によって得られる最大速度を最終的な最大速度に決定する。

一般的に、ミリ波レーダは、投射した電波が比較的遠くまで届くので、対象物までの距離が長い測定に有利である。しかし、遮蔽物によって電波が遮蔽され、あるいは反射して精度が下がる場合がある。ＬｉＤＡＲは、赤外光を投射し反射した赤外光を受光するので、精度の高い距離の測定に有利である。しかし、降雨時、赤外光が水滴等によって乱反射して受光できなくなる場合がある。また、カメラ１１では、撮像画像に映る対象物の形状や大きさ等を基に、対象物を同定してその距離を測定するので、ミリ波や赤外光のように、投射するタイミングが無く、高い精度で距離を測定できない。しかし、常に対象物を同定して測距することが可能である。このように、動作信頼度が最も高いセンサ（カメラを含む）は、天候や走行状態等によって変化する。

（算出例２）
２番目に大きな動作信頼度の最大速度が最大動作信頼度の最大速度より遅い場合、最大速度最終決定部４１は、数式（１）に従い、最終的な最大速度Ｖｍａｘ（ｆ）を算出する。

ここで数式（１）において、Ｖｍａｘ（１）は最大動作信頼度の最大速度、Ｖｍａｘ（２）は２番目に大きな動作信頼度の最大速度、Ｔ（１）は最大動作信頼度、Ｔ（２）は２番目の動作信頼度である。つまり、Ｔ（１）≧Ｔ（２）が成立し、Ｖｍａｘ（１）から減算される値はＴ（１）＝Ｔ（２）の時に最大となる。

また、最大動作信頼度（つまり、Ｔ（１））と２番目の動作信頼度（つまり、Ｔ（２））がほぼ同じである場合、最終的な最大速度は、最大動作信頼度の最大速度と２番目の動作信頼度の最大速度の平均値である（つまり、Ｖｍａｘ（ｆ）＝（１／２）×（Ｖｍａｘ（１）＋Ｖｍａｘ（２）））。算出例２の場合、最大速度最終決定部４１は、最大動作信頼度の最大速度に対し、２番目に高い動作信頼度を加味して、最大速度を算出できる。つまり、最大速度最終決定部４１は、最大動作信頼度の最大速度と２番目の動作信頼度の最大速度とを用いた、最大動作信頼度と２番目の動作信頼度との比率に応じた中間値として最大速度を算出できる。

図８は、車両制御ＥＣＵ５０Ｂによる速度設定手順を示すフローチャートである。実施の形態１の変形例と同一のステップ処理については、同一のステップ番号を付すことで、その説明を省略する。

図８において、ステップＳ６Ａで最大速度決定部１４Ａが信頼度算出部１５５Ａで算出された動作信頼度を基に最大速度判定テーブルＴｂ２Ａを参照して最大速度を決定した後、最大速度最終決定部４１は、他の最大速度・信頼度算出部４５からセンサ部１２の各センサの動作信頼度および最大速度を入力する（Ｓ７）。

最大速度決定部１４Ａは、算出例１または算出例２に示した方法で、最終的な最大速度を決定する（Ｓ８）。指示速度決定部１７は、速度制御指示値ｖｄ１を入力する（Ｓ９）。速度制御指示値ｖｄ１は、例えば地図データベースＭＰ１の道路地図データから得られる制限速度や法定速度である。指示速度決定部１７は、速度制御指示値ｖｄ１が最終的な最大速度よりも大きいか否かを判別する（Ｓ１０）。速度制御指示値ｖｄ１が最終的な最大速度よりも大きい場合、指示速度決定部１７は、最終的な最大速度をそのままにして、本処理を終了する。一方、速度制御指示値ｖｄ１が最終的な最大速度以下である場合、指示速度決定部１７は、最終的な最大速度を速度制御指示値ｖｄ１とする（Ｓ１１）。これにより、最終的な最大速度が制限速度や法定速度等の速度制御指示値ｖｄ１を超える状況は、回避される。この後、指示速度決定部１７は、図８に示す処理を終了する。

実施の形態２における自動運転制御装置では、車両制御ＥＣＵ５０Ｂは、自動運転車両１０に搭載され、対象物までの距離を検知するセンサ部１２の各センサ（他のセンサ）の検知結果に基づく自動運転車両１０の最大速度とセンサ部１２の各センサの動作信頼度とを受け取る。車両制御ＥＣＵ５０Ｂは、カメラ１１の動作信頼度とセンサ部１２の各センサの動作信頼度とに基づいて、カメラ１１の視界距離内またはセンサ部１２の各センサの測定可能な距離内で自動運転車両１０が所定の減速度で停止可能な最大速度を最終的な最大速度（第２最大速度）に決定する。これにより、車両制御ＥＣＵ５０Ｂは、カメラ１１による撮像画像以外に、カメラ１１以外の他のセンサ部１２の検知情報を用いることができ、最終的な最大速度を総合的に決定できる。

また、車両制御ＥＣＵ５０Ｂは、カメラ１１の動作信頼度がセンサ部１２の各センサの動作信頼度と比べて高い場合、カメラ１１の視界距離内で自動運転車両１０が所定の減速度で停止可能な最大速度を決定し、センサ部１２の各センサの動作信頼度がカメラ１１の動作信頼度と比べて高い場合、センサ部１２の各センサの測定可能な距離内で自動運転車両１０が所定の減速度で停止可能な最大速度を最終的な最大速度に決定する。これにより、車両制御ＥＣＵ５０Ｂは、動作信頼度が高い方のカメラ１１またはセンサ部１２を用いて最終的な最大速度を算出することができ、より正確な速度制御を実現できる。

また、車両制御ＥＣＵ５０Ｂは、式（１）に従い、カメラ１１の動作信頼度とセンサ部１２の各センサの動作信頼度のうち、最大動作信頼度のカメラ１１による最大速度またはセンサ部１２のセンサによる最大速度と、２番目の動作信頼度のカメラ１１による最大速度またはセンサ部１２のセンサによる最大速度との差分に、最大動作信頼度に対する２番目の動作信頼度の比率を乗じた値を、最大動作信頼度のカメラ１１による最大速度または前記他のセンサによる最大速度から減じた値を、最終的な最大速度に決定する。これにより、車両制御ＥＣＵ５０Ｂは、動作信頼度が高い上位２つのカメラまたはセンサ部のセンサを用いて、最終的な最大速度を決定することができ、より適正な最終的な最大速度を設定できる。

また、指示速度決定部１７は、メモリに保持された地図データベースＭＰ１に登録されている道路地図データから自動運転車両１０の位置情報に対応した速度制御指示値ｖｄ１を読み出し、算出された最終的な最大速度と速度制御指示値ｖｄ１とのうち値が小さい方の速度を速度制御に用いる最大速度として決定する。これにより、車両制御ＥＣＵ５０Ｂは、法定速度や制限速度を遵守して、速度制御に用いる最大速度を決定できる。

以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。

例えば、上述した実施の形態では、車両制御ＥＣＵが撮像画像の動作信頼度を基に速度制御を行う場合を示したが、車両制御ＥＣＵが撮像画像の動作信頼度を基に最大舵角速度を算出し、舵角制御を行う場合にも、本開示は同様に適用可能である。これにより、自動運転車両は、走行中の急ハンドルを回避できる。

１０ 自動運転車両
１１ カメラ
１２ センサ部
１４、１４Ａ 最大速度決定部
１５ 動作判断部
１６ 障害物検知部
１７ 指示速度決定部
１８ 舵角決定部
１９ 速度指示生成部
２０ 車両制御部
２１ アクセルペダルアクチュエータ
２２ ブレーキペダルアクチュエータ
２３ ステアリングアクチュエータ
５０，５０Ａ，５０Ｂ 車両制御ＥＣＵ
１２１ ミリ波レーダ
１２２ ＬｉＤＡＲ

Claims (13)

1. カメラが搭載された自動運転車両に配置される運転操作判断装置であって、
   前記カメラの画角内に対象物が映る撮像画像を解析し、その解析結果に基づいて前記カメラの動作信頼度を評価する評価部と、
   評価された前記カメラの動作信頼度に基づいて、前記自動運転車両が行う運転操作を決定する決定部と、
   決定された前記運転操作に従う自動運転の実行指示を、前記自動運転車両の作動制御を実行するための車両制御部に伝達する指示生成部と、を備える、
   運転操作判断装置。
2. 前記自動運転車両の位置を検出する測位部と、
   道路地図情報と道路に沿って配置された複数の前記対象物のそれぞれに関する情報とを含む道路地図データを保持する記憶部と、
   検出された前記自動運転車両の位置情報と前記道路地図データとを用いて、前記解析の対象となる前記対象物を決定する対象物決定部と、を更に備える、
   請求項１に記載の運転操作判断装置。
3. 前記評価部は、前記撮像画像中の前記対象物の画質に基づいて、前記カメラの動作信頼度を評価する、
   請求項２に記載の運転操作判断装置。
4. 前記対象物決定部は、前記自動運転車両から前記対象物までの距離を算出し、
   前記決定部は、算出された前記距離と評価された前記カメラの動作信頼度とに基づいて、前記カメラの視界距離内で前記自動運転車両が所定の減速度で停止可能な最大速度を決定する、
   請求項２に記載の運転操作判断装置。
5. 前記対象物決定部は、前記自動運転車両から前記対象物までの距離を算出し、
   前記評価部は、算出された前記距離を用いた前記撮像画像の解析結果に基づいて前記カメラの動作信頼度を評価し、
   前記決定部は、評価された前記カメラの動作信頼度に基づいて、前記カメラの視界距離内で前記自動運転車両が所定の減速度で停止可能な最大速度を決定する、
   請求項２に記載の運転操作判断装置。
6. 前記決定部は、前記記憶部から前記自動運転車両の位置情報に対応した速度指示値を読み出し、算出された前記最大速度と前記速度指示値とのうち値が小さい方の速度での走行を前記運転操作として決定する、
   請求項４または５に記載の運転操作判断装置。
7. 前記自動運転車両に搭載され、前記対象物までの距離を検知する他のセンサの検知結果に基づく前記自動運転車両の最大速度と前記他のセンサの動作信頼度とを受け取り、前記カメラの動作信頼度と前記他のセンサの動作信頼度とに基づいて、前記カメラの視界距離内または前記他のセンサの測定可能な距離内で前記自動運転車両が所定の減速度で停止可能な第２最大速度を決定する、
   請求項４に記載の運転操作判断装置。
8. 前記決定部は、
   前記カメラの動作信頼度が前記他のセンサの動作信頼度と比べて高い場合、前記カメラの視界距離内で前記自動運転車両が所定の減速度で停止可能な最大速度を前記第２最大速度に決定し、
   前記他のセンサの動作信頼度が前記カメラの動作信頼度と比べて高い場合、前記他のセンサの測定可能な距離内で前記自動運転車両が所定の減速度で停止可能な最大速度を前記第２最大速度に決定する、
   請求項７に記載の運転操作判断装置。
9. 前記カメラの動作信頼度と前記他のセンサの動作信頼度のうち、最大信頼度の前記カメラによる最大速度または前記他のセンサによる最大速度と、２番目の信頼度の前記カメラによる最大速度または前記他のセンサによる最大速度との差分に、前記最大信頼度に対する前記２番目の信頼度の比率を乗じた値を、前記最大信頼度の前記カメラによる最大速度または前記他のセンサによる最大速度から減じた値を、前記第２最大速度に決定する、
   請求項７に記載の運転操作判断装置。
10. 前記決定部は、前記記憶部から前記自動運転車両の位置情報に対応した速度指示値を読み出し、算出された前記第２最大速度と前記速度指示値のうち値が小さい方の速度での走行を前記運転操作として決定する、
    請求項７〜９のうちいずれか一項に記載の運転操作判断装置。
11. 前記対象物は、道路標識である、
    請求項１〜１０のうちいずれか一項に記載の運転操作判断装置。
12. カメラと、
    自動運転に関する運転操作を判断する運転操作判断装置と、を備え、
    前記運転操作判断装置は、
    前記カメラの画角内に対象物が映る撮像画像を解析し、その解析結果に基づいて前記カメラの動作信頼度を評価する評価部と、
    評価された前記カメラの動作信頼度に基づいて、自車両が行う運転操作を決定する決定部と、
    決定された前記運転操作に従う自動運転の実行指示を、前記自車両の作動制御を実行するための車両制御部に伝達する指示生成部と、を備える、
    車両。
13. カメラが搭載された自動運転車両の運転操作を判断する運転操作判断方法であって、
    前記カメラの画角内に対象物が映る撮像画像を解析し、その解析結果に基づいて前記カメラの動作信頼度を評価するステップと、
    評価された前記カメラの動作信頼度に基づいて、前記自動運転車両が行う運転操作を決定するステップと、
    決定された前記運転操作に従う自動運転の実行指示を、前記自動運転車両の作動制御を実行するための車両制御部に伝達するステップと、を有する、
    運転操作判断方法。

Images