JP2022047499A - 車両制御装置、車両制御方法、車両制御プログラム - Google Patents
車両制御装置、車両制御方法、車両制御プログラム Download PDFInfo
- Publication number
- JP2022047499A JP2022047499A JP2021124655A JP2021124655A JP2022047499A JP 2022047499 A JP2022047499 A JP 2022047499A JP 2021124655 A JP2021124655 A JP 2021124655A JP 2021124655 A JP2021124655 A JP 2021124655A JP 2022047499 A JP2022047499 A JP 2022047499A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- control
- pixel group
- reflected light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 42
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 108
- 239000000126 substance Substances 0.000 claims abstract description 103
- 230000003287 optical effect Effects 0.000 claims abstract description 88
- 238000000605 extraction Methods 0.000 claims abstract description 52
- 238000004140 cleaning Methods 0.000 claims description 126
- 239000007788 liquid Substances 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 4
- 239000010802 sludge Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- -1 rain Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
Abstract
【課題】車両制御の適正度を高める車両制御装置の提供。【解決手段】光照射に対する反射光のセンシングにより反射光画像Iorを取得する光学センサ40と、光学センサ40と重複するセンシング領域での外光強度に応じたカメラ画像Icを取得するセンシングカメラ41とを、搭載した車両を制御する車両制御装置1は、反射光画像Iorとカメラ画像Icとを対比することにより、アンマッチングの画素群Poを抽出する抽出部100と、アンマッチングの画素群Poに対応すると推定される水関連物質Mwに応じた制御を、車両に指令する制御部120とを、備える。【選択図】図3
Description
本開示は、車両におけるセンサ系利用の制御技術に、関する。
車両のセンサ系によるセンシング領域において、例えば雨、霧、又は水蒸気等の水関連物質の存在は、センシング精度の低下を招くことが知られている。そのため、水関連物質の存在判断は、車両の制御に影響する。特に近年、車両の自動運転モードにおける水関連物質の存在は、自動運転の継続性を左右するため、重要な制御要因となっている。
ここで特許文献1には、センサ系においてセンシング領域から光の入射する入射面に付着した、例えば水滴等の汚れを判定するための、判定技術が開示されている。この開示技術では、光照射に対する反射光の強度変化に基づくことで、入射面の汚れが判定されている。
しかし、特許文献1の開示技術では、水関連物質が入射面に付着しない限り、同物質の存在を判断できない。そのため、入射面に水関連物質が付着してからでは、センサ系によるセンシング精度の低下に起因して車両制御の適正度が悪化する事態を、抑止することは難しいと懸念される。
本開示の課題は、車両制御の適正度を高める車両制御装置を、提供することにある。本開示の別の課題は、車両制御の適正度を高める車両制御方法を、提供することにある。本開示のさらに別の課題は、車両制御の適正度を高める車両制御プログラムを、提供することにある。
以下、課題を解決するための本開示の技術的手段について、説明する。尚、特許請求の範囲及び本欄に記載された括弧内の符号は、後に詳述する実施形態に記載された具体的手段との対応関係を示すものであり、本開示の技術的範囲を限定するものではない。
本開示の第一態様は、
光照射に対する反射光のセンシングにより反射光画像(Ior)を取得する光学センサ(40)と、光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)とを、搭載した車両(2)を制御する車両制御装置(1)であって、
反射光画像とカメラ画像とを対比することにより、アンマッチングの画素群(Po)を抽出する抽出部(100,5100)と、
アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、車両に指令する制御部(120,2120,5120)とを、備える。
光照射に対する反射光のセンシングにより反射光画像(Ior)を取得する光学センサ(40)と、光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)とを、搭載した車両(2)を制御する車両制御装置(1)であって、
反射光画像とカメラ画像とを対比することにより、アンマッチングの画素群(Po)を抽出する抽出部(100,5100)と、
アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、車両に指令する制御部(120,2120,5120)とを、備える。
本開示の第二態様は、
光照射に対する反射光のセンシングにより反射光画像(Ior)を取得する光学センサ(40)と、光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)とを、搭載した車両(2)を制御する車両制御方法であって、
反射光画像とカメラ画像とを対比することにより、アンマッチングの画素群(Po)を抽出する抽出工程(S101,S102,S103,S500,S501,S502,S503,S506)と、
アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、車両に指令する制御工程(S104,S105,S106,S205,S206,S504,S505,S507,S508)とを、含む。
光照射に対する反射光のセンシングにより反射光画像(Ior)を取得する光学センサ(40)と、光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)とを、搭載した車両(2)を制御する車両制御方法であって、
反射光画像とカメラ画像とを対比することにより、アンマッチングの画素群(Po)を抽出する抽出工程(S101,S102,S103,S500,S501,S502,S503,S506)と、
アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、車両に指令する制御工程(S104,S105,S106,S205,S206,S504,S505,S507,S508)とを、含む。
本開示の第三態様は、
光照射に対する反射光のセンシングにより反射光画像(Ior)を取得する光学センサ(40)と、光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)とを、搭載した車両(2)を制御するために、プロセッサ(12)に実行させる命令を含む車両制御プログラムであって、
命令は、
反射光画像とカメラ画像とを対比させることにより、アンマッチングの画素群を抽出させる抽出工程(S101,S102,S103,S500,S501,S502,S503,S506)と、
アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、車両に指令させる制御工程(S104,S105,S106,S205,S206,S504,S505,S507,S508)とを、含む。
光照射に対する反射光のセンシングにより反射光画像(Ior)を取得する光学センサ(40)と、光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)とを、搭載した車両(2)を制御するために、プロセッサ(12)に実行させる命令を含む車両制御プログラムであって、
命令は、
反射光画像とカメラ画像とを対比させることにより、アンマッチングの画素群を抽出させる抽出工程(S101,S102,S103,S500,S501,S502,S503,S506)と、
アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、車両に指令させる制御工程(S104,S105,S106,S205,S206,S504,S505,S507,S508)とを、含む。
これら第一~第三態様によると、光照射に対する反射光のセンシングにより光学センサにて取得される反射光画像と、同センサと重複するセンシング領域での外光強度に応じてセンシングカメラにより取得されるカメラ画像とが、対比される。こうした対比により抽出されるアンマッチングの画素群は、反射光がセンシングされ易い水関連物質、即ち反射光画像には写り易い水関連物質に対応すると正確に推定され得る。故に、推定の結果として水関連物質に応じた制御が車両に指令されることによれば、当該車両制御の適正度を高めることが可能となる。
本開示の第四態様は、
光照射に対する反射光のセンシングにより反射光画像(Ior)を取得し且つ光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)を、搭載した車両(2)を制御する車両制御装置(1)であって、
反射光画像と外光画像とを対比することにより、アンマッチングの画素群(Po)を抽出する抽出部(3100)と、
アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、車両に指令する制御部(120,4120)とを、備える。
光照射に対する反射光のセンシングにより反射光画像(Ior)を取得し且つ光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)を、搭載した車両(2)を制御する車両制御装置(1)であって、
反射光画像と外光画像とを対比することにより、アンマッチングの画素群(Po)を抽出する抽出部(3100)と、
アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、車両に指令する制御部(120,4120)とを、備える。
本開示の第五態様は、
光照射に対する反射光のセンシングにより反射光画像(Ior)を取得し且つ光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)を、搭載した車両(2)を制御する車両制御方法であって、
反射光画像と外光画像とを対比することにより、アンマッチングの画素群(Po)を抽出する抽出工程(S302,S303)と、
アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、車両に指令する制御工程(S104,S105,S106,S405,S406)とを、含む。
光照射に対する反射光のセンシングにより反射光画像(Ior)を取得し且つ光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)を、搭載した車両(2)を制御する車両制御方法であって、
反射光画像と外光画像とを対比することにより、アンマッチングの画素群(Po)を抽出する抽出工程(S302,S303)と、
アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、車両に指令する制御工程(S104,S105,S106,S405,S406)とを、含む。
本開示の第六態様は、
光照射に対する反射光のセンシングにより反射光画像(Ior)を取得し且つ光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)を、搭載した車両(2)を制御するために、プロセッサ(12)に実行させる命令を含む車両制御プログラムであって、
命令は、
反射光画像と外光画像とを対比させることにより、アンマッチングの画素群を抽出させる抽出工程(S302,S303)と、
アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、車両に指令させる制御工程(S104,S105,S106,S405,S406)とを、含む。
光照射に対する反射光のセンシングにより反射光画像(Ior)を取得し且つ光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)を、搭載した車両(2)を制御するために、プロセッサ(12)に実行させる命令を含む車両制御プログラムであって、
命令は、
反射光画像と外光画像とを対比させることにより、アンマッチングの画素群を抽出させる抽出工程(S302,S303)と、
アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、車両に指令させる制御工程(S104,S105,S106,S405,S406)とを、含む。
これら第四~第六態様によると、光照射に対する反射光のセンシングにより光学センサにて取得される反射光画像と、当該光照射の停止中に外光強度に応じて同センサにより取得される外光画像とが、対比される。こうした対比により抽出されるアンマッチングの画素群は、反射光がセンシングされ易い水関連物質、即ち反射光画像には写り易い水関連物質に対応すると正確に推定され得る。故に、推定の結果として水関連物質に応じた制御が車両に指令されることによれば、当該車両制御の適正度を高めることが可能となる。
以下、複数の実施形態を図面に基づき説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことで、重複する説明を省略する場合がある。また、各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。さらに、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。
(第一実施形態)
図1に示すように、第一実施形態の車両制御装置1を備える自動運転ユニットADUは、車両2に搭載される。車両2は、自律運転制御又は高度運転支援制御による自動運転モードにおいて、定常的若しくは一時的に自動走行可能となっている。自動運転ユニットADUは、車両制御装置1と共に、ハウジング3、センサ系4及び洗浄系5を含んで構成されている。尚、以下の説明において、前、後、左、右、上及び下とは、水平面上の車両2を基準に定義されている。
図1に示すように、第一実施形態の車両制御装置1を備える自動運転ユニットADUは、車両2に搭載される。車両2は、自律運転制御又は高度運転支援制御による自動運転モードにおいて、定常的若しくは一時的に自動走行可能となっている。自動運転ユニットADUは、車両制御装置1と共に、ハウジング3、センサ系4及び洗浄系5を含んで構成されている。尚、以下の説明において、前、後、左、右、上及び下とは、水平面上の車両2を基準に定義されている。
図1,2に示すようにハウジング3は、例えば金属等により中空状の扁平箱形に形成されている。ハウジング3は、車両2のルーフ20上に設置される。ハウジング3の壁30には、複数のセンサ窓31が開口している。各センサ窓31は、それぞれ板状の透光カバー32により覆われている。各透光カバー32の外面は、車両2の外界から光の入射する入射面33を、構成している。
図2~4に示すようにセンサ系4は、光学センサ40を備えている。光学センサ40は、車両2において自動運転モードに活用可能な光学情報を取得する、所謂LiDAR(Light Detection and Ranging / Laser Imaging Detection and Ranging)である。光学センサ40は、発光素子400、撮像素子401及び撮像回路402を有している。
発光素子400は、例えばレーザダイオード等の、指向性レーザ光を発する半導体素子である。発光素子400は、車両2の外界へ向かうレーザ光を、断続的なパルスビーム状に照射する。撮像素子401は、例えばSPAD(Single Photon Avalanche Diode)等の、光に対して高感度な半導体素子である。撮像素子401の外界側(本実施形態では前側)には、光学センサ40専用の入射面33oが、配置されている。外界のうち、撮像素子401の画角により決まるセンシング領域Aoから、入射面33oへ入射する光により、同素子401が露光される。撮像回路402は、撮像素子401における複数画素の露光及び走査を制御すると共に、同素子401からの信号を処理してデータ化する、集積回路である。
撮像回路402が発光素子400からの光照射により撮像素子401を露光する反射光モードでは、センシング領域Ao内の物点がレーザ光の反射点となる。その結果、反射点での反射されたレーザ光(以下、反射光という)が、入射面33oを通して撮像素子401に入射する。このとき撮像回路402は、撮像素子401の複数画素を走査することで、反射光をセンシングする。ここで特に撮像回路402は、図4に示す如くセンシングした反射光の反射点距離drに応じて複数画素毎に取得される距離値を、各画素値として三次元データ化することで、図5に示す如き反射光画像Iorとしての距離画像Iordを取得する。
図2~4に示すようにセンサ系4は、こうした光学センサ40に加えて、センシングカメラ41も備えている。センシングカメラ41は、車両2において自動運転モードに活用可能な光学情報を取得する、所謂外界カメラである。センシングカメラ41は、撮像素子411及び撮像回路402を有している。
撮像素子411は、例えばCMOS等の半導体素子である。撮像素子411の外界側(本実施形態では前側)には、センシングカメラ41専用の入射面33cが、配置されている。外界のうち、撮像素子411の画角により決まるセンシング領域Acから、入射面33cへ入射する光により、同素子411が露光される。ここで図4に示すようにセンシングカメラ41のセンシング領域Acは、光学センサ40のセンシング領域Aoと部分的、重複する。センシング領域Ac,Aoの重複率、即ちそれら各領域Ac,Aoにおいて重複領域Aocの占める割合は、例えば50%以上、好ましくは70%以上、さらに好ましくは90%以上である。撮像回路412は、撮像素子411における複数画素の露光及び走査を制御すると共に、同素子411からの信号を処理してデータ化する、集積回路である。
撮像回路412が撮像素子411を露光する露光モードでは、センシング領域Ac内の物点が外光の反射点となる。その結果、反射点で反射された外光が、入射面33cを通して撮像素子411に入射する。このとき撮像回路412は、撮像素子411の複数画素を走査することで、反射された外光をセンシングする。ここで特に撮像回路412は、センシングした外光の強度に応じて複数画素毎に取得される輝度値を、各画素値として二次元データ化することで、図6に示す如きカメラ画像Icを取得する。
図1~3に示す洗浄系5は、光学センサ40及びセンシングカメラ41においてセンシング領域Ao,Acから光の入射する入射面33o,33cを含んだ、複数入射面33を洗浄する。洗浄系5は、入射面33毎に洗浄モジュール50を備えている。各洗浄モジュール50は、入射面33を洗浄するための洗浄流体として、例えば空気等の洗浄ガスを入射面33へ噴射する、洗浄ノズルを有していてもよい。各洗浄モジュール50は、入射面33を洗浄するための洗浄流体として、洗浄液を入射面33へ噴射する、洗浄ノズルを有していてもよい。各洗浄モジュール50は、入射面33を払拭により洗浄する、洗浄ワイパを有していてもよい。
図2,3に示す車両制御装置1は、例えばLAN(Local Area Network)、ワイヤハーネス及び内部バス等のうち、少なくとも一種類を介して自動運転ユニットADUの電気的構成要素4,5と接続される。車両制御装置1は、少なくとも一つの専用コンピュータを含んで構成される。車両制御装置1を構成する専用コンピュータは、車両2内のECU(Electronic Control Unit)と共同して自動運転モードを制御する、運転制御ECUであってもよい。車両制御装置1を構成する専用コンピュータは、車両2の走行アクチュエータを個別制御する、アクチュエータECUであってもよい。車両制御装置1を構成する専用コンピュータは、自己位置を含んだ車両2の状態量を推定する、ロケータECUであってもよい。車両制御装置1を構成する専用コンピュータは、車両2の走行経路をナビゲートする、ナビゲーションECUであってもよい。車両制御装置1を構成する専用コンピュータは、車両2の情報提示系の情報提示を制御する、HCU(HMI(Human Machine Interface) Control Unit)であってもよい。
車両制御装置1は、こうした専用コンピュータを含んで構成されることで、メモリ10及びプロセッサ12を少なくとも一つずつ有している。メモリ10は、コンピュータにより読み取り可能なプログラム及びデータ等を非一時的に記憶する、例えば半導体メモリ、磁気媒体及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。プロセッサ12は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)及びRISC(Reduced Instruction Set Computer)-CPU等のうち、少なくとも一種類をコアとして含む。
プロセッサ12は、メモリ10に記憶された車両制御プログラムに含まれる複数の命令を、実行する。これにより車両制御装置1は、車両2を制御するための機能部(即ち、機能ブロック)を、複数構築する。このように車両制御装置1では、車両2を制御するためにメモリ10に記憶された車両制御プログラムが複数の命令をプロセッサ12に実行させることで、複数の機能部が構築される。車両制御装置1により構築される複数の機能部には、図3に示すように抽出部100及び制御部120が含まれる。
制御サイクル毎に抽出部100には、光学センサ40から反射光画像Iorとしての距離画像Iordが入力されると共に、センシングカメラ41からカメラ画像Icが入力される。抽出部100は、距離画像Iordとカメラ画像Icとを対比することで、アンマッチングの画素群Poを抽出する。そのために抽出部100は、サブ機能部として画素補間部102、エッジ検出部104及びマッチング判定部106を有している。
画素補間部102は、反射光画像Iorとしての距離画像Iordと、カメラ画像Icとのうち、高解像度側を低解像度側に合わせて画素補間する。ここで本実施形態では、センシング領域Ao,Acのうち重複領域Aocを撮影する画素群の数が、距離画像Iordよりもカメラ画像Icにて多く設定されている。即ち、カメラ画像Icが高解像度側となっている一方、距離画像Iordが低解像度側となっている。そこで画素補間部102は、カメラ画像Icにおいて各画素座標の画素値を、距離画像Iordにおける各画素座標に合わせて内分補間する。補間の結果として画素補間部102は、重複領域Aocに関して距離画像Iordと実質同一解像度のカメラ画像Icを、図7に示すように生成する。
エッジ検出部104は、画素補間されたカメラ画像Icに対して、少なくとも一種類のエッジフィルタ処理を施すことで、当該画像Icからエッジを検出する。エッジ検出部104は、画素補間によりカメラ画像Icとは実質同一解像度となった重複領域Aocの反射光画像Iorである距離画像Iordに対しても、少なくとも一種類のエッジフィルタ処理を施すことで、当該画像Iordからエッジを検出する。
マッチング判定部106は、反射光画像Iorとしての距離画像Iordと、カメラ画像Icとにおいて、それぞれ検出されたエッジ同士を対比させることで、それら画像Iord,Icのマッチング状態を判定する。このときマッチング判定部106は、例えばエッジの構成画素値を互いに正規化して差分を演算することで、当該差分がマッチング範囲外となる画素群が確認された場合等に、アンマッチングとの判定を下す。ここで特に第一実施形態では、距離画像Iordに存在し且つカメラ画像Icに存在しない水関連物質Mw(後に詳述)によるアンマッチングの判定が、例えば画像Iord,Icについての過去と現在との対比、及び物体認識等のうち少なくとも一種類に基づくことで、下される。これは、カメラ画像Icに存在し且つ距離画像Iordに存在しない物体として水関連物質Mw以外の、例えば黒い車体等といった鏡面反射物体によりアンマッチングの判定が下されるのを、回避するためである。こうした判定によりマッチング判定部106は、距離画像Iordにおいてカメラ画像Icとはアンマッチングなエッジに対応する画素群Poを、図5の如く抽出する。尚、画素群とは複数画素の群を意味し、特にアンマッチングと判定される場合の画素群Poは、隣り合って連続する複数画素の群であるとよい。また説明の便宜上、図5は、アンマッチングな画素群Poが、太実線の円に符号Poを付して示されている。
図3に示すように制御部120には、反射光画像Iorとしての距離画像Iordにおいてマッチング判定部106でのアンマッチング判定により抽出された画素群Poが、入力される。制御部120では図5に示すように、強度があるレーザ光の反射光ではセンシングが容易となる水関連物質Mwの存在に、こうしたアンマッチングな画素群Poが対応すると推定される。ここで水関連物質Mwは、例えば雨(水滴を含む)、霧、水蒸気(排ガス中の成分も含む)、及び水分含有の汚泥等のうち、少なくとも一種類である。尚、図5の例は、水関連物質Mwとしての霧の存在を便宜上、分かり易く模式的に示している。
制御部120には、距離画像Iordのアンマッチングな画素群Poでの画素値となっている反射点距離drの値も、マッチング判定部106から入力される。そこで制御部120は、アンマッチングの画素群Poにおける反射点距離drの短長を、所定の設定範囲との対比により判定する。ここで設定範囲とは、反射点距離drに関する閾値未満、又は当該閾値以下の範囲に規定される。また、設定範囲を規定する閾値は、例えば停止時は1~3m、走行時は3~10m等の適値に設定される。勿論、設定範囲を規定する閾値は、そうした例示値の適値に設定されてもよい。こうした規定及び設定の下にて制御部120では、反射点距離drが設定範囲内となる場合に、アンマッチングな画素群Poとの対応が推定される水関連物質Mwは、光学センサ40の入射面33oに付着する可能性が高いと予測される。このように入射面33oへの付着が予測される水関連物質Mwには、上述した例示物質として雨、霧、水蒸気、及び汚泥等が想定される。
こうしたことから、アンマッチングな画素群Poと対応推定の水関連物質Mwが光学センサ40の入射面33oに付着すると予測されると判断した場合に制御部120は、光学センサ40の入射面33oを洗浄するように、自動運転モードにおける車両2の洗浄系5に対して洗浄制御を、指令する。指令を受けて洗浄系5は、図2の如く入射面33oに対応する洗浄モジュール50oを駆動制御することで、当該入射面33oの洗浄処理を実行する。このとき、センシングカメラ41の入射面33cに関する洗浄制御の指令は必須でなく、故に洗浄モジュール50cも必須要素ではない。但し、光学センサ40の入射面33oに対して水関連物質Mwの付着予測が成立する場合、同センサ40とは可及的に近接配置されるセンシングカメラ41の入射面33cにも付着予測が成立するとして、同面33cに関する洗浄制御が指令されてもよい。
このような機能部100,120の共同により、車両制御装置1が車両2を制御する車両制御方法のフローを、図8に従って以下に説明する。尚、本フローにおける各「S」は、車両制御プログラムに含まれた複数命令によって実行される複数ステップを、それぞれ意味する。
まず、S101において抽出部100の画素補間部102は、高解像度のカメラ画像Icを、低解像度側となる反射光画像Iorとしての距離画像Iordに合わせて画素補間する。次に、S102において抽出部100のエッジ検出部104は、距離画像Iord及びカメラ画像Icの各々から、エッジを検出する。続いて、S103において抽出部100のマッチング判定部106は、距離画像Iord及びカメラ画像Icにおいて検出されたエッジ同士を対比させることで、それら画像Iord,Icのマッチング状態を判定する。
S103の結果、反射光画像Iorとしての距離画像Iordにおいてカメラ画像Icとはアンマッチングと判定の画素群Poが抽出された場合には、本フローがS104へ移行する。S104において制御部120は、アンマッチングな画素群Poに対応すると推定される水関連物質Mwが光学センサ40の入射面33oに付着すると予測されるか否かを、当該アンマッチングな画素群Poの反射点距離drに基づき判定する。
S104の結果、アンマッチングな画素群Poの反射点距離drが設定範囲内であることで、水関連物質Mwの入射面33oへの付着が予測される場合には、本フローがS105へ移行する。S105において制御部120は、自動運転モードにおける車両2の制御として、光学センサ40の入射面33oに対する洗浄制御の実行を、洗浄系5に指令する。
さて、S103の結果、アンマッチングと判定の画素群Poが抽出されなかった完全マッチングの場合と、S104の結果、水関連物質Mwの入射面33oへの付着が予測されなかった場合とには、本フローがS106へ移行する。S106において制御部120は、洗浄制御の停止を洗浄系5に指令する。以上より第一実施形態では、S101,S102,S103が抽出工程に相当し、S104,S105,S106が制御工程に相当する。
(作用効果)
以上説明した第一実施形態の作用効果を、以下に説明する。
以上説明した第一実施形態の作用効果を、以下に説明する。
第一実施形態によると、光照射に対する反射光のセンシングにより光学センサ40にて取得される反射光画像Iorと、同センサ40と重複するセンシング領域Acでの外光強度に応じてセンシングカメラ41により取得されるカメラ画像Icとが、対比される。こうした対比により抽出されるアンマッチングの画素群Poは、反射光がセンシングされ易い水関連物質Mw、即ち反射光画像Iorには写り易い水関連物質Mwに対応すると正確に推定され得る。故に、推定の結果として水関連物質Mwに応じた制御が車両2に指令されることによれば、当該車両制御の適正度を高めることが可能となる。
第一実施形態によると、光学センサ40においてセンシング領域Aoから光の入射する入射面33oを洗浄するように、洗浄系5が車両2に搭載される。これによれば、光学センサ40及びセンシングカメラ41によりそれぞれ取得される反射光画像Ior及びカメラ画像Icの対比から抽出されるアンマッチングの画素群Poは、水関連物質Mwに対応すると正確に推定され得る。故に、推定の結果として水関連物質Mwの付着する可能性が高いと予測される入射面33oに対しては、洗浄制御が自動運転モードにおける車両2の洗浄系5に指令されることによれば、当該洗浄制御の適正度を高めることが可能となる。
第一実施形態によると、光照射に対する反射光の反射点距離drに応じた反射光画像Iorとして、距離画像Iordがカメラ画像Icと対比される。こうした対比により抽出されるアンマッチングの画素群Poは、反射点距離drがセンシングされ易い水関連物質Mw、即ち距離画像Iordには写り易い水関連物質Mwに対応すると正確に推定され得る。故に、推定の結果として水関連物質Mwに応じた洗浄制御を指令して、当該洗浄制御の適正度を高めることが可能となる。
第一実施形態によると、アンマッチングの画素群Poの中でも特に、反射光画像Iorとしての距離画像Iordにおける反射点距離drが設定範囲内の画素群Poは、当該設定範囲内に位置して光学センサ40の入射面33oに付着し易いと予測される水関連物質Mwに、正確に対応推定され得る。故に、水関連物質Mwの付着する可能性が高い状況における入射面33oの洗浄を、適正に指令して制御することが可能となる。
第一実施形態のような反射光画像Iorとカメラ画像Icとのエッジ同士の対比によれば、それらエッジからアンマッチングな画素群Poを正確に捉えて抽出することが容易となる。故に、アンマッチングの画素群Poに対応すると推定される水関連物質Mwに応じた制御を、適正に指令して実行することが可能となる。
第一実施形態によると、反射光画像Iorとカメラ画像Icとのうち高解像度側が低解像度側に合わせて画素補間されてから、それら画像Ior,Icが対比される。こうした対比によれば、本来マッチングしているはずの画素群が解像度の違いに起因して誤抽出される事態を、抑止することができる。故に、アンマッチングの画素群Poに対応すると推定される水関連物質Mwに応じた制御を、適正に指令して実行することが可能となる。
(第二実施形態)
第二実施形態は、第一実施形態の変形例である。
第二実施形態は、第一実施形態の変形例である。
図9に示すように第二実施形態の車両2内には、走行制御装置6が搭載されている。走行制御装置6は、自動運転ユニットADUと共同することで、自動モードを含む車両2の走行制御を、センサ系4による各種センシング情報に基づき実行する。そのために走行制御装置6は、例えば第一実施形態で説明した車両2内のECU等、少なくとも一つの専用コンピュータを含んで構成される。尚、第二実施形態の洗浄系5は必須でなく、図9では、同系5の図示が省かれている。
第二実施形態の制御部2120では、アンマッチングの画素群Poにおける反射点距離drが入力されず、当該距離dr短長判定が省かれる。そこで制御部2120は、水関連物質Mwと対応すると推定されるアンマッチングな画素群Poを、障害物としての認識から外すように、自動運転モードにおける走行制御を車両2の走行制御装置6に指令する。
こうした第二実施形態による車両制御方法のフローでは、図10に示すように、S101,S102,S103が第一実施形態に準じて実行される一方、S104,S105,S106に代わるS205,S206が実行される。具体的にS205において制御部2120は、水関連物質Mwを障害物としての認識から外すように、自動運転モードにおける走行制御を車両2の走行制御装置6に指令する。これに対し、S206において制御部2120は、水関連物質Mwを障害物認識から外す走行制御の停止を、走行制御装置6に指令する。以上より第二実施形態では、S101,S102,S103が抽出工程に相当し、S205,S206が制御工程に相当する。
(作用効果)
以上説明した第二実施形態の作用効果を、以下に説明する。
以上説明した第二実施形態の作用効果を、以下に説明する。
第二実施形態によると、反射光画像Ior及びカメラ画像Icの対比から抽出されるアンマッチングの画素群Poに対応すると推定される水関連物質Mwを、障害物としての認識から外すように、自動運転モードにおける走行制御が車両2に指令される。これによれば、水関連物質Mwが障害物として誤認識される事態を抑止した適正な走行制御により、自動運転モードの継続性を担保することが可能となる。
(第三実施形態)
第三実施形態は、第一実施形態の変形例である。
第三実施形態は、第一実施形態の変形例である。
図11に示すように第三実施形態の光学センサ3040は、第一実施形態に準じた光照射中での反射光画像Iorの取得機能と共に、当該光照射の停止中での画像取得機能を、有している。具体的には、撮像回路3402が発光素子400からの断続的な光照射の停止中に撮像素子401を露光する外光モードでは、センシング領域Ao内の物点が外光の反射点となる。その結果、反射点で反射された外光が、入射面33oを通して撮像素子401に入射する。このとき撮像回路3402は、撮像素子401の複数画素を走査することで、反射された外光をセンシングする。
ここで特に撮像回路3402は、センシングした外光の強度に応じて複数画素毎に取得される輝度値を、各画素値として二次元データ化することで、図12に示す如き外光画像Iooを取得する。このとき、外光画像Iooの取得機能における外光のセンシングは、反射光画像Iorの取得機能における反射光のセンシングと、同一の撮像素子401により実現されることとなる。尚、第三実施形態のセンシングカメラ41は必須でなく、図11では、当該カメラ41の図示が省かれている。
第三実施形態の抽出部3100には、制御サイクル毎に光学センサ3040から、反射光画像Iorとしての距離画像Iordと、外光画像Iooとが順次入力される。抽出部3100では、上述した同一素子401でのセンシングにより、サブ機能部としての画素補間部102が省かれている。尚、エッジ検出部104及びマッチング判定部106での各機能を抽出部3100は、カメラ画像Icに代わる外光画像Iooと、反射光画像Iorとの間で第一実施形態に準じて実現する。
こうした第三実施形態による車両制御方法のフローでは、図13に示すようにまず、S302において抽出部3100のエッジ検出部104が、反射光画像Iorとしての距離画像Iordと、外光画像Iooとの各々から、エッジを検出する。次に、S303において抽出部3100のマッチング判定部106は、距離画像Iord及び外光画像Iooにおいて検出されたエッジ同士を対比させることで、それら画像Iord,Iooのマッチング状態を判定する。
尚、S303後のS104,S105,S106は、第一実施形態に準じて実行される。以上より第三実施形態では、S302,S303が抽出工程に相当し、S104,S105,S106が制御工程に相当する。
(作用効果)
以上説明した第三実施形態の作用効果を、以下に説明する。
以上説明した第三実施形態の作用効果を、以下に説明する。
第三実施形態によると、光照射に対する反射光のセンシングにより光学センサ3040にて取得される反射光画像Iorと、当該光照射の停止中に外光強度に応じて同センサ3040により取得される外光画像Iooとが、対比される。こうした対比により抽出されるアンマッチングの画素群Poは、反射光がセンシングされ易い水関連物質Mw、即ち反射光画像Iorには写り易い水関連物質Mwに対応すると正確に推定され得る。故に、推定の結果として水関連物質Mwに応じた制御が車両2に指令されることによれば、当該車両制御の適正度を高めることが可能となる。
第三実施形態によると、光学センサ3040においてセンシング領域Aoから光の入射する入射面33oを洗浄するように、洗浄系5が車両2に搭載される。これによれば、光学センサ3040により取得される反射光画像Ior及び外光画像Iooの対比から抽出されるアンマッチングの画素群Poは、水関連物質Mwに対応すると正確に推定され得る。故に、推定の結果として水関連物質Mwの付着する可能性が予測される入射面33oに対しては、洗浄制御が自動運転モードにおける車両2の洗浄系5に指令されることによれば、当該洗浄制御の適正度を高めることが可能となる。
第三実施形態によると、光照射に対する反射光の反射点距離drに応じた反射光画像Iorとして、距離画像Iordが外光画像Iooと対比される。こうした対比により抽出されるアンマッチングの画素群Poは反射点距離drがセンシングされ易い水関連物質Mw、即ち距離画像Iordには写り易い水関連物質Mwに対応すると正確に推定され得る。故に、推定の結果として水関連物質Mwに応じた洗浄制御を指令して、当該洗浄制御の適正度を高めることが可能となる。
第三実施形態によると、アンマッチングの画素群Poの中でも特に、反射光画像Iorとしての距離画像Iordにおける反射点距離drが設定範囲内の画素群Poは、当該設定範囲内に位置して光学センサ3040の入射面33oに付着し易いと予測される水関連物質Mwに、正確に対応推定され得る。故に、水関連物質Mwの付着する可能性が高い状況における入射面33cの洗浄を、適正に指令して制御することが可能となる。
第三実施形態によると、光学センサ3040において外光強度と同一素子401によりセンシングされた反射点距離drについては、それらセンシング間での軸ズレに起因して設定範囲との内外判定に誤りが生じる事態を、抑止され得る。故に、反射点距離drが設定範囲内となる画素群Poに対応して水関連物質Mwの付着が予想される入射面33oの洗浄を、適正に指令して制御することが可能となる。
(第四実施形態)
第四実施形態は、第三実施形態の変形例である。
第四実施形態は、第三実施形態の変形例である。
図14に示すように第四実施形態の車両2内には、第二実施形態に準ずる走行制御装置6が、搭載されている。それと共に、第四実施形態の制御部4120は、第二実施形態に準ずる走行制御の指令機能を有している。尚、第四実施形態の洗浄系5も必須でなく、図14では、同系5の図示が省かれている。
こうした第四実施形態による車両制御方法のフローでは、図15に示すように、S302,S303が第三実施形態に準じて実行される一方、S104,S105,S106に代えて第二実施形態のS205,S206に準ずるS405,S406が実行される。即ちS405において制御部4120は、水関連物質Mwを障害物としての認識から外すように、自動運転モードにおける走行制御を車両2の走行制御装置6に指令する。これに対し、S406において制御部4120は、水関連物質Mwを障害物認識から外す走行制御の停止を走、行制御装置6に指令する。以上より第四実施形態では、S302,S303が抽出工程に相当し、S405,S406が制御工程に相当する。
(作用効果)
以上説明した第四実施形態の作用効果を、以下に説明する。
以上説明した第四実施形態の作用効果を、以下に説明する。
第四実施形態によると、反射光画像Ior及び外光画像Iooの対比から抽出されるアンマッチングの画素群Poに対応すると推定される水関連物質Mwを、障害物としての認識から外すように、自動運転モードにおける走行制御が車両2に指令される。これによれば、水関連物質Mwが障害物として誤認識される事態を抑止した適正な走行制御により、自動運転モードの継続性を担保することが可能となる。
(第五実施形態)
第五実施形態は、第一実施形態の変形例である。以下、第五実施形態の説明では、センシングカメラ41の入射面33cをカメラ入射面33cという一方、光学センサ40の入射面33oを光学入射面33oというものとする。
第五実施形態は、第一実施形態の変形例である。以下、第五実施形態の説明では、センシングカメラ41の入射面33cをカメラ入射面33cという一方、光学センサ40の入射面33oを光学入射面33oというものとする。
図16に示すように第五実施形態に適用される第一実施形態のセンシングカメラ41では、光学センサ40と重複するセンシング領域Acから光の入射するカメラ入射面33cが、当該入射光を撮像素子411へ結像する結像レンズ系413の外界側焦点位置pfよりも、光軸L上において内界側に配置されている。即ちカメラ入射面33cは、結像レンズ系413におけるセンシング領域Ac側の焦点距離df内に、位置している。ここで焦点距離df内では、センシングカメラ41によるカメラ画像Icにおいて、エッジフィルタ処理によっても水関連物質Mwのエッジが未検出となる可能性が、高くなっている。
図17に示すように第五実施形態の抽出部5100は、サブ機能部として画素補間部102、エッジ検出部104及びマッチング判定部106に加え、探索部5108を有している。探索部5108は、光学センサ40による距離画像Iordにおいて反射点距離drが設定範囲Δd内となる物標(以下、設定範囲内物標ともいう)を、探索する。これは、反射点距離drが設定範囲Δd内となる光学入射面33o近傍の物点を、探索することを意味する。ここで第五実施形態における設定範囲Δdとは、結像レンズ系413におけるセンシング領域Ac側の焦点距離dfに応じて、光学センサ40による距離画像Iordではエッジフィルタ処理により水関連物質Mwのエッジを検出可能な範囲に、設定される。
このような第五実施形態では、探索部5108により探索の設定範囲内物標を含む距離画像Iordと、画素補間部102により画素補間されたカメラ画像Icとが、それぞれエッジ検出部104によるエッジ検出後、マッチング判定部106によりエッジ同士を対比される。これによりマッチング状態の判定をするマッチング判定部106は、距離画像Iordにおいて設定範囲内物標のエッジを表す画素群Poを、カメラ画像Icとはアンマッチングな画素群Poとして抽出可能となる。
そこで第五実施形態の制御部5120は、設定範囲内物標のエッジを表すアンマッチングな画素群Poが抽出された場合に、当該アンマッチングな画素群Poとの対応が推定される水関連物質Mwの、光学入射面33oへの付着が予測されると判断する。即ち、アンマッチングの画素群Poにおける反射点距離drが焦点距離dfに応じた設定範囲Δd内となる場合には、光学入射面33oへの水関連物質Mwの付着が制御部5120により予測されることになる。
このように、アンマッチングの画素群Poにおける反射点距離drが設定範囲Δd内となることで、光学入射面33oへの水関連物質Mwの付着が予想されると判断した制御部5120は、洗浄ガスによる光学入射面33oの洗浄制御を洗浄系5に指令する。この洗浄制御指令後に御部5120は、設定範囲Δd内の反射点距離drとなる画素群Poが距離画像Iordから抽出部5100によって抽出された場合には、さらに洗浄液による光学入射面33oの洗浄制御を洗浄系5に指令する。このとき画素群Poの抽出は、洗浄ガスによる洗浄制御指令前の距離画像Iordにおけるアンマッチングな画素群Poが、当該指令後となる最新の距離画像Iordにおいてもエッジ検出部104によりエッジ検出されることで、実現される。尚、洗浄ガスによる洗浄制御指令後に、設定範囲Δd内の反射点距離drとなる画素群Poが距離画像Iordに存在しなくなった場合には、制御部5120から洗浄制御の停止が洗浄系5に指令される。
こうした第五実施形態による車両制御方法のフローでは、図18に示すように、S500において抽出部5100の探索部5108は、距離画像Iordにおいて反射点距離drが設定範囲Δd内の物標、即ち設定範囲内物標を探索する。その結果、設定範囲内物標が探索された場合には、本フローがS501へ移行する。
S501において抽出部5100の画素補間部102は、高解像度のカメラ画像Icを、低解像度側となる反射光画像Iorとしての距離画像Iordに合わせて画素補間する。次に、S502において抽出部5100のエッジ検出部104は、距離画像Iord及びカメラ画像Icの各々から、エッジを検出する。
続いて、S503において抽出部5100のマッチング判定部106は、距離画像Iord及びカメラ画像Icにおいて検出されたエッジ同士を対比させることで、それら画像Iord,Icのマッチング状態を判定する。その結果、距離画像Iordにおいて設定範囲内物標のエッジを表す画素群Poが、カメラ画像Icとはアンマッチングな画素群Poとして抽出された場合には、本フローがS504へ移行する。
S504において制御部5120は、設定範囲内物標のエッジを表すアンマッチングな画素群Poが、光学入射面33oへの付着の予測される水関連物質Mwに対応する、と推定する。換言すれば、アンマッチングな画素群Poとの対応が推定される水関連物質Mwの、光学入射面33oへの付着が予測される。そこで、続くS505において制御部5120は、自動運転モードにおける車両2の制御として、洗浄ガスによる光学入射面33oへの洗浄制御の実行を、洗浄系5に指令する。
洗浄ガスによる光学入射面33oへの洗浄制御指令後となるS506において抽出部5100のエッジ検出部104は、設定範囲Δd内の反射点距離drとなる画素群Poを、距離画像Iordから抽出できたか否かを、判定する。その結果、設定範囲Δd内の反射点距離drとなる画素群Poをエッジ検出部104が抽出できた場合には、本フローがS507へ移行する。S507において制御部5120は、自動運転モードにおける車両2の制御として、洗浄液による光学入射面33oへの洗浄制御の実行を、洗浄系5に指令する。
一方でS506の結果、設定範囲Δd内の反射点距離drとなる画素群Poをエッジ検出部104が抽出できなかった場合には、本フローがS508へ移行することで、制御部5120が洗浄制御の停止を洗浄系5に指令する。また、S500の結果、設定範囲内の物標が探索されなかった場合と、S503の結果、設定範囲内物標のエッジを表す画素群Poが抽出されなかった完全マッチングの場合とにも、本フローがS508へ移行することで、制御部5120が洗浄制御の停止を洗浄系5に指令する。以上より第五実施形態では、S500,S501,S502,S503,S506が抽出工程に相当し、S504,S505,S507,S508が制御工程に相当する。
(作用効果)
以上説明した第五実施形態の作用効果を、以下に説明する。
以上説明した第五実施形態の作用効果を、以下に説明する。
第五実施形態によると、センシングカメラ41において光学センサ40と重複するセンシング領域Acから光の入射するカメラ入射面33cは、当該入射光を撮像素子411へと結像する結像レンズ系413における、当該センシング領域Ac側の焦点距離df内に位置する。これによれば、アンマッチングの画素群Poにおける反射点距離drが焦点距離dfに応じた設定範囲Δd内となる場合には、水関連物質Mwの付着が予測されるとの判断は、正確となり得る。故に、水関連物質Mwの付着する可能性が高い状況における入射面33oの洗浄を、適正に指令して制御することが可能となる。
第五実施形態によると、反射点距離drが設定範囲Δd内となる場合に洗浄ガスによる洗浄制御が洗浄系5に指令された後、設定範囲Δd内の反射点距離drとなる画素群Poが距離画像Iordから抽出部抽出された場合には、洗浄液による洗浄制御が洗浄系5に指令される。これによれば、水関連物質Mwの種類又は付着状態に合わせて洗浄ガスと洗浄液とを使い分けることで、洗浄液の節約を図ることが可能となる。例えば、水関連物質Mwが雨、霧、又は水蒸気等であれば、洗浄ガスでも洗浄が完了し易いことから、洗浄液は水関連物質Mwとしての汚泥等の洗浄に有効活用され得る。
(他の実施形態)
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
変形例において車両制御装置1を構成する専用コンピュータは、車両2との間にて通信可能な少なくとも一つの外部センターコンピュータであってもよい。変形例において車両制御装置1を構成する専用コンピュータは、デジタル回路及びアナログ回路のうち、少なくとも一方をプロセッサとして含んでいてもよい。ここでデジタル回路とは、例えばASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、SOC(System on a Chip)、PGA(Programmable Gate Array)及びCPLD(Complex Programmable Logic Device)等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを格納したメモリを、有していてもよい。
変形例において入射面33oを形成する透光カバー32は、光学センサ40,3040に設けられていてもよい。変形例において入射面33oは、光学センサ40,3040における例えばレンズ等の光学部材により、形成されていてもよい。
変形例において光学センサ40,3040では、複数画素毎に反射光強度に応じて取得される輝度値を、各画素値として二次元データ化した強度画像が、反射光画像Iorとして取得されてもよい。この場合、抽出部100,3100を構成する各サブ機能部の機能は、カメラ画像Ic又は外光画像Iooと、反射光画像Iorとしての強度画像との間で実現される。但し、この場合に、第一及び第三実施形態の制御部120による反射点距離drの判定機能は、反射光画像Iorとしての距離画像Iordに基づき実施されてもよいし、省かれてもよい。
変形例において第一及び第三実施形態のS104は、図19,20に示すように省かれてもよい。即ち車両制御方法のフローでは、S103又はS303でのアンマッチング判定のみで、水関連物質Mwの入射面33oへの付着可能性が予測されるとして、S105が実行されてもよい。
変形例において第一実施形態と第二実施形態とは、図21に示すように組み合わせて実現されてもよい。即ち、S104の結果として水関連物質Mwの入射面33oへの付着が予測されなかった場合には、車両制御方法のフローがS205へ移行すると共に、S103の結果として完全マッチングの場合には、同フローがS106,S206へ順次移行してもよい。
変形例において第三実施形態と第四実施形態とは、図22に示すように組み合わせて実現されてもよい。即ち、S104の結果として水関連物質Mwの入射面33oへの付着が予測されなかった場合には、車両制御方法のフローがS405へ移行すると共に、S303の結果として完全マッチングの場合には、同フローがS106,S406へ順次移行してもよい。
変形例において第二実施形態に準ずる走行制御が、第五実施形態による洗浄制御に代えて又は加えて実行されてもよい。変形例において第五実施形態のS505~S507が実行される代わりに、洗浄ガス及び洗浄液の少なくとも一方による洗浄制御を制御部5120が洗浄系5へ指令するステップが、実行されてもよい。変形例において第五実施形態のS506では、S500~S503に準ずる処理が実行されることで、画素群Poの抽出判定が抽出部5100のエッジ検出部104により実現されてもよい。変形例において第一及び第三実施形態のS105では、第五実施形態のS506~S508に準ずるステップ(但し、設定範囲は第一実施形態において定義の範囲)が、実行されてもよい。
1:車両制御装置、2:車両、5:洗浄系、6:走行制御装置、12:プロセッサ、33c:入射面/カメラ入射面、33o:入射面/光学入射面、40,3040:光学センサ、41:センシングカメラ、100,3100,5100:抽出部、120,2120,4120,5120:制御部、411:撮像素子、413:レンズ系、Ac,Ao:センシング領域、dr:反射点距離、df:焦点距離、Ic:カメラ画像、Ioo:外光画像、Ior:反射光画像、Iord:距離画像、Po:画素群、Mw:水関連物質
Claims (27)
- 光照射に対する反射光のセンシングにより反射光画像(Ior)を取得する光学センサ(40)と、前記光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)とを、搭載した車両(2)を制御する車両制御装置(1)であって、
前記反射光画像と前記カメラ画像とを対比することにより、アンマッチングの画素群(Po)を抽出する抽出部(100,5100)と、
前記アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、前記車両に指令する制御部(120,2120,5120)とを、備える車両制御装置。 - 前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄するように、洗浄系(5)が前記車両に搭載され、
前記制御部(120)は、前記アンマッチングの画素群に対応する前記水関連物質の前記入射面への付着が予測される場合に、前記入射面に対する洗浄制御を、自動運転モードにおける前記車両の前記洗浄系に指令する請求項1に記載の車両制御装置。 - 前記抽出部は、前記光照射に対する反射光の反射点距離(dr)に応じた前記反射光画像としての距離画像(Iord)を前記カメラ画像と対比し、
前記制御部は、前記アンマッチングの画素群における前記反射点距離が設定範囲内となる場合に、前記水関連物質の付着が予測されると判断する請求項2に記載の車両制御装置。 - 前記センシングカメラにおいて、前記光学センサと重複するセンシング領域(Ac)から光の入射する入射面(33c)は、当該入射光を撮像素子(411)へ結像する結像レンズ系(413)における、当該センシング領域(Ac)側の焦点距離(df)内に位置し、
前記制御部(5120)は、前記アンマッチングの画素群における前記反射点距離が前記焦点距離に応じた前記設定範囲内となる場合に、前記水関連物質の付着が予測されると判断する請求項3に記載の車両制御装置。 - 前記制御部(5120)は、前記反射点距離が前記設定範囲内となる場合に、洗浄ガスによる洗浄制御を前記洗浄系に指令した後、前記設定範囲内の前記反射点距離となる画素群が前記距離画像から前記抽出部(5100)により抽出された場合に、洗浄液による洗浄制御を前記洗浄系に指令する請求項3又は4に記載の車両制御装置。
- 光照射に対する反射光のセンシングにより反射光画像(Ior)を取得し且つ前記光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)を、搭載した車両(2)を制御する車両制御装置(1)であって、
前記反射光画像と前記外光画像とを対比することにより、アンマッチングの画素群(Po)を抽出する抽出部(3100)と、
前記アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、前記車両に指令する制御部(120,4120)とを、備える車両制御装置。 - 前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄するように、洗浄系(5)が前記車両に搭載され、
前記制御部(120)は、前記アンマッチングの画素群に対応する前記水関連物質の前記入射面への付着が予測される場合に、前記入射面に対する洗浄制御を、自動運転モードにおける前記車両の前記洗浄系に指令する請求項6に記載の車両制御装置。 - 前記抽出部は、前記光照射に対する反射光の反射点距離に応じた前記反射光画像としての距離画像(Iord)を前記外光画像と対比し、
前記制御部は、前記アンマッチングの画素群における前記反射点距離が設定範囲内となる場合に、前記水関連物質の付着が予測されると判断する請求項7に記載の車両制御装置。 - 前記制御部(2120,4120)は、前記アンマッチングの画素群に対応すると推定される前記水関連物質を、障害物としての認識から外すように、自動運転モードにおける前記車両の走行制御を指令する請求項1~8のいずれか一項に記載の車両制御装置。
- 光照射に対する反射光のセンシングにより反射光画像(Ior)を取得する光学センサ(40)と、前記光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)とを、搭載した車両(2)を制御する車両制御方法であって、
前記反射光画像と前記カメラ画像とを対比することにより、アンマッチングの画素群(Po)を抽出する抽出工程(S101,S102,S103,S500,S501,S502,S503,S506)と、
前記アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、前記車両に指令する制御工程(S104,S105,S106,S205,S206,S504,S505,S507,S508)とを、含む車両制御方法。 - 前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄するように、洗浄系(5)が前記車両に搭載され、
前記制御工程(S104,S105,S106,S504,S505,S507,S508)は、前記アンマッチングの画素群に対応する前記水関連物質の前記入射面への付着が予測される場合に、前記入射面に対する洗浄制御を、自動運転モードにおける前記車両の前記洗浄系に指令する請求項10に記載の車両制御方法。 - 前記抽出工程は、前記光照射に対する反射光の反射点距離(dr)に応じた前記反射光画像としての距離画像(Iord)を前記カメラ画像と対比し、
前記制御工程は、前記アンマッチングの画素群における前記反射点距離が設定範囲内となる場合に、前記水関連物質の付着が予測されると判断する請求項11に記載の車両制御方法。 - 前記センシングカメラにおいて、前記光学センサと重複するセンシング領域(Ac)から光の入射する入射面(33c)は、当該入射光を撮像素子(411)へ結像する結像レンズ系(413)における、当該センシング領域(Ac)側の焦点距離(df)内に位置し、
前記制御工程(S504,S505,S507,S508)は、前記アンマッチングの画素群における前記反射点距離が前記焦点距離に応じた前記設定範囲内となる場合に、前記水関連物質の付着が予測されると判断する請求項12に記載の車両制御方法。 - 前記制御工程(S504,S505,S507,S508)は、前記反射点距離が前記設定範囲内となる場合に、洗浄ガスによる洗浄制御を前記洗浄系に指令した後、前記設定範囲内の前記反射点距離となる画素群が前記距離画像から前記抽出工程(S506)により抽出される場合に、洗浄液による洗浄制御を前記洗浄系に指令する請求項13又は14に記載の車両制御方法。
- 光照射に対する反射光のセンシングにより反射光画像(Ior)を取得し且つ前記光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)を、搭載した車両(2)を制御する車両制御方法であって、
前記反射光画像と前記外光画像とを対比することにより、アンマッチングの画素群(Po)を抽出する抽出工程(S302,S303)と、
前記アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、前記車両に指令する制御工程(S104,S105,S106,S405,S406)とを、含む車両制御方法。 - 前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄するように、洗浄系(5)が前記車両に搭載され、
前記制御工程(S104,S105,S106)は、前記アンマッチングの画素群に対応する前記水関連物質の前記入射面への付着が予測される場合に、前記入射面に対する洗浄制御を、自動運転モードにおける前記車両の前記洗浄系に指令する請求項15に記載の車両制御方法。 - 前記抽出工程は、前記光照射に対する反射光の反射点距離に応じた、前記反射光画像としての距離画像(Iord)を前記外光画像と対比し、
前記制御工程は、前記アンマッチングの画素群における前記反射点距離が設定範囲内となる場合に、前記水関連物質の付着が予測されると判断する請求項16に記載の車両制御方法。 - 前記制御工程(S205,S206,S405,S406)は、前記アンマッチングの画素群に対応する前記水関連物質を、障害物としての認識から外すように、自動運転モードにおける前記車両の走行制御を指令する請求項10~17のいずれか一項に記載の車両制御方法。
- 光照射に対する反射光のセンシングにより反射光画像(Ior)を取得する光学センサ(40)と、前記光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)とを、搭載した車両(2)を制御するために、プロセッサ(12)に実行させる命令を含む車両制御プログラムであって、
前記命令は、
前記反射光画像と前記カメラ画像とを対比させることにより、アンマッチングの画素群を抽出させる抽出工程(S101,S102,S103,S500,S501,S502,S503,S506)と、
前記アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、前記車両に指令させる制御工程(S104,S105,S106,S205,S206,S504,S505,S507,S508)とを、含む車両制御プログラム。 - 前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄するように、洗浄系(5)が前記車両に搭載され、
前記制御工程(S104,S105,S106,S504,S505,S507,S508)は、前記アンマッチングの画素群に対応する前記水関連物質の前記入射面への付着が予測される場合に、前記入射面に対する洗浄制御を、自動運転モードにおける前記車両の前記洗浄系に指令させる請求項19に記載の車両制御プログラム。 - 前記抽出工程は、前記光照射に対する反射光の反射点距離(dr)に応じた前記反射光画像としての距離画像(Iord)を前記カメラ画像と対比させ、
前記制御工程は、前記アンマッチングの画素群における前記反射点距離が設定範囲内となる場合に、前記水関連物質の付着が予測されると判断させる請求項20に記載の車両制御プログラム。 - 前記センシングカメラにおいて、前記光学センサと重複するセンシング領域(Ac)から光の入射する入射面(33c)は、当該入射光を撮像素子(411)へ結像する結像レンズ系(413)における、当該センシング領域(Ac)側の焦点距離(df)内に位置し、
前記制御工程(S504,S505,S507,S508)は、前記アンマッチングの画素群における前記反射点距離が前記焦点距離に応じた前記設定範囲内となる場合に、前記水関連物質の付着が予測されると判断させる請求項21に記載の車両制御プログラム。 - 前記制御工程(S504,S505,S507,S508)は、前記反射点距離が前記設定範囲内となる場合に、洗浄ガスによる洗浄制御を前記洗浄系に指令させた後、前記設定範囲内の前記反射点距離となる画素群が前記距離画像から前記抽出工程(S506)により抽出される場合に、洗浄液による洗浄制御を前記洗浄系に指令させる請求項21又は22に記載の車両制御プログラム。
- 光照射に対する反射光のセンシングにより反射光画像(Ior)を取得し且つ前記光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)を、搭載した車両(2)を制御するために、プロセッサ(12)に実行させる命令を含む車両制御プログラムであって、
前記命令は、
前記反射光画像と前記外光画像とを対比させることにより、アンマッチングの画素群を抽出させる抽出工程(S302,S303)と、
前記アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、前記車両に指令させる制御工程(S104,S105,S106,S405,S406)とを、含む車両制御プログラム。 - 前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄するように、洗浄系(5)が前記車両に搭載され、
前記制御工程(S104,S105,S106)は、前記アンマッチングの画素群に対応する前記水関連物質が前記入射面に付着したと推定される場合に、前記入射面に対する洗浄制御を、自動運転モードにおける前記車両の前記洗浄系に指令させる請求項24に記載の車両制御プログラム。 - 前記抽出工程は、前記光照射に対する反射光の反射点距離に応じた前記反射光画像としての距離画像(Iord)を前記外光画像と対比させ、
前記制御工程は、前記アンマッチングの画素群における前記反射点距離が設定範囲内となる場合に、前記水関連物質の付着が予測されると判断させる請求項25に記載の車両制御プログラム。 - 前記制御工程(S205,S206,S405,S406)は、前記アンマッチングの画素群に対応する前記水関連物質を、障害物としての認識から外すように、自動運転モードにおける前記車両の走行制御を指令する請求項19~26のいずれか一項に記載の車両制御プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202180055171.2A CN116076078A (zh) | 2020-09-11 | 2021-08-20 | 车辆控制装置、车辆控制方法、车辆控制程序 |
PCT/JP2021/030490 WO2022054532A1 (ja) | 2020-09-11 | 2021-08-20 | 車両制御装置、車両制御方法、車両制御プログラム |
US18/179,958 US20230219532A1 (en) | 2020-09-11 | 2023-03-07 | Vehicle control device, vehicle control method, and computer program product |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020153238 | 2020-09-11 | ||
JP2020153238 | 2020-09-11 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022047499A true JP2022047499A (ja) | 2022-03-24 |
JP2022047499A5 JP2022047499A5 (ja) | 2022-08-30 |
Family
ID=80780449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021124655A Pending JP2022047499A (ja) | 2020-09-11 | 2021-07-29 | 車両制御装置、車両制御方法、車両制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022047499A (ja) |
-
2021
- 2021-07-29 JP JP2021124655A patent/JP2022047499A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022054532A1 (ja) | 車両制御装置、車両制御方法、車両制御プログラム | |
CN112315383B (zh) | 机器人的巡检清洁方法、装置、机器人和存储介质 | |
CN108140323B (zh) | 用于机动车中的环境检测时改进的数据融合的方法和设备 | |
EP2927054B1 (en) | On-vehicle control device | |
KR102604453B1 (ko) | 레이더 데이터의 자동 라벨링 방법 및 시스템 | |
US20170030722A1 (en) | Vehicle localization system | |
CN112836633A (zh) | 停车位检测方法以及停车位检测系统 | |
JP2017111803A (ja) | 駐車スペースの検出装置、方法及び画像処理装置 | |
CN112287834A (zh) | 机器人的巡检清洁方法、装置、机器人和存储介质 | |
JP3612970B2 (ja) | トンネル検出装置及びそれを用いた車両制御装置 | |
US11657624B2 (en) | Image processor and image processing method for parking frame estimation on a road surface | |
JP2016170708A (ja) | 道路状態判定装置および道路状態判定方法 | |
CN113768419B (zh) | 确定扫地机清扫方向的方法、装置及扫地机 | |
JP2022047499A (ja) | 車両制御装置、車両制御方法、車両制御プログラム | |
JP2008160635A (ja) | カメラ状態検出方法 | |
WO2022054531A1 (ja) | 洗浄制御装置、洗浄制御方法、洗浄制御プログラム | |
JP4023333B2 (ja) | 車線検出装置 | |
JP2021064154A (ja) | 障害物識別装置および障害物識別プログラム | |
JP7324679B2 (ja) | 位置推定システム及び位置推定方法 | |
JP6379646B2 (ja) | 情報処理装置、測定方法及びプログラム | |
JP2022075247A (ja) | 汚れ検出装置、汚れ検出方法、及び汚れ検出プログラム | |
CN114842442A (zh) | 道路边界获取方法、道路边界获取装置和车辆 | |
US20190304123A1 (en) | Identification apparatus, identification method, and non-transitory recording medium storing identification program | |
JP7525936B2 (ja) | 確信度推定値を有する深度マップを提供するための方法およびシステム | |
JP2022131226A (ja) | 車両用制御装置、車両用制御方法、車両用制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220822 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240612 |