(本発明の基礎となった知見)
本発明者は、「背景技術」の欄において記載した、報知処理装置に関し、以下の問題が生じることを見出した。
特許文献1の技術では、砂利面、石畳などの悪路、凹凸、段差などの路面を車両が走行することによって、車両の姿勢に急激な変化が生じた場合、車両に配置されている撮像装置の姿勢も急激に変化する。このため、撮像装置により得られた画像にブレ、歪みなどが生じ、当該画像中に映り込んでいる物体(人を含む)を認識することが難しい。
本開示の一態様に係る撮像制御装置は、車両に配置されている撮像装置に前記車両の周囲を撮像させる撮像制御装置であって、前記車両の進行方向および前記進行方向に沿って走行する前記車両の速さを示す速度ベクトルまたは前記車両が走行する経路を示す経路データを取得し、取得した前記速度ベクトルまたは前記経路データを用いて前記車両が将来走行する位置を推定する第1位置推定部と、前記車両に配置されたセンサにより検出された前記車両が将来走行すると推定された位置を含む路面の形状または前記路面の状態を推定するための路面情報、または、前記撮像装置により撮像された前記車両が将来走行すると推定される位置の路面を含む画像を取得し、取得した前記路面情報または前記画像を用いて、前記第1位置推定部により推定された前記車両が将来走行する位置における前記路面の前記進行方向に沿った高さの変化率または前記路面の状態を推定する路面推定部と、前記路面推定部によって推定された前記路面の前記進行方向に沿った高さの変化率または前記路面の状態に応じて、前記撮像装置のシャッタースピード、および、前記撮像装置の感度の少なくとも一方である前記撮像装置のパラメータを変更する変更部と、前記第1位置推定部により推定された前記将来走行する位置を前記車両が通過するタイミングで、前記変更部によって変更された前記パラメータを用いて前記撮像装置に撮像させる制御部と、を備える。
これによれば、車両が将来走行する位置における路面を実際に通過するタイミングにおいて、予め推定した当該路面の形状または状態に応じて変更したパラメータで撮像装置に撮像させることができる。つまり、車両の進行方向に沿った路面の高さの変化率または路面の状態に応じて適切に設定したパラメータで撮像装置に撮像させることができるため、物体の認識が容易である画像を撮像装置に撮像させることができる。
また、さらに、前記車両の現在位置を推定する第2位置推定部を備え、前記第1位置推定部は、前記第2位置推定部により推定された前記車両の前記現在位置をさらに用いて、前記車両の前記将来走行する位置を推定してもよい。
このため、将来走行する位置を精度よく推定することができる。
また、前記第1位置推定部は、前記速度ベクトルを取得し、前記変更部は、前記路面推定部により推定された前記路面の前記進行方向に沿った高さの変化率と、前記速度ベクトルとから、前記タイミングで前記撮像装置の撮像面と平行な方向に前記撮像装置が移動する速度の大きさを推定し、推定した前記平行な方向の速度の大きさが大きいほど、(i)前記シャッタースピードを小さい値へ変更する、および、(ii)前記感度を大きい値へ変更する、の少なくとも一方を行ってもよい。
このため、撮像装置の平行な方向の速度の大きさが大きいほど、シャッタースピードを小さい値へ変更する、および、感度を大きい値へ変更する、の少なくとも一方を行った状態で撮像装置に撮像させる。よって、得られた画像にブレ、歪みなどが生じることを低減できる。
また、前記変更部は、推定した前記平行な方向の速度の大きさに応じて、前記シャッタースピードを決定し、決定した前記シャッタースピードにおいて前記撮像装置が撮像することにより得られた画像から物体を所定の認識アルゴリズムで認識する場合の認識率が所定値よりも大きくなるノイズレベルおよび露出を特定し、決定した前記シャッタースピード、および、特定した前記露出に応じた感度に、前記撮像装置の前記パラメータを変更してもよい。
このため、画像中に映り込んでいる物体の認識率が向上するパラメータで撮像装置に撮像させることができる。よって、物体の認識が容易である画像を撮像装置に撮像させることができる。
また、さらに、前記撮像装置により撮像された前記画像を取得し、取得した前記画像内の物体のブレを検知し、前記画像内の前記物体のブレを検知した場合、(i)前記シャッタースピードをより小さい値へ変更する、および、(ii)前記感度をより大きい値へ変更する、の少なくとも一方を前記変更部に行わせるブレ補正部を備えてもよい。
このため、変更部により変更されたパラメータで撮像した画像中にブレが生じている場合であっても、次のタイミングで撮像するときにはブレが生じないように変更したパラメータで撮像装置に撮像させることができる。
また、さらに、前記撮像装置の複数回の撮像により得られる複数の画像のそれぞれに含まれる物体の位置の変化に基づいて、前記物体の移動速度を推定し、推定した前記移動速度の大きさが大きいほど、(i)前記シャッタースピードを小さい値へ変更する、および、(ii)前記感度を大きい値へ変更する、の少なくとも一方を前記変更部に行わせる速度補正部を備えてもよい。
このため、物体が撮像装置の撮像範囲内で移動している場合であっても、当該物体を適切なパラメータで撮像装置に撮像させることができる。
また、前記変更部は、前記撮像装置が配置されている環境の照度を検出する照度センサによる検出結果である照度が示す照度情報を取得し、取得した前記照度情報が示す照度が小さいほど、(i)前記シャッタースピードを小さい値へ変更する、および、(ii)前記感度を大きい値へ変更する、の少なくとも一方を行ってもよい。
このため、照度に応じて、適切なパラメータで撮像装置に撮像させることができる。
前記路面推定部は、前記第1位置推定部により推定された前記将来走行する位置における前記路面の前記進行方向に沿った高さの変化率を推定し、前記変更部は、前記車両が将来走行すると推定された位置における前記路面の前記進行方向に沿った高さの変化率に応じて前記撮像装置のパラメータを変更してもよい。
このように構成すれば、将来車両が走行すると推定される位置における路面の進行方向に沿った高さの変化率に応じて撮像装置のパラメータを変更することができる。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、本発明の一態様に係る撮像制御装置および撮像制御方法について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態)
以下、図1〜図7を用いて、実施の形態を説明する。
[1−1.構成]
図1は、実施の形態に係る車両の外観図を示す図である。
車両200には、車両の前方を撮像する撮像装置210が配置されている。撮像装置210は、車両200の前方に限らずに、車両200の周囲を撮像すればよく、車両200の左方向、右方向、後方向などを撮像してもよい。撮像装置210により撮像された画像は、車両200の周囲の物体を認識するために利用される。認識された結果は、車両200の自動運転または運転支援に利用される。
車両200の上部には、距離センサ201が配置されている。距離センサ201は、車両200の周囲の物体までの距離を検出する。距離センサ201により検出された距離を示す距離情報は、例えば、自動運転または自動運転支援における当該車両200の位置の推定に用いられる。
撮像制御装置100は、撮像装置210による撮像を制御する。
次に、撮像制御装置100を備える車両200のハードウェア構成の具体例について図2を用いて説明する。
図2は、実施の形態に係る撮像制御装置を備える車両のハードウェア構成の一例を示すブロック図である。
図2に示すように、車両200は、ハードウェア構成として、撮像制御装置100と、撮像装置210と、距離センサ201と、運転制御装置300とを備える。車両200は、さらに、加速度センサ202と、照度センサ203とを備えていてもよい。
撮像制御装置100は、ハードウェア構成として、CPU101(Central Processing Unit)と、メインメモリ102と、ストレージ103と、通信IF(Interface)104とを備える。撮像制御装置100は、GNSS(Global Navigation Satellite System)105を備えていてもよい。また、撮像制御装置100は、例えば、ECU(Electronic Control Unit)であってもよい。
CPU101は、ストレージ103等に記憶された制御プログラムを実行するプロセッサである。例えば、CPU101が、制御プログラムを実行することで、後述する図3に示す撮影制御装置100の各ブロックが機能する。
メインメモリ102は、CPU101が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域である。
ストレージ103は、制御プログラム、コンテンツなどを保持する不揮発性の記憶領域である。
通信IF104は、CAN(Controller Area Network)などの通信ネットワークを介して撮像装置210と通信する通信インタフェースである。なお、通信IF104は、有線通信の通信インタフェースに限らずに無線通信の通信インタフェースであってもよい。また、通信IF104は、撮像装置210、運転制御装置300、各種センサ201〜203などとの通信接続を確立できる通信インタフェースであれば、どのような通信インタフェースであってもよい。また、通信IF104は、インターネットなどの汎用ネットワークまたは専用ネットワークに通信接続可能な通信インタフェースであってもよい。
GNSS105は、GPS衛星を含む人工衛星から当該GNSS105の位置を示す情報を受信する。つまり、GNSS105は、車両200の現在位置を検出する。
撮像装置210は、レンズなどの光学系およびイメージセンサを有するカメラである。撮像装置210は、撮像制御装置100と相互に通信可能に接続されている。
距離センサ201は、車両200の周囲の物体との距離を検出する。距離センサ201は、具体的には、車両200の水平方向において360度全方位、および、垂直方向において所定の角度(例えば30度)の角度範囲の検出範囲にある物体との距離を検出する。距離センサ201により検出された距離から車両200の周囲の物体を含む地形の3次元形状を生成することができる。例えば、車両200の周囲の物体を含む地形の3次元形状として、走行する車両200の周囲の障害物および路面の3次元形状を生成することができる。なお、距離センサ201の検出範囲を上述のような範囲にすれば、車両が将来走行する路面を含む3次元形状を生成することができる。距離センサ201は、例えば、LIDAR(Light Detection and Ranging)などのレーザセンサである。
加速度センサ202は、例えば、車両200の3軸方向のそれぞれにおける加速度を検出するセンサである。加速度センサ202は、水平方向の2軸のそれぞれにおける加速度を検出するセンサであってもよい。加速度センサ202は、3軸方向のそれぞれにおける車両200の加速度を検出することで、車両200の速度ベクトルを検出する。
照度センサ203は、撮像装置210が配置されている空間に配置され、当該空間の照度を検出する。照度センサ203は、例えば、車両200の車内に配置されてもよい。
運転制御装置300は、車両200の運転を制御する情報処理装置である。運転制御装置300は、例えば、CPU、メインメモリ、ストレージ、通信IFなどを有する。運転制御装置300は、撮像制御装置100と共通の構成で実現されてもよい。つまり、運転制御装置300は、CPU101、メインメモリ102、ストレージ103、および通信IF104で実現されていてもよい。また、運転制御装置300は、例えば、ECUで実現されていてもよく、撮像制御装置100がECUで実現されている場合、撮像制御装置100を実現するECUで実現されていてもよいし、撮像制御装置100を実現するECUとは異なるECUで実現されていてもよい。
次に、撮像制御装置を備える車両の機能構成について図3を用いて説明する。
図3は、実施の形態に係る撮像制御装置を備える車両の機能構成の一例を示すブロック図である。
車両200は、機能構成として、撮像制御装置100と、撮像装置210と、路面検出部220と、速度検出部230と、照度検出部240と、運転制御装置300とを備える。
撮像装置210は、車両200の周囲を撮像することにより、車両200の周囲の画像を生成する。撮像装置210は、異なる複数のタイミングで車両200の周囲を撮像する。撮像装置210は、例えば、1/30秒、1/20秒などの所定のサンプリング周期で車両200の周囲を撮像する。撮像装置210の撮影範囲は、距離センサ201の検出範囲と同様に、例えば、車両200の水平方向において360度全方位、および、垂直方向において所定の角度(例えば30度)の角度範囲を撮像範囲としてもよい。なお、撮像装置210の撮影範囲を上述のような範囲にすれば、車両が将来走行する路面を含む3次元形状を生成することができる。
なお、撮像装置210のサンプリング周期は、1/30秒、1/20秒に限るものではない。また、撮像装置210は、所定のサンプリング周期で撮像しなくてもよく、ランダムな時間間隔で撮像してもよいし、状況に応じて撮像するタイミングを調整してもよい。
路面検出部220は、車両200の路面の形状または路面の状態を推定するための路面情報を検出する。路面検出部220は、例えば、車両200から車両200の周囲の物体までの距離を検出する。また、路面検出部220は、例えば、車両200の周囲の路面におけるレーザの反射率を検出してもよい。路面検出部220は、例えば、センサ、より具体的には、距離センサ201により実現される。例えば、距離センサ201により検出される車両200の周囲の路面までの距離情報が車両200の路面の形状を推定するための路面情報、車両200の周囲の路面におけるレーザの反射率が路面の状態を推定するための路面情報に対応する。
速度検出部230は、車両200の速度ベクトルを検出する。車両200の速度ベクトルとは、例えば、車両200の進行方向および、この進行方向に進む車両200の速さを示す情報である。速度ベクトルは、移動速度ともいう。つまり、速度検出部230は、車両200の進行方向および当該進行方向への移動速度の大きさを検出する。速度検出部230は、例えば、加速度センサ202により実現される。
照度検出部240は、撮像装置210が配置されている空間の照度を検出する。照度検出部240は、例えば、車両200の車内の照度を検出する。照度検出部240は、例えば、照度センサ203により実現される。
運転制御装置300は、車両200の運転を制御する。具体的には、運転制御装置300は、車輪の操舵を行うステアリング、車輪を回転駆動させるエンジン、モータなどの動力源、車輪の制動するブレーキなどを制御することで、車両200の自動運転または運転支援を行う。例えば、運転制御装置300は、車両200の現在位置、車両200の目的地、および周囲の道路情報を用いて、車両200がどの道路を走行するかを示すグローバル経路を決定する。そして、運転制御装置300は、決定したグローバル経路上において、車両200が走行するローカル経路を示すローカル経路データを生成する。また、運転制御装置300は、走行中に、撮像装置210により撮像された画像、および、距離センサ201により検出された物体までの距離の少なくとも一方を用いて、車両200の進行方向に障害物を検出する。これにより、運転制御装置300は、障害物を検出すれば、決定したグローバル経路において当該障害物を避けるローカル経路を示すローカル経路データを生成する。また、運転制御装置300は、生成した経路データが示す経路上を走行するようにステアリング、動力源およびブレーキを制御する。運転制御装置300は、生成した経路データ、障害物を検出した結果を示す障害物情報などを撮像制御装置100に出力してもよい。
撮像制御装置100は、機能構成として、第1位置推定部110と、路面推定部120と、変更部130と、制御部140とを備える。撮像制御装置100は、さらに、第2位置推定部150を備えていてもよい。また、撮像制御装置100は、さらに、速度補正部(図示せず)を備えていてもよい。また、撮像制御装置100は、さらに、ブレ補正部(図示せず)を備えていてもよい。
第2位置推定部150は、車両200の現在位置を推定する。第2位置推定部150は、例えば、GNSS105で受信された情報を用いて車両200の現在位置を推定してもよい。この場合、第2位置推定部150は、例えば、CPU101、メインメモリ102、ストレージ103およびGNSS105により実現される。
また、第2位置推定部150は、車両200の操舵角および車輪速の履歴を用いて車両200の現在位置を推定してもよい。この場合、第2位置推定部150は、例えば、CPU101、メインメモリ102、ストレージ103および通信IF104により実現される。車両200の操舵角および車輪速の履歴は、通信IF104を介して、定期的にストレージ103が記憶していてもよい。また、車両200の操舵角および車輪速の履歴は、車両200のステアリングの変動履歴、および、車輪速の変動履歴を記憶している他のストレージから通信IF104を介して取得されてもよい。
また、第2位置推定部150は、車両200の加速度の履歴を用いて車両200の現在位置を推定してもよい。この場合、第2位置推定部150は、例えば、CPU101、メインメモリ102、ストレージ103および通信IF104により実現される。加速度の履歴は、通信IF104を介して、定期的にストレージ103が記憶していてもよい。また、車両200の加速度の履歴は、車両200に配置されている加速度センサの検出結果を記憶している他のストレージから通信IF104を介して取得されてもよい。
また、第2位置推定部150は、距離センサ201により検出された距離から生成した車両200の周囲の地形の3次元形状と、予め取得されている地形の3次元形状とをマッチングさせることにより車両200の現在位置を推定してもよい。この場合、第2位置推定部150は、例えば、CPU101、メインメモリ102、ストレージ103および通信IF104により実現される。距離センサ201により検出された距離を示す距離情報は、通信IF104を介して取得されてもよい。
第1位置推定部110は、車両200の速度ベクトルまたは経路データを取得し、取得した速度ベクトルまたは経路データを用いて車両200の将来走行する位置を推定する。第1位置推定部110は、速度ベクトルを速度検出部230から取得してもよい。なお、第1位置推定部110は、第2位置推定部150により推定されている車両200の現在位置の時間的な推移から算出される車両200の進行方向および速さから速度ベクトルを取得してもよい。第1位置推定部110は、経路データを運転制御装置300から取得してもよい。第1位置推定部110は、例えば、CPU101、メインメモリ102、ストレージ103および通信IF104により実現される。
第1位置推定部110は、車両200が将来走行すると推定される位置として、車両200の経路データから特定される経路上における当該車両200から所定の距離だけ離れた位置を推定してもよい。なお、所定の距離は、距離センサ201の検出可能な最大距離以下の距離としてもよい。また、所定の距離は、撮像装置210の所定のサンプリング周期(つまり、撮像装置210が1枚の画像を撮像してから次の画像を撮像するまでの時間)の間に車両200が進む距離より大きい距離としてもよい。この場合、車両200の速度を所定の速度(例えば50km/h、100km/hなど)で固定していてもよい。
また、第1位置推定部110は、車両200が将来走行する位置として、所定時間後に当該車両200が通過する位置を推定してもよい。この場合、第1位置推定部110は、車両200の速度ベクトルから所定時間後に現在の進行方向に現在の速度で所定時間進んだ場合に到達する位置を将来走行する位置として推定してもよい。
第1位置推定部110は、第2位置推定部150により車両200の現在位置が推定されている場合、第2位置推定部150により推定された車両200の現在位置をさらに用いて、車両200が将来走行する位置を推定してもよい。
路面推定部120は、車両200に配置されている距離センサ201により検出された距離情報、または、撮像装置210により撮像された画像を取得し、取得した距離情報または画像を用いて、第1位置推定部110により推定された車両200が将来走行する位置における路面の形状または路面の状態を推定する。具体的には、路面推定部120は、路面検出部220に対応する距離センサ201により検出された距離情報から生成された車両200の周囲の物体を含む地形の3次元形状を生成し、生成した3次元形状を用いて車両200が将来走行する位置における路面の形状を推定してもよい。
例えば、路面推定部120は、距離センサ201により生成される距離情報から車両200の周囲の物体を含む地形の3次元形状を生成する。また、路面は、距離センサ201の検出範囲、特に垂直方向において下側に位置するので、例えば、距離センサ201の検出範囲の下側の境界を含む一定の範囲から検出される物体までの距離から生成される3次元形状を路面の3次元形状としてもよい。または、距離センサ201による検出とともに、撮像装置210を用いて車両200の周囲を撮像してもよい。この場合、路面推定部120は、例えば画像認識の技術を用いて撮像した画像に含まれる路面を特定し、生成した3次元形状のうち、特定した路面に対応する部分の3次元形状を路面の3次元形状としてもよい。
また、路面推定部120は、撮像装置210により所定のサンプリング周期で得られる画像から、例えば画像認識の技術を用いて車両200の周囲の物体を含む地形の3次元形状を生成ししてもよい。撮像装置210の撮像範囲には、路面が含まれるので、撮像される画像は路面の画像を含む。従って画像から生成した3次元形状には、路面の3次元形状が含まれる。路面推定部120は、画像に含まれる路面を特定してもよい。路面推定部120は、生成した3次元形状のうち、特定した路面に対応する部分の3次元形状を、路面の3次元形状としてもよい。
路面推定部120は、生成した3次元形状を用いて車両200が将来走行する位置における路面の形状を推定するのでもよい。
ここでいう、車両200が将来走行する位置における路面の形状とは、進行方向に沿って車両200が路面を走行した場合における車両200の高さが変化する割合を示す形状変化率を含んでいてもよい。つまり、車両200が将来走行する位置における路面の形状とは、進行方向に沿った路面の高さの変化率を含む。路面の高さとは、鉛直方向の路面の位置である。
また、路面推定部120は、距離センサ201により検出されたレーザの反射率を用いて路面の状態を推定してもよい。レーザの反射率は、路面の状態を推定するために用いる路面情報の一例である。また、路面推定部120は、撮像装置210により得られた路面の画像を用いて画像の輝度から路面の状態を推定してもよい。ここでいう路面の状態とは、砂利面、砂面、凍結、濡れ、石畳などを含む。路面の状態を推定することにより、路面の摩擦係数などで表される路面の滑りやすさを推定することができる。路面推定部120は、例えば、CPU101、メインメモリ102、ストレージ103および通信IF104により実現される。
変更部130は、路面推定部120によって推定された路面の形状または路面の状態に応じて、撮像装置210のシャッタースピード、および、撮像装置210の感度の少なくとも一方である撮像装置210のパラメータを変更する。変更部130は、具体的には、路面推定部120により推定された路面の形状と、速度検出部230により検出された車両200の速度とから、車両200が将来走行すると推定される位置を通過するタイミングで、撮像装置210の撮像面と平行な方向に撮像装置210が移動する速度の大きさを推定する。そして、変更部130は、推定した撮像装置210の撮像面に平行な方向の速度の大きさが大きいほど、シャッタースピードを小さい値へ変更する、および、感度を大きい値へ変更する、の少なくとも一方を行う。変更部130は、例えば、CPU101、メインメモリ102、およびストレージ103により実現される。
変更部130は、例えば、以下の式1を用いて撮像装置210により得られる画像のブレ量を算出し、算出したブレ量を所定のブレ量よりも小さくするために、シャッタースピードを小さい値へ変更してもよい。
ブレ量(ピクセル/シャッター)=(arctan((形状変化率/自車速度)/ホイールベース)*シャッタースピード)/垂直画角*垂直解像度 (式1)
例えば、車両200のホイールベースが2000mm、車両200の走行速度が30km/h、将来走行すると推定される位置における路面の形状変化率が100%、シャッタースピードが1/100秒、撮像装置210の垂直画角が60度、撮像装置210の垂直解像度が1080pxであるとする。この場合、式1を用いることで、ブレ量は13.77px/shutterと算出できる。つまり、ブレ量を10pix/shutter以下に抑えようとすると、シャッタースピードを1/138秒以下に設定することが必要となることが分かる。なお、撮像装置210の速度は、車両200の走行速度および路面の形状変化率を用いて求められる速度に対応している。
また、式1の右辺には、路面の各状態(砂利面、砂面、凍結、濡れ、石畳など)に応じて予め定められた係数を乗じてもよいし、係数を加算してもよいし、これらの組合せであってもよい。
このことから、必要となるシャッタースピードは、式1を用いることで算出できる。
なお、変更部130は、上記式1を用いてシャッタースピードを算出しなくてもよく、上記式1の関係を満たすテーブルを用いて、シャッタースピードを算出してもよい。つまり、変更部130は、予め定められたシャッタースピード、路面の形状変化率および車両200の速度の関係を用いて、シャッタースピードを算出してもよい。
つまり、変更部130は、推定した撮像装置210の速度に応じて、ブレ量が所定のブレ量よりも少ないシャッタースピードを決定する。そして、変更部130は、決定したシャッタースピードにおいて撮像装置210が撮像することにより得られた画像から物体を所定の認識アルゴリズムで認識する場合の認識率が大きくなるノイズレベルおよび露出を特定する。変更部130は、決定したシャッタースピード、および、特定した露出に応じた感度に、撮像装置210のパラメータを変更する。
図4は、異なる複数のシャッタースピードのそれぞれを実現可能なノイズレベルおよび露出の組合せを示すイメージ図である。図5は、所定の認識アルゴリズムを用いて画像を認識させた場合の認識率と、ノイズレベルおよび露出の組合せとを示すイメージ図である。なお、図4および図5においてノイズレベルおよび露出の数値は、任意の大きさを示している。
図4は、任意のシャッタースピードを実現するためのノイズレベルおよび露出の関係を示す曲線が一意に特定されることが表現されている。つまり、図4では、シャッタースピード、ノイズレベル、および露出の3種類の変数による3次元的な曲面が表されている。なお、図4で表現される3次元的な曲面は、撮像装置210の撮像能力に応じて一意に求めることができる。ここでいう、撮像能力とは、撮像装置210のレンズの焦点距離、f値など、あるいは、イメージセンサの撮像素子サイズ、感度などにより一意に定まる。図4で表現される3次元的な曲面は、撮像装置210に所定のキャリブレーションを行うことにより予め決定されていてもよい。
図5は、ノイズレベル、露出、および認識率の3種類の変数による3次元的な曲面が表されている。当該曲面は、図5において、ドットが疎のハッチングで示される。図5で表現される3次元的な曲面は、所定の認識アルゴリズムにより一意に定まる。図5で表現される3次元的な曲面は、画像から物体を認識するテストを複数回繰り返すことにより予め決定されていてもよい。
ここで、変更部130は、例えば、上記の式1により、シャッタースピードを1/250秒に決定した場合、図4で示される関係を用いて、シャッタースピードが1/250秒に対応するノイズレベルおよび露出の関係を示す曲線を特定する。そして、変更部130は、シャッタースピードが1/250秒に対応するノイズレベルおよび露出の関係を示す曲線を用いて、認識率が0〜1の曲面(図5においてドットが密のハッチングで示される曲面)を図5で示される3次元空間に配置することで、ドットが疎の曲面との交線を求める。当該交線は、図5で示される3次元空間における曲線である。変更部130は、例えば、当該交線のうち認識率が最大となる点、つまり、ノイズレベルおよび露出を、撮像装置210のパラメータとして決定してもよい。
また、変更部130は、さらに、照度検出部240による検出結果である照度が示す照度情報を取得し、取得した照度情報が示す照度が小さいほど、(i)シャッタースピードを小さい値へ変更する、および、(ii)感度を大きい値へ変更する、の少なくとも一方を行ってもよい。具体的には、変更部130は、予め定められた、照度と撮像装置210のパラメータとの関係を用いて、シャッタースピードおよび感度の少なくとも一方を含むパラメータを変更してもよい。
図3に戻り、制御部140は、第1位置推定部110により推定された車両200が将来走行する位置をこの車両200が実際に通過するタイミングで、変更部130によって変更されたパラメータを用いて撮像装置210に撮像させる。制御部140は、例えば、CPU101、メインメモリ102、ストレージ103および通信IF104により実現される。
[1−2.動作]
次に、撮像制御装置100の動作について説明する。
図6は、実施の形態に係る撮像制御装置による撮像制御方法の一例を示すフローチャートである。図7は、撮像制御装置による撮像制御方法を説明するための図である。
撮像制御装置100では、第2位置推定部150が車両200の現在位置を推定する(S11)。第2位置推定部150は、例えば、図7の(a)に示すように、時刻t1における車両200の位置x1を推定する。撮像制御装置100は、車両200の現在位置として、車両200の前輪の位置を推定してもよい。なお、第2位置推定部150による車両200の現在位置の推定は行われなくてもよい。
第1位置推定部110は、車両200の速度ベクトルまたは経路データと、車両200の現在位置とを取得し、取得した速度ベクトルまたは経路データを用いて車両200の将来走行する位置を推定する(S12)。第1位置推定部110は、例えば、図7の(a)に示すように、車両200の前輪の位置x1からX[m]前方の路面301上の位置x2を将来走行する位置として推定する。なお、第1位置推定部110は、車両200の現在位置の推定が行われていない場合、または、撮像制御装置100が第2位置推定部150を備えていない場合には、現在位置を用いずに、車両200の将来走行する位置を推定する。
路面推定部120は、車両200に配置されている距離センサ201により検出された路面情報、または、撮像装置210により撮像された画像を取得し、取得した路面情報または画像を用いて、第1位置推定部110により推定された将来の走行する位置における路面の形状または路面の状態を推定する(S13)。路面推定部120は、位置x2における路面302の形状、例えば、車両200の進行方向に沿った路面302の高さの変化率を推定する。例えば、前方に100mm進むほど、100mm高さが変化する場合、路面推定部120は、形状変化率が100%の形状であると推定する。
変更部130は、路面推定部120により推定された車両200の進行方向に沿った路面の高さの変化率または路面の状態に応じて、撮像装置210のシャッタースピード、および、撮像装置210の感度の少なくとも一方である撮像装置210のパラメータを変更する(S14)。変更部130は、車両200が位置x2に到達するまでの間、つまり時刻t2までにパラメータを決定しておけばよい。
制御部140は、第1位置推定部110により推定された車両200が将来走行する位置を車両200が実際に通過するタイミングで、変更部130によって変更されたパラメータを用いて撮像装置210に撮像させる(S15)。制御部140は、図7の(b)に示すように、車両200が将来走行すると推定される位置x2を車両200の前輪が通過するタイミングである時刻t2で、変更されたパラメータを用いて撮像装置210に撮像させる。
図6に示す撮像制御方法は、車両200の運転中において所定の周期で繰り返し行われる。なお、撮像制御方法の所定の周期と、撮像の周期とは同じであってもよいし、異なっていてもよい。これにより、車両200の進行方向に沿った路面の高さの変化率または路面の状態が変化した場合、路面の高さの変化率または路面の状態に応じた適切なパラメータで撮像装置210に撮像させることができる。このため、所定の認識アルゴリズムの認識率が極力大きい画像を撮像装置210に撮像させることができる。
[1−3.効果など]
本実施の形態に係る撮像制御装置100によれば、車両200が将来走行する位置における路面を通過するタイミングにおいて、予め推定した当該路面の形状または状態に応じて変更したパラメータで撮像装置210に撮像させることができる。つまり、路面の形状または状態に応じて適切に設定したパラメータで撮像装置210に撮像させることができるため、物体の認識が容易である画像を撮像装置210に撮像させることができる。
また、撮像制御装置100によれば、車両200の現在位置を推定し、現在位置をさらに用いて、車両200の将来走行する位置を推定するため、将来走行する位置を精度よく推定することができる。
また、撮像制御装置100によれば、変更部130は、路面推定部120により推定された車両200の進行方向に沿った路面の高さの変化率と速度ベクトルとから、将来走行する位置を実際に通過するタイミングで前記撮像装置の撮像面と平行な方向に前記撮像装置が移動する速度の大きさを推定してもよい。変更部130は、推定した平行な方向に撮像装置210が移動する速度の大きさが大きいほど、シャッタースピードを小さい値へ変更する、および、感度を大きい値へ変更する、の少なくとも一方を行う。よって、撮像装置210により得られた画像にブレ、歪みなどが生じることを低減できる。
また、撮像制御装置100によれば、推定した速度に応じて、シャッタースピードを決定し、決定したシャッタースピードにおいて撮像装置210が撮像することにより得られた画像から物体を所定の認識アルゴリズムで認識する場合の認識率が所定値よりも大きくなるノイズレベルおよび露出を特定し、決定したシャッタースピード、および、特定した露出に応じた感度に、撮像装置210のパラメータを変更する。このため、画像中に映り込んでいる物体の認識率が向上するパラメータで撮像装置210に撮像させることができる。よって、物体の認識が容易である画像を撮像装置210に撮像させることができる。
例えば、運転制御装置300が、走行中に、撮像装置210により撮像された画像を用いて、画像に含まれる物体を所定の認識アルゴリズムで認識することで、この物体を検出する場合、走行する路面の形状によらず物体の認識率を所定値よりも高くすることができる。物体とは、例えば、画像に含まれる障害物または路面などである。
また、撮像制御装置100によれば、照度検出部240による検出結果である照度が示す照度情報を取得し、取得した照度情報が示す照度が小さいほど、(i)シャッタースピードを小さい値へ変更する、および、(ii)感度を大きい値へ変更する、の少なくとも一方を行う。このため、照度に応じて、適切なパラメータで撮像装置210に撮像させることができる。
なお、本実施の形態では、距離センサ201の水平方向の検出範囲として、車両200の水平方向において360度全方位を具体的な一例として説明したが、これに限定されない。例えば、車両200が前進する場合であれば、距離センサ201の水平方向の検出範囲として、車両200の前方を含む範囲を検出範囲としてもよい。また、例えば、車両200が後退する場合であれば、距離センサ201の水平方向の検出範囲として、車両200の後方を含む範囲を検出範囲としてもよい。
また、撮像装置210の水平方向の撮影範囲として、車両200の水平方向において360度全方位をしたが、これに限定されない。例えば、車両200が前進する場合であれば、距離センサ201の水平方向の撮影範囲として、車両200の前方を含む範囲を撮影範囲としてもよい。また、例えば、車両200が後退する場合であれば、距離センサ201の水平方向の撮影範囲として、車両200の後方を含む範囲を撮影範囲としてもよい。
[1−4.変形例]
[1−4−1.変形例1]
次に、図8および図9を用いて、変形例1を説明する。
図8は、変形例1に係る撮像制御装置を備える車両の機能構成の一例を示すブロック図である。図9は、変形例1に係る撮像制御装置による撮像制御方法の一例を示すフローチャートである。
変形例1に係る撮像制御装置100Aは、実施の形態に係る撮像制御装置100と比較して、さらに、速度補正部160を備える点が異なる。撮像制御装置100Aの速度補正部160以外の構成は、実施の形態の撮像制御装置100と同様であるため、説明を省略する。また、撮像制御装置100Aのハードウェア構成は、図2で説明した実施の形態の撮像制御装置100のハードウェア構成と同様である。例えば、図2で説明したCPU101が、制御プログラムを実行することで、図8に示す撮影制御装置100Aの各ブロックが機能する。なお、車両200Aは、撮像制御装置100Aを備える点が、実施の形態の車両200と異なる。
速度補正部160は、撮像装置210の複数回の撮像により得られる複数の画像間での物体の移動速度を推定し、推定した移動速度が大きいほど、(i)シャッタースピードを小さい値へ変更する、および、(ii)感度を大きい値へ変更する、の少なくとも一方を変更部130に行わせる。具体的には、速度補正部160は、路面検出部220としての距離センサ201の検出結果から、撮像装置210の撮像範囲における、撮像装置210から物体までの距離と、撮像装置210の光軸に略直交する方向への移動速度の大きさとを推定し、推定した距離および移動速度を用いて、撮像装置210の複数回の撮像により得られる複数の画像間での物体の移動速度を推定してもよい。なお、この場合、物体の検出に利用される距離センサは、距離センサ201とは別に設けられた距離センサであってもよい。また、速度補正部160は、撮像装置210の複数回の撮像により得られる複数の画像を取得し、取得した複数の画像に写り込んでいる物体を特定することで、移動速度を推定してもよい。
移動速度について、図10を用いて具体的に説明する。
図10は、物体の複数の画像間での物体の移動速度について説明するための図である。なお、図10の(a)は、時刻t11において前方を走行する他の車両410が撮像された画像401を示し、図10の(b)は、時刻t11よりも後の時刻t12において車両410が撮像された画像402を示す。図10(a)、(b)は、それぞれ、車両200の前方の画像を示している。
図10に示すように、時刻t11で撮像された画像401から時刻t12で撮像された画像402の間に、車両410は、画像上を矢印の方向に距離Δdだけ移動している。このため、移動速度は、Δd/(t12−t11)で算出することができる。なお、図10では、実際に撮像された画像401、402で移動速度を説明しているが、当該画像401、402を撮像していなくても、距離センサにより検出された結果から移動速度を推定してもよい。
速度補正部160は、予め定められた、物体の移動速度と、撮像装置210のパラメータとの関係を用いて、シャッタースピードおよび感度の少なくとも一方を含むパラメータを補正してもよい。つまり、速度補正部160は、変更部130により決定されたパラメータに対して、推定した物体の移動速度に応じた補正を行ってもよい。
速度補正部160は、例えば、CPU101、メインメモリ102、ストレージ103および通信IF104により実現される。
変更部130は、速度補正部160により変更されたシャッタースピード、および、感度の少なくとも一方に、撮像装置210のパラメータを補正する。
次に、変形例1の撮像制御装置100Aの動作(撮像制御方法)について説明する。
撮像制御装置100Aでは、実施の形態の撮像制御方法と比較して、さらに、ステップS21、S22が追加されている点が異なる。このため、ステップS21、S22について説明する。
撮像制御装置100Aでは、ステップS14の後において、速度補正部160が撮像装置210の撮像範囲における物体の移動速度を推定する(S21)。
速度補正部160は、変更部130により変更されたパラメータに対して、推定した移動速度に応じた補正を行い、変更部130にさらにパラメータを補正したパラメータに変更させる(S22)。
ステップS22が終わると、ステップS15が行われる。
変形例1に係る撮像制御装置100Aによれば、速度補正部160は、撮像装置210の複数回の撮像により得られる複数の画像間での物体の移動速度を推定する。速度補正部160は、推定した移動速度の大きさが大きいほど(i)シャッタースピードを小さい値へ変更する、および、(ii)感度を大きい値へ変更する、の少なくとも一方を変更部130に行わせる。このため、物体が撮像装置210により得られた画像中で移動している場合であっても、当該物体が撮像装置210の撮像範囲内で移動している場合であっても、当該物体を適切なパラメータで撮像装置210に撮像させることができる。
[1−4−2.変形例2]
次に、図11および図12を用いて、変形例2を説明する。
図11は、変形例2に係る撮像制御装置を備える車両の機能構成の一例を示すブロック図である。図12は、変形例2に係る撮像制御装置による撮像制御方法の一例を示すフローチャートである。
変形例2に係る撮像制御装置100Bは、実施の形態に係る撮像制御装置100と比較して、さらに、ブレ補正部170を備える点が異なる。撮像制御装置100Bのブレ補正部170以外の構成は、実施の形態の撮像制御装置100と同様であるため、説明を省略する。また、撮像制御装置100Bのハードウェア構成は、図2で説明した実施の形態の撮像制御装置100と同様である。例えば、図2で説明したCPU101が、制御プログラムを実行することで、図11に示す撮影制御装置100Bの各ブロックが機能する。なお、車両200Bは、撮像制御装置100Bを備える点が、実施の形態の車両200と異なる。
ブレ補正部170は、撮像装置210により撮像された画像を取得し、取得した画像内の物体のブレを検知し、画像内の物体のブレを検知した場合、(i)シャッタースピードをより小さい値へ変更する、および、(ii)感度をより大きい値へ変更する、の少なくとも一方を変更部130に行わせる。具体的には、ブレ補正部170は、撮像装置210から取得した画像に対して、画像全体のコントラスト値の和を算出し、算出した和が所定の閾値未満である場合に、当該画像内にブレが生じていると判断してもよい。つまり、ブレ補正部170は、当該画像内にブレが生じていると判断した場合、当該画像内の物体のブレを検知し、当該画像内の物体のブレが生じていないと判断した場合、当該画像内の物体のブレを検知しない。なお、ブレ補正部170は、画像全体に対して当該画像にブレが生じているかを判断しているとしたが、所定の画像処理を行うことにより、取得した画像における領域であって物体として例えば前方を走行している車両が映り込んでいる領域を特定し、特定した領域においてブレが生じているかを判断してもよい。ブレ補正部170は、変更部130により変更されたパラメータに対して、画像内の物体のブレを補正するために規定の補正を行う。
ブレ補正部170は、例えば、CPU101、メインメモリ102、ストレージ103および通信IF104により実現される。
変更部130は、ブレ補正部170により変更されたシャッタースピード、および、感度の少なくとも一方に、撮像装置210のパラメータを補正する。
次に、変形例2の撮像制御装置100Bの動作(撮像制御方法)について説明する。
撮像制御装置100Bでは、実施の形態の撮像制御方法と比較して、さらに、ステップS31〜S34が追加されている点が異なる。このため、ステップS31〜S34について説明する。
撮像制御装置10Bでは、ステップS15の後において、ブレ補正部170は、撮像装置210により撮像された画像を取得する(S31)。
ブレ補正部170は、取得した画像にブレがあるか否かを判定する(S32)。
ブレ補正部170は、取得した画像にブレがあると判定した場合(S32でYes)、検知したブレを補正するために、変更部130により変更されたパラメータに対して規定の補正を行い、変更部130にさらにパラメータを補正したパラメータに変更させる(S33)。
制御部140は、第1位置推定部110により推定された将来走行する位置を車両200が通過するタイミングで、変更部130によって変更されたパラメータを用いて撮像装置210に撮像させる(S34)。
一方、ブレ補正部170は、取得した画像にブレがないと判定した場合(S32でNo)、補正を行わず、次のステップS34が行われる。
変形例2に係る撮像制御装置100Bによれば、ブレ補正部170は、撮像装置210により撮像された画像を取得し、取得した画像内の物体のブレを検知し、画像内の物体のブレを検知した場合、(i)シャッタースピードを小さい値へ変更する、および、(ii)感度を大きい値へ変更する、の少なくとも一方を変更部130に行わせる。このため、変更部130により変更されたパラメータで撮像した画像中にブレが生じている場合であっても、次に撮像するときにはブレが生じないように変更したパラメータで撮像装置210に撮像させることができる。
なお、ブレ補正部170は、照度検出部240による検出結果が取得できない場合にのみ、ブレ補正のための処理(ステップS31〜S34)を行ってもよい。
なお、変形例1および変形例2を組み合わせた構成の撮像制御装置としてもよい。
なお、上記実施の形態および各変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の撮像制御方法などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、車両に配置された撮像装置に前記車両の周囲を撮像させる撮像制御装置による撮像制御方法であって、前記車両の進行方向および前記進行方向に沿って走行する前記車両の速さを示す速度ベクトルまたは前記車両が走行する経路を示す経路データを取得し、取得した前記速度ベクトルまたは前記経路データを用いて前記車両が将来走行する位置を推定し、前記車両に配置されたセンサにより検出された前記車両が将来走行すると推定された位置を含む路面の形状または前記路面の状態を推定するための路面情報、または、前記撮像装置により撮像された前記車両が将来走行すると推定された位置の路面を含む画像を取得し、取得した前記路面情報または前記画像を用いて、推定された前記車両が将来走行する位置における前記路面の前記進行方向に沿った高さの変化率または前記路面の状態を推定し、推定された前記路面の前記進行方向に沿った高さの変化率または前記路面の状態に応じて、前記撮像装置のシャッタースピード、および、前記撮像装置の感度の少なくとも一方である前記撮像装置のパラメータを変更し、推定された前記車両が将来走行する位置を前記車両が通過するタイミングで、変更した前記パラメータを用いて前記撮像装置に撮像させる撮像制御方法を実行させる。
以上、本開示の一つまたは複数の態様に係る撮像制御装置および撮像制御方法について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。