JP2022150929A - 軸ずれ推定装置 - Google Patents

軸ずれ推定装置 Download PDF

Info

Publication number
JP2022150929A
JP2022150929A JP2021053743A JP2021053743A JP2022150929A JP 2022150929 A JP2022150929 A JP 2022150929A JP 2021053743 A JP2021053743 A JP 2021053743A JP 2021053743 A JP2021053743 A JP 2021053743A JP 2022150929 A JP2022150929 A JP 2022150929A
Authority
JP
Japan
Prior art keywords
vehicle
road surface
virtual plane
plane
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021053743A
Other languages
English (en)
Inventor
大幹 千葉
Motoki Chiba
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2021053743A priority Critical patent/JP2022150929A/ja
Priority to US17/679,741 priority patent/US12066540B2/en
Priority to CN202210183598.7A priority patent/CN115128554A/zh
Publication of JP2022150929A publication Critical patent/JP2022150929A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/15Road slope, i.e. the inclination of a road segment in the longitudinal direction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G01S7/4972Alignment of sensor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】車載センサの軸ずれを精度よく推定することが可能な軸ずれ推定装置を提供する。【解決手段】路面認識部50は、車両1に設置されたライダ17により路面30を認識する。推定部52は、車両1に搭載されたライダ17の軸ずれ量を推定する。平面作成部51は、路面認識部50の認識結果から路面30の仮想平面30Aを作成する。推定部52は、ライダ17の基準平面17Aに対する仮想平面30Aの傾きに基づいて、ライダ17の軸ずれ量を推定する。【選択図】図1

Description

本発明は、軸ずれ推定装置に関する。
従来、車両が走行する車線(白線)の検出結果に基づいて、車載センサの軸ずれを検出する技術が知られている。
特許文献1には、車載レーダと車載カメラによる画像とを併用して車外環境を認識し、運転者の運転操作を支援する車両用運転支援装置において、車載カメラで撮像した車両進行方向の画像から道路上の左右車線を認識し、この左右車線の撮像画像平面における近似直線の交点を画像平面内水平線位置として該画像平面内水平線位置の変化から車両の姿勢角を推定し、その姿勢角に基づいて、車載レーダの上下方向のビーム放射角度を調整するためのアクチュエータを制御する車両用運転支援装置が記載されている。
特許文献2には、車両に搭載され前方に存在する前方物体の位置を計測する位置計測装置を備え、同じ方向の画像を撮像し、画像データに基づく白線の検出により車両が直進状態であると判断したときに、停止物体の移動ベクトルを物体位置データから算出しかつ移動ベクトルから位置計測装置の軸ずれを計測する車載センサの軸ずれ計測装置が記載されている。
特許文献3には、同一軸で車両に搭載された車載カメラ及び障害物検知用センサの軸方向と、車両の進行方向とのズレ角を補正する車両用外界センシング装置であって、車載カメラで車両の進行方向が撮影された撮影画像から、道路に描かれた少なくとも2本の車線を認識し、車両が直進中であるか否かを判定し、車両が直進中の場合、認識した少なくとも2本の車線からズレ角を算出し、算出したズレ角で、撮影画像から認識された障害物の位置と、障害物検知用センサで検知された障害物の位置とを補正する車両用外界センシング装置が記載されている。
特許文献4には、車両に搭載されるライダの軸ずれを検出する車両搭載用ライダの軸ずれ検出装置であって、車両の車室の内部に配設されたカメラが取得した撮像情報から第一の白線を検出し、車両の車室の外部に配設されたライダが取得した点情報から第二の白線を検出しライダのカメラに対する軸ずれ角度を推定する際に、第一の白線の検出結果と、第二の白線の検出結果を所定角度でライダの車両への取り付け位置を中心に回転させた回転後検出結果と、の比較結果が所定条件を満たした場合に、その所定角度を、ライダのカメラに対する軸ずれ角度であると推定する、車両搭載用ライダの軸ずれ検出装置が記載されている。
特開2003-307561号公報 特開2004-198159号公報 特開2014-228943号公報 特開2020-143969号公報
白線(車線)の検出結果に基づいて車載センサの軸ずれを検出する従来の技術では、左右の白線の一方が検知できない場合や、検知した白線が直線でない場合や、車両が直進していない場合などに車載センサの軸ずれを精度よく推定することができない。
本発明は、車載センサの軸ずれを精度よく推定することが可能な軸ずれ推定装置を提供することを目的とする。
本発明は、車両に設置されたレーザレーダにより路面を認識する路面認識部と、
前記車両に搭載された車載センサの軸ずれ量を推定する推定部とを備える、前記車載センサの軸ずれ推定装置において、
前記路面認識部の認識結果から前記路面の仮想平面を作成する平面作成部を備え、
前記推定部は、前記レーザレーダの基準平面に対する前記仮想平面の傾きに基づいて、前記軸ずれ量を推定する、
軸ずれ推定装置である。
本発明の軸ずれ推定装置によれば、車載センサの軸ずれを精度よく推定することができる。
本発明の軸ずれ推定装置を適用した車両1の一例を示す図である。 図1に示すライダの走査範囲の一例を示す図である。 軸ずれ推定部55による処理の一例を示すフローチャートである。 軸ずれ推定部55による路面上の3つの点の検出の一例を示す図である。 軸ずれが生じていない状態のライダ17の一例を示す図である。 ライダ17の軸ずれが生じていない状態における仮想平面の作成の一例を示す図である。 軸ずれが生じている状態のライダ17の一例を示す図である。 ライダ17の軸ずれが生じている状態における仮想平面の作成の一例を示す図である。 推定部52によるライダ17の軸ずれの推定の一例を示す図である。 軸ずれ推定部55による路面上の点の連続した検出の一例を示す図である。 軸ずれ推定部55による軸ずれ量の更新の一例を示す図である。 軸ずれ推定部55による軸ずれ量の更新処理の一例を示すフローチャートである。 軸ずれ推定部55による複数の仮想平面に基づく軸ずれ量の推定の一例を示す図である。 ライダ17の軸ずれがない場合における仮想平面30A~30Cの一例を示す図である。 ライダ17の軸ずれがある場合における仮想平面30A~30Cの一例を示す図である。 軸ずれ推定部55による複数の仮想平面に基づく軸ずれ量の推定処理の一例を示すフローチャートである。
以下、本発明の軸ずれ推定装置の一実施形態について、図面を参照して説明する。以下では、説明の便宜上、車体の中心を原点とし、前後(車長)方向をX軸、左右(車幅)方向をY軸、上下方向をZ軸と定める。更に、X軸又はY軸方向を水平軸方向、Z軸方向を垂直軸方向と適宜記載する。
X軸を軸線とする回転方向がロール方向に、Y軸を軸線とする回転方向がピッチ方向に、Z軸を軸線とする回転方向がヨー方向にそれぞれ対応し、X軸がロール軸、Y軸がピッチ軸、及び、Z軸がヨー軸にそれぞれ対応する。
<本発明の軸ずれ推定装置を適用した車両1>
図1は、本発明の軸ずれ推定装置を適用した車両1の一例を示す図である。図2は、ミリ波レーダの走査範囲の一例を示す図である。図1に示すように、車両1は、推進装置3、ブレーキ装置4、ステアリング装置5、外界センサ6、車両センサ7、ナビゲーション装置8、運転操作子9、及び制御装置10を含む車両制御システム14を備えている。車両制御システム14の各構成は、CAN(Controller Area Network)等の通信手段によって信号伝達可能に互いに接続されている。
推進装置3は車両1に駆動力を付与する装置であり、例えば動力源及び変速機を含む。動力源はガソリンエンジンやディーゼルエンジン等の内燃機関及び電動機の少なくとも一方を有する。本実施形態では、推進装置3は自動変速機と、自動変速機のシフトポジション(シフト位置)を変更するシフトアクチュエータとを含む。ブレーキ装置4は車両1に制動力を付与する装置であり、例えばブレーキロータにパッドを押し付けるブレーキキャリパと、ブレーキキャリパに油圧を供給する電動シリンダとを含む。ブレーキ装置4はワイヤケーブルによって車輪の回転を規制する電動のパーキングブレーキ装置を含んでもよい。ステアリング装置5は車輪の舵角を変えるための装置であり、例えば車輪を転舵するラックアンドピニオン機構と、ラックアンドピニオン機構を駆動する電動モータとを有する。推進装置3、ブレーキ装置4、及びステアリング装置5は、制御装置10によって制御される。
外界センサ6は車両1の周辺からの電磁波や音波等を捉えて、車外の物体等を検出し、車両1の周辺情報を取得する装置(外界取得装置)である。外界センサ6は車外カメラ16と、ライダ17とを含んでいる。
車外カメラ16は例えば、CCDやCMOS等の固体撮像素子を利用したデジタルカメラであって、車外カメラ16は光軸が車両1の正面方向、すなわち前方となるように車両1(より具体的には、ルームミラー)に取り付けられ、車両1の前方(X軸方向)を撮像する。
ライダ17は、LIDAR(Laser Imaging Detection and Ranging)であり、車両1に設置されたレーザレーダの一例である。また、ライダ17は、軸ずれの推定対象の車載センサの一例である。図2に示すように、ライダ17は光軸Aを中心として、車外に向かって電磁波(送信波)を送信しながら、周囲の物体からの反射波を受信し、車両1の周囲を走査(スキャン)する。これにより、ライダ17は測距データを取得し、車両1の周辺の物体の位置を検出する。測距データには、ライダ17から見た物体が存在する方向と、ライダ17とその物体との距離とが含まれる。ライダ17から送信される電磁波は、紫外線、可視光線、近赤外線等のいずれの波長の電磁波であってもよい。
ライダ17は車両1前部の所定の位置に取り付けられている。車両1への搭載時(工場出荷時)には、ライダ17の光軸Aは前方に設定され、その走査範囲(スキャン範囲)は、光軸Aを中心として、Z軸(ヨー軸)回りに所定の角度θz内であり、かつ、Y軸(ピッチ軸)回りに所定の角度θy内に設定されている。
車両センサ7は、車両1の速度を検出する車速センサ18を含む。車両センサ7は車速センサ18の他、車両1の加速度を検出する加速度センサ、車両1の垂直軸(Z軸)回りの角速度を検出するヨーレートセンサ、車両1の向きを検出する方位センサ等を含んでいてもよい。
ナビゲーション装置8は車両1の現在位置を取得し、目的地への経路案内等を行う装置であり、GPS受信部20、及び地図記憶部21を有する。GPS受信部20は人工衛星(測位衛星)から受信した信号に基づいて車両1の位置(緯度や経度)を特定する。地図記憶部21は、フラッシュメモリやハードディスク等の公知の記憶装置によって構成され、地図情報を記憶している。
運転操作子9は車室内に設けられ、車両1を制御するためにユーザが行う入力操作を受け付ける。運転操作子9は、ステアリングホイール22、アクセルペダル23、ブレーキペダル24(制動操作子)、及び、シフトレバー25を含む。
制御装置10は、CPU等のプロセッサ、不揮発性メモリ(ROM)、及び、揮発性メモリ(RAM)等を含む電子制御装置(ECU)である。制御装置10はプロセッサでプログラムに沿った演算処理を実行することで、各種の車両制御を実行する。また、本発明の軸ずれ推定装置としての処理は、制御装置10のプロセッサにより実行される。制御装置10は1つのハードウェアとして構成されていてもよく、複数のハードウェアからなるユニットとして構成されていてもよい。また、制御装置10の各機能部の少なくとも一部は、LSIやASIC、FPGA等のハードウェアによって実現されてもよく、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。
制御装置10は、車外カメラ16によって取得された画像や、ライダ17によって取得された測距データに基づいて、少なくとも車両1の周辺に存在する物体を避けるように、推進装置3やブレーキ装置4、ステアリング装置5を制御する。例えば、制御装置10は、車両1の周辺に存在する物体を避けつつ、運転者の運転支援を行う支援処理や、車両1を自律走行させる自律走行処理を行い、車両1を制御することができる。
このような車両1の制御を行うため、制御装置10は、外界認識部41、自車位置特定部42、行動計画部43、及び、走行制御部44を含む。
外界認識部41は、外界センサ6を適宜制御し、外界センサ6から検出結果を取得する。外界認識部41は外界センサ6の検出結果に基づいて、車両1の周辺に存在する例えば、歩行者や車両1などの物標を認識する。外界認識部41はライダ17によって取得された測距データに基づいて、車両1を基準とする物標の位置を取得する。また、外界認識部41は、車外カメラ16によって取得された画像やライダ17によって取得された測距データ等を含む外界センサ6の検出結果に基づいて物標の大きさを取得し、機械学習等の公知の方法を用いて、外界センサ6の検出結果から物標の種別(例えば、物標がパイロンや街灯である等)を判定する。
自車位置特定部42は、ナビゲーション装置8のGPS受信部20からの信号に基づいて、車両1の位置を検出する。また、自車位置特定部42はGPS受信部20からの信号に加えて、車両センサ7から車速やヨーレートを取得し、いわゆる慣性航法を用いて車両1の位置及び姿勢を特定してもよい。
走行制御部44は、行動計画部43からの走行制御の指示に従って、推進装置3、ブレーキ装置4、及びステアリング装置5を制御し、車両1を走行させる。より具体的には、走行制御部44は、行動計画部43から車両1が走行すべき軌跡を指示された場合には、外界認識部41によって取得された車両1の周辺に位置する物標の位置や大きさに基づいて、それらを避けるように、推進装置3、ブレーキ装置4、及びステアリング装置5を制御しつつ、車両1を可能な限り軌跡に沿うように走行させる。
行動計画部43は、前方を走行する車両に追従する追従走行処理や、自動運転から手
動運転への切替時に運転者が運転操作を引き継ぐことができない場合、車両1を安全に停止させる退避処理(いわゆる、ミニマム・リスク・マヌーバー(MRM)を行うための処理)を実行する。行動計画部43は各処理において車両1が走行すべき軌跡を算出して、その軌跡に沿って車両1を走行させるべく、走行制御部44に指示を出力する。
但し、行動計画部43は、車両1の走行が開始された後、好ましくは追従走行処理や、退避処理等の処理を行っている場合を除き、適宜、外界認識部41にライダ17の軸ずれ推定を指示する。外界認識部41は軸ずれ推定において、ライダ17の軸ずれ量を取得し、行動計画部43が実行可能な処理を制限すべき軸ずれがあると判定したときには、制限信号を行動計画部43に出力する。
制限信号が入力されると、行動計画部43は、実行可能な処理を制限する。例えば、制限信号が入力されると、行動計画部43は、追従走行処理の実行を禁止するが、退避処理の実行を可能とする。一方、制限信号が入力されていないときは、行動計画部43は、追従走行処理、及び退避処理を実行可能とする。
外界認識部41は、ライダ17の軸ずれ推定を行う軸ずれ推定部55を備える。軸ずれ推定部55は、本発明の軸ずれ推定装置の一例であり、路面認識部50、平面作成部51、及び、推定部52を含む。路面認識部50は、ライダ17によって取得された測距データに基づいて、車両1が走行する路面を認識する。
平面作成部51は、路面認識部50の認識結果から路面の仮想平面を作成する。路面の仮想平面とは、路面と位置及び方向が概ね一致する、外界認識部41において認識される3次元の外界空間における平面である。
推定部52は、ライダ17の基準平面に対する、平面作成部51によって作成された仮想平面の傾きに基づいて、ライダ17の軸ずれ量を推定する。ライダ17の基準平面は、ライダ17の測距の基準平面である。ライダ17は、この基準平面が所定の方向(例えば水平方向)となるように車両1に設置される。
推定部52は、上記の軸ずれ推定によってライダ17の軸ずれ量を取得し、行動計画部43が実行可能な処理を制限すべき程度に軸ずれがあることを示す制限信号を行動計画部43に出力する。
次に、このように構成した車両1の動作について説明する。車両1の走行開始時や走行中に適宜、行動計画部43は外界認識部41にライダ17の軸ずれ推定の開始を指示する。外界認識部41の推定部52はその指示を受けて、軸ずれ推定処理を実行し、大きな軸ずれがあると推定した場合には、制限信号を行動計画部43に出力する。換言すれば、制御装置10は、ライダ17(車載センサ)の軸ずれ推定を行う軸ずれ推定装置として機能するとともに、その推定結果に基づいて自ら車両制御を行う。
<軸ずれ推定部55による処理>
図3は、軸ずれ推定部55による処理の一例を示すフローチャートである。制御装置10の軸ずれ推定部55は、例えば図3に示す処理を実行する。図3に示す処理は、例えば、車両1のエンジンスタート時等に行われてもよいし、車両1の走行中に繰り返し行われてもよい。
まず、軸ずれ推定部55は、路面認識部50により、ライダ17の測距結果から、車両1が走行する路面を認識する(ステップS31)。次に、軸ずれ推定部55は、平面作成部51により、ステップS31によって認識した路面上の3点以上の点を検出する(ステップS32)。車両1が走行する路面や、路面上の3点以上の点の検出については後述する(図4等参照)。
次に、軸ずれ推定部55は、平面作成部51により、ステップS32によって検出した3点以上の点に基づく仮想平面を作成する(ステップS33)。次に、軸ずれ推定部55は、ライダ17の基準平面に対する、ステップS32によって作成した仮想平面の傾きを算出する(ステップS34)。次に、軸ずれ推定部55は、推定部52により、ステップS34によって算出した傾きに基づいて、ライダ17の軸ずれ量を推定し(ステップS35)、一連の処理を終了する。なお、ステップS35において、軸ずれ推定部55は、今回のステップS34によって算出した傾きに基づいて推定したライダ17の軸ずれ量と、過去のステップS34によって算出した傾きに基づいて推定したライダ17の軸ずれ量と、を含む、複数の軸ずれ量の平均(加重平均を含む)を算出してもよい。仮想平面の作成や傾きに基づく軸ずれ量の推定については後述する(図5~図9参照)。
<軸ずれ推定部55による路面上の3つの点の検出>
図4は、軸ずれ推定部55による路面上の3つの点の検出の一例を示す図である。路面30は、車両1が走行する片側2車線の道路の路面である。道路標示30aは、レーンマーク等の白色の道路標示であり、反射強度が高い高輝度反射帯である。また、道路標示30aは、白色の道路標示に限らず、黄色や青色など他の色の道路標示であってもよい。軸ずれ推定部55の路面認識部50は、ライダ17の測距結果から路面30を認識する。
軸ずれ推定部55の平面作成部51は、路面認識部50によって認識された路面30上の3つ以上の点を検出する。例えば、平面作成部51は、ライダ17によるセンシングデータに含まれる反射強度の情報を用いて、路面30の各点における、反射強度が所定値以上である3つ以上の点を検出する。図4の例では、路面30における高輝度反射帯である道路標示30aの点31~33が検出されている。
ここでは、路面30のうち車両1が位置している部分と、路面30のうち点31~33を含む部分とが平行である場合について説明する。
<軸ずれが生じていない状態のライダ17>
図5は、軸ずれが生じていない状態のライダ17の一例を示す図である。図6は、ライダ17の軸ずれが生じていない状態における仮想平面の作成の一例を示す図である。ライダ17(X)は、車両1の前方(X軸方向)から見たライダ17である。ライダ17(Y)は、車両1の側方(Y軸方向)から見たライダ17である。基準平面17Aは、上述したライダ17の測距の基準平面である。
図5に示すように、ライダ17は、軸ずれが生じていない状態において、基準平面17Aが車両1の水平方向(XY平面)と平行になるように、すなわち車両1の垂直方向(Z軸方向)と直交するように車両1に設置される。
図6に示す仮想平面30Aは、平面作成部51が作成する路面30の仮想平面である。平面作成部51は、検出した点31~33を含む仮想平面30Aを作成する。ここで、ライダ17からの測距データにより認識される空間を、x軸、y軸及びz軸からなるxyz空間とする。仮想平面30Aは、x軸及びy軸を含むxy平面である。
図6に示すように、ライダ17の軸ずれが生じていない状態においては、仮想平面30Aは基準平面17Aと一致する。
<軸ずれが生じている状態のライダ17>
図7は、軸ずれが生じている状態のライダ17の一例を示す図である。図8は、ライダ17の軸ずれが生じている状態における仮想平面の作成の一例を示す図である。この例では、ライダ17においてロール方向の軸ずれ及びピッチ方向の軸ずれが生じている。
図7のライダ17(X)に示すように、ライダ17においてロール方向の軸ずれが生じると、YZ平面において、基準平面17Aが車両1の水平方向(XY平面)に対して傾く。このYZ平面における傾き量を軸ずれ量θRollとする。
また、図7のライダ17(Y)に示すように、ライダ17においてピッチ方向の軸ずれが生じると、XZ平面において、基準平面17Aが車両1の水平方向(XY平面)に対して傾く。このXZ平面における傾き量を軸ずれ量θPitchとする。
図8に示すように、ライダ17の軸ずれが生じている状態においては、点31~33を含む仮想平面30Aは基準平面17Aに対して傾く。
<推定部52によるライダ17の軸ずれの推定>
図9は、推定部52によるライダ17の軸ずれの推定の一例を示す図である。図9においては、図8の例のようにライダ17においてロール方向の軸ずれ及びピッチ方向の軸ずれが生じている例について説明する。
xyz空間における仮想平面30Aは、例えばax+by+cz+d=0として表すことができる。すなわち、平面作成部51による仮想平面30Aの作成は、ax+by+cz+d=0によって表される仮想平面30Aが3つの点31~33を通るように係数a,b,c,dを算出することである。
基準平面17Aと直交するベクトルnは、下記(1)式のように表すことができる。仮想平面30Aと直交するベクトルnは、下記(2)式のように表すことができる。
Figure 2022150929000002
Figure 2022150929000003
(1)式及び(2)式のベクトルをyz平面とxz平面に分解して考える。(1)式に示したベクトルnは、yz平面においては下記(3)式のベクトルnyz0のように表すことができる。(2)式に示したベクトルnは、yz平面においては下記(4)式のベクトルnyz1のように表すことができる。(1)式に示したベクトルnは、xz平面においては下記(5)式のベクトルnxz0のように表すことができる。(2)式に示したベクトルnは、xz平面においては下記(6)式のベクトルnxz1のように表すことができる。
Figure 2022150929000004
Figure 2022150929000005
Figure 2022150929000006
Figure 2022150929000007
ロール方向の軸ずれ量θRollは、(3)式に示したベクトルnyz0と(4)式に示したベクトルnyz1との内積を用いて下記(7)式のように算出することができる。ピッチ方向の軸ずれ量θPitchは、(5)式に示したベクトルnxz0と(6)式に示したベクトルnxz1との内積を用いて下記(8)式のように算出することができる。
Figure 2022150929000008
Figure 2022150929000009
推定部52は、上記の軸ずれ量θRoll,θPitchの少なくともいずれかを、ライダ17の軸ずれ量の推定値として算出する。又は、推定部52は、上記の軸ずれ量θRoll,θPitchの合計や平均を、ライダ17の軸ずれ量の推定値として算出してもよい。
このように、軸ずれ推定部55は、車両1に設置されたライダ17により路面30を認識し、その認識結果から路面30の仮想平面30Aを作成し、ライダ17の基準平面17Aに対する仮想平面30Aの傾きに基づいて、車両1に搭載されたライダ17の軸ずれ量を推定する。
これにより、路面30の左右の白線が検知できなかったり、路面30の白線が直線でなかったり、車両1が直進していなかったりしていても、路面30のうち車両1が位置している部分と路面30のうち仮想平面30Aを作成した部分とが平行であれば、ライダ17の軸ずれを精度よく推定することができる。
また、仮想平面30Aを作成するための路面30上の点として、反射強度が所定値以上の点(例えば点31~33)を検出することで、例えば車両1から遠い点であっても、路面30上の点の検出精度を向上させることができる。このため、ライダ17の軸ずれを精度よく推定することができる。
<軸ずれ推定部55による路面上の点の連続した検出>
図10は、軸ずれ推定部55による路面上の点の連続した検出の一例を示す図である。図10に示す走査軌跡17Bは、ライダ17による走査の軌跡である。上記のように、平面作成部51は、路面30の各点における反射強度が所定値以上である3つ以上の点を検出する。したがって、路面30における白線等の道路標示30a上の点が検出される。図10の例では点61~76が検出される。
路面30上の点を4つ以上検出可能な場合に、平面作成部51は、路面30の仮想平面を複数作成することができる。例えば、平面作成部51は、点61~63を含む仮想平面、点64~66を含む仮想平面、点67~69を含む仮想平面…を作成することができる。又は、平面作成部51は、仮想平面間で点を重複させて、点61~63を含む仮想平面、点62~64を含む仮想平面、点63~65を含む仮想平面…を作成してもよい。
このような場合に、推定部52は、例えば車両1からの距離が最も近い仮想平面に基づいて軸ずれ量を推定する。図10に示す例では、ライダ17は、点61~63を含む仮想平面に基づいて軸ずれ量を推定する。これにより、路面30のうち車両1が位置している部分と路面30のうち仮想平面を作成した部分との角度差がより生じにくい状態で仮想平面を作成することができる。このため、ライダ17の軸ずれを精度よく推定することができる。
又は、平面作成部51が上記のように路面30の仮想平面を複数作成し、推定部52は、複数の仮想平面のそれぞれから推定した軸ずれ量の平均を、ライダ17の軸ずれ量として算出してもよい。これにより、路面30に凹凸があったり、車両1の振動やライダ17の精度に起因するライダ17の測距結果にばらつきがあったりしても、ライダ17の軸ずれを精度よく推定することができる。
また、この軸ずれ量の平均を、車両1に近い仮想平面から推定した軸ずれ量ほど高い加重を設定した加重平均としてもよい。これにより、路面30の凹凸やライダ17の測距結果にばらつきによる影響を抑制しつつ、路面30のうち車両1が位置している部分との角度差が生じにくい仮想平面を重視して軸ずれ量を推定し、ライダ17の軸ずれを精度よく推定することができる。
<軸ずれ推定部55による軸ずれ量の更新>
図11は、軸ずれ推定部55による軸ずれ量の更新の一例を示す図である。図11において、横軸は車両1の走行距離を示し、縦軸は推定部52が基準平面17Aに対する仮想平面30Aの傾きに基づいて推定した軸ずれ量(例えば軸ずれ量θRoll又は軸ずれ量θPitch)を示している。
軸ずれ推定部55は、車両1の走行中に、例えば図3に示した処理を連続して繰り返し実行する。軸ずれ量推移111は、軸ずれ推定部55の推定部52が仮想平面30Aに基づいて推定した軸ずれ量の、車両1の走行距離に応じた変化である。
推定部52は、軸ずれ量推移111に基づいて、所定の条件を満たした場合に軸ずれ量の推定結果を更新する。軸ずれ量の推定結果の更新とは、推定部52による軸ずれ量の推定結果を用いた処理に、新たな軸ずれ量の推定結果を反映させることである。推定部52による軸ずれ量の推定結果を用いた処理とは、例えば、軸ずれ量が大きい場合に行動計画部43が実行可能な処理を制限する処理である。具体的には、推定部52は、所定の条件を満たした場合に、そのときの軸ずれ量が閾値以上であるか否かを判断し、軸ずれ量が閾値以上である場合に行動計画部43へ制限信号を出力する。
所定の条件は、車両1の所定距離d以上の走行における、基準平面17Aに対する仮想平面30Aの傾きに基づく軸ずれ量の変動量が閾値以下であることである。軸ずれ量の変動量とは、例えば軸ずれ量の最小値と軸ずれ量の最大値との差の大きさ(軸ずれ量の変動幅)である。
図11の例では、推定部52は、走行距離p1の時点で、軸ずれ量の変動量がほぼ0である状態で車両1が走行した距離が所定距離dに達したため、軸ずれ量の推定結果を更新する。具体的には、推定部52は、走行距離p1の時点で、この時点で推測した軸ずれ量が閾値以上であるか否かを判断し、軸ずれ量が閾値以上である場合に行動計画部43へ制限信号を出力する。
また、推定部52は、走行距離p2(>p1)の時点で、軸ずれ量の変動量がほぼ0である状態で車両1が走行した距離が所定距離dに達したため、軸ずれ量の推定結果を更新する。具体的には、推定部52は、走行距離p2の時点で、この時点で推測した軸ずれ量が閾値以上であるか否かを判断し、軸ずれ量が閾値以上である場合に行動計画部43へ制限信号を出力する。
また、推定部52は、走行距離p1の時点と走行距離p2の時点との間の期間においては、軸ずれ量の推定結果を更新しない。すなわち、推定部52は、この期間において推定した軸ずれ量が閾値以上であっても、行動計画部43へ制限信号を出力しない。これにより、車両1が走行中の路面30の傾斜の変化により、路面30のうち車両1が位置している部分と路面30のうち仮想平面が作成される部分とが一時的に平行でなくなっても、行動計画部43が実行可能な処理を制限しないようにすることができる。
<軸ずれ推定部55による軸ずれ量の更新処理>
図12は、軸ずれ推定部55による軸ずれ量の更新処理の一例を示すフローチャートである。軸ずれ推定部55は、例えば図12に示す処理を実行する。
まず、軸ずれ推定部55は、ライダ17の軸ずれ量を推定する(ステップS121)。ステップS121による軸ずれ量の推定は、例えば図3に示した処理によって行われる。次に、軸ずれ推定部55は、ステップS121によって推定した軸ずれ量を基準値として設定する(ステップS122)。
次に、軸ずれ推定部55は、所定時間だけ待機する(ステップS123)。次に、軸ずれ推定部55は、ライダ17の軸ずれ量を再度推定する(ステップS124)。ステップS124による軸ずれ量の推定は、例えば図3に示した処理によって行われる。
次に、軸ずれ推定部55は、ライダ17の軸ずれ量の変動量として、ステップS124によって推定した軸ずれ量と、現在設定している基準値と、の差の大きさが閾値以下であるか否かを判断する(ステップS125)。この閾値は、一例としては0.02°程度の値とすることができる。推定した軸ずれ量と基準値との差の大きさが閾値以下でない場合(ステップS125:No)は、ライダ17の軸ずれ量の変動量が大きい状況であるため、ステップS121へ戻る。
ステップS125において、推定した軸ずれ量と基準値との差の大きさが閾値以下である場合(ステップS125:Yes)は、ライダ17の軸ずれ量の変動量が小さい状況であるため、軸ずれ推定部55は、ステップS123の待機中に走行した距離により走行距離を更新する(ステップS126)。ここでいう走行距離は、軸ずれ量の変動量が小さい状態で車両1が継続して走行した距離であり、図12の処理の開始時は0に設定される。ステップS126において、軸ずれ推定部55は、現在の走行距離に、ステップS123の待機中に走行した距離を加算する処理を行うことにより走行距離を更新する。
次に、軸ずれ推定部55は、ステップS126によって更新した走行距離が所定距離(所定距離d)以上であるか否かを判断する(ステップS127)。更新した走行距離が所定距離以上である場合(ステップS127:Yes)は、軸ずれ量の変動量が小さい状態で車両1が所定距離以上走行したという状況である。この場合、軸ずれ推定部55は、推定した現在の軸ずれ量の推定結果に基づいて、軸ずれ量が閾値以上であるか否かを判断する(ステップS128)。この閾値は、行動計画部43が実行可能な、軸ずれ推定部55による軸ずれ量の推定結果に基づく処理を制限すべきか否かの基準となる軸ずれ量の値である。
ステップS128において、軸ずれ量が閾値以上でない場合(ステップS128:No)は、軸ずれ推定部55は、一連の処理を終了する。軸ずれ量が閾値以上である場合(ステップS128:Yes)は、軸ずれ推定部55は、行動計画部43が実行可能な処理を制限すべき程度に軸ずれがあることを示す制限信号を行動計画部43に出力し(ステップS129)、一連の処理を終了する。
ステップS127において、更新した走行距離が所定距離以上でない場合(ステップS127:No)は、軸ずれ推定部55は、ステップS124によって推定した軸ずれ量を新たな基準値として設定し(ステップS130)、ステップS123へ戻る。
図11,図12において説明したように、軸ずれ推定部55は、所定の条件を満たした場合に軸ずれ量の推定結果を更新する。所定の条件は、車両1の所定距離以上の走行において、ライダ17の基準平面17Aに対する仮想平面30Aの傾きに基づく軸ずれ量の変動量が閾値以下であることである。
軸ずれ量の変動量が閾値以下の状態で車両1が所定距離以上走行した場合、その間、路面30のうち車両1が走行した部分や仮想平面が作成された部分の傾きがほぼ一定であったことを意味する。したがって、この場合に軸ずれ量の推定結果を更新することで、路面30のうち車両1が位置している部分と路面30のうち仮想平面を作成する部分とが平行でない状態では軸ずれ量の推定結果を更新しないようにし、ライダ17の軸ずれを精度よく推定することができる。また、路面30の状態や振動等に起因する一時的の軸ずれ量の変動を、軸ずれ量の推定結果に基づく処理に影響させないようにすることができる。
軸ずれ量の推定結果に基づく処理として、軸ずれ量が閾値以上の場合に行動計画部43が実行可能な処理を制限する処理について説明したが、これに限らない。例えば、軸ずれ量の推定結果に基づく処理は、ライダ17により得られる測距データの補正であってもよい。例えば、外界認識部41は、軸ずれ推定部55によって推定された軸ずれ量に基づいて、ライダ17により得られる測距データを補正し、補正した測距データに基づいて外界認識の処理を実行してもよい。
<軸ずれ推定部55による複数の仮想平面に基づく軸ずれ量の推定>
図13は、軸ずれ推定部55による複数の仮想平面に基づく軸ずれ量の推定の一例を示す図である。
ある時刻t0において、平面作成部51は、路面30における車両1の前方の点31~33を含む仮想平面30Aと、路面30における車両1のさらに前方の点34~36を含む仮想平面30Bと、を作成する。
次に、路面30のうち仮想平面30Aに対応する部分に車両1が進んだ時刻t0+t1において、平面作成部51は、路面30のうち仮想平面30Bに対応する部分の点37~39を含む仮想平面30Cを作成する。すなわち、仮想平面30Cは、路面30のうち仮想平面30Bと同じ部分の仮想平面を、仮想平面30Bの作成時とはとなる位置からの測距データに基づいて作成したものである。点37~39は、点34~36と同じ3点であってもよいし、点34~36と異なる3点であってもよい。
<ライダ17の軸ずれがない場合における仮想平面30A~30C>
図14は、ライダ17の軸ずれがない場合における仮想平面30A~30Cの一例を示す図である。ライダ17の軸ずれがない場合、図13に示した仮想平面30A~30Cは、例えば図14に示すものになる。
時刻t0に作成された仮想平面30Aの基準平面17Aに対する傾きと、時刻t0に作成された仮想平面30Bの基準平面17Aに対する傾きと、は共にθ0となっている。これは、ライダ17の軸ずれの有無に関わらず、路面30のうち仮想平面30Aに対応する部分と路面30のうち仮想平面30Bに対応する部分とが平行であることを意味する。
ただし、仮想平面30A,30Bのみでは、ライダ17に軸ずれが生じているのか、路面30のうち時刻t0に車両1が位置している部分と路面30のうち仮想平面30A,30Bが対応する部分とが平行でないのか、あるいはこれらが複合的に発生しているのかを判別することはできない。
図14に示す例では、時刻t0+t1において作成された仮想平面30Cの基準平面17Aに対する傾きが0になっている。これは、路面30のうち仮想平面30Aの部分からの測距に基づいて、路面30のうち仮想平面30B(仮想平面30C)に対応する部分の傾斜を正しく検出できていることを意味する。
すなわち、この場合、路面30のうち時刻t0に車両1が位置している部分と、路面30のうち仮想平面30A,30Bが対応する部分と、の間にθ0の角度があり、ライダ17に軸ずれは生じていないと判定することができる。
<ライダ17の軸ずれがある場合における仮想平面30A~30C>
図15は、ライダ17の軸ずれがある場合における仮想平面30A~30Cの一例を示す図である。ライダ17の軸ずれがある場合、図13に示した仮想平面30A,30Bは、例えば図15に示すものになる。
図15に示す例では、時刻t0+t1において作成された仮想平面30Cの基準平面17Aに対する傾きがθ1になっている。これは、路面30のうち仮想平面30Aの部分からの測距に基づいて、路面30のうち仮想平面30B(仮想平面30C)に対応する部分の傾斜の検出がθ1ずれていることを意味する。
すなわち、この場合、路面30のうち時刻t0に車両1が位置している部分と、路面30のうち仮想平面30A,30Bが対応する部分と、の間にθ1の角度があり、ライダ17にθ1の軸ずれが生じていると判定することができる。なお、この場合、路面30のうち時刻t0に車両1が位置している部分と、路面30のうち仮想平面30A,30Bが対応する部分と、の間の角度はθ0-θ1である。
<軸ずれ推定部55による仮想平面30A~30Cに基づく軸ずれの推定処理>
図16は、軸ずれ推定部55による複数の仮想平面に基づく軸ずれ量の推定処理の一例を示すフローチャートである。軸ずれ推定部55は、図3に示した処理に代えて図16に示す処理を実行してもよい。
図16に示すステップS161,S162は、図3に示したステップS31,S32と同様である。ただし、ステップS162において、軸ずれ推定部55は、2つの仮想平面を作成可能なように路面30上の4つ以上の点を検出する。図13の例では路面30上の6つの点31~36が検出されている。
次に、軸ずれ推定部55は、ステップS162によって検出した複数の点から第1仮想平面及び第2仮想平面を作成する(ステップS163)。第1仮想平面は、路面30のうち車両1の前方の部分の仮想平面であり、例えば図13の例では仮想平面30Aである。第2仮想平面は、路面30のうち車両1から見て第1仮想平面よりも前方の部分の仮想平面であり、例えば図13の例では仮想平面30Bである。
次に、軸ずれ推定部55は、ステップS163によって作成した第1仮想平面及び第2仮想平面(各仮想平面)の角度差が閾値以下であるか否かを判断する(ステップS164)。この閾値は、ほぼ平行とみなせる2つの仮想平面の間の角度である。各仮想平面の角度差が閾値以下でない場合(ステップS164:No)は、軸ずれ推定部55は、ステップS161へ戻る。
ステップS164において、各仮想平面の角度差が閾値以下である場合(ステップS164:Yes)は、軸ずれ推定部55は、車両1が、路面30のうち第1仮想平面に対応する位置に移動するまで待機する(ステップS165)。
次に、軸ずれ推定部55は、ライダ17の測距結果から路面30を認識する(ステップS166)。次に、軸ずれ推定部55は、ステップS166によって認識した路面30のうち第2仮想平面に対応する部分の3つの点を検出する(ステップS167)。次に、軸ずれ推定部55は、ステップS167によって検出した3つの点を含む第3仮想平面を作成する(ステップS168)。第3仮想平面は、路面30のうち第2仮想平面に対応する部分の仮想平面であり、図13の例では仮想平面30Cである。
次に、軸ずれ推定部55は、ライダ17の基準平面に対する、ステップS168によって作成した第3仮想平面の傾きを算出する(ステップS169)。次に、軸ずれ推定部55は、ステップS169によって算出した傾きに基づいて、ライダ17の軸ずれ量を推定し(ステップS170)、一連の処理を終了する。
図13~図16に示したように、軸ずれ推定部55は、あるタイミング(例えば時刻t0)における路面30の認識結果から、路面30の第1仮想平面(例えば仮想平面30A)と、第1仮想平面との角度差が閾値以下であり路面30のうち車両1に対して第1仮想平面より遠方の第2仮想平面(例えば仮想平面30B)と、を作成する。そして、軸ずれ推定部55は、車両1が路面30のうち第1仮想平面に対応する部分に存在するタイミング(例えば時刻t0+t1)で作成した第3仮想平面(例えば仮想平面30C)に基づいて軸ずれ量を推定する。
すなわち、軸ずれ推定部55は、路面30のうち互いに平行な第1領域及び第2領域(仮想平面30A,30Bに対応する各部分)を路面30の認識結果から検出し、車両1がその第1領域に移動したら、その第1領域から認識した第2領域の仮想平面に基づいて軸ずれ量を推定する。これにより、路面30のうち車両1が位置している部分と路面30のうち仮想平面を作成する部分とが平行となるため、ライダ17の軸ずれを精度よく推定することができる。
なお、ステップS164について、第1仮想平面及び第2仮想平面の角度差が閾値以下であるか否かを判断する処理について説明したが、軸ずれ推定部55は、ステップS164において、基準平面17Aに対する角度に対する、第1仮想平面及び第2仮想平面の角度差の割合が閾値以下であるか否かを判断する処理としてもよい。基準平面17Aに対する角度とは、例えば、基準平面17Aに対する第1仮想平面(仮想平面30A)の角度であってもよいし、基準平面17Aに対する第2仮想平面(仮想平面30B)の角度であってもよいし、基準平面17Aに対する第1仮想平面(仮想平面30A)の角度と基準平面17Aに対する第2仮想平面(仮想平面30B)の角度との平均であってもよい。
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、適宜、変形、改良、等が可能である。
例えば、ライダ17の認識結果を用いてライダ17の軸ずれを推定する場合について説明したが、ライダ17の認識結果を用いて車両1に搭載された他の車載センサの軸ずれを推定してもよい。例えば、車外カメラ16がライダ17と同じ部分に取り付けられている等により、車外カメラ16においてライダ17と同様の軸ずれが生じる場合、推定部52は、上記の軸ずれ量θRoll,θPitchを、車外カメラ16の軸ずれ量として推定してもよい。
また、路面30上の3つの点(例えば点31~33)を検出し、その3つの点を含む仮想平面30Aを作成する構成について説明したが、路面30上の4つ以上の点を検出し、その4つ以上の点に基づく仮想平面30Aを作成する構成としてもよい。4つ以上の点に基づく仮想平面30Aの作成には、例えばRANSAC(RANdom SAmple Consensus)などのロバスト推定によって行うことができる。
本発明の軸ずれ推定装置としての処理を制御装置10のプロセッサにより実行する構成について説明したが、本発明の軸ずれ推定装置としての処理を軸ずれの推定対象の車載センサ(ライダ17や車外カメラ16)のプロセッサにより実行する構成としてもよい。
また、本明細書には少なくとも以下の事項が記載されている。なお、括弧内には、上記した実施形態において対応する構成要素等を示しているが、これに限定されるものではない。
(1) 車両(車両1)に設置されたレーザレーダ(ライダ17)により路面(路面30)を認識する路面認識部(路面認識部50)と、
前記車両に搭載された車載センサ(ライダ17、車外カメラ16)の軸ずれ量を推定する推定部(推定部52)とを備える、前記車載センサの軸ずれ推定装置(軸ずれ推定部55)において、
前記路面認識部の認識結果から前記路面の仮想平面(仮想平面30A)を作成する平面作成部(平面作成部51)を備え、
前記推定部は、前記レーザレーダの基準平面に対する前記仮想平面の傾きに基づいて、前記軸ずれ量を推定する、
軸ずれ推定装置。
(1)によれば、路面の左右の白線が検知できなかったり、路面の白線が直線でなかったり、車両が直進していなかったりしていても、路面のうち車両が位置している部分と路面30のうち仮想平面を作成した部分とが平行であれば、車載センサの軸ずれを精度よく推定することができる。
(2) (1)に記載の軸ずれ推定装置において、
前記平面作成部は、前記路面上の3つ以上の点(点31~39,61~76)を検出し、前記3つ以上の点に基づく前記仮想平面を作成する、
軸ずれ推定装置。
(2)によれば、路面と平行な仮想平面を作成することができる。
(3) (2)に記載の軸ずれ推定装置において、
前記3つ以上の点は、前記路面上の反射強度が所定値以上の点である、
軸ずれ推定装置。
(3)によれば、路面上の点の検出精度を向上させることができる。
(4) (1)~(3)のいずれかに記載の軸ずれ推定装置において、
前記推定部は、前記平面作成部において前記仮想平面が複数作成される場合に、前記車両からの距離が最も近い前記仮想平面に基づいて前記軸ずれ量を推定する、
軸ずれ推定装置。
(4)によれば、路面のうち車両が位置している部分と路面のうち仮想平面を作成した部分との角度差がより生じにくい状態で仮想平面を作成することができる。このため、車載センサの軸ずれを精度よく推定することができる。
(5) (1)~(3)のいずれかに記載の軸ずれ推定装置において、
前記推定部は、前記平面作成部において前記仮想平面が複数作成される場合に、前記仮想平面のそれぞれから推定した前記軸ずれ量の平均を算出する、
軸ずれ推定装置。
(5)によれば、路面に凹凸があったり、車両の振動やレーザレーダの精度に起因するレーザレーダの測距結果にばらつきがあったりしても、車載センサの軸ずれを精度よく推定することができる。
(6) (5)に記載の軸ずれ推定装置において、
前記平均は、前記車両に近い前記仮想平面から推定した前記軸ずれ量ほど高い加重を設定した加重平均である、
軸ずれ推定装置。
(6)によれば、路面の凹凸やレーザレーダの測距結果にばらつきによる影響を抑制しつつ、路面のうち車両が位置している部分との角度差が生じにくい仮想平面を重視して車載センサの軸ずれ量を推定し、車載センサの軸ずれを精度よく推定することができる。
(7) (1)~(6)のいずれかに記載の軸ずれ推定装置において、
前記推定部は、所定の条件を満たした場合に前記軸ずれ量の推定結果を更新し、
前記所定の条件は、前記車両の所定距離以上の走行において前記傾きに基づく前記軸ずれ量の変動量が閾値以下であることである、
軸ずれ推定装置。
(7)によれば、路面のうち車両が走行した部分や仮想平面が作成された部分の傾きがほぼ一定であった場合に軸ずれ量の推定結果を更新できるため、路面のうち車両が位置している部分と路面のうち仮想平面が作成された部分とが平行でない状態では軸ずれ量の推定結果を更新しないようにし、車載センサの軸ずれを精度よく推定することができる。
(8) (1)~(3)のいずれかに記載の軸ずれ推定装置において、
前記平面作成部は、あるタイミングにおける前記認識結果から、前記路面の第1仮想平面(仮想平面30A)と、前記第1仮想平面との角度差が閾値以下であり前記路面のうち前記車両に対して前記第1仮想平面より遠方の部分の第2仮想平面(仮想平面30B)と、を作成し、
前記推定部は、前記路面のうち前記第1仮想平面に対応する部分に前記車両が存在するタイミングで作成した第3仮想平面(仮想平面30C)に基づいて前記軸ずれ量を推定する、
軸ずれ推定装置。
(8)によれば、路面のうち車両が位置している部分と路面のうち第3仮想平面を作成する部分とが平行となるため、車載センサの軸ずれを精度よく推定することができる。
(9) (8)に記載の軸ずれ推定装置であって、
前記第3仮想平面は、前記路面のうち前記第2仮想平面に対応する部分の仮想平面である、
軸ずれ推定装置。
(10) (8)又は(9)に記載の軸ずれ推定装置であって、
前記推定部は、前記基準平面に対する前記第3仮想平面の傾きに基づいて前記軸ずれ量を推定する、
軸ずれ推定装置。
1 車両
17 ライダ(レーザレーダ)
30 路面
30A~30C 仮想平面
50 路面認識部
51 平面作成部
52 推定部
55 軸ずれ推定部(推定装置)

Claims (10)

  1. 車両に設置されたレーザレーダにより路面を認識する路面認識部と、
    前記車両に搭載された車載センサの軸ずれ量を推定する推定部とを備える、前記車載センサの軸ずれ推定装置において、
    前記路面認識部の認識結果から前記路面の仮想平面を作成する平面作成部を備え、
    前記推定部は、前記レーザレーダの基準平面に対する前記仮想平面の傾きに基づいて、前記軸ずれ量を推定する、
    軸ずれ推定装置。
  2. 請求項1に記載の軸ずれ推定装置において、
    前記平面作成部は、前記路面上の3つ以上の点を検出し、前記3つ以上の点に基づく前記仮想平面を作成する、
    軸ずれ推定装置。
  3. 請求項2に記載の軸ずれ推定装置において、
    前記3つ以上の点は、前記路面上の反射強度が所定値以上の点である、
    軸ずれ推定装置。
  4. 請求項1~3のいずれか1項に記載の軸ずれ推定装置において、
    前記推定部は、前記平面作成部において前記仮想平面が複数作成される場合に、前記車両からの距離が最も近い前記仮想平面に基づいて前記軸ずれ量を推定する、
    軸ずれ推定装置。
  5. 請求項1~3のいずれか1項に記載の軸ずれ推定装置において、
    前記推定部は、前記平面作成部において前記仮想平面が複数作成される場合に、前記仮想平面のそれぞれから推定した前記軸ずれ量の平均を算出する、
    軸ずれ推定装置。
  6. 請求項5に記載の軸ずれ推定装置において、
    前記平均は、前記車両に近い前記仮想平面から推定した前記軸ずれ量ほど高い加重を設定した加重平均である、
    軸ずれ推定装置。
  7. 請求項1~6のいずれか1項に記載の軸ずれ推定装置において、
    前記推定部は、所定の条件を満たした場合に前記軸ずれ量の推定結果を更新し、
    前記所定の条件は、前記車両の所定距離以上の走行において前記傾きに基づく前記軸ずれ量の変動量が閾値以下であることである、
    軸ずれ推定装置。
  8. 請求項1~3のいずれか1項に記載の軸ずれ推定装置において、
    前記平面作成部は、あるタイミングにおける前記認識結果から、前記路面の第1仮想平面と、前記第1仮想平面との角度差が閾値以下であり前記路面のうち前記車両に対して前記第1仮想平面より遠方の部分の第2仮想平面と、を作成し、
    前記推定部は、前記路面のうち前記第1仮想平面に対応する部分に前記車両が存在するタイミングで作成した第3仮想平面に基づいて前記軸ずれ量を推定する、
    軸ずれ推定装置。
  9. 請求項8に記載の軸ずれ推定装置であって、
    前記第3仮想平面は、前記路面のうち前記第2仮想平面に対応する部分の仮想平面である、
    軸ずれ推定装置。
  10. 請求項8又は9に記載の軸ずれ推定装置であって、
    前記推定部は、前記基準平面に対する前記第3仮想平面の傾きに基づいて前記軸ずれ量を推定する、
    軸ずれ推定装置。
JP2021053743A 2021-03-26 2021-03-26 軸ずれ推定装置 Pending JP2022150929A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021053743A JP2022150929A (ja) 2021-03-26 2021-03-26 軸ずれ推定装置
US17/679,741 US12066540B2 (en) 2021-03-26 2022-02-24 Axial deviation estimation apparatus
CN202210183598.7A CN115128554A (zh) 2021-03-26 2022-02-24 轴偏移推定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021053743A JP2022150929A (ja) 2021-03-26 2021-03-26 軸ずれ推定装置

Publications (1)

Publication Number Publication Date
JP2022150929A true JP2022150929A (ja) 2022-10-07

Family

ID=83364540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021053743A Pending JP2022150929A (ja) 2021-03-26 2021-03-26 軸ずれ推定装置

Country Status (3)

Country Link
US (1) US12066540B2 (ja)
JP (1) JP2022150929A (ja)
CN (1) CN115128554A (ja)

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5983161A (en) * 1993-08-11 1999-11-09 Lemelson; Jerome H. GPS vehicle collision avoidance warning and control system and method
JP3331882B2 (ja) * 1995-12-27 2002-10-07 株式会社デンソー 車両用障害物検出装置の中心軸偏向量算出装置,中心軸偏向量補正装置,および車間制御装置
JP3352655B2 (ja) * 1999-09-22 2002-12-03 富士重工業株式会社 車線認識装置
JP3905410B2 (ja) 2002-04-12 2007-04-18 富士重工業株式会社 車両用運転支援装置
JP2004198159A (ja) 2002-12-17 2004-07-15 Nissan Motor Co Ltd 車載センサの軸ずれ計測装置
JP4895484B2 (ja) * 2004-06-28 2012-03-14 富士通テン株式会社 車載用レーダ装置の軸ずれ量演算方法及び車載用レーダ軸ずれ判定方法
JP4890894B2 (ja) 2006-03-13 2012-03-07 オムロンオートモーティブエレクトロニクス株式会社 車載用レーダ装置
DE102008063328A1 (de) * 2008-12-30 2010-07-01 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Ermitteln einer Änderung des Nickwinkels einer Kamera eines Fahrzeugs
JP4636346B2 (ja) * 2009-03-31 2011-02-23 アイシン精機株式会社 車載カメラの校正装置、方法、及びプログラム
JP2012212282A (ja) * 2011-03-31 2012-11-01 Honda Elesys Co Ltd 路面状態検出装置、路面状態検出方法、及び路面状態検出プログラム
DE102011054852B4 (de) * 2011-07-30 2024-05-16 Götting KG Verfahren zur Erfassung und Bewertung einer Ebene
JP2014228943A (ja) * 2013-05-20 2014-12-08 日本電産エレシス株式会社 車両用外界センシング装置、その軸ズレ補正プログラム及びその軸ズレ補正方法
DE102013209494A1 (de) * 2013-05-22 2014-11-27 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln einer Dejustage eines Radarsensors eines Fahrzeugs
JP6221607B2 (ja) 2013-10-08 2017-11-01 株式会社デンソー 物体検出装置
FR3014553A1 (fr) * 2013-12-11 2015-06-12 Parrot Procede de calibration angulaire de la position d'une camera video embarquee dans un vehicule automobile
JP6394227B2 (ja) * 2014-09-24 2018-09-26 株式会社デンソー 物体検出装置
ES2584231B2 (es) * 2015-10-09 2017-06-02 Defensya Ingeniería Internacional, S.L. Sistema de localización del extremo del boom, de la boca del receptáculo de repostaje y del tanquero
JP6432116B2 (ja) * 2016-05-23 2018-12-05 本田技研工業株式会社 車両位置特定装置、車両制御システム、車両位置特定方法、および車両位置特定プログラム
US10254767B1 (en) * 2017-01-25 2019-04-09 Amazon Technologies, Inc. Determining position or orientation relative to a marker
JP2019066342A (ja) * 2017-10-02 2019-04-25 パナソニックIpマネジメント株式会社 車載レーダ装置及び車載レーダ装置の軸ずれ検出方法
US10684372B2 (en) * 2017-10-03 2020-06-16 Uatc, Llc Systems, devices, and methods for autonomous vehicle localization
JP7119724B2 (ja) * 2018-08-01 2022-08-17 トヨタ自動車株式会社 軸ずれ検出装置及び車両
JP6827026B2 (ja) * 2018-11-19 2021-02-10 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
JP7123167B2 (ja) * 2018-12-12 2022-08-22 日立Astemo株式会社 外界認識装置
JP7336753B2 (ja) * 2018-12-28 2023-09-01 パナソニックIpマネジメント株式会社 測位装置及び移動体
JP7257814B2 (ja) * 2019-02-21 2023-04-14 日立Astemo株式会社 走行路認識装置
JP7163829B2 (ja) * 2019-03-05 2022-11-01 トヨタ自動車株式会社 車両搭載用のライダ軸ずれ検出装置
JP7216589B2 (ja) * 2019-03-25 2023-02-01 株式会社Subaru 自動操舵制御装置
US11644571B2 (en) * 2019-07-01 2023-05-09 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
JP7252110B2 (ja) * 2019-10-09 2023-04-04 株式会社Soken 軸ずれ推定装置
WO2021140811A1 (ja) * 2020-01-10 2021-07-15 日立Astemo株式会社 センサエイミング装置、運転制御システム、及び補正量の推定方法
CN111366192B (zh) * 2020-03-16 2022-05-13 华为技术有限公司 信息获取方法及装置
JP7485526B2 (ja) * 2020-03-18 2024-05-16 株式会社Soken 軸ずれ推定装置
JP6903196B1 (ja) * 2020-05-25 2021-07-14 三菱電機株式会社 路面領域検出装置、路面領域検出システム、車両および路面領域検出方法
JP7481196B2 (ja) * 2020-08-06 2024-05-10 株式会社Soken 軸ずれ推定装置
KR20230118821A (ko) * 2020-12-10 2023-08-14 프레코 일렉트로닉스, 엘엘씨 관성 측정 장치(imu)를 갖는 차량 객체 검출 레이더의 보정 및 동작
EP4036596A1 (en) * 2021-02-01 2022-08-03 Nokia Technologies Oy High resolution lidar scanning
US20230136329A1 (en) * 2021-10-28 2023-05-04 Emesent Pty Ltd Target detection in a point cloud

Also Published As

Publication number Publication date
US12066540B2 (en) 2024-08-20
CN115128554A (zh) 2022-09-30
US20220308225A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
US10515278B2 (en) Driving assistance device
US9796416B2 (en) Automated driving apparatus and automated driving system
US10350999B2 (en) Vehicle cruise control apparatus and vehicle cruise control method
US20170197620A1 (en) Vehicle traveling control apparatus
US20190071094A1 (en) Vehicle control system, vehicle control method, and storage medium
CN102803037A (zh) 车辆控制设备
JP6748619B2 (ja) 車両制御装置、車両制御方法および車両制御システム
JP2007024590A (ja) 物体検出装置
JP7189691B2 (ja) 車両の走行制御システム
JP6631289B2 (ja) 車両制御システム
US11780503B2 (en) Vehicle controller
WO2021070916A1 (ja) 軸ずれ推定装置
JP2019059441A (ja) 車両運転支援装置
WO2019151156A1 (ja) 物体検知装置および駐車支援装置
WO2019186799A1 (ja) 鞍乗型車両用物体検知システムおよび鞍乗型車両
JP2019059429A (ja) 車両運転支援装置
JP7056379B2 (ja) 車両用走行制御装置
JP2022150929A (ja) 軸ずれ推定装置
CN113511200B (zh) 行驶控制系统
JP7365319B2 (ja) 車両、及び、車両に搭載される車載センサの軸ずれ判定装置
JP2022154840A (ja) 検出装置、車両システム、検出方法、およびプログラム
JP7198005B2 (ja) 自車位置検出装置
JP2020019445A (ja) 車両走行制御システム
JP2022157090A (ja) 運転支援装置
US20240174224A1 (en) Vehicle control device, vehicle control method, and storage medium