JP2021160463A

JP2021160463A - 挙動制御システム

Info

Publication number: JP2021160463A
Application number: JP2020062618A
Authority: JP
Inventors: 靖彦友國; Yasuhiko Tomokuni; 周一岡田; Shuichi Okada
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2020-03-31
Filing date: 2020-03-31
Publication date: 2021-10-11
Anticipated expiration: 2040-03-31
Also published as: US20210303918A1; CN113525367B; US11749001B2; CN113525367A; JP7132271B2

Abstract

【課題】移動体を安定して直進させることができる移動体の挙動制御システムを提供する。
【解決手段】移動体の挙動を制御する挙動制御装置２を備えた挙動制御システム１であって、移動体の前方の画像を取得する撮像装置３と、撮像装置３によって取得された画像に基づいて移動体の挙動を制御する挙動制御装置４とを有し、挙動制御装置４は、撮像装置３によって取得された画像から特徴点を抽出する特徴点抽出部１１と、特徴点の時間変化に基づき直進状態にあるときの特徴点状態を記憶する直進状態記憶部１２と、特徴点の時間変化に基づき特徴点状態が直進状態にあるときから変化した場合に移動体を制御する移動体制御部１６とを有する。
【選択図】図１

Description

本発明は、車両等の移動体の挙動を制御する挙動制御システムに関する。

車両を走行中の車線内に維持する制御を行う車両制御装置が公知である（例えば、特許文献１）。特許文献１の車両制御装置は、車線の幅方向の中央箇所と車両の走行位置との間隔を減少させるように、車両の操舵機構を作動させる。

特開２０１７−１４４７６９号公報

特許文献１の車両制御装置によって、直線状の走行車線に沿って車両を直進走行させる走行制御を行うことが考えられる。このとき、走行車線の境界が不明瞭である、又は、走行車線の境界が蛇行している（ふらついている）場合には、走行車線の幅方向の中央箇所を適切に判定することができなくなる。よって、車両が安定して直進走行せず、車両が車幅方向にふらつく虞がある。

本発明は、以上の背景を鑑み、移動体の挙動制御システムにおいて、移動体を安定して直進させることを課題とする。

上記課題を解決するために本発明のある態様は、移動体の挙動を変更する挙動制御装置（２）を備えた挙動制御システム（１）であって、前記移動体の前方の画像を取得する撮像装置（３）と、前記撮像装置によって取得された前記画像に基づいて、前記移動体の前記挙動を制御する制御装置（４）とを有し、前記制御装置は、前記撮像装置によって取得された前記画像から特徴点を抽出する特徴点抽出部（１１）と、前記特徴点の時間変化に基づき、直進状態にあるときの特徴点状態を記憶する直進状態記憶部（１２）と、前記特徴点の時間変化に基づき、前記特徴点状態が前記直進状態にあるときから変化した場合に、前記移動体を制御する移動体制御部（１６）とを有することを特徴とする。

この構成によれば、特徴点の時間変化に基づき、直進状態にあるときに対する移動体の傾き（上下軸方向を中心とする回転）の有無が判定される。更に、特徴点の時間変化に基づき、移動体の向きが直進状態にあるときの移動体の向きに合致するように移動体が制御される。よって、例えば、移動すべき領域の境界（例えば、走行車線の境界）等が認識できない場合においても、移動体を安定して直進させることができる。

上記態様において、前記直進状態記憶部は、前記移動体が前記直進状態にあるときに、前記画像上の消失点となる基準消失点（Ｏ）を記憶し、前記移動体制御部は、前記特徴点が前記基準消失点から放射状に広がる方向に移動させるべく、前記挙動制御装置を制御するとよい。

この構成によれば、移動体を直進させることができる。

上記態様において、前記移動体制御部は前記基準消失点から放射状に広がる方向に移動する状態から変化したときに前記挙動制御装置を制御するとよい。

この構成によれば、直進状態から変化したときに、移動体を制御することができる。

上記態様において、前記制御装置は、前記特徴点の前記時間変化に基づいて、前記移動体の横方向の移動量を算出する移動量取得部（１５）を備え、前記移動体制御部は前記移動量が零となるように、前記挙動制御装置を制御するとよい。

この構成によれば、横方向の移動量を直進状態に合わせることができる。

上記態様において、前記移動体制御部は、前記特徴点が前記基準消失点から放射状に広がる方向に移動させるべく、前記挙動制御装置を制御した後に、前記移動量が零となるように、前記挙動制御装置を制御するとよい。

この構成によれば、傾きの補正によって移動体の横方向の位置がずれた場合であっても、移動体の横方向の移動量を直進状態に合わせるように修正することができる。

以上の構成によれば、移動体の挙動制御システムにおいて、移動体を安定して直進させることができる。

走行制御システムの機能ブロック図特徴点及びオプティカルフローと、消失点との関係を説明するための説明図車両が進行方向に対して（Ａ）左側に転舵され、舵角が０以外の値になっている間、及び（Ｂ）その後、舵角が０になったときと、（Ｃ）右側に転舵され、舵角が０以外の値になっている間、及び（Ｄ）その後、舵角が０になったときとの特徴点の移動を示す説明図。直進走行制御処理のフローチャートを示す図

以下、図面を参照して、本発明の実施形態について詳細に説明する。

本発明に係る挙動制御システム１は、車両等の移動体に搭載される装置であって、移動体を直線状の走行車線に沿って直進させるように自律走行させる。以下、挙動制御システム１が車両に搭載された場合について記載する。

図１に示すように、挙動制御システム１は、挙動制御装置２、撮像装置３、ＨＭＩ４、及び、制御装置５を備えている。挙動制御システム１の各構成は、ＣＡＮ（ＣｏｎｔｒｏｌｌｅｒＡｒｅａＮｅｔｗｏｒｋ）等の通信手段によって信号伝達可能に互いに接続されている。

挙動制御装置２は、推進装置２Ａ、ブレーキ装置２Ｂ、及びステアリング装置２Ｃ（転舵装置）を含む。推進装置２Ａは車両に駆動力を付与する装置であり、例えば動力源及び変速機を含む。動力源はガソリンエンジンやディーゼルエンジン等の内燃機関及び電動機の少なくとも一方を有する。ブレーキ装置２Ｂは車両に制動力を付与する装置であり、例えばブレーキロータにパッドを押し付けるブレーキキャリパと、ブレーキキャリパを駆動させるための油圧を供給する電動シリンダとを含む。ブレーキ装置２Ｂはワイヤケーブルによって車輪の回転を規制する電動のパーキングブレーキ装置を含んでもよい。

ステアリング装置２Ｃは車輪の舵角を変えるための装置であり、例えば車輪を転舵するラックアンドピニオン機構と、ラックアンドピニオン機構を駆動する電動モータとを有する。推進装置２Ａ、ブレーキ装置２Ｂ、及びステアリング装置２Ｃは、制御装置５によって制御される。

撮像装置３は車両の周辺からの光、電磁波や音波等を捉えて、車両の進行方向前方を像として取得する装置（外界取得装置）である。撮像装置３は車外カメラ３Ａを含み、取得した像を制御装置５に出力する。

車外カメラ３Ａは車両進行方向前方を撮像する装置であり、例えば、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。車外カメラ３Ａはそのカメラ光軸が車両進行方向前方となるように車室内に固定されている。

但し、撮像装置３はソナー、ミリ波レーダやレーザライダであってもよい。ソナー、ミリ波レーダ、及びレーザライダはそれぞれ、超音波、ミリ波、レーザを車両前方に発射し、その反射波を捉えることで、車両の進行方向前方を像として取得する。撮像装置３は、複数のソナー、複数のミリ波レーダ、及び、複数のレーザライダによって構成されていてもよく、それらを組み合わせることによって、車両前方を像として取得するものであってもよい。

ＨＭＩ４は、乗員に対して表示や音声によって各種情報を通知するとともに、乗員から入力操作を受け付ける出入力装置である。ＨＭＩ４は、例えば、液晶や有機ＥＬ等の表示画面を有し、乗員からの画面への入力操作を受け付けるタッチパネル４Ａやスイッチ類を含む。

制御装置５は、ＣＰＵ、不揮発性メモリ（ＲＯＭ）、及び、揮発性メモリ（ＲＡＭ）等を含む電子制御装置（ＥＣＵ）である。制御装置５はＣＰＵでプログラムに沿った演算処理を実行することで、各種の車両制御を実行する。制御装置５は１つのハードウェアとして構成されていてもよく、複数のハードウェアからなるユニットとして構成されていてもよい。また、制御装置５のＬＳＩやＡＳＩＣ、ＦＰＧＡ等のハードウェアがプログラムを実行することによって、制御装置５にはそれぞれ所定の機能を果たす機能部が構成される。

制御装置５は、撮像装置３によって取得された像に基づいて、推進装置２Ａ、ブレーキ装置２Ｂ、及びステアリング装置２Ｃ（挙動制御装置２）を制御することによって、車両（移動体）の挙動を制御する。本実施形態では、制御装置５は、車両の挙動を制御することによって、車両を走行車線の規定の車幅方向位置において走行車線に沿って自律走行させる。そのような制御を行うため、制御装置５は図１に示すように、機能部として、特徴点抽出部１１と、基準消失点記憶部１２と、回転判定部１４と、移動量取得部１５と、車体制御部１６と、行動計画部１７とを含む。

特徴点抽出部１１は、撮像装置３に含まれる車外カメラ３Ａによって取得された画像を、公知の方法によって解析して、画像中の特徴点Ｐを抽出する。特徴点抽出部１１は、画像中の色や明度が他の領域と比べて急激に変化している建造物の像のコーナ部分やスポット点等の弁別し易い点を特徴点Ｐとして抽出するとよい。

図２に示すように、特徴点Ｐの移動はオプティカルフローＦによって表現することができる。オプティカルフローＦは、撮像画像中の特徴点Ｐの所定時間前の位置と現在の位置との差分ベクトルに相当し、いわば特徴点Ｐの速度ベクトルに対応する。

基準消失点記憶部１２（直進状態記憶部）は、車両が車体前方向に直進しているときの消失点Ｑの位置（以下、基準消失点Ｏ）と、そのときの特徴点Ｐの移動態様を記憶している。図２に示すように、車両が車体前方向に向かって直進しているときには、特徴点Ｐは基準消失点Ｏから放射状に広がるように移動する。このとき、特徴点Ｐはそれぞれ基準消失点Ｏと自らを結ぶ直線上を基準消失点Ｏから離れる方向に移動する。以下では、特徴点Ｐの移動態様を特徴点状態と記載する。更に、特徴点Ｐの基準消失点Ｏと自らを結ぶ直線上を基準消失点Ｏから離れる方向に移動する状態を、車両が直進状態にあるときの特徴点状態と記載する。換言すれば、基準消失点記憶部１２は、車両が直進状態にあるときの特徴点状態を記憶している。

車両が直進状態にあるときに左側に転舵が行われると、車体が上下方向を軸線として回転し、車両が直進状態に対して左側に傾く。このとき、図３（Ａ）に示すように、舵角が、０以外の値となっている間（但し、舵角は車両が車体前方に直進しているとき基準（０）とする）は、特徴点Ｐは右方向に流れる。舵角が０になると、図３（Ｂ）に示すように、消失点Ｑが回復する。但し、消失点Ｑは基準消失点Ｏの右側に位置する。消失点Ｑと基準消失点Ｏとの距離は、車両が直進状態にあるときからの車体左方向への移動量（移動距離）に対応する。

車両が直進状態にあるときに右側に転舵が行われると、車体が上下方向を軸線として回転し、車両が直進状態に対して右側に傾く。このとき、図３（Ｃ）に示すように、舵角が０以外と値となっている間は、特徴点Ｐは左方向に流れる。舵角が０になると、図３（Ｄ）に示すように、消失点Ｑが回復する。但し、消失点Ｑは基準消失点Ｏの左側に位置する。消失点Ｑと基準消失点Ｏとの距離は、車両が直進状態にあるときからの車体右方向への移動量（移動距離）に対応する。このように、特徴点Ｐの移動態様が左右方向に流れるときには、特徴点状態は直進状態にあるときの特徴点状態とは異なる。

回転判定部１４は、このような特徴点状態の違いに基づいて、直進状態にあるときに対する傾き（回転）の有無と、その方向を検出する。より具体的には、回転判定部１４は、特徴点Ｐが基準消失点Ｏを含む消失点Ｑから放射状に流れて、その消失点Ｑの位置が一定の位置で安定しているときには、車両が直進状態にあると判定する。回転判定部１４は、特徴点Ｐが左方向に流れるときには、車両が右側に旋回し、車両が直進状態から右側に傾いている（ヨー回転している）と判定する。回転判定部１４は、特徴点Ｐが右方向に流れるときには、車両が左側に旋回し、車両が直進状態から左側に傾いていると判定する。回転判定部１４は、傾きの有無、及び、その方向に加えて、特徴点Ｐの移動に基づいて、回転量を取得してもよい。

移動量取得部１５は、消失点Ｑと基準消失点Ｏとの距離に基づいて、車両が直進状態にあるときからの車両の横方向（左右方向）の移動量（移動距離）を取得する。移動量取得部１５は、消失点Ｑと基準消失点Ｏとの距離が零であるときには、車両の横方向の移動量を零と算出する。

車体制御部１６（移動体制御部）は、回転判定部１４によって取得された車両の傾き、及び、移動量取得部１５によって取得された横方向の移動量に基づいて、推進装置２Ａ、ブレーキ装置２Ｂ、及びステアリング装置２Ｃを制御する。これにより、車体制御部１６（移動体制御部）は、車両（移動体）の挙動を変更する。

行動計画部１７は、ＨＭＩ４への入力があると、車両を自律走行させるための処理を行う。より具体的には、直線状の走行車線を直進走行する車両を継続して直進走行させるべく、乗員がＨＭＩ４に所定の入力を行うと、基準消失点記憶部１２は、消失点Ｑの位置を基準消失点Ｏとして記憶し、その後、行動計画部１７は、直進走行制御処理を行う。以下では、直進走行制御処理の詳細について、図５を参照して説明する。

直進走行制御処理の最初のステップＳＴ１において、行動計画部１７は回転判定部１４に車両の傾きを取得させ、車両が直進しているかを判定させる。特徴点Ｐが基準消失点Ｏを含む消失点Ｑから放射状に流れるため、車両が直進していると回転判定部１４が判定したときには、行動計画部１７はステップＳＴ２を実行する。それ以外の場合、すなわち、特徴点Ｐは右方向又は左方向に流れているため、車両が右方向又は左方向に旋回していると回転判定部１４が判定したときには、行動計画部１７はステップＳＴ３を実行する。

ステップＳＴ２において、行動計画部１７は移動量取得部１５に消失点Ｑと基準消失点Ｏとの距離に基づいて、車両が直進状態にあるとき、すなわち、直進走行制御処理開始時からの車体の横方向の移動量を取得させる。消失点Ｑと基準消失点Ｏとの距離が零であり、車体の横方向の移動量が零であるときには、行動計画部１７はステップＳＴ５を、それ以外の場合には、ステップＳＴ４を実行する。

ステップＳＴ３において、行動計画部１７は、車両の傾きが零となるように、車体制御部１６に、ステアリング装置２Ｃ、推進装置２Ａ、及びブレーキ装置２Ｂを制御させる。より具体的には、特徴点Ｐが消失点Ｑから放射状に広がるように移動し、且つ、消失点Ｑの位置が一定の位置で安定するように、行動計画部１７は、車体制御部１６に、ステアリング装置２Ｃ、推進装置２Ａ、及びブレーキ装置２Ｂを制御させる。特徴点Ｐが消失点Ｑから放射状に広がる状態となり、車両が車体前方向に直進する状態になると、行動計画部１７はステップＳＴ５を実行する。

ステップＳＴ４において、行動計画部１７は車体制御部１６に、移動量取得部１５によって取得された車両が直進状態にあるときからの横方向の移動量が零となるように、ステアリング装置２Ｃ、推進装置２Ａ、及びブレーキ装置２Ｂを制御させる。横方向の移動量が零となると、行動計画部１７は、ステップＳＴ５を実行する。

ステップＳＴ５において、行動計画部１７は、直進走行制御処理を継続すべきか否かを判定する。行動計画部１７は例えば、ＨＭＩ４において乗員から直進走行制御を停止する旨の入力があった場合には、直進走行制御処理を継続すべきでないと判定する。行動計画部１７は、直進走行制御処理を継続すべきでないと判定したときには直進走行制御処理を終え、それ以外の場合には、ステップＳＴ１を実行する。

次に、このように構成した挙動制御システム１の動作、及び効果について説明する。車両が旋回し直進している状態から変化すると、特徴点Ｐが基準消失点Ｏから放射状に広がる状態から変化し、車両が直進状態から変化して傾きが生じたことが回転判定部１４によって検出される（ＳＴ１：Ｎｏ）。よって、走行車線の境界が認識できるか否かに拠らず、特徴点Ｐの状態に応じて車両が直進状態から変化したときに、車両の制御を開始することができる。

車両が直進状態から変化して傾きが生じた場合（ＳＴ１：Ｎｏ）には、特徴点Ｐが消失点Ｑから放射状に広がるように移動し、且つ、消失点Ｑの位置が一定の位置となるように車両が制御される（ＳＴ３）。これにより、車両が直進状態となる。すなわち、特徴点Ｐの時間変化に基づいて車両の制御が行われるため、走行車線の境界が認識できるか否かに拠らず、車両を直進状態となるように制御できる。よって、走行車線の境界が認識できず、走行車線の境界に基づいて直進することが難しい場合であっても、車両を安定して直進走行させることができる。

車両が直進し（ＳＴ１：Ｙｅｓ）、且つ、消失点Ｑと基準消失点Ｏとの距離が零でない場合（ＳＴ２：Ｎｏ）には、車両が直進状態にあるときからの横方向の移動量が零となるように、車両が制御される（ＳＴ４）。このように、消失点Ｑと基準消失点Ｏとの距離に基づいて車両の制御が行われるため、走行車線の境界が認識できるか否かに拠らず、横方向の移動量を直進状態（直進走行制御処理開始時）に合わせるように車両を制御することができる。

図４に示すように、車両の傾きが補正されて直進状態となった後（ＳＴ３）に、直進走行制御処理が継続されているとき場合には（ＳＴ５：Ｙｅｓ）、車両の横方向の移動量が零となるように、車両の制御が行われる（ＳＴ４）。よって、車両の傾きの補正によって車両の横方向の位置がずれた場合であっても、車両の横方向の移動量を直進状態にあるときに合わせるように修正することができる。

以上で具体的実施形態の説明を終えるが、本発明は上記実施形態に限定されることなく幅広く変形実施することができる。挙動制御システム１は、車体のヨーレートを取得するヨーレートセンサ５１や横加速度を取得する横加速度センサ５２を有し、回転判定部１４が特徴点Ｐの時間変化に基づいてヨーレートや横加速度を取得し、取得したヨーレートや横加速度と、ヨーレートセンサ５１が取得したヨーレートや、横加速度センサ５２によって取得した横加速度とを融合（データフュージョン）し、融合されたヨーレートや横速度に基づいて、車両制御部が車両制御を行うように構成されていてもよい。また、挙動制御システム１は、回転判定部１４が特徴点Ｐの時間変化に基づいて取得したヨーレートや横加速度によって、ヨーレートセンサ５１が取得したヨーレートや横加速度を補正するための補正量を算出し、補正量によって補正したヨーレートや横加速度に基づいて車両制御を行うように構成されていてもよい。

操舵が小さく、車両が少しずつ斜めに移動しているときには、傾き（回転）による特徴点Ｐの移動が小さく、消失点Ｑの算出が可能となる場合がある。そのときには、傾きの挙動補正と横移動量補正とを両方同時に行ってもよい。

上記実施形態では、ステップＳＴ３及びステップＳＴ４において、ステアリング装置２Ｃ、推進装置２Ａ、及びブレーキ装置２Ｂが制御されていたが、この態様には限定されない。例えば、ステアリング装置２Ｃのみが制御されていてもよい。

上記実施形態では、挙動制御システム１を移動体としての車両に適用した例について説明したが、この態様には限定されない。挙動制御システム１が適用される移動体は、例えば船舶や、飛行機、ドローン等の、前後及び左右に移動できるものであれば、いかなるものであってもよい。

１：挙動制御システム
２：挙動制御装置
３：撮像装置
５：制御装置
１１：特徴点抽出部
１２：基準消失点記憶部（直進状態記憶部）
１４：回転判定部
１５：移動量取得部
１６：車体制御部（移動体制御部）
１７：行動計画部
Ｏ：基準消失点
Ｐ：特徴点

Claims

移動体の挙動を変更する挙動制御装置を備えた挙動制御システムであって、
前記移動体の前方の画像を取得する撮像装置と、
前記撮像装置によって取得された前記画像に基づいて、前記移動体の挙動を制御する制御装置とを有し、
前記制御装置は、
前記撮像装置によって取得された前記画像から特徴点を抽出する特徴点抽出部と、
前記特徴点の時間変化に基づき、直進状態にあるときの特徴点状態を記憶する直進状態記憶部と、
前記特徴点の前記時間変化に基づき、前記特徴点状態が前記直進状態にあるときから変化した場合に、前記挙動制御装置を制御する移動体制御部とを有することを特徴とする挙動制御システム。
前記直進状態記憶部は、前記移動体が前記直進状態にあるときに、前記画像上の消失点となる基準消失点を記憶し、
前記移動体制御部は、前記特徴点が前記基準消失点から放射状に広がる方向に移動させるべく、前記挙動制御装置を制御することを特徴とする請求項１に記載の挙動制御システム。
前記移動体制御部は前記基準消失点から放射状に広がる方向に移動する状態から変化したときに前記挙動制御装置を制御することを特徴とする請求項２に記載の挙動制御システム。
前記制御装置は、前記特徴点の前記時間変化に基づいて、前記移動体の横方向の移動量を算出する移動量取得部を備え、
前記移動体制御部は前記移動量が零となるように、前記挙動制御装置を制御することを特徴とする請求項２又は請求項３に記載の挙動制御システム。
前記移動体制御部は、前記特徴点が前記基準消失点から放射状に広がる方向に移動させるべく、前記挙動制御装置を制御した後に、前記移動量が零となるように、前記挙動制御装置を制御することを特徴とする請求項４に記載の挙動制御システム。