JP2020066400A - 操舵装置及び操舵システム - Google Patents

Abstract

【課題】様々な状況に対して適切にアシストトルク又は操舵反力を決定することができる操舵装置等を提供する。【解決手段】操舵機構１０の動作に応じて、操舵機構１０にアシスト力を付与する、又は、操舵機構１０に操舵反力を与える動力源と、動力源を制御する制御装置３５と、を備え、制御装置３５は、操舵角、操舵角速度、操舵角加速度、操舵トルク、転舵角、転舵トルク、転舵アクチュエータの電流、車速、アクセル開度、ブレーキ、ヨーレート、横加速度、気温、ワイパー、及びヘッドライトの情報の内の少なくとも１つの情報を取得する取得部３５１と、少なくとも１つの情報をニューラルネットワークへ入力して動力源の制御量を決定する決定部３５３と、を備える。【選択図】図１

Description

本発明は、操舵装置及び操舵システムに関する。

電動パワーステアリング（ＥＰＳ）では、例えば操舵トルク及び車速等に基づいてアシストトルクが決定される。例えば、操舵トルクとアシストトルクとの関係を示すアシスト特性を用いてアシストトルクが決定される。

また、操舵機構と転舵機構とが機械的に分離されたステアバイワイヤ（ＳＢＷ）では、例えば操舵角及び車速等に基づいて操舵反力が決定される。例えば、操舵角及び車速等と操舵反力との関係を示す関数又はマップで定義された反力特性を用いて操舵反力が決定される。

特許文献１及び２では、ファジィ推論を用いることで、適切なアシストトルクを決定している。

特開２０１５−３１６００号公報 特開２０１７−２０１２８８号公報

しかしながら、上記従来技術だけでは、様々な状況に対して適切にアシストトルク又は操舵反力を決定することが難しい。

そこで、本発明は、様々な状況に対して適切にアシストトルク又は操舵反力を決定することができる操舵装置等を提供する。

本発明の一態様に係る操舵装置は、操舵機構の動作に応じて、前記操舵機構にアシスト力を付与する、又は、前記操舵機構に操舵反力を与える動力源と、前記動力源を制御する制御装置と、を備え、前記制御装置は、操舵角、操舵角速度、操舵角加速度、操舵トルク、転舵角、転舵トルク、転舵アクチュエータの電流、車速、アクセル開度、ブレーキ、ヨーレート、横加速度、気温、ワイパー、及びヘッドライトの情報の内の少なくとも１つの情報を取得する取得部と、前記少なくとも１つの情報をニューラルネットワークへ入力して前記動力源の制御量を決定する決定部と、を備える。

本発明の一態様に係る操舵装置は、様々な状況に対して適切にアシストトルク又は操舵反力を決定することができる。

実施の形態１に係る操舵装置の概略図 実施の形態１に係る制御装置の機能ブロック図 実施の形態１におけるニューラルネットワークの概念図 実施の形態１に係る制御装置の動作を示すフローチャート 実施の形態２に係る操舵システムの機能ブロック図

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、並びに、構成要素の配置位置及び接続形態などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。

（実施の形態１）
以下に、実施の形態１に係る操舵装置について説明する。ここでは、操舵装置が電動パワーステアリング装置である場合について説明する。

［操舵装置の構成］
図１は、実施の形態１に係る操舵装置１の概略図である。操舵装置１は、操舵機構１０、転舵機構２０、アシスト機構３０、制御装置３５、１以上のセンサ４０を備える。操舵装置１のアシスト型式は、デュアルピニオンアシスト型である。

操舵機構１０は、コラムシャフト１１、インターミディエイトシャフト１２、及び、ピニオンシャフト１３を有している。コラムシャフト１１の入力側部分は、操舵部材２に接続されている。インターミディエイトシャフト１２の入力側部分は、コラムシャフト１１の出力側部分に接続されている。

ピニオンシャフト１３の入力側部分は、インターミディエイトシャフト１２の出力側部分に接続されている。ピニオンシャフト１３の出力側部分には、ピニオン歯１３Ｄが形成されている。

転舵機構２０は、ラックシャフト２１及びラックハウジング２２を有している。ラックシャフト２１には、第１ラック歯２１Ａ及び第２ラック歯２１Ｂが形成されている。第１ラック歯２１Ａ及びピニオン歯１３Ｄは、互いに噛み合わせられている。第１ラック歯２１Ａ及びピニオン歯１３Ｄは、ラックアンドピニオン機構２３を構成している。

転舵機構２０は、コラムシャフト１１、インターミディエイトシャフト１２、及び、ピニオンシャフト１３の回転によりラックシャフト２１を直線運動させ、タイロッド２４を介して転舵輪３を転舵させる。

アシスト機構３０は、アシストモータ３１、ピニオンシャフト３２、ウォームシャフト３３、ウォームホイール３４、及び、制御装置３５を有している。アシストモータ３１は、操舵機構１０の動作に応じて操舵機構１０にアシスト力を付与する動力源の一例である。ウォームシャフト３３は、アシストモータ３１の出力軸に連結されている。ウォームホイール３４は、ピニオンシャフト３２に外嵌されている。ピニオンシャフト３２には、ピニオン歯３２Ａが形成されている。第２ラック歯２１Ｂ及びピニオン歯３２Ａは、互いに噛み合わせられている。第２ラック歯２１Ｂ及びピニオン歯３２Ａは、ラックアンドピニオン機構２５を構成している。

１以上のセンサ４０の各々は、操舵角、操舵角速度、操舵角加速度、操舵トルク、転舵角、転舵トルク、転舵アクチュエータの電流、車速、アクセル開度、ブレーキ情報、ヨーレート、横加速度、気温、ワイパー、及びヘッドライトの情報の内の少なくとも１つの情報に関する信号を出力する。例えば、１以上のセンサ４０のうちの１つは、操舵トルクを検出するためのトルクセンサであり、ピニオンシャフト１３の捩れ量に応じた信号を制御装置３５に出力する。

制御装置３５は、アシストモータ３１を制御する。つまり、制御装置３５は、ニューラルネットワークを用いてアシストモータ３１の制御量を決定する。アシストモータ３１の制御量とは、アシストモータ３１の出力の大きさに対応する物理量である。具体的には、アシストモータ３１の制御量は、例えば、アシストモータ３１に供給するアシスト電流、及び、アシストモータ３１に生じさせるアシストトルクなどである。

［制御装置の構成］
図２及び図３を参照しながら、制御装置３５の機能構成について説明する。図２は、実施の形態１に係る制御装置３５の機能ブロック図である。

制御装置３５は、取得部３５１と、記憶部３５２と、決定部３５３と、学習部３５４と、を備える。制御装置３５は、専用の電子回路によって実現される。専用の電子回路は、１個のチップ上に集積されてもよいし、複数のチップ上に形成されてもよい。また、制御装置３５は、プロセッサと、ソフトウェアプログラム又はインストラクションが格納されたメモリとによって実現されてもよい。この場合、ソフトウェアプログラム又はインストラクションが実行されたときに、プロセッサは、取得部３５１、決定部３５３及び学習部３５４として機能する。

取得部３５１は、操舵角、操舵角速度、操舵角加速度、操舵トルク、転舵角、転舵トルク、転舵アクチュエータの電流、車速、アクセル開度、ブレーキ情報、ヨーレート、横加速度、気温、ワイパー、及びヘッドライトの情報の内の少なくとも１つの情報を取得する。具体的には、取得部３５１は、１以上のセンサ４０の出力信号に基づいて情報を経時的に取得する。例えば、取得部３５１は、１ｍｓ間隔で情報を取得する。

記憶部３５２は、取得部３５１によって経時的に取得された情報を格納する。

決定部３５３は、少なくとも１つの情報をニューラルネットワークへの入力として用いてアシストモータ３１の制御量を決定する。ここでは、ニューラルネットワークは、人工ニューラルネットワークを意味し、アシストモータ３１の制御量を決定するためのシミュレーションモデルである。具体的には、ニューラルネットワークとしては、例えばＤＱＮ（Ｄｅｅｐ Ｑ−Ｎｅｔｗｏｒｋ）又はＤＤＱＮ（Ｄｏｕｂｌｅ ＤＱＮ）を用いることができる。

図３は、実施の形態１におけるニューラルネットワークの概念図である。図３では、入力データが入力ノードに入力され、出力ノードからＱ値が出力される。出力ノードには、アクチュエータ目標電流値の変化量△Ｉが対応付けられている。なお、ここでは、図示及び説明を簡略化するために２層のニューラルネットワークについて説明したが、本実施の形態におけるニューラルネットワークの階層数は、これに限定されない。また、出力ノードの数も３つに限定されない。

学習部３５４は、操舵角あるいは操舵トルクの周波数特性における第１所定周波数以上の高周波成分量に基づいて報酬を算出し、算出された報酬を用いてニューラルネットワークの強化学習を行う。第１所定周波数は、経験的あるいは実験的に予め定められればよい。例えば、第１所定周波数としては、安定的な操舵において発生することが予想される周波数成分の上限周波数を用いることができる。人間の通常の操舵では１Ｈｚ以下の周波数成分が想定されるので、第１所定周波数としては、１Ｈｚより大きい周波数（例えば５０Ｈｚ等）を用いることができる。

学習部３５４は、高周波成分量が第１の量である場合に当該第１の量に対応する第１の報酬を算出する。また、学習部３５４は、高周波成分量が第１の量よりも大きい第２の量である場合に、当該第２の量に対応する第２の報酬であって第１の報酬よりも低い第２の報酬を算出する。例えば、報酬は、高周波成分量が増加するほど減少する。なお、報酬は、高周波成分量が増加したときに増加しなければよく、必ずしも減少しなくてもよい。

また、高周波成分量にノイズの混入が想定される場合には、人間の操舵では発生しえない高周波成分量を報酬の算出から除外してもよい。例えば、学習部３５４は、高周波成分量として、操舵角あるいは操舵トルクの周波数特性における第１所定周波数以上第２所定周波数未満の特定周波数帯域の成分量を用いてもよい。第２所定周波数は、経験的あるいは実験的に予め定められればよい。例えば、第２所定周波数としては、人間の操舵において発生し得る周波数成分の上限周波数を用いることができる。具体的には、第２周波数としては、例えば１０Ｈｚを用いることできる。

［操舵装置の処理］
次に、以上のように構成された制御装置３５の処理について図４を参照しながら説明する。図４は、実施の形態１に係る制御装置３５の処理を示すフローチャートである。

以下の説明及び図４で使用する記号の定義は以下のとおりである。
ｔ：制御周期を単位とする制御上の時刻を表すパラメータ
Ｒｔ：ｔの時刻の報酬
Ｓｔ：ｔの時刻の状態変数（舵角、操舵トルクなど）
Ｑｍ：メインＱニューラルネットワークの出力値（注：周波数解析用のサンプルの数のｍとは無関係）
Ｑｔ：ターゲットＱニューラルネットワークの出力値
ｆ１：パーシャルオーバーオール（ＰＯＡ）の下限周波数
ｆ２：ＰＯＡの上限周波数
ａ：選択したアクション（例えば、Ｑｍ（Ｓｔ，ａｔ）は、ｔの時刻の状態Ｓｔで幾つかあるＱｍ値のうち、ａというアクションを選択したときのＱｍ値を表す。）

制御装置３５は、まずカウンタｉを０に初期化する（Ｓ１０２）。

取得部３５１は、状態Ｓｔを観測する（Ｓ１０４）。つまり、取得部３５１は、操舵角、操舵角速度、操舵角加速度、操舵トルク、転舵角、転舵トルク、転舵アクチュエータの電流、車速、アクセル開度、ブレーキ情報、ヨーレート、横加速度、気温、ワイパー、及びヘッドライトの情報の内の少なくとも１つの情報を取得する。

決定部３５３は、メインＱネットワークＱｍと状態Ｓｔとを用いてアクチュエータ目標電流の変化量△Ｉｔを算出する（Ｓ１０６）。具体的には、決定部３５３は、ＳｔをＱｍに入力して算出されるＱ値に基づいて目標電流の変化量△Ｉｔを決定する。例えば、決定部３５３は、最も大きいＱ値の出力に対応する目標電流変化量を△Ｉｔと決定する。

制御装置３５は、アクチュエータ目標電流にＩ＝Ｉ＋△Ｉを入力する（Ｓ１０８）。つまり、制御装置３５は、アクチュエータ目標電流を前の目標電流に変化量△Ｉだけ加算した電流を現在の目標電流に設定することでアシストモータ３１を制御する。

その後、取得部３５１は、状態Ｓｔ＋１を観測する（Ｓ１１０）。つまり、取得部３５１は、アシストモータ３１の制御後に状態を観測する。具体的には、取得部３５１は、操舵角、操舵角速度、操舵角加速度、操舵トルク、転舵角、転舵トルク、転舵アクチュエータの電流、車速、アクセル開度、ブレーキ情報、ヨーレート、横加速度、気温、ワイパー、及びヘッドライトの情報の内の少なくとも１つの情報を取得する。

学習部３５４は、操舵角θ（ｔ〜ｔ−（ｍ−１））を周波数解析し、高周波数帯域ｆ１〜ｆ２Ｈｚにおけるパーシャルオーバーオール（ＰＯＡ）値を計算する（Ｓ１１２）。ここで、ｍは周波数解析用のサンプル数を表す。ｆ１は、第１所定周波数の一例であり、ＰＯＡの下限周波数を表す。ｆ２は、第２所定周波数の一例であり、ＰＯＡの上限周波数を表す。

学習部３５４は、ＰＯＡ値の大中小を判定する（Ｓ１１４）。例えば、学習部３５４は、ＰＯＡ値が第１閾値未満である場合にＰＯＡ値を小と判定し、ＰＯＡ値が第１閾値以上第２閾値未満である場合にＰＯＡ値を中と判定し、ＰＯＡ値が第２閾値以上である場合にＰＯＡ値を大と判定する。

ここで、ＰＯＡ値が小の場合（Ｓ１１４のＳ）、学習部３５４は、報酬Ｒｔ＋１を「１」と決定する（Ｓ１１６）。ＰＯＡ値が中の場合（Ｓ１１４のＭ）、学習部３５４は、報酬Ｒｔ＋１を「０」と決定する（Ｓ１１８）。ＰＯＡ値が大の場合（Ｓ１１４のＬ）、学習部３５４は、報酬Ｒｔ＋１を「−１」と決定する（Ｓ１２０）。

学習部３５４は、Ｓｔ、△Ｉｔ、Ｓｔ＋１、及びＲｔ＋１をリングバッファ（記憶部３５２）に記録する（Ｓ１２２）。学習部３５４は、ｉ％ｎが０であるか否かを判定する（Ｓ１２４）。ここで、％は、剰余を与える演算子であり、ｍｏｄと記載されることもある。つまり、学習部３５４は、ｉがｎで割り切れるか否かを判定する。ここで、ｎは、Ｑｍを更新する周期を表す。

ここで、ｉ％ｎが０である場合（Ｓ１２４のＹ）、学習部３５４は、ｔ〜ｔ−（ｍ−１）に対する損失関数Ｒ＋γＱｔ（Ｓｔ＋１，ａｍ）−Ｑｍ（Ｓｔ，ａｔ）をＨｕｂｅｒ関数で最小化する（Ｓ１２６）。ここで、ａｍは、Ｑｍ（Ｓｔ＋１，ａ）が最大となるａ値である。また、γは、割引率であり、０以上１以下の定数である。そして、学習部３５４は、Ｑｍを更新する（Ｓ１２８）。ステップＳ１２６及びステップＳ１２８により、Ｑｍの強化学習が行われる。一方、ｉ％ｎが０でない場合（Ｓ１２４のＮ）、ステップＳ１２６及びステップＳ１２８がスキップされる。

次に、学習部３５４は、ｉをインクリメントし、インクリメントされたｉがｉｍａｘ以上であるか否かを判定する（Ｓ１３０）。ｉｍａｘは、ターゲットＱネットワークＱｔを更新する周期を表す。

ここで、インクリメントされたｉがｉｍａｘ以上である場合（Ｓ１３０のＹ）、学習部３５４は、ＱｔをＱｍで置き換える（Ｓ１３２）。さらに、学習部３５４は、ｉを０に初期化して（Ｓ１３４）、ステップＳ１０６に戻る。

一方、インクリメントされたｉがｉｍａｘ未満である場合（Ｓ１３０のＮ）、ステップＳ１３２及びステップＳ１３４がスキップされ、ステップＳ１０６に戻る。

なお、周波数解析におけるサンプル数を考慮して、状態Ｓｔ＋１には、可能な限り、過去ｍ回のデータが含まれることが好ましい。

［効果等］
以上のように、本実施の形態に係る操舵装置１によれば、少なくとも１つの情報をニューラルネットワークへ入力してアシストモータ３１の制御量を決定することができる。したがって、機械学習により様々な状況に対して適切にアシストトルクを決定することができる。その結果、過剰アシストによる過剰な操舵及び／又はアシスト不足による操舵不足が抑制され、快適性の向上のみならず、走行時のライン取りの精度向上による安全性向上にも貢献することができる。

また、本実施の形態に係る操舵装置１によれば、操舵角あるいは操舵トルクの周波数特性における第１所定周波数以上の高周波成分量に基づく報酬を用いて、ニューラルネットワークの強化学習を行うことができる。操舵アシストの根本的な目的は、必要な旋回を無駄なく、無理なく実現することである。つまり、ヨーレートの変化の過程も含めて、極力微調整なく旋回が得られる状態を提供することである。微調整は、アシストの過不足に起因して発生し、操舵角あるいは操舵トルクの高周波成分として現れる。したがって、高周波成分量に基づく報酬を用いて強化学習を行うことで、ニューラルネットワークの学習効果を向上させることができる。さらに、実際に操舵者が操舵装置を操舵して得られた情報を用いて学習することができるので、操舵者及び操舵装置の組み合わせに適した操舵アシストを実現することができる。

特に、本実施の形態に係る操舵装置１によれば、高周波成分量が第１の量である場合に、第１の量に対応する第１の報酬を用いて強化学習を行い、高周波成分量が第１の量よりも大きい第２の量である場合に、第２の量に対応する第２の報酬であって第１の報酬よりも低い第２の報酬を用いて強化学習を行うことができる。したがって、高周波成分量が小さい場合に高い報酬を与えることができ、滑らかな操舵を実現するための強化学習が可能となる。

また、本実施の形態に係る操舵装置１によれば、第１所定周波数以上第２所定周波数未満の特定周波数帯域の成分量を高周波成分量として用いることができる。これにより、ノイズ等による高周波成分をカットすることができ、ノイズ等の影響を報酬から低減することができる。

（実施の形態２）
次に、実施の形態２について説明する。本実施の形態では、サーバ装置で強化学習が行われる点が上記実施の形態１と主として異なる。以下に、実施の形態１と異なる点を中心に本実施の形態について説明する。

［操舵システムの構成］
図５は、実施の形態２に係る操舵システム１００の機能ブロック図である。操舵システム１００は、操舵装置１Ａと、サーバ装置２００とを備える。

操舵装置１Ａは、操舵機構１０、転舵機構２０、アシスト機構３０、制御装置３５Ａ、１以上のセンサ４０を備える。

制御装置３５Ａは、学習部３５４の代わりに通信部３５５を備える。通信部３５５は、記憶部３５２に格納された操舵角、操舵角速度、操舵角加速度、操舵トルク、転舵角、転舵トルク、転舵アクチュエータの電流、車速、アクセル開度、ブレーキ情報、ヨーレート、横加速度、気温、ワイパー、及びヘッドライトの情報の内の少なくとも１つの情報を通信ネットワーク等を介してサーバ装置２００に送信する。さらに、通信部３５５は、通信ネットワーク等を介して、サーバ装置２００から学習結果を受信する。学習結果とは、強化学習によって更新されたニューラルネットワークのパラメータである。

サーバ装置２００は、通信部２０１と、記憶部２０２と、学習部２０３と、を備える。

通信部２０１は、操舵装置１Ａの制御装置３５Ａから情報を受信する。さらに、通信部２０１は、学習部２０３による学習結果を操舵装置１Ａの制御装置３５Ａへ送信する。

記憶部２０２は、通信部２０１が受信した情報を格納する。

学習部２０３は、記憶部２０２に格納された情報に基づいて、実施の形態１の学習部３５４と同様に、ニューラルネットワークの強化学習を行う。

［操舵システムの処理］
次に、操舵システム１００の処理について説明する。本実施の形態に係る操舵システム１００の処理は、基本的に図４と同様であるので、図示を省略し、説明を簡略化する。なお、本実施の形態では、実施の形態１に係る操舵装置１の制御装置３５の学習部３５４で行われていた処理が、サーバ装置２００の学習部２０３で行われる。つまり、本実施の形態では、強化学習がサーバ装置で行われる点が、実施の形態１と異なる。

具体的には、本実施の形態に係る操舵装置１Ａは、ステップＳ１０２〜ステップＳ１２２までを実行する。その後、ステップＳ１０６に戻る。また、所定のタイミングで記憶部３５２に格納された情報をサーバ装置２００に送信する。所定のタイミングは、例えば、車両の点火装置がオフされたタイミング、又は、一定周期等に基づいて決定されればよく、特に限定されない。

サーバ装置２００は、受信した情報に基づいて、ステップＳ１２４〜ステップＳ１３４を実行し、更新されたＱｍを操舵装置１Ａに送信する。操舵装置１Ａは、更新されたＱｍを受信した場合は、更新されたＱｍを用いて△Ｉｔを算出する。

［効果等］
以上のように、本実施の形態に係る操舵システム１００によれば、サーバ装置２００において強化学習を行うことができ、操舵装置１Ａの処理負荷を低減することができる。

なお、本実施の形態において、周波数解析及び報酬の判定は、操舵装置１Ａで行われていたが、これに限定されない。例えば、周波数解析及び報酬の判定は、サーバ装置２００で行われてもよい。

（他の実施の形態）
以上、本発明の１つ又は複数の態様に係る操舵装置及び操舵システムについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の１つ又は複数の態様の範囲内に含まれてもよい。

例えば、上記各実施の形態において、操舵装置は、ピニオンアシスト型の電動パワーステアリングであったが、これに限定されない。例えば、操舵装置は、コラムアシスト型又はラックアシスト型の電動パワーステアリングであってもよい。また、操舵装置は、ステアバイワイヤであってもよい。この場合、操舵装置において、操舵機構と転舵機構とは機械的に分離され、反力モータを備える。そして、制御装置は、ニューラルネットワークを用いて反力モータを制御する。

なお、上記各実施の形態において、報酬として、「１」、「０」及び「−１」の３段階の値が用いられたが、これに限定されない。報酬として、２段階又は４段階以上の値が用いられてもよい。また、報酬として、連続的な値が用いられてもよい。この場合、報酬値は、例えば、高周波成分のＰＯＡ値に反比例してもよい。

なお、上記各実施の形態において、高周波成分量として、ＰＯＡ値が用いられていたが、これに限定されない。例えば、第１所定周波数以上第２所定周波数未満の特定周波数帯域に含まれる低周波区間のＰＯＡ値と高周波区間のＰＯＡ値との比率が用いられてもよい。これにより、これによれば、周波数成分の絶対量ではなく相対量を用いて報酬を設定することができる。これによれば、例えば小刻みなハンドル操作が多い操舵者であっても、適切に報酬を設定することができ、より操舵者に適したアシストが可能となる。

また、ＰＯＡ値は重み付けされてもよい。例えば、周波数区間ごとに重み係数を用いてＰＯＡ値を重み付けしてもよい。具体的には、第１周波数区間の第１ＰＯＡ値を第１重み係数を用いて重み付けし、第１周波数区間よりも高い第２周波数区間の第２ＰＯＡ値を第１重み係数よりも大きい第２重み係数を用いて重み付けしてもよい。これにより、より高い周波数成分の報酬への影響を増加させることができ、より不安定な操舵ほど報酬を減らすことができる。

なお、上記各実施の形態では、ニューラルネットワークの強化学習として、ＤＱＮアルゴリズムが用いられていたが、これに限られない。例えば、ＳＡＲＳＡ（Ｓｔａｔｅ−Ａｃｔｉｏｎ−Ｒｅｗａｒｄ−Ｓｔａｔｅ−Ａｃｔｉｏｎ）学習、ＴＤ（Ｔｅｍｐｏｒａｌ Ｄｉｆｆｅｒｅｎｃｅ）学習、ＧＯＲＩＬＡ（Ｇｅｎｅｒａｌ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ Ａｒｃｈｉｔｅｃｔｕｒｅ）、Ａ３Ｃ（Ａｓｙｎｃｈｒｏｎｏｕｓ Ａｄｖａｎｔａｇｅ Ａｃｔｏｒ−Ｃｒｉｔｉｃ）、及びＡ２Ｃなどが用いられてもよい。

なお、上記実施の形態１では、アシストモータの制御とニューラルネットワークの強化学習とが連続的に行われていたが、これに限定されない。例えば、強化学習は、オフライン学習であってもよい。具体的には、強化学習は、例えば車両の点火装置がオフの時に行われてもよい。これにより、強化学習と運転時の他の制御との負荷の競合を回避することができる。

なお、上記各実施の形態では、１つの車両に関する情報に基づいて、ニューラルネットワークの強化学習が行われていたが、これに限定されない。例えば、サーバ装置の学習部は、対象車両の操舵装置から受信した情報に加えて、他の車両の操舵装置から受信した情報を用いて、ニューラルネットワークの強化学習を行ってもよい。これにより、より学習効率を向上させることができる。例えば、同一地域を走行する車両から受信した情報を用いることで、地域に適したアシストを実現することができる。

なお、上記各実施の形態では、最も高いＱ値を有する出力ノードに対応する制御量が利用されていたが、これに限られない。例えば、ε−ｇｒｅｅｄｙ法を用いて出力ノードに対応する制御量が利用されてもよい。これにより、さらに学習効果を高めることができる。

本発明は、電動パワーステアリングにおけるアシストモータの制御又はステアバイワイヤにおける反力モータの制御に利用することができる。

１、１Ａ…操舵装置、２…操舵部材、３…転舵輪、１０…操舵機構、１１…コラムシャフト、１２…インターミディエイトシャフト、１３、３２…ピニオンシャフト、１３Ｄ、３２Ａ…ピニオン歯、２０…転舵機構、２１…ラックシャフト、２１Ａ…第１ラック歯、２１Ｂ…第２ラック歯、２２…ラックハウジング、２３、２５…ラックアンドピニオン機構、２４…タイロッド、３０…アシスト機構、３１…アシストモータ、３３…ウォームシャフト、３４…ウォームホイール、３５、３５Ａ…制御装置、４０…１以上のセンサ、１００…操舵システム、２００…サーバ装置、２０１、３５５…通信部、２０２、３５２…記憶部、２０３、３５４…学習部、３５１…取得部、３５３…決定部

Claims (10)

1. 操舵機構の動作に応じて、前記操舵機構にアシスト力を付与する、又は、前記操舵機構に操舵反力を与える動力源と、
   前記動力源を制御する制御装置と、を備え、
   前記制御装置は、
   操舵角、操舵角速度、操舵角加速度、操舵トルク、転舵角、転舵トルク、転舵アクチュエータの電流、車速、アクセル開度、ブレーキ、ヨーレート、横加速度、気温、ワイパー、及びヘッドライトの情報の内の少なくとも１つの情報を取得する取得部と、
   前記少なくとも１つの情報をニューラルネットワークへ入力して前記動力源の制御量を決定する決定部と、を備える、
   操舵装置。
2. 前記制御装置は、さらに、
   操舵角あるいは操舵トルクの周波数特性における第１所定周波数以上の高周波成分量に基づく報酬を用いて、前記ニューラルネットワークの強化学習を行う学習部を備える、
   請求項１に記載の操舵装置。
3. 前記学習部は、
   前記高周波成分量が第１の量である場合に、第１の量に対応する第１の報酬を用いて前記強化学習を行い、
   前記高周波成分量が前記第１の量よりも大きい第２の量である場合に、前記第２の量に対応する第２の報酬であって前記第１の報酬よりも低い第２の報酬を用いて前記強化学習を行う、
   請求項２に記載の操舵装置。
4. 前記学習部は、前記高周波成分量として、操舵角あるいは操舵トルクの周波数特性における前記第１所定周波数以上第２所定周波数未満の特定周波数帯域の成分量を用いる、
   請求項２又は３に記載の操舵装置。
5. 前記学習部は、前記特定周波数帯域を細分化した周波数区間ごとに、重み係数を用いてパーシャルオーバーオール値を重み付けすることにより、前記特定周波数帯域の成分量を算出する、
   請求項４に記載の操舵装置。
6. 前記学習部は、前記特定周波数帯域に含まれる低周波区間のパーシャルオーバーオール値と、前記特定周波数帯域に含まれる高周波区間のパーシャルオーバーオール値との比率を、前記特定周波数帯域の成分量として用いる、
   請求項４に記載の操舵装置。
7. 前記学習部は、ＤＱＮアルゴリズムを用いて前記強化学習を行う、
   請求項２〜６のいずれか１項に記載の操舵装置。
8. 前記学習部は、前記操舵装置が搭載される車両の点火装置がオフの時に、前記強化学習を行う、
   請求項２〜７のいずれか１項に記載の操舵装置。
9. 請求項１に記載の操舵装置と、
   前記操舵装置と通信可能なサーバ装置と、を備え、
   前記操舵装置は、さらに、前記少なくとも１つの情報を前記サーバ装置に送信する通信部と、を備え、
   前記サーバ装置は、
   操舵角あるいは操舵トルクの周波数特性における第１所定周波数以上の高周波成分量に基づく報酬を用いて、前記ニューラルネットワークの強化学習を行う学習部と、
   前記少なくとも１つの情報を前記操舵装置から受信し、前記強化学習の結果を前記操舵装置に送信する通信部と、を備える、
   操舵システム。
10. 前記学習部は、前記操舵装置から受信した前記少なくとも１つの情報に加えて、他の操舵装置から受信した前記少なくとも１つの情報を用いて、前記ニューラルネットワークの強化学習を行う、
    請求項９に記載の操舵システム。

Images