JP2014127100A - 音像定位装置、及び、プログラム - Google Patents

音像定位装置、及び、プログラム Download PDF

Info

Publication number
JP2014127100A
JP2014127100A JP2012284624A JP2012284624A JP2014127100A JP 2014127100 A JP2014127100 A JP 2014127100A JP 2012284624 A JP2012284624 A JP 2012284624A JP 2012284624 A JP2012284624 A JP 2012284624A JP 2014127100 A JP2014127100 A JP 2014127100A
Authority
JP
Japan
Prior art keywords
sound image
predicted
image localization
gazing point
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012284624A
Other languages
English (en)
Inventor
Teppei Miyake
哲平 三宅
Hiroshi Ino
寛 伊能
Seiji Totsuka
誠司 戸塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2012284624A priority Critical patent/JP2014127100A/ja
Publication of JP2014127100A publication Critical patent/JP2014127100A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Stereophonic System (AREA)

Abstract

【課題】 立体音響の技術を用いて運転者の視線を予測注視点に誘導するにあたり、種々の状況に応じた適切な操作誘導を行うことが可能な音像定位装置を提供することにある。
【解決手段】 走行中に運転者が注視する事が推奨される注視点である予測注視点を算出し、当該予測注視点に対応する位置情報を立体音響システムへ出力することにより、オーディオシステムを介して音像を予測注視点に定位させる。取得手段30aは、自車両の走行に関連する情報である走行関連情報を取得し、算出手段30bは、取得手段30aにて取得される走行関連情報に基づき、当該走行関連情報に合わせて運転操作を誘導すべく予測注視点を補正して算出する。そして、誘導手段30cにより、算出手段30bにて算出された予測注視点に対応する位置情報が立体音響システム51へ出力されることにより、音像の定位を利用して運転者の操作が誘導される。
【選択図】 図1

Description

本発明は、車両走行中において適切な運転操作を実現するために運転者の視線を誘導するよう音像を定位させる音像定位装置に関する。
車両の走行に関し、その安全を図る技術が種々提案されている。例えば、走行中に自車両の周辺物体との相対状況を検出し、当該相対状況に応じた態様により警告音を発する装置が提案されている(例えば、特許文献1参照)。
ここには、仮想音源を移動させることにより音像を移動させる技術が開示されており、例えば検出結果に応じた移動速度で音像を移動させることが記載されている。「音像」とは空間的位置などを感覚的にとらえた聴感上の音源であり、「音像を定位させる」とは、音源の聴感上の空間的位置などを一定にすることをいう。そのため、ある位置に音像を定位させた場合、その位置(の方向、距離)に音源があるかのように聞こえる。なお、「定位」には、「位置を一定にする」という意味の他、そのように定めた「位置」の意味も含まれるが、本明細書では、混乱を避けるため、前者を「定位」と記載し、後者をあえて「定位位置」と記載する。
特開2007−328603号公報
ところで、特許文献1に記載された技術は、周辺状況を検出し当該検出結果に応じて音像を生成する。つまり、イベント的な音像定位を行うものである。ところが、さらなる安全運転を考えた場合、そもそも車両の挙動を安定させる工夫が重要となってくる。
そこで出願人は、運転中に運転者の視線を誘導するための装置を提案した。
走行中における運転者の視線は、その視覚運動量が最小となる点の周辺に注がれることが分かっている。したがって、運転者が視線を向ける事が推奨される点(以下「予測注視点」という)を算出し、立体音響の技術を用いて、この予測注視点に音像を定位させる。このようにすれば、運転者の視線を予測注視点に誘導することができ、車両の挙動を安定させることができる。
しかしながら、このような視線誘導の技術も、次の点では改良の余地がある。それは、上述したような予測注視点への音像定位による消極的な操作誘導だけでなく、特定の状況においては、さらなる安全運転を実現するための積極的な操作誘導が望ましいという点である。例えば車両の速度が高くなりがちな状況では、車両の減速を運転者に促すよう音像の定位位置を変更するという具合である。
本発明は、上述した課題を解決するためになされたものであり、その目的は、立体音響の技術を用いて運転者の視線を予測注視点に誘導するにあたり、種々の状況に応じた適切な操作誘導を行うことが可能な音像定位装置を提供することにある。
上記目的を達成するためになされた音像定位装置(3)は、音像を生成するオーディオシステム(52)及び、オーディオシステムに対し音像を定位させるための伝達関数を設定する立体音響システム(51)と共に用いられる。
ここで音像定位装置は、例えばナビゲーション装置として具現化される。このとき、オーディオシステム及び立体音響システムは、通常、ナビゲーション装置の外部に設けられる。ただし、ナビゲーション装置、オーディオシステム、及び、立体音響システムを備えたナビゲーションシステムの発明として実現してもよい。
音像定位装置は、走行中に運転者が注視する事が推奨される予測注視点を算出し、当該予測注視点に対応する位置情報を立体音響システムへ出力することにより、オーディオシステムを介して音像を予測注視点に定位させる。
ここで特に本発明では、取得手段(30a)が、自車両の走行に関連する情報である走行関連情報を取得し、算出手段(30b)が、取得手段にて取得される走行関連情報に基づき、当該走行関連情報に合わせて運転操作を誘導すべく予測注視点を補正して算出する。そして、誘導手段(30c)により、算出手段にて算出された予測注視点に対応する位置情報が立体音響システムへ出力されることにより、音像の定位を利用して運転者の操作が誘導される。
つまり、予測注視点への音像定位による消極的な操作誘導だけでなく、特定の状況においてはさらなる安全運転を実現するための積極的な操作誘導が望ましいという観点から、走行関連情報を取得し、当該走行関連情報に基づいて予測注視点を補正して算出するのである。このようにすれば、立体音響の技術を用いて運転者の視線を予測注視点に誘導するにあたり、種々の状況に応じた適切な操作誘導を行うことができる。
なお、本発明は、音像定位装置の有する各手段に特徴を有するものであり、各手段は通常コンピュータを機能させるプログラムとして実現される。この意味で、各手段を実現するプログラムの発明として実現してもよい。
ナビゲーションシステムの概略構成を示すブロック図である。 音像定位処理を示すフローチャートである。 予測注視点を指令値として算出することを示す説明図である。 係数算出処理を示すフローチャートである。 トンネル処理を具体化して示す説明図である。 ワイパ状態処理を具体化して示す説明図である。 下り坂における道路勾配処理を具体化して示す説明図である。 上り坂における道路勾配処理を具体化して示す説明図である。 特定領域処理を具体化して示す説明図である。 路面状況処理を具体化して示す説明図である。 障害物処理を具体化して示す説明図である。 道路上に仮想的に設定する格子点Lを示す説明図である。 網膜球面モデルを示す説明図である。 予測注視点に対するエフェクトを示す説明図である。 音像定位処理が実行された場合と実行されていない場合とで、同一ドライバが同一コースを走行する際の視線の方向を示す説明図である。 音像定位処理が実行された場合の車両の左右前後方向における加速度の変化を示す説明図である。 音像定位処理が実行されていない場合の車両の左右前後方向における加速度の変化を示す説明図である。
以下、本発明の一実施形態を図面に基づいて説明する。
図1に示すナビゲーションシステム1は、車両に搭載され、ナビゲーション装置3と、ナビゲーション装置3にて制御されるサブシステム5とを備えている。
ナビゲーション装置3は、制御部30を中心に構成されている。制御部30は、いわゆるコンピュータシステムとして構成され、CPU、ROM、RAM、I/O及びこれらを接続するバスラインを有している。
制御部30には、レーダ部31、地磁気センサ32、ジャイロスコープ33、距離センサ34、GPS受信機35、地図データ入力部36、操作スイッチ群37、通信部41、外部メモリ42、及び、表示部43が接続されている。
レーダ部31は、前方の対象物までの距離を測定するための構成である。例えば、車両の前端に取り付けられ、その取り付け位置から車両の前方へ向けてレーザ光を照射するように構成されている。レーダ部31は、予め設定された探査周期毎に、レーザ光を送受信することにより、探査範囲に存在する物標との距離を表す測距データを制御部30に供給する。
地磁気センサ32は、地磁気によって車両の方位を検出する構成である。また、ジャイロスコープ33は、車両に加えられる回転運動の角速度に応じた検出信号を出力する。さらにまた、距離センサ34は、車両の走行距離を出力する。また、GPS受信機35は、GPS(Global Positioning System )用の人工衛星からの送信信号を受信し、車両の位置座標や高度を検出する。かかる構成により、制御部30は、車両の位置、方位などを算出可能となっている。なお、GPS受信機35からの出力信号に基づいて位置を求める方式は、単独測位方式、相対測位方式の何れであってもよい。
また、地図データ入力部36は、制御部30へ地図データを入力するための構成である。地図データは、DVD−ROM36aに記憶されており、地図データ入力部36を介して制御部30へ入力される。もちろん、DVD−ROM36a以外に、HDDやCD−ROMなどを用いてもよい。地図データには、道路データ、描画データ、マップマッチング用データ、経路案内用データなどが含まれる。道路データには、道路を示すリンクの情報が含まれており、各リンクは、その端点(例えばノード)の座標値及びリンク長を有している。
操作スイッチ群37は、ユーザからの各種指示を入力するための構成であり、物理的な押しボタンスイッチなどとして具現化される。あるいは、表示部43と一体に構成されたタッチパネルとして具現化してもよい。
通信部41は、外部との通信を行うための構成である。例えば他車両との車車間通信、路側機との路車間通信、あるいは、センタとのデータ通信などが考えられる。
外部メモリ42は、一時的な記憶を可能とするメモリである。例えば電源オフ時にも記憶内容が消失しないようにフラッシュメモリなどによって構成することが考えられる。また、HDDなどによって構成してもよい。
表示部43は、例えば液晶ディスプレイなどで構成される。この表示部43には、地図データ入力部36を介して入力される地図データに基づく地図及び当該地図上の自車位置が表示される。目的地までのルートが探索された場合には、当該ルートを表示することも可能である。
サブシステム5は、立体音響システム51及びオーディオシステム52を有している。
立体音響システム51は、音像を定位させるために、オーディオシステム52に対し、伝達関数の設定を指示する。具体的には、後述するように、制御部30から出力される位置情報に基づいて、伝達関数の設定を指示する。伝達関数は、周知の音像定位技術に用いられるものであり、詳しくは、仮想音源から聴取者の鼓膜までの音の伝達特性を表す頭部伝達関数(HRTF:Head-Related Transfer Function)である。
オーディオシステム52は、音源53、フィルタ54L,54R、及び、スピーカ55L,55Rを有している。
音源53は、CD音源やラジオ音源として具現化される。なお、ユーザによる録音を音源として利用してもよいし、警報音などを音源として利用してもよい。これら音源53は、ナビゲーション装置3の操作スイッチ群37を介して切り換えることが可能である。
スピーカ55L,55Rは、その一方がユーザの左側からの音出力を行うための左側スピーカ55Lとなっており、他方がユーザの右側からの音出力を行うための右側スピーカ55Rとなっている。
左側スピーカ55Lに対応するのが左側フィルタ54Lであり、右側スピーカ55Rに対応するのが右側フィルタ54Rである。上述したように音像を定位させる場合には、左側フィルタ54L及び右側フィルタ54Rが、伝達関数に基づくフィルタリングを行う。このようにしてフィルタリングされた音源53からの信号が、それぞれ左側スピーカ55L、右側スピーカ55Rへ出力される。
なお、左側スピーカ55L及び右側スピーカ55Rとしたのは2チャンネルであることを示しており、左側スピーカ55L及び右側スピーカ55Rがそれぞれ複数のスピーカによって構成されていてもよい。また、視線誘導を行わない通常時にあっては、ユーザによって設定されたオーディオ環境に基づいて音源53からの信号出力が行われる。このときオーディオシステム52は、フィルタ54L,54Rを介さず信号出力を行う。
オーディオ環境とは、出力信号の周波数特性を変更するイコライザの設定であることが考えられる。また、左右のバランスの設定であることが考えられる。前後方向にスピーカが配置されている場合には、前後のバランスの設定も含まれる。オーディオ環境の設定は、操作スイッチ群37を介して行われ、ナビゲーション装置3の外部メモリ42に記憶される。なお、ユーザによる設定がなされていない場合、デフォルトのオーディオ環境が外部メモリ42に記憶されているものとする。
また、制御部30には、CANなどの車内ネットワークを介してECU群60が接続されている。制御部30は、ECU群60を構成する複数のECUと通信を行うことにより、例えば車輪速度センサにて取得される車速を取得することが可能となる。
次に、図2のフローチャートに基づき、音像定位処理を説明する。この音像定位処理を実行することにより、音像が定位し、運転者の視線を誘導することが可能となる。音像定位処理は、視線誘導モードが「ON」又は「AUTO」となっている場合に、制御部30により所定時間間隔(例えば300ms)で繰り返し実行される。
視線誘導モードとは音像定位処理を実行して運転者の視線誘導を行うか否かを選択指示するためのものであり、視線誘導モードには「ON」、「AUTO」及び「OFF」がある。視線誘導モード「ON」の場合は基本的に音像定位処理が実行される。また、視線誘導モード「OFF」の場合は音像定位処理が実行されない。さらにまた、視線誘導モード「AUTO」の場合は、種々の走行関連情報に基づいて音像定位処理の実行が決定される。
最初のS100では、自車両の速度を取得する。この処理は、ECU群60を介して自車両の現時点の速度を取得するものである。
続くS110では、自車両の現時点の位置を取得する。この処理は、地磁気センサ32及びGPS受信機35などを用い自車両の位置及び方位を算出し、さらに、地図データ入力部36を介して入力される地図データ中の道路データ及びマップマッチングデータを用い、地図上での自車両の位置を取得するものである。
次のS120では、道路形状を取得する。この処理は、S110にて取得される自車両の位置に基づき、自車両が走行している道路形状を取得するものである。後述するようにT秒(例えば5秒)後の自車両の将来位置を推定するため、走行方向を考慮して所定範囲(例えば100m先まで)の道路形状を取得する。
続くS130では、自車両の位置における道路の曲率を取得する。この処理は、S110にて取得した自車両の位置における道路の曲率を求めるものである。
次のS140では、T秒後における自車両の将来位置を推定する。T秒間の自車両の走行距離Lは、S100にて取得した自車両の速度をVとすると、次の式1で示される。
L=T×V …式1
地図データ入力部36を介して入力される地図データのうちの道路データには、道路を示すリンクが含まれている。このときリンク長をlkとした場合、走行距離Lは、次の式2で示される。
そこで、Lにほぼ等しくなるまでリンク長lkを足し合わせることで、リンクの端点の座標としてT秒後における自車両の位置が推定される。
続くS150では、係数算出処理を実行する。この係数算出処理は、係数Kenvを算出するものである。係数算出処理については後述する。
次のS160では、予測注視点を算出する。この予測注視点は、予測注視点までの距離R、予測注視点への方位角θ、及び、予測注視点への仰角φからなる指令値として算出される。
図3に示すように、自車両100のT秒後の平面座標を(x,y)とすると、予測注視点までの距離Rは、次の式3で示される。あるいは、道路の曲率をρとすると、式4で示される。
なお、係数Kenvは、S150の係数算出処理にて算出されるものである。この係数Kenvが小さくなると、予測注視点までの距離Rが小さくなる。これにより、運転者の視線がより近い位置に誘導されることになり、結果として、運転者の抱く速度感が大きくなるため、減速操作を誘発する可能性が大きくなる。一方、係数Kenvが大きくなると、予測注視点までの距離Rが大きくなる。これにより、運転者の視線がより遠い位置に誘導されることになり、結果として、運転者の抱く速度感が小さくなるため、加速操作を誘発する可能性が大きくなる。
また、距離Rは下限値Rl以上とし、距離Rが下限値Rlを下回った場合には、距離R=Rlとする。これは、自車両の速度が小さくなったときに、予測注視点が極端に近くなることを回避するためである。下限値Rlは、例えば2mとして設定することが例示される。
予測注視点への方位角θは、次の式5で示される。
また、予測注視点への仰角φは、次の式6で示される。
なお、Kは、予め設定される係数である。
続くS170では、位置情報を出力する。この処理は、三次元直交座標系での音像の定位位置を算出し、当該定位位置を立体音響システム51へ出力するものである。
例えばS160にて予測注視点が距離R、方位角θ、及び、仰角φからなる指令値として算出されている場合、次の式7,8,9により、三次元直交座標系での目標の定位位置(X,Y,Z)を算出する。
X=R・cosφ・cosθ …式7
Y=R・cosφ・sinθ …式8
Z=R・sinφ …式9
S170の処理により、立体音響システム51は、フィルタ54L,54Rで用いる伝達関数の設定をオーディオシステム52へ指示する。例えばオーディオシステム52は、立体音響システム51からの指示に対応する複数の伝達関数を予め保持しており、選択的に伝達関数を設定するという具合である。これにより、スピーカ55L,55Rにより形成される音像は、予測注視点に定位する。
なお、音像定位による予測注視点への視線誘導においては、以下のような効果が奏されることが確認されている。
図15に示すように、正面方向を0度とする運転者の視線の方向(角度)を縦軸とし測定時間を横軸とすると、音像定位処理を実行した場合の運転者の視線の動きは、曲線A(太実線で示した曲線)に示すごとくとなった。一方、音像定位処理を実行していない場合の運転者の視線の動きは、曲線B(細実線で示した曲線)に示すごとくとなった。このとき、曲線X(破線で示した曲線)が予測注視点の方向の変化を示している。
図15から分かるように、音像定位処理の実行により、運転者の視線の方向は、その変化幅が大きくなっており、予測注視点の方向の変化と類似する傾向にある。これにより、音像定位処理を実行した場合は、運転者の視線が予測注視点の方向へ誘導され、運転者は、道路におけるコーナーの奥へ視線を運んでいることが分かる。
図16及び図17は、音像定位処理を実行している場合と実行していない場合とで、車両の前後方向及び左右方向の加速度をそれぞれ縦軸と横軸とにプロットしたものである。ここで、音像定位処理が実行されていないときを示す図17では加速度の大きさや方向が急激に変化しているのに対し、音像定位処理が実行されているときを示す図16では、加速の大きさや方向の変化が連続的で滑らかなものとなった。これにより、音像定位処理を実行した場合は、運転者の視線が予測注視点の方向へ誘導される結果、車両の挙動を滑らかにするような運転操作が実現されることが分かる。
さらに、本実施形態では、予測注視点への音像定位による消極的な操作誘導だけでなく、特定の状況においては、さらなる安全運転を実現するための積極的な操作誘導を行うように係数算出処理(図2中のS150)を実行する。
次に、図4のフローチャートに基づいて、係数算出処理を説明する。係数算出処理では、上述した式3又は式4の係数Kenvが算出される。
最初のS200では、トンネル処理を実行する。トンネル処理は、トンネルの内部と外部とで係数Kenvを変更するものである。トンネル内部では、速度感が失われることによって車両の速度が高くなりがちであることに鑑み、予測注視点までの距離が短くなるように係数Kenvを変更する。
次のS210では、ワイパ状態処理を実行する。ワイパ状態処理は、ワイパの作動状態に応じて係数Kenvを変更するものである。ワイパが作動している状況では、視界が悪くなっている蓋然性が高い。そこで、ワイパが作動している状況では、予測注視点までの距離が短くなるように係数Kenvを変更する。
続くS220では、道路勾配処理を実行する。道路勾配処理は、道路勾配に応じて係数Kenvを変更するものである。下り勾配である場合は車両の速度が大きくなりがちであるため、予測注視点までの距離が短くなるように係数Kenvを変更し、上り勾配である場合は車両の速度が小さくなりがちであるため、予測注視点までの距離が長くなるように係数Kenvを変更する。
次のS230では、特定領域処理を実行する。特定領域処理は、自車両が特定の領域内を走行している場合に係数Kenvを変更するものである。一例として、繁華街などを走行している場合には、車両の速度を落とすべく予測注視点までの距離が短くなるように係数Kenvを変更する。
続くS240では、路面状況処理を実行する。路面状況処理は、自車両が走行する路面の状況に応じて係数Kenvを変更するものである。具体的には、路面凍結度合いや路面湿潤度合いが高くなっている場合には、車両の速度を落とすべく予測注視点までの距離が短くなるように係数Kenvを変更する。
次のS250では、障害物処理を実行する。障害物処理は、自車両前方の障害物との距離に応じて係数Kenvを変更するものである。障害物との距離が短くなると、車両の速度を落とすべく予測注視点までの距離が短くなるように係数Kenvを変更する。
なお、S200〜S250の各処理で算出される係数Kenvを掛け合わせ、式3又は式4の係数Kenvとする。
以下では、S200〜S250の処理に対する理解を容易にするため、各処理を具体的に説明する。
S200のトンネル処理では、図5(a)に示すように、自車両がトンネルに進入すると、予測注視点までの距離d1が距離d2まで短くなる。具体的には、図5(b)に示すように、自車両100の位置である基準位置に応じて係数Kenvが変更される。トンネルに進入する前の基準位置k1では係数KenvはK1となり、トンネル内部の基準位置k2では、係数KenvはK2(K2<K1)となる。
また、トンネル入口付近では図5(b)に記号Aで示すように係数Kenvを連続的に変化させる。同様に、トンネル出口付近では記号Bで示すように係数Kenvを連続的に変化させる。もちろん、係数Kenvを瞬時に切り換え、不連続に変化させてもよい。
このように係数Kenvが変更されることにより、上述したように予測注視点までの距離d1は、トンネルへの進入によって距離d2まで短くなる。
S210のワイパ状態処理では、図6に示すように、ワイパの作動状態に応じて係数Kenvが変更される。ワイパの作動状態には、停止状態を示す「OFF」、払拭速度が比較的遅い状態を示す「Lo」、及び、払拭速度が比較的速い状態を示す「Hi」の3つの作動状態があるものとし、ここでは、「OFF」のときに係数KenvがK3となり、「Lo」のときに係数KenvがK4となり、「Hi」のときに係数KenvがK5なる(K3>K4>K5)。つまり、ワイパの作動状態が速くなるほど、車両の速度を落とすべく係数Kenvは小さくなる。
また、「OFF」から「Hi」に切り換えられた場合、図6中に記号Aで示すように係数Kenvを連続的に変化させる。同様に、「Hi」から「Lo」に切り換えられた場合、記号Bで示すように係数Kenvを連続的に変化させる。つまり、ワイパ状態に変化があった場合、係数Kenvを連続的に変化させるのである。もちろん、係数Kenvを瞬時に切り換え、不連続に変化させてもよい。
このように係数Kenvが変更されることにより、予測注視点までの距離は、ワイパの作動によって短くなる。
S220の道路勾配処理では、図7(a)に示すように、下り勾配に差し掛かると、予測注視点までの距離d3が距離d4まで短くなる。具体的には、図7(b)に示すように、自車両100の位置である基準位置に応じて係数Kenvが変更される。下り勾配の手前の基準位置k3では係数KenvがK6となり、下り勾配での基準位置k4では、係数KenvがK7(K7<K6)となっている。
また、勾配開始地点付近では図7(b)に記号Aで示すように係数Kenvを連続的に変化させる。同様に、勾配終了地点付近では記号Bで示すように係数Kenvを連続的に変化させる。もちろん、係数Kenvを瞬時に切り換え、不連続に変化させてもよい。
このように係数Kenvが変更されることにより、上述したように予測注視点までの距離d3は、下り勾配に差し掛かることによって距離d4まで短くなる。
また、S220の道路勾配処理では、図8(a)に示すように、上り勾配に差し掛かると、予測注視点までの距離d5が距離d6まで長くなる。具体的には、図8(b)に示すように、自車両100の位置である基準位置に応じて係数Kenvが変更される。上り勾配の手前の基準位置k5では係数KenvがK9となり、上り勾配での基準位置k6では、係数KenvがK8(K8>K9)となっている。
また、勾配開始地点付近では図8(b)に記号Aで示すように係数Kenvを連続的に変化させる。同様に、勾配終了地点付近では記号Bで示すように係数Kenvを連続的に変化させる。もちろん、係数Kenvを瞬時に切り換え、不連続に変化させてもよい。
このように係数Kenvが変更されることにより、上述したように予測注視点までの距離d5は、上り勾配に差し掛かることによって距離d6まで長くなる。
S230の特定領域処理では、図9(a)に示すように、特定領域内では、予測注視点までの距離d7が距離d8まで短くなる。特定領域は、例えば通信部41を介して取得されるVICS(登録商標)情報、通信部41を介した車車間通信や路車間通信などによって得られる情報から設定される。具体的には、渋滞区間、事故多発区間、繁華街、路地裏といった走行に注意を要する領域である。これらの領域は、都度取得されるものとしてもよいし、取得後外部メモリ42に記憶されているものとしてもよい。
ここでは図9(b)に示すように、自車両100の位置である基準位置に応じて係数Kenvが変更される。特定領域の手前の基準位置k7では係数KenvがK10となり、特定領域内の基準位置k8では、係数KenvがK11(K11<K10)となっている。
また、特定領域入口付近では図9(b)に記号Aで示すように係数Kenvを連続的に変化させる。同様に、特定領域出口付近では記号Bで示すように係数Kenvを連続的に変化させる。もちろん、係数Kenvを瞬時に切り換え、不連続に変化させてもよい。
このように係数Kenvが変更されることにより、上述したように予測注視点までの距離d7は、特定領域内では距離d8まで短くなる。
S240の路面状況処理では、図10(a)に示すように、路面状況が悪化すると、予測注視点までの距離d9が短くなる。路面状況は、路面凍結度合いや路面湿潤度合いであることが例示される。この路面状況は、通信部41を介して得られる天候情報、通信部41を介した他車両101との車車間通信や、路側機RSとの路車間通信などによって得られる。
具体的には、図10(b)に示すように、路面状況に応じて係数Kenvが変更される。ここでは、路面凍結度合いがw1以上になると、係数Kenvは、K12から一定の傾きで下限値K13まで減少する。路面凍結度合いがwの場合、係数KenvがKwになる。もちろん、路面凍結度合いに応じて係数Kenvを非線形に変化させてもよい。
このように係数Kenvが変更されることにより、上述したように予測注視点までの距離d9は、路面凍結度合いや路面湿潤度合いが大きくなると短くなる。
なお、ここでは、路面状況によって係数Kenvを変更しているが、天候情報によって変更するようにしてもよい。視界が悪くなる悪天候(雨や雪)の場合に、予測注視点までの距離が短くなるように係数Kenvを変更することが考えられる。
S250の障害物処理では、図11(a)に示すように、障害物Rbの接近に伴って予測注視点までの距離d10が短くなる。障害物Rbは、通信部41を介した車車間通信や路側機RSとの路車間通信などで得られる情報から検出することが例示される。また、レーダ部31からの測距データに基づいて障害物Rbを検出することが例示される。さらにまた、レーダ部31に代えカメラを備える構成では、カメラにて撮像される画像から障害物Rbを検出するようにしてもよい。
具体的には、図11(b)に示すように、障害物までの距離に応じて係数Kenvが変更される。ここでは、障害物までの距離がD2以下になり距離が小さくなると、係数Kenvは、K14から一定の傾きで下限値K15まで減少する。障害物までの距離がDの場合、係数KenvがKDになる。もちろん、障害物までの距離に応じて係数Kenvを非線形に変化させてもよい。
このように係数Kenvが変更されることにより、上述したように予測注視点までの距離d10は、障害物Rbまでの距離Dが小さくなると短くなる。
以上詳述したように、本実施形態では、走行中に運転者が注視する事が推奨される注視点である予測注視点を算出し、当該予測注視点に対応する位置情報を立体音響システムへ出力することにより、オーディオシステムを介して音像を予測注視点に定位させることを前提に、取得手段30aが、自車両の走行に関連する情報である走行関連情報を取得し、算出手段30bが、取得手段30aにて取得される走行関連情報に基づき、当該走行関連情報に合わせて運転操作を誘導すべく予測注視点を補正して算出する。そして、誘導手段30cにより、算出手段30bにて算出された予測注視点に対応する位置情報が立体音響システム51へ出力されることで、音像の定位を利用して運転者の操作が誘導される。
つまり、予測注視点への音像定位による消極的な操作誘導だけでなく、特定の状況においてはさらなる安全運転を実現するための積極的な操作誘導が望ましいという観点から、走行関連情報を取得し、当該走行関連情報に基づいて予測注視点を補正して算出するのである。これにより、立体音響の技術を用いて運転者の視線を予測注視点に誘導するにあたり、種々の状況に応じた適切な操作誘導を行うことができる。
具体的には、係数Kenvを算出することにより(図2中のS150)、予測注視点までの距離Rを短くし、運転者の抱く速度感を大きくして車両の減速を促したり、予測注視点までの距離Rを長くし、運転者の抱く速度感を小さくして車両の加速を促したりする。すなわち、算出手段30bは、予測注視点までの距離を変更し、誘導手段30cは、距離が変更された予測注視点に対応する位置情報を立体音響システムへ出力することにより、運転者の加速操作又は減速操作を促す。これにより、適切な操作誘導を行うことができる。
例えば、本実施形態では、トンネル処理を実行することで(図4中のS200)、図5(a)に示すように、自車両がトンネルに進入すると、予測注視点までの距離d1が距離d2まで短くなる。具体的には、図5(b)に示すように、自車両100の位置である基準位置に応じて係数Kenvが変更される。すなわち、取得手段30aは、走行関連情報として、自車両前方のトンネルの情報を取得し、算出手段30bは、トンネルと自車両との関係に基づき、予測注視点を補正して算出する。これにより、速度感が曖昧となるトンネル内部では予測注視点までの距離が短くなるため、運転者の抱く速度感が大きくなり、減速操作を誘発できる可能性が高くなる。
また例えば、本実施形態では、ワイパ状態処理を実行することで(図4中のS210)、図6に示すように、ワイパの作動状態に応じて係数Kenvが変更される。これにより、ワイパの作動状態が速くなるほど、係数Kenvは小さくなる。すなわち、取得手段30aは、走行関連情報として、ワイパの作動状態であるワイパ状態を取得し、算出手段30bは、ワイパ状態に基づき、予測注視点を補正して算出する。これにより、視界が悪くなっている蓋然性の高いワイパ作動状態では予測注視点までの距離が短くなるため、運転者の抱く速度感が大きくなり、減速操作を誘発できる可能性が高くなる。
例えば、本実施形態では、道路勾配処理を実行することで(図4中のS220)、図7(a)に示すように、下り勾配に差し掛かると、予測注視点までの距離d3が距離d4まで短くなる。具体的には、図7(b)に示すように、自車両100の位置である基準位置に応じて係数Kenvが変更される。また、図8(a)に示すように、上り勾配に差し掛かると、予測注視点までの距離d5が距離d6まで長くなる。具体的には、図8(b)に示すように、自車両100の位置である基準位置に応じて係数Kenvが変更される。すなわち、取得手段30aは、走行関連情報として、自車両前方の勾配を有する勾配道路の情報を取得し、算出手段30bは、勾配道路と自車両との関係に基づき、予測注視点を補正して算出する。これにより、速度が大きくなりがちな下り勾配である場合は予測注視点までの距離が短くなるため、運転者の抱く速度感が大きくなり、減速操作を誘発できる可能性が高くなる。一方、速度が小さくなりがちな上り勾配である場合は予測注視点までの距離が長くなるため、運転者の抱く速度感が小さくなり、加速操作を誘発できる可能性が高くなる。
なお、道路勾配情報は、下り勾配及び上り勾配という情報であってもよいし、勾配を数値で示すような情報であってもよい。勾配が数値で示される場合には、勾配に合わせて細かく係数Kenvを変更することとしてもよい。
また例えば、本実施形態では、特定領域処理を実行することで(図4中のS230)、図9(a)に示すように、走行に注意を要する特定領域では、予測注視点までの距離d7が距離d8まで短くなる。具体的には、図9(b)に示すように、自車両100の位置である基準位置に応じて係数Kenvが変更される。すなわち、取得手段30aは、走行関連情報として、自車両前方の走行に注意を要する領域である特定領域の情報を取得し、算出手段30bは、特定領域と自車両との関係に基づき、予測注視点を補正して算出する。これにより、走行に注意を要する特定領域内では、予測注視点までの距離が短くなるため、運転者の抱く速度感が大きくなり、減速操作を誘発できる可能性が高くなる。
例えば、本実施形態では、路面状況処理を実行することで(図4中のS240)、図10(a)に示すように、路面状況が悪化すると、予測注視点までの距離d9が短くなる。具体的には、図10(b)に示すように、路面状況に応じて係数Kenvが変更される。すなわち、取得手段30aは、走行関連情報として、路面が滑りやすいか否かの指標となる路面状況情報を取得し、算出手段30bは、路面状況情報に基づき、予測注視点を補正して算出する。これにより、路面が滑りやすい状況にある場合には、予測注視点までの距離が短くなるため、運転者の抱く速度感が大きくなり、減速操作を誘発できる可能性が高くなる。
なお、路面状況情報は、路面凍結度合いや路面湿潤度合いに限定されず、路面の滑り易さを示す情報であればよい。
また例えば、本実施形態では、障害物処理を実行することで(図4中のS250)、図11(a)に示すように、障害物Rbの接近に伴って予測注視点までの距離d10が短くなる。具体的には、図11(b)に示すように、障害物までの距離に応じて係数envが変更される。すなわち、取得手段30aは、走行関連情報として、自車両前方の障害物までの距離に関する距離関連情報を取得し、算出手段30bは、距離関連情報に基づき、予測注視点を補正して算出する。これにより、障害物までの距離が小さくなった場合に、予測注視点までの距離が短くなるため、運転者の抱く速度感が増し、減速操作を誘発できる可能性が高くなる。
なお、距離関連情報は、障害物までの距離そのものであってもよいし、障害物までの到達に要する時間であってもよい。
また、本実施形態では、上記トンネル処理(図4中のS200)、ワイパ状態処理(S210)、道路勾配処理(S220)、特定領域処理(S230)において、係数Kenvを変更する際、係数Kenvを連続的に変化させている(図5(b),図6,図7(b),図8(b),図9(b)参照)。すなわち、算出手段30bは、予測注視点が連続的に変化するように、予測注視点を補正して算出する。これにより、運転者が抱く違和感を減少させることができる。
なお、本実施形態では2チャンネルの立体音響技術を用いた。これに対し、チャンネル数を増やしてオーディオシステムのスピーカを運転者の周囲に配置すれば、立体音響技術を用いなくとも音像を定位させることは出来る。ただし、車室内という限られたスペースの中では、任意の位置にスピーカを配置することは困難となる。したがって、2チャンネルの立体音響技術を用いることが、車室内では極めて有効となる。
以上、本発明は、上述した実施形態に何ら限定されるものではなく、その技術的範囲を逸脱しない限り、種々なる形態で実施可能である。
(イ)上記実施形態では、将来における自車両の将来位置を予測注視点として算出していた。これに対し、特許第4735676号公報に記載されている方法で算出するようにしてもよい。
具体的には、図12に示すように、将来における自車両100を基準にし、自車両100の走行する道路R上に、一定間隔で、区切り線Kを設定する。そして、この区切り線K上に複数の格子点Lを仮想的に設定する。ここで各格子点Lの位置及び距離は、ナビゲーション装置3の地図データ入力部36を介して入力される地図データから取得する。図中では区切り線K上に設定される格子点Lの一部を示した。また、格子点Lの個数もイメージ的なものである。
次に、運転者の首振り角の変化率を推測する。この首振り角の変化率は、図2中のS130で取得される道路の曲率から推測可能である。ここで推測される首振り角の変化率をAとして説明を続ける。
続いて、将来における自車両100を基準とし、各格子点Lについて、網膜球面モデルに投射した場合の運動量(以下「視覚運動量」という)を算出する。図13に示すように網膜球面モデルは、運転者の網膜を球面としてモデル化したものであり、網膜球面モデル上の物体の位置は、網膜座標系における物体に位置に対応する。
ここで物体の方位角をθとし仰角をφとすると、将来における自車両100を基準とした任意の格子点Lの網膜球面モデル上での位置は(θ,φ)と記述することができる。そして、離心角ωの変化率(離心角変化率ω’)の絶対値を視覚運動量として算出する。離心角変化率ω’は、車速をVとし、格子点Lまでの距離をRとし、ヨーレートをγとすると、次の式10で表すことができる。
式10を用い各格子点Lについて離心角変化率ω’を算出し、離心角変化率ω’の絶対値が最小となる格子点Lを予測注視点とする。
なお、離心角変化率ω’は、網膜球面モデルを用いて算出したものであることから路上の格子点Lの視覚運動量を示している。運転者は、運転中に視覚運動量の最小点を注視する傾向にあることが知られている。
(ロ)上記実施形態では、将来における自車両の位置に予測注視点を算出していた(図2中のS140,S160)。
一般的には、次の式11,12,13で、予測注視点までの距離R、方位角θ、仰角φを算出することになる。
R=r(t,l,v,ρ) …式11
θ=f(t,l,v,ρ) …式12
φ=g(t,l,v,ρ) …式13
(ハ)上記実施形態では、予測注視点を算出した後(図2中のS160)、当該予測注視点に対応する位置情報を出力している(S170)。これに対し、S160にて算出された予測注視点を(R0,θ0,φ0)とし、予測注視点にエフェクトをかけた後、S170の処理を行ってもよい。すなわち次の式14,15,16に示すごとくである。
R=reffect(R0) …式14
θ=feffect(θ0) …式15
φ=geffect(φ0) …式16
具体的には、図14(a)に示すように、線形の関数r1,r2を用いて予測注視点までの距離R0を変換することが考えられる。このとき、関数r1による変換では距離変化ΔR0に対する距離変化がΔR1となるが、より傾きの大きな関数r2による変換では同一の距離変化ΔR0に対する距離変化がΔR2となり、関数r1による距離変化ΔR1よりも大きくすることができる。
また、図14(b)に示すように、非線形の関数r3を用いて予測注視点までの距離Rを変換してもよい。この場合、距離R0が比較的小さくなっている場合、その変化ΔR0に対する距離変化はΔR31となって比較的大きくなる。一方、距離R0が比較的大きくなっている場合、その変化ΔR0に対する距離変化はΔR32となって比較的小さくなる。このような非線形の関数を用意することによって、予測注視点を種々の割合で変化させることができる。
なお、非線形の関数は、ここで例示するものに限定されず、n次曲線関数、対数関数、指数関数など、様々なバリエーションが考えられる。
また、ここでは、予測注視点までの距離Rについて説明したが、予測注視点への方位角θ及び仰角φについても同様のエフェクトをかけることができる。
(ニ)上記実施形態では基準位置を自車両の現時点での位置としていたが、t秒後(例えば1秒後)の自車両の位置を基準位置としてもよい。このようにしても、上記実施形態と同様の効果が奏される。
(ホ)上記実施形態は予測注視点までの距離Rに係数Kenvを乗じて積極的な操作誘導を実現するものであるが、予測注視点への方位角θを補正して算出しステアリング操作による操舵操作を誘導するようにしてもよい。あるいは、予測注視点への仰角φを補正して算出し操作誘導を行うようにしてもよい。仰角φを変更することにより予測注視点をより下方に設定すると、距離Rと同様、運転者の抱く速度感が大きくなり、減速操作を誘発できる可能性が高くなる。反対に、より上方に予測注視点を設定すると、運転者の抱く速度感が小さくなり、加速操作を誘発できる可能性が高くなる。
1…ナビゲーションシステム、3…ナビゲーション装置、5…サブシステム、30…制御部、30a…取得手段、30b…算出手段、31…レーダ部、32…地磁気センサ、33…ジャイロスコープ、34…距離センサ、35…GPS受信機、36…地図データ入力部、36a…DVD−ROM、37…操作スイッチ群、41…通信部、42…外部メモリ、42…取得後外部メモリ、43…表示部、51…立体音響システム、52…オーディオシステム、53…音源、54L…左側フィルタ、54R…右側フィルタ、55L…左側スピーカ、55R…右側スピーカ、60…ECU群、100…自車両、101…他車両

Claims (10)

  1. 音像を生成するオーディオシステム(52)及び、前記オーディオシステムに対し前記音像を定位させるための伝達関数を設定する立体音響システム(51)と共に用いられ、
    走行中に運転者が注視する事が推奨される予測注視点を算出し、当該予測注視点に対応する位置情報を前記立体音響システムへ出力することにより、前記オーディオシステムを介して前記音像を前記予測注視点に定位させる音像定位装置(3)であって、
    自車両の走行に関連する情報である走行関連情報を取得する取得手段(30a)と、
    前記取得手段にて取得される前記走行関連情報に基づき、当該走行関連情報に合わせて運転操作を誘導すべく前記予測注視点を補正して算出する算出手段(30b)と、
    前記算出手段にて算出された前記予測注視点に対応する前記位置情報を前記立体音響システムへ出力することにより、前記音像の定位を利用して運転者の操作を誘導する誘導手段(30c)と、
    を備えていることを特徴とする音像定位装置。
  2. 請求項1に記載の音像定位装置において、
    前記算出手段は、前記予測注視点までの距離を変更し、
    前記誘導手段は、前記距離が変更された前記予測注視点に対応する前記位置情報を前記立体音響システムへ出力することにより、運転者の加速操作又は減速操作を促すこと
    を特徴とする音像定位装置。
  3. 請求項2に記載の音像定位装置において、
    前記取得手段は、前記走行関連情報として、自車両前方のトンネルの情報を取得し、
    前記算出手段は、前記トンネルと自車両との関係に基づき、前記予測注視点を補正して算出すること(S200)
    を特徴とする音像定位装置。
  4. 請求項2又は3に記載の音像定位装置において、
    前記取得手段は、前記走行関連情報として、ワイパの作動状態であるワイパ状態を取得し、
    前記算出手段は、前記ワイパ状態に基づき、前記予測注視点を補正して算出すること(S210)
    を特徴とする音像定位装置。
  5. 請求項2〜4の何れか一項に記載の音像定位装置において、
    前記取得手段は、前記走行関連情報として、自車両前方の勾配を有する勾配道路の情報を取得し、
    前記算出手段は、前記勾配道路と自車両との関係に基づき、前記予測注視点を補正して算出すること(S220)
    を特徴とする音像定位装置。
  6. 請求項2〜5の何れか一項に記載の音像定位装置において、
    前記取得手段は、前記走行関連情報として、自車両前方の走行に注意を要する領域である特定領域の情報を取得し、
    前記算出手段は、前記特定領域と自車両との関係に基づき、前記予測注視点を補正して算出すること(S230)
    を特徴とする音像定位装置。
  7. 請求項2〜6の何れか一項に記載の音像定位装置において、
    前記取得手段は、前記走行関連情報として、路面が滑りやすいか否かの指標となる路面状況情報を取得し、
    前記算出手段は、前記路面状況情報に基づき、前記予測注視点を補正して算出すること(S240)
    を特徴とする音像定位装置。
  8. 請求項2〜7の何れか一項に記載の音像定位装置において、
    前記取得手段は、前記走行関連情報として、自車両前方の障害物までの距離に関する距離関連情報を取得し、
    前記算出手段は、前記距離関連情報に基づき、前記予測注視点を補正して算出すること(S250)
    を特徴とする音像定位装置。
  9. 請求項1〜8の何れか一項に記載の音像定位装置において、
    前記算出手段は、前記予測注視点が連続的に変化するように、前記予測注視点を補正して算出すること(S200〜S230)
    を特徴とする音像定位装置。
  10. 請求項1〜9の何れか一項に記載の音像定位装置の各手段としてコンピュータを機能させるプログラム。
JP2012284624A 2012-12-27 2012-12-27 音像定位装置、及び、プログラム Pending JP2014127100A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012284624A JP2014127100A (ja) 2012-12-27 2012-12-27 音像定位装置、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012284624A JP2014127100A (ja) 2012-12-27 2012-12-27 音像定位装置、及び、プログラム

Publications (1)

Publication Number Publication Date
JP2014127100A true JP2014127100A (ja) 2014-07-07

Family

ID=51406519

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012284624A Pending JP2014127100A (ja) 2012-12-27 2012-12-27 音像定位装置、及び、プログラム

Country Status (1)

Country Link
JP (1) JP2014127100A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10414411B2 (en) 2016-03-30 2019-09-17 Mitsubishi Electric Corporation Notification control apparatus and notification control method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10332409A (ja) * 1997-06-02 1998-12-18 Yuuta Yoshida 車載用ナビゲーション装置
JP2004243788A (ja) * 2003-02-10 2004-09-02 Nissan Motor Co Ltd 走行制御装置
JP2007264774A (ja) * 2006-03-27 2007-10-11 Kenwood Corp 道路通信システムおよび移動体側装置
US20080215239A1 (en) * 2007-03-02 2008-09-04 Samsung Electronics Co., Ltd. Method of direction-guidance using 3d sound and navigation system using the method
JP2010058743A (ja) * 2008-09-05 2010-03-18 Mazda Motor Corp 車両用運転支援装置
JP2010221993A (ja) * 2009-02-27 2010-10-07 Nissan Motor Co Ltd 車両用運転操作補助装置、車両用運転操作補助方法および自動車

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10332409A (ja) * 1997-06-02 1998-12-18 Yuuta Yoshida 車載用ナビゲーション装置
JP2004243788A (ja) * 2003-02-10 2004-09-02 Nissan Motor Co Ltd 走行制御装置
JP2007264774A (ja) * 2006-03-27 2007-10-11 Kenwood Corp 道路通信システムおよび移動体側装置
US20080215239A1 (en) * 2007-03-02 2008-09-04 Samsung Electronics Co., Ltd. Method of direction-guidance using 3d sound and navigation system using the method
JP2010058743A (ja) * 2008-09-05 2010-03-18 Mazda Motor Corp 車両用運転支援装置
JP2010221993A (ja) * 2009-02-27 2010-10-07 Nissan Motor Co Ltd 車両用運転操作補助装置、車両用運転操作補助方法および自動車

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10414411B2 (en) 2016-03-30 2019-09-17 Mitsubishi Electric Corporation Notification control apparatus and notification control method

Similar Documents

Publication Publication Date Title
US11238733B2 (en) Group driving style learning framework for autonomous vehicles
JP6237685B2 (ja) 車両制御装置
EP3323690B1 (en) Evaluation framework for decision making of autonomous driving vehicle
US10668925B2 (en) Driver intention-based lane assistant system for autonomous driving vehicles
US10007264B2 (en) Autonomous vehicle human driver takeover mechanism using electrodes
JP6342856B2 (ja) 車両制御装置
EP3070700B1 (en) Systems and methods for prioritized driver alerts
US10908608B2 (en) Method and system for stitching planning trajectories from consecutive planning cycles for smooth control execution of autonomous driving vehicles
EP3342670B1 (en) Method to dynamically adjusting speed control rates of autonomous vehicles
JP7288326B2 (ja) 自動運転システム
JP2020518503A (ja) 車両運転を制御するための方法及び装置
EP3344479B1 (en) A vehicle position point forwarding method for autonomous vehicles
US20190232976A1 (en) Assisting apparatus, assisting method, and program
US20200377126A1 (en) Information output control device and information output control method
JP4893611B2 (ja) 警報装置
EP3500965A1 (en) Speed control for a full stop of an autonomous driving vehicle
KR20170016174A (ko) 운전자 보조 장치 및 그 제어방법
JP2016215658A (ja) 自動運転装置および自動運転システム
JP2020196292A (ja) 自動運転支援装置
JP2018188029A (ja) 停車意図判定装置、及び停車意図判定方法
JP2018005468A (ja) 車両の制御装置
JP5915519B2 (ja) 音像定位装置、及び、プログラム
JP5261045B2 (ja) 車両の運転支援装置
JP2014127100A (ja) 音像定位装置、及び、プログラム
JP5838962B2 (ja) 音像定位装置、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150515

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160202

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160802