JP2016018413A - 車両用装置、車両制御システム、車両制御方法 - Google Patents

車両用装置、車両制御システム、車両制御方法 Download PDF

Info

Publication number
JP2016018413A
JP2016018413A JP2014141206A JP2014141206A JP2016018413A JP 2016018413 A JP2016018413 A JP 2016018413A JP 2014141206 A JP2014141206 A JP 2014141206A JP 2014141206 A JP2014141206 A JP 2014141206A JP 2016018413 A JP2016018413 A JP 2016018413A
Authority
JP
Japan
Prior art keywords
vehicle
user
recognition
moving
acceleration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014141206A
Other languages
English (en)
Other versions
JP6393537B2 (ja
Inventor
武親 桐谷
Takechika Kiritani
武親 桐谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2014141206A priority Critical patent/JP6393537B2/ja
Priority to US14/742,220 priority patent/US9731714B2/en
Publication of JP2016018413A publication Critical patent/JP2016018413A/ja
Application granted granted Critical
Publication of JP6393537B2 publication Critical patent/JP6393537B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】車両外から車両をより安全に駐車制御する技術を提供する。
【解決手段】ユーザUSの動作に基づく移動指示について、当該動作に係るユーザUSの身体とともに移動する携帯機器3から送信される加速度データGに基づいて認識する。また、かかる移動指示をユーザの動作を撮影する車載カメラ22の撮影結果に基づいて認識する。そして、加速度データGに基づく認識結果及び撮影結果に基づく認識結果が一致する場合に、車両2を移動させる。これにより、ユーザUSの車両2を移動させるための指示を、撮影結果のみに基づくよりも確実に認識して車両2を移動できる。
【選択図】図1

Description

本発明は、車両を制御する技術に関する。
従来、運転者が車両外から車両を制御して、車両を駐車する技術が知られている。この技術を用いれば、駐車のための運転のやり直しを防止して、運転の利便性を向上する。例えば特許文献1の技術では、運転者が車両外に立って動作により移動方向の指示をして、車両は車載カメラで運転者の指示を検知して、指示された方へ自動で駐車を制御する。
特開2008−174192号公報
従来の技術では、車載カメラで運転者の指示を検知する。よって運転者はリモコン等の操作を必要とせず、容易に移動方向を指示できた。
しかし車載カメラの位置は、車両の移動に伴い変化する。このため運転者は意図せずに、撮影範囲から外れたり、斜めを向いてるときがある。この場合、車両は運転者の指示を誤検知し、運転者の意思とは異なる方へ移動する恐れがあり、解決すべき課題となっている。
本発明はかかる課題に鑑みて、車両外から車両をより安全に駐車制御する技術の提供を目的とする。
上記課題を解決するため、請求項1の発明は、車両に用いられる車両用装置であって、前記車両を移動させるためのユーザの動作に基づく移動指示を、前記動作に係るユーザの身体とともに移動する携帯機器から送信される動作信号に基づいて認識する第1認識手段と、前記移動指示を、前記ユーザの動作を検知する検知手段の検知結果に基づいて認識する第2認識手段と、前記第1認識手段の認識結果及び前記第2認識手段の認識結果が一致する場合に、前記車両を移動させる移動手段と、を備えることを特徴とする車両用装置。
また、請求項2の発明は、請求項1に記載の車両用装置において、前記移動手段は、前記第1認識手段の認識結果及び前記第2認識手段の認識結果が得られる時間差が所定時間内の場合に、前記車両を移動させることを特徴とする車両用装置。
また、請求項3の発明は、請求項1に記載の車両用装置において、前記移動手段は、前記第1認識手段の認識結果と前記第2認識手段の認識結果とが同時に得られた場合に、前記車両を移動させることを特徴とする車両用装置。
また、請求項4の発明は、請求項1ないし3のいずれかに記載の車両用装置において、前記携帯機器は加速度センサを備え、前記動作信号は前記加速度センサで得られる加速度データを含む、ことを特徴とする車両用装置。
また、請求項5の発明は、請求項1ないし4のいずれかに記載の車両用装置において、前記検知手段は車載カメラであり、前記検知結果は、前記車載カメラが前記ユーザの動作を撮像して得られた画像データであることを特徴とする車両用装置。
また、請求項6の発明は、車両を制御する車両制御システムであって、前記車両に用いられる車両用装置と、加速度センサを備えた携帯機器と、前記車両を移動させるためのユーザの動作を検知する検知手段と、を備え、前記携帯機器は、前記動作にかかるユーザの身体とともに移動し、加速度データを含む動作信号を前記車両用装置に送信する送信手段、を備え、前記車両用装置は、前記ユーザの動作に基づく移動指示を、前記携帯機器から送信される前記動作信号に基づいて認識する第1認識手段と、前記移動指示を、前記検知手段の検知結果に基づいて認識する第2認識手段と、前記第1認識手段の認識結果と前記第2認識手段の認識結果とが一致する場合に、前記車両を移動させる移動手段と、を備える、ことを特徴とする車両制御システム。
また、請求項7の発明は、車両を制御する車両制御方法であって、(a)前記車両を移動させるためのユーザの動作に基づく移動指示を、前記動作にかかるユーザの身体とともに移動する携帯機器から送信される動作信号に基づいて認識する工程と、(b)前記移動指示を、前記ユーザの動作を検知する検知手段の検知結果に基づいて認識する工程と、(c)前記第1認識手段の認識結果と前記第2認識手段の認識結果とが一致する場合に、前記車両を移動させる工程と、を備えることを特徴とする車両制御方法。
請求項1ないし7の発明によれば、第1認識手段の認識結果及び第2認識手段の認識結果が一致する場合に車両を移動させるので、ユーザの車両を移動させるための指示を確実に認識し、車両を移動させることができる。
また、特に請求2の発明によれば、第1認識手段の認識結果及び第2認識手段の認識結果が得られる時間差が所定時間内の場合に車両を移動させるので、ユーザの車両を移動させるための指示を誤認識して、車両を移動させることがない。
また、特に請求3の発明によれば、第1認識手段の認識結果及び第2認識手段の認識結果が同時に得られた場合に車両を移動させるので、ユーザの車両を移動させるための指示を誤認識して、車両を移動させることがない。
また、特に請求4の発明によれば、携帯機器から送信される信号は加速度データを含むので、ユーザの車両を移動させるための指示を認識する精度を向上できる。
また、特に請求項5の発明によれば、ユーザの動作を撮像して取得した画像データに基づいてユーザの移動指示を認識するので、認識精度を向上できる。
図1は、車両用システムの概要を示す図である。 図2は、車両用装置及び車両移動装置の構成を示す図である。 図3は、携帯機器の構成を示す図である。 図4は、携帯機器の表示画面の例を示す図である。 図5は、動作データの例を示す図である。 図6は、携帯機器の処理工程を示す図である。 図7は、車両用装置の処理工程を示す図である。 図8は、車両用装置の処理工程を示す図である。
以下、図面を参照しつつ本発明の実施の形態を説明する。
<1.第1の実施の形態>
<1−1.概要>
図1は、ユーザUS(主に運転者)が車両制御システム1を用いて、車両2を車両外から後進(バック)で駐車させる様子を示す。
ユーザUSは、自ら車両2を運転して所定の駐車領域に駐車できないと、駐車領域を画するフェンス等の障害物BRに接近しすぎ、リアゲート2a等の車両ドアを開放できない場合や、車両前端部が駐車領域から食み出し、他の車両の駐車操作の障害となる場合もある。このような場合、ユーザは再度車両に乗車し、駐車位置の調整を行う必要がある。しかし、ミラー等を視認しながらわずかな駐車位置を調整する運転操作は熟練を要し、慣れないユーザは何度も運転席と車両外とを行き来して調整操作をやり直さなければならない。
車両制御システム1では、ユーザUSは、車両外から車両2と駐車領域を画する障害物BRとの距離を確認しつつ、動作(ジェスチャ)による移動方向の指示を行い、車両2は指示された方向へ自動で移動する。この際、ユーザは、加速度センサ35を内蔵した携帯機器3を所持し、所持した手を動作させて指示を行う。加速度センサ35は加速度を検知し、携帯機器3が加速度データGを車両用装置4へ送信する。車両用装置4は加速度データGに基づき、携帯機器3がどの方向に移動しているか、すなわち携帯機器3を所持するユーザの手がどの方向に移動しているか認識する。
また、車両用装置4は車載カメラ22でユーザUSの動作を検知し、ユーザUSがどのような動作をしているか認識する。そして車両用装置4は、加速度データGが示すユーザUSの手による指示と、画像データが示すユーザUSの指示とが一致する場合に、ユーザUSの指示した方向AHへ車両を移動させる。
これにより、ユーザUSは、車両2の位置を車両外から確認しつつ駐車制御でき、車両外と運転席とを何度も行き来してバックミラー等を視認しながら微小な運転操作をやり直すことがなく、駐車操作の利便性を高める。
また、車載カメラ22の位置が車両2の移動に伴って変化し、ユーザUSが不意に撮影範囲から外れたり、斜め方向を向いて指示すると、加速度データGが示すユーザUSの手の指示と、画像データが示すユーザUSの指示とが一致しないため、車両用装置4はユーザUSの指示を誤検知することがない。これにより、画像データのみに基づいてユーザUSの指示を認識する場合に比較して、車両2がユーザUSの意図とは異なる方向へ移動する恐れをより確実に防止できる。
<1−2.構成>
図2は、車両制御システム1の構成を示す。車両制御システム1は、携帯機器3、車両用装置4、及び車両移動装置5を含む。図2は、車両制御システム1のうち、特に車両用装置4及び車両移動装置5の構成を示す。
車両用装置4は、車両2に配置され、マイクロコンピュータにより制御される電子制御装置である。車両用装置4は、携帯機器3と無線通信を行い、携帯機器3からの指示信号に応じ、後述の車両移動装置5を制御して車両2の駐車動作を制御する。車両用装置4は、制御部41、通信部42、及び記憶部43を備える。
制御部41は、CPU、RAM、及びROMを備えたマイクロコンピュータである。制御部41は、車両用装置4の全体を制御する。制御部41の機能については後述する。
通信部42は、アンテナを備え、WiMAX(Worldwide Interoperability for Microwave Access)、LTE(Long Term Evolution)等の情報通信の技術を用いて携帯機器3と無線通信を行う。通信部42は、車両2の駐車制御置を開始及び終了する旨を示す信号や加速度データを携帯機器3から受信する。
記憶部43は、データを記憶する記憶媒体である。例えば、EEPROM(Electrical Erasable Programmable Read-Only memory)や、フラッシュメモリ、磁気ディスクを備えたハードディスクドライブ等の不揮発性メモリである。記憶部43は、動作データ43a、時間データ43b、及びプログラム43cを記憶する。
動作データ43aは、「ユーザの動作が示す移動指示」、「携帯機器に発生する主な加速度」、及び「車載カメラがユーザを撮影して得られる画像」のデータ群を関連付けたデータテーブルである。動作データ43aの内容は、後に詳述する。
時間データ43bは、時間に関する数値データである。数値データは、例えば0.5[秒]である。時間データ43bは、加速度データに基づきユーザUSの動作を認識するまでの時間と、画像データに基づきユーザUSの動作を認識するまでの時間との差を示す所定時間である。加速度データと画像データデータとでは処理の手法が異なるため、かかる時間差が生じる。加速度データに基づくユーザUSの動作の認識時間と、画像データに基づくユーザUSの動作の認識時間に差があっても、かかる時間差が時間データ43bに示す所定時間内であれば、ユーザの同一の動作に基づく指示とみなすことができる。
プログラム43cは、制御部41により読み出され、制御部41が車両用装置4を制御するために実行されるファームウェアである。
制御部41の機能について説明する。制御部41は、第1認識部41a、第2認識部41b、指示判定部41c、移動制御部41d、及びボディ制御部41eを備える。
第1認識部41aは、携帯機器3から送信される加速度データが示す携帯機器3に発生する主な加速度の態様を検知し、動作データ43aを参照して加速度の態様に関連付けられるユーザの動作が示す移動指示を認識する。第1認識部41aは、認識結果をRAMに保存する。なお、第1認識部41aは、第1認識手段として機能する。
なお、携帯機器3に発生する主な加速度の態様とは、携帯機器3に発生する最も大きな加速度であり、加速度が発生する方向も含む。また、ユーザは携帯機器3を常に一方向のみに動かすことはできず、反対方向に動かして携帯機器3の位置を戻す必要がある。携帯機器3の位置を戻す際には微小な加速度が発生するため、かかる加速度はノイズとして除外する。
第2認識部41bは、車載カメラ22から送信される画像データが示すユーザUSの動作を検知し、動作データ43aを参照してユーザUSの画像に関連付けられるユーザの動作が示す移動指示を認識する。第2認識部41bは、認識結果をRAMに保存する。画像データを認識する手法は、既知のパターンマッチングの手法を用いればよい。なお、第2認識部41bは、第2認識手段として機能する。
指示判定部41cは、第1認識部41a及び第2認識部41bがRAMに保存した認識結果を参照し、両認識部が認識したユーザの動作が示す移動指示が一致するか否か判定する。
移動制御部41dは、車両2の駐車位置を調整するよう後述の車両移動装置5を制御する。例えば、ユーザが携帯機器3に車両2を前進すべき指示を発した場合には、移動制御部41dは、車両移動装置5を制御して車両2を前進させる。すなわち、車両移動装置5は移動制御部41dに制御され、トランスミッションをドライブに設定し、ステアリングを直進方向とし、電子スロットルでエンジンを駆動後、車両2を前進させる。なお、移動制御部41dは、移動手段として機能する。
ボディ制御部41eは、後述の施錠装置23を制御して、車両2のドアの施錠を行う。
車両移動装置5は、車両2に備えられたステアリング、スロットル、及びブレーキ等を制御し、アダプティブクルーズコントロール(Adaptive Cruise Control;略称ACC)やレーンキーピングアシスト(Lane Keeping Assist;略称LKA)を実行し、自動走行を実現する装置である。車両移動装置5は、ステアリング制御部51、スロットル制御部52、及びブレーキ制御部53を備える。
ステアリング制御部51は、後述のステアリング26を制御する電子制御装置である。ステアリング26の角度を調節して車両2の進行方向を変化させるよう制御する。
スロットル制御部52は、後述の電子スロットル27を制御する電子制御装置である。ユーザのアクセルペダルの踏込量に基づき、スロットル開度を調節してエンジンの出力(回転数)を制御する。制御対象が電動モータの場合には、モータの回転数や電動モータへの印加電圧を制御する。
ブレーキ制御部53は、後述のブレーキ28を制御する電子制御装置である。ユーザのブレーキペダルの踏込量に基づき、ブレーキ28の制動力を制御する。
トランスミッション制御部54は、後述のトランスミッション29を制御する電子制御装置である。ユーザによるシフトレバーの変動に基づき、トランスミッション29の変速段や前進、後進の切り替えを制御する。
車両2は、上記の車両用装置4及び車両移動装置5のほか、IGスイッチ21、車載カメラ22、施錠装置23、クリアランスソナー24、自動駐車装置25、ステアリング26、電子スロットル27、ブレーキ28、及びトランスミッション29を備える。
IGスイッチ21は、車両2の電気系統を起動及び停止するスイッチである。IGスイッチ21がオン状態となると電気系統が起動し、オフ状態となると停止する。また、IGスイッチ21は、オン状態となるとIG信号を車両用装置4へ出力する。
車載カメラ22は、車両2の前端、後端及び左右サイドミラー下部に取り付けられ、車両2周辺を撮影する。車載カメラ22は、IGスイッチ21がオン状態となっている間、常時撮影を行い、画像データを車両用装置4へ送信し続ける。なお、車載カメラ22は検知手段として機能し、画像データは検知手段の検知結果として機能する。
施錠装置23は、車両2のドアを施錠及び開錠する装置である。
クリアランスソナー24は、車両2周囲のボディに設置され、音波を発して車両2周辺の障害物の有無を検知するセンサである。クリアランスソナー24は、障害物を検知すると、検知信号を車両用装置4に送信する。
自動駐車装置25は、ユーザUSの運転操作を介さずに、所望の駐車領域へ車両2を駐車させる電子制御装置である。自動駐車装置25は、車載カメラ22や図示しないセンサの取得するデータを用いて駐車領域を認識し、後述のステアリング26、電子スロットル27、及びブレーキ28を制御して車両2を駐車領域へ駐車させる。
ステアリング26は、車両2の進行方向を転換する操舵装置である。
電子スロットル27は、図示しないエンジンの出力を電子的に制御し、車両2を駆動する制御装置であり、スロットル制御部52と共に、いわゆるドライブ・バイ・ワイヤのシステムを構成する。
ブレーキ28は、車両2を減速させる制動装置である。ブレーキ28は、車両2を停止させるパーキングブレーキを含む。
トランスミッション29は、車両2の変速機であり、車両2の変速段や前進、後進を切り替える。
図3は、携帯機器3の構成を示す。携帯機器3は、ユーザの所持する小型の通信端末である。例えば、携帯電話やスマートフォン、腕時計、車両用電子キーである。携帯機器3は、ユーザに携帯され、ユーザの動作に係るユーザの身体とともに移動する。要するに、ユーザの手に所持されて、手の動きと共に移動する。携帯機器3は、制御部31、通信部32、ディスプレイ33、記憶部34、及び加速度センサ35を備える。
制御部31は、CPU、RAM、及びROMを備えたマイクロコンピュータである。制御部31は、携帯機器3全体を制御する。制御部31の備える機能は、後述する。
通信部32は、アンテナを備え、WiMAX(Worldwide Interoperability for Microwave Access)、LTE(Long Term Evolution)等の情報通信技術を用いて車両用装置4と無線通信を行う。通信部32は、車両2を移動させる指示信号を車両用装置4へ送信する。
ディスプレイ33は、文字や図形等の各種情報を表示し、携帯機器3のユーザに視覚的に情報を提示する表示装置である。例えば、液晶ディスプレイである。ディスプレイ33は、タッチパネル33aを備える。
タッチパネル33aは、ディスプレイ33に表示されたボタン領域へのユーザの接触を感知し、感知した位置情報を制御部31へ送信する。
記憶部34は、EEPROM(Electrical Erasable Programmable Read-Only memory)やフラッシュメモリ、磁気ディスクを備えたハードディスクドライブ等の不揮発性の記憶媒体である。記憶部34は、アプリケーション34a及びプログラム34bを記憶している。
アプリケーション34aは、携帯機器3から加速度データを送信するためのアプリケーション・ソフトウェアである。アプリケーション34aは、ユーザに起動スイッチが操作されて起動する。アプリケーション34aが起動すると、使用方法のメッセージが表示され、加速度の検出及び加速度データの送信を行う。
プログラム34bは、制御部31により読み出され、制御部31が携帯機器3を制御するために実行されるファームウェアである。
加速度センサ35は、携帯機器3に生じる加速度(端末加速度)を測定するセンサである。例えば、静電容量型や半導体ピエゾ抵抗型の3軸加速度センサである。加速度センサ35は、携帯機器3に生じた加速度を測定し、加速度データとして制御部31へ送信する。
制御部31の機能について説明する。制御部31は、信号送信部31a、表示制御部31b、及び加速度送信部31cを備える。
信号送信部31aは、ユーザが携帯機器3に対して駐車制御の開始操作を行った旨の開始信号、及び、駐車制御の終了操作を行った旨の終了信号を車両用装置4へ送信する。
表示制御部31bは、画像や文字等のデータをディスプレイ33に表示する。また、タッチパネル33aに入力されるタッチ位置に基づき、ディスプレイ33に表示する画像等を変化させる。また、ユーザに対するメッセージをディスプレイ33に表示する。
加速度送信部31cは、加速度センサ35から送信される加速度データを、通信部32を介して車両用装置4へ送信する。加速度データは、動作信号として機能する。
図4は、駐車制御を開始する際に、ディスプレイ33に表示されるユーザに対するメッセージ等の例である。駐車制御が開始されると、ディスプレイ33には、メッセージME、動作図DO、及び終了ボタンENが表示される。
メッセージMEは、駐車制御を開始する際に、ユーザへ通知すべき事項である。例えば、「駐車制御を開始します。この面の裏側を車に向け、ジェスチャで移動方向を指示して下さい。」との旨を示す事項である。ユーザはメッセージMEを参照することで、駐車制御が開始される旨を認識し、携帯機器3をどのように所持すべきか把握できる。
動作図DOは、携帯機器3を所持したユーザの動作の例を図示する。ユーザは動作図DOを参照することで、車両2の進行方向を制御するために、携帯機器3を所持してどのように動作すべきか理解できる。
終了ボタンENは、駐車制御のアプリケーションを終了させるためのボタンである。ユーザは駐車制御を希望しない場合、終了ボタンENを操作することで、駐車制御のアプリケーションを終了できる。ユーザによる終了ボタンENの操作は、タッチパネル33aにより制御部31へ入力される。アプリケーションの終了後は、加速度データの誤送信が防止され、安全性を高めることができる。
なお、以下の説明においては、図4に示す三次元直交座標系に基づき、方向及び向きを示す。直交座標系は、携帯機器3に相対的に固定される。前方向は携帯機器3の前面側(ユーザが通常の使用で参照する面)、後方向は携帯機器3の背面側である。右方向は携帯機器3の側面右側、左方向は携帯機器3の側面左側である。上方向は携帯機器3の上面側、下方向は携帯機器3の底面側である。以下の説明において、携帯機器3の前後、左右、及び上下と述べた場合には、図4の例による。
図5は、動作データ43aの例である。前述のように、動作データ43aはデータテーブルであり、第1認識部41a及び第2認識部41bに参照される各種データを包含する。
動作データ43aは、3つのデータ群を備える。すなわち、「ユーザの動作が示す動作指示」、「携帯機器に発生する主な加速度の態様」、及び「車載カメラがユーザを撮影して得られる画像」の各データである。各データは、各々関連付けられる。
「ユーザの動作が示す動作指示」は、車両の駐車制御における移動方向等を示すデータである。データの内容は、「後退」、「前進」、「左旋回」、「右旋回」、及び「停止」である。
「携帯機器に発生する主な加速度の態様」は、携帯機器3に発生する加速度の主な方向を示すデータである。データの内容は、「前から後へ加速度が発生(前後発生)」、「後から前へ加速度が発生(後前発生)」、「右から左へ加速度が発生(右左発生)」、「左から右へ加速度が発生(左右発生)」、及び「加速度の発生なし(発生なし)」である。
「車載カメラがユーザを撮影して得られる画像」は、車載カメラ22がユーザUSの前面を撮影して得られる画像に相当するデータである。複数の静止画像が連続し、動きを伴った動画として記録される。データの内容は、ユーザUSが携帯機器3を掲げて前から後ろへ振る動作(前後動作)、ユーザUSが携帯機器3を掲げて後ろから前へ振る動作(後前動作)、ユーザUSが携帯機器3を掲げて後ろから前へ振る動作(後前動作)、ユーザUSが携帯機器3を右から左へ振る動作(右左動作)、ユーザUSが携帯機器3を左から右へ振る動作(左右動作)、及び、ユーザUSが携帯機器3を静止する動作(静止動作)である。
各々関連付けられる各データは以下の通りである。「後退」に対して「前後発生」及び「後前動作」、「前進」に対して「後前発生」及び「後前動作」、「左旋回」に対して「右左発生」及び「右左動作」、「右旋回」に対して「左右発生」及び「左右動作」、「停止」に対して「発生なし」及び「静止動作」である。
<1−3.処理工程>
携帯機器3及び車両用装置4の処理工程を説明する。図6は携帯機器3の処理工程である。処理工程は、所定周期で繰り返し実行される。
制御部31が、ユーザにより駐車制御の開始ボタンが操作されたか否か判断する(ステップS101)。
制御部31が、開始ボタンが操作されていないと判断すると(ステップS101でNo)、処理は終了する。この場合、処理は所定周期後に、再度実行される。
一方、制御部31が、開始ボタンが操作されたと判断すると(ステップS101でYes)、信号送信部31aが車両用装置4へ開始信号を送信する(ステップS102)。これにより、車両用装置4は携帯機器3の開始ボタンが操作されたことを検出し、加速度データ及び画像データの認識を開始する。
信号送信部31aが開始信号を送信すると、表示制御部31bは、ディスプレイ33に図4で示したメッセージME、動作図DO、及び終了ボタンENを表示する(ステップS103)。これにより、ユーザは駐車制御が開始された旨、及び、どのような動作で車両2に移動方向等を指示すべきか把握できる。
加速度センサ35が加速度を検出し(ステップS104)、加速度送信部31cが加速度データとして車両用装置4へ送信する(ステップS105)。
次に、制御部31が、ユーザにより駐車制御の終了ボタンが操作されたか否か判断する(ステップS106)。
制御部31が、終了ボタンが操作されていないと判断すると(ステップS106でNo)、加速度の検出及び送信を再度実行する(ステップS104及びステップS105)。以後、ユーザが終了ボタンを操作するまで、ステップS104及びステップS105を繰り返し実行する。すなわち、携帯機器3に生じる加速度を車両用装置4に継続的に送信する。
一方、制御部31が、終了ボタンが操作されたと判断すると(ステップS106でYes)、信号送信部31aは、車両用装置4へ終了信号を送信する(ステップS107)。これにより、車両用装置4は携帯機器3の終了ボタンが操作されたことを認識できる。
信号送信部31aが車両用装置4へ終了信号を送信すると、処理は終了する。ユーザが駐車制御を終了すべき意思表示をした以上、もはや加速度データを車両用装置4に送信する必要はないからである。
図7及び図8は車両用装置4の処理工程である。
図7において処理が開始すると、制御部41が携帯機器3から開始信号を受信したか否か判断する(ステップS201)。
制御部41が開始信号を受信していないと判断すると(ステップS201でNo)、処理は終了する。この場合、処理は所定周期後に、再度実行される。
一方、制御部41は、開始信号を受信したと判断すると(ステップS201でYes)、携帯機器3から送信される加速度データを取得する(ステップS202)。
制御部41が加速度データを取得すると、第1認識部41aが動作データ43aを参照し、取得した加速度データに基づきユーザの動作が示す移動指示を認識する。すなわち、加速度の発生態様から、「後退」、「前進」、「左旋回」、「右旋回」、及び「停止」のいずれかの移動指示を認識する(ステップS203)。第1認識部41aは移動指示を認識すると、認識した移動指示の内容及び認識した時点の時間(認識時間)をRAMに保存する。
次に、制御部41は、車載カメラ22から送信される画像データを取得する(ステップS204)。
制御部41が画像データを取得すると、第2認識部41bが動作データ43aを参照し、取得した画像データに基づきユーザの動作が示す移動指示を認識する。すなわち、画像中のユーザの動作から、「後退」等のいずれかの移動指示を認識する(ステップS205)。第2認識部41bは移動指示を認識すると、認識した移動指示の内容及び認識した時点の時間(認識時間)をRAMに保存する。
第1認識部41a及び第2認識部41bが移動指示を認識すると、指示判定部41cは、RAMに保存された認識結果を参照し、第1認識部41a及び第2認識部41bの認識した移動指示が一致するか否か判断する(ステップS206)。
指示判定部41cが、第1認識部41a及び第2認識部41bの認識した移動指示が一致しないと判断すると(ステップS206でNo)、処理は図8のステップS213に移行する。ステップS213の処理は後述する。
一方、指示判定部41cは、第1認識部41a及び第2認識部41bの認識した移動指示が一致すると判断すると(ステップS206でYes)、認識結果を取得したタイミングが一致するか否か、すなわち認識が同時に行われたか否かを判断する(ステップS207)。指示判定部41cは、RAMに保存された認識時間を参照して対比することで、かかる判断を行う。
指示判定部41cが、移動指示の認識が同時に行われたと判断すると(ステップS207でYes)、処理は図8のステップS209へ移行する。この場合、第1認識部41a及び第2認識部41bの認識した移動指示は、ユーザの同一の動作に基づく移動指示とみなすことができる。
一方、指示判定部41cは、移動指示の認識が同時に行われないと判断すると(ステップS207でNo)、第1認識部41a及び第2認識部41bが移動指示を認識した時間の差が、所定時間内か否か判断する(ステップS208)。指示判定部41cは、所定時間が記憶された時間データ43bを参照し、移動指示を認識した時間差と所定時間とを対比することで、かかる判断を行う。
指示判定部41cは、移動指示を認識した時間の差が所定時間内でないと判断すると(ステップS208でNo)、処理は後述のステップS213(図8)へ移行する。
一方、指示判定部41cは、移動指示を認識した時間の差が所定時間内であると判断すると(ステップS208でYes)、移動指示の内容を判別する(ステップS209)。この場合、第1認識部41a及び第2認識部41bの認識した移動指示は、ユーザの同一の動作に基づく移動指示とみなすことができる。なお、ここで判別される移動指示の内容は、ステップS206の処理で指示判定部41cにより一致したと判定された認識結果である。すなわち、「後退」、「前進」、「左旋回」、「右旋回」、及び「停止」のいずれかである。
指示判定部41cが、移動指示が「停止」であると判断すると(ステップS209で「停止」)、移動制御部41dは車両2の停止制御を行う(ステップS212)。停止制御は、移動制御部41dが車両移動装置5のブレーキ制御部53を制御し、ブレーキ制御部53がブレーキ28を作動させ、車両2を停止させることである。これにより、ユーザの停止指示が車両2の動作に反映される。
一方、指示判定部41cが、移動指示が「後退」、「前進」、「左旋回」、及び「右旋回」のいずれかであると判断すると(ステップS209で「停止以外」)、移動制御部41dは車両2の移動制御を行う(ステップS210)。移動制御は、移動制御部41dが車両移動装置5のステアリング制御部51、スロットル制御部52、及びトランスミッション制御部54を制御して車両2を移動させることである。すなわち、各制御部(51、52、54)がステアリング26、電子スロットル27、及びトランスミッション29を作動させ、車両2を「後退」、「前進」、「左旋回」、及び「右旋回」のいずれかに移動させることである。これにより、ユーザの車両2を移動させる指示が車両2の動作に反映される。
移動制御部41dが車両2の移動制御を行うと、制御部41がクリアランスソナー24から送信される検知信号に基づき、車両2周辺に障害物があるか否か判断する(ステップS211)。
制御部41が車両2周辺に障害物がないと判断すると(ステップS211でNo)、処理は後述のステップS213に移行する。
一方、指示判定部41cが、移動指示が「停止」であると判断した場合(ステップS209で「停止」)、及び、制御部41が車両2周辺に障害物があると判断した場合(ステップS211でYes)は、移動制御部41dは車両2の停止制御を行う(ステップS212)。停止制御は、移動制御部41dが車両移動装置5のブレーキ制御部53を制御し、ブレーキ制御部53がブレーキ28を作動させ、車両2を停止させることである。これにより、ユーザの停止指示が車両2の動作に反映される。
移動制御部41dが車両2の停止制御を行うと(ステップS212)、処理はステップS213に移行する。ステップS213は、制御部41が携帯機器3から終了信号を受信したか否か判断する処理工程である。
制御部41が携帯機器3から終了信号を受信しないと判断すると(ステップS213でNo)、処理はステップS202に戻り、携帯機器3から加速度データを取得する処理以降を再度実行する。
一方、制御部41が携帯機器3から終了信号を受信したと判断すると(ステップS213でYes)、ボディ制御部41eは、IGスイッチ21をオフ状態に制御して、エンジンを停止する(ステップS214)。また、ドアロックを制御して車両2の施錠を行う(ステップS215)。施錠が行われると、処理は終了する。
以上の通り、本発明の実施の形態は、ユーザUSの動作に基づく移動指示について、当該動作に係るユーザUSの身体とともに移動する携帯機器3から送信される加速度データに基づいて認識する。また、かかる移動指示をユーザの動作を撮影する車載カメラ22の撮影結果に基づいて認識する。そして、加速度データに基づく認識結果及び撮影結果に基づく認識結果が一致する場合に、車両2を移動させる。これにより、ユーザUSの車両2を移動させるための指示を、撮影結果のみに基づくよりも確実に認識して車両2を移動できる。
<2.変形例>
以上、本発明の実施の形態を示した。しかし、本発明は上記実施の形態に限定されることはない。変形可能である。以下、変形例を説明する。なお、上記及び以下に説明する実施の形態は、適宜組み合わせできる。
上記実施の形態では、ユーザの動作を検知する機器として車載カメラ22を挙げた。しかし、車載カメラ22に替え、三次元レーザレーダでもよい。ユーザの動作を検知できる機器であればよい。
また、上記実施の形態では、第1認識部41a及び第2認識部41bによりユーザの動作が示す移動指示を認識した。しかし、第1認識部41a及び第2認識部41bを一つの認識部として構成してもよい。この場合、単体の認識部がユーザの動作が示す移動指示を認識する。
また、上記実施の形態では、加速度データと画像データとに基づき、ユーザの動作が示す移動指示を認識した。さらに、携帯機器3にマイクロフォンを備え、ユーザの音声に基づき、ユーザが示す移動指示を認識してもよい。例えば、ユーザが携帯機器3に「もう少し後ろに」と音声入力した場合は、「後退」と認識すればよい。この場合、加速度データ、画像データ、及び音声データのうち、2つ以上又は3つがユーザの動作が示す移動指示について一致した場合に車両2を移動させればよい。
また、上記実施の形態では、ユーザは携帯機器3を一定の向きに所持して移動指示の動作を行った。しかし、携帯機器3に電子コンパスを備え、電子コンパスの示す方位から携帯機器3に発生する主な加速度の態様を検出してもよい。携帯機器3は、加速度データと共に方位データを車両用装置4へ送信する。この場合、ユーザは携帯機器3を一定の向きに所持する必要がなく、ユーザの動作の自由度を向上できる。
また、上記実施の形態では、携帯機器3に発生する主な加速度の態様として、右から左(左から右)へ加速度が発生すると「左旋回」(「右旋回」)と認識して車両2を移動させた。この際、最初の加速度の発生で所定角度だけ旋回させ、続く加速度の発生で微小角度づつ旋回させることが好ましい。所定角度は例えば、15[°]であり、微小角度は例えば5[°]である。この場合、ユーザは指示に応じた旋回角度の微調整を行うことができ、旋回指示の利便性を向上できる。
また、加速度や動作の大きさに応じて旋回角度を異ならせてもよい。すなわち、大きな加速度及び動作を認識した場合は30[°]で車両2を旋回させ、小さな加速度及び動作を認識した場合は、5[°]で車両2を旋回させる。また、加速度や動作の大きさに比例して旋回角度を異ならせてもよい。このような手法によっても、旋回指示の利便性を向上できる。
また、上記実施の形態では、図7のステップS206において、指示判定部41cが、第1認識部41a及び第2認識部41bの認識した移動指示が一致しないと判断すると、制御部41が終了信号を受信したか否か判断した(ステップS213)。しかし、指示判定部41cが、両認識部(41a、41b)の認識した移動指示が一致しないと判断すると、移動制御部41dが車両2の移動を直ちに停止させてもよい。ユーザの指示内容が不明だからである。この場合、より安全性を向上できる。
また、上記実施の形態では、携帯機器3のディスプレイ33にボタンを表示し、ボタンをタップ操作(タッチパネルを指で押す操作)することで、前後左右への移動方向と距離を指示してもよい。また、異なる操作で移動方向と距離を指示してもよい。いわゆる、スワイプ操作(タッチパネルを指で押しつつ、一定方向へ掃くように動かす操作)でもよい。すなわち、タッチパネル33aをスワイプ操作し、タッチパネル33a上を動く指の方向と距離により、車両2を移動させる方向と距離を指示してもよい。
また、車両2の移動中は、図示しないスピーカから警告音を発してもよい。この場合、ユーザ及び車両2周囲の歩行者等に車両2の移動を警告でき、安全性を向上できる。また、移動開始前から継続的に警告音を発することが好ましい。車両2の移動を周囲に予告し、さらに安全性を向上できる。
また、上記実施の形態では、車両制御システム1は、車両に搭載されると説明したが、車両には自動車のほか二輪車、鉄道、航空機、及び船舶等の輸送用機器を含む。また、車両には民生用のほか軍事用を含み、自家用のほか業務用を含む。また、車両制御システム1は、車両のみならずエレベータやエスカレータ等の昇降機に設置してもよい。要するに、移動制御が必要となる機器に設置すればよい。
1 車両制御システム
2 車両
3 携帯機器
4 車両用装置
5 車両移動装置

Claims (7)

  1. 車両に用いられる車両用装置であって、
    前記車両を移動させるためのユーザの動作に基づく移動指示を、前記動作に係るユーザの身体とともに移動する携帯機器から送信される動作信号に基づいて認識する第1認識手段と、
    前記移動指示を、前記ユーザの動作を検知する検知手段の検知結果に基づいて認識する第2認識手段と、
    前記第1認識手段の認識結果及び前記第2認識手段の認識結果が一致する場合に、前記車両を移動させる移動手段と、
    を備えることを特徴とする車両用装置。
  2. 請求項1に記載の車両用装置において、
    前記移動手段は、前記第1認識手段の認識結果及び前記第2認識手段の認識結果が得られる時間差が所定時間内の場合に、前記車両を移動させることを特徴とする車両用装置。
  3. 請求項1に記載の車両用装置において、
    前記移動手段は、前記第1認識手段の認識結果と前記第2認識手段の認識結果とが同時に得られた場合に、前記車両を移動させることを特徴とする車両用装置。
  4. 請求項1ないし3のいずれかに記載の車両用装置において、
    前記携帯機器は加速度センサを備え、
    前記動作信号は前記加速度センサで得られる加速度データを含む、
    ことを特徴とする車両用装置。
  5. 請求項1ないし4のいずれかに記載の車両用装置において、
    前記検知手段はカメラであり、
    前記検知結果は、前記カメラが前記ユーザの動作を撮像して得られた画像データであることを特徴とする車両用装置。
  6. 車両を制御する車両制御システムであって、
    前記車両に用いられる車両用装置と、
    加速度センサを備えた携帯機器と、
    前記車両を移動させるためのユーザの動作を検知する検知手段と、
    を備え、
    前記携帯機器は、
    前記動作にかかるユーザの身体とともに移動し、
    加速度データを含む動作信号を前記車両用装置に送信する送信手段、
    を備え、
    前記車両用装置は、
    前記ユーザの動作に基づく移動指示を、前記携帯機器から送信される前記動作信号に基づいて認識する第1認識手段と、
    前記移動指示を、前記検知手段の検知結果に基づいて認識する第2認識手段と、
    前記第1認識手段の認識結果と前記第2認識手段の認識結果とが一致する場合に、前記車両を移動させる移動手段と、
    を備える、
    ことを特徴とする車両制御システム。
  7. 車両を制御する車両制御方法であって、
    (a)前記車両を移動させるためのユーザの動作に基づく移動指示を、前記動作にかかるユーザの身体とともに移動する携帯機器から送信される動作信号に基づいて認識する工程と、
    (b)前記移動指示を、前記ユーザの動作を検知する検知手段の検知結果に基づいて認識する工程と、
    (c)前記第1認識手段の認識結果と前記第2認識手段の認識結果とが一致する場合に、前記車両を移動させる工程と、
    を備えることを特徴とする車両制御方法。
JP2014141206A 2014-06-25 2014-07-09 車両用装置、車両制御システム、車両制御方法 Active JP6393537B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014141206A JP6393537B2 (ja) 2014-07-09 2014-07-09 車両用装置、車両制御システム、車両制御方法
US14/742,220 US9731714B2 (en) 2014-06-25 2015-06-17 Vehicle apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014141206A JP6393537B2 (ja) 2014-07-09 2014-07-09 車両用装置、車両制御システム、車両制御方法

Publications (2)

Publication Number Publication Date
JP2016018413A true JP2016018413A (ja) 2016-02-01
JP6393537B2 JP6393537B2 (ja) 2018-09-19

Family

ID=55233589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014141206A Active JP6393537B2 (ja) 2014-06-25 2014-07-09 車両用装置、車両制御システム、車両制御方法

Country Status (1)

Country Link
JP (1) JP6393537B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019106009A (ja) * 2017-12-12 2019-06-27 東芝ライフスタイル株式会社 自律走行体および自律走行体システム
JP2019119233A (ja) * 2017-12-28 2019-07-22 日産自動車株式会社 駐車制御方法及び駐車制御装置
JP2019144756A (ja) * 2018-02-19 2019-08-29 株式会社デンソーテン 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法
CN110194150A (zh) * 2018-02-27 2019-09-03 本田技研工业株式会社 车辆控制系统、车辆控制方法及存储介质
WO2019188429A1 (ja) * 2018-03-29 2019-10-03 住友電気工業株式会社 動体管理装置、動体管理システム、動体管理方法、及びコンピュータプログラム
JP2020144711A (ja) * 2019-03-07 2020-09-10 本田技研工業株式会社 車両制御システムおよび車両制御方法
CN111918807A (zh) * 2018-03-28 2020-11-10 日立汽车系统株式会社 车辆控制装置以及车辆控制系统
US10930162B2 (en) 2016-06-13 2021-02-23 SZ DJI Technology Co., Ltd. Unmanned aerial vehicle, delivery system, control method for unmanned aerial vehicle, and program for controlling unmanned aerial vehicle
JP2021185662A (ja) * 2017-07-25 2021-12-09 トヨタ自動車株式会社 車両遠隔操作システムおよび操作端末
CN113949811A (zh) * 2021-10-14 2022-01-18 广州威拓电子科技有限公司 一种拍摄车辆的方法和装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019065052A1 (ja) * 2017-09-26 2019-04-04 ジヤトコ株式会社 携帯端末、携帯端末に実行させるプログラム、キャリブレーションシステム及びキャリブレーション方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002251234A (ja) * 2001-02-23 2002-09-06 Fujitsu Ltd 複数のセンサによるヒューマンインタフェースシステム
JP2008174192A (ja) * 2007-01-22 2008-07-31 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2011027425A (ja) * 2009-07-21 2011-02-10 Tokai Rika Co Ltd カーファインダシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002251234A (ja) * 2001-02-23 2002-09-06 Fujitsu Ltd 複数のセンサによるヒューマンインタフェースシステム
JP2008174192A (ja) * 2007-01-22 2008-07-31 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2011027425A (ja) * 2009-07-21 2011-02-10 Tokai Rika Co Ltd カーファインダシステム

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10930162B2 (en) 2016-06-13 2021-02-23 SZ DJI Technology Co., Ltd. Unmanned aerial vehicle, delivery system, control method for unmanned aerial vehicle, and program for controlling unmanned aerial vehicle
JP2021185662A (ja) * 2017-07-25 2021-12-09 トヨタ自動車株式会社 車両遠隔操作システムおよび操作端末
JP2019106009A (ja) * 2017-12-12 2019-06-27 東芝ライフスタイル株式会社 自律走行体および自律走行体システム
JP2019119233A (ja) * 2017-12-28 2019-07-22 日産自動車株式会社 駐車制御方法及び駐車制御装置
JP7081148B2 (ja) 2017-12-28 2022-06-07 日産自動車株式会社 駐車制御方法及び駐車制御装置
JP2019144756A (ja) * 2018-02-19 2019-08-29 株式会社デンソーテン 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法
JP7032950B2 (ja) 2018-02-19 2022-03-09 株式会社デンソーテン 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法
JP2019147487A (ja) * 2018-02-27 2019-09-05 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
JP6994982B2 (ja) 2018-02-27 2022-01-14 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
US11230283B2 (en) 2018-02-27 2022-01-25 Honda Motor Co., Ltd. Vehicle control system, vehicle control method, and storage medium
CN110194150B (zh) * 2018-02-27 2022-05-31 本田技研工业株式会社 车辆控制系统、车辆控制方法及存储介质
CN110194150A (zh) * 2018-02-27 2019-09-03 本田技研工业株式会社 车辆控制系统、车辆控制方法及存储介质
CN111918807A (zh) * 2018-03-28 2020-11-10 日立汽车系统株式会社 车辆控制装置以及车辆控制系统
JPWO2019188429A1 (ja) * 2018-03-29 2021-04-15 住友電気工業株式会社 動体管理装置、動体管理システム、動体管理方法、及びコンピュータプログラム
WO2019188429A1 (ja) * 2018-03-29 2019-10-03 住友電気工業株式会社 動体管理装置、動体管理システム、動体管理方法、及びコンピュータプログラム
JP7294323B2 (ja) 2018-03-29 2023-06-20 住友電気工業株式会社 動体管理装置、動体管理システム、動体管理方法、及びコンピュータプログラム
JP2020144711A (ja) * 2019-03-07 2020-09-10 本田技研工業株式会社 車両制御システムおよび車両制御方法
US11475690B2 (en) 2019-03-07 2022-10-18 Honda Motor Co., Ltd. Vehicle control system and vehicle control method
CN113949811A (zh) * 2021-10-14 2022-01-18 广州威拓电子科技有限公司 一种拍摄车辆的方法和装置

Also Published As

Publication number Publication date
JP6393537B2 (ja) 2018-09-19

Similar Documents

Publication Publication Date Title
JP6393537B2 (ja) 車両用装置、車両制御システム、車両制御方法
US9731714B2 (en) Vehicle apparatus
CN113460037A (zh) 驻车辅助系统
CN109416877B (zh) 驾驶辅助方法、驾驶辅助装置、驾驶辅助系统
CN112124093A (zh) 驻车辅助系统
JP2018163112A (ja) 自動駐車制御方法およびそれを利用した自動駐車制御装置、プログラム
US11181909B2 (en) Remote vehicle control device, remote vehicle control system, and remote vehicle control method
US11584364B2 (en) Vehicle control device, vehicle, operation method for vehicle control device and storage medium
CN111746507B (zh) 车辆控制系统
CN112124091A (zh) 驻车辅助系统
CN112124092A (zh) 驻车辅助系统
CN111746512B (zh) 车辆控制系统
US11292484B2 (en) Vehicle control device, vehicle, and vehicle control method
JP7000401B2 (ja) 車両制御装置、車両、車両制御装置の動作方法およびプログラム
JP7123845B2 (ja) 車両制御システム
CN112977257A (zh) 车辆的显示装置和停车辅助系统
CN113044024B (zh) 车辆控制系统
WO2021200680A1 (ja) リモート駐車システムおよびそれに用いられる駐車支援制御装置
CN115118807B (zh) 远程操作系统
KR20130076214A (ko) 운전자의 포인팅 제스처를 이용한 차량 구동 장치 및 그 방법
JP7177641B2 (ja) 車両制御装置、車両制御方法、およびプログラム
US20240042990A1 (en) Control device, control method, and storage medium storing control program
JP2017027456A (ja) ジェスチャ操作システム、方法およびプログラム
CN112977417A (zh) 驻车辅助系统
JP2021160500A (ja) リモート駐車システムおよびそれに用いられる駐車支援制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180320

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180827

R150 Certificate of patent or registration of utility model

Ref document number: 6393537

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250