JP2020009371A - 運転評価装置及び運転評価方法 - Google Patents

運転評価装置及び運転評価方法 Download PDF

Info

Publication number
JP2020009371A
JP2020009371A JP2018132456A JP2018132456A JP2020009371A JP 2020009371 A JP2020009371 A JP 2020009371A JP 2018132456 A JP2018132456 A JP 2018132456A JP 2018132456 A JP2018132456 A JP 2018132456A JP 2020009371 A JP2020009371 A JP 2020009371A
Authority
JP
Japan
Prior art keywords
driving
evaluation
driving operation
vehicle
evaluation result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018132456A
Other languages
English (en)
Other versions
JP7320928B2 (ja
Inventor
翔太 大久保
Shota Okubo
翔太 大久保
井上 裕史
Yasushi Inoue
裕史 井上
乘 西山
Nori Nishiyama
乘 西山
剛仁 寺口
Takehito Teraguchi
剛仁 寺口
雄宇 志小田
Yuu Shioda
雄宇 志小田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2018132456A priority Critical patent/JP7320928B2/ja
Publication of JP2020009371A publication Critical patent/JP2020009371A/ja
Application granted granted Critical
Publication of JP7320928B2 publication Critical patent/JP7320928B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

【課題】運転傾向に対する運転操作の評価結果を考慮したうえで、運転者に適切なアドバイスを行うことが可能な運転評価装置及び運転評価方法を提供する。【解決手段】乗員による運転操作を検出し、運転規範に基づいた第1評価軸と過去の運転評価履歴に基づいた第2評価軸とに基づいて、乗員の運転操作を評価し、運転操作の評価結果に応じた所定の感情を設定し、所定の感情に応じて、運転操作の評価結果に関する内容の出力態様を変更させる。【選択図】 図1

Description

本発明は、運転評価装置及び運転評価方法に関する。
ドライバに対して運転アドバイスの出力を行う車両における対話システムにおいて、運転操作情報から推定されるドライバの運転操作を、規範となる運転操作を基準として評価する運転評価手段と、出力した運転アドバイスに対するドライバの反応を、運転アドバイス出力後のドライバの運転操作の変化に基づいて評価する反応評価手段と、ドライバへの運転アドバイスの出力内容に運転評価結果を反映させると共に、運転アドバイスの表現方法に反応評価結果を反映させる出力制御手段とを備える対話システムが知られている(特許文献1)。この対話システムでは、運転アドバイスとしては、運転規範に沿う運転操作を運転操作履歴に応じた内容で教示するものであることが望ましいとされており、例えば、運転傾向が改善傾向にある場合、改善傾向である旨を出力する。
特開2006−350567号公報
運転傾向は、運転者に特有のものであるため運転者ごとに異なる。また、運転傾向は、同じ運転者であっても、運転時の心境や気分などの内的要因や車両周辺の環境などの外的要因に応じて変化する。上記対話システムでは、運転傾向に対する運転操作の評価を行わないため、運転者に適切なアドバイスを行うことができない、という問題がある。
本発明が解決しようとする課題は、運転傾向に対する運転操作の評価結果を考慮したうえで、運転者に適切なアドバイスを行うことが可能な運転評価装置及び運転評価方法を提供することである。
本発明は、乗員による運転操作を検出し、運転規範に基づいた第1評価軸と過去の運転評価履歴に基づいた第2評価軸とに基づいて、乗員の運転操作を評価し、運転操作の評価結果に応じた所定の感情を設定し、所定の感情に応じて、運転操作の評価結果に関する内容の出力態様を変更させることで、上記課題を解決する。
本発明によれば、運転傾向に対する運転操作の評価結果を考慮したうえで、運転者に適切なアドバイスを行うことができる。
図1は、本実施形態に係る運転評価システムのブロック構成図を示す図である。 図2は、本実施形態に係るコントローラが実現する機能を表したブロック図である。 図3は、運転操作が評価された走行場面の一例である。 図4は、図3に示す走行場面での運転操作の評価結果の一例である。 図5は、運転操作が評価された走行場面の他の例である。 図6は、図5に示す走行場面での運転操作の評価結果の一例である。
以下、本発明の実施形態を図面に基づいて説明する。
図1は、本実施形態に係る運転評価システムの構成を示す図である。図1に示すように、本実施形態では、運転評価システムを車両100に搭載した構成を例に挙げて説明する。本実施形態に係る運転評価装置は、コントローラ190を備えているものとする。
車両100は、センサ群110と、周囲検出装置120と、ナビゲーション装置130と、外部情報取得装置140と、室内カメラ150と、ディスプレイ160と、スピーカ170と、データベース180と、コントローラ190と、を備える。これらの装置は、相互に情報の授受を行うためにCAN(Controller Area Network)その他の車載LANによって接続されている。
本実施形態の車両100としては、電動モータを駆動源として備える電気自動車、内燃機関を駆動源として備えるエンジン自動車、電動モータ及び内燃機関の両方を駆動源として備えるハイブリッド自動車を例示できる。なお、電動モータを駆動源とする電気自動車やハイブリッド自動車には、二次電池を電動モータの電源とするタイプや燃料電池を電動モータの電源とするタイプのものも含まれる。
センサ群110は、車両の走行状態を検出する装置で構成されている。具体的には、本実施形態のセンサ群110は、車速センサ111、エンジン回転数センサ112、アクセル開度センサ113、ブレーキ開度センサ114、操舵角センサ115、シフトレバーセンサ116で構成されている。
車速センサ111は、ドライブシャフトなどの駆動系の回転速度を計測し、これに基づいて車両の走行速度(以下、車速ともいう)を検出する。車速センサ111は、車速情報をコントローラ190に出力する。なお、本実施形態では、車両100は、車速センサ111に代えて又はこれとともに加速度センサを備える構成であってもよい。
エンジン回転数センサ112は、エンジン回転数を検出し、エンジン回転数の情報をコントローラ190に出力する。アクセル開度センサ113は、アクセルペダルの操作量を検出し、アクセルペダルの操作量の情報をコントローラ190に出力する。ブレーキ開度センサ114は、ブレーキペダルの操作量を検出し、ブレーキペダルの操作量の情報をコントローラ190に出力する。操舵角センサ115は、ステアリングの操舵角を検出し、ステアリングの操舵角の情報をコントローラ190に出力する。シフトレバーセンサ116は、シフトレバーの位置(シフトレバーポジション)を検出し、シフトレバーの位置情報をコントローラ190に出力する。
なお、センサ群110の構成は一例であって、他のセンサが含まれていてもよい。例えば、車両100が、方向指示器を操作可能な方向指示スイッチ、ヘッドライトを操作可能なライトスイッチ、ハザードを操作可能なハザードスイッチを備えていたとする。この場合、センサ群110には、方向指示スイッチの位置を検出するセンサ、ライトスイッチの位置を検出するセンサ、ワイパースイッチの位置を検出するセンサ、ハザードスイッチのオン又はオフを検出するセンサが含まれてもよい。
周囲検出装置120は、車両100の周辺に存在する対象物を検出する。周囲検出装置120としては、車載カメラ121、レーダー122が挙げられる。車載カメラ121は、車両100の周辺を撮像する。車載カメラ121は、例えば、車両100の前方を撮像する前方カメラ、車両100の後方を撮像する後方カメラ、車両100の側方を撮像する側方カメラで構成される。レーダー122は、車両100の周辺に存在する障害物を検出する。レーダー122は、例えば、車両100の前方に存在する障害物を検出する前方レーダー、車両100の後方に存在する障害物を検出する後方レーダー、車両100の側方に存在する障害物を検出する側方レーダーで構成される。レーダー122は、車両100から障害物までの距離及び障害物が存在する方向を検出する。
周囲検出装置120が検出する対象物としては、歩行者、自転車、バイク、自動車、路上障害物、交通信号機、路面標示、および横断歩道などが挙げられる。なお、周囲検出装置120として、上述した車載カメラ121、レーダー122のうちいずれか1つを用いる構成としてもよいし、2種類以上を組み合わせる構成としてもよい。周囲検出装置120は、撮像した情報や検出結果を、周辺情報としてコントローラ190に出力する。
ナビゲーション装置130は、GPS131により検出された車両100の位置情報に基づいて、車両100の現在位置から目的地までの経路を示して運転者を誘導する。ナビゲーション装置130は、地図情報を有しており、車両100の位置情報と目的地の位置情報から、車両100の走行経路を算出する。ナビゲーション装置130は、車両100の位置情報及び車両100の走行経路の情報をコントローラ190に出力する。車両100の走行経路には、実際に車両100が走行した経路及びこれから車両100が走行する予定の経路が含まれる。
外部情報取得装置140は、車両100の外部に存在するネットワークと接続し、車両100の外部環境の情報を取得する。外部情報取得装置140としては、通信回線を介して、所定の周期で、車外のネットワークから各種情報を取得する装置が挙げられる。例えば、外部情報取得装置140は、VICS(登録商標)システムから、道路渋滞情報、道路工事情報、事故情報を取得する。また、例えば、外部情報取得装置140は、外部サーバから天気情報を取得する。外部情報取得装置140は、車外から取得した情報をコントローラ190に出力する。なお、外部情報取得装置140は、外部サーバから情報を取得することに限られず、ネットワーク上で必要な情報を検索し、検索結果に応じて、情報を管理するサーバにアクセスすることができる。
また、外部情報取得装置140は、通信回線を介して外部環境の情報を取得する装置に限られず、例えば、外気温を検出する外気温センサ、湿度を検出する湿度センサ、雨滴を検出する雨滴センサであってもよい。外気温センサは、検出結果として外気温の情報をコントローラ190に出力する。湿度センサは、検出結果として湿度の情報をコントローラ190に出力する。雨滴センサは、検出結果として雨滴の情報をコントローラ190に出力する。
室内カメラ150は、車両100の乗員を撮像可能な位置に設けられ、乗員を撮像する。本実施形態では、室内カメラ150は、車両100の乗員のうち運転者を撮像する。室内カメラ150は、運転者の視線を含む運転者の表情や、運転者による運転操作を撮像できる位置に設けるのが好ましい。室内カメラ150は、運転者の撮像画像の情報をコントローラ190に出力する。
ディスプレイ160は、車両100の乗員に映像情報を出力する。本実施形態では、ディスプレイ160は、運転者の近傍に設けられ、運転者に対して映像情報を出力する。ディスプレイ160には、コントローラ190から映像情報が入力される。映像情報としては、例えば、コントローラ190により生成された人間の顔の情報、後述する機械音声に対応した文字情報などが挙げられる。
スピーカ170は、車両100の乗員に音声情報を出力する。本実施形態では、スピーカ170は、運転者の近傍に設けられ、運転者に対して音声情報を出力する。スピーカ170には、コントローラ190から音声情報が入力される。音声情報としては、例えば、コントローラ190により生成された機械音声や、アラーム等の報知音が挙げられる。
データベース180は、複数種の情報を格納している。データベース180は、車両100の運転者についての運転操作の評価結果の履歴(以降では、運転操作評価履歴ともいう)を格納する。運転操作評価履歴は、運転履歴に紐づけられており、データベース180は、運転履歴ごとに、運転操作評価履歴を格納している。運転操作評価履歴には、時系列に沿った運転操作に対する評価結果が含まれている。また運転履歴には、運転操作の内容に関する情報、運転操作を行った際の車両100の走行状態の情報、運転操作を行った際の車両100の外部情報が含まれる。
データベース180には、コントローラ190が運転操作の評価をするたびに、コントローラ190から運転操作の評価結果が入力され、運転操作の評価結果は、データベース180に蓄積される。運転操作の評価結果については後述する。
また、データベース180は、後述する運転操作の評価に用いられる複数の規範モデルを格納している。規範モデルとは、運転操作を評価する際に比較対象となる運転操作である。運転者による運転操作がこの規範モデルに該当する場合には、高い評価が得られる。規範モデルには、走行場面に応じた複数種の運転操作が含まれている。規範モデルは、例えば、信号機が赤色の場合には車両が停止位置を超えて進行してはならない運転操作など、いわゆる交通規則に遵守する運転操作をベースとして作成されている。さらに、規範モデルには、交通規則としては扱われていないが、交通規則を遵守したうえで、運転者間では共通認識とされている運転操作や、運転者間では慣習的に守られている運転操作など、いわゆる運転マナーとして比較的良いとされる運転操作も含まれる。
交通規則に遵守する運転操作としては、例えば、信号機が青色から黄色に切り替わった場面では、停止位置に近接しているため安全に停止することができない場合を除いて、車両が停止位置を超えて進行してはならない運転操作が挙げられる。また、例えば、私有地や駐車場から公道に左折しようとする他車両がいる場面では、他車両の公道への合流を優先させる義務はないが、他車両を優先させることは、運転マナーが比較的良いとされている。規範モデルには、このような運転マナーとして比較的良いとされる運転操作が含まれている。運転者が他車両を優先させる運転操作を行った場合には、運転操作と規範モデルとの比較結果から、運転者は高い評価が得られる。
また、データベース180は、予め設定された複数種の映像情報及び複数種の音声情報を格納する。映像情報及び音声情報は、感情パラメータに紐づけられており、感情パラメータごとに、データベース180に格納されている。感情パラメータとは、予め設定されたパラメータであり、人間が持つ感情を示すものである。感情パラメータとしては、例えば、安心、信頼、不安、戸惑い、心配、期待、感心、喜び、驚き、悲しみなどが挙げられる。本実施形態では、感情パラメータには、これらの感情のうち少なくとも一つが含まれる。なお、感情パラメータは、上記の感情表現に限られず、他の感情表現であってもよい。
映像情報は、感情パラメータごとに異なる情報であり、人間の感情が表現された映像情報である。映像情報としては、例えば、人間の顔の表情が挙げられる。例えば、感情パラメータ「安心」に対応した表情としては、落ち着いた様子を示す表情が挙げられる。また例えば、感情パラメータ「悲しみ」に対応した表情としては、涙を流している表情が挙げられる。映像情報は、運転者に対して感情が伝わるように、いわゆるデフォルメした表情であることが好ましい。
また音声情報は、感情パラメータごとに異なる情報であり、人間の感情が表現された音声情報である。音声情報としては、例えば、定型的な発話文が挙げられる。例えば、感情パラメータ「信頼」に対応した発話文としては、「さすがですね。」などが挙げられる。後述するコントローラ190は、上述した映像情報及び音声情報を用いることで、感情パラメータに応じた出力態様にて、運転者に運転操作の評価結果に関する情報を出力することができる。
データベース180には、コントローラ190から感情パラメータが入力され、データベース180は、コントローラ190からアクセスされるたびに、感情パラメータに対応した特定の映像情報及び音声情報をコントローラ190に出力する。
コントローラ190は、運転者に対して運転操作の評価結果に関する内容を出力するための処理を実行するプログラムを格納したROM(Read Only Memory)と、このROMに格納されたプログラムを実行するCPU(Central Processing Unit)と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)から構成される。なお、動作回路としては、CPUに代えて又はこれとともに、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)などを用いることができる。
コントローラ190は、ROMに格納されたプログラムをCPUにより実行することにより、運転者に対して運転操作の評価結果に関する内容を出力するための処理を実現する。
コントローラ190が実現する機能については、図2を用いながら説明する。図2は、コントローラ190が実現する機能を表したブロック図である。
図2に示すように、コントローラ190は、車両情報取得部191と、走行場面検出部192と、運転操作検出部193と、運転操作評価履歴取得部194と、運転操作評価部195と、感情設定部196と、出力内容生成部197と、音声出力部198と、映像出力部199とで構成されている。以降では、各ブロックの機能について説明する。
まず、車両情報取得部191について説明する。車両情報取得部191は、車両100に関する情報を取得する。車両情報取得部191は、センサ群110から各センサの検出結果を取得する。各センサの検出結果には、車速、エンジン回転数、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングの操舵角、シフトレバーの位置が含まれる。
また、車両情報取得部191は、周囲検出装置120から周辺情報を取得する。周辺情報には、車両100の周辺に存在する障害物の有無、障害物の種別、障害物までの距離、障害物が存在する方向が含まれる。
また、車両情報取得部191は、ナビゲーション装置130から車両100の位置及び走行経路を取得する。また、車両情報取得部191は、外部情報取得装置140から外部環境の情報を取得する。外部環境の情報には、道路渋滞情報、道路工事情報、事故情報、天気情報が含まれる。また、車両情報取得部191は、室内カメラ150から運転者の撮像画像を取得する。
車両情報取得部191は、取得した各種情報を、走行場面検出部192と、運転操作検出部193に出力する。
次に、走行場面検出部192について説明する。走行場面検出部192は、車両情報取得部191により取得された情報から、車両100が走行している走行場面を検出する。走行場面検出部192は、車両100の走行状態の情報と、車両100の周辺環境の情報に基づいて、走行場面を検出する。
走行場面検出部192は、車両情報取得部191が取得した情報に基づいて、総合的な観点から、車両100の走行場面を検出する。例えば、車両100が渋滞中の高速道路を走行していたとする。走行場面検出部192は、車速が所定の閾値(例えば、高速道路における車両の平均速度)よりも遅く、かつ、車両100の走行位置が高速道路に該当する場合、車両100が渋滞中の高速道路を走行していると判断し、渋滞中の高層駆動路を車両100の走行場面として検出する。
なお、特定の情報から走行場面を検出する必要はなく、走行場面検出部192は、車両情報取得部191が取得した一又は複数の情報を用いて、車両100の走行場面を検出する。上述の例の場合、例えば、走行場面検出部192は、車両100の周辺の撮像画像に、車間距離を詰めて複数の車両が走行している状況が写し出されている場合、車両100が渋滞中の道路を走行していると判断してもよい。また、例えば、走行場面検出部192は、走行中の高速道路に関する交通渋滞情報から、直接的に車両100が走行している高速道路が渋滞中と判断してもよい。
走行場面検出部192は、車両100の走行場面の情報を、運転操作評価部195に出力する。
次に、運転操作検出部193について説明する。運転操作検出部193は、車両情報取得部191により取得された情報から、運転者による運転操作を検出する。具体的には、運転操作検出部193は、センサ群110等からの情報に基づいて、運転者により行われたアクセルペダル操作、ブレーキペダル操作、ステアリング操作、及びシフトレバー操作を検出する。また、方向指示スイッチの位置を検出するセンサ、ライトスイッチの位置を検出するセンサ、ワイパースイッチの位置を検出するセンサ、ハザードスイッチのオン又はオフを検出するセンサがセンサ群110に含まれている場合には、運転操作検出部193は、方向指示スイッチの操作、ライトスイッチの操作、ワイパースイッチの操作、ハザードスイッチの操作を検出する。なお、運転操作の検出方法は、上記の方法に限定されるものではなく、例えば、室内カメラ150により撮像画像から、運転者が操作しているスイッチや器具を特定するとともに、運転者の姿勢からどのような運転操作をしているかを推定してもよい。
次に、運転操作評価履歴取得部194について説明する。運転操作評価履歴取得部194は、データベース180から、過去の運転操作評価履歴を取得し、運転操作評価部195に出力する。
次に、運転操作評価部195について説明する。運転操作評価部195は、運転規範に基づいた第1評価軸と、過去の運転操作評価履歴に基づいた第2評価軸とに基づいて、乗員の運転操作を評価する。第1評価軸とは、運転規範に対する優劣の程度を示す軸である。運転規範には、上述した規範モデルとして設定された複数種の運転操作が含まれる。また第2評価軸とは、過去の運転操作の評価結果の傾向に対しての優劣の程度を示す軸である。運転操作評価部195は、各評価軸に対して個別に運転操作の評価を行う。
運転操作が評価されるまでの具体的な流れを説明する。まず、運転操作評価部195は、第1評価軸に対しての運転操作の評価を行う。運転操作評価部195は、データベース180から、複数の規範モデルを取得する。次に、運転操作評価部195は、複数の規範モデルから走行場面に対応する規範モデルを抽出する。そして、運転操作評価部195は、抽出した規範モデルと運転操作を比較し、運転操作を評価する。これにより、現在の走行場面に対応する運転規範を評価基準とした運転操作の評価を行うことができる。運転操作の評価方法としては、例えば、「良い」と「悪い」の2つのレベルで評価する方法、点数により評価する方法が挙げられる。
次に、運転操作評価部195は、第2評価軸に対して運転操作の評価を行う。運転操作評価部195は、過去の運転操作評価履歴から、現在から所定期間前までの運転操作評価履歴を抽出する。所定期間は特に限定される期間ではなく、実験的に求められた期間である。運転操作評価部195は、抽出した運転操作評価履歴から、さらに現在の走行場面と同一又は類似する走行場面における運転操作評価履歴を抽出する。
そして、運転操作評価部195は、抽出された運転操作評価履歴から、最近の運転操作の評価結果の傾向を分析して、運転操作の評価結果の傾向を特定する。最近の運転操作の評価結果とは、現在から所定期間前までの一連の運転操作の評価結果である。所定期間は特に限定されず、所定期間としては、例えば、数時間、数日、数週、数か月が挙げられる。
例えば、特定の走行場面において、「良い」評価結果が継続している運転操作の評価履歴がある場合、運転操作評価部195は、この走行場面における運転操作には、「良い」傾向があると判断する。反対に、例えば、特定の走行場面において、「悪い」評価結果が継続している運転操作の評価履歴がある場合、運転操作評価部195は、この走行場面における運転操作には、「悪い」傾向があると判断する。また、例えば、特定の走行場面において、「良い」評価結果と「悪い」評価結果がランダムに繰り返されている運転操作の評価履歴がある場合、運転操作評価部195は、この走行場面における運転操作には傾向が無いと判断する。運転操作評価部195は、走行場面ごとに、運転操作の評価結果の傾向を特定する。
運転操作評価部195は、運転操作評価結果の傾向を特定する処理が終了した後、第1評価軸に対しての運転操作の評価と、運転操作の評価履歴に基づく評価結果の傾向とを比較し、第2評価軸に対しての運転操作の評価を行う。
例えば、今回の運転操作が規範モデル(運転規範ともいう)に対しては「良い」評価であり、かつ、今回の走行場面における運転操作の傾向として「悪い」傾向がある場合、コントローラ190は、今回の運転操作はこれまでの運転操作の評価結果の傾向に対して良いと判断し、今回の運転操作を「普段より良い」と評価する。
また例えば、今回の運転操作が運転規範に対しては「悪い」評価であり、かつ、今回の走行場面における運転操作の傾向として「良い」傾向がある場合、コントローラ190は、今回の運転操作はこれまでの運転操作の評価結果の傾向に対して悪いと判断し、今回の運転操作を「普段より悪い」と評価する。
また例えば、今回の運転操作が運転規範に対しては「良い」評価であり、かつ、今回の走行場面における運転操作の傾向として「良い」傾向がある場合、コントローラ190は、今回の運転操作はこれまでの運転操作の評価結果の傾向と同様と判断し、今回の運転操作を「普段と同じ」と評価する。
また例えば、今回の運転操作が運転規範に対しては「悪い」評価であり、かつ、今回の走行場面における運転操作の傾向として「悪い」傾向がある場合、コントローラ190は、今回の運転操作はこれまでの運転操作の評価結果の傾向と同様と判断し、今回の運転操作を「普段と同じ」と評価する。
なお、上記の説明では、運転規範に対する評価及び運転操作の傾向を「良い」、「悪い」の2通りで評価する場合を例に挙げて説明したため、運転規範に対する評価及び運転操作の評価結果の傾向の組み合わせとして4つのパターンを挙げ、それぞれのパターンでの第2評価軸に対する評価を説明したが、第2評価軸に対する評価はこれに限られない。例えば、運転規範に対する評価及び運転操作の傾向を点数で表現する方法を用いた場合、第2評価軸に対する評価についても、点数で表現してもよい。
運転操作評価部195は、第1評価軸に対する運転操作の評価結果と、第2評価軸に対する運転操作の評価結果を、感情設定部196と出力内容生成部197に出力する。また運転操作評価部195は、この2つの評価結果を運転操作評価履歴として、運転操作の内容及び走行場面を運転履歴としてデータベース180に出力する。
次に、感情設定部196について説明する。感情設定部196は、運転操作の評価結果に応じた所定の感情パラメータを設定する。感情設定部196は、第1評価軸に対する運転操作の評価結果と、第2評価軸に対する運転操作の評価結果とから、総合的に判断して、運転者に対してどの感情を用いて表現を行うのが適切かを分析する。そして、感情設定部196は、分析結果に基づいて、複数の感情パラメータの中から、運転者が「良い」運転操作を行うことに対してのモチベーションを低下させないように、適切な感情パラメータを選択する。具体的には、感情設定部196は、第1評価軸に対する運転操作の評価結果と、第2評価軸に対する運転操作の評価結果との組み合わせに応じて、感情パラメータを選択する。
例えば、第1評価軸に対する運転操作の評価結果が「良い」、第2評価軸に対する運転操作の評価結果が「普段より良い」と判定されたとする。この場合、感情設定部196は、これまでの運転操作の評価結果の傾向に反して、運転者が「良い」運転操作を行ったと判断し、例えば、期待、感心、喜びなどのポジティブな感情パラメータを選択する。これにより、例えば、運転者が普段は「悪い」運転操作をしていたのに、今回は意識的に「良い」運転操作をした場合、運転操作の評価結果を期待や喜びの感情で表現して運転者に伝えることができ、運転者を効果的に「良い」運転操作へ促すことができる。
また例えば、第1評価軸に対する運転操作の評価結果が「悪い」、第2評価軸に対する運転操作の評価結果が「普段より悪い」と判定されたとする。この場合、感情設定部196は、これまでの運転操作の評価結果の傾向に反して、運転者が「悪い」運転操作を行ったと判断し、例えば、戸惑い、不安などのネガティブな感情パラメータを選択する。これにより、例えば、運転者が普段意識することなく「良い」運転操作をしていたのに、今回はたまたま「悪い」運転操作をした場合、驚きや心配の感情を表す表現方法により、運転操作の評価結果を運転者に伝えることができ、運転者を効果的に「良い」運転操作へ促すことができる。
また例えば、第1評価軸に対する運転操作が「良い」、第2評価軸に対する運転操作の評価結果が「普段と同じ」と判定されたとする。この場合、感情設定部196は、これまでの運転操作の評価結果と同様に、運転者が「良い」運転操作を行ったと判断し、例えば、安心、信頼、喜び、感心などのポジティブな感情パラメータを選択する。これにより、例えば、運転者が普段「良い」運転操作をしており、今回も普段通り「良い」運転操作をした場合、安心や信頼の感情を表す表現方法により、運転操作の評価結果を運転者に伝えることができ、「良い」運転操作の継続的な実施を促すことができる。
また例えば、第1評価軸に対する運転操作が「悪い」、第2評価軸に対する運転操作の評価結果が「普段と同じ」と判定されたとする。この場合、感情設定部196は、これまでの運転操作の評価結果と同様に、運転者が「悪い」運転操作を行ったと判断し、例えば、戸惑い、不安、心配などのネガティブな感情パラメータを選択する。これにより、例えば、運転者が普段意識することなく「悪い」運転操作をしており、今回も普段通り「悪い」運転操作をした場合、戸惑いや心配の感情を表す表現方法により、運転操作の評価結果を運転者に伝えることができ、効果的に「良い」運転操作へ促すことができる。
なお、第1評価軸に対する運転操作の評価結果及び第2評価軸に対する運転操作の評価結果に基づいて選択した感情パラメータは一例であって、特に限定されるものではない。また、上記の表現方法には、音声を用いた表現方法と、映像を用いた表現方法が含まれる。
感情設定部196は、選択した感情パラメータを出力内容生成部197に出力する。
次に、出力内容生成部197について説明する。出力内容生成部197は、第1評価軸に対する運転操作の評価結果と、第2評価軸に対する運転操作の評価結果と、感情パラメータに基づいて、運転者に対しての出力内容を生成する。
出力内容生成部197は、第1評価軸に対する運転操作の評価結果と、第2評価軸に対する運転操作の評価結果に基づいて、運転操作の評価結果、及び運転操作の評価結果に対するアドバイス又はコメントの内容を決定する。
例えば、第1評価軸に対する運転操作の評価結果が「良い」、第2評価軸に対する運転操作の評価結果が「普段より良い」と判定されたとする。この場合、出力内容生成部197は、運転操作の評価結果に対するコメントの内容を、「普段よりも良い運転をした」として決定する。次に、出力内容生成部197は、感情設定部196により選択された感情パラメータ(例えば、喜び)に対応した映像情報及び音声情報を、データベース180から取得する。そして、出力内容生成部197は、決定したコメントの内容を、映像情報及び音声情報に合わせて、表現方法の加工や修正を行う。
例えば、感情パラメータとして「喜び」が設定された場合、出力内容生成部197は、上述した「普段よりも良い運転をした」というコメントを、「喜び」という感情を表現するために、「今回の運転は普段よりも良い運転でしたので、嬉しいです。」に修正する。また、例えば、感情パラメータとして「期待」が設定された場合、出力内容生成部197は、上述した「普段よりも良い運転をした」というコメントを、「期待」という感情を表現するために、「今回の運転操作は普段よりも良い運転でしたね。これからも継続するよう期待しています。」に修正する。このように、感情パラメータごとに表現方法を変更したり、付記的なコメントを追加したりすることで、感情パラメータに応じて、運転操作の評価結果に関する内容の出力態様に変更することができる。また、感情パラメータに応じて、機械音声のトーンを変更させてもよい。例えば、感情パラメータとして「喜び」が設定された場合、出力内容生成部197は、機械音声のトーンを基準値よりも高く設定してもよい。また、例えば、感情パラメータとして「悲しみ」が設定された場合、出力内容生成部197は、機械音声のトーンを基準値よりも低くしてもよい。
出力内容生成部197は、生成した音声情報を音声出力部198に出力し、データベース180から取得した映像情報を映像出力部199に出力する。
次に、音声出力部198及び映像出力部199について説明する。音声出力部198は、スピーカ170が出力できる形式又は態様に音声情報を変換し、変換した音声情報をスピーカ170に出力する。映像出力部199は、ディスプレイ160が出力できる形式又は態様に映像情報を変換し、変換した映像情報をディスプレイ160に出力する。
次に、図3〜図6に示す具体例を用いて、コントローラ190の動作について説明する。図3は、運転操作が評価された走行場面の一例である。図3(A)は、本実施形態に係る車両100(図3では車両V1)が交差点の手前を走行している場面を示している。図3(B)は、図3(A)に示す信号機が時系列に沿って変化している様子を示している。なお、図3(B)において、信号機は左から順に青色、黄色、赤色を示し、斜線部は点灯している色を示す。
図3(A)に示す場面において、コントローラ190は、センサ群110等から車両100に関する情報を取得し、取得した情報に基づいて、交差点手前を走行している場面を走行場面として検出する(時間t)。次に、コントローラ190は、取得した情報に基づいて、運転操作の検出を開始する(時間t)。信号機が青色から黄色に切り替わった際に、運転者がブレーキペダルを踏み、車両100を減速させると、コントローラ190は、運転者により減速操作がされたことを検出する(時間t)。そして、信号機が赤色になった後、運転者が停止線の手前で車両100を停止させると、コントローラ190は、運転操作により停止操作が行われたことを検出する(時間t)。
図4は、図3に示す場面での運転操作の評価結果の一例である。図4では、星形形状は、過去の運転評価履歴の傾向を示し、下向き三角形は第1評価軸に対する評価結果、上向き三角形は第2評価軸に対する評価結果を示す。また、「運転規範」の列において、最上位の位置は、規範に従う運転操作又は運転マナーとして比較的良いとされている運転操作を示し(図4では「良」)、最下位の位置は、規範から外れた運転操作又は運転マナーとして比較的悪いとされている運転操作を示す(図4では「悪」)。最上位と最下位の間では、上側に行くほど「良い」運転操作になり、下側に行くほど「悪い」運転操作になる。また、「第1評価軸に対する評価結果」の列は、「運転規範」に対しての評価を示す。さらに、「第2評価軸に対する評価結果」の列は、「第1評価軸に対する評価結果」と「過去の運転評価履歴の傾向」との比較結果を示す(図4では星形形状と下向き三角形との比較結果)。
図4に示すように、コントローラ190が、運転規範を評価基準とする第1評価軸に対しては、今回の運転操作を「良い」と判定し、過去の運転操作の評価結果の傾向を評価基準とする第2評価軸に対しては、今回の運転操作を「普段と同じ」と判定したとする。この場合、コントローラ190は、2つの評価結果から総合的に判断して、「信頼」という感情パラメータを選択する。そして、コントローラ190は、「信頼」に対応する映像情報及び音声情報をデータベース180から取得するとともに、「信頼」を表現するための表現方法が含まれる運転評価結果の内容及びコメントを生成する。最後に、コントローラ190は、生成した情報をディスプレイ160及びスピーカ170から出力する。これにより、例えば、スピーカ170からは「さすがですね。普段通り安全運転ですね。」という音声が出力され、ディスプレイ160には、信頼する際の人間の顔の表情が表示される。
図5は、運転操作が評価された走行場面の他の例である。図5は、本実施形態に係る車両100(図5では車両V1)の前方において、他車両V2が駐車場から公道に合流しようとしている場面を示している。
図5に示す場面において、コントローラ190は、センサ群110等から車両100に関する情報を取得し、取得した情報に基づいて、駐車場からの他車両が公道に合流する場面を走行場面として検出する。次に、コントローラ190は、取得した情報に基づいて、運転操作の検出を開始する。他車両が駐車場から左折して公道に合流しようとする地点の手前から、運転者がブレーキペダルを踏み、車両100を当該地点の手前で停止させると、コントローラ190は、運転者により減速操作及び停止操作が行われたことを検出する。この場合、車両100の運転者が行った運転操作によって、他車両V2は公道へ合流をすることができる。
図6は、図5に示す場面での運転操作の評価結果の一例である。図6は、図4に対応する図であるため、図4において行った説明を援用する。
図6に示すように、コントローラ190が、運転規範を評価基準とする第1評価軸に対しては、今回の運転操作が「良い」と判定し、過去の運転操作の評価結果の傾向を評価基準とする第2評価軸に対しては、今回の運転操作が「普段より良い」と判定したとする。この場合、コントローラ190は、2つの評価結果から総合的に判断して、「期待」という感情パラメータを選択する。そして、コントローラ190は、「期待」に対応する映像情報及び音声情報をデータベース180から取得するとともに、「期待」を表現するための表現方法が含まれる運転評価結果の内容及びアドバイスを生成する。最後に、コントローラ190は、生成した情報をディスプレイ160及びスピーカ170から出力する。これにより、例えば、スピーカ170からは「今の運転は親切ですね。このような運転をこれからも心掛けてくださいね。」という音声が出力され、ディスプレイ160には、期待する際の人間の顔の表情が表示される。
以上のように、本実施形態に係る運転出力装置は、車両100の運転者に対して運転操作の評価結果に関する内容を出力するためのコントローラ190を備えている。コントローラ190は、センサ群110の検出結果や室内カメラ150の撮像画像に基づいて、運転者による運転操作を検出し、運転規範に基づいた第1評価軸と過去の運転評価履歴に基づいた第2評価軸とに基づいて、運転者の運転操作を評価し、運転操作の評価結果に応じた所定の感情を設定し、所定の感情に応じて、運転操作の評価結果に関する内容の出力態様に変更させる。これにより、運転規範に対しての絶対的な評価だけでなく、運転者ごとに異なる普段の運転傾向に対しての相対的な評価を考慮したうえで、運転者に適切なアドバイスを行うことができる。
また、本実施形態では、コントローラ190は、運転操作の評価結果とともに、運転操作の評価結果に対するアドバイスを出力する。これにより、運転規範に対しての絶対的な評価だけでなく、運転者ごとに異なる普段の運転傾向に対しての相対的な評価を考慮したうえでのアドバイスが、所定の感情に応じた出力態様によって運転者に伝えられるため、運転傾向が異なる運転者であっても、各運転者に適切に運転操作の改善を促すことができる。
さらに、本実施形態では、コントローラ190は、安心、信頼、不安、戸惑い、心配、期待、感心、喜び、驚き、怒り、悲しみのうち少なくとも何れか一つを含む所定の感情に応じて、運転操作の評価結果に関する内容の出力態様を変更させる。これにより、運転操作の評価及び運転傾向を考慮したうえで、適切な出力態様により、運転操作の評価結果や当該評価結果に対するコメント又はアドバイスを運転者に伝えることができる。その結果、運転操作の改善を促すことができる。
加えて、本実施形態では、第1評価軸は、運転規範に対する優劣の程度を示す軸であり、第2評価軸は、運転操作の評価結果の傾向に対する優劣の程度を示す軸である。これにより、運転規範に対しての絶対的な評価だけでなく、運転者ごとに異なる普段の運転傾向に対しての相対的な評価を行うことができる。
なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
例えば、第1評価軸に対する運転操作の評価結果と、第2評価軸に対する運転操作の評価結果との組み合わせに応じて、運転操作の評価結果に関する内容を出力する頻度を変更させてもよい。変形例に係る運転評価装置では、コントローラ190が出力頻度を変更する機能を備えている。
変形例に係る運転評価装置は、上述した本実施形態に係るコントローラ190と比べて、運転操作の評価結果に関する内容を出力する頻度を変更させる点が異なる以外は、同様の機能を有しているため、上述の実施形態にて行った説明を援用する。
例えば、第1評価軸に対する運転操作が「良い」、第2評価軸に対する運転操作の評価結果が「普段と同じ」と判定されたとする。この場合、変形例に係るコントローラ190は、運転操作の評価結果に関する内容を出力する頻度を予め定めた基準の頻度よりも低下させてもよい。これにより、継続的に「良い」運転操作を行う運転者に対して、同じ内容の繰り返しによって感じる煩わしさを軽減させることができる。
また例えば、第1評価軸に対する運転操作が「悪い」、第2評価軸に対する運転操作の評価結果が「普段と同じ」と判定されたとする。この場合、変形例に係るコントローラ190は、運転操作の評価結果に関する内容を出力する頻度を予め定めた基準の頻度よりも増加させてもよい。これにより、継続的に「悪い」運転操作を行う運転者に対して、運転操作の改善を意識させることができる。
また例えば、第1評価軸に対する運転操作の評価結果が「良い」、第2評価軸に対する運転操作の評価結果が「普段より良い」と判定されたとする。この場合、変形例に係るコントローラ190は、運転操作の評価結果に関する内容を出力する頻度を予め定めた基準の頻度よりも増加させてもよい。これにより、継続的に「悪い」運転操作を行う運転者に対して、普段よりも良い運転操作を行ったことを意識させることができる。
また例えば、第1評価軸に対する運転操作の評価結果が「悪い」、第2評価軸に対する運転操作の評価結果が「普段より悪い」と判定されたとする。この場合、変形例に係るコントローラ190は、運転操作の評価結果に関する内容を出力する頻度を予め定めた基準値よりも増加させてもよい。これにより、継続的に「良い」運転操作を行う運転者に対して、普段よりも悪い運転操作を行ったことを意識させることができる。
以上のように、変形例に係る運転評価装置では、コントローラ190は、第1評価軸に対する運転操作の評価結果と、第2評価軸に対する運転操作の評価結果に応じた出力頻度で、運転操作の評価結果に関する内容を出力する。これにより、運転者の運転傾向と、現在の運転操作とに適した出力頻度で、運転者に運転操作の評価結果に関する内容を出力することができ、その結果、運転評価装置からの出力内容を効果的に運転者に伝えることができる。
また、例えば、上述した実施形態では、運転操作評価部195により、過去の運転評価履歴を分析して、運転操作の評価結果の傾向を特定する構成を例に挙げて説明したが、これに限られない。例えば、予め運転操作の評価結果の傾向を特定し、特定した傾向をデータベース180に格納させてもよい。そして、運転操作評価部195は、運転操作の評価をするにあたり、データベース180から該当する運転操作の評価結果の傾向を取得してもよい。
また例えば、上述した実施形態では、感情パラメータとしては、予め設定されたものを用いる構成を例に挙げて説明したが、感情パラメータは、運転者毎に異なるものを用いてもよい。同様に、出力内容を決定するにあたり、第1評価軸に対する運転操作の評価結果と第2評価軸に対する運転操作の評価結果との組み合わせが同じ場合であっても、運転者の運転熟練度に応じて、運転者ごとに異なる出力内容であってもよい。
また、例えば、本明細書では、本発明に係るコントローラを、コントローラ190を例に説明するが、本発明はこれに限定されるものではない。
100…車両
110…センサ群
111…車速センサ
112…エンジン回転数センサ
113…アクセル開度センサ
114…ブレーキ開度センサ
115…操舵角センサ
116…シフトレバーセンサ
120…周囲検出装置
121…車載カメラ
122…レーダー
130…ナビゲーション装置
131…GPS
140…外部情報取得装置
150…室内カメラ
160…ディスプレイ
170…スピーカ
180…データベース

Claims (6)

  1. 車両の乗員に対して運転操作の評価結果に関する内容を出力するコントローラを備えた運転評価装置であって、
    前記コントローラは、
    前記乗員による運転操作を検出し、
    運転規範に基づいた第1評価軸と過去の運転評価履歴に基づいた第2評価軸とに基づいて、前記乗員の運転操作を評価し、
    運転操作の評価結果に応じた所定の感情を設定し、
    前記所定の感情に応じて、前記内容の出力態様を変更させる運転評価装置。
  2. 請求項1記載の運転評価装置であって、
    前記コントローラは、前記運転操作の評価結果とともに、前記運転操作の評価結果に対するアドバイスを出力する運転評価装置。
  3. 請求項1又は2記載の運転評価装置であって、
    前記コントローラは、前記運転操作の評価結果に応じた出力頻度で前記内容を出力する運転評価装置。
  4. 請求項1〜3の何れか一項に記載の運転評価装置であって、
    前記所定の感情は、安心、信頼、不安、戸惑い、心配、期待、感心、喜び、驚き、怒り、悲しみのうち少なくとも何れか一つを含む運転評価装置。
  5. 請求項1〜4の何れか一項に記載の運転評価装置であって、
    前記第1評価軸は、運転規範に対する優劣の程度を示す軸であり、
    前記第2評価軸は、前記運転操作の評価結果の傾向に対する優劣の度合いを示す軸である運転評価装置。
  6. コントローラを用いて、車両の乗員に対して運転操作の評価結果に関する内容を出力する運転評価方法であって、
    前記乗員による運転操作を検出し、
    運転規範に基づいた第1評価軸と過去の運転評価履歴に基づいた第2評価軸とに基づいて、前記乗員の運転操作を評価し、
    運転操作の評価結果に応じた所定の感情を設定し、
    前記所定の感情に応じて、前記内容の出力態様を変更させる運転評価方法。
JP2018132456A 2018-07-12 2018-07-12 運転評価装置及び運転評価方法 Active JP7320928B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018132456A JP7320928B2 (ja) 2018-07-12 2018-07-12 運転評価装置及び運転評価方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018132456A JP7320928B2 (ja) 2018-07-12 2018-07-12 運転評価装置及び運転評価方法

Publications (2)

Publication Number Publication Date
JP2020009371A true JP2020009371A (ja) 2020-01-16
JP7320928B2 JP7320928B2 (ja) 2023-08-17

Family

ID=69151995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018132456A Active JP7320928B2 (ja) 2018-07-12 2018-07-12 運転評価装置及び運転評価方法

Country Status (1)

Country Link
JP (1) JP7320928B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022208751A1 (ja) * 2021-03-31 2022-10-06 株式会社Subaru 車両

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350567A (ja) * 2005-06-14 2006-12-28 Toyota Motor Corp 対話システム
JP2009064254A (ja) * 2007-09-06 2009-03-26 Toyota Motor Corp 省燃費運転支援装置
JP2010231776A (ja) * 2009-03-04 2010-10-14 Denso Corp 運転支援装置
JP2015141516A (ja) * 2014-01-28 2015-08-03 株式会社デンソー 運転評価装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350567A (ja) * 2005-06-14 2006-12-28 Toyota Motor Corp 対話システム
JP2009064254A (ja) * 2007-09-06 2009-03-26 Toyota Motor Corp 省燃費運転支援装置
JP2010231776A (ja) * 2009-03-04 2010-10-14 Denso Corp 運転支援装置
JP2015141516A (ja) * 2014-01-28 2015-08-03 株式会社デンソー 運転評価装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022208751A1 (ja) * 2021-03-31 2022-10-06 株式会社Subaru 車両

Also Published As

Publication number Publication date
JP7320928B2 (ja) 2023-08-17

Similar Documents

Publication Publication Date Title
US10699569B2 (en) Information processing apparatus, information processing method, and program
WO2017163667A1 (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援システム、プログラム
JP2017133893A (ja) 報知制御装置及び報知制御方法
WO2018220853A1 (ja) 自動運転車の制御のための車両制御装置及び方法
KR20190022759A (ko) 자동 운전 차량의 제어 방법 및 제어 장치
US10252729B1 (en) Driver alert systems and methods
JP2019043495A (ja) 自動運転調整装置、自動運転調整システム、及び自動運転調整方法
JP6062043B2 (ja) 移動体状態通知装置、サーバ装置および移動体状態通知方法
CN108140318A (zh) 显示控制方法及显示控制装置
US10752166B2 (en) Driving assistance method, and driving assistance device, automatic driving control device, and vehicle
JP6604577B2 (ja) 運転支援方法およびそれを利用した運転支援装置、運転支援システム、自動運転制御装置、車両、プログラム
CN111186373B (zh) 报告装置
JP2018041328A (ja) 車両用情報提示装置
WO2018220851A1 (ja) 自動運転車の制御のための車両制御装置及び方法
JP6773488B2 (ja) 交通参加者の注意度を改善する方法及びシステム
JP6906175B2 (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム、運転支援システム
CN110663073A (zh) 策略生成装置及车辆
CN109987090A (zh) 驾驶辅助系统和方法
JP7320928B2 (ja) 運転評価装置及び運転評価方法
JP6971300B2 (ja) 車両制御装置、車両制御方法及びプログラム
CN107599965B (zh) 用于车辆的电子控制装置及方法
JP2021107974A (ja) 車両制御装置、車両制御方法及びプログラム
JP2021107772A (ja) 車両用報知装置、車両用報知方法及びプログラム
CN111126747A (zh) 信息处理装置、存储有程序的非易失性存储介质、以及信息处理方法
WO2023189578A1 (ja) 移動体制御装置、移動体制御方法、及び、移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220301

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220712

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220712

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220721

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220726

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220826

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220830

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221220

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20230404

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230725

R150 Certificate of patent or registration of utility model

Ref document number: 7320928

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150