JP2019128848A - 運転状況監視装置、運転状況監視システム、運転状況監視方法、プログラム - Google Patents
運転状況監視装置、運転状況監視システム、運転状況監視方法、プログラム Download PDFInfo
- Publication number
- JP2019128848A JP2019128848A JP2018010902A JP2018010902A JP2019128848A JP 2019128848 A JP2019128848 A JP 2019128848A JP 2018010902 A JP2018010902 A JP 2018010902A JP 2018010902 A JP2018010902 A JP 2018010902A JP 2019128848 A JP2019128848 A JP 2019128848A
- Authority
- JP
- Japan
- Prior art keywords
- driving
- line
- information
- driver
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012806 monitoring device Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000012544 monitoring process Methods 0.000 title claims description 26
- 230000000007 visual effect Effects 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims description 31
- 230000007812 deficiency Effects 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 3
- 210000003128 head Anatomy 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
Abstract
【課題】運転状況に応じた視線範囲の不足をより適切に運転者自身が認識することができる技術を提供する。【解決手段】運転状況監視装置１は、運転者の運転時視線情報と運転状況情報とを取得し、所定の運転状況を示す状況ＩＤに応じた運転者視線範囲を運転時視線情報に基づいて算出する。所定の状況ＩＤについて予め記憶する推奨視線範囲と運転者視線範囲とに基づいて視認不足視線範囲を判定する。【選択図】図３
Description
本発明は、運転状況監視装置、運転状況監視システム、運転状況監視方法、プログラムに関する。
車両の運転において運転者の理想の視線分布と実際の視線分布が重なっていない領域を求め、この領域を明示する情報を安全運転支援情報として表示する技術が特許文献１に開示されている。
ところで車両、船舶、航空機などの移動体の運転においてはフロントガラス等の前面の視認空間以外にも後方等のより広い範囲の視認を運転状況に応じて行う必要がある。そして、運転状況に応じた視線範囲の不足をより適切に運転者自身が認識することのできる技術が求められている。
そこでこの発明は、上述の課題を解決する運転状況監視装置、運転状況監視システム、運転状況監視方法、プログラムを提供することを目的としている。
本発明の第１の態様によれば、運転状況監視装置は、運転者の運転時視線情報と運転状況情報とを取得する取得部と、所定の運転状況を示す運転状況情報に応じた運転者視線範囲を前記運転時視線情報に基づいて算出する視線範囲算出部と、前記所定の運転状況について予め記憶する推奨視線範囲と前記運転者視線範囲とに基づいて視認不足視線範囲を判定する報告情報生成部と、を備えることを特徴とする。
本発明の第２の態様によれば、運転状況監視システムは、運転状況監視装置と運転状況センシング装置とを備え、前記運転状況監視装置が、運転者の運転時視線情報と運転状況情報とを前記運転状況センシング装置から取得する取得部と、所定の運転状況を示す運転状況情報に応じた運転者視線範囲を前記運転時視線情報に基づいて算出する視線範囲算出部と、前記所定の運転状況について予め記憶する推奨視線範囲と前記運転者視線範囲とに基づいて視認不足視線範囲を判定する報告情報生成部と、を備えることを特徴とする。
本発明の第３の態様によれば、運転状況監視方法は、運転者の運転時視線情報と運転状況情報とを取得し、所定の運転状況を示す運転状況情報に応じた運転者視線範囲を前記運転時視線情報に基づいて算出し、前記所定の運転状況について予め記憶する推奨視線範囲と前記運転者視線範囲とに基づいて視認不足視線範囲を判定することを特徴とする。
本発明の第４の態様によれば、プログラムは、運転状況監視装置のコンピュータを、運転者の運転時視線情報と運転状況情報とを取得する取得手段、所定の運転状況を示す運転状況情報に応じた運転者視線範囲を前記運転時視線情報に基づいて算出する視線範囲算出手段、前記所定の運転状況について予め記憶する推奨視線範囲と前記運転者視線範囲とに基づいて視認不足視線範囲を判定する報告情報生成手段、として機能させることを特徴とする。
本発明によれば、運転状況に応じた視線範囲の不足をより適切に運転者自身が認識することができる。
以下、本発明の一実施形態による運転状況監視装置を図面を参照して説明する。
図１は同実施形態による運転状況監視システムを示す図である。
図１で示すように運転状況監視システム１００は運転状況監視装置１と、運転状況センシング装置の一態様であるドライブレコーダ２と含んで構成される。運転状況監視装置１とドライブレコーダ２とは無線通信ネットワークや有線通信ネットワークを介して接続される。運転状況監視装置１は車、船舶、航空機などの移動体に設けられた装置であってもよい。当該移動体とは離れた遠隔地に設置されたサーバ装置として構成されていてもよい。ドライブレコーダ２は移動体内に設けられている。以下、移動体が車両であるとして説明を行う。
図１は同実施形態による運転状況監視システムを示す図である。
図１で示すように運転状況監視システム１００は運転状況監視装置１と、運転状況センシング装置の一態様であるドライブレコーダ２と含んで構成される。運転状況監視装置１とドライブレコーダ２とは無線通信ネットワークや有線通信ネットワークを介して接続される。運転状況監視装置１は車、船舶、航空機などの移動体に設けられた装置であってもよい。当該移動体とは離れた遠隔地に設置されたサーバ装置として構成されていてもよい。ドライブレコーダ２は移動体内に設けられている。以下、移動体が車両であるとして説明を行う。
図２は運転状況監視装置のハードウェア構成図である。
この図が示すように運転状況監視装置１はＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、データベース１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータである。
この図が示すように運転状況監視装置１はＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、データベース１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータである。
図３は運転状況監視装置の機能ブロック図である。
運転状況監視装置１は電源が投入されると起動し、予め記憶する運転状況監視プログラムを実行する。これにより運転状況監視装置１には、制御部１１、センシングデータ取得部１２、画像取得部１３、所定状況時刻判定部１４、視線範囲算出部１５、報告情報生成部１６、出力部１７、の各機能が備わる。
運転状況監視装置１は電源が投入されると起動し、予め記憶する運転状況監視プログラムを実行する。これにより運転状況監視装置１には、制御部１１、センシングデータ取得部１２、画像取得部１３、所定状況時刻判定部１４、視線範囲算出部１５、報告情報生成部１６、出力部１７、の各機能が備わる。
制御部１１は運転状況監視装置１の各機能部を制御する。
センシングデータ取得部１２は、複数項目の運転状況を含む運転状況データを取得する。
画像取得部１３は、ドライブレコーダ２の撮影した撮影画像を取得する。
所定状況時刻判定部１４は、運転状況情報に基づいて所定の運転状況の時刻を判定する。本実施形態において所定の運転状況の時刻とは、右折時の時刻、左折時の時刻、バック運転時の時刻、などである。
視線範囲算出部１５は、所定の運転状況を示す運転状況情報に応じた運転者視線範囲を運転時視線情報に基づいて算出する。
報告情報生成部１６は、所定の運転状況について予め記憶する推奨視線範囲と運転者視線範囲とに基づいて視認不足視線範囲を判定する。報告情報生成部１６は、所定の運転状況について複数算出した視認不足視線範囲の統計情報に基づいて視認不足視線範囲を判定してよい。報告情報生成部１６は、一例としては当該統計情報に基づく視認不足視線範囲と、推奨視線範囲とを少なくとも視認できる画像情報を含む報告情報を生成する。
出力部１７は報告情報を出力する。
センシングデータ取得部１２は、複数項目の運転状況を含む運転状況データを取得する。
画像取得部１３は、ドライブレコーダ２の撮影した撮影画像を取得する。
所定状況時刻判定部１４は、運転状況情報に基づいて所定の運転状況の時刻を判定する。本実施形態において所定の運転状況の時刻とは、右折時の時刻、左折時の時刻、バック運転時の時刻、などである。
視線範囲算出部１５は、所定の運転状況を示す運転状況情報に応じた運転者視線範囲を運転時視線情報に基づいて算出する。
報告情報生成部１６は、所定の運転状況について予め記憶する推奨視線範囲と運転者視線範囲とに基づいて視認不足視線範囲を判定する。報告情報生成部１６は、所定の運転状況について複数算出した視認不足視線範囲の統計情報に基づいて視認不足視線範囲を判定してよい。報告情報生成部１６は、一例としては当該統計情報に基づく視認不足視線範囲と、推奨視線範囲とを少なくとも視認できる画像情報を含む報告情報を生成する。
出力部１７は報告情報を出力する。
図４はドライブレコーダのハードウェア構成を示す図である。
ドライブレコーダ２は、センサ２１、通信装置２２、カメラ２３、制御装置２４、記憶装置２５などを含んで構成される。センサ２１は加速度センサ２１１、ＧＰＳセンサ２１３などであってよい。なおこれらのセンサ２１は、ドライブレコーダ２の外部の車両に設置されて、ドライブレコーダ２がそれらセンサ２１のセンシングした情報を取得してもよい。
通信装置２２は運転状況監視装置１と通信接続する。カメラ２３は車両の外部や内部を撮影した撮影画像を生成する。制御装置２４はドライブレコーダ２の各機能を制御する。記憶装置２５は撮影画像、センサ２１でセンシングされた各種情報を記憶する。ドライブレコーダ２の制御装置２４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータである。
ドライブレコーダ２は、センサ２１、通信装置２２、カメラ２３、制御装置２４、記憶装置２５などを含んで構成される。センサ２１は加速度センサ２１１、ＧＰＳセンサ２１３などであってよい。なおこれらのセンサ２１は、ドライブレコーダ２の外部の車両に設置されて、ドライブレコーダ２がそれらセンサ２１のセンシングした情報を取得してもよい。
通信装置２２は運転状況監視装置１と通信接続する。カメラ２３は車両の外部や内部を撮影した撮影画像を生成する。制御装置２４はドライブレコーダ２の各機能を制御する。記憶装置２５は撮影画像、センサ２１でセンシングされた各種情報を記憶する。ドライブレコーダ２の制御装置２４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータである。
図５はドライブレコーダに備わる制御装置の機能ブロック図である。
制御装置２４はドライブレコーダが起動すると制御プログラムを実行する。これにより制御装置２４には、車両情報取得部２４１、位置情報取得部２４２、加速度情報取得部２４３、画像生成部２４５、運転状況データ送信部２４６、画像送信部２４８の各機能部が備わる。
制御装置２４はドライブレコーダが起動すると制御プログラムを実行する。これにより制御装置２４には、車両情報取得部２４１、位置情報取得部２４２、加速度情報取得部２４３、画像生成部２４５、運転状況データ送信部２４６、画像送信部２４８の各機能部が備わる。
車両情報取得部２４１は、ドライブレコーダに挿入されたメモリに記録されている情報（運転者ＩＤ、車両種別、車両ＩＤ）や、その他の車両の加速度、位置以外の車両に設けられたセンサよりセンシング情報を含む車両情報を取得する。車両情報取得部２４１の取得できる情報としては、例えば、運転始動時刻、運転停止時刻、時刻に応じた車両速度、車内温度などの情報が含まれてよい。
位置情報取得部２４２は車両の時刻に応じた位置（緯度、経度）の情報をＧＰＳセンサ２１３などから取得する。
加速度情報取得部２４３は車両の時刻に応じた加速度の情報を加速度センサ２１１から取得する。
画像生成部２４５はカメラ２３の撮影により当該カメラ２３から撮影データ画像を取得し撮影画像を生成する。
運転状況データ送信部２４６は、車両情報、位置情報、加速度情報を少なくとも含む運転状況データを運転状況監視装置１へ送信する。
画像送信部２４８は画像生成部２４５の生成した撮影画像を運転状況監視装置１へ送信する。
位置情報取得部２４２は車両の時刻に応じた位置（緯度、経度）の情報をＧＰＳセンサ２１３などから取得する。
加速度情報取得部２４３は車両の時刻に応じた加速度の情報を加速度センサ２１１から取得する。
画像生成部２４５はカメラ２３の撮影により当該カメラ２３から撮影データ画像を取得し撮影画像を生成する。
運転状況データ送信部２４６は、車両情報、位置情報、加速度情報を少なくとも含む運転状況データを運転状況監視装置１へ送信する。
画像送信部２４８は画像生成部２４５の生成した撮影画像を運転状況監視装置１へ送信する。
図６はドライブレコーダの処理フローを示す第一の図である。
次に運転状況監視システムの処理フローについて順を追って説明する。
まずドライブレコーダ２における運転状況データの送信処理について説明する。
車両の電気系統が起動するとドライブレコーダ２が動作を始動する（ステップＳ１０１）。ドライブレコーダ２のセンサ２１それぞれは、ドライブレコーダ２の始動後に各種センシングを開始する（ステップＳ１０２）。またカメラ２３は撮影を開始する（ステップＳ１０３）。そしてドライブレコーダ２の動作中、制御装置２４の車両情報取得部２４１は車両情報を取得する（ステップＳ１０４）。車両情報取得部２４１は車両情報に含まれるセンシング情報については所定の時間間隔で繰り替えし取得してよい。また位置情報取得部２４２はＧＰＳセンサ２１３から緯度経度を所定の時間間隔で取得する（ステップＳ１０５）。また加速度情報取得部２４３は、加速度センサ２１１から加速度を所定の時間間隔で取得する（ステップＳ１０６）。所定の時間間隔は例えば０．１秒毎などであってよい。運転状況データ送信部２４６は、車両情報、位置情報（緯度、経度）、加速度を取得し、それらの情報と運転状況データの生成時刻とドライブレコーダ２のＩＤと運転者ＩＤとを含む運転状況データを生成する（ステップＳ１０７）。運転状況データ送信部２４６は当該運転状況データの運転状況監視装置１への送信を通信装置２２へ要求する。通信装置２２は運転状況データを運転状況監視装置１へ送信する（ステップＳ１０８）。制御装置２４は処理終了かを判定し（ステップＳ１０９）、処理終了までステップＳ１０２からの処理を繰り返す。
次に運転状況監視システムの処理フローについて順を追って説明する。
まずドライブレコーダ２における運転状況データの送信処理について説明する。
車両の電気系統が起動するとドライブレコーダ２が動作を始動する（ステップＳ１０１）。ドライブレコーダ２のセンサ２１それぞれは、ドライブレコーダ２の始動後に各種センシングを開始する（ステップＳ１０２）。またカメラ２３は撮影を開始する（ステップＳ１０３）。そしてドライブレコーダ２の動作中、制御装置２４の車両情報取得部２４１は車両情報を取得する（ステップＳ１０４）。車両情報取得部２４１は車両情報に含まれるセンシング情報については所定の時間間隔で繰り替えし取得してよい。また位置情報取得部２４２はＧＰＳセンサ２１３から緯度経度を所定の時間間隔で取得する（ステップＳ１０５）。また加速度情報取得部２４３は、加速度センサ２１１から加速度を所定の時間間隔で取得する（ステップＳ１０６）。所定の時間間隔は例えば０．１秒毎などであってよい。運転状況データ送信部２４６は、車両情報、位置情報（緯度、経度）、加速度を取得し、それらの情報と運転状況データの生成時刻とドライブレコーダ２のＩＤと運転者ＩＤとを含む運転状況データを生成する（ステップＳ１０７）。運転状況データ送信部２４６は当該運転状況データの運転状況監視装置１への送信を通信装置２２へ要求する。通信装置２２は運転状況データを運転状況監視装置１へ送信する（ステップＳ１０８）。制御装置２４は処理終了かを判定し（ステップＳ１０９）、処理終了までステップＳ１０２からの処理を繰り返す。
図７はドライブレコーダの処理フローを示す第二の図である。
ドライブレコーダ２は運転状況データの送信処理と並行して撮影画像送信処理を行う。まずドライブレコーダ２が始動すると、制御装置２４の画像生成部２４５はカメラ２３から撮影データを取得しドライブレコーダ２のＩＤと運転者ＩＤとを含む撮影画像を生成する（ステップＳ２０１）。画像生成部２４５は画像送信部２４８に撮影画像を出力する。画像送信部２４８は一時的に撮影画像を記憶する（ステップＳ２０２）。画像送信部２４８は運転状況監視装置１からの撮影画像要求を受信する（ステップＳ２０３）。画像送信部２４８は当該撮影画像要求の受信に基づいて、その後、再起動時に一時的に記憶した撮影画像を運転状況監視装置１に送信する（ステップＳ２０４）。画像送信部２４８は定期的に得られた撮影画像を分割して運転状況監視装置１に送信してもよい。または画像送信部２４８は撮影画像をストリーミング処理によって運転状況監視装置１に送信してもよい。制御装置２４は処理を終了するかを判定する（ステップＳ２０５）。制御装置２４はドライブレコーダ２の動作中、ステップＳ２０１〜ステップＳ２０５の処理を繰り返す。
ドライブレコーダ２は運転状況データの送信処理と並行して撮影画像送信処理を行う。まずドライブレコーダ２が始動すると、制御装置２４の画像生成部２４５はカメラ２３から撮影データを取得しドライブレコーダ２のＩＤと運転者ＩＤとを含む撮影画像を生成する（ステップＳ２０１）。画像生成部２４５は画像送信部２４８に撮影画像を出力する。画像送信部２４８は一時的に撮影画像を記憶する（ステップＳ２０２）。画像送信部２４８は運転状況監視装置１からの撮影画像要求を受信する（ステップＳ２０３）。画像送信部２４８は当該撮影画像要求の受信に基づいて、その後、再起動時に一時的に記憶した撮影画像を運転状況監視装置１に送信する（ステップＳ２０４）。画像送信部２４８は定期的に得られた撮影画像を分割して運転状況監視装置１に送信してもよい。または画像送信部２４８は撮影画像をストリーミング処理によって運転状況監視装置１に送信してもよい。制御装置２４は処理を終了するかを判定する（ステップＳ２０５）。制御装置２４はドライブレコーダ２の動作中、ステップＳ２０１〜ステップＳ２０５の処理を繰り返す。
図８は運転状況監視装置の処理フローを示す図である。
運転状況監視装置１において、センシングデータ取得部１２はドライブレコーダ２の通信装置２２の送信した運転状況データを、通信モジュール１０５を介して取得する（ステップＳ３０１）。センシングデータ取得部１２は運転状況データに含まれるドライブレコーダ２のＩＤや運転者ＩＤを読み取る。センシングデータ取得部１２はドライブレコーダ２のＩＤや運転者ＩＤに紐づけて運転状況データをデータベース１０４に格納する。センシングデータ取得部１２はこの処理を繰り返す。
また画像取得部１３はドライブレコーダ２の通信装置２２の送信した撮影画像を、通信モジュール１０５を介して取得する（ステップＳ３０２）。画像取得部１３は撮影画像に含まれるドライブレコーダ２のＩＤや運転者ＩＤを読み取る。画像取得部１３はドライブレコーダ２のＩＤや運転者ＩＤに紐づけて撮影画像をデータベース１０４に格納する。画像取得部１３はこの処理を繰り返す。
運転状況監視装置１において、センシングデータ取得部１２はドライブレコーダ２の通信装置２２の送信した運転状況データを、通信モジュール１０５を介して取得する（ステップＳ３０１）。センシングデータ取得部１２は運転状況データに含まれるドライブレコーダ２のＩＤや運転者ＩＤを読み取る。センシングデータ取得部１２はドライブレコーダ２のＩＤや運転者ＩＤに紐づけて運転状況データをデータベース１０４に格納する。センシングデータ取得部１２はこの処理を繰り返す。
また画像取得部１３はドライブレコーダ２の通信装置２２の送信した撮影画像を、通信モジュール１０５を介して取得する（ステップＳ３０２）。画像取得部１３は撮影画像に含まれるドライブレコーダ２のＩＤや運転者ＩＤを読み取る。画像取得部１３はドライブレコーダ２のＩＤや運転者ＩＤに紐づけて撮影画像をデータベース１０４に格納する。画像取得部１３はこの処理を繰り返す。
所定状況時刻判定部１４はある運転者の運転者ＩＤに紐づいてデータベース１０４に記録される運転状況データのうち構成された運転状況データを所定間隔で取得する。所定状況時刻判定部１４は運転状況データから得られるセンシング情報に基づいて所定間隔で所定の運転状況が発生したかを判定する（ステップＳ３０３）。例えば、所定状況時刻判定部１４は、３次元座標空間における各軸方向の各加速度に基づいて、車両が左折、右折、バックなどの所定の運転状況が発生したかを判定する。所定状況時刻判定部１４は加速度以外のハンドル角度、レバー等の操作子の現在設定位置、ブレーキ圧力、方向指示器の状態などの情報を組み合わせて、車両の状況が所定の運転状況であるかを判定してもよい。
所定状況時刻判定部１４は加速度に基づいて車両が所定の状況であることを検知すると、その時刻を検出する。例えば所定状況時刻判定部１４は運転状況データに含まれる加速度が時刻情報に紐づいている場合には、所定の状況であることの判定に利用した加速度に紐づく時刻情報を読み取って、その時刻を車両が所定の状況である時刻として検出する。所定状況時刻判定部１４は車両の所定の運転状況を示す状況ＩＤと、その状況が発生した時刻と、運転者ＩＤとを含む所定状況発生情報を生成する（ステップＳ３０４）。所定状況時刻判定部１４は生成した所定状況発生情報をデータベース１０４に記録する。所定状況時刻判定部１４は全ての運転者ＩＤについて所定状況発生情報を生成したかを判定する（ステップＳ３０５）。所定状況時刻判定部１４は全ての運転者ＩＤについて所定状況発生情報の生成が完了するまで処理を繰り返す。
視線範囲算出部１５は一か月毎などの所定の間隔で運転者ＩＤごとの視線範囲情報を生成する（ステップＳ３０６）。具体的には視線範囲算出部１５はある運転者ＩＤに紐づく所定状況発生情報をデータベース１０４から読み取る。視線範囲算出部１５は所定状況発生情報に含まれる状況ＩＤとその状況ＩＤが示す状況の発生時刻を読み取る。視線範囲算出部１５は状況ＩＤが示す状況の発生時刻を含む撮影画像であって、運転者ＩＤに紐づいてデータベース１０４に記録されている撮影画像を取得する。視線範囲算出部１５はその撮影画像の各フレーム画像のうち発生時刻を基準とする所定の状況発生時間の開始時刻と終了時刻を算出する。例えば視線範囲算出部１５は発生時刻を所定の状況発生時間の開始時刻、発生時刻に１０秒を加えた時刻を終了時刻と算出する。この所定の状況発生時間の開始時刻と終了時刻の算出は一例であって、状況ＩＤが示す状況毎に異なる算出手法によって算出してよい。
視線範囲算出部１５は撮影画像中のフレーム画像のうち、状況発生時間の開始時刻と終了時刻までのフレーム画像を複数取得する。視線範囲算出部１５はそれらフレーム画像に映る運転者の、正面方向を基準とする顔の向きベクトルと、眼球の瞳孔の向きベクトルとを算出する。顔の向きベクトルと瞳孔の向きベクトルは、一例としては運転者の頭部位置を中心とする水平方向３６０度の各方向の何れかを示す。視線範囲算出部１５は顔の向きベクトルと瞳孔の向きベクトルの合成ベクトルを示す視線方向ベクトルを算出する。視線範囲算出部１５は状況発生時間の開始時刻と終了時刻までの各フレーム画像の視線方向ベクトルを繰り返し算出する。視線範囲算出部１５は各フレーム画像の視線方向ベクトルを範囲に含む運転者視線範囲を算出する。視線範囲算出部１５は状況ＩＤと運転者ＩＤと運転者視線範囲とを含む視線範囲情報をデータベース１０４に記録する。視線範囲算出部１５は全ての運転者ＩＤと状況ＩＤの組み合わせについて視線範囲情報を生成したかを判定する（ステップＳ３０７）。視線範囲算出部１５は全ての運転者ＩＤと状況ＩＤの組み合わせについて視線範囲情報の生成が完了するまでその処理を繰り返す。視線範囲算出部１５は処理を終了すると報告情報生成部１６に報告情報の生成を指示する。
報告情報生成部１６は報告情報の生成指示に基づいて報告情報を生成する（ステップＳ３０８）。具体的には、報告情報生成部１６はある運転者ＩＤの視線範囲情報をデータベース１０４から読み取る。報告情報生成部１６は当該視線範囲情報のうち、１つの選択した状況ＩＤを含む視線範囲情報を特定する。報告情報生成部１６は１つの選択した状況ＩＤを含む視線範囲情報から、それぞれ運転者視線範囲を抽出し、当該状況ＩＤが示す所定の運転状況における運転者視線範囲の統計値を算出する。例えば報告情報生成部１６は複数の運転者視線範囲のうち５０％以上などの所定割合以上の確率で運転者視線範囲に含まれる範囲を統計値と算出する。報告情報生成部１６は運転者ＩＤと状況ＩＤと運転者視線範囲の統計値とを含む報告情報を、運転者ＩＤと状況ＩＤの組み合わせごとに生成する。報告情報生成部１６は、報告情報に基づいて報告画像を生成する。当該報告画像は、状況ＩＤが示す運転状況において推奨される推奨視線範囲と、当該状況ＩＤにおける運転者視線範囲（統計値）と、推奨視線範囲において運転者視線範囲と重ならない範囲を示す視認不足視線範囲とを表す画像情報である。報告情報生成部１６は当該報告画像を含む報告情報を生成して、運転者ＩＤにより特定されるメールドレスや端末装置などの出力先に当該報告情報を送信する（ステップＳ３０９）。報告情報生成部１６は全ての運転者ＩＤについて報告情報を生成、送信したかを判定する（ステップＳ３１０）。報告情報生成部１６は全ての運転者ＩＤについて報告情報の生成、送信が完了するまで処理を繰り返す。
図９は運転者視線範囲の統計値の算出概要を示す図である。
報告情報生成部１６は例えば状況ＩＤが左折を示す３つの視線範囲情報を特定する。図９（ａ）で示すように、３つの視線範囲情報のうち１回目の左折を示す視線範囲情報の運転者視線範囲が正面方向を０度とした場合の−４５度〜１２０度の範囲を示すとする。また１回目の左折の運転者視線範囲が正面方向を０度とした場合の−４５度〜１２０度の範囲を示すとする。３つの視線範囲情報のうち２回目の左折を示す視線範囲情報の運転者視線範囲が正面方向を０度とした場合の−５０度〜９０度の範囲を示すとする。また３回目の左折の運転者視線範囲が正面方向を０度とした場合の−４５度〜１５０度の範囲を示すとする。
報告情報生成部１６は例えば状況ＩＤが左折を示す３つの視線範囲情報を特定する。図９（ａ）で示すように、３つの視線範囲情報のうち１回目の左折を示す視線範囲情報の運転者視線範囲が正面方向を０度とした場合の−４５度〜１２０度の範囲を示すとする。また１回目の左折の運転者視線範囲が正面方向を０度とした場合の−４５度〜１２０度の範囲を示すとする。３つの視線範囲情報のうち２回目の左折を示す視線範囲情報の運転者視線範囲が正面方向を０度とした場合の−５０度〜９０度の範囲を示すとする。また３回目の左折の運転者視線範囲が正面方向を０度とした場合の−４５度〜１５０度の範囲を示すとする。
この場合、図９（ｂ）で示すように、３回の左折において運転者が視線範囲−５０度〜−４５度の範囲に視線方向を移した確率は３回に１回であるから少数点第一位まで表して確率３３．３％となる。
同様に３回の左折において運転者が視線範囲−４５度〜４０度の範囲に視線方向を移した確率は３回に２回であるから少数点第一位まで表して確率６６．６％となる。
また同様に３回の左折において運転者が視線範囲４０度〜９０度（正面方向）の範囲に視線方向を移した確率は３回のうち３回であるから少数点第一位まで表して確率１００．０％となる。
また同様に３回の左折において運転者が視線範囲９０度〜１２０度の範囲に視線方向を移した確率は３回に２回であるから少数点第一位まで表して確率６６．６％となる。
また同様に３回の左折において運転者が視線範囲１２０度〜１５０度の範囲に視線方向を移した確率は３回に１回であるから少数点第一位まで表して確率３３．３％となる。
同様に３回の左折において運転者が視線範囲−４５度〜４０度の範囲に視線方向を移した確率は３回に２回であるから少数点第一位まで表して確率６６．６％となる。
また同様に３回の左折において運転者が視線範囲４０度〜９０度（正面方向）の範囲に視線方向を移した確率は３回のうち３回であるから少数点第一位まで表して確率１００．０％となる。
また同様に３回の左折において運転者が視線範囲９０度〜１２０度の範囲に視線方向を移した確率は３回に２回であるから少数点第一位まで表して確率６６．６％となる。
また同様に３回の左折において運転者が視線範囲１２０度〜１５０度の範囲に視線方向を移した確率は３回に１回であるから少数点第一位まで表して確率３３．３％となる。
そして報告情報生成部１６は、図９（ｃ）で示すように、図９（ｂ）の各視線範囲に視線方向を移した確率に基づいて、所定の閾値以上の確率となる範囲を、運転者視線範囲の統計値と決定する。
図１０は報告画像の概要を示す図である。
図１０（ａ）は視線範囲の全体を示す図である。図１０（ａ）では運転者の頭部の位置に車両を配置し、車両を中心とした周囲３６０度の視線範囲と、運転者がドアミラーやバックミラーに視線を移した場合の視線範囲とを示す画像を表す。運転者の視線方向がドアミラーやバックミラーに映った場合には、視線方向が映ったミラーを示すミラーＩＤが視線範囲情報に含まれてもよい。この場合、報告情報生成部１６はミラーＩＤに対応する視線範囲を、運転者視線範囲に含めるようにしてもよい。図１０（ｂ）は報告画像の例を示している。図１０（ｂ）に示すように、報告情報生成部１６は、運転者視線範囲の統計値と、視認不足視線範囲を算出して、それらの範囲を異なる態様で表す報告画像を生成してよい。報告情報生成部１６はこのような報告画像を所定の運転状況毎に生成して運転者やその管理者等が認識できるように出力する。
図１０（ａ）は視線範囲の全体を示す図である。図１０（ａ）では運転者の頭部の位置に車両を配置し、車両を中心とした周囲３６０度の視線範囲と、運転者がドアミラーやバックミラーに視線を移した場合の視線範囲とを示す画像を表す。運転者の視線方向がドアミラーやバックミラーに映った場合には、視線方向が映ったミラーを示すミラーＩＤが視線範囲情報に含まれてもよい。この場合、報告情報生成部１６はミラーＩＤに対応する視線範囲を、運転者視線範囲に含めるようにしてもよい。図１０（ｂ）は報告画像の例を示している。図１０（ｂ）に示すように、報告情報生成部１６は、運転者視線範囲の統計値と、視認不足視線範囲を算出して、それらの範囲を異なる態様で表す報告画像を生成してよい。報告情報生成部１６はこのような報告画像を所定の運転状況毎に生成して運転者やその管理者等が認識できるように出力する。
以上、本発明の実施形態について説明したが、上述の運転状況監視装置の処理によれば、運転状況に応じた視線範囲と視認不足視線範囲を表す画像を含む報告情報を生成する。これにより運転状況に応じた視線範囲の不足をより適切に運転者自身が認識する情報を運転者やその管理者に提供することが出来る。
図１０は運転状況監視装置の最小構成を示す図である。
この図が示すように運転状況監視装置１は少なくとも、センシングデータ取得部１２、視線範囲算出部１５、報告情報生成部１６を備える。
センシングデータ取得部１２は運転者の運転時視線情報と運転状況データとを取得する。
視線範囲算出部１５は所定の運転状況を示す運転状況ＩＤに応じた運転者視線範囲を運転時視線情報に基づいて算出する。
報告情報生成部１６は、所定の運転状況について予め記憶する推奨視線範囲と運転者視線範囲とに基づいて視認不足視線範囲を判定する。
この図が示すように運転状況監視装置１は少なくとも、センシングデータ取得部１２、視線範囲算出部１５、報告情報生成部１６を備える。
センシングデータ取得部１２は運転者の運転時視線情報と運転状況データとを取得する。
視線範囲算出部１５は所定の運転状況を示す運転状況ＩＤに応じた運転者視線範囲を運転時視線情報に基づいて算出する。
報告情報生成部１６は、所定の運転状況について予め記憶する推奨視線範囲と運転者視線範囲とに基づいて視認不足視線範囲を判定する。
上述の運転状況監視装置１やドライブレコーダ２の制御装置２４は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。
上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
１・・・運転状況監視装置
２・・・ドライブレコーダ
１１・・・制御部
１２・・・センシングデータ取得部
１３・・・画像取得部
１４・・・所定状況時刻判定部
１５・・・視線範囲算出部
１６・・・報告情報生成部
１７・・・出力部
２１・・・センサ
２２・・・通信装置
２３・・・カメラ
２４・・・制御装置
２５・・・記憶装置
２１１・・・加速度センサ
２１３・・・ＧＰＳセンサ
２４１・・・車両情報取得部
２４２・・・位置情報取得部
２４３・・・加速度情報取得部
２４５・・・画像生成部
２４６・・・運転状況データ送信部
２４８・・・画像送信部
２・・・ドライブレコーダ
１１・・・制御部
１２・・・センシングデータ取得部
１３・・・画像取得部
１４・・・所定状況時刻判定部
１５・・・視線範囲算出部
１６・・・報告情報生成部
１７・・・出力部
２１・・・センサ
２２・・・通信装置
２３・・・カメラ
２４・・・制御装置
２５・・・記憶装置
２１１・・・加速度センサ
２１３・・・ＧＰＳセンサ
２４１・・・車両情報取得部
２４２・・・位置情報取得部
２４３・・・加速度情報取得部
２４５・・・画像生成部
２４６・・・運転状況データ送信部
２４８・・・画像送信部
Claims (7)
- 運転者の運転時視線情報と運転状況情報とを取得する取得部と、
所定の運転状況を示す運転状況情報に応じた運転者視線範囲を前記運転時視線情報に基づいて算出する視線範囲算出部と、
前記所定の運転状況について予め記憶する推奨視線範囲と前記運転者視線範囲とに基づいて視認不足視線範囲を判定する報告情報生成部と、
を備える運転状況監視装置。 - 前記運転状況情報に基づいて前記所定の運転状況の時刻を判定する所定状況時刻判定部と、を備え、
前記視線範囲算出部は、前記所定の運転状況の時刻を基準とする所定期間に撮影した前記運転者の撮影画像に基づいて所定の運転状況を示す運転状況情報に応じた前記運転者の運転者視線範囲を算出する
請求項１に記載の運転状況監視装置。 - 前記報告情報生成部は、前記所定の運転状況について複数算出した前記視認不足視線範囲の統計情報に基づいて前記視認不足視線範囲を判定する
請求項１または請求項２に記載の運転状況監視装置。 - 前記報告情報生成部は、前記統計情報に基づく前記視認不足視線範囲と、前記推奨視線範囲とを少なくとも視認できる画像情報を含む報告情報を生成する
請求項３に記載の運転状況監視装置。 - 運転状況監視装置と運転状況センシング装置とを備え、
前記運転状況監視装置が、
運転者の運転時視線情報と運転状況情報とを前記運転状況センシング装置から取得する取得部と、
所定の運転状況を示す運転状況情報に応じた運転者視線範囲を前記運転時視線情報に基づいて算出する視線範囲算出部と、
前記所定の運転状況について予め記憶する推奨視線範囲と前記運転者視線範囲とに基づいて視認不足視線範囲を判定する報告情報生成部と、
を備える運転状況監視システム。 - 運転者の運転時視線情報と運転状況情報とを取得し、
所定の運転状況を示す運転状況情報に応じた運転者視線範囲を前記運転時視線情報に基づいて算出し、
前記所定の運転状況について予め記憶する推奨視線範囲と前記運転者視線範囲とに基づいて視認不足視線範囲を判定する
運転状況監視方法。 - 運転状況監視装置のコンピュータを、
運転者の運転時視線情報と運転状況情報とを取得する取得手段、
所定の運転状況を示す運転状況情報に応じた運転者視線範囲を前記運転時視線情報に基づいて算出する視線範囲算出手段、
前記所定の運転状況について予め記憶する推奨視線範囲と前記運転者視線範囲とに基づいて視認不足視線範囲を判定する報告情報生成手段、
として機能させるプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018010902A JP6834997B2 (ja) | 2018-01-25 | 2018-01-25 | 運転状況監視装置、運転状況監視システム、運転状況監視方法、プログラム |
| PCT/JP2019/000782 WO2019146435A1 (ja) | 2018-01-25 | 2019-01-11 | 運転状況監視装置、運転状況監視システム、運転状況監視方法、記憶媒体 |
| US16/964,814 US11417123B2 (en) | 2018-01-25 | 2019-01-11 | Driving state monitoring device, driving state monitoring system, driving state monitoring method, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018010902A JP6834997B2 (ja) | 2018-01-25 | 2018-01-25 | 運転状況監視装置、運転状況監視システム、運転状況監視方法、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019128848A true JP2019128848A (ja) | 2019-08-01 |
| JP6834997B2 JP6834997B2 (ja) | 2021-02-24 |
Family
ID=67394931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018010902A Active JP6834997B2 (ja) | 2018-01-25 | 2018-01-25 | 運転状況監視装置、運転状況監視システム、運転状況監視方法、プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11417123B2 (ja) |
| JP (1) | JP6834997B2 (ja) |
| WO (1) | WO2019146435A1 (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005267108A (ja) * | 2004-03-17 | 2005-09-29 | Denso Corp | 運転支援装置 |
| JP2008250775A (ja) * | 2007-03-30 | 2008-10-16 | Denso Corp | データベース装置、注意喚起装置及び運転支援装置 |
| JP2013242763A (ja) * | 2012-05-22 | 2013-12-05 | Clarion Co Ltd | 対話装置、対話システム、および対話制御方法 |
| WO2015064080A1 (ja) * | 2013-11-01 | 2015-05-07 | パナソニックＩｐマネジメント株式会社 | 視線方向検出装置および視線方向検出方法 |
| WO2016166791A1 (ja) * | 2015-04-13 | 2016-10-20 | 三菱電機株式会社 | 運転支援装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10019634B2 (en) * | 2010-06-04 | 2018-07-10 | Masoud Vaziri | Method and apparatus for an eye tracking wearable computer |
| US20140070934A1 (en) * | 2012-09-07 | 2014-03-13 | GM Global Technology Operations LLC | Methods and systems for monitoring driver object detection |
| CN103770733B (zh) * | 2014-01-15 | 2017-01-11 | 中国人民解放军国防科学技术大学 | 一种驾驶员安全驾驶状态检测方法及装置 |
| US10486599B2 (en) * | 2015-07-17 | 2019-11-26 | Magna Mirrors Of America, Inc. | Rearview vision system for vehicle |
| JP2017182776A (ja) * | 2016-03-29 | 2017-10-05 | 株式会社デンソー | 車両周辺監視装置及びコンピュータプログラム |
| KR102429490B1 (ko) * | 2017-09-05 | 2022-08-05 | 현대자동차주식회사 | Bvm 영상 제공 기능을 가지는 svm 시스템 및 그 동작 방법 |
-
2018
- 2018-01-25 JP JP2018010902A patent/JP6834997B2/ja active Active
-
2019
- 2019-01-11 US US16/964,814 patent/US11417123B2/en active Active
- 2019-01-11 WO PCT/JP2019/000782 patent/WO2019146435A1/ja active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005267108A (ja) * | 2004-03-17 | 2005-09-29 | Denso Corp | 運転支援装置 |
| JP2008250775A (ja) * | 2007-03-30 | 2008-10-16 | Denso Corp | データベース装置、注意喚起装置及び運転支援装置 |
| JP2013242763A (ja) * | 2012-05-22 | 2013-12-05 | Clarion Co Ltd | 対話装置、対話システム、および対話制御方法 |
| WO2015064080A1 (ja) * | 2013-11-01 | 2015-05-07 | パナソニックＩｐマネジメント株式会社 | 視線方向検出装置および視線方向検出方法 |
| WO2016166791A1 (ja) * | 2015-04-13 | 2016-10-20 | 三菱電機株式会社 | 運転支援装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6834997B2 (ja) | 2021-02-24 |
| US20210056330A1 (en) | 2021-02-25 |
| WO2019146435A1 (ja) | 2019-08-01 |
| US11417123B2 (en) | 2022-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104656503B (zh) | 自主车辆中的可穿戴计算机 | |
| JP5804508B2 (ja) | ドライブレコーダ | |
| CN111319628A (zh) | 用于评估错误威胁检测的方法和系统 | |
| WO2019188926A1 (ja) | 余所見判定装置、余所見判定システム、余所見判定方法、記憶媒体 | |
| JP2016028318A (ja) | 乗り物の自動緊急応答システムのためのコンピュータ記憶媒体及び方法 | |
| JP2007334574A (ja) | 緊急通報装置および緊急通報システムならびに緊急車両案内システム | |
| JP2010033106A (ja) | 運転者支援装置、運転者支援方法および運転者支援処理プログラム | |
| JP2002367080A (ja) | 車両用視覚支援方法及び装置 | |
| CN107415861A (zh) | 用于车辆用来探测驾驶员对电子的设备的使用的方法和装置 | |
| CN103167276A (zh) | 车辆监控系统和车辆监控方法 | |
| JP6844568B2 (ja) | 余所見判定装置、余所見判定システム、余所見判定方法、プログラム | |
| JP7124935B2 (ja) | 余所見判定装置、余所見判定システム、余所見判定方法、プログラム | |
| JPWO2018042976A1 (ja) | 画像生成装置、画像生成方法、記録媒体、および画像表示システム | |
| CN105818744A (zh) | 一种监测车辆超速报警的方法和系统 | |
| CN107850989A (zh) | 用于在车辆中呈现信息的方法、装置和系统 | |
| JP2019081450A (ja) | 表示装置、表示制御方法、及びプログラム | |
| JP6834997B2 (ja) | 運転状況監視装置、運転状況監視システム、運転状況監視方法、プログラム | |
| JP2022139593A (ja) | 運転者視認状況確認装置 | |
| JP7298351B2 (ja) | 状態判定装置、車載機、運転評価システム、状態判定方法、及びプログラム | |
| JP6933161B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
| KR101763389B1 (ko) | 운전 부주의 경고 방법 및 시스템 | |
| KR102467632B1 (ko) | 차량 후방 감지 장치 및 방법 | |
| WO2020250962A1 (ja) | 画像処理装置、画像処理方法、記録媒体 | |
| JP2023125183A (ja) | 情報処理装置、情報処理方法、プログラム及び記録媒体 | |
| JP2023125182A (ja) | 情報処理装置、情報処理方法、プログラム及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190708 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200609 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200807 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210118 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6834997 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |