JP2020067885A - 記録再生制御装置、記録再生制御システム、記録再生制御方法、および記録再生制御プログラム - Google Patents

記録再生制御装置、記録再生制御システム、記録再生制御方法、および記録再生制御プログラム Download PDF

Info

Publication number
JP2020067885A
JP2020067885A JP2018200887A JP2018200887A JP2020067885A JP 2020067885 A JP2020067885 A JP 2020067885A JP 2018200887 A JP2018200887 A JP 2018200887A JP 2018200887 A JP2018200887 A JP 2018200887A JP 2020067885 A JP2020067885 A JP 2020067885A
Authority
JP
Japan
Prior art keywords
event
recording
vehicle
data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018200887A
Other languages
English (en)
Other versions
JP7326719B2 (ja
Inventor
啓太 林
Keita Hayashi
啓太 林
聡隆 村田
Satotaka Murata
聡隆 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2018200887A priority Critical patent/JP7326719B2/ja
Publication of JP2020067885A publication Critical patent/JP2020067885A/ja
Priority to JP2023088568A priority patent/JP2023107812A/ja
Application granted granted Critical
Publication of JP7326719B2 publication Critical patent/JP7326719B2/ja
Priority to JP2024043356A priority patent/JP2024069586A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】ユーザが放置または見逃しがちなイベント記録データを適切に参照させること。【解決手段】記録再生制御装置は、車両の周囲を撮影するカメラが撮影した撮影データを取得する撮影データ取得部と、車両に対するイベントを検出するイベント検出部と、イベント検出部がイベントを検出した場合、イベントの検出に基づいた第一期間の撮影データをイベント記録データとして保存する記録制御部と、車両の動力のオン情報またはオフ情報を取得する車両情報取得部と、車両情報取得部が車両の動力のオン情報またはオフ情報を取得したとき、動力のオンまたはオフ時点の前に発生したイベントに関するイベント記録データを出力する出力制御部と、を備える。【選択図】図1

Description

本発明は、記録再生制御装置、記録再生制御システム、記録再生制御方法、および記録再生制御プログラムに関する。
ドライブレコーダは、事故に相当するイベントに加えて、事故ではないが所謂ヒヤリハットと称されるような状態も検出し、イベント記録データとして保存するものがある。
例えば、特許文献1には、ヒヤリハットなどの潜在的な危険を記録して再生するドライブレコーダが開示されている。
特開2017−175220号公報
事故ではないヒヤリハットなどの状態を記録したイベント記録データは、運転者が積極的に参照することは少ないが、安全運転を行うために運転者が参照することが有用である。また、運転者等が不在の駐車中に記録されたイベント記録データは、駐車を終了し車両の利用を開始するときに、イベントが発生していたことに気付かない場合がある。そのため、特許文献1に記載の技術であっても、イベント記録データの再生をユーザ任せにすると、イベント記録データが有効活用できない可能性がある。それに加え、実際は事故であるにもかかわらず運転者が気付かないイベントが放置されてしまう可能性がある。
本発明は、ユーザが放置または見逃しがちなイベント記録データを適切に参照させることのできる、記録再生制御装置、記録再生制御システム、記録再生制御方法、および記録再生制御プログラムを提供することを課題とする。
本発明の記録再生制御装置は、車両の周囲を撮影するカメラが撮影した撮影データを取得する撮影データ取得部と、前記車両に対するイベントを検出するイベント検出部と、前記イベント検出部がイベントを検出した場合、イベントの検出に基づいた第一期間の撮影データをイベント記録データとして保存する記録制御部と、前記車両の動力のオン情報またはオフ情報を取得する車両情報取得部と、前記車両情報取得部が前記車両の動力のオン情報またはオフ情報を取得したとき、前記動力のオンまたはオフ時点の前に発生したイベントに関するイベント記録データを出力する出力制御部と、を備える。
本発明の記録再生制御システムは、本発明の記録再生制御装置と、前記車両周囲を撮影するカメラと、前記イベント記録データを記憶している記憶部と、を備える。
本発明の記録再生制御方法は、車両の周囲を撮影するカメラが撮影した撮影データを取得する撮影データ取得ステップと、前記車両に対するイベントを検出するイベント検出ステップと、前記イベント検出ステップでイベントを検出した場合、イベントの検出に基づいた第一期間の撮影データをイベント記録データとして保存する記録制御ステップと、前記車両の動力のオン情報またはオフ情報を取得する車両情報取得ステップと、前記車両情報取得ステップで前記車両の動力のオン情報またはオフ情報を取得したとき、前記動力のオンまたはオフ時点の前に発生したイベントに関するイベント記録データを出力する出力制御ステップと、を含む。
本発明の記録再生制御プログラムは、車両の周囲を撮影するカメラが撮影した撮影データを取得する撮影データ取得ステップと、前記車両に対するイベントを検出するイベント検出ステップと、前記イベント検出ステップでイベントを検出した場合、イベントの検出に基づいた第一期間の撮影データをイベント記録データとして保存する記録制御ステップと、前記車両の動力のオン情報またはオフ情報を取得する車両情報取得ステップと、前記車両情報取得ステップで前記車両の動力のオン情報またはオフ情報を取得したとき、前記動力のオンまたはオフ時点の前に発生したイベントに関するイベント記録データを出力する出力制御ステップと、をコンピュータに実行させる。
本発明によれば、ユーザが放置または見逃しがちなイベント記録データを適切に参照させることができる。
図1は、本発明の第一実施形態に係る記録再生制御システムの構成を示すブロック図である。 図2は、イベント記録データに対応付けられている付加情報の一例を説明するための図である。 図3は、イベント記録データの再生期間を説明するための図である。 図4は、イベント記録データの再生期間を説明するための図である。 図5は、本発明の第一実施形態に係る記録再生制御装置の処理の流れの一例を示すフローチャートである。 図6は、本発明の第二実施形態に係る記録再生制御装置の処理の流れの一例を示すフローチャートである。 図7は、本発明の第三実施形態に係る記録再生制御装置の処理の流れの一例を示すフローチャートである。 図8は、本発明の第四実施形態に係る記録再生制御装置の処理の流れの一例を示すフローチャートである。
以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含む。
[第一実施形態]
図1を用いて、本発明の実施形態に係る記録再生制御システムの構成について説明する。図1は、本発明の実施形態に係る記録再生制御システムの構成を示すブロック図である。
図1に示すように、記録再生制御システム1は、カメラ10と、マイクロフォン20と、記憶部30と、操作部40と、表示部50と、センサ部60と、GPS受信部70と、通信部80と、バッテリ90と、記録再生制御装置100とを備えている。このような、記録再生制御システム1は、例えば、車両に搭載されたドライブレコーダに適用することができる。
カメラ10は、自車両の周囲の映像を撮影する。カメラ10は、例えば、走行中および駐車中の自車両の周囲の映像を撮影する。カメラ10は、例えば、自車両の前方の映像を撮影する。カメラ10は、撮影した映像データに撮影した日時および場所を特定できるような、タイムスタンプや緯度経度情報などの情報を付加してもよい。カメラ10は、例えば、ドライブレコーダに搭載されたカメラで実現することができる。カメラ10は、撮影した映像データを撮影データ取得部121に出力する。
マイクロフォン20は、自車両の内外の音声を検出する。マイクロフォン20は、例えば、自車両の周囲で発生した交通事故などにおける車両の衝突音や、人物の音声を取得する。マイクロフォン20は、検出した音声データに検出した日時を特定できるような、タイムスタンプなどの時間に関する情報を付加してもよい。マイクロフォン20は、一般的なマイクロフォンで実現することができる。マイクロフォン20は、取得した音声を音声データ取得部122に出力する。
記憶部30は、例えば、記録再生制御装置100の各部を実現させるためのプログラムを記憶している。記憶部30は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、ハードディスク、ソリッドステートドライブ、光ディスクなどの記憶装置で実現することができる。記憶部30は、複数の異なるメモリ等で構成されてもよい。記憶部30は、例えば、地図情報32と、認識辞書33を記憶しており、イベントが検出されたときは、イベント記録データ31を保存する。イベント記録データは、上書き禁止のデータとして保存されてもよい。記憶部30は、カメラ10が撮影した撮影データを常時記録しているときは、常時記録した撮影データを上書き可能に記録する。また、地図情報32は、ナビゲーション装置や他の装置に記憶されている地図情報を利用してもよい。
イベント記録データ31は、検出されたイベントに基づいて保存された撮影データである。具体的には、イベント記録データ31は、例えば、自車両に加わる加速度に基づいてイベントと判断されたときに保存される撮影データである。また、イベント記録データ31は、自車両に加わる加速度に基づくイベントに限定されず、自車両に対する他車両や人の近接などに基づいて保存される撮影データなどであってもよい。
地図情報32は、例えば、道路や施設に関する情報を含む情報である。
認識辞書33は、記録再生制御装置100が映像データに含まれている種々の物体を認識するための辞書データである。すなわち、記録再生制御装置100は、認識辞書33を用いて映像データから種々の物体を検出する。具体的には、記録再生制御装置100は、認識辞書33に含まれる形状データと、映像データに含まれる物体の形状とを比較することで、映像データに含まれる種々の物体を検出する。記録再生制御装置100は、例えば、認識辞書33を用いて映像データに含まれている車両や人を認識する。なお、記録再生制御装置100が他車両を検出する方法は、これに限定されない。記録再生制御装置100は、その他の周知の方法を用いて、物体を検出してもよい。
操作部40は、記録再生制御装置100に対するユーザからの各種の操作を受け付ける。操作部40は、例えば、物理的な操作手段や、表示部50に設けられたタッチパネル、遠隔操作装置などで実現することができる。
表示部50は、各種の映像を表示する。表示部50は、例えば、記憶部30が記憶しているイベント記録データ31が出力制御部125によって出力、つまり再生された場合に再生されたイベント記録データ31を表示する。表示部50は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro-Luminescence)ディスプレイなどを含むディスプレイである。なお、表示部50は、これらに限定されるものではない。
センサ部60は、自車両の各種の情報を検出する。センサ部60は、例えば、加速度センサであり、自車両に加わった加速度を検出する。センサ部60は、例えば、ジャイロセンサであり、自車両の姿勢に関する情報を検出する。センサ部60は、検出結果をイベント検出部128に出力する。
GPS受信部70は、GPS受信回路、GPS受信アンテナなどから構成されており、GPS信号を受信する。GPS受信部70は、受信したGPS信号を現在位置算出部129に出力する。
通信部80は、図示しない有線又は無線ネットワークを介して、外部の情報処理装置と情報通信を行う。通信部80は、例えば、記録再生制御装置100と、ユーザ(例えば、運転者)が所有する端末装置との間で情報通信を行う。具体的には、通信部80は、出力制御部125が出力したイベント記録データ31を、ユーザが所有する端末装置に送信する。ここで、端末装置としては、PC(Personal Computer)、スマートフォン、タブレット端末などを挙げることができるが、これらに限定されない。
バッテリ90は、記録再生制御システム1を動作させるための電力源である。例えば、記録再生制御システム1は、自車両の動力がオンの時は、自車両から電力が供給される。ここで、自車両の動力がオンの時は、電力をバッテリ90に供給することで、バッテリ90を充電する。そして、バッテリ90は、自車両の動力がオフの時に、記録再生制御システム1に対し、電力を供給する。なお、記録再生制御システム1は、自車両の動力がオフの時に、バッテリ90以外の方法で電力を確保できる場合には、バッテリ90を必ずしも設ける必要はない。
記録再生制御装置100は、自車両に搭載され、イベントの検出を含むイベント記録データ31の再生等、記録再生制御システム1の機能を制御する。記録再生制御装置100は、撮影データ取得部121と、音声データ取得部122と、車両情報取得部123と、記憶制御部124と、出力制御部125と、操作制御部126と、表示制御部127と、イベント検出部128と、現在位置算出部129とを備える。撮影データ取得部121と、音声データ取得部122と、車両情報取得部123と、記憶制御部124と、出力制御部125と、操作制御部126と、表示制御部127と、イベント検出部128と、現在位置算出部129とは、それぞれ、バス110を介して接続されている。記録再生制御装置100は、例えば、CPU(Central Processing Unit)を含む電子的な回路で実現することができる。
撮影データ取得部121は、外部から撮影データを取得する。撮影データ取得部121は、例えば、カメラ10からカメラ10が撮影した映像データを取得する。なお、撮影データ取得部121が取得する撮影データは、これに限定されるものではない。
音声データ取得部122は、外部から音声データを取得する。音声データ取得部122は、例えば、マイクロフォン20からマイクロフォン20が検出した音声データを取得する。なお、音声データ取得部122が取得する音声データは、これに限定されるものではない。
記憶部30に保存されるイベント記録データ31などのデータは、撮影データ取得部121が取得した映像データである場合に加えて、音声データ取得部122が取得した音声データを含む場合がある。記憶部30に保存されるイベント記録データ31などのデータは、音声データの有無を問わず、撮影データとして説明する。
車両情報取得部123は、自車両に関する種々の車両情報を取得する。車両情報取得部123は、例えば、車両情報として、自車両の動力のオン状態と、オフ状態の切り替え信号であるオン情報またはオフ情報を取得する。この場合、車両情報取得部123は、例えば、オン情報またはオフ情報を示す動力情報信号を出力制御部125に出力する。車両情報取得部123は、例えば、自車両に関する各種の情報をCAN(Controller Area Network)などから取得する。
車両情報取得部123は、自車両の動力のオン情報またはオフ情報を、自車両から記録再生制御システム1への電力の供給有無で判断する。例えば、記録再生制御システム1が自車両におけるアクセサリ電源から電力供給可能に接続されている場合、アクセサリ電源からの電力供給有無で、自車両の動力のオン情報またはオフ情報を判断する。
車両情報取得部123は、例えば、エンジンがオンからオフに切り替わった信号を受けた場合に、動力がオンからオフに切り替わったと判定し、動力制御信号を出力制御部125に出力する。この場合、車両情報取得部123は、例えば、現在位置算出部129から受けた位置情報が、信号待ちをしていたり、渋滞待ちをしていたり、交差点付近で一時停止していたりすると判定できる場合には、動力制御信号を出力制御部125に出力しなくともよい。言い換えれば、車両情報取得部123が、自車両の動力がオンからオフに切り替わると判定するのは、駐車場などに駐車しており、運転者が所定期間の間、自車両から離れる可能性のある状況のことを意味している。なお、動力がオンからオフに切り替わったと判定される条件は、これらに限定されるものではない。
車両情報取得部123は、例えば、エンジンがオフからオンになった場合に、動力がオフ状態からオン状態に切り替わったと判定し、動力制御信号を出力制御部125に出力する。車両情報取得部123は、例えば、エンジンがオフの状態でアクセサリ電源がオンされた場合に、動力がオフ状態からオン状態に切り替わったと判定し、動力制御信号を出力制御部125に出力してもよい。車両情報取得部123は、例えば、運転者が運転席に座ったり、シートベルトを装着したりしたことを検出すると、動力がオフ状態からオン状態に切り替わったと判定し、動力制御信号を出力制御部125に出力してもよい。車両情報取得部123は、例えば、動力がオフ状態になってから予め定めた所定時間を経過していない場合には、動力制御信号を出力制御部125に出力しなくてもよい。
車両情報取得部123は、エンジンがオンからオフに切り替わったと判定する条件およびエンジンがオフからオンに切り替わったと判定する条件を、アクセサリ電源からの電力供給がオンまたはオフとなったことに加えて、予め設定された現在位置情報であることを条件としてもよい。例えば、自宅位置を予め設定することで、自宅に帰ってくる毎に、自宅を出発してから帰宅するまでを動作期間として、動作期間に保存されたイベント記録データを参照できる。また、会社や所定駐車場の位置を予め設定することで、例えば営業車が、会社に帰ってくる毎に、会社を出発してから帰社するまでを動作期間として、動作期間に保存されたイベント記録データを参照できる。
記憶制御部124は、種々の情報を記憶部30に記憶する。記憶制御部124は、撮影データ取得部121が取得した撮影データや、音声データ取得部122が取得した音声データを記憶部30に記憶する。具体的には、記憶制御部124は、撮影データや、音声データのうち、イベント検出部128によってイベントが検出された場合、イベントの検出に基づいた所定期間の撮影データを、イベント記録データ31として記憶部30に保存する。
より具体的には、記憶制御部124は、イベント検出部128がイベントを検出した場合、少なくともイベントの検出に基づいた第一期間の撮影データをイベント記録データ31として保存する。ここで、第一期間とは、例えば、車両の動作期間中または駐車期間中に常時記録が行われている場合は、イベントの検出時点を含むように、イベントが検出されるよりも前の所定期間の撮影データと、イベントが検出された後の所定期間の撮影データとを含む期間である。この場合の第一期間の例としては、イベントが検出される前の10秒とイベントが検出された後の10秒とからなる20秒などの期間である。また、第一期間の他の例として、車両の駐車期間中に常時記録を行わず、イベントが検出されたことをトリガとしてイベント記録データとして保存する期間である。この場合の第一期間の例としては、イベントが検出されることで記録が開始してから10秒などの期間である。
記憶制御部124は、例えば、イベントが発生した際に自車両に加わった加速度、つまりイベント検出部128がセンサ部60から取得した加速度情報をイベント記録データ31に付加してもよい。
出力制御部125は、記憶部30に記憶されているイベント記録データの再生を行うことでイベント記録データを出力する。出力制御部125は、記憶部30に記憶されているイベント記録データを、操作部40の操作によって出力を開始する。また、出力制御部125は、車両情報取得部123から受けた動力制御信号に従って、記憶部30に記憶されている第一期間のイベント記録データ31を出力する。出力制御部125は、例えば、第一期間のイベント記録データ31を表示制御部127に出力する。出力制御部125は、例えば、第一期間のイベント記録データ31を通信部80によって、外部の端末装置に送信する。出力制御部125は、第一期間のイベント記録データ31を通信部80と、表示制御部127の両方に出力してもよいし、いずれか一方に出力してもよい。通信部80を介してイベント記録データを出力する場合、出力制御部125は、通信部80によるデータの送信等を制御する通信制御部としての機能を含む。出力制御部125は、例えば、運転者が通勤や通学などで、運転する時刻がほぼ決まっている場合などには、帰宅時間の近傍の時刻に動力制御信号を受けた場合にのみ、イベント記録データ31を外部に出力してもよい。出力制御部125は、例えば、現在位置に応じた経路案内表示を地図情報32に基づいて、イベント記録データ31を表示制御部127に出力する。
より具体的には、出力制御部125は、車両情報取得部123から動力制御信号を受けると、動力がオンまたはオフに切り替わった時点よりも前に発生したイベントに関するイベント記録データ31を出力する。出力制御部125は、例えば、車両情報取得部123からオフ状態を示す動力制御信号を受けた時、動力のオフ時点よりも前の動作期間に発生したイベントに関するイベント記録データ31を出力する。出力制御部125は、例えば、車両情報取得部123からオン状態を示す動力制御信号を受けた時、動力のオン時点よりも前の駐車期間に発生したイベントに関するイベント記録データ31を出力する。出力制御部125は、イベント記録データとして保存された第一期間よりも短い期間である第二期間、イベント記録データ31を出力することとしてもよい。
出力制御部125は、イベント記録データ31が複数記憶されている場合には、例えば、各イベント記録データ31に付加されている自車両に加わった加速度の大きさの順に出力してもよい。この場合、出力制御部125は、例えば、全てのイベント記録データ31を出力せずに、所定の個数のイベント記録データを出力してもよい。出力制御部125は、イベント記録データ31が複数記憶されている場合には、例えば、自車両に加わった加速度の大きさが、予め定められた閾値を超えているイベント記録データを出力してもよい。
ここで、図2を用いて、イベント記録データ31に対応付けられている付加情報について説明する。図2は、イベント記録データ31に対応付けられている付加情報の一例を示す対応表である。
図2は、自車両の動力がオンの時、つまり動作期間中に保存されたイベント記録データの対応表の一例である。図2において、イベントNo.1、イベントNo.2、・・・、イベントNo.Nは、それぞれ、イベント記録データ31を示している。図3に示すように、各イベント記録データには、例えば、日時と、位置情報と、加速度情報が対応付けられている。位置情報は、具体的な位置の名称を示したが、緯度経度情報であってもよい。イベントNo.1からイベントNo.Nは、同様の構成なので、以下では、イベントNo.1を例に説明する。
日時は、イベントが検出された時刻を意味している。位置情報は、イベントが発生した場所に関する情報である。加速度情報は、自車両に加わった加速度の大きさや、加速度が加わった原因を含む情報である。加速度が加わった原因には、例えば、急ブレーキや、急加速などといった、加速度が大きく加わる状況を含む。本実施形態では、加速度が第一の閾値を超えた場合をイベントとして検出し、イベント記録データを保存している。
イベントNo.1は、日時の欄を参照すると、「2018年9月12日14時36分12秒」の時点に検出されたイベントであることが示されている。イベントNo.1は、位置情報の欄を参照すると、「A店の駐車場」で検出されたイベントであることが示されている。イベントNo.1には、加速度情報の欄を参照すると、加速度情報1が対応付けられている。
そのため、出力制御部125は、加速度情報を参照することで、イベント発生時に自車両に加わった加速度の大きさを特定する。そして、出力制御部125は、例えば、動力がオフになった時に、特定した加速度の大きさに基づいて、各イベント記録データの出力の有無を判定する。
出力制御部125は、例えば、各加速度情報に基づいて、加速度の大きい加速度情報が関連付けられているイベントNo.のイベント記録データを順番に出力するようにしてもよい。出力制御部125は、例えば、イベントとして検出される第一の閾値よりも大きな第二の閾値が設けられており、第二の閾値を超えている加速度情報が対応付けられたイベント記録データのみを出力するようにしてもよい。
例えば、検出されたイベントが動作期間中に生じた事故に基づくイベントである場合など、運転者等がイベントの発生を認識している場合は、運転者等は事故に対する対応をとるため、本実施形態のようなイベント記録データの出力処理は不要である。しかし、図2に示すイベントNo.1のように、動作期間中の一時的な駐車時であって自車両に運転者等が不在のときに当て逃げされ、イベントが検出されたにも関わらず運転者等がイベントの発生に気付かなかった場合は、自車両の動力のオフ時にイベント記録データが出力されることで、イベント発生を知ることができる。また、事故ではなく所謂ヒヤリハットと称される急ブレーキや急加速、急ハンドルに加えて、他車両や人との接触可能性のあった近接などに基づいて検出されるイベントに基づくイベント記録データは、自車両の動力のオフ時にイベント記録データが出力されることで、自己の運転の見直しや、危険箇所の把握に有用である。
図3および図4を用いて、イベント記録データ31の再生期間について説明する。図3および図4は、イベント記録データ31の再生期間を説明するための模式図である。
図3は、常時記録を行った場合のイベントに基づいて保存されたイベント記録データの再生期間を示す図である。図3において、イベントの検出時点をt0とした場合、t0からt1だけ前のt0−t1の時点から、t0からt1だけ後のt0+t1の時点までの第一期間の撮影データがイベント記録データ31として保存された場合を示している。この場合、例えば、記憶部30には、イベント検出時の前後の10秒ずつの期間の撮影データがイベント記録データ31として保存されている。すなわち、出力制御部125が第一期間のイベント記録データ31を出力すると、イベント発生時の前後10秒ずつの映像が再生される。ここで、出力制御部125は、第一期間のイベント記録データに対し、t0からt1よりも短いt2だけ前のt0−t2の時点から、t0からt1よりも短いt2だけ後のt0+t2の時点までの第二期間を出力してもよい。この場合、出力制御部125は、例えば、イベント検出時点から前後3秒ずつに短縮したイベント記録データ31を出力する。この場合、イベント検出時の前後3秒ずつの映像が再生される。
図4は、イベント検出に基づいて記録を開始することで保存されたイベント記録データの再生期間を示す図である。図4において、イベントの検出時点をt0とした場合、t0からt1だけ後のt0+t1の時点までの第一期間の撮影データをイベント記録データ31として保存した場合を示している。この場合、例えば、記憶部30には、イベント検出時の後10秒の期間の撮影データがイベント記録データ31として保存されている。すなわち、出力制御部125が第一期間のイベント記録データ31を出力すると、イベント発生後の10秒の映像が再生される。ここで、出力制御部125は、第一期間のイベント記録データに対し、t0からt1よりも短いt2だけ前のt0+t2の時点までの第二期間を出力してもよい。この場合、出力制御部125は、例えば、イベント検出時点後3秒に短縮したイベント記録データ31を出力する。この場合、イベント検出後3秒の映像が再生される。
イベント記録データは、事故が発生したときの検証に有用な情報であるが、ユーザが運転開始時や運転終了時に確認する目的であれば、第一期間のイベント記録データを確認する必要性は低い。特にイベント記録データが複数存在する場合は顕著である。このため、イベント記録データを第二期間出力することで、少なくともイベント検出時点を含む必要な期間のイベント記録データの確認を行うことができる。出力制御部125は、イベント記録データ31を第一期間出力するか、第二期間出力するかを、以下の条件で判断することとしてもよい。例えば、運転開始時や運転終了時に確認する対象となるイベント記録データの数が、例えば1から2程度であれば、イベント記録データを第一期間出力し、それ以上であればイベント記録データを第二期間出力する。または、イベントが検出されたときの加速度が、当て逃げなどの衝突を示すような急峻に立ち上がる加速度に基づくイベント記録データを第一期間出力し、急ブレーキや急加速、急ハンドルなど衝突に比べて立ち上がりの緩やかな加速度に基づくイベント記録データを第二期間出力するようにしてもよい。
出力制御部125がイベント記録データ31を出力した後、記憶制御部124は、そのイベント記録データ31を削除してもよいし、所定期間の保存した後に削除するようにしてもよい。また、記憶制御部124は、例えば、ユーザからイベント記録データ31を削除する旨の操作信号を受けてから、削除してもよい。
操作制御部126は、例えば、操作部40がユーザから受け付けた、記録再生制御装置100に対する操作信号を受け付ける。操作制御部126は、例えば、操作信号に基づいて、出力制御部125にイベント記録データ31を出力させる。また、操作制御部126は、操作部40がユーザから受け付けた、イベント記録指示に関する操作信号を受け取る。操作制御部126がイベント記録指示に関する操作信号を受け取った場合、記憶制御部124は、イベント記録指示に関する操作信号を受け取った時点をイベント発生時点として、イベント発生時点を含む映像データを、イベント記録データ31として記憶部30に記憶する。
表示制御部127は、表示部50に種々の映像を表示する。表示制御部127は、例えば、出力制御部125からの制御に従って、イベント記録データ31を表示部50に表示する。
イベント検出部128は、例えば、自車両が関係する事故などのイベントを検出する。イベント検出部128は、例えば、実際には事故ではないが事故につながるおそれのあったヒヤリハットと称される各種事象をイベントとして検出する。
イベント検出部128は、例えば、自車両が走行中である場合には、センサ部60が検出した自車両に加わった加速度に基づいてイベントを検出する。この場合、イベント検出部128は、例えば、センサ部60が検出した急ブレーキ、急加速、急ハンドルなどに起因する所定以上の大きさの加速度を検出した場合にイベントを検出する。
イベント検出部128は、例えば、自車両が駐車中である場合にも、センサ部60が検出した自車両に加わった加速度に基づいて、イベントを検出する。この場合、イベント検出部128は、例えば、駐車中に他車両が自車両に衝突し、所定以上の加速度が加わった場合に、イベントとして検出する。
イベント検出部128は、例えば、自車両が駐車中である場合には、撮影データ取得部121が取得した撮影データ等に基づいてヒヤリハットを検出する。この場合、イベント検出部128は、例えば、認識辞書33に基づいて自車両周辺の人を検出する。そして、イベント検出部128は、例えば、自車両から物を盗難したり、盗難はされなかったがドアを開けようとしたりする人を検出した場合の、盗難事故やヒヤリハットをイベントとして検出する。
イベント検出部128は、例えば、自車両が走行中または駐車中である場合に、撮影データ取得部が撮影した撮影データや、センサ部60としての近接センサなどを用いて、他車両や人が自車両に接触する可能性がある程度まで近接した場合をイベントとして検出する。
イベント検出部128は、例えば、他車両で発生した事故や他車両の急な減速などをイベントとして検出してもよい。イベント検出部128は、例えば、撮影データ取得部121が取得した撮影データに映っている他車両の移動推移に基づいて、衝突や急ブレーキによる急な減速を検出した場合をイベントとして検出する。この場合、イベント検出部128は、例えば、他車両の移動推移に基づいて、加速度を算出し、算出した加速度に基づいて、他車両が関連するイベントとして検出する。
現在位置算出部129は、GPS受信部70からGPS信号を取得する。現在位置算出部129は、例えば、GPS信号に基づいて、自車両の現在位置を算出する。現在位置算出部129は、例えば、算出した現在位置を記憶制御部124に出力する。
図5を用いて、第一実施形態に係る記録再生制御装置100の処理について説明する。図5は、第一実施形態に係る記録再生制御装置100の処理の流れの一例を示すフローチャートである。図5に図示の処理は、動力がオンからオフに切り替わった際の、記録再生制御装置100の処理を示している。
図5に示すように、記録再生制御装置100は、ステップS101において、自車両の動力がオフとなったか否かを判定する。具体的には、車両情報取得部123が取得した自車両の車両情報に基づいて、自車両の動力がオフとなったか否かを判定する。
自車両の動力がオフとなっていない場合(ステップS101の「No」)、記録再生制御装置100は、車両の動力がオフになるまで、ステップS101の処理を実行する。一方、自車両の動力がオフとなった場合(ステップS101の「Yes」)、記録再生制御装置100は、ステップS102に進む。
記録再生制御装置100は、ステップS102において、動力がオンの動作期間中にイベントが発生したか否かを判定する。具体的には、記録再生制御装置100は、自車両の動作期間中にイベント検出部148によってイベントが検出されたか否か、または動作期間中にイベント記録データが保存されたか否かによって、イベントの発生の有無を判定する。
動作期間中にイベントが発生していなかった場合(ステップS102の「No」)、記録再生制御装置100は、図5の処理を終了する。一方、動作期間中にイベントが発生していた場合(ステップS102の「Yes」)、記録再生制御装置100は、ステップS103に進む。
そして、記録再生制御装置100は、自車両の動作期間中に発生したイベントのイベント記録データ31を出力する(ステップS103)。具体的には、記録再生制御装置100は、出力制御部125によって、イベント記録データ31を出力する。
上述のとおり、第一実施形態は、自車両の動力がオンからオフに切り替わった際に、自車両の動作期間中に発生したイベント記録データが出力される。これにより、第一実施形態は、運転者に対して、自車両の動作期間中に発生したイベント記録データを適切に参照させることができる。
[第二実施形態]
図6を用いて、第二実施形態に係る記録再生制御装置100の処理について説明する。図6は、第二実施形態に係る記録再生制御装置100の処理の流れの一例を示すフローチャートである。図6に図示の処理は、動力がオフからオンに切り替わった際の記録再生制御装置100の処理を示している。
図6に示すように、記録再生制御装置100は、ステップS201において、自車両の動力がオンとなったか否かを判定する。具体的には、車両情報取得部123が取得した自車両の車両情報に基づいて、自車両の動力がオンとなったか否かを判定する。
自車両の動力がオンとなっていない場合(ステップS201の「No」)、記録再生制御装置100は、車両の動力がオンになるまで、ステップS201の処理を実行する。一方、自車両の動力がオンとなった場合(ステップS201の「Yes」)、記録再生制御装置100は、ステップS202に進む。
記録再生制御装置100は、ステップS202において、動力がオフの駐車期間中にイベントが発生したか否かを判定する。具体的には、記録再生制御装置100は、自車両の駐車期間中にイベント検出部148によってイベントが検出されたか否か、または駐車期間中にイベント記録データが保存されたか否かによって、イベントの発生の有無を判定する。
駐車期間中にイベントが発生していなかった場合(ステップS202の「No」)、記録再生制御装置100は、図6の処理を終了する。一方、駐車期間中にイベントが発生していた場合(ステップS202の「Yes」)、記録再生制御装置100は、ステップS203に進む。
そして、記録再生制御装置100は、自車両の駐車期間中に発生したイベントのイベント記録データ31を出力する(ステップS203)。具体的には、記録再生制御装置100は、出力制御部125によって、イベント記録データ31を出力する。
上述のとおり、第二実施形態は、自車両の動力がオフからオンに切り替わった際に、自車両の駐車期間中に発生したイベント記録データが出力される。これにより、第二実施形態は、運転者に対して、自車両の駐車期間中に発生したイベント記録データを適切に参照させることができる。
[第三実施形態]
図7を用いて、第三実施形態に係る記録再生制御装置100の処理について説明する。図7は、第三実施形態に係る記録再生制御装置100の処理の流れの一例を示すフローチャートである。図7に図示の処理は、動力がオンからオフに切り替わった際に、イベント記録データ31を短縮して出力する記録再生制御装置100の処理を示している。なお、以下では動力がオンからオフに切り替わった際の処理について説明するが、動力がオフからオンに切り替わった場合にも同様に適用することができる。
図7に図示のステップS301およびステップS302は、それぞれ、図5に図示のステップS101およびステップS102と同様なので、説明は省略する。また、本実施形態は、図6に示した第二実施形態に対しても適用可能である。
ステップS302の「Yes」の後、記録再生制御装置100は、動作期間中に発生したイベントのイベント記録データ31を短縮して出力する(ステップS303)。具体的には、記録再生制御装置100は、出力制御部125によって、イベント記録データ31を短縮して出力する。そして、記録再生制御装置100は、図7の処理を終了する。ステップS303の処理は、上述したように、第一期間の撮影データからなるイベント記録データを、第一期間より短い期間である第二期間出力する。
上述のとおり、第三実施形態は、イベント記録データの記録時間よりも短縮されたイベント記録データが出力される。これにより、第三実施形態は、運転者に対して、自車両の走行期間、または駐車期間中に発生したイベント記録データを短い時間で効率的に参照させることができる。
[第四実施形態]
図8を用いて、本実施形態に係る記録再生制御装置100の処理について説明する。図8は、本実施形態に係る記録再生制御装置100の処理の流れの一例を示すフローチャートである。図8に図示の処理は、動力がオンからオフに切り替わった際に、イベントが複数発生したか否かを判定する記録再生制御装置100の処理を示している。なお、以下では動力がオンからオフに切り替わった際の処理について説明するが、動力がオフからオンに切り替わった場合にも同様に適用することができる。
図8に図示のステップS401およびステップS402は、それぞれ、図5に図示のステップS101およびステップS102と同様なので、説明は省略する。また、本実施形態は、図6に示した第二実施形態に対しても適用可能である。
ステップS402の「Yes」の後、記録再生制御装置100は、ステップS403において、発生したイベントは複数であるか否かを判定する。
発生したイベントが複数ではない場合(ステップS403の「No」)、記録再生制御装置100は、ステップS404に進む。この場合、記録再生制御装置100は、図5に図示のステップS103のように、自車両が動作期間中に撮影された1つのイベント記録データを出力する(ステップS404)。そして、記録再生制御装置100は、図8の処理を終了する。
一方、発生したイベントが複数である場合(ステップS403の「Yes」)、記録再生制御装置100は、ステップS405に進む。この場合、記録再生制御装置100は、自車両が動作期間中に記憶された複数のイベント記録データ31を順番に出力する(ステップS405)。具体的には、記録再生制御装置100は、出力制御部125によって、複数のイベント記録データ31を順番に出力する。そして、記録再生制御装置100は、図8の処理を終了する。
上述のとおり、第四実施形態は、自車両が走行中に複数のイベントが発生した場合、自車両の動力がオンからオフに切り替わった際に、イベント記録データを順番に出力する。これにより、第四実施形態は、複数のイベントが発生した場合、運転者に対して、自車両が走行中に発生したイベント記録データを効率的に参照させることができる。
また、第四実施形態は、複数のイベントが発生した場合、イベント検出の際に自車両に加わった加速度の大きかったイベントのイベント記録データを順番に出力させることができる。これにより、第四実施形態は、運転者に対して、危険度の大きかったイベント記録データを優先的に参照させることができる。また、複数のイベントが発生した場合、イベント検出の際に自車両に加わった加速度が閾値以上のイベントのイベント記録データを選択的に出力することとしてもよい。
以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、上述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、上述した構成要素は適宜組み合わせることが可能である。さらに、上述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
1 記録再生制御システム
10 カメラ
20 マイクロフォン
30 記憶部
31 イベント記録データ
32 地図情報
33 認識辞書
40 操作部
50 表示部
60 センサ部
70 GPS受信部
80 通信部
90 バッテリ
100 記録再生制御装置
110 バス
121 撮影データ取得部
122 音声データ取得部
123 車両情報取得部
124 記憶制御部
125 出力制御部
126 操作制御部
127 表示制御部
128 イベント検出部
129 現在位置算出部

Claims (10)

  1. 車両の周囲を撮影するカメラが撮影した撮影データを取得する撮影データ取得部と、
    前記車両に対するイベントを検出するイベント検出部と、
    前記イベント検出部がイベントを検出した場合、イベントの検出に基づいた第一期間の撮影データをイベント記録データとして保存する記録制御部と、
    前記車両の動力のオン情報またはオフ情報を取得する車両情報取得部と、
    前記車両情報取得部が前記車両の動力のオン情報またはオフ情報を取得したとき、前記動力のオンまたはオフ時点の前に発生したイベントに関するイベント記録データを出力する出力制御部と、
    を備える、記録再生制御装置。
  2. 前記出力制御部は、前記車両情報取得部が前記車両の動力のオフ情報を取得したとき、前記動力のオフ時点の前の動作期間に発生したイベントに関するイベント記録データを出力する、
    請求項1に記載の記録再生制御装置。
  3. 前記出力制御部は、前記車両情報取得部が前記車両の動力のオン情報を取得したとき、前記動力のオン時点の前の駐車期間に発生したイベントに関するイベント記録データを出力する、
    請求項1に記載の記録再生制御装置。
  4. 前記出力制御部は、前記第一期間の撮影データであるイベント記録データを、前記第一期間よりも短い期間である第二期間出力する、
    請求項1から3のいずれか1項に記載の記録再生制御装置。
  5. 前記イベント検出部は、前記車両に加わる加速度に基づいてイベントを検出し、
    前記出力制御部は、再生対象のイベント記録データが複数存在する場合、前記加速度の大きさに基づいた順番でイベント記録データを出力する、
    請求項1から4のいずれか1項に記載の記録再生制御装置。
  6. 前記出力制御部は、前記イベント記録データを、表示部に映像を表示する表示制御部に出力する、
    請求項1から5のいずれか1項に記載の記録再生制御装置。
  7. 前記出力制御部は、前記イベント記録データを、ユーザの所有する端末装置に出力する、
    請求項1から6のいずれか1項に記載の記録再生制御装置。
  8. 請求項1から7のいずれか1項に記載の記録再生制御装置と、
    前記車両の周囲を撮影するカメラと、
    前記イベント記録データを記憶している記憶部と、を備える、
    記録再生制御システム。
  9. 車両の周囲を撮影するカメラが撮影した撮影データを取得する撮影データ取得ステップと、
    前記車両に対するイベントを検出するイベント検出ステップと、
    前記イベント検出ステップでイベントを検出した場合、イベントの検出に基づいた第一期間の撮影データをイベント記録データとして保存する記録制御ステップと、
    前記車両の動力のオン情報またはオフ情報を取得する車両情報取得ステップと、
    前記車両情報取得ステップで前記車両の動力のオン情報またはオフ情報を取得したとき、前記動力のオンまたはオフ時点の前に発生したイベントに関するイベント記録データを出力する出力制御ステップと、
    を含む、記録再生制御方法。
  10. 車両の周囲を撮影するカメラが撮影した撮影データを取得する撮影データ取得ステップと、
    前記車両に対するイベントを検出するイベント検出ステップと、
    前記イベント検出ステップでイベントを検出した場合、イベントの検出に基づいた第一期間の撮影データをイベント記録データとして保存する記録制御ステップと、
    前記車両の動力のオン情報またはオフ情報を取得する車両情報取得ステップと、
    前記車両情報取得ステップで前記車両の動力のオン情報またはオフ情報を取得したとき、前記動力のオンまたはオフ時点の前に発生したイベントに関するイベント記録データを出力する出力制御ステップと、
    をコンピュータに実行させるための記録再生制御プログラム。
JP2018200887A 2018-10-25 2018-10-25 記録再生制御装置、記録再生制御方法、および記録再生制御プログラム Active JP7326719B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018200887A JP7326719B2 (ja) 2018-10-25 2018-10-25 記録再生制御装置、記録再生制御方法、および記録再生制御プログラム
JP2023088568A JP2023107812A (ja) 2018-10-25 2023-05-30 記録再生制御装置、および記録再生制御方法
JP2024043356A JP2024069586A (ja) 2018-10-25 2024-03-19 記録再生制御装置、および記録再生制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018200887A JP7326719B2 (ja) 2018-10-25 2018-10-25 記録再生制御装置、記録再生制御方法、および記録再生制御プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023088568A Division JP2023107812A (ja) 2018-10-25 2023-05-30 記録再生制御装置、および記録再生制御方法

Publications (2)

Publication Number Publication Date
JP2020067885A true JP2020067885A (ja) 2020-04-30
JP7326719B2 JP7326719B2 (ja) 2023-08-16

Family

ID=70390436

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018200887A Active JP7326719B2 (ja) 2018-10-25 2018-10-25 記録再生制御装置、記録再生制御方法、および記録再生制御プログラム
JP2023088568A Pending JP2023107812A (ja) 2018-10-25 2023-05-30 記録再生制御装置、および記録再生制御方法
JP2024043356A Pending JP2024069586A (ja) 2018-10-25 2024-03-19 記録再生制御装置、および記録再生制御方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2023088568A Pending JP2023107812A (ja) 2018-10-25 2023-05-30 記録再生制御装置、および記録再生制御方法
JP2024043356A Pending JP2024069586A (ja) 2018-10-25 2024-03-19 記録再生制御装置、および記録再生制御方法

Country Status (1)

Country Link
JP (3) JP7326719B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115151957A (zh) * 2020-06-19 2022-10-04 Jvc建伍株式会社 车辆用记录装置、车辆用记录控制方法以及程序

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006237974A (ja) * 2005-02-24 2006-09-07 Sanyo Electric Co Ltd 移動体用記録装置
JP2007264944A (ja) * 2006-03-28 2007-10-11 Denso Corp 安全運転支援システム
JP2011155552A (ja) * 2010-01-28 2011-08-11 Panasonic Corp 映像再生装置及び映像再生方法
JP2012252713A (ja) * 2012-07-26 2012-12-20 Kayaba Ind Co Ltd 運行状況記憶装置
JP2013143002A (ja) * 2012-01-11 2013-07-22 Luna Co Ltd 移動体の運行管理方法及び運行状況管理システム
JP2016177597A (ja) * 2015-03-20 2016-10-06 株式会社リコー 録画装置、録画方法、およびプログラム
JP2018037002A (ja) * 2016-09-02 2018-03-08 株式会社デンソー 車両用運転支援装置
JP2018046343A (ja) * 2016-09-13 2018-03-22 株式会社Jvcケンウッド 画像記録装置、画像記録方法およびプログラム
JP2018119842A (ja) * 2017-01-24 2018-08-02 トヨタ自動車株式会社 車両用情報出力システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006237974A (ja) * 2005-02-24 2006-09-07 Sanyo Electric Co Ltd 移動体用記録装置
JP2007264944A (ja) * 2006-03-28 2007-10-11 Denso Corp 安全運転支援システム
JP2011155552A (ja) * 2010-01-28 2011-08-11 Panasonic Corp 映像再生装置及び映像再生方法
JP2013143002A (ja) * 2012-01-11 2013-07-22 Luna Co Ltd 移動体の運行管理方法及び運行状況管理システム
JP2012252713A (ja) * 2012-07-26 2012-12-20 Kayaba Ind Co Ltd 運行状況記憶装置
JP2016177597A (ja) * 2015-03-20 2016-10-06 株式会社リコー 録画装置、録画方法、およびプログラム
JP2018037002A (ja) * 2016-09-02 2018-03-08 株式会社デンソー 車両用運転支援装置
JP2018046343A (ja) * 2016-09-13 2018-03-22 株式会社Jvcケンウッド 画像記録装置、画像記録方法およびプログラム
JP2018119842A (ja) * 2017-01-24 2018-08-02 トヨタ自動車株式会社 車両用情報出力システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115151957A (zh) * 2020-06-19 2022-10-04 Jvc建伍株式会社 车辆用记录装置、车辆用记录控制方法以及程序

Also Published As

Publication number Publication date
JP2024069586A (ja) 2024-05-21
JP7326719B2 (ja) 2023-08-16
JP2023107812A (ja) 2023-08-03

Similar Documents

Publication Publication Date Title
JP6669240B1 (ja) 記録制御装置、記録制御システム、記録制御方法、および記録制御プログラム
US10958866B2 (en) Recording apparatus, recording method, and a non-transitory computer readable medium
WO2020136943A1 (ja) 車両用記録制御装置、車両用記録装置、車両用記録制御方法およびプログラム
JP2024069586A (ja) 記録再生制御装置、および記録再生制御方法
US20220076505A1 (en) Recording control apparatus, recording apparatus, recording control method, and recording control program
US20210385407A1 (en) Vehicular recording control device, vehicular capturing apparatus, vehicular recording control method, and program
JP6828725B2 (ja) 記録再生装置、記録再生方法、およびプログラム
US11917285B2 (en) Recording control apparatus, recording apparatus, recording control method, and recording control program
JP7006815B2 (ja) 記録再生装置、記録再生方法、およびプログラム
US20210337160A1 (en) Recording control device, recording control system, recording control method, and computer program
JP7322437B2 (ja) 記録制御装置、記録制御方法、およびプログラム
JP7255425B2 (ja) 記録制御装置、記録制御方法、およびプログラム
JP6959587B2 (ja) 車両用記録制御装置、および車両用記録制御方法
JP2021093008A (ja) 車両用記録制御装置、車両用記録制御方法、およびプログラム
JP7322422B2 (ja) 記録制御装置、記録制御方法、およびプログラム
JPWO2020110382A1 (ja) 記録装置、記録方法、およびプログラム
JP7367556B2 (ja) 記録制御装置、記録制御方法、およびプログラム
JP7322436B2 (ja) 記録制御装置、記録制御方法、およびプログラム
JP7137747B2 (ja) 記録制御装置、記録制御方法、およびプログラム
JP7192678B2 (ja) 車両用記録制御装置、記録制御方法およびプログラム
JP7218787B2 (ja) 記録再生装置
JP2022073132A (ja) 車両用記録制御装置および車両用記録制御方法
JP2023101490A (ja) 記録装置、記録方法およびプログラム
JP2021051602A (ja) 車両用記録制御装置、車両用記録装置、車両用記録制御方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230313

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230530

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230717

R150 Certificate of patent or registration of utility model

Ref document number: 7326719

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150