JP2020141398A - 記録再生装置、記録再生方法およびプログラム - Google Patents

記録再生装置、記録再生方法およびプログラム Download PDF

Info

Publication number
JP2020141398A
JP2020141398A JP2020000883A JP2020000883A JP2020141398A JP 2020141398 A JP2020141398 A JP 2020141398A JP 2020000883 A JP2020000883 A JP 2020000883A JP 2020000883 A JP2020000883 A JP 2020000883A JP 2020141398 A JP2020141398 A JP 2020141398A
Authority
JP
Japan
Prior art keywords
recording
event
data
reproduction
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020000883A
Other languages
English (en)
Other versions
JP2020141398A5 (ja
JP7463727B2 (ja
Inventor
啓太 林
Keita Hayashi
啓太 林
拓之 照内
Hiroyuki Teruuchi
拓之 照内
聡隆 村田
Satotaka Murata
聡隆 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of JP2020141398A publication Critical patent/JP2020141398A/ja
Publication of JP2020141398A5 publication Critical patent/JP2020141398A5/ja
Application granted granted Critical
Publication of JP7463727B2 publication Critical patent/JP7463727B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】容易な操作により保存したデータの再生を行う記録再生装置等を提供する。【解決手段】記録再生装置10は、移動体に設置され、カメラが撮影した撮影データを記録および再生する。イベント検出部130は、加速度情報取得部127が取得した加速度情報に基づいてイベントが発生したことを検出する。記録制御部123は、イベントの検出に基づいて撮影データ取得部120が取得する撮影データの少なくとも一部からイベント記録データを保存する。把持状態検出部129は、記録再生装置10が把持されている可能性があることを検出する把持センサ144からの信号に基づいて把持状態を検出する。再生制御部124は、イベント記録データの保存後であって、且つ、把持状態を検出した場合に、イベント記録データの再生を開始する。表示制御部126は、再生されたイベント記録データを表示部141に表示させる。【選択図】図1

Description

本発明は記録再生装置、記録再生方法およびプログラムに関する。
車両の周囲の状況等を撮影して映像等のデータを取得する手段と、車両が何らかの衝撃を受けたことを検出する手段とを有し、車両に対する衝撃を検出した時点に基づいて所定期間の映像等を再生可能に保存するドライブレコーダが普及している。例えば特許文献1には、加速度の推移に基づき映像データを記録するドライブレコーダが開示されている。このようなドライブレコーダは、事故等によるイベントを検出した場合に、事故の状況を再生可能に保存する。またドライブレコーダは、危険運転等により異常な加速度が検出された場合には、危険運転の状況を再生可能に保存する。
特開2009−087007号公報
しかしながら、ドライブレコーダのユーザは、ドライブレコーダの操作方法を熟知していない場合が少なくない。また事故等のイベントが発生した場合に、ユーザは咄嗟に煩雑な操作を行うことができない。そのためにユーザはドライブレコーダが保存したイベントの映像等を適切に再生できない場合がある。
本発明はこのような課題を解決するためになされたものであり、容易な操作により保存したデータの再生を行う記録再生装置等を提供する。
本発明にかかる記録再生装置は、移動体に設置され、カメラが撮影した撮影データを記録および再生するものであって、撮影データ取得部と、加速度情報取得部と、イベント検出部と、記録制御部と、表示部と、把持センサと、把持状態検出部と、再生制御部と、表示制御部と、を有している。撮影データ取得部は、撮影データを取得する。加速度情報取得部は、記録再生装置に加わる加速度情報を取得する。イベント検出部は、加速度情報取得部が取得した加速度情報に基づいてイベントが発生したことを検出する。記録制御部は、イベントの検出に基づいて撮影データの少なくとも一部から予め設定された期間分の撮影データをイベント記録データとして保存する。表示部は、イベント記録データを表示する。把持センサは、記録再生装置が把持されている可能性があることを検出する。把持状態検出部は、把持センサからの信号に基づいて把持状態を検出する。再生制御部は、イベント記録データの保存後であって、且つ、把持状態を検出した場合に、イベント記録データの再生を開始する。表示制御部は、再生制御部が再生したイベント記録データを表示部に表示させる。
本発明にかかる記録再生方法は、記録再生装置が実行する記録再生方法であって、撮影データ取得ステップと、イベント検出ステップと、記録制御ステップと、把持状態検出ステップと、再生制御ステップと、表示制御ステップと、を有している。撮影データ取得ステップは、移動体に設置されたカメラが撮影した撮影データを取得する。イベント検出ステップは、外部から受ける加速度に基づいてイベントが発生したことを検出する。記録制御ステップは、イベントの検出に基づいて撮影データの少なくとも一部から予め設定された期間分の撮影データをイベント記録データとして保存する。把持状態検出ステップは、記録再生装置が把持されている可能性があることを検出する把持センサから取得する信号に基づいて把持状態を検出する。再生制御ステップは、イベント記録データの保存後であって、且つ、把持状態を検出した場合に、イベント記録データの再生を開始する。表示制御ステップは、再生制御ステップで再生したイベント記録データを記録再生装置が有する表示部に表示させる。
本発明にかかるプログラムは、記録再生装置を動作させるコンピュータに実行させるものであって、撮影データ取得ステップと、イベント検出ステップと、記録制御ステップと、把持状態検出ステップと、再生制御ステップと、表示制御ステップと、を有している。撮影データ取得ステップは、移動体に設置されたカメラが撮影した撮影データを取得する。イベント検出ステップは、外部から受ける加速度に基づいてイベントが発生したことを検出する。記録制御ステップは、イベントの検出に基づいて撮影データの少なくとも一部から予め設定された期間分の撮影データをイベント記録データとして保存する。把持状態検出ステップは、記録再生装置が把持されている可能性があることを検出する把持センサから取得する信号に基づいて把持状態を検出する。再生制御ステップは、イベント記録データの保存後であって、且つ、把持状態を検出した場合に、イベント記録データの再生を開始する。表示制御ステップは、再生制御ステップで再生したイベント記録データを記録再生装置が有する表示部に表示させる。
本発明により、煩雑な操作をすることなく保存したデータの再生を行う記録再生装置等を提供することができる。
実施の形態1にかかる記録再生装置の構成を示すブロック図である。 実施の形態1にかかる記録再生装置の右側面図である。 実施の形態1にかかる記録再生装置の背面図である。 実施の形態1にかかる記録再生装置の正面図である。 記録再生装置が記憶する撮影データと時間との関係を示す第1の図である。 記録再生装置が記憶する撮影データと時間との関係を示す第2の図である。 記録再生装置の把持状態の一例を示す図である。 記録再生装置の把持状態の別の例を示す図である。 記録再生装置がイベントの発生を検出する場合のフローチャートである。 実施の形態1にかかる記録再生装置が行う把持状態の検出にともなう処理を示すフローチャートである。 実施の形態2にかかる記録再生装置のフローチャートである。
説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
<実施の形態1>
以下、図を参照して実施の形態1の構成について説明する。本実施の形態にかかる記録再生装置10は、移動体である自動車等の車両に設置して用いられ、カメラが撮影した撮影データを記録および再生するものであって、例えばドライブレコーダと呼ばれる装置である。記録再生装置10は、突発的な衝撃などが加えられた場合に加えられた衝撃をトリガとして、予め設定された期間分の撮影データを「イベント記録データ」として再生可能に記録する機能を有している。自動車の運転者等は、このイベント記録データを再生し、再生したイベント記録データの映像を見ることによりイベントの状況を把握できる。
図1は、実施の形態1にかかる記録再生装置の構成を示すブロック図である。図に示すように、記録再生装置10は、各構成要素の制御を司る制御部100および制御部100に接続された複数の構成要素を有している。制御部100は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、メモリ、および複数のインタフェース等が実装された回路基板を有する制御装置であって、格納されているプログラムを実行して種々の処理を実行する。
以下に制御部100の詳細について説明する。制御部100は、撮影データ取得部120、バッファメモリ121、撮影データ処理部122、記録制御部123、再生制御部124、操作制御部125、表示制御部126、加速度情報取得部127、位置情報取得部128、把持状態検出部129、およびイベント検出部130を有しており、これらの処理および制御を実行する構成は、制御部100が実行するプログラムによって実現される。便宜的に、これらの構成はそれぞれバスライン110に接続しているように表現する。
撮影データ取得部120は、カメラ150から供給された撮影データを取得する。撮影データ取得部120は、バスライン110を介して撮影データをバッファメモリ121に供給する。
バッファメモリ121は、揮発性または不揮発性のメモリ装置である。バッファメモリ121は、撮影データ取得部120を介してカメラ150が定期的に生成する撮影データを順次受け取り、受け取った撮影データを一時的に記憶する。バッファメモリ121が一時的に記憶する撮影データは予め設定された期間分である。バッファメモリ121は、予め設定された期間を経過した撮影データを順次消去するか、あるいは、新たに受け取った撮影データを順次上書きする。
撮影データ処理部122は、バッファメモリ121が記憶している撮影データから、予め設定された方式に準拠した撮影ファイルを生成する。予め設定された方式とは、例えばH.264やMPEG−4(Moving Picture Experts Group)などの方式である。
なお、撮影データ処理部122は、撮影データを処理し、予め設定された画角の撮影ファイルを生成してもよい。また、撮影データ処理部122は、バッファメモリ121が出力した撮影データを処理し、予め設定された時間または予め設定された画角の撮影データを生成し、ファイル名称等のヘッダ情報等を付加して、撮影ファイルを生成してもよい。さらに、撮影データ処理部122は、バッファメモリ121が出力した撮影データを処理し、撮影データのノイズ除去や歪み補正等を行ってもよく、撮影データに時刻情報、車両の速度情報または車両の位置情報などを表示した撮影ファイルを生成してもよい。
記録制御部123は、撮影データ処理部122が生成した撮影ファイルを記録装置160に保存させる制御を行う。イベント検出部130がイベントを検出した場合、記録制御部123は、イベントの検出に基づいて予め設定された期間分の撮影ファイルを上書き禁止されたイベント記録データとして記録装置160に保存する。記録制御部123はイベント記録データを、記録装置160における所定の記録領域に保存する。所定の記録領域とは例えば、上書きまたは消去禁止とすることを定められた記録領域である。あるいは、記録制御部123により記録装置160に供給されたイベント記録データは、上書きまたは消去禁止であることを示すフラグをファイル内に含めて保存されてもよい。
また記録制御部123は、記録装置160に保存したイベント記録データが過去に再生制御部124によって再生処理が行われたか否かを示す情報を記録装置160に記録する。これにより再生制御部124はどのイベント記録データが未再生であるかを識別できる。
なお、記録制御部123は、イベント検出部130がイベントを検出していない場合、撮影ファイルを上書き可能な状態として記録装置160に記憶させてもよい。記録装置160に記憶させる、イベント記録データとは異なる撮影ファイルを、ここでは「通常ファイル」と称する。記録制御部123は、記録装置160の記憶容量が上限となった場合、通常ファイルのうち古いものを消去して新たに生成された通常ファイルを記録装置160に記録してもよい。
再生制御部124は、予め設定された条件下において、保存されているイベント記録データを再生するための処理を行う。予め設定された条件とは、イベント記録データの保存後であって、且つ、把持状態検出部129が把持状態を検出した場合である。その場合、再生制御部124は、保存されたイベント記録データの再生を開始するため、記録装置160に保存されたイベント記録データを読取り表示制御部126に供給する。また、再生制御部124は、加速度情報取得部127から加速度センサ142が検出する加速度に関する情報を取得して、イベント記録データの再生を制御してもよい。
操作制御部125は、操作部140が受け付けた操作情報を取得し、操作情報に基づいた操作指示を、各構成要素に出力する。操作制御部125は、操作部140から再生対象となる各種データの選択指示を取得した場合、再生制御部124に記録装置160に記録されているファイルなどを選択させる。操作制御部125は、操作部140から各種データの再生に関する指示を取得した場合、再生制御部124に再生に関する処理を行わせる。各種データの再生に関する指示とは、例えば、再生開始、一時停止、再生停止、拡大表示などである。
表示制御部126は、表示部141に対し、様々な情報を表示させる制御を行う。例えば、表示制御部126は、カメラ150が撮影中の撮影データを表示部141に表示させる。また、表示制御部126は、再生制御部124から供給されたイベント記録データを受け取り、受け取ったイベント記録データを表示部141に表示させる。表示制御部126は、表示部141に、操作部140の機能としてタッチセンサが重畳されている場合、タッチセンサに対応したアイコンなどを表示部141に適宜表示させる。
加速度情報取得部127は、加速度センサ142が検出する加速度に関する情報を受け取り、イベント検出部に出力する。加速度情報取得部127は、加速度センサ142が検出する加速度に関する情報を、再生制御部124に出力してもよい。
イベント検出部130は、加速度情報取得部127から取得した加速度に関する情報に基づき、受け取った情報の信号の大きさや信号パターンから所定のイベントが発生したことを検出する。外部から受ける加速度とは、記録再生装置10が記録再生装置の外部から受ける加速度であって、例えば車両が他の物体と衝突したときに発生する衝撃などにより生じる加速度である。また、外部から受ける加速度には、記録再生装置10自体がユーザ等によって直接受ける衝撃も含まれる。
イベント検出部130は、加速度情報取得部127から受け取った情報が所定のイベントの発生に該当することを検出した場合には、イベントの発生を検出したことを示す信号を撮影データ処理部122に供給する。イベントの発生とは、例えば、急ブレーキによる衝撃や、車両に対して物体が衝突した場合の衝撃など、事故に該当する場合に生じる加速度が検出される場合である。例えば、予め設定された方向に対して、予め設定された大きさを越える加速度が、予め設定された期間を越えて検出された場合や、予め設定された期間に加速度の変化が大きかった場合などに、イベント検出部130はイベントの発生を検出する。なおイベント検出部130は、3軸座標の座標軸であるX軸、Y軸およびZ軸の加速度を検出するものであってもよいし、これらのうち少なくとも1方向の加速度を検出するものであってもよい。またこれら3軸方向から受ける加速度に重み付けを行ってもよい。
位置情報取得部128は、GPS(Global Positioning System)受信部143が受信したGPS衛星からの信号を受け取り、受け取った信号から現在位置に関する情報である位置情報を取得し、取得した位置情報を記録制御部123に供給する。位置情報には例えば、GPS衛星から信号を受け取った時刻における車両の緯度および経度が含まれる。
把持状態検出部129は、把持センサ144から供給される信号を受け取り、記録再生装置10が把持状態であることを検出する。本開示において把持状態とは、ユーザが表示部141を視認するために表示部141を含む記録再生装置10を把持している状態をいう。すなわち把持状態は表示部141が把持されている状態ということもできる。把持状態検出部129は、把持状態を検出した場合、把持状態であることを示す信号を再生制御部124に供給する。また、記録再生装置10の構成が複数の筐体で構成される場合は、表示部141を備える筐体に把持センサ144が備えられ、表示部141を備える筐体が把持された状態であることを検出する。
次に、制御部100に接続している各構成について説明する。記録再生装置10は、操作部140、表示部141、加速度センサ142、GPS受信部143、把持センサ144、カメラ150および記録装置160を有している。
操作部140は、記録再生装置10に対してユーザが行う操作を受け付けるユーザインタフェースである。ユーザインタフェースは、例えば操作ボタンであってもよいし、表示部141に重畳して設置されたタッチセンサであってもよい。またユーザインタフェースは、赤外線や無線通信の受信部であって、リモコン等から送信される信号を受け付けるものであってもよい。操作部140は、受け付けた操作に関する情報である操作情報を、所定のインタフェースを介して制御部100に供給する。操作情報は例えば、イベント記録開始の指示やイベント記録データの再生を行う指示等である。
表示部141は、表示制御部126の制御により各種情報を表示する表示装置である。表示部141は、例えば、液晶パネルや有機EL(Electro Luminescence)などの表示パネルを少なくとも有している。表示部141は、表示制御部126に接続し、表示制御部126から供給される信号を表示する。表示部141は、イベント記録データの映像を表示するように構成されている。
加速度センサ142は、例えば3軸加速度センサである。加速度センサ142は、加速度センサ142に印加された加速度を検出し、検出した加速度に応じて、検出した加速度に関する情報を出力する。加速度センサ142は、加速度情報取得部127に接続しており、検出した加速度に関する情報を加速度情報取得部127に出力する。なお、加速度センサ142は、3軸加速度センサに代えて、1軸または2軸加速度センサであってもよい。
GPS受信部143は、GPSあるいはGNSS(Global Navigation Satellite System)と称される衛星測位システムにより車両の現在位置に関する情報を受信する。GPS受信部143は、GPS信号を受信するためのアンテナであってもよいし、車両が取得する位置情報を受け取るための通信インタフェースであってもよい。GPS受信部143は、受信した現在位置に関する信号を、位置情報取得部128に供給する。
把持センサ144は、ユーザが記録再生装置10を把持した可能性があることを検出するためのセンサである。把持センサ144は、ユーザが記録再生装置10を把持した可能性がある場合に、把持状態である可能性を示す信号を把持状態検出部129に供給する。把持センサ144は、例えば記録再生装置10の表面の圧力を検出する圧力センサにより構成される。把持センサ144は、記録再生装置10の表面における静電容量の変化を検出する静電容量センサや、記録再生装置10の表面に物体が触れたことを検出可能に設定された光センサにより構成されてもよい。把持センサ144の数は、単数であっても複数であってもよい。
カメラ150は、対物レンズ、撮像素子およびA−D(Analog to Digital)変換素子等を有する撮像装置である。カメラ150は、移動体である車両の周囲の景色を含む映像を撮像し、撮像した映像のデータである撮影データを生成する。カメラ150は、生成した撮影データを撮影データ取得部120に供給する。
記録装置160は、カメラ150から供給された撮影データを格納する記録装置である。記録装置160は、例えばフラッシュメモリを含むメモリカードや、SSD(Solid State Drive)またはHDD(Hard Disk Drive)等の不揮発性の記録装置である。記録装置160は、記録制御部123に接続し、記録制御部123から所定のデータを受け取り、受け取ったデータを記録する。また、記録装置160は、再生制御部124の指示に応じて再生制御部124に対して記録しておいたイベント記録データを含むイベントファイルを供給する。記録装置160は記録再生装置10から脱着可能に構成されていてもよいし、取り外しできない構成であってもよい。
次に、図2〜図4を参照しながら記録再生装置10の機械的な構成について説明する。図2は、実施の形態1にかかる記録再生装置10の右側面図である。図3は、実施の形態1にかかる記録再生装置10を撮影方向から見た背面図である。図4は、実施の形態1にかかる記録再生装置10を表示方向から見た正面図である。なお、構成要素の位置関係を説明するための便宜的なものとして、図2〜4には、右手系の直交座標系が付されている。また、以降の図において、直交座標系が付されている場合、図2〜4のX軸、Y軸、およびZ軸方向と、これらの直交座標系のX軸、Y軸、およびZ軸方向はそれぞれ一致している。
図2に示すように、記録再生装置10は、ブラケット900を介して車両のウィンドシールドWSに固定される。ブラケット900は、接着部901、保持部902およびボールジョイント903を有している。
接着部901はウィンドシールドWSに接する面に接着剤が塗布された部材である。ブラケット900は、接着部901がウィンドシールドWSの任意の位置に接着することにより固定される。
保持部902は、記録再生装置10が有する着脱部921に着脱可能且つ装着した記録再生装置10が車両の走行等で外れたり、撮影向きのずれが生じたりしないように嵌合する。例えば保持部902は、記録再生装置10が有する着脱部921の所定の方向に対してスライドして係合可能なリブまたは溝を有しており、所定の寸法までスライドすると、ロック機構(不図示)によりロックされガタツキなく固定される。
ボールジョイント903は、接着部901と保持部902との角度を調整可能に設けられた関節機構であり、所定の外力が加えられた場合に可動する。接着部901がウィンドシールドWSに接着し、保持部902が記録再生装置10と嵌合している状態では、所定の外力が加えられない限りボールジョイント903は動かないように構成されている。
記録再生装置10を利用するユーザは、接着部901をウィンドシールドWSに接着するとともに、保持部902に記録再生装置10の着脱部921を嵌合させる。これにより記録再生装置10は車両に固定される。
なお、車両に固定された記録再生装置10を取り外す場合、ユーザは、記録再生装置10の着脱部921を保持部902から解除する。着脱部921を保持部902から解除する場合、ユーザは、ロック機構(不図示)を解除したうえで着脱部921を保持部902から引き離すようにスライドさせる。これにより記録再生装置10は車両から取り外され、ユーザは記録再生装置10を把持できる。
図2〜図4に示すように、記録再生装置10は、その正面および背面が矩形の主面となり、正面から投影した矩形の短辺に対して数分の一程度の厚みを有する略直方体形状を成している。記録再生装置10は、周囲が樹脂製のケース920に覆われている。記録再生装置10は、正面に表示部141が有する表示パネルが配置されており、背面にカメラ150の対物レンズが露呈しており、上面には着脱部921が設けられている。したがって、記録再生装置10は、上面に設けられた着脱部921がブラケット900の保持部に嵌合し、カメラ150の対物レンズが車両の進行方向に露呈し、表示部141の表示パネルが運転者であるユーザ側に向いて配置される。記録再生装置10がこのように設置されることにより、記録再生装置10は進行方向の映像を撮像するとともに、撮像した映像をユーザに表示できる。記録再生装置10の表示パネルの大きさは、例えば対角線が1.5インチから4インチ程度である。また、ケース920の大きさは例えば、幅方向(X軸方向)が5センチメートルから10センチメートル程度である。
図に示す記録再生装置10は、右側面に把持センサ144Rを、左側面に把持センサ144Lをそれぞれ有している。把持センサ144Rおよび把持センサ144Lは外部から押圧を受けた場合に所定の信号を出力する圧力センサである。なお、以降の説明において把持センサ144と示した場合には把持センサ144Rおよび把持センサ144Lの両方を含むものとする。図に示す把持センサ144は、記録再生装置10の側面を跨いで正面および背面にも配置されている。把持センサ144は、図に示した範囲の少なくとも一部が押圧されると、所定の信号を出力する。なお、図に示した把持センサ144の範囲は一例であり、把持センサ144は側面ないし側面近傍に配置されていればよい。把持センサ144は左右どちらか一方にのみ配置されていてもよいが、左右それぞれの側面近傍に配置されていることが好ましい。
図3および図4に示すように、把持センサ144は、表示部141の近傍に設けられている。言い換えると、把持センサ144は、表示部141の周囲に設けられている。把持センサ144は、表示部141を備える記録再生装置10をユーザが手に持ち、表示部141に表示される情報を確認するため把持する際に適切な位置に備えられる。
図3に示すように記録再生装置10は、加速度センサ142を内蔵している。したがって、記録再生装置10がブラケット900により車両に固定された場合には、加速度センサ142は、車両が受ける加速度を、ブラケット900を介して検出する。また加速度センサ142は、ユーザが記録再生装置10をブラケット900に対して取り外しや装着を行う場合や、揺すったり押したりした場合にも、加速度を検出する。
次に、図5を参照しながら、撮影データについて説明する。図5は、記録再生装置が記憶する撮影データと時間との関係を示す第1の図である。図の横軸は時刻を表しており、時刻t10から時刻t11に向かって矢印の方向(右方向)に時間が経過することを示している。
時間軸に沿って示された長尺形状は、時刻t11における撮影データC11である。撮影データC11は、カメラ150が生成した撮影データであって、バッファメモリ121に記憶されている。記録再生装置10は、予め設定された期間Pnの撮影データを常に記憶しておくように設定されている。期間Pnは、例えば60秒、120秒あるいは150秒などの期間である。時刻t11における撮影データC11は、時刻t11から期間Pnを遡った時刻t10から時刻t11までの撮影データである。またバッファメモリ121に記憶される撮影データは時刻の経過とともに、期間Pnより過去の撮影データは順次消去される。
ここで、図5に示す例では、時刻t11において、記録再生装置10がイベントの発生を検出したものとする。そのため、記録再生装置10はこの後、時刻t11を基準としてイベント記録データを生成する処理を行う。
次に、図6を参照しながら、イベントの発生を検出した後の撮影データとイベント記録データについて説明する。図6は、記録再生装置が記憶する撮影データと時間との関係を示す第2の図である。図6は時刻t11より後の時刻t21におけるデータの構成を示している。時刻t21においてバッファメモリ121に記憶されているのは時刻t21から期間Pnを遡った時刻t20から時刻t21までの撮影データC21である。
撮影データC21の下に示されている矩形は、イベント記録データE11である。イベント記録データE11は、時刻t11に検出されたイベントに応じて撮影データから抽出されたものである。本実施の形態において記録再生装置10は、イベントを検出した時刻t11を基準として、時刻t11から期間P1を遡った時刻tsをイベント記録データの開始時刻と設定する。また本実施の形態において、記録再生装置10は、イベントを検出した時刻t11を基準として期間P2を経過した時刻teをイベント記録データの終了時刻として設定する。期間P1および期間P2は、例えば10秒、15秒あるいは20秒などの期間である。すなわち、記録再生装置10は、時刻tsから時刻teまでの期間の撮影データをイベント記録データE11として記録する。
上述のようにイベント記録データを生成することにより、記録再生装置10は、発生したイベントの前後の期間について、撮影データを記録できる。したがって、ユーザは、イベントが発生した後に記録再生装置10が保存したイベント記録データを再生することにより、イベント発生前後における車両の周囲の状況を視認できる。
なお、記録再生装置10は、イベント記録データに加えて、通常ファイルを記録装置160に記録してもよい。その場合、記録再生装置10は、バッファメモリ121に記憶されている撮影データから所定の期間の撮影データを抽出し、抽出した撮影データを通常ファイルとして記録装置160に記録する。記録再生装置10は、通常ファイルを記録する処理と、イベント記録データを保存する処理とを並列して行ってもよい。
次に、図7を参照しながら記録再生装置がユーザに把持される把持状態について説明する。図7は、記録再生装置の把持状態の一例を示す図である。図に示す記録再生装置10は、ブラケット900から取り外され、ユーザの左手で把持されている状態である。また図7は、ユーザに把持された状態でイベント記録データの映像を表示している状態を示している。ユーザは記録再生装置10に記録されたイベント記録データを視認する際、このようにブラケット900から記録再生装置10を取り外してユーザの見やすい体制で映像を見ることができる。本発明の処理は、記録再生装置10が、ブラケット900から取外されて把持された状態に加えて、ブラケット900から取外されずに把持された状態にも適用可能である。
記録再生装置10は、図のようにユーザの片手に収まる大きさに構成されている。そのため、記録再生装置10は図に示すように左右の側部がユーザの手に挟まれるようにして把持される。このような状態において、記録再生装置10の側部に配置された把持センサにはユーザの手により押圧力が印加されている。記録再生装置10は、このように把持センサ144に所定の押圧力が印加されている場合にイベント記録データを再生する。
次に、図8を参照しながら把持状態の別の例について説明する。図8は、記録再生装置の把持状態の別の例を示す図である。図に示す記録再生装置10は、図7と同様にブラケット900から取り外されており、ユーザに把持されている。ただし図8では、ユーザは左手で記録再生装置10の左側部を把持し、右手で記録再生装置10の右側部を把持している。このとき左側部に配置された把持センサ144Lはユーザの左手により押圧され、右側部に配置された把持センサ144Rはユーザの右手により押圧された状態である。ユーザは、このようにブラケット900から記録再生装置10を取り外して記録再生装置10の側部を両手で把持した状態であっても、ユーザの見やすい体制で映像を見ることができる。
図7および図8に示した例のように、ユーザは記録再生装置10の側部を把持した状態でイベント記録データの映像の視認を行う。すなわち、本実施の形態における把持状態は、ユーザが表示部141を視認可能に、表示部141を把持した状態である。よって、記録再生装置10は、左側部の把持センサ144Lおよび右側部の把持センサ144Rのいずれもが押圧されている場合に把持状態を検出する。
次に、図9を参照しながら記録再生装置10が行う処理について説明する。図9は、記録再生装置がイベントの発生を検出する場合のフローチャートである。図9は、記録再生装置10がイベントを検出する場合に制御部100が行う処理を示している。図9に示すフローチャートは、車両の動作の開始などに基づいて記録再生装置10に車両から電源が供給されるなど、任意の条件で開始される。
まず制御部100は、撮影データの取得を開始する(ステップS10)。ステップS10においては、制御部100はイベントの検出も開始する。撮影データはカメラ150から定期的(例えば30フレーム毎秒)に供給される。撮影データ取得部120はカメラ150から供給される撮影データをバッファメモリ121に供給する。バッファメモリ121は予め設定された期間(例えば60秒)の撮影データを記憶し、予め設定された期間の撮影データが記憶された後は、古い撮影データを削除しながら新しい撮影データを順次記憶する。
次にイベント検出部130は、加速度センサ142から供給される情報からイベントの発生を検出したか否かを判断する(ステップS11)。イベントの発生を検出したと判断した場合(ステップS11:Yes)、記録制御部123は、イベント記録データを生成し、記録装置160に保存させる(ステップS12)。一方、イベントの発生を検出したと判定しない場合(ステップS11:No)、制御部100はイベント記録データの生成を行わず、ステップS13に進む。
次に制御部100は、一連の処理を終了するか否かを判断する(ステップS13)。一連の処理とは、車両の動作を終了させることや、ドライブレコーダの動作を停止させるような処理である。処理を終了すると判断しない場合(ステップS13:No)、制御部100はステップS11に戻り再びイベントの発生を検出したか否かの判断を行う。一方、処理を終了すると判断した場合(ステップS13:Yes)、制御部100は処理を終了する。
次に図10を参照しながら、制御部100が行う把持状態の検出にともなう一連の処理について説明する。図10は、実施の形態1にかかる記録再生装置10が行う把持状態の検出にともなう処理を示すフローチャートである。
まず、把持状態検出部129は、把持センサ144から受け取る信号から記録再生装置10が把持状態か否かを判断する(ステップS110)。把持状態検出部129は、把持センサ144から受け取る信号が予め設定された期間(例えば5秒)に継続している場合に把持状態であると判断するように設定されるのが好ましい。このように設定されることにより、把持状態検出部129は、ユーザがブラケット900に取り付けられている記録再生装置10の姿勢を微調整するために記録再生装置10を一時的に把持した場合などを把持状態と区別できる。したがって、記録再生装置10は、誤動作なく把持状態であることを判断する。なお、把持状態検出部129は、把持状態であることを判断することにより、把持状態を検出する。
記録再生装置10が把持状態であると把持状態検出部129が判断しない場合(ステップS110:No)、制御部100は一連の処理を終了するか否かを判断する(ステップS115)。
ステップS115で、一連の処理を終了すると判断した場合(ステップS115:Yes)、制御部100は、一連の処理を終了する。一方、一連の処理を終了すると判断しない場合(ステップS115:No)、制御部100は、ステップS110に戻る。
ステップS110で、記録再生装置10が把持状態であると把持状態検出部129が判断した場合(ステップS110:Yes)、制御部100は次に、把持状態であると判断された直前にイベント検出があったか否かを判断する(ステップS111)。言い換えると、制御部100は、把持状態であると判断された直前にイベント記録データが保存されたか否かを判断する。ここでいう直前とは、例えば3分などの所定期間内であり、イベントが発生した後に、そのイベントに基づき保存されたイベント記録データをイベントの直後に確認するための期間である。
ステップS111で、把持状態であると判断された直前にイベントが検出されイベント記録データが保存されていると判断した場合(ステップS111:Yes)、再生制御部124は、直前のイベント検出で保存されたイベント記録データの再生を開始する(ステップS112)。
なお、ここで再生制御部124は、イベント記録データの再生が終了する際に、把持状態検出部129が把持状態を引き続き検出している場合には、イベント記録データの再生を繰り返す(リピート再生をさせる)。このような処理を行うことにより、事故等のイベントが発生した後に、ユーザが記録再生装置10を取り外して把持すると、直前に保存されたイベントの映像が繰り返し再生される。したがって、ユーザは、事故等が発生した場合に、車両を停車させて、記録再生装置10を取り外して把持するという簡単な動作により、イベントの映像を繰り返し確認できる。
次に、制御部100は、イベント記録データの再生を終了させるか否かを判断する(ステップS113)。具体的には、制御部100は、例えばユーザの操作を受け付ける操作制御部125がイベント記録データの再生の停止を受け付けたかどうかを検出する。再生終了の操作を受け付けない場合(ステップS113:No)、制御部100はイベント記録データの再生を継続する。一方、再生終了の操作を受け付けた場合(ステップS113:Yes)、制御部100はイベント記録データの再生を終了させる処理を行う(ステップS114)。イベント記録データの再生を終了させる処理を行った後に、制御部100はステップS115に移行し、一連の処理を終了させるか否かを判断する。
また、再生制御部124は、イベント記録データの再生中に、把持状態検出部129が把持状態を検出しなくなった場合に、イベント記録データを最後まで再生した後に再生を終了する。このように設定することにより、イベント記録データの再生が開始された後にユーザが記録再生装置を所定の場所に置くなどして把持状態が解除された場合であっても、記録再生装置10は、イベント記録データを最後まで表示する。
ステップS111に戻り説明を続ける。ステップS111で、把持状態であると判断された直前にイベントが検出されていない場合(ステップS111:No)、制御部100は、表示部に操作メニューを表示する(ステップS116)。そして、制御部100は、所定の期間内に操作メニューに対する操作が行われたか否かを判断する(ステップS117)。所定の期間内に操作メニューに対する操作が行われたと判断しない場合(ステップS117:No)、制御部100は、ステップS115に移行する。所定の期間内にユーザによる操作が行われたと判断した場合(ステップS117:Yes)、制御部100は、操作に対応した処理を実行する(ステップS118)。次に、制御部100は、ステップS115に移行する。
以上のように、制御部100は、把持状態にともなう処理を行う。把持状態の検出にともなう一連の処理は、特定の事象の開始および終了までの期間に行われると限定されない。しかし一連の処理は、例えば以下の条件により実行されると限定されてもよい。
例えば移動体である車両の走行時に検出されたイベントに基づくイベント記録データの確認は、走行後に停止した状態で行われることが多い。このため、車両のエンジンまたは電源等が動作している期間に加えて、エンジンまたは電源等がオフになってからの所定期間(例えば10分間など)に把持状態の検出(ポーリング)を行ってもよい。また、車両の駐車中に検出されたイベントの発生に関するイベント記録データの再生は走行開始前に行われることが多い。このため、車両のエンジンまたは電源等の動作有無を問わず、例えばドアの解錠や乗員の搭乗から所定期間に把持状態の検出を行ってもよい。また車両が走行していないことや、車両の変速機の状態がニュートラルまたはパーキングであることを条件としてもよい。
上述のように、記録再生装置10は、イベント発生を検出した後に、把持状態を検出することにより、イベント記録データの再生を行う。よって、記録再生装置10は、イベント発生後に煩雑な操作をすることなく、イベント記録データをユーザに表示する。すなわち実施の形態1によれば、容易な操作により保存したデータの再生を行う記録再生装置等を提供できる。
なお、実施の形態1にかかる記録再生装置10は、上述の構成に限られない。例えば、記録装置160は、有線または無線により接続されたサーバないしコンピュータであってもよい。記録装置160は、インターネット等のネットワークを介して接続されたクラウドコンピュータであってもよい。位置情報取得部128が取得する位置情報は、GPS信号に代えてWi−Fiの電波を受信してアクセスポイントの位置情報などから現在位置を特定するものであってもよい。
カメラ150は1台のカメラでなく複数台のカメラであってもよい。カメラ150は記録再生装置に含まれていなくてもよい。その場合、カメラ150は有線または無線により記録再生装置10に接続し、カメラ150が撮像した撮影データを記録再生装置10に供給する。
制御部100は、把持状態検出部129が把持を検出した場合に撮影データの取得を停止してもよい。また制御部100は、把持状態検出部129が把持状態を検出しなくなったら再び撮影データの取得を行ってもよい。
<実施の形態2>
次に、図11を参照しながら実施の形態2について説明する。実施の形態2にかかる記録再生装置は、制御部100が行う処理の一部が実施の形態1と異なる。以下に実施の形態1と異なる点について説明する。
図11は、実施の形態2にかかる記録再生装置10のフローチャートである。実施の形態2にかかる記録再生装置10の処理は、ステップS110の後にステップS210を有する点において、実施の形態1における制御部100の処理と異なる。
図に示すように、ステップS110で把持状態を検出した場合(ステップS110:Yes)、次に制御部100は、加速度センサ142から加速度に関する情報を受け取り、加速度センサ142が、記録再生装置10の取り外しに該当する加速度が検出されたか否かを判断する(ステップS210)。記録再生装置10の取り外しに該当する加速度とは、例えば、事故であるイベントとして検出される加速度より値の小さい加速度である。また、ステップS210の判断は、記録再生装置10が車両から取り外されたことを示す加速度の検出に加えて、記録再生装置10が取り外された後に把持が継続している状態で、把持しているユーザの歩行に該当する加速度を検出することを含めてもよい。ステップS210の処理は、記録再生装置10が把持された後に、車両から取り外され、把持しているユーザがイベント記録データを確認できる状態となってからイベント記録データの再生を開始させる処理である。
ステップS210において、記録再生装置10の取り外しに該当する加速度が検出されている場合(ステップS210:Yes)、制御部100は再度ステップS210の処理を実行する。一方、記録再生装置10の取り外しに該当する加速度が検出されていない場合(ステップS210:No)、制御部100はステップS111に移行し、直前のイベント記録データの再生を行う。
本実施の形態において、ユーザが記録再生装置10の取り外しを行う場合に加速度センサ142が受ける加速度に相当する値としての加速度の閾値Gthなどの条件が設定されている。このように設定されることにより、記録再生装置10は、ユーザが記録再生装置10を取り外そうとしている場合にイベント記録データの再生を行わない。そのためユーザはイベント発生後に記録再生装置10を把持しながら取り外している状態であっても、取り外した後に、加速度が閾値Gthを超えていない状態となってから、イベント記録データの再生を開始する。記録再生装置10は、加速度が閾値Gthを超えていない状態が、例えば5秒以上継続した状態となってから、イベント記録データの再生を開始することとしてもよい。
以上、実施の形態2について説明した。実施の形態2によれば、記録再生装置10は、イベント発生を検出した後に、把持状態を検出するとともに、記録再生装置10が取り外し状態ではないことを判断する。よって、記録再生装置10は、イベント発生後に煩雑な操作をすることなく、イベント記録データを好適にユーザに表示する。すなわち実施の形態2によれば、煩雑な操作をすることなく保存したデータの再生を行う記録再生装置等を提供することができる。
上述した各実施の形態においては、把持状態検出部129による把持検出は、把持センサ144が検出する圧力または静電容量の変化などに基づき、ユーザが記録再生装置10を把持した把持状態であることを検出した。把持状態検出部129による把持検出の変形例として、把持センサ144が複数備えられている場合、把持状態検出部129は、複数の把持センサ144のうち少なくとも2以上の把持センサ144から把持されている可能性を示す信号を取得することで、把持状態を検出することとしてもよい。
図7および図8を参照すると、記録再生装置10には把持センサ144Lおよび把持センサ144Rが備えられ、把持状態検出部129は、把持センサ144Lおよび把持センサ144Rが把持されることで把持状態を検出する。図7および図8は、表示部141を挟んで記録再生装置10の左右に、把持センサ144Lおよび把持センサ144Rが備えられているが、表示部141を挟んで記録再生装置10の上下に複数の把持センサ144が備えられる構成としてもよい。
なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、および電磁波を含む。一時的なコンピュータ可読媒体は、電線および光ファイバ等の有線通信路、または無線通信路を介して、プログラムをコンピュータに供給できる。
また本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述の記録再生装置は自動車に搭載するドライブレコーダの例として説明したが、記録再生装置はオートバイ、自転車等の様々な種類の車両に搭載されてもよい。また記録再生装置が搭載される対象は車両に限られず、鉄道、船舶、航空機などの移動体であってもよい。また記録再生装置は人間や歩行ロボットなどが装着して利用するものであってもよい。
10 記録再生装置
100 制御部
110 バスライン
120 撮影データ取得部
121 バッファメモリ
122 撮影データ処理部
123 記録制御部
124 再生制御部
125 操作制御部
126 表示制御部
127 加速度情報取得部
128 位置情報取得部
129 把持状態検出部
130 イベント検出部
140 操作部
141 表示部
142 加速度センサ
143 GPS受信部
144 把持センサ
150 カメラ
160 記録装置
900 ブラケット
901 接着部
902 保持部
903 ボールジョイント
920 ケース
921 着脱部
C11、C21 撮影データ
E11 イベント記録データ
WS ウィンドシールド

Claims (10)

  1. 移動体に設置され、カメラが撮影した撮影データを記録および再生する記録再生装置であって、
    前記撮影データを取得する撮影データ取得部と、
    前記記録再生装置に加わる加速度情報を取得する加速度情報取得部と、
    前記加速度情報取得部が取得した加速度情報に基づいてイベントが発生したことを検出するイベント検出部と、
    前記イベントの検出に基づいて前記撮影データの少なくとも一部から予め設定された期間分の前記撮影データをイベント記録データとして保存する記録制御部と、
    前記イベント記録データを表示する表示部と、
    前記記録再生装置が把持されている可能性があることを検出する把持センサと、
    前記把持センサからの信号に基づいて把持状態を検出する把持状態検出部と、
    前記イベント記録データの保存後であって、且つ、前記把持状態を検出した場合に、前記イベント記録データの再生を開始する再生制御部と、
    前記再生制御部が再生した前記イベント記録データを前記表示部に表示させる表示制御部と、
    を備える
    記録再生装置。
  2. 前記再生制御部は、前記イベント記録データの保存後、所定期間内に前記把持状態検出部が前記把持状態を検出した場合に、前記イベント記録データの再生を開始する
    請求項1に記載の記録再生装置。
  3. 前記把持センサは、前記表示部の近傍に設けられている、
    請求項1または2に記載の記録再生装置。
  4. 前記把持センサは、前記表示部の近傍に複数設けられており、
    前記把持状態検出部は、複数の前記把持センサのうち少なくとも2以上の前記把持センサからからの信号を取得した場合に、前記記録再生装置が把持されていることを検出する、
    請求項3に記載の記録再生装置。
  5. 前記把持状態検出部は、前記把持センサからの信号が予め設定された期間継続している場合に、前記把持状態を検出する
    請求項1〜4のいずれか一項に記載の記録再生装置。
  6. 前記再生制御部は、前記イベント記録データの再生開始後、前記イベント記録データの再生が終了する際に、前記把持状態検出部が前記把持状態を引き続き検出している場合には、前記イベント記録データの再生を繰り返す
    請求項1〜5のいずれか一項に記載の記録再生装置。
  7. 前記再生制御部は、前記イベント記録データの再生中に、前記把持状態検出部が前記把持状態を検出しなくなった場合には、前記イベント記録データを最後まで再生した後に再生を終了する
    請求項1〜6のいずれか一項に記載の記録再生装置。
  8. 前記再生制御部は、前記加速度情報取得部が取得している加速度が予め設定された閾値を超えていない場合に、前記イベント記録データの再生を開始する
    請求項1〜7のいずれか一項に記載の記録再生装置。
  9. 記録再生装置が実行する記録再生方法であって、
    移動体に設置されたカメラが撮影した撮影データを取得する撮影データ取得ステップと、
    外部から受ける加速度に基づいてイベントが発生したことを検出するイベント検出ステップと、
    前記イベントの検出に基づいて前記撮影データの少なくとも一部から予め設定された期間分の前記撮影データをイベント記録データとして保存する記録制御ステップと、
    前記記録再生装置が把持されている可能性があることを検出する把持センサから取得する信号に基づいて把持状態を検出する把持状態検出ステップと、
    前記イベント記録データの保存後であって、且つ、前記把持状態を検出した場合に、前記イベント記録データの再生を開始する再生制御ステップと、
    前記再生制御ステップで再生した前記イベント記録データを前記記録再生装置が有する表示部に表示させる表示制御ステップと、
    を備える
    記録再生方法。
  10. 記録再生装置を動作させるコンピュータに実行させるプログラムであって、
    移動体に設置されたカメラが撮影した撮影データを取得する撮影データ取得ステップと、
    外部から受ける加速度に基づいてイベントが発生したことを検出するイベント検出ステップと、
    前記イベントの検出に基づいて前記撮影データの少なくとも一部から予め設定された期間分の前記撮影データをイベント記録データとして保存する記録制御ステップと、
    前記記録再生装置が把持されている可能性があることを検出する把持センサから取得する信号に基づいて把持状態を検出する把持状態検出ステップと、
    前記イベント記録データの保存後であって、且つ、前記把持状態を検出した場合に、前記イベント記録データの再生を開始する再生制御ステップと、
    前記再生制御ステップで再生した前記イベント記録データを前記記録再生装置が有する表示部に表示させる表示制御ステップと、
    を備える
    プログラム。
JP2020000883A 2019-02-22 2020-01-07 記録再生装置、記録再生方法およびプログラム Active JP7463727B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019030280 2019-02-22
JP2019030280 2019-02-22

Publications (3)

Publication Number Publication Date
JP2020141398A true JP2020141398A (ja) 2020-09-03
JP2020141398A5 JP2020141398A5 (ja) 2023-01-23
JP7463727B2 JP7463727B2 (ja) 2024-04-09

Family

ID=72265349

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020000883A Active JP7463727B2 (ja) 2019-02-22 2020-01-07 記録再生装置、記録再生方法およびプログラム

Country Status (1)

Country Link
JP (1) JP7463727B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008140334A (ja) 2006-12-05 2008-06-19 Asahi Research Kk 撮影画像記録再生装置
JP4439548B2 (ja) 2007-09-28 2010-03-24 富士通テン株式会社 ドライブレコーダ
JP2014196095A (ja) 2013-03-29 2014-10-16 株式会社村上開明堂 ドライブレコーダ

Also Published As

Publication number Publication date
JP7463727B2 (ja) 2024-04-09

Similar Documents

Publication Publication Date Title
US11978255B2 (en) Recording control apparatus, recording apparatus, recording control method, and recording control program
JP7371752B2 (ja) 再生装置、再生方法およびプログラム
WO2021152990A1 (ja) 記録制御装置、記録装置、記録制御方法、及びプログラム
JP6828725B2 (ja) 記録再生装置、記録再生方法、およびプログラム
US11917285B2 (en) Recording control apparatus, recording apparatus, recording control method, and recording control program
JP2020141398A (ja) 記録再生装置、記録再生方法およびプログラム
JP7156087B2 (ja) 記録再生装置、記録再生方法およびプログラム
JP7006815B2 (ja) 記録再生装置、記録再生方法、およびプログラム
JP7200740B2 (ja) 記録再生装置、記録再生方法およびプログラム
JP6708320B1 (ja) 記録装置、記録方法、およびプログラム
JP7218787B2 (ja) 記録再生装置
JP2021100208A (ja) 記録装置、記録方法およびプログラム
JP2021100205A (ja) 記録装置、記録方法およびプログラム
JP2020154904A (ja) 記録装置、記録方法およびプログラム
JP2021100206A (ja) 記録装置、記録方法およびプログラム
KR20090009244U (ko) 차량용 디지털 비디오 레코더 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240311

R150 Certificate of patent or registration of utility model

Ref document number: 7463727

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150