JP2021158501A - データ記録装置 - Google Patents

データ記録装置 Download PDF

Info

Publication number
JP2021158501A
JP2021158501A JP2020056318A JP2020056318A JP2021158501A JP 2021158501 A JP2021158501 A JP 2021158501A JP 2020056318 A JP2020056318 A JP 2020056318A JP 2020056318 A JP2020056318 A JP 2020056318A JP 2021158501 A JP2021158501 A JP 2021158501A
Authority
JP
Japan
Prior art keywords
recording
image
image data
angle
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020056318A
Other languages
English (en)
Inventor
有作 山▲崎▼
yusaku Yamazaki
有作 山▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2020056318A priority Critical patent/JP2021158501A/ja
Publication of JP2021158501A publication Critical patent/JP2021158501A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】広角の画像情報の記録を可能としつつ記録可能時間を増大させる。【解決手段】ドライブレコーダにおいて、車両に設置された全方位カメラからの原画像データに基づき、第1画角分の画像である挟角画像の画像データ又は第2画角分の画像である広角画像の画像データを生成し(第1画角<第2画角)、所定の記録媒体に記録する。イベント条件の成立を契機としたイベント期間では広角画像の画像データを記録し(S14)、非イベント期間では挟角画像の画像データを記録する(S11、S13)。【選択図】図11

Description

本発明は、データ記録装置に関する。
ドライブレコーダでは、車両に取り付けられたカメラからの画像データを時系列に沿って記録媒体に記録してゆく。この際、記録媒体に空き領域が無くなると、最も古い時刻に取得された画像データに対し、新たな画像データを上書きしてゆくサイクリック記録方式が一般的に採用される。但し、車両に大きな加速度が加わるなどのイベントが発生したときの画像データは保護データとして管理され、上書きが禁止されるといった方法も多く採用される。
ドライブレコーダにおいて、車両の前方風景だけを撮影及び記録する前方記録方式が多く採用されるが、車両周辺の全方位の風景を撮影及び記録する全方位記録方式も検討される。
特開2019−121857号公報 特開2015−23510号公報
全方位記録方式による撮影画像データは、前方記録方式による撮影画像データと比べて、より大きな画角分の画像情報を有している。このため、全方位記録方式による撮影画像データを記録しておけば各シーンを詳細に残しておくことができる。但し、全方位記録方式による撮影画像データは前方記録方式による撮影画像データと比べて大きなデータ量を有するため、全方位記録方式による撮影画像データを常に記録してゆく方法では、記録媒体への記録可能時間(撮影結果の記録可能時間)が短くなる。
ドライブレコーダにおいて記録可能時間はなるだけ長い方が良い。尚、上述したような事情は車両に適用されるドライブレコーダに限らず、様々な種類のデータ記録装置に対しても当てはまる。また、前方(例えば90°の画角)と全方位(360°の画角)との比較について上述したが、相対的に狭い画角と相対的に広い画角との間で同様の事情が存在する。
本発明は、広角の画像情報の記録を可能としつつ記録可能時間の増大に寄与するデータ記録装置を提供することを目的とする。
本発明に係るデータ記録装置は、1以上のカメラが設置された移動体に搭載されるデータ記録装置であって、前記1以上のカメラからの所定画角分の画像情報を含む原画像データに基づき、第1画角分の画像である第1画像の画像データ、及び、前記所定画角以下であって且つ前記第1画角よりも大きな第2画角分の画像である第2画像の画像データを生成するデータ処理部と、前記第1画像の画像データ及び前記第2画像の画像データを所定の記録媒体に記録する記録制御部と、所定のイベント条件の成否を判断するイベント検出部と、を備え、前記記録制御部は、前記イベント条件が成立したとき、前記イベント条件の成立時刻を基準とするイベント期間を設定して前記イベント期間中の前記原画像データに基づく前記第2画像の画像データを前記記録媒体に記録し、前記イベント期間外の期間である非イベント期間においては前記非イベント期間中の前記原画像データに基づく前記第1画像の画像データを前記記録媒体に記録する構成(第1の構成)である。
上記第1の構成に係るデータ記録装置において、前記非イベント期間中の前記原画像データに基づく前記第2画像の画像データの前記記録媒体への記録は非実行とされる構成(第2の構成)であっても良い。
上記第2の構成に係るデータ記録装置において、前記記録制御部は、前記非イベント期間において、前記非イベント期間中の前記原画像データに基づき前記第1画像の画像データを上書きが許可される態様で前記記録媒体に記録し、前記イベント期間中の前記原画像データに基づく前記第2画像の画像データについては上書きが禁止される態様で前記記録媒体に記録する構成(第3の構成)であっても良い。
上記第1〜第3の構成の何れかに係るデータ記録装置において、前記記録媒体に、前記第1画像の画像データを格納するための第1記録領域と、前記第2画像の画像データを格納するための第2記録領域と、が設定され、前記第1記録領域の方が前記第2記録領域よりも大きい記録容量を有する構成(第4の構成)であっても良い。
本発明に係る他のデータ記録装置は、1以上のカメラが設置された移動体に搭載されるデータ記録装置であって、前記1以上のカメラからの所定画角分の画像情報を含む原画像データに基づき、第1画角分の画像である第1画像の画像データ、及び、前記所定画角以下であって且つ前記第1画角よりも大きな第2画角分の画像である第2画像の画像データを生成するデータ処理部と、前記第1画像の画像データを上書きが許可される態様で所定の記録媒体に記録する第1記録動作、及び、前記第2画像の画像データを上書きが許可される態様で前記記録媒体に記録する第2記録動作を実行する記録制御部と、所定のイベント条件の成否を判断するイベント検出部と、を備え、前記記録制御部は、前記イベント条件が成立したとき、前記イベント条件の成立時刻を基準とするイベント期間を設定して前記イベント期間中の前記原画像データに基づく前記第2画像の画像データを上書きが禁止される態様で前記記録媒体に記録する第3記録動作を行う構成(第5の構成)である。
上記第5の構成に係るデータ記録装置において、前記記録媒体に、前記第1記録動作による前記第1画像の画像データを格納するための第1記録領域と、前記第2記録動作及び前記第3記録動作による前記第2画像の画像データを格納するための第2記録領域と、が設定され、前記第1記録領域の方が前記第2記録領域よりも大きい記録容量を有する構成(第6の構成)であっても良い。
上記第5の構成に係るデータ記録装置において、前記記録媒体に、前記第1記録動作による前記第1画像の画像データを格納するための第1記録領域と、前記第2記録動作による前記第2画像の画像データを格納するための第2記録領域と、前記第3記録動作による前記第2画像の画像データを格納するための第3記録領域と、が設定され、前記第1記録領域の方が前記第2記録領域及び前記第3記録領域の和よりも大きい記録容量を有する構成(第7の構成)であっても良い。
上記第1〜第7の構成の何れかに係るデータ記録装置において、前記移動体は車両であって、前記所定画角、前記第1画角及び前記第2画角の夫々は水平画角を表し、水平方向において、前記第1画角分の画像は前記車両の前方の像を含み、前記第2画角分の画像は前記車両の周辺の全方位の像を含む構成(第8の構成)であっても良い。
本発明によれば、広角の画像情報の記録を可能としつつ記録可能時間の増大に寄与するデータ記録装置を提供することが可能となる。
本発明の実施形態に係るデータ記録システムの全体構成図である。 本発明の実施形態に係る車両の概略的な上面図である。 本発明の実施形態に係り、カメラ部の構成例及び車両のカメラへの設置例を示す図である。 本発明の実施形態に係り、全方位カメラを用いて周囲の風景を撮影する構成及び動作の模式図である。 本発明の実施形態に係り、データ処理部の入出力データを示す図である。 本発明の実施形態に係り、円環撮影画像と挟角画像及び広角画像との関係を示す図である。 本発明の実施形態に係り、広角画像と挟角画像の関係を示す図である。 本発明の実施形態に係るドライブレコーダの動作フローチャートである。 本発明の実施形態に係り、イベント期間の説明図である。 本発明の実施形態に属する実施例EX1_1に係り、記録媒体の構造を示す図である。 本発明の実施形態に属する実施例EX1_1に係り、特殊モードにおけるドライブレコーダの動作フローチャートである。 本発明の実施形態に属する実施例EX1_2に係り、記録媒体へのデータ記録方法を模式的に示した図である。 本発明の実施形態に属する実施例EX1_3に係り、挟角動画像及び広角動画像の構造を示す図である。 本発明の実施形態に属する実施例EX2_1に係り、記録媒体の構造を示す図である。 本発明の実施形態に属する実施例EX2_1に係り、特殊モードにおけるドライブレコーダの動作フローチャートである。 本発明の実施形態に属する実施例EX2_2に係り、記録媒体の構造を示す図である。 本発明の実施形態に属する実施例EX3_1に係り、車両に対して設置された4台のカメラの撮影領域を示す図である。
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量又は部材等を参照する記号又は符号を記すことによって、該記号又は符号に対応する情報、信号、物理量又は部材等の名称を省略又は略記することがある。
図1は本発明の実施形態に係るデータ記録システムSYSの全体構成図である。データ記録システムSYSは、ドライブレコーダ1、カメラ部2、マイク部3、操作部4、GPS処理部5、車両センサ部6、通信モジュール7及び記録媒体8を備える。ドライブレコーダ1は、主制御部10、記録媒体装着部20、計時部30及び内部メモリ40を備える。図2はデータ記録システムSYSを搭載した車両CRの概略的な上面図である。図2には示されていないが、ドライブレコーダ1は車両CRの適所に設置される。
ドライブレコーダ1に対して接続機器が接続される。ドライブレコーダ1と任意の接続機器とは、互いに双方向通信(但し必要でなければ一方向通信でも良い)が可能な態様で有線又は無線にて接続される。接続機器は、カメラ部2、マイク部3、操作部4、GPS処理部5、車両センサ部6及び通信モジュール7を含み、各接続機器は車両CRの適所に設置される。
ここでは、車両CRとして路面上を走行可能な車両(自動車等)を主として想定するが、車両CRは任意の種類の車両であって良い。車両CRの運転席からステアリングホイールに向かう向きを「前方」と定義し、車両CRのステアリングホイールから運転席に向かう向きを「後方」と定義する。前後方向に直交し且つ路面に平行な方向を左右方向と定義する。左右方向における左、右は、車両CRの運転席に座り且つ前方を向いている、車両CRの運転者から見た左、右であるとする。
カメラ部2は車両CRに設置された1以上のカメラから成り、カメラ部2に設けられる個々のカメラを単位カメラと称する。単位カメラについて以下に示す内容は、カメラ部2に設けられた各カメラに適用される。単位カメラは、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge-Coupled Device)イメージセンサなどの撮像素子及び光学系を備え、自身の撮影領域(換言すれば視野)内の撮影を行って、撮影により得られた画像(即ち撮影領域内の像)を示す画像データを生成及び出力する。単位カメラにて得られた画像データはドライブレコーダ1に出力される。単位カメラは所定の撮影フレームレートにて自身の撮影領域内の撮影を周期的に繰り返し行う。撮影フレームレートは1秒間当たりの撮影の回数に相当する。撮影フレームレートは任意であるが、例えば120[フレーム/秒]である。単位カメラにおいて撮影フレームレートの逆数の間隔でフレーム画像の画像データが周期的に生成され、ドライブレコーダ1に送られる。フレーム画像は単位カメラの1回分の撮影により得られる静止画像を指す。尚、カメラ部2に複数のカメラが設けられる場合、複数のカメラの撮影フレームレートは互いに同じであるとする。
マイク部3は、車両CRに設置された1以上のマイクロホンから成る。マイク部3における1つのマイクロホンは、当該マイクロホンの周辺の音を集音し、集音した音を音声データに変換する(即ち集音した音を表す音声データを生成する)。マイクロホンにて生成された音声データはドライブレコーダ1に出力される。マイク部3を構成するマイクロホンの個数及びマイクロホンの配置位置は適宜設定されて良い。例えば、車両CRの車外で発生する音を主として集音する車外用マイクロホンと、車両CRの車室内で発生する音を主として集音する車内用マイクロホンとが、マイク部3に設けられていても良い。マイク部3を構成するマイクロホンはカメラ部2内の単位カメラに取り付けられているものであっても良い。マイク部3に含まれる1以上のマイクロホン(例えば車内用マイクロホン)はドライブレコーダ1に内蔵されていても良い(即ちドライブレコーダ1の構成要素に含まれていても良い)。
操作部4は、操作者が操作可能な操作部であり、操作者から(即ちドライブレコーダ1の外部から)様々な操作の入力を受け付ける。操作部4に対する操作内容を表す信号はドライブレコーダ1に出力される。操作部4の操作者はドライブレコーダ1のユーザである。ユーザは主として車両CRの運転者であるが、それ以外の人間であっても良い。操作部4は、運転者等が操作しやすいようにステアリングホイール(不図示)の近傍等、車両CRの適所に配置される。ユーザは操作部4を操作することでドライブレコーダ1の各種設定を行うことができる。操作部4はドライブレコーダ1に内蔵されていても良い(即ちドライブレコーダ1の構成要素に含まれていて良い)。
GPS処理部5は、GPS(Global Positioning System)を形成する複数のGPS衛星からの信号を受信することで車両CRの位置を検出し、検出位置を示す車両位置情報を生成する。検出される位置は車両CRの現在地である。車両位置情報では、車両CRの位置(現在地)が、地球上における経度及び緯度によって表現される。車両位置情報は所定周期で順次生成され、生成された車両位置情報は順次ドライブレコーダ1に送られる。
車両センサ部6は、車両CRに設置された複数の車載センサから成り、各車載センサを用いて車両センサ情報を検出及び取得する。車両センサ情報は所定周期で順次取得され、取得された車両センサ情報は順次ドライブレコーダ1に送られる。車両センサ情報は、車両CRの速度を表す車速情報、車両CRに設けられたアクセルペダルの踏み込み量を表すアクセル情報、車両CRに設けられたブレーキペダルの踏み込み量を表すブレーキ情報、及び、車両CRに設けられたステアリングホイールの操舵角を表す操舵角情報などを含む。上記複数の車載センサには加速度センサも含まれ、加速度センサから出力される加速度情報も上記車両センサ情報に含まれる。加速度センサは、互いに直交する3軸又は2軸の夫々の方向において車両CRの加速度を検出し、その検出結果を示す加速度情報を出力する。
通信モジュール7は、ドライブレコーダ1以外の装置(例えばインターネット網に接続されたサーバ装置)とドライブレコーダ1との間で情報を送受信するための通信機能を備え、その情報の送受信は任意の無線通信回線を介して行われる。
記録媒体8は、半導体メモリにて構成されるメモリカードである。但し、記録媒体8は、磁気ディスク、光ディスク、光磁気ディスクなど、任意の記録媒体であって良い。
主制御部10は、演算処理を行うことで各種の制御機能を実現するCPU(Central Processing Unit)、演算処理の作業領域として利用されるRAM(Random Access Memory)、及び、プログラムや設定パラメータ等を不揮発的に記憶するROM(Read Only Memory)を備える。ROMに記憶されたプログラムに従って演算処理が行われることで、主制御部10の機能が実現される。
記録媒体装着部20は、記録媒体8を装着可能に構成される。記録媒体8がメモリカードであるとき、記録媒体装着部20はカードスロットとして構成される。但し、上述したように記録媒体8は任意の記録媒体であって良い。以下では、記録媒体装着部20に記録媒体8が装着されていて、主制御部10が記録媒体8に対しデータの書き込み及び読み出しを自由に行うことができるものとする。尚、記録媒体8はドライブレコーダ1に対し着脱不能に内蔵された記録媒体であっても良い。
計時部30は、現在の日付及び時刻を示す時刻データを取得する。取得された時刻データは主制御部10に与えられる。
内部メモリ40は、記録媒体8とは別にドライブレコーダ1に内蔵されたメモリである。内部メモリ40は例えば所定の記録容量を有する半導体メモリである。但し、内部メモリ40の種類は任意である。
主制御部10は、様々な機能を実現する複数の機能ブロックを有し、特徴的な機能ブロックとして、データ処理部11、記録制御部12及びイベント検出部13が主制御部10に設けられる。
データ処理部11には各種のデータが入力される。データ処理部11は入力データに対し所定のデータ処理を施す。データ処理部11への主な入力データとして、カメラ部2からの画像データがある。データ処理部11にて行われるデータ処理の詳細については後述される。
記録制御部12は、記録媒体8に対する記録制御を行う。記録制御部12は、単位カメラの撮影結果に基づく画像データを記録媒体8に記録する(換言すれば記録させる)ことができ、この際、データ処理部11によるデータ処理後の画像データを記録媒体8に記録する(換言すれば記録させる)ことができる。
イベント検出部13は、所定のイベント条件の成否を継続監視してイベント条件が成立したとき、イベントが発生したと判断する。イベント条件の成立とイベントの発生は同義である。
イベント検出部13は、例えば、車両センサ情報に基づいてイベントの発生有無を判断しても良い。例えば、イベント検出部13は、上記加速度情報に基づき車両CRに発生した加速度の絶対値をG値として算出し、所定閾値以上のG値が観測されたとき、イベントの1つであるGイベントが発生したと判断する(即ちイベント条件の一種であるGイベント条件が成立する)。また例えば、イベント検出部13は、上記車速情報に基づき車両CRの速度の増加方向における変化量絶対値を算出し、その変化量絶対値が所定の加速上限値以上となっていることが観測されたとき、イベントの1つである急加速イベントが発生したと判断する(即ちイベント条件の一種である急加速イベント条件が成立する)。また例えば、イベント検出部13は、上記車速情報に基づき車両CRの速度の減少方向における変化量絶対値を算出し、その変化量絶対値が所定の減速上限値以上となっていることが観測されたとき、イベントの1つである急減速イベントが発生したと判断する(即ちイベント条件の一種である急減速イベント条件が成立する)。この他、ステアリングホイールの操舵角が急激に変化する急ハンドルイベント、急ブレーキがかかる急ブレーキイベントなど、車両CRにて発生する様々な事象を車両センサ情報に基づきイベントとして検出して良い。
また例えば、イベント検出部13は、カメラ部2の撮影結果に基づいてイベント条件の成否を判断しても良い。例えば、カメラ部2にて取得される画像データに基づき車両CRの走行が左右にふらつくふらつきイベントの発生有無を判断しても良いし、カメラ情報に基づき赤信号で交差点に進入する信号無視イベントの発生有無を判断しても良い。
また例えば、イベント検出部13は、車両CRに対して物体OBJ(不図示)が近接する近接イベントの発生有無を検出しても良い。ここにおける物体OBJは車両CRとは別の三次元物体であり、車両CRが路面上に位置しているとき、当該路面上に位置している静止物体(例えば、道路標識又は路肩)又は動物体(例えば、人物又は車両CRとは異なる車両)が物体OBJとなり得る。具体的には、イベント検出部13は、所定の物体検出処理を常時実行して良く、物体検出処理において車両CR及び物体OBJ間の距離を逐次検出して導出距離が所定の閾距離以下となったときに近接イベントが発生した(即ちイベント条件の一種である近接イベント条件が成立した)と判断することができる。カメラ部2の撮影結果に基づいて物体検出処理を実行しても良いし、車両CRにレーダ装置(不図示)が搭載されている場合にはレーダ装置の検出結果に基づいて物体検出処理を実行しても良い。物体検出処理自体はドライブレコーダ1の外部装置(不図示)で行われても良い。
また例えば、ドライブレコーダ1のユーザ(主として運転手)が所定操作を操作部4に入力したときに操作イベントが発生しても良い(即ちイベント条件の一種である操作イベント条件が成立しても良い)。この他、様々なイベント条件が設定されていて良い。
カメラ部2の撮影における画角には、水平方向の画角(水平画角)と垂直方向の画角(垂直方向)とがある。この内、垂直方向の画角(垂直画角)は任意であって良く、カメラ部2の撮影及び単位カメラの撮影において並びに任意の画像において、垂直画角は一定であるとする。本実施形態において車両CRは水平な路面上に位置しているものとし、以下の文章において画角とは、特に記述なき限り、水平方向の画角を指す。カメラ部2の撮影における画角は所定画角ANGALLであり、ここでは所定画角ANGALLは360°であるとする。但し、所定画角ANGALLは360°未満であっても良い。
360°の水平画角で撮影を行うことのできるカメラとして全方位カメラがある。本実施形態では、以下、特に記述なき限り、図3(a)に示す如く、1つの単位カメラとしてカメラ部2に全方位カメラ2Cが設けられていることを想定する。全方位カメラ2Cは、全方位カメラ2Cの周囲360°の風景を同時に撮影可能なカメラである。例えば図3(b)に示す如く、全方位カメラ2Cは車両CRの車室内に設置される(例えばルームミラーに設置される)。この場合、車両CRの右方、左方及び後方における外部の様子は、部分的にしか全方位カメラ2Cの視野に入らない(例えば車両CRの後方における外部の様子は、車両CRの後部窓を通じてしか全方位カメラ2Cの視野に入らない)。従って例えば図3(c)に示す如く、全方位カメラ2Cを車両CRの屋根の上に設置しても良い。何れにせよ、全方位カメラ2Cは、全方位カメラ2Cの設置位置を中心に水平方向360°の風景を同時に撮影する。以下では、全方位カメラ2Cが車両CRの屋根の上に設置されることを想定する。
図4(a)は全方位カメラ2Cを用いて周囲の風景500を撮影する場合の模式図である。全方位カメラ2Cは全方位の風景500を撮影する。全方位カメラ2Cを用いて撮影されるべき全方位の風景500とは、車両CRの全方位の風景である。尚、ここにおける全方位とは水平方向における全方位である。全方位カメラ2Cは水平方向において360°の画角を持ち、全方位カメラ2Cにより撮影される全方位の風景500は、車両CRの前方の風景、車両CRの右側の風景、車両CRの左側の風景及び車両CRの後方の風景を含むことになる。全方位カメラ2Cの垂直方向における画角は180°である又は180°未満の所定値であり、少なくとも全方位カメラ2Cの真下は全方位カメラ2Cの撮影範囲外である。このような全方位カメラ2Cは半天球カメラとも称される。但し、全方位カメラ2Cとして全天球カメラを用いても構わない。
全方位カメラ2Cは、曲面ミラー(図4(a)の斜線部に対応)を有して曲面ミラーにより風景500に基づく全方位からの入射光を集光し、曲面ミラー下部の焦点位置に配置された撮像素子(CCD又はCMOSイメージセンサ)を用いて、曲面ミラーに映った円環状の風景500を撮影する(即ち画像化する)。この撮影(画像化)により、風景500の円環状の撮影画像が得られる。図4(b)に風景500の撮影により得られる円環状の撮影画像510を示す。全方位カメラ2Cにより生成される円環状の撮影画像510の画像データはドライブレコーダ1に送られる。
データ処理部11は、円環状の撮影画像510に対し幾何学的変換を含む所定の展開画像処理を施すことで、円環状の撮影画像510を展開したパノラマ画像520を生成できる(図4(c)参照)。パノラマ画像520は、円環状の撮影画像510を所定の仮想平面に投影して得られる平面画像であり、車両CRの前後左右にのみ注目すれば、車両CRの前方の風景の画像と車両CRの右側の風景の画像と車両CRの後方の風景の画像と車両CRの左側の風景の画像とを左右方向に並べて形成される、矩形状の1枚の画像である。円環状の撮影画像510をパノラマ画像520のような矩形状の画像に変換する展開画像処理として、公知の任意の画像処理を用いることができる。
以下、撮影画像510のような円環状の撮影画像を円環撮影画像と称する。円環撮影画像は、全方位カメラ2Cの撮影画角分の撮影画像(即ち360°の画角分の撮影画像)であり、全方位カメラ2Cの撮影により全方位カメラ2Cにて生成される画像データを特に原画像データと称する。原画像データはデータ処理部11によるデータ処理(上記展開画像処理を含む)が実行される前の画像データであり、原画像データにより円環撮影画像が表される。上述の説明から理解されるよう、原画像データは、カメラ部2からドライブレコーダ1に提供される所定画角ANGALL分の撮影画像を表しており、所定画角ANGALL分の画像情報を含む。
図5に示す如く、データ処理部11は、所定画角ANGALL分の撮影画像を表す原画像データに基づき、挟角画像及び広角画像を生成することができる。尚、任意の画像について、画像の生成、記録、保存と、画像の画像データの生成、記録、保存は同義である。以下では、円環撮影画像の画像データ、挟角画像の画像データ、広角画像の画像データを、夫々、円環撮影画像データ、挟角画像データ、広角画像データと称することがある。
図6に、原画像データにて表される円環撮影画像と、原画像データに基づいて生成される挟角画像及び広角画像の例を示す。挟角画像は所定の第1画角分の画像であり、広角画像は第1画角よりも大きな所定の第2画角分の画像である。即ち、挟角画像は第1画角分の画像情報を有し、広角画像は第2画角分の画像情報を有する。第2画角は典型的には所定画角ANGALLと同じであるが、所定画角ANGALLより小さくても良い。以下では、広角画像の水平画角を表す第2画角は、所定画角ANGALLと同じであるとする。そうすると、広角画像は、原画像データに基づく水平方向360°分の画像情報を有する。広角画像は、円環撮影画像の形態を有する画像であっても良いし、パノラマ画像の形態を有する画像であっても良いが、以下では、広角画像はパノラマ画像の形態を有する画像であるとする。この場合、データ処理部11は、原画像データにて表される円環撮影画像に対し、展開画像処理を含むデータ処理を実行することで、広角画像を生成できる。尚、円環撮影画像から広角画像を生成するデータ処理には、レンズ歪み補正、色補正などの様々な画像処理が含まれ得る。
図7を参照して挟角画像の生成方法の例を説明する。データ処理部11は、水平方向360°分の画像情報を有する円環撮影画像510から水平方向360°分の画像情報を有するパノラマ画像520を生成した後、パノラマ画像520内の所定位置にパノラマ画像520の全画像領域よりも小さな切り出し領域521を設定し、切り出し領域521内の画像をパノラマ画像520から切り出す。ここで切り出された画像が、円環撮影画像510に基づく挟角画像522である。挟角画像522は、パノラマ画像520の一部に相当する矩形状の画像であり、水平方向において第1画角分の画像情報を有する。第1画角は第2画角よりも小さければ任意であり、例えば90°である。ドライブレコーダ1においては車両CRの前方の画像情報が特に重要である。このため、車両CRの前方の像が挟角画像に含まれるよう、切り出し領域521の位置及び大きさが設定される。
このように、水平方向において、第1画角分の画像である挟角画像は車両CRの前方の像(車両CRの前方の像の画像情報)を含み、第2画角分の画像である広角画像は車両CRの周辺における全方位の像(車両CRの周辺における全方位の像の画像情報)を含む。挟角画像は広角画像の一部である、とも言える。尚、円環撮影画像510の画像領域の内、どの部分の画像領域が切り出し領域521に対応しているのかはデータ処理部11にとって既知である。このため、データ処理部11は、パノラマ画像520を経由せずに、円環撮影画像510から、直接、車両CRの前方の像の画像情報を抽出することにより、挟角画像522を生成しても良い。
記録制御部12(図1参照)は、挟角画像データ又は広角画像データを記録媒体8に記録する動作を行う際、適宜、内部メモリ40を利用する。内部メモリ40には、所定の一定時間分の原画像データを一時的に記憶するリングバッファが形成される。リングバッファにおいて、一定時間分の原画像データが記録された状態で、新たに記録すべき原画像データがドライブコーダ1に入力されると、最も古く記録された原画像データに対し、最新の原画像データが上書きして記録される。このため、常に最新の一定時間分の原画像データがリングバッファにて保持される。記録制御部12は、特定の時間帯における挟角画像データ又は広角画像データを記録媒体8に記録する際、内部メモリ40に保持されている特定の時間帯における原画像データを参照し、参照した原画像データに対し必要なデータ処理を施すことで特定の時間帯における挟角画像データ又は広角画像データを生成することができる。当該データ処理の実行タイミングは、特定の時間帯における原画像データがリングバッファに保持されている限り、特定の時間帯の開始後の任意のタイミングであって良い。
尚、記録制御部12は、挟角画像データ又は広角画像データを記録媒体8に記録する際、画像データに対し所定の付加データを付与しても良い。付加データは、マイク部3にて生成される音声データ及び計時部30にて生成される時刻データを含む他、車両位置情報及び車両センサ情報を含み得る。挟角画像データ又は広角画像データが記録媒体8に記録される際、挟角画像データ又は広角画像データと共に挟角画像データ又は広角画像データに対応する付加データが、それらが互いに関連付けられた状態で記録媒体8に記録されて良い。
図8はドライブレコーダ1の動作フローチャートである。ドライブレコーダ1を含むデータ記録システムSYSは、例えば車両CRの起動スイッチ(アクセサリスイッチ等)に連動して起動する。ドライブレコーダ1が起動すると、ステップS1において、主制御部10内の不揮発性メモリ(不図示)に格納されたモード設定値MSETが参照される。“MSET=1”であるならばステップS1からステップS2に移行して主制御部10の動作モードが基本モードに設定され、続くステップS3にて主制御部10により基本モード処理が実行される。“MSET=2”であるならばステップS1からステップS5に移行して主制御部10の動作モードが特殊モードに設定され、続くステップS6にて主制御部10により特殊モード処理が実行される。ドライブレコーダ1のユーザは、ドライブレコーダ1への電力供給中の任意のタイミングにおいて、操作部4に所定操作を行うことにより又は通信モジュール7を介した情報送信によりドライブレコーダ1にモード指令を与えることができ、主制御部10はモード指令を受けるとモード指令に基づいてモード設定値MSETに“1”又は“2”を代入する。
基本モード処理の実行開始後、モード設定値MSETに変更がない限り基本モード処理が継続実行され(ステップS3及びS4)、モード設定値MSETが“2”に変更されるとステップS1を経由してステップS5に移行し、主制御部10の動作モードが特殊モードに切り替えられてステップS6における特殊モード処理が実行される。特殊モード処理の実行開始後、モード設定値MSETに変更がない限り特殊モード処理が継続実行され(ステップS6及びS7)、モード設定値MSETが“1”に変更されるとステップS1を経由してステップS2に移行し、主制御部10の動作モードが基本モードに切り替えられてステップS3における基本モード処理が実行される。尚、図8には示されていないが、エンジン停止等に連動してドライブレコーダ1の動作は停止する。
基本モード処理では、広角画像データのみを記録媒体8に記録する基本サイクリック記録動作を行い、挟角画像データの記録媒体8への記録を行わない。基本サイクリック記録動作において、記録制御部12は、次々と生成される広角画像データを非保護データとして記録媒体8に記録してゆく。記録媒体8は、広角画像データを最大で所定容量分だけ格納可能な記録領域を有する。基本サイクリック記録動作において所定容量分の広角画像データが記録媒体8に記録されている状態で新たに広角画像データが生成されると、記録媒体8において最新の広角画像データを過去の広角画像データに上書き記録する。第1のデータを第2のデータに上書き記録するとは、第2のデータを記録媒体8から消去して、代わりに第1のデータを記録媒体8に記録することを指す。上書きの対象となる過去の広角画像データは、記録媒体8に非保護データとして記録されている全ての広角画像データの内、最も古い時刻にて生成及び記録された広角画像データである。
このように、基本サイクリック記録動作では、撮影フレームレートで順次取得される原画像データに基づき広角画像データを順次生成して、広角画像データを上書きが許可される態様で記録媒体8に順次記録する。非保護データとは上書きが許可されるデータを意味し、後述の保護データは上書きが禁止されるデータを意味する。故に、或るデータを非保護データとして記録することと、当該データを上書きが許可される態様で記録することは同義であり、或るデータを保護データとして記録することと、当該データを上書きが禁止される態様で記録することは同義である。フラグ等の管理により非保護データと保護データとの分類がなされる。以下、或るデータを保護データとして記録媒体8に記録することを、保護記録する又は保護記録と表現することがある。
特殊モード処理では、イベント条件の成立に応じ、挟角画像データ又は広角画像データを選択的に記録媒体8に記録する処理や、広角画像データを保護データとして記録媒体8に記録する処理などが行われる。尚、イベント条件の成立に応じて広角画像データを保護データとして記録媒体8に記録する処理は、基本モード処理でも行われて良い。
図9を参照して、イベント条件の成立に応じて設定されるイベント期間を説明する。イベント期間はイベント検出部13の検出結果に基づき記録制御部12にて設定される。イベント期間の開始時刻は、イベント条件の成立時刻から時間TPRE(例えば12秒)だけ前の時刻であり、イベント期間の終了時刻は、イベント条件の成立時刻から時間TPOST(例えば8秒)だけ後の時刻である。イベント条件の成立時刻とはイベント条件の不成立状態からイベント条件の成立状態への切り替わりタイミングを指す。時間TPRE及びTPOSTは夫々に所定の時間であり、それらの一致、不一致は問わない。時間TPRE及びTPOSTの内、何れか任意の一方はゼロであり得る。成立したイベント条件がユーザ操作に基づく操作イベント条件である場合、時間TPOSTの長さを操作部4への操作に応じて可変としても良い(即ちユーザがイベント期間の長さを指定できても良い)。ドライブレコーダ1の動作期間において、イベント期間以外の期間を非イベント期間と称する。
以下、複数の実施例の中で、データ記録システムSYS又はドライブレコーダ1に関わる幾つかの具体的な動作例、応用技術、変形技術等を説明する。本実施形態にて上述した事項は、特に記述無き限り且つ矛盾無き限り、以下の各実施例に適用され、各実施例において、上述した事項と矛盾する事項については各実施例での記載が優先されて良い。また矛盾無き限り、以下に示す複数の実施例の内、任意の実施例に記載した事項を、他の任意の実施例に適用することもできる(即ち複数の実施例の内の任意の2以上の実施例を組み合わせることも可能である)。
<<実施例EX1_1>>
実施例EX1_1を説明する。実施例EX1_1に係る記録制御部12は、非イベント期間においては挟角画像データを記録媒体8にサイクリック記録し、イベント期間においてのみ広角画像データを記録媒体8に記録する。以下、より詳細に説明する。
図10に示す如く、実施例EX1_1においては記録媒体8の全記録領域内に互いに異なる第1記録領域111及び第2記録領域112が設定(定義)される。この設定は記録制御部12により実現される。第1記録領域111は挟角画像データを格納するための記録領域であり、第2記録領域112は広角画像データを格納するための記録領域である。記録領域111、112の記録容量(大きさ)は、夫々、容量CA1、CA2である。
図11は、実施例EX1_1に係る特殊モードでの動作フローチャートである。主制御部10の動作モードが特殊モードに設定されるとステップS11に移行し、ステップS11において記録制御部12はサイクリック記録動作PRA1の実行を開始する。サイクリック記録動作PRA1において、記録制御部12は、次々と生成される挟角画像データを非保護データとして第1記録領域111に記録してゆく。サイクリック記録動作PRA1において、容量CA1分の挟角画像データが第1記録領域111に記録されている状態で新たに挟角画像データが生成されると、第1記録領域111において最新の挟角画像データを過去の挟角画像データに上書き記録する。上書きの対象となる過去の挟角画像データは、第1記録領域111に非保護データとして記録されている全ての挟角画像データの内、最も古い時刻にて生成及び記録された挟角画像データである。
このように、サイクリック記録動作PRA1では、撮影フレームレートで順次取得される原画像データに基づき挟角画像データを順次生成して、挟角画像データを上書きが許可される態様で記録媒体8の第1記録領域111に順次記録する。或る時間帯における原画像データに基づき第1記録領域111に記録される挟角画像データは、当該時間帯における第1画角の動画像を表す。
ステップS11にてサイクリック記録動作PRA1を開始した後、ステップS12に進む。特殊モードでは、サイクリック記録動作PRA1の実行と並行してイベント条件の成否が継続監視される。ここにおけるイベント条件は上述の任意のイベント条件(例えばGイベント条件、近接イベント条件、操作イベント条件)であって良い。イベント条件が成立していなければ(ステップS12のN)、サイクリック記録動作PRA1が継続実行される(ステップS13)。このため、非イベント期間では、サイクリック記録動作PRA1の継続実行により、非イベント期間中の原画像データに基づく挟角画像の画像データが第1記録領域111に記録されてゆく。イベント条件が成立すると(ステップS12のY)、ステップS14への移行が発生する。記録制御部12はステップS14にて記録動作PRA2を実行する。記録動作PRA2の完了後、ステップS12に戻る。
記録動作PRA2において、記録制御部12は、イベント条件の成立時刻を基準に上述の如く(図9参照)イベント期間を設定し、イベント期間中の原画像データに基づく広角画像データを第2記録領域112に記録する。この際、広角画像データを保護データとして第2記録領域112に記録することが望ましいが、広角画像データを非保護データとして第2記録領域112に記録することも可能である。イベント期間中の原画像データに基づき第2記録領域112に記録される広角画像データは、当該イベント期間における第2画角の動画像を表す。
このように、実施例EX1_1に係る記録制御部12は、イベント条件が成立したときにはイベント期間中の原画像データに基づく広角画像データを記録媒体8(ここでは第2記録領域112)に記録し、一方、非イベント期間においては非イベント期間中の原画像データに基づく挟角画像データを記録媒体8(ここでは第1記録領域111)に記録する。非イベント期間中において広角画像データは記録媒体8に記録されない。つまり、非イベント期間中の原画像データに基づく広角画像データの記録媒体8への記録は、非実行とされる。図11の動作において、イベント条件が成立しない限り、広角画像データが記録媒体8にされることは無い。
広角画像データは、挟角画像データと比べてより大きな画角分の画像情報を有しているため、広角画像データを記録しておけば各シーンを詳細に残しておくことができる。但し、広角画像データは挟角画像データと比べて大きなデータ量を有するため、常に広角画像データを記録してゆく参考方法では、記録媒体8への記録可能時間(撮影結果の記録可能時間)が短くなる。これを考慮し、実施例EX1_1では、基本的には挟角画像データのみを記録し、イベント発生時だけ広角画像データを記録する。これにより、上記参考方法との比較において、記録媒体8への記録可能時間(第1画角での撮影結果の記録可能時間)を増大させることができる。
尚、非イベント期間において広角画像データの生成は不要であると言える。このため、非イベント期間においては、広角画像データを生成するための処理を実行せずに、原画像データから挟角画像データの生成に必要な部分だけを抽出して、抽出データに基づき挟角画像データのみを直接生成する、といったことも可能となる。これにより、データ処理部11の処理負荷が軽減される。常に広角画像データを生成する方法を採用した場合、例えば、車両CRの側方における木々の揺らめきや人混みの画像情報を常時処理する必要が生じ、データ処理部11の処理負荷が大きくなることが予想される。
上述の如く、非イベント期間においては、非イベント期間中の原画像データに基づき挟角画像データを非保護データとして記録媒体8(ここでは第1記録領域111)に記録し、イベント期間中の原画像データに基づく広角画像データについては、望ましくは、保護データとして記録媒体8(ここでは第2記録領域112)に記録する。
これにより、イベントが発生せず重要とは推定されないシーンを一定の記録容量でサイクリック記録することができると共に、重要なシーン又は重要と推定されるシーンを詳細に(広角で)上書き禁止の態様で残しておくことができる。
また、第1記録領域111の記録容量CA1を、第2記録領域112の記録容量CA2よりも大きく設定しておくと良い。例えば、“CA1:CA2=2:1”や、“CA1:CA2=3:1”とすることができる。但し、“CA1=CA2”又は“CA1<CA2”としておくことも可能である。
“CA1>CA2”としておくことにより、記録媒体8への記録可能時間(第1画角での撮影結果の記録可能時間)を長くすることができる。事故等に対応するイベントの発生頻度は高くないと想定されるので、第2記録領域112の記録容量CA2が比較的小さくても弊害は生じにくいと考えられる。
尚、非イベント期間だけでなく、イベント期間中においてもサイクリック記録動作PRA1を実行することは可能である。即ち、記録制御部12は、イベント条件が成立したとき、イベント期間中の原画像データに基づく広角画像データを第2記録領域112に記録する処理と、イベント期間中の原画像データに基づく挟角画像データを第1記録領域111に記録する処理とを、夫々に実行するようにしても良い(この場合、特殊モードではイベント条件の成否に関係なく挟角画像データが第1記録領域111に非保護データとして常時記録されてゆくことになる)。但し、後者の処理を実行しないようにしても良い。この場合、イベント期間中の原画像データに基づく挟角画像データが第1記録領域111に記録されることは無い。
<<実施例EX1_2>>
実施例EX1_2を説明する。実施例EX1_2では実施例EX1_1に対する変形技術を説明する。実施例EX1_1では、挟角画像データを記録するための記録領域と広角画像データを記録するための記録領域が予め分離して設定されることになるが、それらの記録領域を予め設定せず、記録媒体8内で時系列に沿って挟角画像データ及び広角画像データを混合して記録してゆくようにしても良い(図12参照)。
例えば、時間進行に伴って、第1時刻、第2時刻、第3時刻、第4時刻が、この順番で順次訪れる場合において、第1〜第4時刻間の期間の内、第2時刻及び第3時刻間の期間のみがイベント期間に設定された場合、以下のようにしても良い。
即ち、データ処理部11は、第1及び第2時刻間の原画像データに基づいて第1及び第2時刻間の挟角画像データを生成し、第2及び第3時刻間の原画像データに基づいて第2及び第3時刻間の広角画像データを生成し、第3及び第4時刻間の原画像データに基づいて第3及び第4時刻間の挟角画像データを生成する。記録制御部12は、第1及び第2時刻間の挟角画像データ、第2及び第3時刻間の広角画像データ、第3及び第4時刻間の挟角画像データを、時系列に沿って記録媒体8に記録する。例えば、それらを時系列に沿って記録媒体8のアドレスの降順に記録する。この際、挟角画像データを非保護データとして記録し、広角画像データを保護データとして記録する。記録媒体8中の何れのアドレスのデータが保護データであるのかは、例えば、記録媒体8内に設定された管理領域内のフラグで指定しておけば良い。
<<実施例EX1_3>>
実施例EX1_3を説明する。実施例EX1_3は上述の実施例EX1_1又はEX1_2と組み合わせて実施される。実施例EX1_1又はEX1_2において、記録制御部12は、非イベント期間中の原画像データに基づく挟角画像の画像データを第1記録条件にて記録媒体8に記録し、イベント期間中の原画像データに基づく広角画像の画像データを第2記録条件にて記録媒体8に記録して良い。この際、第2記録条件において第1記録条件においてよりも、フレームレート及び画質の内、少なくとも一方を高くしておくと良い。これにより、単位時間当たりの挟角画像データの記録データ量を抑制しつつ、重要なシーン又は重要と推定されるシーンを高精細に残しておくことができる。
これについて詳細に説明する。記録媒体8に記録された挟角画像データにより表される動画像を挟角動画像MV1と称し、記録媒体8に記録された広角画像データにより表される動画像を広角動画像MV2と称する。挟角動画像MV1は第1画角分の画像情報から成る動画像であり、広角動画像MV2は第2画角分の画像情報から成る動画像である。
図13に動画像MV1及びMV2の構造を示す。挟角動画像MV1は複数の静止画像である複数のフレーム画像FL1の集まりから成る。挟角動画像MV1において、複数のフレーム画像FL1は時系列上でフレームレートRT1の逆数の間隔で並ぶ。フレームレートRT1は、挟角動画像MV1における1秒間当たりのフレーム画像FL1の枚数を表す。個々のフレーム画像FL1は静止画像としての挟角画像であり、静止画像としての挟角画像が(1/RT1)秒の間隔で並ぶことで、第1画角分の画像情報を動画像の形態で表現した挟角動画像MV1が形成される。同様に、広角動画像MV2は複数の静止画像である複数のフレーム画像FL2の集まりから成る。広角動画像MV2において、複数のフレーム画像FL2は時系列上でフレームレートRT2の逆数の間隔で並ぶ。フレームレートRT2は、広角動画像MV2における1秒間当たりのフレーム画像FL2の枚数を表す。個々のフレーム画像FL2は静止画像としての広角画像であり、静止画像としての広角画像が(1/RT2)秒の間隔で並ぶことで、第2画角分の画像情報を動画像の形態で表現した広角動画像MV2が形成される。尚、図13は概念図であって、各フレーム画像の形状や大きさ関係は正確とは限らない。
記録動作PRA2(図11参照)による広角動画像MV2のフレームレートRT2が、サイクリック記録動作PRA1による挟角動画像MV1のフレームレートRT1よりも高くなるよう、第1及び第2記録条件を設定しておいて良い(この設定を第1設定SET1_3と称する)。フレームレートの調整はフレームの間引き等により実現される。記録動作PRA2による広角動画像MV2のフレームレートRT2は全方位カメラ2Cの撮影フレームレートと同じとされると良いが、撮影フレームレートより小さくすることも可能である。例えば、全方位カメラ2Cの撮影フレームレートが120[フレーム/秒]である場合、記録動作PRA2による広角動画像MV2のフレームレートRT2を120[フレーム/秒]とし且つ、サイクリック記録動作PRA1による挟角動画像MV1のフレームレートRT1を30[フレーム/秒]とする。
また、上記データ処理によって原画像データから挟角動画像MV1又は広角動画像MV2が生成される際、挟角動画像MV1及び広角動画像MV2の画質を調整することができる。ここで、動画像の画質とは、動画像を構成する個々のフレーム画像の画質を指し、フレームレートを除く概念である。
記録動作PRA2による広角動画像MV2の画質がサイクリック記録動作PRA1による挟角動画像MV1の画質よりも高くなるよう、第1及び第2記録条件を設定しておいて良い(この設定を第2設定SET1_3と称する)。動画像MV1及びMV2の画像データは所定の画像圧縮処理により圧縮された状態で記録媒体8に記録される(ここにおける圧縮は不可逆的な圧縮を指す)。データ処理部11では、その圧縮における圧縮率を調整できて良く、圧縮率の調整を通じて動画像MV1及びMV2の画質が調整されても良い。また、任意の動画像の画質は、動画像を形成する各フレーム画像の画素数に依存し、画素数が多いほど、対応する動画像の画質は高まる。このため、各フレーム画像の画素数の調整により動画像の画質の調整を実現して良い。例えば画素の間引き処理により画素数を調整することができる。但し、挟角画像と広角画像とでは画角が異なるため、画角と画素数とに依存して画質の高低が定まる。挟角画像の画角に相当する第1画角と広角画像の画角に相当する第2画角との比が“ANG:ANG”ある場合、挟角動画像MV1を構成するフレーム画像FL1の画素数NUMと、広角動画像MV2を構成するフレーム画像FL2の画素数NUMとの間において、“NUM/NUM<ANG/ANG”であれば、広角動画像MV2の画質は挟角動画像MV1の画質よりも高い。
上述の第1設定SET1_3及び第2設定SET1_3の内、任意の何れか一方だけ実行しても良いし、双方を実行しても良い。
尚、基本モードにおける基本サイクリック動作(図8参照)でも広角動画像MV2が記録媒体8に記録されることになるが、基本サイクリック動作による広角動画像MV2のフレームレートRT2は、サイクリック記録動作PRA1による挟角動画像MV1のフレームレートRT1と同じか、それよりも小さく設定されて良い。同様に、基本サイクリック動作による広角動画像MV2の画質は、サイクリック記録動作PRA1による挟角動画像MV1の画質と同じか、それよりも小さく設定されて良い。
<<実施例EX2_1>>
実施例EX2_1を説明する。実施例EX2_1に係る記録制御部12は、挟角画像データ及び広角画像データを夫々に記録媒体8にサイクリック記録しつつ、イベント期間においては広角画像データを記録媒体8に保護記録する。以下、より詳細に説明する。
図14に示す如く、実施例EX2_1においては記録媒体8の全記録領域内に互いに異なる第1記録領域211及び第2記録領域212が設定(定義)される。この設定は記録制御部12により実現される。第1記録領域211は挟角画像データを格納するための記録領域であり、第2記録領域212は広角画像データを格納するための記録領域である。記録領域211、212の記録容量(大きさ)は、夫々、容量CB1、CB2である。
図15は、実施例EX2_1に係る特殊モードでの動作フローチャートである。主制御部10の動作モードが特殊モードに設定されるとステップS21に移行し、ステップS21において記録制御部12はサイクリック記録動作PRB1及びPRB2の実行を開始する。
サイクリック記録動作PRB1において、記録制御部12は、次々と生成される挟角画像データを非保護データとして第1記録領域211に記録してゆく。サイクリック記録動作PRB1において、容量CB1分の挟角画像データが第1記録領域211に記録されている状態で新たに挟角画像データが生成されると、第1記録領域211において最新の挟角画像データを過去の挟角画像データに上書き記録する。上書きの対象となる過去の挟角画像データは、第1記録領域211に非保護データとして記録されている全ての挟角画像データの内、最も古い時刻にて生成及び記録された挟角画像データである。
サイクリック記録動作PRB2において、記録制御部12は、次々と生成される広角画像データを非保護データとして第2記録領域212に記録してゆく。サイクリック記録動作PRB2において、容量CB2分の広角画像データが第2記録領域212に記録されている状態で新たに広角画像データが生成されると、第2記録領域212において最新の広角画像データを過去の広角画像データに上書き記録する。上書きの対象となる過去の広角画像データは、第2記録領域212に非保護データとして記録されている全ての広角画像データの内、最も古い時刻にて生成及び記録された広角画像データである。
このように、サイクリック記録動作PRB1(第1記録動作)では、撮影フレームレートで順次取得される原画像データに基づき挟角画像データを順次生成して、挟角画像データを上書きが許可される態様で記録媒体8の第1記録領域211に順次記録する。サイクリック記録動作PRB2(第2記録動作)では、撮影フレームレートで順次取得される原画像データに基づき広角画像データを順次生成して、広角画像データを上書きが許可される態様で記録媒体8の第2記録領域212に順次記録する。或る時間帯における原画像データに基づき第1記録領域211に記録される挟角画像データは、当該時間帯における第1画角の動画像を表す。同様に、或る時間帯における原画像データに基づき第2記録領域212に記録される広角画像データは、当該時間帯における第2画角の動画像を表す。
ステップS21にてサイクリック記録動作PRB1及びPRB2を開始した後、ステップS22に進む。特殊モードでは、サイクリック記録動作PRB1及びPRB2の実行と並行してイベント条件の成否が継続監視される。ここにおけるイベント条件は上述の任意のイベント条件(例えばGイベント条件、近接イベント条件、操作イベント条件)であって良い。イベント条件が成立していなければ(ステップS22のN)、サイクリック記録動作PRB1及びPRB2が継続実行される(ステップS23)。このため、非イベント期間では、サイクリック記録動作PRB1及びPRB2の継続実行により、非イベント期間中の原画像データに基づく挟角画像の画像データが非保護データとして第1記録領域211に記録されてゆくと共に、非イベント期間中の原画像データに基づく広角画像の画像データが非保護データとして第2記録領域212に記録されてゆく。イベント条件が成立すると(ステップS22のY)、ステップS24への移行が発生する。記録制御部12はステップS24にて保護記録動作PRB3を実行する。保護記録動作PRB3の完了後、ステップS22に戻る。
保護記録動作PRB3(第3記録動作)において、記録制御部12は、イベント条件の成立時刻を基準に上述の如く(図9参照)イベント期間を設定し、イベント期間中の原画像データに基づく広角画像データを保護データとして第2記録領域212に記録する。イベント期間中の原画像データに基づき第2記録領域212に記録される広角画像データは、当該イベント期間における第2画角の動画像を表す。
尚、非イベント期間だけでなく、イベント期間中においてもサイクリック記録動作PRB1を実行することは可能である。即ち、記録制御部12は、イベント条件が成立したとき、イベント期間中の原画像データに基づく広角画像データを保護データとして第2記録領域212に記録する処理と、イベント期間中の原画像データに基づく挟角画像データを第1記録領域211に非保護データとして記録する処理とを、夫々に実行するようにしても良い(この場合、特殊モードではイベント条件の成否に関係なく挟角画像データが第1記録領域211に非保護データとして常時記録されてゆくことになる)。但し、後者の処理を実行しないようにしても良い。この場合、イベント期間中の原画像データに基づく挟角画像データが第1記録領域211に記録されることは無い。
また、イベント期間では保護記録動作PRB3により広角画像データが第2記録領域212に記録されるため、イベント期間中ではサイクリック記録動作PRB2の動作を停止して良い(但し、イベント期間中にてサイクリック記録動作PRB2を実行させることも可能ではある)。
このように、実施例EX2_1では、撮影フレームレートで順次生成される原画像データに基づき、データ処理部11にて、挟角画像データ及び広角画像データを順次生成する。そして、記録制御部12は、順次生成される挟角画像データを非保護データとして記録媒体8(ここでは第1記録領域211)に順次記録してゆくサイクリック記録動作PRB1と、順次生成される広角画像データを非保護データとして記録媒体8(ここでは第2記録領域212)に順次記録してゆくサイクリック記録動作PRB2とを、夫々に行う。更に、記録制御部12は、イベント条件が成立したときには、イベント期間中の原画像データに基づく広角画像データを保護データとして記録媒体8(ここでは第2記録領域212)に記録する保護記録動作PRB3を行う。
つまり、通常は挟角画像データ及び広角画像データをサイクリック記録し、イベント発生時だけ広角画像データを保護記録する。記録領域211及び212の各記録容量を適切に設定しておけば、イベント発生時の広角画像データの保護記録を実現しつつ、記録媒体8への記録可能時間(第1画角での撮影結果の記録可能時間)の増大を図ることができる。
これを担保すべく、第1記録領域211の記録容量CB1を、第2記録領域212の記録容量CB2よりも大きく設定しておくと良い。例えば、“CB1:CB2=2:1”や、“CB1:CB2=3:1”とすることができる。但し、“CB1=CB2”又は“CB1<CB2”とする変形も可能ではある。
“CB1>CB2”としておくことにより、記録媒体8への記録可能時間(第1画角での撮影結果の記録可能時間)を長くすることができる。広角画像データが必要になる状況は多くないと想定されるので、第2記録領域212の記録容量CB2が比較的小さくても弊害は生じにくいと考えられる。
尚、実施例EX2_1の方法では、サイクリック記録動作PRB2により、或る程度の時間分の広角画像データが常に第2記録領域212に保持されることになる。このため、イベント発生時には、第2記録領域212に非保護データとして記録済みの広角画像データから、イベント期間前半の時間TPRE分の広角画像データを抽出して(図9参照)データ種類を保護データに置き換える、といったことが可能である(後述の実施例EX2_2及びEX2_3でも同様)。
<<実施例EX2_2>>
実施例EX2_2を説明する。実施例EX2_1では、第2記録領域212が、サイクリック記録動作PRB2による広角画像データを格納するための記録領域として、且つ、保護記録動作PRB3による広角画像データを格納するための記録領域として、兼用されている。このため、保護記録動作PRB3が行われるたびに、サイクリック記録動作PRB2用の記録容量が減少してゆく。
これを避けるべく、図16に示す如く、記録媒体8の全記録領域内に、上述の第1記録領域211及び第2記録領域212とは別に第3記録領域213を設定(定義)しておき(この設定は記録制御部12により実現される)、保護記録動作PRB3による広角画像データを第2記録領域212ではなく第3記録領域213に保存するようにしても良い。実施例EX2_2において、第1記録領域211はサイクリック記録動作PRB1による挟角画像データを格納するための記録領域となり、第2記録領域212はサイクリック記録動作PRB2による広角画像データを格納するための記録領域となり、第3記録領域213は保護記録動作PRB3による広角画像データを格納するための記録領域となる。記録領域211、212、213の記録容量は、夫々、容量CB1、CB2、CB3である。
実施例EX2_2では、図15のステップS24における保護記録動作PRB3において、イベント期間中の原画像データに基づく広角画像データが保護データとして第3記録領域213に記録される。
そして、第1記録領域211の記録容量CB1を、第2記録領域212の記録容量CB2と第3記録領域213の記録容量CB3との和よりも大きく設定しておくと良い。例えば、“CB1:(CB2+CB3)=2:1”や、“CB1:(CB2+CB3)=3:1”とすることができる。但し、“CB1=(CB2+CB3)”又は“CB1<(CB2+CB3)”とする変形も可能ではある。
“CB1>(CB2+CB3)”としておくことにより、記録媒体8への記録可能時間(第1画角での撮影結果の記録可能時間)を長くすることができる。広角画像データが必要になる状況は多くないと想定されるので、記録容量CB2及びCB3が比較的小さくても弊害は生じにくいと考えられる。
尚、非イベント期間だけでなく、イベント期間中においてもサイクリック記録動作PRB1を実行することは可能である。即ち、記録制御部12は、イベント条件が成立したとき、イベント期間中の原画像データに基づく広角画像データを保護データとして第3記録領域213に記録する処理と、イベント期間中の原画像データに基づく挟角画像データを第1記録領域211に非保護データとして記録する処理とを、夫々に実行するようにしても良い(この場合、特殊モードではイベント条件の成否に関係なく挟角画像データが第1記録領域211に非保護データとして常時記録されてゆくことになる)。但し、後者の処理を実行しないようにしても良い。この場合、イベント期間中の原画像データに基づく挟角画像データが第1記録領域211に記録されることは無い。
また、イベント期間では保護記録動作PRB3により広角画像データが第3記録領域213に記録されるため、イベント期間中ではサイクリック記録動作PRB2の動作を停止して良い(但し、イベント期間中にてサイクリック記録動作PRB2を実行させることも可能ではある)。
<<実施例EX2_3>>
実施例EX2_3を説明する。実施例EX2_3は上述の実施例EX2_1又はEX2_2と組み合わせて実施される。実施例EX2_1又はEX2_2において、記録制御部12は、サイクリック記録動作PRB1にて挟角画像データを第1記録条件にて記録媒体8に記録し、サイクリック記録動作PRB2にて広角画像データを第2記録条件にて記録媒体8に記録し、保護記録動作PRB3にて広角画像データを第3記録条件にて記録媒体8に記録して良い。この際、第3記録条件において第1記録条件においてよりも、フレームレート及び画質の内、少なくとも一方を高くしておくと良く、これに加えて又はこれに代えて、第3記録条件において第2記録条件においてよりも、フレームレート及び画質の内、少なくとも一方を高くしておくと良い。
これについて詳細に説明する。上記実施例EX1_3で述べたように、記録媒体8に記録された挟角画像データにより表される動画像を挟角動画像MV1と称し、記録媒体8に記録された広角画像データにより表される動画像を広角動画像MV2と称する。挟角動画像MV1及びMV2の構造は図13を参照して上述した通りである。但し、実施例EX2_3において、挟角動画像MV1は、サイクリック記録動作PRB1にて記録媒体8に記録された挟角画像データにより表される動画像を指し、広角動画像MV2は、サイクリック記録動作PRB2にて記録媒体8に記録された広角画像データにより表される動画像(以下、広角動画像MV2aと称する)、又は、保護記録動作PRB3にて記録媒体8に記録された広角画像データにより表される動画像(以下、広角動画像MV2bと称する)を指す。
保護記録動作PRB3による広角動画像MV2bのフレームレートRT2がサイクリック記録動作PRB1による挟角動画像MV1のフレームレートRT1よりも高くなるように、これに加えて又はこれに代えて、保護記録動作PRB3による広角動画像MV2bのフレームレートRT2がサイクリック記録動作PRB2による広角動画像MV2aのフレームレートRT2よりも高くなるように、第1〜第3記録条件を設定しておいてよい(この設定を第1設定SET2_3と称する)。フレームレートの調整はフレームの間引き等により実現される。
保護記録動作PRB3による広角動画像MV2bのフレームレートRT2は全方位カメラ2Cの撮影フレームレートと同じとされると良いが、撮影フレームレートより小さくすることも可能である。例えば、全方位カメラ2Cの撮影フレームレートが120[フレーム/秒]である場合、保護記録動作PRB3による広角動画像MV2bのフレームレートRT2を120[フレーム/秒]とし、サイクリック記録動作PRB1による挟角動画像MV1のフレームレートRT1及びサイクリック記録動作PRB2による広角動画像MV2aのフレームレートRT2を30[フレーム/秒]とする。サイクリック記録動作PRB1による挟角動画像MV1のフレームレートRT1とサイクリック記録動作PRB2による広角動画像MV2aのフレームレートRT2とを互いに異ならせることもできる。
また、上述したように、上記データ処理によって原画像データから挟角動画像MV1又は広角動画像MV2が生成される際、挟角動画像MV1及び広角動画像MV2の画質を調整することができる。ここで、動画像の画質とは、動画像を構成する個々のフレーム画像の画質を指し、フレームレートを除く概念である。
保護記録動作PRB3による広角動画像MV2bの画質がサイクリック記録動作PRB1による挟角動画像MV1の画質よりも高くなるように、これに加えて又はこれに代えて、保護記録動作PRB3による広角動画像MV2bの画質がサイクリック記録動作PRB2による広角動画像MV2aの画質よりも高くなるように、第1〜第3記録条件を設定しておいてよい(この設定を第2設定SET2_3と称する)。動画像の画質の調整方法は実施例EX1_3にて述べた通りである。
上述の第1設定SET2_3及び第2設定SET2_3の内、任意の何れか一方だけ実行しても良いし、双方を実行しても良い。
尚、基本モードにおける基本サイクリック動作(図8参照)でも広角動画像MV2が記録媒体8に記録されることになるが、基本サイクリック動作による広角動画像MV2のフレームレートRT2は、サイクリック記録動作PRB1による挟角動画像MV1のフレームレートRT1と同じか、それよりも小さく設定されて良い、或いは、サイクリック記録動作PRB2による広角動画像MV2aのフレームレートRT2と同じか、それよりも小さく設定されて良い。同様に、基本サイクリック動作による広角動画像MV2の画質は、サイクリック記録動作PRB1による挟角動画像MV1の画質と同じか、それよりも小さく設定されて良い、或いは、サイクリック記録動作PRB2による広角動画像MV2aの画質と同じか、それよりも小さく設定されて良い。
<<実施例EX3_1>>
実施例EX3_1を説明する。所定画角ANGALLによる撮影を実現するために1つの単位カメラとして全方位カメラ2Cを用いる方法を上述したが、カメラ部2に複数のカメラを設けておき、複数のカメラを用いて所定画角ANGALLによる撮影を実現しても良い。これについて説明を加える。
例えば、図17に示す如く、カメラ2F、2B、2R及び2Lを車両CRに設置しておく。カメラ2F、2B、2R及び2Lはカメラ部2を構成する4つの単位カメラである。水平方向において、カメラ2F、2B、2R及び2Lの夫々の撮影における画角は、360°よりも小さく、例えば90°以上且つ150°以下である。カメラ2F、2B、2R及び2Lの撮影領域(視野)は互いに異なり、カメラ2F、2B、2R、2Lの撮影領域(視野)は、夫々、車両CRの前方側の領域、後方側の領域、右側の領域、左側の領域を主として含む。そして、水平方向において、カメラ2F、2B、2R及び2Lの撮影領域(視野)の合成領域は、車両CRの周囲360°の領域を包含する。
このため、カメラ2F、2B、2R及び2Lの撮影結果は、全体として、車両CRの周囲の水平方向360°分の領域の画像情報を含み、故にカメラ2F、2B、2R及び2Lによって所定画角ANGALL分の撮影(ここでは360°分の撮影)が実現される。図17の構成を採用する場合、カメラ2Fの撮影によりカメラ2Fにて生成される画像データと、カメラ2Bの撮影によりカメラ2Bにて生成される画像データと、カメラ2Rの撮影によりカメラ2Rにて生成される画像データと、カメラ2Lの撮影によりカメラ2Lにて生成される画像データとで、上述の原画像データが構成されると考えれば良い。
そしてこの場合、カメラ2F、2B、2R及び2Lによる4つの撮影画像を合成することで得た合成画像(図7のパノラマ画像520に対応)を広角画像として生成することができる。上記4つの撮影画像を合成することなく、4つの撮影画像の画像データの組を広角画像の画像データとして記録媒体8に記録することも可能である。挟角画像についてはカメラ2Fの撮影画像から生成すれば良く、この場合、挟角画像はカメラ2Fの撮影画角分の画像情報のみを含む。カメラ2Fの撮影画像の画像データに対し所定のデータ処理(レンズ歪み補正や色補正等)を施したものを挟角画像の画像データとすることができる。
尚、ここでは、4台のカメラ2F、2B、2R及び2Lを用いる例を説明したが、カメラ部2に設けられるカメラの台数は1以上であれば任意である。2以上のカメラにてカメラ部2を構成した場合、2以上のカメラを用いて、所定画角ANGALL分の画像情報を含んだ原画像データを取得すれば良い。
<<実施例EX3_2>>
実施例EX3_2を説明する。
車両CRは、化石燃料又は電気エネルギに基づいて空間を移動可能な移動体の例である。本発明を任意の移動体に対して適用できる。本発明において、移動体は、飛行が可能な装置(飛行機、ドローン)であっても良いし、列車、リニアモータカー、ロボット等であっても良い。
ドライブレコーダ1は本発明に係るデータ記録装置を内包している。本発明に係るデータ記録装置を、ドライブレコーダ1に分類されない他の機器において構成するようにしても良い。
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
SYS データ記録システム
1 ドライブレコーダ
2 カメラ部
2C、2F、2B、2R、2L カメラ
3 マイク部
4 操作部
5 GPS処理部
6 車両センサ部
7 通信モジュール
8 記録媒体
10 主制御部
11 データ処理部
12 記録制御部
13 イベント検出部

Claims (8)

  1. 1以上のカメラが設置された移動体に搭載されるデータ記録装置であって、
    前記1以上のカメラからの所定画角分の画像情報を含む原画像データに基づき、第1画角分の画像である第1画像の画像データ、及び、前記所定画角以下であって且つ前記第1画角よりも大きな第2画角分の画像である第2画像の画像データを生成するデータ処理部と、
    前記第1画像の画像データ及び前記第2画像の画像データを所定の記録媒体に記録する記録制御部と、
    所定のイベント条件の成否を判断するイベント検出部と、を備え、
    前記記録制御部は、前記イベント条件が成立したとき、前記イベント条件の成立時刻を基準とするイベント期間を設定して前記イベント期間中の前記原画像データに基づく前記第2画像の画像データを前記記録媒体に記録し、前記イベント期間外の期間である非イベント期間においては前記非イベント期間中の前記原画像データに基づく前記第1画像の画像データを前記記録媒体に記録する
    ことを特徴とするデータ記録装置。
  2. 前記非イベント期間中の前記原画像データに基づく前記第2画像の画像データの前記記録媒体への記録は非実行とされる
    ことを特徴とする請求項1に記載のデータ記録装置。
  3. 前記記録制御部は、
    前記非イベント期間において、前記非イベント期間中の前記原画像データに基づき前記第1画像の画像データを上書きが許可される態様で前記記録媒体に記録し、
    前記イベント期間中の前記原画像データに基づく前記第2画像の画像データについては上書きが禁止される態様で前記記録媒体に記録する
    ことを特徴とする請求項2に記載のデータ記録装置。
  4. 前記記録媒体に、前記第1画像の画像データを格納するための第1記録領域と、前記第2画像の画像データを格納するための第2記録領域と、が設定され、
    前記第1記録領域の方が前記第2記録領域よりも大きい記録容量を有する
    ことを特徴とする請求項1〜3の何れかに記載のデータ記録装置。
  5. 1以上のカメラが設置された移動体に搭載されるデータ記録装置であって、
    前記1以上のカメラからの所定画角分の画像情報を含む原画像データに基づき、第1画角分の画像である第1画像の画像データ、及び、前記所定画角以下であって且つ前記第1画角よりも大きな第2画角分の画像である第2画像の画像データを生成するデータ処理部と、
    前記第1画像の画像データを上書きが許可される態様で所定の記録媒体に記録する第1記録動作、及び、前記第2画像の画像データを上書きが許可される態様で前記記録媒体に記録する第2記録動作を実行する記録制御部と、
    所定のイベント条件の成否を判断するイベント検出部と、を備え、
    前記記録制御部は、前記イベント条件が成立したとき、前記イベント条件の成立時刻を基準とするイベント期間を設定して前記イベント期間中の前記原画像データに基づく前記第2画像の画像データを上書きが禁止される態様で前記記録媒体に記録する第3記録動作を行う
    ことを特徴とするデータ記録装置。
  6. 前記記録媒体に、前記第1記録動作による前記第1画像の画像データを格納するための第1記録領域と、前記第2記録動作及び前記第3記録動作による前記第2画像の画像データを格納するための第2記録領域と、が設定され、
    前記第1記録領域の方が前記第2記録領域よりも大きい記録容量を有する
    ことを特徴とする請求項5に記載のデータ記録装置。
  7. 前記記録媒体に、前記第1記録動作による前記第1画像の画像データを格納するための第1記録領域と、前記第2記録動作による前記第2画像の画像データを格納するための第2記録領域と、前記第3記録動作による前記第2画像の画像データを格納するための第3記録領域と、が設定され、
    前記第1記録領域の方が前記第2記録領域及び前記第3記録領域の和よりも大きい記録容量を有する
    ことを特徴とする請求項5に記載のデータ記録装置。
  8. 前記移動体は車両であって、前記所定画角、前記第1画角及び前記第2画角の夫々は水平画角を表し、
    水平方向において、前記第1画角分の画像は前記車両の前方の像を含み、前記第2画角分の画像は前記車両の周辺の全方位の像を含む
    ことを特徴とする請求項1〜7の何れかに記載のデータ記録装置。
JP2020056318A 2020-03-26 2020-03-26 データ記録装置 Pending JP2021158501A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020056318A JP2021158501A (ja) 2020-03-26 2020-03-26 データ記録装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020056318A JP2021158501A (ja) 2020-03-26 2020-03-26 データ記録装置

Publications (1)

Publication Number Publication Date
JP2021158501A true JP2021158501A (ja) 2021-10-07

Family

ID=77918829

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020056318A Pending JP2021158501A (ja) 2020-03-26 2020-03-26 データ記録装置

Country Status (1)

Country Link
JP (1) JP2021158501A (ja)

Similar Documents

Publication Publication Date Title
JP5137981B2 (ja) 車載用監視カメラ
US7865280B2 (en) Imaging apparatus and drive recorder system
US20090051515A1 (en) Imaging Apparatus and Drive Recorder System
JP4872425B2 (ja) 撮像装置およびドライブレコーダシステム
WO2018207405A1 (ja) 記録制御装置、記録装置、記録制御方法及び記録制御プログラム
JP2008078793A (ja) デジタルカメラシステム
CN111301284B (zh) 车载装置、程序以及车辆
US11056518B2 (en) Imaging apparatus and imaging method
JP6627995B2 (ja) 記録装置、記録方法、およびプログラム
JP2006235732A (ja) ドライブレコーダ
JP6816768B2 (ja) 画像処理装置と画像処理方法
JP2010268343A (ja) 撮影装置および撮影方法
CN110741631A (zh) 车辆的图像提供系统、服务器系统及车辆的图像提供方法
JP6569698B2 (ja) 記録制御装置、記録装置、ナビゲーション装置、記録方法、及びプログラム
JP7275556B2 (ja) 情報処理システム、プログラム、及び情報処理方法
JP2021158501A (ja) データ記録装置
JP2018191207A (ja) 記録制御装置、記録装置、記録制御方法及び記録制御プログラム
JP7139584B2 (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
JP7254000B2 (ja) 画像配信装置及び方法並びに画像配信システム
KR101391909B1 (ko) 차량용 블랙박스의 영상데이터와 gis 연동 서비스 방법
JP2020150295A (ja) 車両防犯装置
JP7447455B2 (ja) 車両用記録制御装置および車両用記録制御方法
KR20140128831A (ko) 차량용 영상 처리 장치 및 이를 이용한 데이터 공유 방법
WO2020137398A1 (ja) 操作制御装置、撮像装置、操作制御方法
JPWO2020110382A1 (ja) 記録装置、記録方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130