JP2023055204A - Vehicle recording device - Google Patents
Vehicle recording device Download PDFInfo
- Publication number
- JP2023055204A JP2023055204A JP2022154047A JP2022154047A JP2023055204A JP 2023055204 A JP2023055204 A JP 2023055204A JP 2022154047 A JP2022154047 A JP 2022154047A JP 2022154047 A JP2022154047 A JP 2022154047A JP 2023055204 A JP2023055204 A JP 2023055204A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- camera
- partial
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本開示は、車外/車内の状況を示す画像データを保存する車両用記録装置に関する。 TECHNICAL FIELD The present disclosure relates to a vehicle recording device that stores image data representing conditions outside/inside a vehicle.
特許文献1には、カメラ映像をバッファメモリ等に連続的に記録するとともに、所定のインシデントが検出された時点の前後所定時間の映像データを外部メモリに保存する記録装置が開示されている。この種の記録装置は、イベント記録型のドライブレコーダとも称される。なお、イベント記録型以外の車外状況を記録する装置としては、カメラ映像を記憶媒体に記録し続ける連続記録型(常時記録型)のドライブレコーダもある。
イベント記録型のドライブレコーダでは、映像の視聴者が確認したい物事である関心対象が、部分的に/全体的に記録されない可能性がある。常時記録型のドライブレコーダによれば、関心対象が記録されない可能性を低減できるが、保存データのサイズが増大しうる。 In event-recording drive recorders, things of interest that the viewer of the video would like to see may be partially/totally not recorded. A constant recording type drive recorder can reduce the possibility that an object of interest is not recorded, but may increase the size of stored data.
本開示は、上記の検討に基づいて成されたものであり、その目的の1つは、カメラが撮影した画像データを定期的に保存する構成において、保存データサイズを抑制可能な車両用記録装置を提供することにある。 The present disclosure has been made based on the above studies, and one of its purposes is to provide a vehicle recording apparatus capable of suppressing the size of stored data in a configuration for periodically storing image data captured by a camera. is to provide
ここに開示される車両用記録装置は、車両に設置されているカメラから映像信号を取得する映像取得部(F1)と、映像取得部が取得した映像信号をもとに生成される画像フレームを所定のサンプリング間隔で順次取得する画像取得部(F41)と、画像取得部が取得した画像フレームから、切出領域として設定されている行範囲又は列範囲を部分画像(PI)として切り出す切出部(F42)と、画像フレームから部分画像を切り出す方向である切出方向とは直交する方向に、切出部が切出した複数の部分画像を時系列順に連結させる連結処理部(F43)と、連結処理部が生成する、複数の部分画像が連なった画像である連結画像(CI)を、連結画像を所定の記憶媒体(15)に保存する保存処理部(F44)と、を備える。 The vehicle recording device disclosed herein includes a video acquisition unit (F1) that acquires a video signal from a camera installed in a vehicle, and an image frame that is generated based on the video signal acquired by the video acquisition unit. An image acquisition unit (F41) that sequentially acquires at a predetermined sampling interval, and a clipping unit that clips a row range or a column range set as a clipping region from the image frame acquired by the image capturing unit as a partial image (PI). (F42); and a connection processing unit (F43) that connects the plurality of partial images cut out by the cutout unit in chronological order in a direction orthogonal to the cutout direction, which is the direction in which the partial images are cut out from the image frame; A storage processing unit (F44) for storing a connected image (CI), which is an image in which a plurality of partial images are connected and generated by the processing unit, in a predetermined storage medium (15).
上記構成によればサンプリング間隔で順次取得される画像フレームをそのままのサイズで保存するのではなく、切出領域に相当する一部分のみを抽出し、それらを時系列順に並べてなる連結画像として保存する。故に、データサイズを抑制することができる。 According to the above configuration, image frames sequentially acquired at sampling intervals are not stored in their original size, but only a portion corresponding to the clipped region is extracted and stored as a connected image arranged in chronological order. Therefore, the data size can be suppressed.
なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。 It should be noted that the symbols in parentheses described in the claims indicate the corresponding relationship with specific means described in the embodiments described later as one aspect, and limit the technical scope of the present disclosure. isn't it.
以下、本開示の実施形態について図を用いて説明する。 Embodiments of the present disclosure will be described below with reference to the drawings.
<前置き>
本開示に係るカメラ画像処理システムSysは車両に搭載された状態で使用される。以下の説明における自車両とは、カメラ画像処理システムSysが搭載されている車両を指す。以下の説明における前後、左右、上下の各方向は、自車両を基準として規定される。具体的に、前後方向は、自車両の長手方向に相当する。左右方向は、自車両の幅方向に相当する。上下方向は、車両高さ方向に相当する。別の観点によれば、上下方向は、前後方向及び左右方向に平行な平面に対して垂直な方向に相当する。本開示では車両高さ方向に垂直な平面を車両水平面RPとも称する。車両水平面RPが車両を基準として定まる水平面に相当する。
<Introduction>
The camera image processing system Sys according to the present disclosure is used while being mounted on a vehicle. The own vehicle in the following description refers to a vehicle equipped with the camera image processing system Sys. In the following description, directions of front and rear, left and right, and up and down are defined with reference to the own vehicle. Specifically, the longitudinal direction corresponds to the longitudinal direction of the vehicle. The left-right direction corresponds to the width direction of the host vehicle. The vertical direction corresponds to the vehicle height direction. From another point of view, the vertical direction corresponds to a direction perpendicular to a plane parallel to the front-rear direction and the left-right direction. In the present disclosure, the plane perpendicular to the vehicle height direction is also referred to as a vehicle horizontal plane RP. The vehicle horizontal plane RP corresponds to a horizontal plane determined with the vehicle as a reference.
本開示における「平行」とは完全な平行状態に限らない。数度から20度程度傾いていても良い。つまり概ね平行である状態(いわゆる略平行な状態)を含みうる。本開示における「垂直」という表現についても、完全に垂直な状態に限らず、数度から20度程度傾いている状態を含めることができる。 "Parallel" in the present disclosure is not limited to a perfect parallel state. It may be inclined from several degrees to about 20 degrees. That is, it can include a substantially parallel state (a so-called substantially parallel state). The expression “vertical” in the present disclosure is not limited to a completely vertical state, and can include a state of being tilted from several degrees to 20 degrees.
<全体構成の説明>
図1は、本開示に係るカメラ画像処理システムSysの概略的な構成の一例を示す図である。図1に示すように、カメラ画像処理システムSysは、カメラECU1、カメラ2、入力装置3、車載センサ4、及び車載ECU5を備える。なお、部材名称中のECUは、Electronic Control Unitの略であり、電子制御装置を意味する。
<Explanation of overall configuration>
FIG. 1 is a diagram showing an example of a schematic configuration of a camera image processing system Sys according to the present disclosure. As shown in FIG. 1, the camera image processing system Sys includes a
カメラECU1は、カメラ2、入力装置3、車載センサ4、及び車載ECU5のそれぞれと通信可能に接続されている。カメラECU1は、上記の種々の装置/センサと車両内に構築された通信ネットワークである車両内ネットワークを介して接続されている。なお、上記の種々の装置/センサの一部は、カメラECU1と専用線で個別に接続されていても良い。例えばカメラ2とカメラECU1とは専用の映像信号線で直接的に接続されていてもよい。
The camera ECU 1 is connected to each of the
カメラECU1は、カメラ2から入力される映像信号をもとに多様な処理を実行するECUである。カメラECU1は車両用記録装置としての機能を備える。つまり、カメラECU1は、カメラ2から入力される映像信号を構成する時間的に連続する画像フレームの中から、所定のサンプリングレートで抽出した画像フレームの特定領域を所定メモリに保存する処理を実行する。カメラ2の出力は映像に限らず静止画像であってもよい。映像信号との表現には、画像信号も含まれる。
The
カメラECU1は、より好適な構成として、カメラ2から入力される映像信号に基づいて、検出対象に設定されている物体を認識しうる。また、その他、カメラECU1は、カメラ2の撮影映像をそのまま/所定の加工を施した上でディスプレイに表示する処理を実行しうる。例えばカメラ画像を視点変換した鳥瞰画像や、認識結果を示すマーカー画像をカメラ画像に重畳させた画像などを生成して任意のディスプレイに表示しうる。カメラECU1の機能の詳細は別途後述する。
As a more preferable configuration, the camera ECU 1 can recognize an object set as a detection target based on a video signal input from the
当該カメラECU1は、コンピュータを用いて実現されている。すなわち、カメラECU1は、プロセッサ11、RAM(Random Access Memory)12、ストレージ13、I/O14、保存用メモリ15、及びこれらの構成を接続するバスラインなどを備えている。プロセッサ11は、RAM12と結合された演算処理のためのハードウェア(換言すれば演算コア)である。プロセッサ11は、例えばCPU(Central Processing Unit)である。プロセッサ11は、GPU(Graphics Processing Unit)を用いて実現されていても良い。プロセッサ11は、RAM12へのアクセスにより、後述する各機能部に対応する種々の処理を実行する。RAM12は揮発性の記憶媒体である。
The camera ECU 1 is implemented using a computer. That is, the camera ECU 1 includes a
ストレージ13は、フラッシュメモリ等の不揮発性の記憶媒体である。ストレージ13は、プロセッサ11やRAM12等とともにカメラECU1を構成する回路基板上に設けられた、いわゆる内部ストレージに相当する。ストレージ13には、画像認識処理に使用される辞書データ/識別モデル、合成画像を生成するための描画用データなどが保存されている。I/O14は、他装置と通信するための回路モジュールである。I/O14は、入出力回路に相当する。I/O14は、アナログ回路素子やICなどを用いて実現されている。
The
保存用メモリ15は、書き換え可能な不揮発性の記憶媒体である。保存用メモリ15は、例えばSDメモリーカード(いわゆるSDカード)などといった、着脱可能な記憶媒体である。保存用メモリ15は、カメラ映像をもとにする連結画像データの保存先に相当する。なお、保存用メモリ15は、ストレージ13と同様に、回路基板に組み込まれたメモリデバイスであってもよい。
The
カメラ2は、少なくともレンズと撮像素子とを備えており、自車両の周辺を示す画像を電子的に取得する。カメラ2は車外の所定範囲を撮像するように自車両の所定位置に、所定の姿勢で取り付けられている。本実施形態のカメラ2は一例として、自車両の前方を撮影するように車載カメラである。カメラ2は、図2に示すようにフロントガラスの車室内側の上端部に配置されている。このようなカメラ2は前方カメラと呼ばれうる。なお、前方カメラとしてのカメラ2は、フロントグリルやフロントバンパなどに配置されていても良い。
The
カメラ2の水平画角は60°から130°、垂直画角は45°から60°程度に設定されている。もちろん、カメラ2は魚眼レンズを用いてなる広角カメラであってもよい。また、カメラ2は水平画角が30°未満の狭角/望遠カメラであってもよい。カメラ2は、光軸が車両水平面RPと平行、又は、車両水平面RPよりも数度程度下向き/上向きとなる姿勢で取り付けられている。カメラ2は、10°程度下向き又は上向きとなる姿勢で取り付けられていても良い。本実施形態のカメラ2は、例えば10m以上前方の路面の撮像可能であって、かつ、前方の天空も撮像可能な姿勢で取り付けられている。当該取付姿勢によれば、カメラ2が撮像する画像フレームには、路面及び上空が含まれうる。
The horizontal angle of view of the
なお、図2に示すθuは、上下方向(垂直方向)においてカメラ2が撮像可能な範囲の上側境界Buが車両水平面RPに対してなす角度である上側限界角を示している。また、図2に示すθdは、上下方向においてカメラ2が撮像可能な範囲の下側境界Bdが車両水平面RPに対してなす角度である下側限界角を示している。上側限界角θuと下側限界角θdの和が垂直画角に相当する。また、上側境界Buと下側境界Bdとがなす内角の2等分線が光軸に相当する。カメラ2は上空を撮像可能なように、上側限界角θuが10°以上に設計されている。また、カメラ2は路面を撮像可能なように、下側限界角θdが20°以上に設計されている。このようなカメラ2の取付姿勢は車両水平面から10°以上、上向きとなる方向を撮像範囲に含む姿勢に相当する。また、上記取付姿勢は、車両水平面から20°以上、下向きとなる方向を撮像範囲に含む姿勢に相当する。
θu shown in FIG. 2 indicates an upper limit angle, which is the angle formed by the upper boundary Bu of the range that can be captured by the
カメラ2は撮影画像に基づく映像信号をカメラECU1に出力する。カメラ2のフレームレートは例えば30fps(frames per second)に設定されている。もちろん、カメラ2のフレームレートは60fpsなどであってもよい。カメラ2のフレームレートはカメラECU1からの指示信号に基づいて動的に変更可能に構成されていても良い。カメラ2が出力する映像信号は、時間的に連続する画像フレームの集合に相当する。画像フレームのサイズは例えば1920×1080ピクセルである。もちろん、画像フレームのサイズは、2880×1860ピクセルなどであってもよい。
The
入力装置3は、カメラECU1に対するユーザの指示を受け付けるデバイスである。入力装置3は、カメラECU1に、記録の開始/停止などを指示するためのスイッチである。入力装置3は、例えばステアリングスイッチの1つとして、自車両のステアリングホイールに設けられている。入力装置3はユーザによって行われた操作の内容を示す操作信号をカメラECU1に出力する。なお、入力装置3は、インストゥルメントパネルに設けられたハードウェアスイッチであっても良いし、ディスプレイ上に積層されたタッチパネルであってもよい。ここでのユーザは、運転席の乗員(つまりドライバ)であってもよいし、助手席の乗員であってもよい。
The
車載センサ4は、自車両の走行制御に関わる状態量を検出するセンサである。車載センサ4には、車速センサ、操舵角センサ、加速度センサ、ヨーレートセンサなどが含まれる。車速センサは、自車両の走行速度を検出するセンサである。操舵角センサは、ハンドルの回転角(いわゆる操舵角)を検出するセンサである。加速度センサは、自車両に作用する車両前後方向、横方向、及び、上下方向の少なくとも何れか1方向の加速度を検出するセンサである。ここでは加速度センサとして3軸加速度センサが採用されているものとする。加速度センサの検出値は、水平面に対する車両姿勢を判断するための材料として使用することができる。ヨーレートセンサは、自車両に作用するヨーレートを検出するセンサである。なお、カメラ画像処理システムSysが車載センサ4として使用するセンサの種類は適宜設計されればよく、上述した全てのセンサを備えている必要はない。また、方位センサやレインセンサ、照度センサ、GNSS(Global Navigation Satellite System)受信機、衝突検知センサなども車載センサ4に含めることができる。各センサは、検出対象とする物理状態量の現在の値(つまり検出結果)を示すデータをカメラECU1に出力する。
The in-
なお、方位センサは、自車両の進行方向に対応する方位角を検出するセンサである。方位センサとしては地磁気センサを採用可能である。レインセンサは、降雨を検出するセンサである。照度センサは、車外の明るさ(照度)を検出するセンサである。GNSS受信機は、GNSSを構成する測位衛星から送信される航法信号を受信することで、当該GNSS受信機の位置座標を逐次(例えば100ミリ秒毎に)検出するデバイスである。GNSSとしては、GPS(Global Positioning System)、GLONASS、Galileo、IRNSS、QZSS、Beidou等を採用可能である。 The azimuth sensor is a sensor that detects an azimuth angle corresponding to the traveling direction of the vehicle. A geomagnetic sensor can be employed as the direction sensor. A rain sensor is a sensor that detects rainfall. The illuminance sensor is a sensor that detects the brightness (illuminance) outside the vehicle. The GNSS receiver is a device that sequentially detects the position coordinates of the GNSS receiver (for example, every 100 milliseconds) by receiving navigation signals transmitted from positioning satellites that constitute the GNSS. As GNSS, GPS (Global Positioning System), GLONASS, Galileo, IRNSS, QZSS, Beidou, etc. can be adopted.
車載ECU5は、カメラECU1以外のECUである。車載ECU5とは、例えば通信ECUや運転支援ECUなどである。通信ECUは、車両と外部との無線通信を制御するECUである。通信ECUは、例えば4Gや5Gといったセルラー通信を実施するための通信モジュールや、Wi-Fi(登録商標)通信を実施するための通信モジュールを備えうる。通信ECUは、保存用メモリ15に保存されているデータをカメラECU1から取得し、所定のサーバやユーザ端末に転送する処理を実施しうる。通信ECUによる保存データの転送は、ユーザ操作に基づいて実行されても良いし、所定の転送条件が充足したことに基づき自動的に実行されても良い。転送条件は、例えば走行用電源のオフや、保存用メモリ15の空き容量が所定値以下となったこと、衝突等の検知などとすることができる。
In-vehicle ECU5 is ECU other than camera ECU1. The in-
運転支援ECUはドライバの運転操作を支援する処理を実行するECUである。運転ECUは、ドライバから制御実行が指示されたことに基づいて、加減速や操舵にかかる走行制御の一部又は全部をドライバに代わって自動的に実行しうる。なお、運転支援ECUは自動運転を実行する、いわゆる自動運行装置としての機能を備えていても良い。運転支援ECUは、カメラECU1における周辺物体の認識結果に基づいて、他の移動体や静止物との衝突にかかる報知をドライバに対して実施しうる。他の移動体とは、歩行者や他車両、サイクリストなどを指す。例えば交差点右左折時や出庫時、駐車時などの低速走行時において、接触の可能性がある歩行者等の存在を、スピーカからの音出力やディスプレイへの画像表示によりドライバに通知する。運転支援ECUは、駐車のための走行制御を支援/自動実行する駐車支援ECUとしての機能を備えていても良い。
The driving assistance ECU is an ECU that executes processing for assisting the driving operation of the driver. The driving ECU can automatically execute part or all of driving control related to acceleration/deceleration and steering on behalf of the driver based on the driver's instruction to execute the control. Note that the driving support ECU may have a function as a so-called automatic operation device that executes automatic driving. The driving support ECU can notify the driver of a collision with another moving object or stationary object based on the recognition result of the surrounding object by the
<カメラECUの機能について>
カメラECU1は、図3に示す種々の機能部を備える。すなわち、映像取得部F1、操作受付部F2、車両状態取得部F3、及びデータ処理部F4を備える。これら機能部の一部又は全部は、プロセッサ11がストレージ13に保存されているプログラムを実行することによって発現されうる。もちろんこれら機能部の一部は、IC(Integrated Circuit)などのハードウェアを用いて実現されていても良い。
<Functions of camera ECU>
The
映像取得部F1は、カメラ2から映像信号を取得する。映像取得部F1は、カメラ2から入力された映像信号を、所定のデータ形式のデジタル画像データに変換した上で、データ処理部F4に出力する。操作受付部F2は、入力装置3からの入力信号に基づいて、画像の記録の開始及び停止等にかかるユーザ操作を受け付ける。操作受付部F2は、入力装置3からの信号に基づいて、保存用メモリ15に保存されているデータを所定のデバイスに転送するための指示操作を受付可能に構成されていても良い。
The video acquisition unit F1 acquires video signals from the
車両状態取得部F3は、車載センサ4から、車速や、操舵角、ヨーレートなど車両の挙動や状態を示す情報である車両情報を取得する。車両情報には方向指示器の作動状態や、ワイパーの作動状態、シフトポジションなども含まれる。車両状態取得部F3はより好ましい態様として、車載センサ4からの入力及び画像認識結果をもとに、右左折や停止、発進、駐車などの走行シーンの変化点(移り変わり)を検出してもよい。走行シーンの変化点は、部分画像PIの連結対象とするデータセットを新規作成するトリガとして採用可能である。
The vehicle state acquisition unit F3 acquires vehicle information, which is information indicating the behavior and state of the vehicle, such as vehicle speed, steering angle, and yaw rate, from the in-
データ処理部F4は、映像取得部F1から入力されるカメラ画像を用いた種々の処理を施すモジュールである。データ処理部F4は、サブ機能部として、ベース画像取得部F41、関心領域切出部F42、連結処理部F43、保存処理部F44、及び認識処理部F45を備える。データ処理部F4として機能するプロセッサ11/回路モジュールが、車両用記録装置に相当する。
The data processing unit F4 is a module that performs various processes using the camera image input from the video acquisition unit F1. The data processing unit F4 includes, as sub-function units, a base image acquisition unit F41, a region-of-interest extraction unit F42, a connection processing unit F43, a storage processing unit F44, and a recognition processing unit F45. The
ベース画像取得部F41は、ベース画像データとして、映像取得部F1が取得した映像データから所定のサンプリング間隔で画像フレームを抽出する。ベース画像とは、関心領域切出部F42等で使用される画像であって、後述する部分画像PIや連結画像CIの元となるデータを指す。ベース画像は、記録用の画像、あるいは、連結画像/部分画像生成用の画像と解することができる。映像データから画像フレームをサンプリング間隔で抽出する処理は、1つの側面において、ダウンサンプリングあるいは間引き処理と解することができる。 The base image acquisition unit F41 extracts image frames at predetermined sampling intervals from the video data acquired by the video acquisition unit F1 as base image data. A base image is an image used in the region-of-interest clipping unit F42 and the like, and refers to data that is the source of a partial image PI and a connected image CI, which will be described later. A base image can be understood as an image for recording or an image for generating a connected image/partial image. In one aspect, the process of extracting image frames from video data at sampling intervals can be understood as downsampling or thinning.
サンプリング間隔は、例えば1秒や2秒、10秒など、所定の関心対象の状態を確認する上で必要十分な長さに設定されている。もちろん、関心対象の種別/特性に応じてサンプリング間隔は100ミリ秒や、250ミリ秒、500秒など、1秒よりも小さい値に設定されうる。サンプリング間隔は、カメラ2の撮像周期のM倍に設定されうる。Mは、ダウンサンプリングレートに対応するパラメータである。Mは2以上の整数であって、例えば5や10、25に設定されている。撮影周期は、撮影を行う間隔であって、フレームレートの逆数に相当する。30fpsに対応する撮影周期は約33ミリ秒である。
The sampling interval is set to a necessary and sufficient length, such as 1 second, 2 seconds, or 10 seconds, for confirming the state of a predetermined target of interest. Of course, depending on the type/characteristics of interest, the sampling interval can be set to 100 ms, 250 ms, 500 seconds, or less than 1 second. The sampling interval can be set to M times the imaging cycle of the
関心対象としては、例えば上空の状態(つまり天候状態)や、路面状態などが挙げられる。天候は1秒のような短い時間では急変しない。そのため、仮に天候状態が関心対象である場合のサンプリング間隔は2秒や4秒、10秒などに設定されうる。換言すればダウンサンプリングレートMは100や200、500などに設定される。 The objects of interest include, for example, sky conditions (that is, weather conditions) and road surface conditions. The weather does not change suddenly in a short time such as one second. Therefore, if weather conditions are of interest, the sampling interval may be set to 2 seconds, 4 seconds, 10 seconds, and so on. In other words, the downsampling rate M is set to 100, 200, 500, and so on.
また、関心対象が路面状態、より具体的には、積雪や水たまり、覆砂の有無といった天候に由来する要素である場合、サンプリング間隔は1秒や2秒などに設定されうる。さらに関心対象が先行車両の有無、又は、先行車両との車間距離である場合には、サンプリング間隔は500ミリ秒や1秒、2秒などに設定されうる。 In addition, when the target of interest is the road surface condition, more specifically, an element derived from the weather such as snow cover, puddles, and presence or absence of sand cover, the sampling interval can be set to 1 second, 2 seconds, or the like. Furthermore, if the object of interest is the presence or absence of a preceding vehicle or the inter-vehicle distance to the preceding vehicle, the sampling interval can be set to 500 milliseconds, 1 second, 2 seconds, or the like.
関心対象が区画線の認識状態である場合には、サンプリング間隔は200ミリ秒や400ミリ秒、1秒などに設定されうる。関心対象が先行車両や歩行者などといった、自車両から所定距離以内に存在する物体に対する認識状態である場合も同様に、200ミリ秒や400ミリ秒、1秒などに設定される。サンプリング間隔は、自車両の走行速度に応じて動的に調整されても良い。サンプリング間隔は走行速度が大きいほど短く設定されても良い。 If the object of interest is the recognition state of the lane markings, the sampling interval can be set to 200 milliseconds, 400 milliseconds, 1 second, or the like. Similarly, when the object of interest is the recognition state of an object that exists within a predetermined distance from the own vehicle, such as a preceding vehicle or a pedestrian, the time is set to 200 milliseconds, 400 milliseconds, 1 second, or the like. The sampling interval may be dynamically adjusted according to the running speed of the host vehicle. The sampling interval may be set shorter as the travel speed increases.
関心領域切出部F42は、ベース画像取得部F41が取得した記録用の画像フレームにおいて、切出領域CRとして予め設定された領域を部分画像PIとして切り出す。部分画像PIの切り出し方として図4に示すように縦方向と横方向の何れか一方を選択的に採用可能である。図4の(A)は横方向に部分画像PIを切り出す態様を示しており、(B)は縦方向に部分画像PIを切り出す態様を示している。図4に示す矢印は切出方向を示しており、破線は実際に切り出される領域を概念的に示している。部分領域は、横方向及び縦方向の何れか一方の長さが元フレームと同じとなるように抽出される。 The region-of-interest clipping unit F42 clips a region preset as a clipping region CR as a partial image PI in the image frame for recording acquired by the base image acquiring unit F41. Either the vertical direction or the horizontal direction can be selectively adopted as a method of cutting out the partial image PI as shown in FIG. (A) of FIG. 4 shows a mode in which the partial image PI is cut out in the horizontal direction, and (B) in FIG. 4 shows a mode in which the partial image PI is cut out in the vertical direction. The arrows shown in FIG. 4 indicate the extraction direction, and the dashed lines conceptually indicate the regions that are actually extracted. A partial area is extracted so that the length in either the horizontal direction or the vertical direction is the same as that of the original frame.
切出方向は、関心対象が写りこむ範囲を鑑みて選択されている。切出方向は基本的には横向きである。ただし、切出方向は目的/関心対象に応じて縦向きとなりうる。切出方向及び切出領域は、記録設定画面を介して操作者によって指定されうる。記録設定画面は、記録に係る諸元を変更するための画面であって、入力装置3からの信号に基づき、車載ディスプレイ等に表示される。1つの記録処理において切出方向は一定である。
The cropping direction is selected in consideration of the range in which the object of interest is captured. The cutting direction is basically horizontal. However, the extraction direction can be vertical depending on the purpose/object of interest. The cutout direction and cutout area can be specified by the operator via the recording setting screen. The record setting screen is a screen for changing the specifications related to recording, and is displayed on the in-vehicle display or the like based on the signal from the
なお、画像フレームから部分画像PIを横方向に切り出すことは、行単位で画像を切り出すことに相当する。画像フレームにおける1行とは、横方向に1列に並ぶ画素群に相当する。なお、行単位で切り出すことには、複数行まとめて切り出すことも含まれる。部分画像PIを横方向に切り出す場合の部分画像PIの横方向長は、元画像の横方向長と一致する。部分画像PIを横方向に切り出す場合の部分画像PIの縦方向の長さは一定とすることができる。部分画像PIを横方向に切り出す場合、以降における切出幅Wcとは部分画像PI/切出領域CRの縦方向の長さを指す。 Cutting out the partial image PI from the image frame in the horizontal direction corresponds to cutting out the image on a line-by-line basis. One row in the image frame corresponds to a group of pixels arranged in one column in the horizontal direction. It should be noted that cutting out in units of lines also includes cutting out a plurality of lines at once. The horizontal length of the partial image PI when the partial image PI is cut out in the horizontal direction matches the horizontal length of the original image. When the partial image PI is cut out in the horizontal direction, the vertical length of the partial image PI can be made constant. When the partial image PI is cut out in the horizontal direction, the cutout width Wc hereinafter refers to the length of the partial image PI/cutout region CR in the vertical direction.
切出方向を横方向とする場合、切出領域CRは、切り出し対象とする行範囲で表現される。つまり、切出領域CRは、切出開始位置を示す行番号と、切出終了位置を示す行番号とで定義されうる。例えば切出し幅は150ピクセル(px)や200px、400pxなど、関心対象を記録可能な所望の大きさに設定される。部分画像PIを横方向に切り出す場合の切出幅Wcは、縦方向における画像フレームの長さであるフレーム長を基準として定義されていても良い。例えば、切出幅Wcは縦長の5%や、10%、15%などに設定されうる。また、他の態様として、切出幅Wcは走行シーンや所定物の認識状態に応じて動的に調整されても良い。切出幅Wcはピクセル数で表現されうる。 When the cutout direction is set to the horizontal direction, the cutout region CR is represented by the line range to be cutout. That is, the cutout region CR can be defined by a line number indicating the cutout start position and a line number indicating the cutout end position. For example, the cutout width is set to a desired size that can record the object of interest, such as 150 pixels (px), 200px, or 400px. The cutout width Wc when cutting out the partial image PI in the horizontal direction may be defined based on the frame length, which is the length of the image frame in the vertical direction. For example, the cutout width Wc can be set to 5%, 10%, 15%, or the like of the vertical length. As another aspect, the cut-out width Wc may be dynamically adjusted according to the driving scene and the recognition state of the predetermined object. The cutout width Wc can be expressed in pixels.
また、元となる画像フレームから部分画像PIを縦方向に切り出すことは、列単位で画像を切り出すことに相当する。画像フレームにおける1列とは、縦方向に1列に並ぶ画素群に相当する。なお、列単位で切り出すことには、複数列まとめて切り出すことも含まれる。部分画像PIを縦方向に切り出す場合の切出幅Wcとは、部分画像PIの横方向の長さに対応する。部分画像PIを縦方向に切り出す場合の部分画像PIの縦方向長は、元画像の縦方向長と一致する。部分画像PIを縦方向に切り出す場合、以降における切出幅Wcとは部分画像PI/切出領域CRの横方向の長さを指す。 Cutting out the partial image PI from the original image frame in the vertical direction corresponds to cutting out the image in units of columns. One column in the image frame corresponds to a group of pixels arranged in one column in the vertical direction. It should be noted that cutting out on a column-by-column basis also includes cutting out a plurality of columns at once. The cutout width Wc when the partial image PI is cut out in the vertical direction corresponds to the length of the partial image PI in the horizontal direction. The vertical length of the partial image PI when the partial image PI is cut out in the vertical direction matches the vertical length of the original image. When the partial image PI is cut out in the vertical direction, the cutout width Wc hereinafter refers to the length of the partial image PI/cutout region CR in the horizontal direction.
部分画像PIを縦方向に切り出す場合の切出幅Wcもまた、一定とすることができる。切出方向を縦方向とする場合、切出領域CRは、切り出し対象とする列範囲で表現される。つまり、切出領域CRは、切出開始位置を示す列番号と、切出終了位置を示す列番号とで定義されうる。他の態様として、横方向の長さは動的に調整されても良い。部分画像PIを縦方向に切り出す場合の切出幅Wcは、横方向における画像フレームの長さであるフレーム幅を基準として動的に決定されても良い。例えば、切出幅Wcはフレーム幅の5%や、10%、15%などに設定されうる。 The cutout width Wc for cutting out the partial image PI in the vertical direction can also be made constant. When the cutout direction is the vertical direction, the cutout region CR is represented by the column range to be cutout. That is, the cutout region CR can be defined by a column number indicating the cutout start position and a column number indicating the cutout end position. Alternatively, the lateral length may be dynamically adjusted. The cutout width Wc for cutting out the partial image PI in the vertical direction may be dynamically determined based on the frame width, which is the length of the image frame in the horizontal direction. For example, the cutout width Wc can be set to 5%, 10%, 15%, etc. of the frame width.
切出領域CRは、関心対象が写ることが期待される範囲を包含するように設定される。例えば関心対象が空模様である場合には、切出領域CRは画像フレームの中心よりも上側に設定される。また、関心対象が路面状態である場合には、切出領域CRは画像フレームの中心よりも下側に設定される。切出領域CRは、カメラ2の取り付け姿勢に応じて変更されうる。切出領域CRは、記録データを確認する人物である確認者が関心を持っている画像領域に対応するため、関心領域あるいは注目領域と呼ぶことができる。切出幅Wcは、一定の時間で記録される総データ量が、保存用メモリ15の容量を超えないように設定されうる。
The cropped region CR is set so as to encompass the range in which the object of interest is expected to appear. For example, if the target of interest is a sky pattern, the cutout region CR is set above the center of the image frame. Also, when the target of interest is the road surface condition, the cutout region CR is set below the center of the image frame. The cropped region CR can be changed according to the mounting orientation of the
連結処理部F43は関心領域切出部F42が切り出した部分画像PIを、切出方向に直交する方向に結合することで連結画像CIを生成する。本開示では切出方向に直交する方向のことを連結方向とも記載する。例えば図5に示すように、切出方向が横である場合には、切り出された部分画像PIを時系列順に縦方向に連結させていく。連結方向における連結画像CIの長さである連結長Lcは、新たな部分画像PIが切り出されるたびに更新されていく。 The connection processing unit F43 generates a connection image CI by connecting the partial images PI cut out by the region of interest cutout unit F42 in a direction orthogonal to the cutout direction. In the present disclosure, the direction orthogonal to the cutting direction is also referred to as the connecting direction. For example, as shown in FIG. 5, when the cropping direction is horizontal, the cropped partial images PI are vertically connected in chronological order. The connection length Lc, which is the length of the connection image CI in the connection direction, is updated each time a new partial image PI is cut out.
連結処理部F43は、連結画像CIを構成する部分画像PIの数である連結数が所定値以上となったことに基づいて、次に提供された部分画像PIを先頭とする新たな連結画像CIを作成する。連結処理部F43は、連結長Lcが所定値以上となったことに基づいて、新たな連結画像CIを作成してもよい。新たな連結画像CIを生成することは、以降に抽出される部分画像PIを別ファイル(データセット)として保存することに相当する。連結画像CIを構成する各部分画像PIの隅部には、図6に示すように撮影時刻を示すタイムスタンプが付与されていても良い。部分画像PI内におけるタイムスタンプの付与位置は記録設定画面を介して操作者が指定可能に構成されていても良い。そのような構成によれば、タイムスタンプが関心対象に重なる恐れを低減できる。なお、部分画像PIごとの撮影時刻情報はメタデータとして画像本体に付与されていても良い。 When the number of connections, which is the number of partial images PI forming the connected image CI, reaches or exceeds a predetermined value, the connection processing unit F43 creates a new connected image CI starting with the next provided partial image PI. to create The connection processing unit F43 may create a new connection image CI based on the fact that the connection length Lc has become equal to or greater than a predetermined value. Generating a new connected image CI corresponds to saving the partial images PI extracted thereafter as a separate file (data set). A corner of each partial image PI forming the combined image CI may be provided with a time stamp indicating the shooting time as shown in FIG. The position to which the time stamp is assigned in the partial image PI may be configured so that the operator can specify it via the recording setting screen. Such a configuration can reduce the risk of timestamps overlapping objects of interest. Note that the shooting time information for each partial image PI may be attached to the image itself as metadata.
保存処理部F44は、連結処理部F43が生成した連結画像CIを定期的に/所定のタイミングで保存用メモリ15に保存する処理を実行する。例えば連結処理部F43は、連結数又は連結長Lcが所定値以上となったタイミングで当該連結画像CIを保存用メモリ15に保存する。また、保存処理部F44は走行用電源がオフになったことに基づいて、トリップ中に生成された連結画像CIを保存用メモリ15に保存しても良い。ここでの走行用電源とは、駆動源を動かすための電源/駆動源の動作に伴ってオン状態になる電源を指す。例えば自車両がエンジン車である場合にはイグニッション電源が走行用電源に相当し、自車両が電動車である場合にはシステムメインリレーが走行用電源に相当する。電動車の概念には、電気自動車や麺量電池車のほか、ハイブリッド車やプラグインハイブリッド車などといった、モータとエンジンの両方を駆動源として備える車両も含まれる。トリップとは、走行用電源がオンになってからオフになるまでの一連の走行を指す。
The storage processing unit F44 executes processing for storing the connected image CI generated by the connection processing unit F43 in the
なお、本実施形態では一例としてカメラECU1が連結画像CIの保存先としての保存用メモリ15を備えるが、これに限らない。保存用メモリ15は別のECUが備えていても良い。また保存用メモリ15はサーバが備えていても良い。つまり、連結画像CIの保存先は車両外部に設けられたサーバ/データベースであってもよい。その場合、保存処理部F44は、通信ECUなどとの連携により、連結画像CIを外部サーバに送信し、所定のデータベースに保存するための処理を実行する。
In this embodiment, as an example, the
認識処理部F45は、カメラ2から入力される画像を解析することによって所定の検出対象物の位置及びその種別等を検出する構成である。認識処理部F45は、例えば画像の特徴量ベクトルに基づき、物体の種別を識別する識別器としての機能を備える。認識処理部F45は、例えばディープラーニングを適用したCNN(Convolutional Neural Network)やDNN(Deep Neural Network)技術などを用いて物体の識別を行う。検出対象物としては、歩行者や他車両などの他、路面表示や、道路端などが含まれる。路面標示とは、車線区画線や一時停止線、交差点での進行方向を示す矢印線などである。また、検出対象物には、方面看板などの交通標識や、信号機などといった道路に付帯する構造物が含まれていても良い。認識処理部F45は、先行車を認識している場合、先行車との車間距離も特定しうる。なお、先行車の認識及び車間距離推定には、ミリ波レーダ、LiDAR、又はソナーの検出結果を用いられてもよい。ここでの先行車とは、自車両が走行しているレーン上において、自車両の前方を走行している他車両のうち、自車両から最も近い車両を指す。認識処理部F45の認識結果は、例えば運転支援ECUなどに出力される。
The recognition processing unit F45 is configured to detect the position and type of a predetermined detection target by analyzing the image input from the
図7は、データ処理部F4における連結画像の生成における作動をまとめたものであってステップS11~S15を含みうる。ステップS11は、ベース画像取得部F41が映像信号をもとに生成される画像フレームを、連結画像生成用の画像データとして所定のサンプリング間隔で順次取得するステップである。ステップS12は関心領域切出部F42が、ステップS11で取得された画像フレームから部分画像PIを切り出すステップである。ステップS13は連結処理部F43が、部分画像PIをつなぎ合わせる処理を実行するステップである。 FIG. 7 summarizes the operation of generating a connected image in the data processing unit F4, and can include steps S11 to S15. Step S11 is a step in which the base image acquisition unit F41 sequentially acquires image frames generated based on video signals as image data for generating a connected image at predetermined sampling intervals. Step S12 is a step in which the region-of-interest clipping unit F42 clips a partial image PI from the image frame acquired in step S11. Step S13 is a step in which the connection processing unit F43 executes processing for connecting the partial images PI.
ステップS14は、連結画像CIを保存する条件である保存実行条件が充足されたか否かを判定するステップである。連結画像CIの保存実行条件としては、連結数/連結長Lcが所定値以上となったこと、走行用電源がオフになったことのほか、記録を終了する旨の指示操作が行われたことを検出したことなどを採用可能である。ステップS15は保存処理部F44が、保存実行条件が充足した場合に、その時点で生成されている連結画像CIを保存用メモリ15に保存するステップである。
Step S14 is a step of determining whether or not a saving execution condition, which is a condition for saving the connected image CI, is satisfied. The condition for executing saving of the connected image CI is that the number of connections/connection length Lc is equal to or greater than a predetermined value, that the power source for running is turned off, and that an instruction operation to end recording is performed. can be adopted. Step S15 is a step in which the saving processing unit F44 saves the connected image CI generated at that time in the saving
<具体例(1)>
ここでは天候状況(空模様)の時間変化を確認することを目的とする場合の記録設定例及びデータ処理部F4の動作について図8及び図9を用いて説明する。図8は、所定のサンプリング間隔で抽出された、撮影時刻が異なる画像フレームを示しており、図9はこれらをもとに生成される連結画像CIの一例を示している。図9は、図の視認性のため、本来のサイズよりも拡大して示している。前述の通り、天候状況は数秒単位では変化しないため、サンプリング間隔は10秒に設定することができる。図8等に示す「t」は記録を開始してからの経過時間を示しており、単位は秒である。
<Specific example (1)>
Here, an example of recording settings and the operation of the data processing unit F4 for the purpose of confirming temporal changes in weather conditions (sky conditions) will be described with reference to FIGS. 8 and 9. FIG. FIG. 8 shows image frames with different photographing times extracted at predetermined sampling intervals, and FIG. 9 shows an example of a connected image CI generated based on these. FIG. 9 is shown enlarged from the original size for the sake of visibility of the figure. As mentioned above, weather conditions do not change by seconds, so the sampling interval can be set to 10 seconds. "t" shown in FIG. 8, etc., indicates the elapsed time from the start of recording, and the unit is seconds.
図8において各画像フレームに重畳して示す破線は切出領域CRを示すものであって、実際の画像フレームには含まれない。切出領域CRは、天候状況を抽出可能なように上端付近に設定される。切出幅Wcは例えば180pxに設定されうる。なお、図8では切出領域CRを画像フレームの上端から所定量下側に設定した場合を示すが、もちろん切出領域CRは画像フレームの上端に沿うように設定されていても良い。 The dashed lines superimposed on each image frame in FIG. 8 indicate the cutout region CR, which is not included in the actual image frame. The cropped region CR is set near the upper end so that weather conditions can be extracted. The cutout width Wc can be set to 180px, for example. Although FIG. 8 shows the case where the cutout region CR is set downward from the upper end of the image frame by a predetermined amount, the cutout region CR may of course be set along the upper end of the image frame.
このような実施例によれば図9に示すように連結画像CIとして複数時点での天候状況を示す画像データが得られる。当該連結画像CIによれば、別途検出される重要なイベントの発生前後における天候状態の推移を、一目で把握可能となる。なお、重要イベントとして、他の移動体/静止物との接触の他、急ハンドル、急ブレーキ等が挙げられる。また、車両は、自動運行装置を備えた車両であってもよい。自動運行装置は、カメラやLiDARなどの周辺監視センサの認識結果に基づいて、車両を自律的に走行させる装置である。LiDARは、Light Detection and Ranging、又は、Laser Imaging Detection and Rangingの略である。自動運転にかかる重要イベントとしては、自動運転モードの終了、自動運転システムからドライバへの運転権限を移譲するための報知処理の実行、MRM(Minimal Risk Maneuver)の開始などが挙げられる。本開示のカメラECU1が生成する連結画像CIは、自動運転時の状況を示すレコードとして採用されうる。
According to such an embodiment, as shown in FIG. 9, image data representing weather conditions at a plurality of points in time can be obtained as a connected image CI. According to the connected image CI, changes in weather conditions before and after occurrence of an important event that is separately detected can be grasped at a glance. Important events include contact with other mobile/stationary objects, as well as sudden steering and sudden braking. Also, the vehicle may be a vehicle equipped with an automatic operation device. An automatic operation device is a device that autonomously drives a vehicle based on the recognition results of peripheral monitoring sensors such as cameras and LiDAR. LiDAR stands for Light Detection and Ranging or Laser Imaging Detection and Ranging. Important events related to automatic driving include termination of the automatic driving mode, execution of notification processing for transferring driving authority from the automatic driving system to the driver, start of MRM (Minimal Risk Maneuver), and the like. A connected image CI generated by the
急ハンドルはヨーレート/操舵速度が所定値以上となることに対応する。また、急ブレーキは、減速度が所定値以上となることに対応する。MRMは、ドライバが運転すべき状況において、ドライバが運転不能な状態である場合に実行される車両制御である。MRMの具体的内容は、例えば、周囲に警報を発しながら安全な場所まで車両を自律走行させた後に停車させる処理とすることができる。安全な場所としては、所定値以上の幅を有する路肩や、ゼブラゾーン、緊急退避エリアとして規定されている場所などである。なお、RMの内容は、緩やかな減速で現在走行中の車線内に停止するものであってもよい。 A sharp steering wheel corresponds to a yaw rate/steering speed exceeding a predetermined value. Sudden braking corresponds to deceleration exceeding a predetermined value. MRM is vehicle control that is executed when the driver is unable to drive in a situation where the driver should be driving. The specific contents of the MRM can be, for example, processing to stop the vehicle after autonomously driving the vehicle to a safe place while issuing an alarm to the surroundings. Safe places include road shoulders with a width greater than or equal to a predetermined value, zebra zones, places defined as emergency evacuation areas, and the like. Note that the content of the RM may be a slow deceleration to stop in the current lane.
<具体例(2)>
次に、路面が濡れているか否かといった路面状態の時間変化を確認することを目的とする場合のデータ処理部F4の動作設定例及びその作用について図10及び図11を用いて説明する。図10は、10秒間隔で抽出された、撮影時刻が異なる画像フレームを示しており、図11はこれらをもとに生成される連結画像CIの一例を示している。図11も図9と同様、図の視認性のため、本来のサイズよりも拡大して示している。
<Specific example (2)>
Next, an operation setting example of the data processing unit F4 and its operation when the purpose is to check the time change of the road surface condition such as whether the road surface is wet or not will be described with reference to FIGS. 10 and 11. FIG. FIG. 10 shows image frames with different shooting times extracted at intervals of 10 seconds, and FIG. 11 shows an example of a connected image CI generated based on these. As in FIG. 9, FIG. 11 is also shown enlarged from the original size for the sake of visibility of the figure.
図10において各画像フレームに重畳して示す破線は、切出領域CRを示すものであり、実際の画像フレームには含まれない。切出領域CRは、関心対象としての路面状態を記録可能なように画像フレームの中心よりも下側に設定される。切出幅Wcは例えば360pxに設定されうる。上下方向における切出領域CRの位置はカメラ2の撮像方向に応じて適宜調整されうる。切出領域CRは、自車両の前端よりも第1距離前方となる地点から、第2距離前方となる地点までの路面範囲に対応するように設定されている。例えば第1距離は8m、第2距離は12mなどに設定されている。当該設定により自車両の8m先から12m先までの路面画像が記録されることとなる。なお、切出領域CRが下側過ぎるとカメラ2の取付位置等によっては自車両の車体が映り込みうる。そのため、切出領域CRは、画像フレームの下端よりも所定量上側となる位置に配置されていることが好ましい。また、切出領域CRが上側過ぎると先行車両等によっては路面状態が記録されにくくなる。そのため、切出領域CRは、画像フレームの中心よりも所定量下側となる位置に配置されていることが好ましい。
The dashed lines superimposed on each image frame in FIG. 10 indicate the cutout region CR, which is not included in the actual image frame. The cropped region CR is set below the center of the image frame so that the road surface condition as an object of interest can be recorded. The cutout width Wc can be set to 360px, for example. The position of the cutout region CR in the vertical direction can be appropriately adjusted according to the imaging direction of the
このような実施例によれば図11に示すように連結画像CIとして複数時点での路面状態をまとめて示す画像データが得られる。当該連結画像CIによれば、イベント発生時刻の前後所定時間以内における路面状態の経時変化を、一目で把握可能となる。 According to such an embodiment, as shown in FIG. 11, image data collectively showing road surface conditions at a plurality of points in time can be obtained as a connected image CI. According to the connected image CI, it is possible to grasp the temporal change of the road surface condition within a predetermined time before and after the event occurrence time at a glance.
<具体例(3)>
上記の具体例(1)、(2)では横方向に部分画像PIを切り出す態様について例示したが、前述の通り、関心領域切出部F42は縦方向に部分画像PIを切り出すように設定されていても良い。ここでは関心領域切出部F42が縦方向に画像を切り出す場合の作動について、図12及び図13を用いて説明する。図12は、図8及び図10と同様に10秒間隔で抽出された、撮影時刻が異なる画像フレームを示しており、図13はこれらの部分画像PIを横方向に連結してなる連結画像CIの一例を示している。図13も図9と同様、図の視認性のため、本来のサイズよりも拡大して示している。
<Specific example (3)>
In the specific examples (1) and (2) above, the partial image PI is cut out in the horizontal direction. can be Here, the operation when the region-of-interest clipping unit F42 clips an image in the vertical direction will be described with reference to FIGS. 12 and 13. FIG. FIG. 12 shows image frames extracted at intervals of 10 seconds in the same manner as in FIGS. 8 and 10 and taken at different times. shows an example. As in FIG. 9, FIG. 13 is also shown enlarged from the original size for the sake of visibility of the figure.
図12において各画像フレームに重畳して示す破線は、切出領域CRを示すものであり、実際の画像フレームには含まれない。切出領域CRは、画像フレームの中心を通るように設定されている。切出幅Wcは例えば340pxに設定されている。もちろん、切出幅Wcは170pxなどであってもよい。切出領域CRは、画像フレームを左右に分断にするに設定されている。なお、図10では切出領域CRを画像フレームの中心を通るように設定した場合を示すが、もちろん切出領域CRは画像フレームの中心から左又は右に所定量ずれた位置に設定されていても良い。 The dashed lines superimposed on each image frame in FIG. 12 indicate the cutout region CR, which is not included in the actual image frame. The cropped region CR is set so as to pass through the center of the image frame. The cutout width Wc is set to, for example, 340px. Of course, the cutout width Wc may be 170px or the like. The cutout region CR is set to divide the image frame into left and right. Note that FIG. 10 shows the case where the cutout region CR is set so as to pass through the center of the image frame, but of course the cutout region CR is set at a position shifted left or right from the center of the image frame by a predetermined amount. Also good.
このような記録設定によれば図11に示すように連結画像CIとして複数時点での路面状態及び天候状況をまとめて示す画像データが得られる。当該連結画像CIによれば、イベント発生時刻の前後所定時間以内における路面状態及び天候状況の経時変化を、一目で把握可能となる。 According to such recording settings, as shown in FIG. 11, image data collectively showing road surface conditions and weather conditions at a plurality of points in time can be obtained as a connected image CI. According to the connected image CI, it is possible to grasp, at a glance, temporal changes in the road surface condition and the weather condition within a predetermined time before and after the event occurrence time.
また、切出領域CRを自車両正面方向に対応する所定の列範囲とする構成によれば、先行車両の有無や車間距離を記録可能となる。上記設定によれば、イベント発生時刻の前後所定時間以内における先行車両の有無など、自車両正面方向の状況の経時変化を、一目で把握可能となる。なお、上記の効果に基づけば、仮に先行車両が関心対象である場合には、切出方向を縦方向とするとともに、切出領域CRの横位置はフレーム中心を含むように設定することが好適といえる。 Moreover, according to the configuration in which the cutout region CR is a predetermined row range corresponding to the front direction of the own vehicle, it is possible to record the presence or absence of the preceding vehicle and the inter-vehicle distance. According to the above setting, it is possible to grasp at a glance the change over time of the situation in the front direction of the own vehicle, such as the presence or absence of a preceding vehicle within a predetermined time before or after the event occurrence time. Based on the above effect, if the preceding vehicle is the target of interest, it is preferable to set the cutout direction to the vertical direction and set the horizontal position of the cutout region CR so as to include the center of the frame. It can be said.
ところで、先行車両の有無や、車間距離、先行車両に該当する車両は、天候状況に比べて動的に変化しうる。そのため、関心対象を先行車両とする場合のサンプリング間隔は、1秒や2秒など、秒単位とすることが好ましい。もちろん関心対象を先行車両とする場合のサンプリング間隔は、250ミリ秒や500ミリ秒などの1秒以下であってもよい。関心対象を先行車両とする場合の切出幅Wcもまた適宜所望の情報を記録可能なように設定されれば良い。 By the way, the presence or absence of a preceding vehicle, the inter-vehicle distance, and the vehicle corresponding to the preceding vehicle can change dynamically compared to weather conditions. Therefore, when the object of interest is the preceding vehicle, the sampling interval is preferably set in units of seconds such as 1 second or 2 seconds. Of course, when the object of interest is the preceding vehicle, the sampling interval may be 1 second or less, such as 250 milliseconds or 500 milliseconds. The cutout width Wc when the object of interest is the preceding vehicle may also be set so as to be able to record desired information as appropriate.
以上で述べた構成によれば、カメラ2が生成する画像フレームの一部のみを保存するため、保存用メモリ15に保存されるデータサイズを削減できる。それに伴い、保存用メモリ15の要件を緩和可能となる。また、保存用メモリ15へのデータの保存回数等を抑制できるため、メモリの使用可能な期間(いわゆる寿命)を延ばすことができる。さらに、1つの画像で各時刻の状況を一覧できるため、時間をかけて記録映像データを確認する必要がなくなる。つまり、関心対象にかかる状況の経時変化を確認する作業の効率を高める事が可能となる。また、上記カメラECU1は、イベント記録型ではなく、所定のサンプリング間隔で画像を記録する、いわゆる常時記録型のレコーダの一種に相当する。故に、イベント記録型のレコーダに比べて関心対象が記録されないリスクを低減可能である。
According to the configuration described above, since only a part of the image frames generated by the
以上、本開示の実施形態を説明したが、本開示は上述の実施形態に限定されるものではなく、以降で述べる種々の変形例も本開示の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。例えば下記の種々の補足や変形例などは、技術的な矛盾が生じない範囲において適宜組み合わせて実施することができる。なお、以上で述べた部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略することがある。また、構成の一部のみに言及している場合、他の部分については上記説明を適用することができる。 Although the embodiments of the present disclosure have been described above, the present disclosure is not limited to the above-described embodiments, and various modifications described below are also included in the technical scope of the present disclosure. Various modifications can be made without departing from the scope of the present invention. For example, the following various supplements and modifications can be implemented in combination as appropriate within a range that does not cause technical contradiction. It should be noted that members having the same functions as those of the members described above are given the same reference numerals, and explanation thereof may be omitted. Also, when only a part of the configuration is mentioned, the above description can be applied to the other parts.
<変形例(1)>
以上でカメラ2は車両前方を撮像するカメラとする場合について述べたが、これに限らない。カメラ2は、車両後方を撮像するカメラであってもよいし、車両側方を撮像するカメラであってもよい。
<Modification (1)>
Although the case where the
さらに、ドライバの顔を撮像するように配置された、ドライバ監視カメラであってもよい。ここでのドライバとは、主として車両の運転席に着座している人物を指す。また、車外の遠隔操作席に着座している人物(いわゆるオペレータ)もまたドライバの概念に含めることができる。ドライバ監視カメラは、例えばステアリングコラムカバーの上面や、インストゥルメントパネルの上面、ルームミラー、フロントガラスの上端部等に配置されている。 Further, it may be a driver monitoring camera positioned to capture an image of the driver's face. A driver here mainly refers to a person sitting in a driver's seat of a vehicle. In addition, a person (so-called operator) sitting in a remote control seat outside the vehicle can also be included in the concept of a driver. Driver monitoring cameras are arranged, for example, on the upper surface of the steering column cover, the upper surface of the instrument panel, the rearview mirror, the upper end of the windshield, and the like.
仮にカメラ2がドライバ監視カメラである場合、関心対象としてはドライバの目部が設定されうる。上下方向における切出領域CRの位置は、ドライバの目の位置を含むように手動又は自動で調整される。例えば、認識処理部F45がドライバの目を検出する場合、検出されたドライバの目の位置に対応するように、切出領域CRの高さ位置は動的に調整されうる。ドライバの目部を含む画像領域を部分画像PIとして抽出し、連結画像CIとして保存する構成によれば、ドライバの覚醒状態の経時変化を記録することができる。それに伴い、事故等の重大なイベントが生じた時点の前後におけるドライバの覚醒度合いの推移もまた、容易に検証可能となる。ドライバの目の開度を記録対象(関心対象)とする場合のサンプリング間隔は1秒や2秒、4秒などに設定可能である。
If the
<変形例(2)>
カメラECU1は、カメラ2が撮像した画像に対して認識処理部F45の認識結果を示すマーカーを重畳させた画像をもとに連結画像CIを生成しても良い。当該技術思想に対応すべく、カメラECU1は、図14に示す画像加工部F46を備えていても良い。画像加工部F46は、カメラ2の画像に対して、認識結果やタイムスタンプなどを付加した合成画像を生成する構成である。また、画像加工部F46は、カメラ2の撮影画像に対して、レンズ特性に応じた歪み補正や台形補正等を施す機能を備えていても良い。ベース画像取得部F41は、画像加工部F46が生成した加工画像を、連結画像生成用のベース画像として取得しうる。画像加工部F46は画像合成部、又は映像加工部と呼ぶこともできる。
<Modification (2)>
The
このような画像加工部F46は、ベース画像取得部F41の1つのサブ機能部として、ベース画像取得部F41と一体化していても良い。ここでの取得には、内部演算によって生成/検出することも含まれる。また、画像加工部F46は映像取得部F1が備えていても良い。さらに、画像加工部F46は、映像取得部F1とベース画像取得部F41の間に介在していても良い。 Such an image processing section F46 may be integrated with the base image acquisition section F41 as one sub-functional section of the base image acquisition section F41. Acquisition here also includes generation/detection by internal computation. Also, the image processing unit F46 may be provided in the video acquisition unit F1. Furthermore, the image processing section F46 may be interposed between the video acquisition section F1 and the base image acquisition section F41.
画像加工部F46は、例えば、カメラ2から入力される画像フレームに対し、他車両を強調するための他車両マーカーを重畳した画像を生成する。他車両マーカーは、矩形状の枠線であって、認識処理部F45が認識している他車両を囲むように配置される。なお、他車両マーカーを付与する他車両は、先行車両だけであってもよいし、対向車両だけであってもよい。画像加工部F46は別途算出される衝突リスクが所定値以上となっている他車両にのみ、他車両マーカーを付与するように構成されていても良い。衝突リスクが所定値以上の他車両とは、衝突残余時間(いわゆるTTC:Time-To-Collision)や、衝突余裕度(MTC: Margin-To-Collision)が所定値以下となっている車両を指す。
The image processing unit F46 generates an image in which, for example, an image frame input from the
認識処理部F45は、他車両に限らず、歩行者や静止物なども認識しうる。画像加工部F46は、歩行者や所定の静止物に対してマーカーを付与した画像を生成してもよい。また画像加工部F46は、カメラ2から入力される画像フレームに対し、レーン認識線を重畳した画像を生成してもよい。レーン認識線は、認識処理部F45が認識しているレーン区画線の位置を示す線状のマーカーである。
The recognition processing unit F45 can recognize not only other vehicles but also pedestrians and stationary objects. The image processing unit F46 may generate an image in which a pedestrian or a predetermined stationary object is marked with a marker. The image processing unit F46 may also generate an image in which the lane recognition line is superimposed on the image frame input from the
図15は本変形例におけるカメラECU1の作動を概念的に示したものであって、ベース画像取得部F41は、図15の(A)に示すように、先行車両等の認識結果を示すマーカーMkが付与された画像を所定のサンプリング間隔で取得する。また本変形例における関心領域切出部F42は、図15の(B)に示すように、マーカーを含みうる合成画像フレームにおける所定領域を切り出す。もちろん、マーカーの有無は、認識対象物が存在するか否かの影響をうけるため、部分画像PIの抽出元となる画像フレームがマーカーを含まないこともあり得る。連結処理部F43は、前述の実施形態と同様に、図15の(C)に示すように、複数の部分画像PIをもとに連結画像CIを生成する。このような構成によれば所定の対象物に対する認識処理部F45の認識状況を記録可能となる。
FIG. 15 conceptually shows the operation of the
図16及び図17は、自車両から所定の検証距離、前方となる地点での区画線の認識状況が関心対象に設定されている場合のカメラECU1の作動を説明するための図である。ここでの「地点」という表現には、所定の長さを有する区間或いはエリアの概念が含まれる。図16は、レーン認識線としてのマーカーMkが重畳された複数時点での画像フレームを示しており、図17はこれらの部分画像PIを横方向に連結してなる連結画像CIの一例を示している。
16 and 17 are diagrams for explaining the operation of the
検証距離は、8mや10m、16mといった相対的に近距離に相当する値であっても良いし、25mや30m、40mといった相対的に遠方に相当する値であっても良い。上記の構成によれば、開発者/検証者の関心のある認識結果の推移を、一目で把握することができる。また、区画線が映っているのにも関わらず、区画線の認識に失敗している地点も容易に発見可能となる。なお、サンプリング間隔は10秒などであってもよいし、1秒や2秒など数秒レベルであってもよい。さらにサンプリング間隔は250ミリ秒や500ミリ秒などであってもよい。切出幅Wcは180pxや360pxなどとすることができる。 The verification distance may be a value corresponding to a relatively short distance, such as 8m, 10m, or 16m, or a value corresponding to a relatively long distance, such as 25m, 30m, or 40m. According to the above configuration, it is possible to grasp, at a glance, changes in recognition results that are of interest to the developer/verifier. In addition, it is possible to easily find a spot where the lane marking has failed to be recognized even though the lane marking is shown. The sampling interval may be 10 seconds or the like, or may be several seconds such as 1 second or 2 seconds. Furthermore, the sampling interval may be 250 milliseconds, 500 milliseconds, or the like. The cutout width Wc can be 180px, 360px, or the like.
<変形例(2)の応用例>
関心領域切出部F42は、関心対象に設定されている物体の認識結果に合わせて、切出幅Wcを動的に変更しても良い。例えば先行車両が認識対象かつ関心対象に設定されている場合、関心領域切出部F42は、先行車両が認識されている場合、先行車両を含むように切出幅Wcを動的に設定しても良い。図18は先行車を含むように切出幅Wcを動的に調整する場合のデータ処理部F4の作動を概念的に示す図である。
<Application example of modification (2)>
The region-of-interest clipping unit F42 may dynamically change the clipping width Wc according to the recognition result of the object set as the target of interest. For example, when the preceding vehicle is set as both the recognition target and the interest target, the region-of-interest extraction unit F42 dynamically sets the extraction width Wc so as to include the preceding vehicle when the preceding vehicle is recognized. Also good. FIG. 18 is a diagram conceptually showing the operation of the data processing section F4 when dynamically adjusting the cutting width Wc so as to include the preceding vehicle.
当該構成によれば、開発者の関心のある認識対象(例えば先行車)の時間変化を一目で把握可能となる。また、認識ロジックの精度確認を効率的に進めることが可能となる。例えば先行車をロストしやすいシーンなどを特定しやすくなる。なお、切出幅Wcを動的に調整する構成においても、基本的な切出幅Wc及び切出領域CRは設定されている。関心領域切出部F42は、切出領域CRの所定の基本設定範囲を含むように、切出幅Wcを調整する。基本設定範囲は、認識対象物が存在しない場合に切り出されるべき行範囲/列範囲を指す。部分画像PIを横方向に切り出す構成において、認識結果を含むように切出領域CRを調整することは、切出し開始位置をより上側に、切出し終了位置をより下側に、それぞれ必要に応じて調整することに相当する。切出し開始位置は、切出領域CRの最も上側の行番号を指し、切出し終了位置は、切出領域CRの最も下側の行番号を指す。 According to this configuration, it is possible to grasp the time change of the recognition target (for example, preceding vehicle) of interest to the developer at a glance. Also, it is possible to efficiently confirm the accuracy of the recognition logic. For example, it becomes easier to identify scenes where the preceding vehicle is likely to be lost. Note that even in the configuration for dynamically adjusting the cutout width Wc, the basic cutout width Wc and the cutout region CR are set. The region-of-interest clipping unit F42 adjusts the clipping width Wc so as to include a predetermined basic setting range of the clipping region CR. The default range refers to the row range/column range that should be cut out if there is no recognition target. In the configuration in which the partial image PI is cut out in the horizontal direction, adjusting the cutout region CR to include the recognition result means adjusting the cutout start position upward and the cutout end position downward as necessary. equivalent to The cutout start position indicates the uppermost line number of the cutout region CR, and the cutout end position indicates the lowermost line number of the cutout region CR.
<変形例(3)>
カメラ画像処理システムSysは車外を撮像する複数のカメラ2を備えていてもよい。例えば図19に示すように、カメラECU1には、カメラ2として、前方カメラ2A、後方カメラ2B、左カメラ2C、及び右カメラ2Dと接続されている。これら4つのカメラ2は、自車両において互いに異なる位置に配置され、自車両の周辺の異なる方向を撮影する。具体的には次のとおりである。
<Modification (3)>
The camera image processing system Sys may include a plurality of
前方カメラ2Aは、車両前方を所定の画角で撮像するカメラである。前方カメラ2Aは、例えばフロントグリルなどの自車両の前端において、その光軸が自車両の正面方向に向けられた姿勢で取り付けられている。後方カメラ2Bは、車両後方を所定の画角で撮像するカメラである。後方カメラ2Bは、光軸が自車両の後方に向けられた姿勢で、例えばリアナンバープレート付近やリアウインドウ付近など、車体背面部の所定位置に配置されている。左カメラ2Cは、自車両の左側方を撮像するカメラである。左カメラ2Cは、例えば左側サイドミラーや左ピラー等において、光軸が自車両の左側に向いた姿勢で取り付けられている。右カメラ2Dは、自車両の右側方を撮像するカメラである。右カメラ2Dは、右側サイドミラーや右ピラー等において、その光軸が自車両の右側に向いた姿勢で取り付けられている。もちろん各カメラ2の取付位置や取付姿勢は一例であって適宜変更可能である。
The
これらのカメラ2のレンズとしては魚眼レンズなどの広角レンズが採用されており、各カメラ2は180度以上の画角を有する。このため、4つのカメラ2を利用することで、自車両の全周囲を撮影することが可能である。カメラ画像処理システムSysは、ルーフ上に取り付けられたカメラ2を備えていても良い。前述の左カメラ2C及び右カメラ2Dの取り付け位置は、サイドミラーに限らず、ルーフトップなどでもよい。複数のカメラ2の一部又は全部は、例えばルーフ上や、ダッシュボード上、窓枠付近などに後付されたカメラであってもよい。複数のカメラ2はそれぞれ撮影画像を元にする映像信号をカメラECU1に出力する。カメラECU1のデータ処理部F4は各カメラ2に対して個別に上述した連結画像CIを生成してもよい。カメラ2毎に撮像範囲は相違するため、切出方向や切出幅Wcなどといったパラメータは、カメラ2毎に相違しうる。
A wide-angle lens such as a fish-eye lens is adopted as the lens of these
<変形例(3)の応用例(1)>
データ処理部F4は、複数のカメラ2で撮影された画像を統合した画像をもとに部分画像PIを抽出し、連結画像CIを生成するように構成されていても良い。前提として、データ処理部F4は、画像加工部F46を備える。図20は本応用例におけるカメラECU1の作動の概要を示す図である。画像加工部F46は、図20の(A)に示すように、複数のカメラ2のそれぞれから提供される映像信号を元に、各カメラ2で撮影された画像を共通のサンプリング間隔で抽出する。各カメラ2から抽出される画像フレームは、略同一時刻の撮影画像である。
<Application example (1) of modification (3)>
The data processing unit F4 may be configured to extract a partial image PI based on an image obtained by integrating images captured by a plurality of
次に、画像加工部F46は、図20の(B)に示すように、同一時点において各カメラ2で撮像された画像フレーム同士を所定の順に結合する。図20では横方向に画像フレームを結合する様式を示している。他の態様として、画像加工部F46は、画像フレームは縦方向に結合しても良い。便宜上、複数のカメラ2で撮像された画像フレームをつなげてなる画像フレームを連結フレームと称する。画像フレーム同士を連結させる方向は切出方向と同一方向となる。画像加工部F46が生成した連結フレームは、ベース画像取得部F41に提供される。つまり、ベース画像取得部F41は、画像加工部F46より、所定のサンプリング間隔で連結フレームを取得する。
Next, as shown in FIG. 20B, the image processing unit F46 combines the image frames captured by the
そして、関心領域切出部F42は、図20の(B)に示すように、連結フレームにおいて所定の切出領域CRに設定されている部分を切り出すことで、連結画像CIのもととなる部分画像PIを生成する。部分画像PIは、各カメラ2の撮影画像の一部に相当する。
Then, as shown in FIG. 20B, the region-of-interest clipping unit F42 clips a portion set as a predetermined clipping region CR in the concatenated frame, thereby obtaining a portion from which the concatenated image CI is based. Generate an image PI. A partial image PI corresponds to a part of the image captured by each
連結処理部F43は、例えば関心領域切出部F42が部分画像PIを生成するたびに、新規生成された部分画像PIを既存の連結画像CIの末尾に付け加える。なお、連結処理部F43は、所定のタイミングで複数の部分画像PIを時系列順にまとめて連結するように構成されていても良い。 The connection processing unit F43 adds the newly generated partial image PI to the end of the existing connected image CI, for example, each time the region of interest cutout unit F42 generates a partial image PI. Note that the connection processing unit F43 may be configured to collectively connect a plurality of partial images PI in chronological order at a predetermined timing.
以上で述べたように、ベース画像取得部F41が取得する画像は、複数のカメラから取得される画像を結合したものでも良い。上記構成によれば、複数のカメラで撮影された画像データの時間変化を、一目で把握することができる。本変形例/応用例の関心対象としては、路面状態や、周辺車両との距離、歩行者等の認識状態などが想定される。 As described above, the image acquired by the base image acquisition unit F41 may be a combination of images acquired from a plurality of cameras. According to the above configuration, it is possible to grasp the temporal change of image data captured by a plurality of cameras at a glance. Targets of interest in this modified example/application example are assumed to be the road surface condition, the distance to surrounding vehicles, and the recognition state of pedestrians and the like.
ところで、図20ではカメラ2ごとの画像フレームを連結してから部分画像PIを抽出する態様を述べたが、処理手順はこれに限定されない。図21に示すように、関心領域切出部F42は各カメラ画像から同じ大きさの部分画像PIを抽出し、連結処理部F43がそれらを所定順で切出方向につなげることで最終的な部分画像PIであるカメラ統合部分画像CPIを生成しても良い。連結処理部F43は、順次生成されるカメラ統合部分画像CPIを時系列順に連結方向につなげていくことで連結画像CIを生成する。
By the way, in FIG. 20, the aspect of extracting the partial image PI after connecting the image frames of each
なお、切出領域CRは図21の(B)にて破線で示すようにカメラ2ごとに相違していても良い。カメラ2毎に関心対象が映り込む領域は異なりうるためである。ただし、画像を結合していくために、切出幅Wc及び切出方向は共通の値/方向が適用されるものとする。本変形例/応用例によれば、より効率的に関心対象を含みうる画像領域を保存可能となる。
Note that the cropped region CR may be different for each
<変形例(3)の応用例(2)>
画像加工部F46は、図22に示すように複数のカメラ2の画像をもとに鳥瞰画像を生成する機能を備えていても良い。鳥瞰画像は、上空に設定された仮想視点から車両周辺を見下ろした画像である。連結画像CIを構成する部分画像PIは、鳥瞰画像の所定領域であってもよい。つまり、カメラECU1は、複数のカメラ映像を元に生成される鳥瞰画像の所定領域を所定のサンプリング間隔で抽出し、それらを順次つなげていくことで連結画像CIを生成しても良い。そのような構成において、ベース画像取得部F41は、画像加工部F46が生成した鳥瞰画像を所定のサンプリング間隔で取得する。ベース画像取得部F41が順次取得する複数の鳥瞰画像は、生成時刻がサンプリング間隔で相違する。関心領域切出部F42は、ベース画像取得部F41が取得した鳥瞰画像において予め設定されている切出領域CRを部分画像PIとして切り出す。連結処理部F43は、関心領域切出部F42が順次生成する部分画像PIを時系列順に連結方向に連ねて行くことにより連結画像CIを順次生成及び更新する。このように鳥瞰画像をもとに連結画像CIを生成する構成によれば、路面状態の経時的な変化に対する認識性を高めることができる。
<Application example (2) of modification (3)>
The image processing unit F46 may have a function of generating a bird's-eye view image based on images from a plurality of
なお、鳥瞰画像において、切出領域CRに対応する画像範囲が車両前方であって、後方カメラ2B由来の画像データを含まない場合、画像加工部F46は後方カメラ2Bの画像フレームを用いずに、車両前方に特化させた鳥瞰画像を生成しても良い。また、鳥瞰画像において、切出領域CRに対応する画像範囲が前方カメラ2Aのみで生成可能である場合、画像加工部F46は、前方カメラ2Aの画像を視点変換した画像を生成しても良い。視点変換処理は、所定の投影面へのマッピングなどによって撮影画像を仮想視点から見た画像に変換する処理である。ベース画像取得部F41は、カメラ2の撮影画像に対して画像加工部F46が視点変換処理を施した画像データを、ベース画像データとして画像加工部F46から取得するように構成されていても良い。
In the bird's-eye view image, when the image range corresponding to the cropped region CR is in front of the vehicle and does not include image data derived from the
鳥瞰画像など、視点変換を施した画像フレームを元に部分画像PIを抽出し、連結画像として保存する構成においても、認識結果を示すマーカーを重畳させた状態で保存する技術思想は適用可能である。例えば、ベース画像取得部F41は、視点変換を施してなる加工画像に認識結果を示すマーカーを重畳させた画像フレームをベース画像フレームとして取得するとともに、関心領域切出部F42は、当該画像フレームから部分画像PIを抽出してもよい。切出幅Wcもまた、認識結果に応じて動的に変更されても良い。 The technical concept of storing superimposed markers indicating recognition results can also be applied to configurations in which partial images PI are extracted based on image frames that have undergone viewpoint conversion, such as bird's-eye images, and are stored as connected images. . For example, the base image acquisition unit F41 acquires, as a base image frame, an image frame obtained by superimposing a marker indicating a recognition result on a processed image obtained by performing viewpoint conversion, and the region-of-interest extraction unit F42 extracts from the image frame A partial image PI may be extracted. The cutout width Wc may also be dynamically changed according to the recognition result.
1つのカメラ2で撮像された画像に対して、視点変換や、歪み補正、テキスト/マーカ/タイムスタンプの重畳、輝度補正、色調調整など、所定の加工処理が施された画像が加工画像に相当する。なお、1つの実施例においては、視点変換が施された画像、及び、マーカーなどの補足情報が付加された画像のことを、加工画像と限定的に解釈することも可能である。また、1つの画像に別の画像を組み合わせた画像が合成画像に相当する。合成画像とは代表的には鳥瞰画像である。合成画像には、出力元が異なる複数の画像を組み合わせた画像のほか、1つの画像においてマーカー等といった予め用意された画像要素を重畳させた画像も含まれる。つまり合成画像は加工画像の一種と解することができる。なお、床下透過画像なども合成画像の一種に相当する。床下透過画像は、車両前進時に取得した前方カメラ2Aの過去画像を、現在の他のカメラの画像と合成することによって、車体の底部などを透過させて示す画像である。床下透過画像などの合成画像の仮想視点は、車両上空に限らず、運転者の視点、換言すれば、ドライバのアイボックスなどであってもよい。
A processed image is an image that has undergone predetermined processing such as viewpoint conversion, distortion correction, text/marker/time stamp superimposition, brightness correction, and color tone adjustment on an image captured by a
<変形例(4)>
カメラECU1は、特定のシーンにおいては、データ記録にかかる設定項目の値を、デフォルト設定値から臨時適用値に変更するように構成されていても良い。データ記録にかかる設定項目とは、サンプリング期間や切出幅Wcなどを指す。デフォルト設定値は、通常シーンにおいて適用される設定値を指す。また、臨時適用値は集中記録シーンであると判定されている場合に適用される設定値である。通常シーンは、集中記録シーン以外のシーンを指す。集中記録シーンは、通常シーンに比べて密にデータを保存するシーンに相当する。通常シーンは、集中記録シーンに比べてデータの保存密度を疎とするシーンに相当する。
<Modification (4)>
The
記録態様を変更する集中記録シーンとしては、(i)交差点通過時、(ii)低速走行時、(iii)駐車時、(iv)出庫時などが挙げられる。(i)交差点通過時は、(a)右折時、(b)左折時、(c)直進時の3つに細分化することもできる。低速走行時とは、例えば移動速度が所定の低速閾値未満である状態を指す。低速閾値は、例えば10km/hや20km/hなどである。低速走行には、駐車のための自律走行も含めることができる。(iii)駐車時、及び、(iv)出庫時は、(ii)低速走行時の一例と解することもできる。本開示では、移動速度が低速閾値以上となっている状態を通常走行状態とも称する。通常走行状態には高速走行中も含まれる。なお、高速移動中とは、例えば、60km/hや、80km/hなどといった所定の高速閾値を超過している状態を指す。 Intensive recording scenes in which the recording mode is changed include (i) when passing through an intersection, (ii) when driving at low speed, (iii) when parking, and (iv) when leaving a garage. (i) When passing through an intersection can also be subdivided into three types: (a) turning right, (b) turning left, and (c) going straight. Low-speed running refers to, for example, a state in which the moving speed is less than a predetermined low-speed threshold. The low speed threshold is, for example, 10 km/h or 20 km/h. Low-speed driving can also include autonomous driving for parking. (iii) when parking and (iv) when leaving the garage can also be understood as an example of (ii) when traveling at low speed. In the present disclosure, a state in which the moving speed is equal to or higher than the low speed threshold is also referred to as a normal running state. The normal running state includes high-speed running. Note that moving at high speed refers to a state in which the vehicle exceeds a predetermined high speed threshold such as 60 km/h or 80 km/h, for example.
臨時適用値はデフォルト設定値とは相違する値であればよい。臨時適用値は、通常シーンよりも密に情報を記録可能な値に設定されうる。例えば、サンプリング間隔にかかるデフォルト設定値が10秒である場合、臨時適用値は2秒や、1秒、500ミリ秒などに設定されうる。サンプリング間隔にかかる臨時適用値は、デフォルト設定値の半分以下に設定されうる。また、切出幅Wcにかかるデフォルト設定値が180pxである場合、臨時適用値は360pxなどに設定されうる。切出幅Wcにかかる臨時適用値は、デフォルト設定値の1.5倍以上、より好ましくは2倍以上に設定されうる。 The temporary applied value may be any value that is different from the default set value. The temporary application value can be set to a value that allows information to be recorded more densely than in a normal scene. For example, if the default setting value for the sampling interval is 10 seconds, the temporary application value can be set to 2 seconds, 1 second, 500 milliseconds, or the like. The temporary application value over the sampling interval can be set to less than half of the default setting. Also, if the default setting value for the clipping width Wc is 180px, the temporary application value may be set to 360px or the like. The temporary application value for the cutting width Wc can be set to 1.5 times or more, more preferably 2 times or more, the default set value.
図23は本変形例に対応するカメラECU1の作動例の一例を説明するためのフローチャートである。図23に示す処理フローは例えば、車両の走行用電源がオンになっており、かつ、ユーザ等によりデータの記録開始を指示する操作がなされたことを検出した場合に、開始される。もちろん、走行用電源がオンとなっている場合には常に録画を行う設定においては、走行用電源がオンとなったことに基づいて図23に示すフローが開始されうる。以下では一例として交差点通過時が集中記録シーンに設定されている場合について述べる。なお、本フローとは並行/独立して、プロセッサ11は設定されているサンプリング間隔にて部分画像PIの抽出及び連結画像CIの更新を行う。
FIG. 23 is a flow chart for explaining an example of the operation of the
まずプロセッサ11は、例えば車速や方向指示器の作動状態などといった、車載センサ4や車載ECU5から入力される情報に基づき、集中記録シーンに該当するか否かを判定する。より具体的には、プロセッサ11は、車載センサ4等からの入力信号に基づき、交差点通過中か否かを判定する。なお、シーンの判断材料としては、路面標示等の地物に対する画像認識結果も採用可能である。また、プロセッサ11は、ナビゲーション装置や運転支援ECUから走行予定経路や走行路にかかる情報を取得し、それらの情報をもとにシーンを判定してもよい。
First, the
ステップS21での判定処理にて交差点通過中であると判定された場合にはステップS23を実行する。一方、交差点通過中ではない場合には無いと判定された場合にはステップS22を実行する。ステップS22は、デフォルト設定を維持するステップである。ステップS23はデータ記録にかかる種々の設定値をデフォルト設定値から臨時適用値に変更するステップである。 If it is determined in the determination process in step S21 that the vehicle is passing through the intersection, step S23 is executed. On the other hand, if it is determined that the vehicle is not passing through the intersection, step S22 is executed. Step S22 is a step of maintaining default settings. Step S23 is a step of changing various setting values related to data recording from default setting values to temporary applied values.
臨時適用値が採用されている間、プロセッサ11はステップS24として、車載センサ4等からの信号に基づき集中記録シーンが継続しているか否かを逐次判定する。より具体的には、プロセッサ11は、車速やヨーレート、自車位置情報、路面標示の認識状況に基づき、まだ交差点を通過中であるか否かを判定する。
While the temporary application value is being adopted, the
集中記録シーンが終了した場合、例えば、交差点を退出したことを検知した場合ステップS25として、データ記録にかかる種々の設定値を臨時適用値からデフォルト設定値に戻す。ステップS26は、入力装置3からの信号に基づき、記録終了操作が行われたか否かを判定するステップである。記録終了操作は、データの記録を停止/終了させるスイッチの押下などを指す。なお、走行用電源をオフに設定する操作も、記録終了操作に含めることができる。記録終了操作が行われたか否かの判定は、集中記録シーン継続中も実施されうる。
When the intensive recording scene ends, for example, when it is detected that the user has exited the intersection, in step S25, the various set values for data recording are returned from the temporary applied values to the default set values. Step S26 is a step for determining whether or not a recording end operation has been performed, based on a signal from the
記録終了操作が行われたことを検出すると、プロセッサ11は連結画像CIを確定し、所定のサーバなどに送信する(ステップS26)。仮に、車両/カメラECU1にタブレット端末やノート型コンピュータが有線/無線接続されている場合には、カメラECU1は記録終了操作の検出をトリガとして、当該接続端末に向けて連結画像データを送信しても良い。
When detecting that the recording end operation has been performed, the
上記構成によれば、特定のシーンにおいては、通常シーンよりも関心対象の情報を密に記録することができる。仮に関心対象が交差点通過時における他の移動体の認識状態である場合、交差点通過中のデータは必要十分な間隔で記録できるとともに、交差点通過時以外のシーンにおけるデータ量をより一層低減できる。その結果、保存データ量を抑制しつつ、関心対象の解析効率を高めることが可能となる。上記構成は、特定のシーンとそれ以外とでデータの保存密度を変更する構成に相当する。また上記構成は、走行シーン/車速に応じて、サンプリング間隔及び切出幅Wcの少なくとも何れか一方を動的に変更する構成に相当する。サンプリング間隔を変更する構成には、サンプリング間隔を無限大に相当する十分に大きい値に設定することにより、実質的に記録を停止する構成も含めることができる。 According to the above configuration, in a specific scene, information of interest can be recorded more densely than in a normal scene. If the object of interest is the recognition state of another moving object when passing through an intersection, the data while passing through the intersection can be recorded at necessary and sufficient intervals, and the amount of data in scenes other than those when passing through the intersection can be further reduced. As a result, it is possible to increase the analysis efficiency of the target of interest while suppressing the amount of stored data. The above configuration corresponds to a configuration in which the data storage density is changed between specific scenes and other scenes. Moreover, the above configuration corresponds to a configuration that dynamically changes at least one of the sampling interval and the cutout width Wc according to the driving scene/vehicle speed. Configurations for changing the sampling interval can also include configurations for effectively stopping recording by setting the sampling interval to a sufficiently large value corresponding to infinity.
また、カメラECU1は、記録対象シーンとして指定された特定シーンである場合にのみ、所定のサンプリング間隔で連結画像CIの生成及び更新を行うように構成されていても良い。換言すればカメラECU1は、走行中であっても、記録対象シーンに該当しない場合には、部分画像PIの抽出/連結画像CIの更新を停止するように構成されていても良い。記録対象シーンとしては、集中記録シーンとして例示したようなシーンを採用可能である。当該構成によれば、記録対象シーン以外ではデータの収集を行わないため、保存されるデータ量をより一層低減可能とすることができる。なお、記録対象シーンを設定することは、逆説的に、データ記録を行わない、記録除外シーンを設定することに対応する。上記構成は、記録除外シーンが登録可能に構成されているカメラECU1において、記録除外シーンに該当する場合にはデータ記録を停止する構成に相当する。
Further, the
<変形例(5)>
カメラECU1は、複数の動作モードを備えていてもよい。例えばカメラECU1は、不記録モードと、第1記録モードと、第2記録モードとを切替可能に構成されていても良い。不記録モードは、画像保存を行わない動作モードである。第1記録モードは、部分画像ではなく、元画像フレームをそのまま保存する動作モードである。第1記録モードは映像データを保存するモードであってもよい。第2記録モードは、複数の部分画像を連結画像として保存する動作モードである。第2記録モードで動作するカメラECU1が、実施形態/変形例として上述した種々の構成に相当しうる。
<Modification (5)>
The
当該変形例における入力装置3は、動作モードを切り替えるためのスイッチを備えていても良い。例えば入力装置3は、動作モードを切り替えるためのトグルスイッチを含みうる。当該スイッチは、機械スイッチであってもよいし、タッチパネルとディスプレイの協働によって実現される画像ボタンであってもよい。操作受付部F2は、入力装置3からの信号に基づき、動作モードを変更するためのユーザの指示操作を受け付ける。
The
なお、カメラECU1は、保存用メモリ15の空き容量に応じて、動作モードを自動的に変更してもよい。例えばカメラECU1は、保存用メモリ15の空き容量が所定値未満となった場合には、動作モードを第1記録モードから第2記録モードに自動的に変更してもよい。動作モードを自動的に切り替えた場合、カメラECU1は次に説明するように、動作モードが切り替わったことを、表示や音声によってユーザに通知することが好ましい。
Note that the
カメラECU1は、動作モードをユーザに通知するためのデバイスとして、図24に示すように表示装置6やスピーカ7と接続されていても良い。表示装置6は、カメラECU1からの入力信号に基づき、カメラECU1の動作モードを示すアイコンなどを表示する。表示装置6は、メータディスプレイであってもよいし、ヘッドアップディスプレイであってもよい。メータディスプレイは、インストゥルメントパネルにおいて運転席の正面に位置する領域に設けられたディスプレイであって、液晶パネルや有機発光(Electro Luminescence:EL)パネルなどを用いて実現されうる。ヘッドアップディスプレイは、画像を表す光(以降、画像光)を車両のウインドシールド等の投影部材に投射することによって、ドライバから見て車両前方となる位置に、画像を虚像表示するデバイスである。動作モードを示すアイコンは、走行用電源がオンである間、常に表示されてもよい。動作モードを示すアイコンは、動作モードが変化した時点から一定時間だけ表示されても良い。
The
なお、カメラECU1の状態は、アイコン表示に限らず、テキスト表示によってドライバに通知されても良い。また、カメラECU1の状態は、LEDの点灯(点灯色や点滅の有無)によって表現されても良い。例えばカメラECU1は、不記録モード時にはLEDを消灯し、第1記録モード時にはLEDを点灯させ、第2記録モード時にはLEDを点滅させても良い。カメラECU1の状態は、スピーカ7からの音声メッセージの出力によってドライバに通知されても良い。カメラECU1は、動作モードが切り替わった際に、変更後の動作モードを通知するためのアナウンス/通知音をスピーカ7から出力させても良い。
The status of the
<変形例(6)>
カメラECU1は、図25に示すように、部分画像をもとに所定の点検対象物の異常を検出する点検処理部F47を備えていても良い。点検処理部F47としてのカメラECU1は、同一地点で撮影された最新画像と過去画像とを比較することで、部分画像に写る点検対象物の異常を検出する。
<Modification (6)>
The
本開示における最新画像とは、今回のトリップにて新たに生成された部分画像を指す。最新画像は現在画像と言い換えることができる。本開示における過去画像とは、前回以前のトリップにて生成及び保存された部分画像を指す。過去画像は、概略的には1日又は1週間以上前に生成された部分画像を指す。 The latest image in the present disclosure refers to a partial image newly generated on this trip. The latest image can be rephrased as the current image. A past image in the present disclosure refers to a partial image generated and saved in a trip before the previous trip. A past image generally refers to a partial image generated one day or one week or more ago.
本開示における点検対象物とは、画像比較によって、破損や劣化等の異常が生じているか否かの点検を行うべき設備/地物を指す。点検対象物は、関心対象の具体例に相当する。点検対象物は、例えば道路標識や、路面標示、信号機、電光掲示板、電柱、電線、マンホールなど、道路沿いに設置されている多様な設備であってよい。道路標識は、カメラ2からみた存在方向に応じて、側方標識と上方標識とに区分されても良い。側方標識は、路面からの高さが3m未満となる空間において、道路の右側または左側に配置されている標識を指す。側方標識は、道路の路端、道路の中央、歩道又は中央分離帯等に設置されたポールに標示板が設置された、いわゆる路側式の標識を含みうる。側方標識は、規制標識や、警戒標識、指示標識、及び補助標識の一部または全部を含みうる。上方標識は、柱や門型支柱を用いて路面から4.7m以上、上方に標示板が配置されたタイプの標識を指す。上方標識は、門型式の標識の他、片持式や添架式の標識を含みうる。上方標識の具体例としては、案内標識が挙げられる。案内標識の一部は、側方標識に区分されていても良い。
The inspection object in the present disclosure refers to facilities/features that should be inspected by image comparison to determine whether or not there is an abnormality such as damage or deterioration. An inspection object corresponds to a specific example of an object of interest. The objects to be inspected may be various facilities installed along the road, such as road signs, road markings, traffic lights, electronic bulletin boards, utility poles, electric wires, and manholes. Road signs may be classified into side signs and upward signs according to the direction of existence as seen from the
上方標識が点検対象物に設定されている場合、切出方向は横であって、切出領域CRは上端部付近に設定される。すなわち、上方標識が点検対象物に設定されている場合、カメラECU1は、図26に示すように、元画像フレームの上端付近を部分画像として抽出し、連結保存していく。切出幅は任意の値に設定されうる。なお、ここでの連結保存とは、前述の通り、他の時刻で生成された部分画像と時系列順につなげて保存する処理を指す。
When the upper marker is set to the inspection object, the cutout direction is horizontal, and the cutout region CR is set near the upper end. That is, when the upper sign is set as the inspection object, the
各部分画像は、撮影状況データと対応付けられて保存用メモリ15に保存される。ここでの撮影状況データとは、部分画像取得時の状況(つまり撮影状況)を示す項目についてのデータセットである。例えば撮影状況データは、図27に示すように、部分画像番号、撮影時刻、撮影位置、進行方向、天候、先行車などについてのデータを含む。部分画像番号は、連結画像が備える部分画像のうち、あるいは、今回のトリップ中に生成された部分画像のうちの、何番目の部分画像についてのデータであるかを示す識別子である。なお、部分画像ごとの撮影状況データは、部分画像データ本体と紐付けられて保存されてもよく、その場合には部分画像番号は省略されても良い。
Each partial image is stored in the
撮影位置は、撮影地点の位置座標であって、GNSS受信機の出力信号に基づき特定される。撮影位置は世界測地系(WGS84)で表現されても良いし、その他の座標系で表現されていても良い。撮影位置は、緯度経度の二次元座標で表現されても良いし、高度情報を含んでいても良い。高度情報を含む構成によれば、高架道路やダブルデッキ構造を有する道路区間における撮影位置の誤特定を抑制可能となる。 The shooting position is the position coordinates of the shooting point and is specified based on the output signal of the GNSS receiver. The shooting position may be expressed in the world geodetic system (WGS84), or may be expressed in another coordinate system. The shooting position may be represented by two-dimensional coordinates of latitude and longitude, and may include altitude information. According to the configuration including the altitude information, it is possible to suppress erroneous identification of the photographing position in a road section having an elevated road or a double-deck structure.
進行方向は、方位角で表現されうる。進行方向は、自車両が走行している車線を規定する車線区画線の延伸方向に対する車体のヨー角で表現されても良い。当該進行方向は、方位センサで検出されてもよいし、画像認識によって特定されても良い。天候情報は、レインセンサやワイパーの作動状態から判定されてもよいし、外部装置から受信する天候情報に基づいて特定されても良い。天候は、コードで表現されうる。晴れを示すコードは00、雨を示すコードは01などに適宜設定可能である。 The direction of travel can be represented by an azimuth angle. The traveling direction may be represented by the yaw angle of the vehicle body with respect to the extending direction of the lane markings that define the lane in which the host vehicle is traveling. The direction of travel may be detected by a direction sensor, or may be specified by image recognition. The weather information may be determined from the operating state of the rain sensor or wipers, or may be specified based on weather information received from an external device. Weather can be represented in code. A code indicating fine weather can be set to 00, a code indicating rain can be set to 01, and the like.
また、撮影状況データは、自車前方にカメラ2の視界を遮るものがあったか否かを示す情報として、先行車情報を含んでいても良い。先行車情報は、自車両から一定距離以内に、先行車に相当する車両が存在していたか否かを示す。先行車の有無は、フラグ(0/1)又はコードで表現されうる。先行車情報は、先行車との車間距離を含んでいても良い。先行車情報は、先行車が大型車両であったか否かなど、先行車の種別情報あるいは大きさ情報を含んでいても良い。先行車情報は、カメラ2/画像認識にとっての障害物の有無、換言すれば、点検対象物が先行車によって遮られている可能性を示す情報に相当する。
Further, the photographing situation data may include preceding vehicle information as information indicating whether or not there is an object obstructing the field of view of the
先行車情報は、より簡素な構成として、フラグであっても良い。カメラECU1は、自車両から一定距離(例えば10m)以内に大型車両が存在する場合にのみ、撮影状況データにおける先行車フラグをオンに設定するように構成されていても良い。このような先行車フラグは、カメラ2の視界の良し悪しを示すフラグであって、視界フラグあるいはオクルージョンフラグと呼ぶこともできる。
The preceding vehicle information may be a flag as a simpler configuration. The
もちろん、撮影状況データは、上記全ての項目を含んでいる必要はなく、一部の項目は省略されても良い。また撮影状況データは照度センサの検出値、すなわち外部照度を含んでいても良い。撮影状況データは、部分画像のメタデータとして部分画像に埋め込まれていても良い。撮影状況データは、図6に示すように、テキスト化されて部分画像に埋め込まれていてもよい。撮影状況データは部分画像とは別ファイルで保存されても良い。その場合、各部分画像には、撮影状況データとの対応付けを容易とするために、部分画像番号、撮影時刻、及び撮影位置座標の一部が埋め込まれていることが好ましい。 Of course, the shooting situation data need not include all of the above items, and some items may be omitted. The shooting situation data may also include the detection value of the illuminance sensor, that is, the external illuminance. The shooting situation data may be embedded in the partial image as metadata of the partial image. The shooting situation data may be converted into text and embedded in the partial image, as shown in FIG. The shooting situation data may be saved in a separate file from the partial image. In this case, it is preferable that a part of the partial image number, the shooting time, and the shooting position coordinates are embedded in each partial image in order to facilitate association with the shooting situation data.
点検処理部F47としてのカメラECU1は、図28に示すように、同一地点で撮影された部分画像同士を比較することにより、点検対象物としての標識の破損等を検出する。図28では、上方標識の一部が変形した場合を例示している。図28の(A)は過去画像を、(B)は最新画像を示している。なお、ここでの同一地点とは、完全同一に限定されず、0.5mや1.0m程度の誤差があっても良い。
As shown in FIG. 28, the
図29はカメラECU1の作動例の一例を説明するためのフローチャートであって、ステップS31~S38を含みうる。図29に示す処理フローは例えば、車両の走行用電源がオン、かつ、第2記録モードに設定されている状態においてサンプリング間隔で実施される。
FIG. 29 is a flowchart for explaining an example of the operation of the
ステップS31は、ベース画像取得部F41が映像信号をもとに、部分画像抽出用の画像フレームを取得するステップである。ステップS32は関心領域切出部F42が、ステップS31で取得された画像フレームから部分画像を切り出すステップである。ステップS33は、カメラECU1が、今回取得した部分画像を他の時刻に生成された部分画像と連結保存するステップである。その際、撮影状況データが部分画像と紐付けられて保存用メモリ15に保存される。
Step S31 is a step in which the base image acquisition unit F41 acquires an image frame for partial image extraction based on the video signal. Step S32 is a step in which the region-of-interest clipping unit F42 clips a partial image from the image frame acquired in step S31. Step S33 is a step in which the
ステップS33は、ステップS32で生成された部分画像に点検対象物(ここでは上方標識)が含まれているか否かを判断するステップである。当該ステップは点検処理部F47が認識処理部F45と協働することによって実施される。今回のステップS32で生成された部分画像が最新画像に相当する。 Step S33 is a step of determining whether or not the partial image generated in step S32 includes an inspection object (in this case, an upper sign). This step is carried out by the inspection processing unit F47 cooperating with the recognition processing unit F45. The partial image generated in step S32 this time corresponds to the latest image.
ステップS34は最新画像に点検対象物が含まれているか否かを判断するステップに相当する。カメラECU1は、最新画像から点検対象物を検出できなかった場合(S34 NO)、本フローを終了する。一方、カメラECU1は、最新画像から点検対象物を検出できた場合(S34 YES)、後続の処理(ステップS35以降)を実行する。
Step S34 corresponds to a step of determining whether or not the latest image includes an object to be inspected. Camera ECU1 ends this flow, when an inspection subject is not able to be detected from the newest picture (S34 NO). On the other hand, when the inspection object can be detected from the latest image (S34 YES), the
ステップS35は、保存用メモリ15を参照し、現在位置で過去に撮影された部分画像を過去画像として読み出すステップである。なお、自車両が現在位置を初めて通る場合など、過去画像の探索結果として、過去画像が発見されなかった場合には本フローは終了されればよい。
Step S35 is a step of referring to the
ステップS36は、最新画像と過去画像とを比較し、点検対象物の形状に差異があるか否かを判断するステップである。画像比較は、形状の違いのみを検出するものであってもよいし、色の違いを検出するものであってもよい。色の違いを検出する構成によれば、サビの発生/拡大や落書きなどを検出可能となりうる。画像比較に基づく差異検出は、過去画像を基準(見本)として、点検対象物に異常が生じているか否かを判断する処理に相当する。そのため、当該処理は、画像診断処理と呼ぶこともできる。 Step S36 is a step of comparing the latest image and the past image and determining whether or not there is a difference in the shape of the object to be inspected. The image comparison may detect only the difference in shape, or may detect the difference in color. According to the configuration for detecting the difference in color, it may be possible to detect occurrence/expansion of rust, graffiti, and the like. Difference detection based on image comparison corresponds to processing for determining whether or not an abnormality has occurred in an inspection target using a past image as a reference (sample). Therefore, the processing can also be called image diagnosis processing.
カメラECU1は最新画像と過去画像の比較によって差異を検出した場合(ステップS37 YES)、異常通知処理を実施する(ステップS38)。異常通知処理は、表示装置6又はスピーカ7を用いて点検対象物の異常をドライバに通知する処理であってもよいし、点検対象物の異常を検出したことを示す信号を特定のサーバに無線送信する処理であってもよい。点検対象物の異常には、破損の他、汚れの付着、所定値以上の傾斜なども含まれうる。
When the
なお、最新画像又は過去画像の先行車フラグがオンである場合には、点検対象物がオクルージョンによって本来の姿で写っていない可能性がある。そのような事情から、カメラECU1は、最新画像又は過去画像の何れかにおいて先行車フラグがオンになっている場合、画像診断処理を省略しても良い。当該構成によれば、オクルージョンによって最新画像/過去画像が点検対象物の一部が欠けた画像となっている場合に、点検対象物に異常が生じていると誤判断するおそれを低減できる。他方、先行車の有無によらず、点検対象物が写り込んでいる全ての最新画像に対しての画像診断を行う構成は、異常の可能性がある設備を見逃すおそれを抑制できるといった利点を有する。先行車フラグがオンに設定されている際のカメラECU1の応答方針は、ドライバが設定変更可能に構成されていてよい。
Note that if the preceding vehicle flag of the latest image or past image is on, there is a possibility that the inspection object is not shown in its original form due to occlusion. Under such circumstances, the
その他、カメラECU1は、先行車フラグがオンに設定されている最新画像又は過去画像を用いた画像診断処理の結果として設備の異常を検出した場合、当該診断結果が不確かな診断結果であることを、診断結果と合わせてドライバ/サーバに通知してもよい。
In addition, when the
以上では、点検対象物が切出領域CRに写り込んでいるか否かに関わらず、部分画像を連結保存していく態様について述べたが、これに限らない。カメラECU1は、点検対象物が切出領域CRに写り込んでいる場合にのみ、連結保存を行うように構成されていても良い。例えば、ステップS33とステップS34の実行順序は入れ替えられても良い。当該構成によれば、設備の点検には関係しない部分画像が保存されることを抑制できる。
In the above description, the aspect of linking and saving the partial images regardless of whether or not the inspection object is reflected in the cutout region CR has been described, but the present invention is not limited to this. The
前述の通り、点検対象物は、上方標識に限らず、側方標識や電柱などであってもよい。側方標識や電柱が点検対象物に設定されている場合、切出方向は縦、切出領域CRは画像フレームの左端付近、又は右端付近に設定されうる。一時停止線などの路面標示が点検対象物に設定されている場合、切出方向は横、切出領域は下半分などに設定されれば良い。切出方向及び切出領域は、画像フレームにおいて点検対象物が映り込むと想定される部分を包含するように設定されれば良い。 As described above, inspection objects are not limited to upper signs, but may be side signs, utility poles, and the like. When a side sign or a utility pole is set as the inspection object, the cropping direction can be set vertically, and the cropping region CR can be set near the left end or near the right end of the image frame. When a road marking such as a stop line is set as an object to be inspected, the cropping direction may be set to the horizontal, and the cropping area may be set to the lower half. The cut-out direction and cut-out region may be set so as to include a portion of the image frame in which the inspection target is assumed to appear.
<変形例(7)>
上記変形例(6)では、最新画像に上方標識が含まれていることを検出できた場合に、画像診断等を行う態様について述べたが、画像診断の実施条件はこれに限定されない。カメラECU1は、図30に示すように、事前登録されている点検地点に自車両が到達した場合に、最新画像としての部分画像の取得、保存、及び、画像診断処理を実施するように構成されていても良い。点検地点は、点検対象物がカメラ2の切出領域CRに映り込むはずの地点である。
<Modification (7)>
In the modified example (6) above, an aspect has been described in which image diagnosis or the like is performed when it is possible to detect that an upper marker is included in the latest image, but the conditions for performing image diagnosis are not limited to this. As shown in FIG. 30, the
便宜上、点検地点のリストが登録された記憶媒体を点検地点記憶部と称する。本変形例のカメラECU1は、点検地点記憶部を備えており、当該点検地点記憶部に保存されているデータに基づいて、画像診断にかかる一連の処理を実施する。点検地点記憶部は、ストレージ13が備える記憶領域の一部を用いて実現されていてもよいし、ストレージ13とは独立した記憶装置であってもよい。点検地点は、カメラECU1のストレージ13にプログラムの一部としてストレージ13に登録されていてもよい。
For convenience, the storage medium in which the list of inspection points is registered is called an inspection point storage unit. The
なお、点検地点は、点検対象物の設置位置に応じて定まる。点検地点は、点検対象物から所定距離手前の地点となりうる。そのため、カメラECU1は、点検地点の位置座標を直接的に示すデータの代わりに、設備設置箇所を示すデータを備えていても良い。その場合、カメラECU1は、設備設置箇所とカメラ2の画角に基づいて、点検地点を算出し、図30に示すフローを実施しても良い。設備設置箇所を示すデータは、点検地点の位置座標を間接的に示すデータに相当する。
Note that the inspection point is determined according to the installation position of the inspection object. The inspection point can be a point a predetermined distance before the inspection object. Therefore, the
なお、図30に示すフローチャートはステップS41~S48を含む。ステップS41は自車両の現在位置が点検地点と一致しているか否かを判定するステップである。ここでの一致は完全一致に限定されず、0.5mや1.0mなど、所定量の誤差を許容しうる。つまりここでの一致は略一致を許容しうる。ステップS42~S48は、前述のステップS31~S33,S35~S38と同様である。 The flowchart shown in FIG. 30 includes steps S41 to S48. Step S41 is a step for determining whether or not the current position of the vehicle matches the inspection point. Matching here is not limited to perfect matching, and a given amount of error, such as 0.5 m or 1.0 m, can be allowed. In other words, the match here can allow approximate match. Steps S42 to S48 are the same as steps S31 to S33 and S35 to S38 described above.
ところで、上記変形例(6)、(7)では、カメラECU1が画像診断処理を実施する構成について述べたが、画像診断処理は外部サーバが実施しても良い。カメラECU1は、定期的に/点検対象物検出時に/点検地点到達時に取得した部分画像を連結させてなる連結画像データを、所定のタイミングで外部サーバに送信し、サーバが当該連結画像データをもとに画像診断処理を行っても良い。
By the way, in the modified examples (6) and (7), the configuration in which the
また、以上では、カメラECU1やサーバといったコンピュータが画像診断を自動的に行う場合について例示したが、画像診断は作業員が目視にて実施しても良い。例えば作業員は、同一の道路区間を走行した際の、過去の連結画像と現在の連結画像とを見比べることで、点検対象物の異常の有無を判断しても良い。点検処理部F47は、同一地点で撮影された最新画像と過去画像を表示装置6に並べて表示する構成であっても良い。点検処理部F47の機能は任意の要素であって、省略されても良い。
In the above description, a computer such as the
その他、最新画像の比較対象とする過去画像は、位置情報だけでなく、進行方向(車体姿勢)も略一致しているものであることが好ましい。また、自車両の位置及び姿勢の同一性だけでなく、天候や時間帯などが一致している画像同士を比較することが好ましい。点検処理部F47は、最新画像の比較対象として、なるべく撮影状況の類似度が高い過去画像を採用することにより、点検対象物の状態を誤判断するおそれを低減できる。 In addition, it is preferable that the past images to be compared with the latest image substantially match not only the position information but also the traveling direction (vehicle posture). In addition, it is preferable to compare images in which not only the position and posture of the own vehicle are the same, but also the weather and the time of day are the same. The inspection processing unit F47 can reduce the possibility of erroneously judging the state of the inspection object by using a past image with a high degree of similarity in photographing conditions as much as possible as a target for comparison with the latest image.
<付言>
本開示に記載の装置、システム、並びにそれらの手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。また、本開示に記載の装置及びその手法は、専用ハードウェア論理回路を用いて実現されてもよい。さらに、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。例えばプロセッサ11が備える機能の一部又は全部はハードウェアとして実現されても良い。或る機能をハードウェアとして実現する態様には、1つ又は複数のICなどを用いて実現する態様が含まれる。プロセッサ(演算コア)としては、CPUや、MPU、GPU、DFP(Data Flow Processor)などを採用可能である。また、プロセッサ11が備える機能の一部又は全部は、複数種類の演算処理装置を組み合わせて実現されていてもよい。プロセッサ11が備える機能の一部又は全部は、システムオンチップ(SoC:System-on-Chip)や、FPGA、ASICなどを用いて実現されていても良い。FPGAはField-Programmable Gate Arrayの略である。ASICはApplication Specific Integrated Circuitの略である。
<Additional notes>
The apparatus, systems, and techniques described in the present disclosure may be implemented by a special purpose computer comprising a processor programmed to perform one or more functions embodied by the computer program. . The apparatus and techniques described in this disclosure may also be implemented using dedicated hardware logic. Additionally, the apparatus and techniques described in this disclosure may be implemented by one or more special purpose computers configured in combination with a processor executing a computer program and one or more hardware logic circuits. For example, some or all of the functions provided by the
また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体(non- transitory tangible storage medium)に記憶されていてもよい。プログラムの保存媒体としては、HDD(Hard-disk Drive)やSSD(Solid State Drive)、フラッシュメモリ等を採用可能である。本開示には、コンピュータを上記車両用記録装置として動作させるためのコンピュータプログラム、及び当該コンピュータプログラムが保存された記録媒体も含まれる。 Computer programs may also be stored as computer-executable instructions on a computer-readable, non-transitory tangible storage medium. A HDD (Hard-disk Drive), an SSD (Solid State Drive), a flash memory, or the like can be used as a program storage medium. The present disclosure also includes a computer program for causing a computer to operate as the vehicle recording device, and a recording medium storing the computer program.
1 カメラECU(車両用記録装置)、2 カメラ、2A 前方カメラ、2B 後方カメラ、2C 左カメラ、2D 右カメラ、3 入力装置、4 車載センサ、5 車載ECU、11 プロセッサ、12 RAM、15 保存用メモリ(記憶媒体)、F1 映像取得部、F2 操作受付部、F3 車両状態取得部、F4 データ処理部、F41 ベース画像取得部(画像取得部)、F42 関心領域切出部(切出部)、F43 連結処理部、F44 保存処理部、F45 認識処理部、F46 画像加工部、F47 点検処理部、CR 切出領域、PI 部分画像、CI 連結画像、CPI カメラ統合部分画像、RP 車両水平面、Mk マーカー 1 camera ECU (vehicle recording device), 2 camera, 2A front camera, 2B rear camera, 2C left camera, 2D right camera, 3 input device, 4 vehicle sensor, 5 vehicle ECU, 11 processor, 12 RAM, 15 storage memory (storage medium), F1 image acquisition unit, F2 operation reception unit, F3 vehicle state acquisition unit, F4 data processing unit, F41 base image acquisition unit (image acquisition unit), F42 region of interest cutout unit (cutout unit), F43 connection processing unit, F44 storage processing unit, F45 recognition processing unit, F46 image processing unit, F47 inspection processing unit, CR clipping area, PI partial image, CI connected image, CPI camera integration partial image, RP vehicle horizontal plane, Mk marker
Claims (17)
前記映像取得部が取得した前記映像信号をもとに生成される画像フレームを所定のサンプリング間隔で順次取得する画像取得部(F41)と、
前記画像取得部が取得した前記画像フレームから、切出領域として設定されている行範囲又は列範囲を部分画像(PI)として切り出す切出部(F42)と、
前記画像フレームから前記部分画像を切り出す方向である切出方向とは直交する方向に、前記切出部が切出した複数の前記部分画像を時系列順に連結させる連結処理部(F43)と、
前記連結処理部が生成する、複数の前記部分画像が連なった画像である連結画像(CI)を、前記連結画像を所定の記憶媒体(15)に保存する保存処理部(F44)と、を備える車両用記録装置。 A video acquisition unit (F1) that acquires a video signal from a camera installed in the vehicle;
an image acquisition unit (F41) that sequentially acquires image frames generated based on the video signal acquired by the video acquisition unit at predetermined sampling intervals;
a clipping unit (F42) for clipping, as a partial image (PI), a row range or a column range set as a clipping region from the image frame acquired by the image acquiring unit;
a connection processing unit (F43) that connects the plurality of partial images cut out by the cutout unit in chronological order in a direction orthogonal to a cutout direction, which is a direction in which the partial images are cut out from the image frame;
a storage processing unit (F44) for storing a connected image (CI), which is an image in which a plurality of partial images are connected, generated by the connection processing unit, in a predetermined storage medium (15); Vehicle recording device.
前記切出部は、前記部分画像として、前記画像フレームにおける所定の行範囲を含むように、前記画像フレームを横方向に切り出し、
前記連結処理部は、前記部分画像を縦方向に連結するように構成されている車両用記録装置。 The vehicle recording device according to claim 1,
The clipping unit laterally clips the image frame so as to include a predetermined line range in the image frame as the partial image,
The vehicular recording apparatus, wherein the connection processing unit is configured to vertically connect the partial images.
前記部分画像の縦方向の長さは一定に設定されている車両用記録装置。 The vehicle recording device according to claim 2,
A recording apparatus for a vehicle, wherein the vertical length of the partial image is set to be constant.
前記切出部は、前記部分画像として、前記画像フレームにおける所定の列範囲を含むように、前記画像フレームを縦方向に切り出し、
前記連結処理部は、前記部分画像を横方向に連結するように構成されている車両用記録装置。 The vehicle recording device according to claim 1,
The clipping unit vertically clips the image frame so as to include a predetermined row range in the image frame as the partial image,
The vehicular recording apparatus, wherein the connection processing unit is configured to horizontally connect the partial images.
前記部分画像の横方向の長さは一定に設定されている車両用記録装置。 The vehicle recording device according to claim 4,
A recording apparatus for a vehicle, wherein the horizontal length of the partial image is set constant.
前記映像信号が形成する画像から対象物を認識する認識処理部(F45)と、
前記映像信号が形成する画像に対して、前記対象物の認識状態を示す画像であるマーカー(Mk)を重畳させた画像を生成する画像加工部(F46)と、を備え、
前記画像取得部は、前記マーカーが重畳された画像を前記画像フレームとして取得し、
前記切出部は、前記画像取得部が取得した前記画像フレームの前記切出領域上に、前記マーカーが配置されている場合には、当該マーカーの一部又は全体を含む領域を前記部分画像として切り出すように構成されている車両用記録装置。 The vehicle recording device according to claim 1,
a recognition processing unit (F45) that recognizes an object from an image formed by the video signal;
An image processing unit (F46) that generates an image in which a marker (Mk), which is an image indicating the recognition state of the object, is superimposed on the image formed by the video signal,
The image acquisition unit acquires an image on which the marker is superimposed as the image frame,
When the marker is placed on the clipped region of the image frame acquired by the image acquiring unit, the clipping unit selects a region including part or all of the marker as the partial image. A vehicle recording device configured to cut out.
前記映像信号が示す画像に対して所定の加工処理を施した画像である加工画像を生成する画像加工部(F46)を備え、
前記画像取得部は、前記加工画像を前記画像フレームとして前記サンプリング間隔で取得し、
前記切出部は、前記加工画像の所定範囲を前記部分画像として切り出すように構成されている車両用記録装置。 The vehicle recording device according to claim 1,
An image processing unit (F46) that generates a processed image that is an image obtained by subjecting the image indicated by the video signal to predetermined processing,
The image acquisition unit acquires the processed image as the image frame at the sampling interval,
The vehicular recording apparatus, wherein the clipping section is configured to clip a predetermined range of the processed image as the partial image.
前記映像取得部は、車外を撮像するように設置されている複数の前記カメラのそれぞれから前記映像信号を取得し、
前記画像加工部は、複数の前記カメラの映像を組み合わせた合成画像を生成し、
前記画像取得部は、前記合成画像を前記サンプリング間隔で前記画像フレームとして取得し、
前記切出部は、前記画像フレームとしての前記合成画像の所定範囲を、前記部分画像として切り出し、
前記連結処理部は、生成時刻が異なる複数の前記合成画像を元にする、複数の前記部分画像を時系列順に連ねた画像を前記連結画像として生成するように構成されている車両用記録装置。 The vehicle recording device according to claim 7,
The video acquisition unit acquires the video signal from each of the plurality of cameras installed to capture images outside the vehicle,
The image processing unit generates a composite image by combining videos of the plurality of cameras,
The image acquisition unit acquires the composite image as the image frame at the sampling interval,
The clipping unit clips a predetermined range of the composite image as the image frame as the partial image,
The connection processing unit is configured to generate, as the connected image, an image in which the plurality of partial images are linked in chronological order based on the plurality of synthesized images generated at different times.
前記映像取得部は、車両に設置されている複数のカメラのそれぞれから前記映像信号を取得し、
前記画像取得部は、前記サンプリング間隔で前記カメラごとの前記画像フレームを取得し、
前記切出部は、前記カメラごとに前記部分画像を生成し、
前記連結処理部は、
撮影時刻が同一の前記カメラごとの前記部分画像を前記切出方向に所定順に結合したカメラ統合部分画像(CPI)を生成することと、
前記カメラ統合部分画像を前記切出方向とは直交する方向に時系列順に結合することにより前記連結画像を生成することと、を実行するように構成されている車両用記録装置。 The vehicle recording device according to claim 1,
The video acquisition unit acquires the video signal from each of a plurality of cameras installed in the vehicle,
The image acquisition unit acquires the image frame for each camera at the sampling interval,
The clipping unit generates the partial image for each camera,
The connection processing unit is
generating a camera-integrated partial image (CPI) by combining the partial images of the cameras having the same photographing time in a predetermined order in the extraction direction;
and generating the connected image by combining the camera-integrated partial images in a direction orthogonal to the extraction direction in chronological order.
前記カメラは、車両の高さ方向に直交する平面である車両水平面(RP)から20°以上、下向きとなる方向を撮像範囲に含むように前記車両に取り付けられたカメラであって、
前記切出領域は、前記画像フレームにおいて路面が映りうる領域に設定されている車両用記録装置。 The vehicle recording device according to any one of claims 1,
The camera is mounted on the vehicle so that the imaging range includes a direction downward by 20° or more from the vehicle horizontal plane (RP), which is a plane perpendicular to the height direction of the vehicle,
The vehicular recording device, wherein the cut-out area is set to an area in which a road surface can be captured in the image frame.
前記カメラは、車両の高さ方向に直交する平面である車両水平面(RP)から10°以上、上向きとなる方向を撮像範囲に含むように取り付けられたカメラであって、
前記切出領域は、前記画像フレームにおいて空が映りうる領域に設定されている車両用記録装置。 The vehicle recording device according to claim 1,
The camera is mounted so that the imaging range includes an upward direction of 10° or more from the vehicle horizontal plane (RP), which is a plane perpendicular to the height direction of the vehicle,
The vehicular recording apparatus, wherein the cut-out area is set to an area in which the sky can be captured in the image frame.
前記サンプリング間隔は、走行シーン又は移動速度に応じて動的に変更される車両用記録装置。 The vehicle recording device according to any one of claims 1 to 11,
The recording device for vehicle, wherein the sampling interval is dynamically changed according to the driving scene or moving speed.
前記切出部は、前記画像フレームのうち、所定の点検対象物が映り込むことが期待される所定領域を前記部分画像として切り出すように設定されており、
前記保存処理部は、
撮影状況を示すデータを車載センサからの入力に基づき取得することと、
前記撮影状況を示すデータを前記部分画像と対応付けて保存することと、を実施する車両用記録装置。 The vehicle recording device according to any one of claims 1 to 11,
The clipping unit is set to clip a predetermined area in which a predetermined inspection object is expected to be reflected in the image frame as the partial image,
The storage processing unit
Acquiring data indicating shooting conditions based on input from an in-vehicle sensor;
and storing the data indicating the photographing situation in association with the partial image.
前記部分画像をもとに所定の点検対象物の異常を検出する点検処理部(F47)を備え、
前記点検処理部は、前記撮影状況が一致する2つの前記部分画像のうちの新しい方の前記部分画像である最新画像と、古い方の前記部分画像である過去画像とを比較することで前記点検対象物の異常を検出する、車両用記録装置。 The vehicle recording device according to claim 13,
An inspection processing unit (F47) that detects an abnormality of a predetermined inspection object based on the partial image,
The inspection processing unit performs the inspection by comparing the latest image, which is the newer partial image of the two partial images in which the photographing conditions match, with the past image, which is the older partial image. A recording device for vehicles that detects anomalies in objects.
前記点検処理部は、
前記切出部が生成した前記部分画像に前記点検対象物が写っているか否かを画像認識によって判断し、
前記切出部にて前記点検対象物が写っている前記部分画像が生成された場合に、当該部分画像を最新画像として、前記過去画像との比較を試行するように構成されている車両用記録装置。 The vehicle recording device according to claim 14,
The inspection processing unit
judging by image recognition whether or not the inspection object is reflected in the partial image generated by the cutout unit;
Vehicle recording configured to try to compare the partial image with the past image as the latest image when the partial image including the inspection object is generated by the cutting unit. Device.
前記点検対象物が前記切出領域に映り込む地点である点検地点を直接的にまたは間接的に示すデータが登録された記憶媒体である点検地点記憶部を備え、
前記点検処理部は、
前記点検地点記憶部に登録されている前記データに基づいて、現在位置が前記点検地点か否かを判断し、
現在位置が前記点検地点である場合に、現在位置で生成された前記部分画像を最新画像として、前記過去画像との比較を試行するように構成されている車両用記録装置。 The vehicle recording device according to claim 14,
an inspection point storage unit, which is a storage medium in which data directly or indirectly indicating an inspection point, which is a point where the inspection object is reflected in the cut-out area, is registered;
The inspection processing unit
determining whether the current position is the inspection point based on the data registered in the inspection point storage unit;
A vehicular recording apparatus configured to try to compare the partial image generated at the current position as the latest image with the past image when the current position is the inspection point.
前記撮影状況は、位置座標に加えて、先行車の有無、先行車の大きさ、先行車の種別、及び先行車との車間距離の少なくとも何れか1つを含む車両用記録装置。 The vehicle recording device according to claim 13,
In addition to the position coordinates, the photographing situation includes at least one of the presence or absence of a preceding vehicle, the size of the preceding vehicle, the type of the preceding vehicle, and the inter-vehicle distance to the preceding vehicle.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021164189 | 2021-10-05 | ||
JP2021164189 | 2021-10-05 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023055204A true JP2023055204A (en) | 2023-04-17 |
Family
ID=85986147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022154047A Pending JP2023055204A (en) | 2021-10-05 | 2022-09-27 | Vehicle recording device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023055204A (en) |
-
2022
- 2022-09-27 JP JP2022154047A patent/JP2023055204A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108227703B (en) | Information processing apparatus and method, operated vehicle, and recording medium having program recorded thereon | |
JP6311646B2 (en) | Image processing apparatus, electronic mirror system, and image processing method | |
CN111201787B (en) | Imaging apparatus, image processing apparatus, and image processing method | |
WO2017042710A1 (en) | System and method for detecting objects in an automotive environment | |
US20100315214A1 (en) | Image processor, storage medium storing an image processing program and vehicle-mounted terminal | |
JP6398501B2 (en) | In-vehicle camera diagnostic device | |
JP2007228448A (en) | Imaging environment recognition apparatus | |
CN102458964A (en) | Camera system for use in vehicle parking | |
JP7486564B2 (en) | Enhanced navigation guidance by landmarks under difficult driving conditions | |
US11198398B2 (en) | Display control device for vehicle, display control method for vehicle, and storage medium | |
JP5365792B2 (en) | Vehicle position measuring device | |
JP7006235B2 (en) | Display control device, display control method and vehicle | |
EP3266014A1 (en) | A vehicle assistance system | |
CN113808418A (en) | Road condition information display system, method, vehicle, computer device and storage medium | |
JP2008097279A (en) | Vehicle exterior information display device | |
JP2006236094A (en) | Obstacle recognition system | |
JP6367531B2 (en) | OBE | |
JP2020088604A (en) | Travel control device, control method, and program | |
JP2023055204A (en) | Vehicle recording device | |
CN109070799B (en) | Moving body periphery display method and moving body periphery display device | |
CN115131749A (en) | Image processing apparatus, image processing method, and computer-readable storage medium | |
JP2021196826A (en) | Safety support system and onboard camera image analysis method | |
CN114868381A (en) | Image processing apparatus, image processing method, and program | |
CN105704438B (en) | Method and device for previewing road section in front of vehicle based on video and method and device for recording road section of vehicle based on video | |
JP6566067B2 (en) | Image processing device |