JP2023111990A - 情報記録装置 - Google Patents
情報記録装置 Download PDFInfo
- Publication number
- JP2023111990A JP2023111990A JP2023094609A JP2023094609A JP2023111990A JP 2023111990 A JP2023111990 A JP 2023111990A JP 2023094609 A JP2023094609 A JP 2023094609A JP 2023094609 A JP2023094609 A JP 2023094609A JP 2023111990 A JP2023111990 A JP 2023111990A
- Authority
- JP
- Japan
- Prior art keywords
- automatic driving
- state
- image
- vehicle
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001133 acceleration Effects 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 description 106
- 238000000034 method Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000881 depressing effect Effects 0.000 description 5
- 230000000994 depressogenic effect Effects 0.000 description 5
- 240000006829 Ficus sundaica Species 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000009420 retrofitting Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
- G07C5/0825—Indicating performance data, e.g. occurrence of a malfunction using optical means
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/167—Vehicle dynamics information
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/172—Driving mode indication
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/175—Autonomous driving
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/176—Camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/213—Virtual instruments
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/23—Head-up displays [HUD]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Chemical & Material Sciences (AREA)
- Automation & Control Theory (AREA)
- Combustion & Propulsion (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】移動体の外部の状況等を事後的に確認する場合等において、移動体の自動運転制御の状態と共に当該状況等を確認等することができるように画像等を記録する。
【解決手段】移動体の外部を該移動体から撮像した外部画像に相当する外部画像情報を取得し、移動体の自動運転制御の状態を示す自動運転情報を取得し、外部画像情報及び自動運転情報に基づいて、外部画像の少なくとも一部と、外部画像の撮影時刻における自動運転制御の状態を示す自動運転状態画像であって、移動体の加速が自動運転制御下にあるか否かを示す情報を含む自動運転状態画像とを同時に表示するための表示用情報を取得し、表示用情報を記録媒体に記録させる。
【選択図】図1
【解決手段】移動体の外部を該移動体から撮像した外部画像に相当する外部画像情報を取得し、移動体の自動運転制御の状態を示す自動運転情報を取得し、外部画像情報及び自動運転情報に基づいて、外部画像の少なくとも一部と、外部画像の撮影時刻における自動運転制御の状態を示す自動運転状態画像であって、移動体の加速が自動運転制御下にあるか否かを示す情報を含む自動運転状態画像とを同時に表示するための表示用情報を取得し、表示用情報を記録媒体に記録させる。
【選択図】図1
Description
本願は、自動運転が可能な移動体が置かれていた状況を示す情報、例えば移動体の外部を撮影した画像等を記録媒体に記録させる情報記録装置の技術分野に属する。
近年、例えば車両による移動中に事故等が発生した際の状況等を後から検証する等の目的に供させるべく、移動中の例えば車両の前方を撮像して記録するための、いわゆるドライブレコーダが一般化している。
当該検証に用いられる画像を撮像するドライブレコーダに関する先行技術としては、例えば下記特許文献1に記載されている先行技術がある。この先行技術においては、事故が発生したか否かを判断する際の閾値を車両の加速度が越えた場合、事故発生前に撮像された所定時間分の映像に対して、当該撮像時刻と同じ時刻に取得された高度データ及び勾配データを重畳して画像メモリに記録する構成とされている。
一方、特許文献2には、車両の各自動運転機能又は各自動運転レベルから車両の周囲の状況及び車両の運転状況の少なくとも一方に応じた自動運転機能又は自動運転レベルを自動的に選択し、車両の運転操作の一部又は全部を自動的に実施し、自動運転中の時刻とその時刻において選択された自動運転機能又は自動運転レベルとを記憶する自動運転システムが開示されている。
特許文献1に開示された技術により記録された映像は、事故車又はその運転者の過失責任分担の判定には有益である。その一方で、自動運転が可能な車両においては、自動運転中に事故が発生する場合がある。このような場合には、自動運転による運転操作が事故の原因となる場合があり、このことが運転者の過失の割合に影響を与えることがあり得る。しかしながら、特許文献1に開示された技術では、記録された映像からは、ドライバによる運転操作に事故原因があるのか、又は自動運転による運転操作に事故原因があるのかを判断することができない。
一方、特許文献2に開示された技術によれば、車両に事故や故障等が発生した場合に、その時点で如何なる自動運転機能又は自動運転レベルが選択されていたかを事後的に把握することはできる。しかしながら、このようなことが可能となるのは、車両自体に、選択された自動運転機能又は自動運転レベルを記憶することが可能なシステムが予め組み込まれているからである。車両に情報記録装置を後付けするような場合には、選択された自動運転機能又は自動運転レベルを車両から情報記録装置が直接取得することが困難な場合がある。
本願は、以上の点に鑑みてなされたものであり、その課題の一例は、移動体の外部の状況等を事後的に確認する場合等において、移動体の自動運転制御の状態と共に当該状況等を確認等することができるように画像等を記録することが可能な情報記録装置を提供することにある。
上記課題を解決するために、請求項1に記載の発明は、移動体の外部を該移動体から撮像した外部画像に相当する外部画像情報を取得する画像情報取得手段と、前記移動体の自動運転制御の状態を示す自動運転情報を取得する自動運転情報取得手段と、前記外部画像情報及び前記自動運転情報に基づいて、前記外部画像の少なくとも一部と、前記外部画像の撮影時刻における前記自動運転制御の状態を示す自動運転状態画像であって、前記移動体の加速が前記自動運転制御下にあるか否かを示す情報を含む自動運転状態画像とを同時に表示するための表示用情報を取得する表示用情報取得手段と、前記表示用情報を記録媒体に記録させる記録制御手段と、を備える情報記録装置であることを特徴とする。
先ず、本願を実施するための形態について、図1を用いて説明する。図1は、実施形態に係る情報記録装置の概要構成の一例を示すブロック図である。
図1に示すように、実施形態に係る情報記録装置Sは、画像情報取得手段1と、自動運転情報取得手段2と、表示用情報取得手段3と、記録媒体SDに接続される記録手段4と、を備えて構成されている。
この構成において画像情報取得手段1は、移動体の外部を該移動体から撮像した外部画像に相当する外部画像情報を取得する。移動体の例として、車両、自動二輪車、自転車、航空機、及び船舶等が挙げられる。
自動運転情報取得手段2は、上記移動体の自動運転制御の状態を示す自動運転情報を取得する。
表示用情報取得手段3は、画像情報取得手段1により取得された外部画像情報及び自動運転情報取得手段2により取得された自動運転情報に基づいて、外部画像の少なくとも一部と、外部画像の撮影時刻における移動体の自動運転制御の状態を示す自動運転状態画像とを同時に表示するための表示用情報を取得する。
記録手段4は、表示用情報取得手段3により取得された表示用情報を記録媒体に記録させる。
以上説明したように、実施形態に係る情報記録装置Sの動作によれば、移動体から外部を撮像した外部画像に相当する外部画像情報と、自動運転制御の状態を示す自動運転情報と、に基づいて、外部画像の少なくとも一部と、外部画像の撮影時刻における移動体の自動運転制御の状態を示す自動運転状態画像とを同時に表示するための表示用情報を取得し、該表示用情報を記録媒体SDに記録させる。よって、移動体の外部の状況等を事後的に確認する場合等において、移動体の自動運転制御の状態と共に当該状況等を確認等することができるように画像等を記録することができる。
次に、上述した実施形態に対応する具体的な実施例について、図2乃至図4を用いて説明する。なお以下に説明する実施例は、車両に搭載されたドライブレコーダにおける画像データ等の記録処理に対して実施形態を適用した場合の実施例である。図2は、実施例に係るドライブレコーダの概要構成の一例を示すブロック図である。図3は、実施例に係るドライブレコーダにおける表示画像データの記録処理の一例を示すフローチャートである。図4は、実施例に係るドライブレコーダによる記録処理により記録される画像を例示する図である。
実施例に係るドライブレコーダは、当該ドライブレコーダが搭載されている車両の前方風景を撮影可能に、当該車両の室内に設置される。なお以下の説明において、実施例に係るドライブレコーダが用いられる車両を、単に「自車両」と称する。自車両は、自動運転対応した車両である。自車両に搭載された自動運転制御システムにより、自車両の加速、操舵及び制動の少なくとも何れか1つの自動操作が行われる。自車両は、複数の自動運転レベルに対応している。複数の自動運転レベルは、例えば以下の通りに定義される。
レベル0:加速、操舵及び制動の全ての操作をドライバが行う状態である。
レベル1:加速、操舵及び制動の何れか1つの操作を自動運転制御システムが行う状態である。
レベル2:加速、操舵及び制動のうち何れか2つの操作を自動運転制御システムが行う状態である。
レベル3:加速、操舵及び制動の全ての操作を自動運転制御システムが行い、自動運転制御システムが要請した場合にドライバが操作を行う状態である。
レベル4:加速、操舵及び制動の全ての操作を自動運転制御システムが行い、ドライバは運転には全く関与しない状態である。
なお、自動運転レベルの定義は、上述したレベル0~4に限定されるものではない。また、自動運転レベルの数は5段階に限定されるものではない。
実施例に係るドライブレコーダDRは、図2に示すように、操作ボタンやタッチパネル等からなる操作部11、種々の情報を出力するディスプレイ18及び必要な操作案内音声等を放音するスピーカ19を備えている。これらに加えて実施例に係るドライブレコーダDRは、CPU、ROM(Read Only Memory)及びRAM(Random Access Memory)等からなり且つドライブレコーダDR全体を制御してその機能を発揮させる処理部9と、SSD(Solid State Drive)等からなる記憶部10と、例えばCMOS(Complementary Metal-Oxide-Semiconductor)撮像素子等からなるカメラ12と、SSD等からなる地図データ記録部13と、GPS(Global Positioning Sensor)センサ14と、加速度センサ15と、マイク16と、車両インターフェース17と、振動センサ20と、例えば着脱式のSD(Secure Digital)カード等であるメモリSDと、カメラ12、地図データ記録部13、GPSセンサ14、加速度センサ15、マイク16、車両インターフェース17及び振動センサ20と処理部9とを接続するインターフェース21と、により構成されている。また処理部9は、画像処理部22と、記録部23と、により構成されている。これら画像処理部22及び記録部23は、処理部9を構成する上記CPU等を含むハードウェアロジック回路により実現されてもよいし、後述する実施例に係る表示画像データの記録処理に相当するプログラムを当該CPUが読み出して実行することにより、ソフトウェア的に実現されるものであってもよい。
このとき、インターフェース21が実施形態に係る画像情報取得手段1の一例及び自動運転情報取得手段2の一例にそれぞれ相当し、画像処理部22が実施形態に係る表示用情報取得手段3の一例に相当する。また、記録部23が実施形態に係る情報記録装置Sの記録手段4の一例に相当し、メモリSDが実施形態に係る記録媒体SDの一例に相当する。そして、インターフェース21、画像処理部22及び記録部23により、実施形態に係る情報記録装置Sの一例を構成している。
以上の構成において操作部11は、ドライブレコーダDRの一部に操作ボタンやタッチパネル等により構成されており、使用者による操作を受け付けて当該操作に対応する操作信号を処理部9に出力する。またディスプレイ18は、処理部9の制御の下、ドライブレコーダDRの機能として使用者に提示すべき情報を、例えば画像又はアイコン等を用いて表示する。更にスピーカ19は、処理部9の制御の下、ドライブレコーダDRの機能発揮のために必要な操作案内音声等を放音する。
次にカメラ12は自車両の外部を撮像する。例えばカメラ12は、自車両の移動方向前方を含む周囲をその撮像範囲としている。そしてカメラ12は、当該撮像範囲内を撮像した外部画像に相当する撮像データを生成し、インターフェース21を介して処理部9の画像処理部22に出力する。実施例においてこの外部画像は動画像であるが、外部画像は静止画であってもよい。一方地図データ記録部13は、地図データとして、一般的な道路データや交差点データを記録している。地図データ記録部13は、画像処理部22からの要求に応じて、インターフェース21を介して道路データ等の地図データを画像処理部22に出力する。
一方GPSセンサ14は、図示しない航法衛星からの航法電波を受信した結果に基づいて、ドライブレコーダDRの現在位置を示す位置データを、インターフェース21を介して画像処理部22に出力する。ここで当該ドライブレコーダDRの現在位置は、換言すれば自車両の現在位置でもある。次に加速度センサ15は、自車両に印加される加速度を、例えば自車両の進行方向、左右方向及び鉛直方向についてそれぞれ検出し、その検出結果としての加速度データを、インターフェース21を介して画像処理部22に出力する。画像処理部22は、自車両の現在位置と道路データ等に基づいて、自車両周辺の地図画像や自車両を目的地に誘導するためのナビゲーション画像を生成してディスプレイ18に出力してもよい。
他方マイク16は、自車両の例えば車内の音又は音声を集音し、その集音結果としての音声データを、インターフェース21を介して画像処理部22に出力する。このとき、マイク16が自車両の車外の音又は音声を集音できるものであってもよい。振動センサ20は、自車両の運転席等の座席の振動を検出する。そして車両インターフェース17は、例えばCAN(Controller Area Network)等の車内ネットワークを介して、自動運転制御の状態を示す自動運転データを取得し、インターフェース21を介して画像処理部22に出力する。自動運転制御の状態とは、例えば加速、操舵及び制動のうち何れの制御対象が自動運転制御下にあるか、或いは何れの自度運転レベルにて自動運転制御が行われているかである。
画像処理部22は、インターフェース21を介してそれぞれ取得された撮像データ及び自動運転データ等に基づいて、外部画像の少なくとも一部と、この外部画像の撮影時刻における自動運転制御の状態を示す自動運転制御状態画像とを同時に表示するための表示画像データを取得する。記録部23は、画像処理部22により取得された表示画像データをメモリSDに記録させる。この場合に記録部23は、当該表示画像データを汎用のフォーマットによりメモリSDに記録する。なお汎用のフォーマットとは、例えば、MP4(Moving Picture 4)フォーマット、AVI(Audio video Interleave)フォーマット又はMOVフォーマット等である。また画像処理部22及び記録部23は、表示画像データのメモリSDへの記録と並行して、対応する表示画像データに同期させて音声データをメモリSDに記録する。そしてメモリSDに記録された表示画像データ及び音声データ等は、例えば事故等の事後検証等時に、外部の図示しない再生装置等により表示又は再生される。
次に、上述した構成を備える実施例に係るドライブレコーダDRにおいて画像処理部22を中心として実行される、実施例に係る表示画像データの記録処理について、図3を用いて説明する。
表示画像データの記録処理は、例えば、ドライブレコーダDRの電源がオンされたタイミングで開始される。
画像処理部22は、初めに、インターフェース21を介して撮像データを取得する。このとき、インターフェース21は、情報記録装置Sの画像情報取得手段1として機能する。すなわち、インターフェース21は、カメラ12により撮影された外部画像の撮像データを取得して画像処理部22へ出力する(ステップS10)。
次いで、画像処理部22は、インターフェース21を介して自動運転データ等を取得する。自動運転データは、加速、操舵及び制動のそれぞれの操作が自動及び手動の何れであるかを示すデータであってもよいし、自動運転レベルを示すデータであってもよい。このとき、インターフェース21は、情報記録装置Sの自動運転情報取得手段2として機能する。すなわち、インターフェース21は、車両インターフェース17を介して自動運転データ、現在日時、走行速度、及び自車両の現在位置の情報を取得して画像処理部22へ出力する(ステップS20)。
次いで、画像処理部22は、ステップS10及びS20で取得された情報に基づいて、メモリSDに記録する表示画像データの生成処理等を行う。例えば、画像処理部22は、自動運転データ等に基づいて、現在の自動運転制御の状態を示す自動運転制御状態画像を生成する。すなわち、画像処理部22は、情報記録装置Sの表示用情報取得手段3として機能する。画像処理部22は、自動運転制御の状態に加えて、現在日時、走行速度、及び自車両の現在位置等の、自車両が置かれている状況を示す情報の少なくとも何れか1つを示すように、自動運転制御画像を生成してもよい。画像処理部22は、例えば画像合成により外部画像内に、この外部画像の撮影時刻における自動運転制御の状態を示す自動運転制御状態画像を埋め込むことで表示画像データを生成してもよい。或いは、画像処理部22は、外部画像と、この外部画像の撮影時刻における自動運転制御の状態を示す自動運転制御状態画像とを別々のレイヤとして含む表示画像データを生成してもよい。画像処理部22は、生成した表示画像データを一時的に処理部9のRAM等に記憶する(ステップS30)。
そして、記録部23は、加速度センサ15が所定値より大きい加速度を検出した場合、このような加速度が検出されたタイミングの前後所定時間に取得されて一時的にRAM等に記憶されていた表示画像データを、記録情報として記録媒体SDに記録させる。すなわち、記録部23は、情報記録装置Sの記録手段4として機能する。所定値より大きい加速度を検出した場合、自車両の急制動が行われたり自車両に衝撃が加わったりした蓋然性がある。所定値より大きい加速度が検出されていない場合は、記録媒体SDへの記録は行われない(ステップS40)。なお、記録部23は、所定値より大きい加速度が検出された場合に加えて、自動運転レベルが変化した場合に表示画像データをメモリSDに記録させてもよい。
その後画像処理部22は、ドライブレコーダDRの上記電源がオフとされる等により実施例に係る表示画像データの記録処理を終了するか否かを判定する(ステップS50)。ステップS50の判定において当該記録処理を終了する場合(ステップS50:YES)、画像処理部22は、そのまま当該処理を終了する。一方ステップS50の判定において、当該記録処理を継続する場合(ステップS50:NO)、画像処理部22は上記ステップS10に戻って、上述してきた各処理を繰り返す。
次に、図3を用いて説明した実施例に係る表示画像データの記録処理の結果としてメモリSDに記録される表示画像データを用いて表示される画像について、図4を用いて説明する。図4に示すように、表示画像データを用いて上述した再生装置により表示される画像100は、外部画像110及び自動運転制御状態画像120を含む。例えば画像100は、自動運転制御状態画像120が外部画像110内に埋め込まれて生成される。図4において、自動運転制御状態画像120は、加速、操舵及び制動のそれぞれの操作が自動及び手動の何れであるかを示す。しかしながら、自動運転制御状態画像120は、自動運転レベルを示してもよい。或いは、自動運転制御状態画像120は、加速、操舵及び制動のうち操作が自動である制御対象を示してもよい。自動運転制御状態画像120は、自動運転制御の状態を示すことに加えて、現在日時、走行速度、及び現在位置の経緯度等の少なくとも何れか1つを示してもよい。また、外部画像と自動運転制御状態画像とを別々のレイヤとして含む表示画像データを用いて画像100を表示する場合、再生装置に対するユーザの操作に基づいて、自動運転制御状態画像120の表示及び非表示の切り替えが可能であってもよい。自動運転制御状態画像120が非表示であるとき、外部画像110全体が表示される。これによって、外部画像110内において自動運転制御状態画像120によって隠れていた部分の確認が可能である。或いは、外部画像110と自動運転制御状態画像120とが別々に表示されてもよい。例えば、再生装置の画面に外部画像110を表示するための領域と自動運転制御状態画像120を表示するための領域がそれぞれ設定されており、外部画像110が表示されているとき、ユーザが所定の表示操作を行うと、この外部画像110の撮影時刻における自動運転制御の状態を示す自動運転制御画像120が、外部画像110の領域とは別の領域に表示される。
以上説明したように、実施例に係る動作によれば、自車両の外部を自車両から撮像した外部画像と、自車両の自動運転制御の状態と、に基づき、外部画像の少なくとも一部と、外部画像の撮像時刻における自動運転制御の状態を示す自動運転制御画像とを同時に表示するための表示画像データをメモリSDに記録するので、自車両の外部の状況等を事後的に確認する場合等において、自車両の自動運転制御の状態と共に当該状況等を確認等することができるように画像等を記録することができる。
また、自動運転状態画像を外部画像内に埋め込むことにより生成される画像に相当する表示画像データを取得する場合には、自動運転制御の状態と外部の状況等とを容易に対応付けて確認可能に表示するための表示画像データをメモリSDに記録することができる。
また、自動運転状態画像が、少なくとも自車両の加速、操舵及び制動のうち自動運転制御下にある対象を示す場合には、加速、操舵及び制動の何れの操作が自動であるかを容易に確認することができる。
また、自動運転状態画像が自動運転レベルを示す場合には、如何なる自動運転レベルで自動運転制御が行われていたかを容易に確認することができる。
また、メモリSDへの表示画像データの記録が汎用のフォーマットを用いて行われる場合には、表示画像データ自体の再生又は表示における汎用性を高めることができる。
なお、表示データが記録される記録媒体は、ドライブレコーダDRに備えられ又はドライブレコーダDRが直接アクセス可能なメモリSDに限定されるものではない。例えば、記録媒体は、自車両の外部にある図示せぬサーバ装置が備えるハードディスク等の記憶部であってもよい。例えば、ドライブレコーダDRは、サーバ装置と無線通信を行うための通信部を有する。ドライブレコーダDRは、自車両の急制動や衝撃を検出したこと等を契機として、通信部を通じて表示画像データをサーバ装置に送信することにより、サーバ装置の記憶部に記憶させてもよい。この場合、ドライブレコーダDRの通信部が情報記録装置Sの記録手段4に相当する。このような形態では、例えば表示画像データを自動車保険会社のサーバ装置に送信することで、自動車保険会社は、事故発生時に過失割合をより迅速に決定することができる。
[変形例]
上記実施例では、車両インターフェース17を介して自車両の自動運転制御の状態を示す自動運転データを取得していた。しかしながら、以下にそれぞれ説明する方法で自動運転制御の状態を示す情報が取得されてもよい。以下に説明する変形例によれば、例えばドライブレコーダDRを自車両に後付けすること等により自車両の自動運転制御の状態を示す情報を自車両から車両インターフェース17を介して直接取得することができない場合であっても、自動運転制御の状態を示す情報を取得することができる。
上記実施例では、車両インターフェース17を介して自車両の自動運転制御の状態を示す自動運転データを取得していた。しかしながら、以下にそれぞれ説明する方法で自動運転制御の状態を示す情報が取得されてもよい。以下に説明する変形例によれば、例えばドライブレコーダDRを自車両に後付けすること等により自車両の自動運転制御の状態を示す情報を自車両から車両インターフェース17を介して直接取得することができない場合であっても、自動運転制御の状態を示す情報を取得することができる。
[変形例1]
インターフェース21は、自車両のドライバにより行われた運転操作とこの運転操作時の自車両の挙動との関係性に基づいて、自動運転制御の状態を示す情報を取得してもよい。
インターフェース21は、自車両のドライバにより行われた運転操作とこの運転操作時の自車両の挙動との関係性に基づいて、自動運転制御の状態を示す情報を取得してもよい。
例えば、カメラ12は、自車両の外部を撮像する外部用カメラと、自車両の室内を撮像する1又は複数の室内カメラを含む。室内カメラは、ステアリングとその周辺、並びにアクセルペダル及びブレーキペダルとそれらの周辺を撮像範囲となるように室内に設置される。画像処理部22は、室内カメラにより撮影された画像を解析して、パターン認識を用いて画像からドライバの手足を認識する。そして、画像処理部22は、認識された手足の移動に基づいてドライバによる運転操作を特定する。
(1)加速
画像処理部22は、例えばドライバによるアクセルペダルを踏み込む操作と、加速度センサ15により検出された自車両の前後方向の加速度の変化とを比較して、アクセルペダルを踏み込む操作と自車両の前後方向の加速度の変化とに関係性が認められるか否かを判定する。例えば、アクセルが踏み込まれたときに自車両の進行方向に正の加速度が生じた場合、両者に関係性があると判定される。一方、アクセルが踏み込まれたときに自車両の進行方向に正の加速度が生じなかった場合、両者に関係性がないと判定される。或いは、アクセルが踏み込まれていないのにもかかわらず、自車両の進行方向に正の加速度が生じた場合、両者に関係性がないと判定される。画像処理部22は、関係性が認められる場合には加速の制御が手動で行われていると判定し、関係性が認められない場合には加速の制御が自動で行われていると判定する。
画像処理部22は、例えばドライバによるアクセルペダルを踏み込む操作と、加速度センサ15により検出された自車両の前後方向の加速度の変化とを比較して、アクセルペダルを踏み込む操作と自車両の前後方向の加速度の変化とに関係性が認められるか否かを判定する。例えば、アクセルが踏み込まれたときに自車両の進行方向に正の加速度が生じた場合、両者に関係性があると判定される。一方、アクセルが踏み込まれたときに自車両の進行方向に正の加速度が生じなかった場合、両者に関係性がないと判定される。或いは、アクセルが踏み込まれていないのにもかかわらず、自車両の進行方向に正の加速度が生じた場合、両者に関係性がないと判定される。画像処理部22は、関係性が認められる場合には加速の制御が手動で行われていると判定し、関係性が認められない場合には加速の制御が自動で行われていると判定する。
画像処理部22は、外部用カメラにより撮像された外部の地物(例えば建造物、電柱、路面の塗装、交通標識、植物等)の外部画像内での移動速度の変化から、自車両の加速度を計算してもよい。或いは、画像処理部22は、加速度に代えて、自車両の速度の変化を、アクセルペダルを踏み込む操作と比較してもよい。
(2)操舵
画像処理部22は、例えばドライバによるステアリングの操作と、自車両の進行方向の変化とを比較して、ステアリングの操作と自車両の進行方向の変化とに関係性が認められるか否かを判定する。例えば、ステアリングがドライバにより右回転させられたときに自車両の進行方向が右方向に変化した場合、両者に関係性があると判定される。また、ステアリングがドライバにより左回転させられたときに自車両の進行方向が左方向に変化した場合、両者に関係性があると判定される。一方、ドライバがステアリングを操作していないのにもかかわらず、自車両の進行方向が変化した場合、両者に関係性がないと判定される。画像処理部22は、関係性が認められる場合には操舵の制御が手動で行われていると判定し、関係性が認められない場合には操舵の制御が自動で行われていると判定する。
画像処理部22は、例えばドライバによるステアリングの操作と、自車両の進行方向の変化とを比較して、ステアリングの操作と自車両の進行方向の変化とに関係性が認められるか否かを判定する。例えば、ステアリングがドライバにより右回転させられたときに自車両の進行方向が右方向に変化した場合、両者に関係性があると判定される。また、ステアリングがドライバにより左回転させられたときに自車両の進行方向が左方向に変化した場合、両者に関係性があると判定される。一方、ドライバがステアリングを操作していないのにもかかわらず、自車両の進行方向が変化した場合、両者に関係性がないと判定される。画像処理部22は、関係性が認められる場合には操舵の制御が手動で行われていると判定し、関係性が認められない場合には操舵の制御が自動で行われていると判定する。
画像処理部22は、例えば加速度センサ15により検出される自車両の左右方向の加速度に基づいて、車両の進行方向の変化を特定してもよい。例えば、画像処理部22は、右方向の加速度が生じた場合は自車両の進行方向が右方向に変化したと判定し、左方向の加速度が生じた場合は自車両の進行方向が左方向に変化したと判定する。或いは、画像処理部22は、外部用カメラにより撮像された外部の地物の外部画像内での移動方向に基づいて、自車両の進行方向の変化を特定してもよい。或いは、自車両の進行方向の変化速度を検出するための角速度センサがドライブレコーダDRに備えられてもよい。角速度センサにより検出される角速度に基づいて、自車両の進行方向の変化を特定してもよい。
(3)制動
画像処理部22は、例えばドライバによるブレーキペダルを踏み込む操作と、加速度センサ15により検出された自車両の前後方向の加速度の変化とを比較して、ブレーキペダルを踏み込む操作と自車両の前後方向の加速度の変化とに関係性が認められるか否かを判定する。例えば、ブレーキが踏み込まれたときに自車両の進行方向に負の加速度が生じた場合、両者に関係性があると判定される。一方、アクセルが踏み込まれたときに自車両の進行方向に負の加速度が生じなかった場合、両者に関係性がないと判定される。或いは、ブレーキが踏み込まれていないのにもかかわらず、自車両の進行方向に負の加速度が生じた場合、両者に関係性がないと判定される。画像処理部22は、関係性が認められる場合には制動の制御が手動で行われていると判定し、関係性が認められない場合には制動の制御が自動で行われていると判定する。
画像処理部22は、例えばドライバによるブレーキペダルを踏み込む操作と、加速度センサ15により検出された自車両の前後方向の加速度の変化とを比較して、ブレーキペダルを踏み込む操作と自車両の前後方向の加速度の変化とに関係性が認められるか否かを判定する。例えば、ブレーキが踏み込まれたときに自車両の進行方向に負の加速度が生じた場合、両者に関係性があると判定される。一方、アクセルが踏み込まれたときに自車両の進行方向に負の加速度が生じなかった場合、両者に関係性がないと判定される。或いは、ブレーキが踏み込まれていないのにもかかわらず、自車両の進行方向に負の加速度が生じた場合、両者に関係性がないと判定される。画像処理部22は、関係性が認められる場合には制動の制御が手動で行われていると判定し、関係性が認められない場合には制動の制御が自動で行われていると判定する。
画像処理部22は、外部用カメラにより撮像された外部の地物の外部画像内での移動速度の変化から、自車両の加速度を計算してもよい。或いは、画像処理部22は、加速度に代えて、自車両の速度の変化を、ブレーキペダルを踏み込む操作と比較してもよい。
本実施例においては、室内カメラにより撮像された画像を解析することによって、ドライバによる運転操作が特定されていた。しかしながら、室内カメラに代えて、ステアリング及び操作ペダルにセンサが設置されてもよい。そして、画像処理部22は、センサからの出力に基づいて、ドライバによる運転操作を特定してもよい。例えば、ステアリングに角速度センサ及び接触センサが設置される。接触センサによりドライバがステアリングに接触していることが検出されている状態で、角速度センサによりステアリングに角速度が生じていることが検出されたとき、画像処理部22は、ドライバがステアリングを操作していると判定する。このとき、画像処理部22は、角速度の正負に基づいてステアリングの回転方向を判定する。また、操作ペダルには荷重センサが設置される。画像処理部22は、荷重センサにより検出される荷重が増大した場合には、ドライバが操作ペダルを踏み込んだと判定する。
[変形例2]
カメラ12の室内カメラ、マイク16及び振動センサ20の少なくとも何れか1つは、自車両の自動運転制御の状態の報知であって、自車両の室内にいる人が知覚可能な報知をその室内で検出してもよい。自車両の室内において、自動運転制御システムにより自動運転制御の状態が報知される。この報知は、自車両の室内にいるドライバ等の人が知覚可能(感覚器への刺激を通じて認識可能)なものである。報知の方法の例として、自車両の室内に備えられるインスツルメントパネルにおける表示、自車両に備えられるスピーカからの報知音の出力、及びステアリング又は運転席等の座席の振動が挙げられる。
カメラ12の室内カメラ、マイク16及び振動センサ20の少なくとも何れか1つは、自車両の自動運転制御の状態の報知であって、自車両の室内にいる人が知覚可能な報知をその室内で検出してもよい。自車両の室内において、自動運転制御システムにより自動運転制御の状態が報知される。この報知は、自車両の室内にいるドライバ等の人が知覚可能(感覚器への刺激を通じて認識可能)なものである。報知の方法の例として、自車両の室内に備えられるインスツルメントパネルにおける表示、自車両に備えられるスピーカからの報知音の出力、及びステアリング又は運転席等の座席の振動が挙げられる。
画像処理部22は、カメラ12の室内カメラ、マイク16又は振動センサ20により検出された報知に基づいて、自動運転制御の状態を判定してもよい。
ここで、記憶部10に、自動運転制御の状態ごとに、移動体の種類の例として自車両の車種に対応した報知の態様が記憶されもよい。そして、画像処理部22は、検出された報知の態様と、記憶部10に記憶された報知の態様との比較に基づいて、自動運転制御の状態を判定してもよい。
(1)インスツルメントパネルの表示
インスツルメントパネルに、例えば自動運転制御の状態を表示するためのディスプレイが備えられる。このディスプレイに、自動運転レベルが表示されてもよい。或いは、加速、操舵及び制動のそれぞれの操作が自動であるか手動であるかを示す情報が表示されてもよい。或いは、加速、操舵及び制動のうち操作が自動である制御対象が表示されてもよい。
インスツルメントパネルに、例えば自動運転制御の状態を表示するためのディスプレイが備えられる。このディスプレイに、自動運転レベルが表示されてもよい。或いは、加速、操舵及び制動のそれぞれの操作が自動であるか手動であるかを示す情報が表示されてもよい。或いは、加速、操舵及び制動のうち操作が自動である制御対象が表示されてもよい。
室内カメラは、上記ディスプレイを撮像範囲とするように室内に設置される。室内カメラは、インスツルメントパネルにおける自動運転制御の状態の表示を、上記報知として検出する。画像処理部22は、室内カメラによる撮像結果に基づいて、自動運転制御の状態を示す情報を取得する。具体的に、画像処理部22は、室内カメラにより撮像された画像を解析することにより、ディスプレイに表示されている自車両の自動運転制御の状態を示す情報を取得する。具体的に、画像処理部22は、画像中から、ディスプレイに表示されている自車両の自動運転制御の状態を認識する。例えば、記憶部10には、報知の態様として、自動運転制御の状態ごとに、自車両の車種に対応したインスツルメントパネルの表示を示す画像の特徴量等が予め記憶されてもよい。画像処理部22は、例えば撮像されたインスツルメントパネルの表示の画像から抽出された特徴量と、記憶部10に記憶された特徴量とを比較することにより、撮像された画像が何れの自動運転制御状態に対応するかを判定してもよい。
インスツルメントパネルにおける自動制御状態の表示は常時行われるが、この表示が非継続的に行われてもよい。例えば、少なくとも自車両の運転開始時及び自動運転制御の状態の変化時に、自動制御状態の表示が行われる。自動制御状態の表示が行われていないときに自動運転制御の状態を判定する必要がある。例えば、画像処理部22は、室内カメラにより自動制御状態の表示が検出されていないとき、画像処理部22により前回判定された自動運転制御の状態が継続していると判定してもよい。
(2)報知音
自車両の自動運転制御システムは、自車両のインスツルメントパネル等に備えられたスピーカにより、自動運転御状態を示す報知音を非継続的に出力させる。例えば、少なくとも自車両の運転開始時及び自動運転制御の状態の変化時に報知音が出力される。報知音は、例えば「自動運転レベル2です。」等といった自動運転レベルを示す音声であってもよいし、例えば「ピッピッ」等といった自動運転レベルに対応したブザー音等であってもよい。
自車両の自動運転制御システムは、自車両のインスツルメントパネル等に備えられたスピーカにより、自動運転御状態を示す報知音を非継続的に出力させる。例えば、少なくとも自車両の運転開始時及び自動運転制御の状態の変化時に報知音が出力される。報知音は、例えば「自動運転レベル2です。」等といった自動運転レベルを示す音声であってもよいし、例えば「ピッピッ」等といった自動運転レベルに対応したブザー音等であってもよい。
マイク16は、自車両の室内音を集音することにより、自動運転制御の状態を示す報知音を、上記報知として検出する。画像処理部22は、マイク16による報知音の集音結果に基づいて、自動運転制御の状態を示す情報を取得する。具体的に、画像処理部22は、マイク16により集音された室内音に基づいて、自動運転制御の状態を判定する。例えば、記憶部10には、報知の態様として、自動運転制御の状態ごとに、自車両の車種に対応した報知音の特徴量等が予め記憶されてもよい。画像処理部22は、例えば集音された報知音から抽出された特徴量と、記憶部10に記憶された特徴量とを比較することにより、集音された報知音が何れの自動運転制御状態に対応するかを判定してもよい。
報知音は非継続的に出力されることから、報知音が出力されていないときにも自動運転制御の状態を判定する必要がある。例えば、画像処理部22は、マイク16により報知音が検出されていないとき、画像処理部22により前回判定された自動運転制御の状態が継続していると判定してもよい。
(3)ステアリング又は座席の振動
ステアリング又は運転席等の座席にバイブレータが備えられる。自車両の自動運転制御システムは、バイブレータを駆動することにより、ステアリング又は座席に、自動運転制御の状態を示す振動を非継続的に生じさせる。例えば、少なくとも自車両の運転開始時及び自動運転制御の状態の変化時にステアリング又は座席が振動する。自動運転御状態に対応した態様でステアリング又は座席が振動する。例えば、振動が継続する時間長、振動の強さ、振動のパターン等が自動運転御状態に対応する。
ステアリング又は運転席等の座席にバイブレータが備えられる。自車両の自動運転制御システムは、バイブレータを駆動することにより、ステアリング又は座席に、自動運転制御の状態を示す振動を非継続的に生じさせる。例えば、少なくとも自車両の運転開始時及び自動運転制御の状態の変化時にステアリング又は座席が振動する。自動運転御状態に対応した態様でステアリング又は座席が振動する。例えば、振動が継続する時間長、振動の強さ、振動のパターン等が自動運転御状態に対応する。
振動センサ20は、ステアリング又は座席の自動運転制御の状態を示す振動を、上記報知として検出する。画像処理部22は、振動センサ20による振動の検出結果に基づいて、自動運転制御の状態を示す情報を取得する。具体的に、画像処理部22は、振動センサ20により検出された振動に基づいて、自動運転制御の状態を判定する。例えば、記憶部10には、報知の態様として、自動運転制御の状態ごとに、自車両の車種に対応した、ステアリング又は座席の振動の態様を示す情報が予め記憶されてもよい。画像処理部22は、例えば検出された振動の態様と、記憶部10に記憶された情報が示す振動の態様とを比較することにより、検出された振動が何れの自動運転制御状態に対応するかを判定してもよい。
振動による報知は非継続的に行われることから、ステアリング又は座席が振動していないときにも自動運転制御の状態を判定する必要がある。例えば、画像処理部22は、振動センサ20により振動が検出されていないとき、画像処理部22により前回判定された自動運転制御の状態が継続していると判定してもよい。
次に、本変形例に係るドライブレコーダDRにおいて画像処理部22を中心として実行される、自車両の自動運転制御の状態を示す情報の取得処理について、図5を用いて説明する。自動運転制御の状態を示す情報の取得処理は、図3に示す記録処理のステップS20で実行される。
図5に示すように、画像処理部22は、自動運転制御の状態が検出されたか否かを判定する(ステップS110)。例えば、画像処理部22は、室内カメラにより撮像されたインスツルメントパネルの画像の特徴量と、記憶部10に記憶された、インスツルメントパネルによる自動運転制御の状態の表示の画像の特徴量との比較に基づいて、インスツルメントパネルに自動運転制御の状態が表示されていると判定される場合、自動運転制御の状態が検出されたと判定する。或いは、画像処理部22は、マイク16により集音された室内音の特徴量と、記憶部10に記憶された報知音の特徴量との比較に基づいて、集音された室内音が報知音であると判定される場合、自動運転制御の状態が検出されたと判定する。或いは、画像処理部22は、振動センサ20によりステアリング又は座席の振動が検出された場合、自動運転制御の状態が検出されたと判定する。自動運転制御の状態が検出された場合、画像処理部22は処理をステップS120に進める。なお、インスツルメントパネルによる自動運転制御の状態の表示が常時行われる場合、画像処理部22は、ステップS110の判定を行わずに、ステップS120を実行すればよい。一方、自動運転制御の状態が検出されなかった場合、画像処理部22は処理をステップS130に進める。
ステップS120において、画像処理部22は、検出された報知に基づいて、自動運転制御の状態を判定する。例えば、インスツルメントパネルによる表示の場合、画像処理部22は、ステップS110で実行された画像の特徴量の比較に基づいて、自動運転制御の状態を判定する。報知音の場合、画像処理部22は、ステップS110で実行された音の特徴量の比較に基づいて、自動運転制御の状態を判定する。振動の場合、画像処理部22は、振動センサにより検出された振動の態様と、記憶部10に記憶された振動の態様を示す情報との比較に基づいて、自動運転制御の状態を判定する。画像処理部22は、判定した自動運転制御の状態を示す情報を、メモリSDに記録させる表示画像データを生成するための情報として取得する。また、画像処理部22は、判定した自動運転制御の状態を示す情報を、一時的にRAM等に記憶させる。
ステップS130において、画像処理部22は、前回判定された自動運転制御の状態が継続していると判定する。そして、画像処理部22は、RAMに一時的に記憶されている自動運転制御の状態を示す情報を、表示画像データを生成するための情報として取得する。
ステップS120又はS130を実行すると、画像処理部22は、自動運転制御の状態を示す情報の取得処理を終了させて、図3に示すステップS30に処理を進める。図3に示すステップS30及びS40において、表示画像データの生成及び記録が行われることにより、画像処理部22により判定された自動運転制御の状態と、現在日時、自車両の位置及び外部画像データとが記録情報として記録される。なお、本変形例においては、インターフェース21は、現在日時、自車両の位置及び外部画像データの少なくとも1つを状況情報を取得すればよい。そして、インターフェース21は、状況情報が取得されたときに画像処理部22により判定された自動運転制御の状態を取得し、記録部23は、取得された状況情報と取得された自動運転制御の状態とを含む記録情報をメモリSDに記録すればよい。
以上説明したように、変形例2に係る動作によれば、自車両の自動運転制御の状態の報知であって、自車両の室内にいる人が知覚可能な報知をその室内で検出し、検出された報知に基づいて、自動運転制御の状態を判定するので、自車両から直接自動運転状態を示す情報を取得しなくても、自動運転制御の状態を判定することができる。
また、インスツルメントパネルにおける自動運転制御の状態の表示を、上記報知として検出する場合、インスツルメントパネルにおける表示に基づいて、自動運転制御の状態を判定することができる。
また、自動運転制御の状態を示す報知音を、上記報知として検出する場合、報知音に基づいて、自動運転制御の状態を判定することができる。
また、自車両の操作ハンドル又は座席の、自動運転制御の状態を示す振動を、上記報知として検出する場合、振動に基づいて、自動運転制御の状態を判定することができる。
また、非継続的に行われる上記報知を検出し、自動運転制御の状態の報知が検出されていないとき、前回判定された自動運転制御の状態が継続していると判定する場合、報知が非継続に行われる場合であっても、自動運転制御の状態を適切に判定することができる。
また、検出された報知の態様と、記憶部10に記憶された報知の態様との比較に基づいて、自動運転制御の状態の判定を行う場合、自動運転制御の状態を容易に判定することができる。
また、現在日時、自車両の位置及び外部画像の少なくとも1つである状況情報を取得し、判定された自動運転制御の状態であって、状況情報が取得されたときの自動運転制御の状態を取得し、状況情報と自動運転制御の状態とを含む記録情報をメモリSDに記録させる場合、自車両が置かれていた状況を、自車両の自動運転制御の状態と共に事後的に確認することができる。
1 画像情報取得手段
2 自動運転情報取得手段
3 表示用情報取得手段
4 記録手段
9 処理部
10 記憶部
12 カメラ
14 GPSセンサ
15 加速度センサ
16 マイク
17 車両インターフェース
20 振動センサ
21 インターフェース
22 画像処理部
23 記録部
SD 記録媒体、メモリ
S 情報記録装置
DR ドライブレコーダ
2 自動運転情報取得手段
3 表示用情報取得手段
4 記録手段
9 処理部
10 記憶部
12 カメラ
14 GPSセンサ
15 加速度センサ
16 マイク
17 車両インターフェース
20 振動センサ
21 インターフェース
22 画像処理部
23 記録部
SD 記録媒体、メモリ
S 情報記録装置
DR ドライブレコーダ
Claims (1)
- 移動体の外部を該移動体から撮像した外部画像に相当する外部画像情報を取得する画像情報取得手段と、
前記移動体の自動運転制御の状態を示す自動運転情報を取得する自動運転情報取得手段と、
前記外部画像情報及び前記自動運転情報に基づいて、前記外部画像の少なくとも一部と、前記外部画像の撮影時刻における前記自動運転制御の状態を示す自動運転状態画像であって、前記移動体の加速が前記自動運転制御下にあるか否かを示す情報を含む自動運転状態画像とを同時に表示するための表示用情報を取得する表示用情報取得手段と、
前記表示用情報を記録媒体に記録させる記録制御手段と、
を備える情報記録装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018002644 | 2018-01-11 | ||
JP2018002644 | 2018-01-11 | ||
JP2021193427A JP2022031301A (ja) | 2018-01-11 | 2021-11-29 | 情報記録装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021193427A Division JP2022031301A (ja) | 2018-01-11 | 2021-11-29 | 情報記録装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023111990A true JP2023111990A (ja) | 2023-08-10 |
Family
ID=67218629
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019564689A Pending JPWO2019138994A1 (ja) | 2018-01-11 | 2019-01-08 | 情報記録装置、情報記録方法、及び情報記録用プログラム |
JP2021193427A Pending JP2022031301A (ja) | 2018-01-11 | 2021-11-29 | 情報記録装置 |
JP2023094609A Pending JP2023111990A (ja) | 2018-01-11 | 2023-06-08 | 情報記録装置 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019564689A Pending JPWO2019138994A1 (ja) | 2018-01-11 | 2019-01-08 | 情報記録装置、情報記録方法、及び情報記録用プログラム |
JP2021193427A Pending JP2022031301A (ja) | 2018-01-11 | 2021-11-29 | 情報記録装置 |
Country Status (4)
Country | Link |
---|---|
US (3) | US11302123B2 (ja) |
EP (1) | EP3739550A4 (ja) |
JP (3) | JPWO2019138994A1 (ja) |
WO (1) | WO2019138994A1 (ja) |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002042288A (ja) * | 2000-07-26 | 2002-02-08 | Yazaki Corp | 運行状態記録装置及びそれを利用した運行管理システム |
JP2003263695A (ja) * | 2002-03-11 | 2003-09-19 | Hidenori Takahashi | 交差点内の事故録画方法 |
JP4726586B2 (ja) * | 2005-09-20 | 2011-07-20 | 鈴木 旭 | 自動車用ドライブレコーダ |
JP4439550B2 (ja) * | 2007-09-28 | 2010-03-24 | 富士通テン株式会社 | ドライブレコーダ |
JP4793479B2 (ja) * | 2009-07-09 | 2011-10-12 | カシオ計算機株式会社 | 測位装置、測位方法およびプログラム |
KR101735116B1 (ko) * | 2011-01-24 | 2017-05-15 | 두산인프라코어 주식회사 | 건설중장비의 운행정보 기록장치 |
JP6058907B2 (ja) | 2012-03-29 | 2017-01-11 | 矢崎エナジーシステム株式会社 | 車載記録装置 |
JP5786901B2 (ja) * | 2013-06-20 | 2015-09-30 | 株式会社デンソー | 事故通報システム |
GB2523359B (en) | 2014-02-21 | 2016-01-06 | Risk Telematics Uk Ltd | Determining the status of a vehicle |
JP6349833B2 (ja) * | 2014-03-25 | 2018-07-04 | 日産自動車株式会社 | 情報表示装置 |
US10783781B2 (en) | 2014-11-17 | 2020-09-22 | Hitachi Automotive Systems, Ltd. | Automatic driving system |
JP2018510373A (ja) * | 2015-02-10 | 2018-04-12 | モービルアイ ビジョン テクノロジーズ リミテッド | 自律車両ナビゲーションのための疎な地図 |
JP6254554B2 (ja) | 2015-07-21 | 2017-12-27 | トヨタ自動車株式会社 | 情報提示システム |
JP6350492B2 (ja) * | 2015-11-26 | 2018-07-04 | トヨタ自動車株式会社 | 画像表示装置 |
JP2017119505A (ja) * | 2015-12-25 | 2017-07-06 | 株式会社デンソー | 車両制御装置 |
KR101806892B1 (ko) * | 2016-05-09 | 2018-01-10 | 엘지전자 주식회사 | 차량용 제어장치 |
JP6769107B2 (ja) | 2016-05-19 | 2020-10-14 | 三菱ケミカル株式会社 | Aei型ゼオライトの製造方法 |
DE102016219252A1 (de) * | 2016-10-05 | 2018-04-05 | Bayerische Motoren Werke Aktiengesellschaft | Ermittlung von Identifizierungsmerkmalen eines Unfallteilnehmers bei einem Unfall des Unfallteilnehmers mit einem Kraftfahrzeug |
JP6778626B2 (ja) | 2017-02-01 | 2020-11-04 | 株式会社デンソーテン | 運転情報記録装置、運転情報表示処理システム、運転情報記録方法、表示処理方法、及び、プログラム |
JP6862968B2 (ja) | 2017-03-21 | 2021-04-21 | 日本精機株式会社 | ドライブレコーダ |
JP6912324B2 (ja) * | 2017-08-30 | 2021-08-04 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 情報処理方法、情報処理装置及び情報処理プログラム |
JP6915512B2 (ja) * | 2017-11-28 | 2021-08-04 | トヨタ自動車株式会社 | サーバ装置、故障車両推定方法および故障車両推定プログラム |
JP6954850B2 (ja) * | 2018-02-09 | 2021-10-27 | トヨタ自動車株式会社 | 表示装置 |
US10846955B2 (en) * | 2018-03-16 | 2020-11-24 | Micron Technology, Inc. | Black box data recorder for autonomous driving vehicle |
US20190302766A1 (en) * | 2018-03-28 | 2019-10-03 | Micron Technology, Inc. | Black Box Data Recorder with Artificial Intelligence Processor in Autonomous Driving Vehicle |
TWI660873B (zh) * | 2018-07-11 | 2019-06-01 | 創意門有限公司 | 載具行駛資訊記錄裝置 |
WO2020189831A1 (ko) * | 2019-03-21 | 2020-09-24 | 엘지전자 주식회사 | 자율주행 차량의 모니터링 및 제어 방법 |
DE112020006541T5 (de) * | 2020-01-17 | 2022-12-01 | Denso Corporation | Fahrsteuervorrichtung und HMI-Steuervorrichtung |
-
2019
- 2019-01-08 JP JP2019564689A patent/JPWO2019138994A1/ja active Pending
- 2019-01-08 EP EP19738893.7A patent/EP3739550A4/en active Pending
- 2019-01-08 WO PCT/JP2019/000191 patent/WO2019138994A1/ja unknown
- 2019-01-08 US US16/961,220 patent/US11302123B2/en active Active
-
2021
- 2021-11-29 JP JP2021193427A patent/JP2022031301A/ja active Pending
-
2022
- 2022-03-08 US US17/689,756 patent/US20220189221A1/en not_active Abandoned
-
2023
- 2023-03-13 US US18/120,727 patent/US11881065B2/en active Active
- 2023-06-08 JP JP2023094609A patent/JP2023111990A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US11302123B2 (en) | 2022-04-12 |
US11881065B2 (en) | 2024-01-23 |
JP2022031301A (ja) | 2022-02-18 |
US20220189221A1 (en) | 2022-06-16 |
EP3739550A4 (en) | 2021-09-29 |
WO2019138994A1 (ja) | 2019-07-18 |
US20210056784A1 (en) | 2021-02-25 |
US20230215228A1 (en) | 2023-07-06 |
EP3739550A1 (en) | 2020-11-18 |
JPWO2019138994A1 (ja) | 2021-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5499277B2 (ja) | 危険運転予防意識判定システムおよび危険運転予防意識判定方法 | |
JP2022140530A (ja) | 情報記録装置、情報記録方法及び情報記録用プログラム | |
JP2001304876A (ja) | 車載カメラによる画像記録・再生方式 | |
JP6349640B2 (ja) | 情報提供装置及び方法 | |
JP2008033822A (ja) | 運転支援装置 | |
JP6345572B2 (ja) | 走行映像記録システムおよびこれに用いるドライブレコーダ、並びに記録走行映像のアップロード方法 | |
JP2004302902A (ja) | 運転支援システム | |
JP2011135418A (ja) | ドライブレコーダ、記録方法及びプログラム | |
JP2019121314A (ja) | 判定装置、情報記録装置、判定方法、及び判定用プログラム | |
JP2023111990A (ja) | 情報記録装置 | |
CN107878325A (zh) | 确定泊车系统重新标定时机的方法、装置及自动标定系统 | |
JP2021176107A (ja) | ドライブレコーダ、接近検知方法、及び接近検知プログラム | |
JP6941472B2 (ja) | 映像再生装置、映像再生システム、及び映像再生方法 | |
JP5085693B2 (ja) | 運転支援装置および運転支援方法 | |
JP6974024B2 (ja) | ハザードマップ作成システム、ハザードマップ作成装置及びハザードマップ作成方法 | |
JP4999901B2 (ja) | 運転支援装置 | |
JP5691065B2 (ja) | 危険運転予防意識判定システムおよび危険運転予防意識判定方法 | |
KR102309033B1 (ko) | 영상들을 동기화하는 방법 및 장치 | |
JP7194251B2 (ja) | 情報記録装置、情報記録方法及び情報記録用プログラム並びに記録媒体 | |
JP2011028748A (ja) | 運転支援装置、運転支援システム、運転支援ソフトおよび運転支援方法 | |
JP5008100B2 (ja) | 運転支援装置、運転支援システム、運転支援ソフトおよび運転支援方法 | |
CN112669612B (zh) | 图像录制、回放方法、装置及计算机系统 | |
JP2022106381A (ja) | コンテンツ再生装置およびコンテンツ再生方法 | |
KR20140128830A (ko) | 차량용 영상 처리 장치 및 데이터 처리 방법 | |
JP2024025513A (ja) | 運転教育システム、サーバ及び管理端末用のプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240228 |