JP2015018515A - 車載器 - Google Patents

車載器 Download PDF

Info

Publication number
JP2015018515A
JP2015018515A JP2013146921A JP2013146921A JP2015018515A JP 2015018515 A JP2015018515 A JP 2015018515A JP 2013146921 A JP2013146921 A JP 2013146921A JP 2013146921 A JP2013146921 A JP 2013146921A JP 2015018515 A JP2015018515 A JP 2015018515A
Authority
JP
Japan
Prior art keywords
vehicle
image
captured image
control unit
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013146921A
Other languages
English (en)
Other versions
JP6367531B2 (ja
Inventor
友紀 杉山
Yuki Sugiyama
友紀 杉山
一英 増田
Kazuhide Masuda
一英 増田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Energy System Corp
Original Assignee
Yazaki Energy System Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Energy System Corp filed Critical Yazaki Energy System Corp
Priority to JP2013146921A priority Critical patent/JP6367531B2/ja
Publication of JP2015018515A publication Critical patent/JP2015018515A/ja
Application granted granted Critical
Publication of JP6367531B2 publication Critical patent/JP6367531B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】ドライブレコーダとしての機能及び安全運転支援機能の両方を安価に、且つ充分な性能で実現することができる車載器を提供する。【解決手段】制御部は、撮影画像40から一部分の領域を切出領域41として抽出し、抽出した切出領域41の撮影内容を識別した結果に基づいて、所定の安全運転支援機能を実行し、且つ、撮影画像40を不揮発性の記録部に記録させる。【選択図】図1

Description

本発明は、車両に搭載されて用いられるドライブレコーダ等の車載器に関し、特に安全運転を支援するために利用可能な技術に関する。
近年では、車載カメラが撮影した画像を利用する車載器として、例えばドライブレコーダが利用されている(例えば、特許文献1参照。)。一般的なドライブレコーダは、車載カメラが撮影した画像データを常時、又は異常の発生を検知した時(トリガー発生時)から予め定めた所定時間だけ記録してメモリーカード等の不揮発性の記録部に保存する機能を有している。
一方、近年では、車載器として安全運転支援機能を有するものも利用されている。例えば、車載カメラが撮影した画像の撮影内容を自動認識することにより、安全運転を支援する機能を有するものがある。例えば、道路におけるレーン(道路の境界を示すライン)からの自車両のはみ出しを検出して警報を出力する機能や、道路上の標識などを認識して報知する機能や、他車両との距離を検出して警報を出力する機能などが知られている。
特開2008−305189号公報
ところで、ドライブレコーダ機能の実現のために必要な画像と、安全運転支援機能の実現のために必要な画像との間には違いがある。即ち、ドライブレコーダの場合には、道路上における人間の飛び出しや、他の車両の割り込みなどを撮影した画像が重要となるので、車両の前方だけでなく、広範囲に渡って撮影された画像を記録することが要求される。つまり、ドライブレコーダ機能を実現するためには、画角の広い車載カメラが必要とされる。
一方、安全運転支援機能の場合には、例えば自車両から遠い位置に存在する信号機や標識であっても、画像から確実に認識できることが要求される。したがって、安全運転支援機能の実現ために用いる車載カメラについては、特定の方向に存在する被写体を鮮明に撮影できる画角の狭いカメラが必要とされる。
したがって、従来、ドライブレコーダ機能と安全運転支援機能との両方を実現する場合には、ドライブレコーダ用の画角の広いカメラと、安全運転支援機器用の画角の狭いカメラの両方を車両に搭載しなければならなかった。
この点に関して、特許文献1には、単一のカメラをドライブレコーダ用と車上荒らし等の抑止用の両方に用いることができる車載カメラシステムが開示されている。具体的には、車外の像と車内の像との両方を含む映像を単一のカメラで撮影し、撮影した映像の中から、車外の像と車内の像とをトリミング部がそれぞれ切り出して、必要な画像を取得している。
しかしながら、ドライブレコーダ用の画角の広いカメラと、安全運転支援機能用の画角の狭いカメラとの両方を車両に搭載する場合には、2種類のカメラを取り付けなければならず、コストアップは避けられない。また、複数のカメラをフロントガラスに設置すると、フロントガラスの景観を損ねるおそれがある。
また、特許文献1に開示されているように、車外の像と車内の像との両方を含む映像を単一のカメラで撮影する場合には、非常に広角のカメラを用いる必要がある。しかし、このように広角のカメラを用いる場合には、画質が良くないので映像の細部が取得できない。したがって、広範囲をまんべんなく録画するドライブレコーダの場合には問題ないが、例えば遠方の信号機や標識のような特定の被写体の鮮明な映像を得ることができないので、安全運転支援機能用の映像としては利用できない。
また、特定の被写体の鮮明な映像を得るために車載カメラの解像度を上げると、画像のデータ量が膨大になるため、メモリーカード等の記録容量の制約により、長時間にわたって画像を記録することが困難になる。
本発明は、上記の状況に鑑みてなされたものであり、ドライブレコーダとしての機能及び安全運転支援機能の両方を安価に、且つ充分な性能で実現することができる車載器を提供することを目的とする。
本発明に係る上記目的は、下記構成により達成される。
(1) 少なくとも車両外部を撮影した撮影画像を取得する画像取得部と、
前記画像取得部に接続された制御部と、
を備え、車両に搭載されて用いられる車載器であって、
前記制御部は、前記撮影画像から一部分の領域を切出領域として抽出し、抽出した前記切出領域の撮影内容を識別した結果に基づいて、所定の安全運転支援機能を実行し、且つ、前記撮影画像を不揮発性の記録部に記録させる、こと。
この車載器によれば、ドライブレコーダとしての機能及び安全運転支援機能の両方を実現することができる。しかも、安全運転支援機能は、撮影画像から抽出した一部分である切出領域の撮影画像の内容を識別した結果を利用するので、1つの車載カメラをドライブレコーダ機能及び安全運転支援機能が共用することになり、コストダウンが可能になる。また、安全運転支援機能が利用する切出領域は、ドライブレコーダ機能が利用する撮影画像全体の一部分であるため、車載カメラの撮影範囲をさほど広角にする必要がない。このため、解像度が比較的高い車載カメラを利用すれば、切出領域の内容から、遠方の信号機や標識のような特定の被写体の鮮明な映像を得ることも可能であり、充分な性能を確保できる。
(2) 上記(1)の構成の車載器であって、
前記制御部は、前記車両の走行中に、前記撮影画像における消失点を逐次識別し、前記消失点の位置に対応した位置の一部分を前記切出領域として抽出する、こと。
この車載器によれば、切出領域として切り出す位置を消失点の位置に基づいて特定するので、安全運転支援機能を実行するために必要な情報が含まれる一部分を適切に抽出することができる。消失点(FOE:Focus of Expansion)は、撮影画像中のオプティカルフロー(動きベクトル)を延長した直線が交わる点であり、車載カメラから視た道路の先の無限遠点に相当する。したがって、この消失点の位置を基準とすることにより、自車両が車線変更した場合や進行方向を変更した場合であっても、道路上のレーンの位置などを撮影画像から特定することが可能であり、安全運転支援機能にて用いる切出領域として抽出すべき位置を適切に特定できる。
(3) 上記(1)及び(2)のいずれか1つの構成の車載器であって、
前記制御部は、前記車両の現在の走行速度に従って前記切出領域の面積を変更して、前記切出領域を前記撮影画像から抽出する、こと。
この車載器によれば、走行速度に従って切出領域の面積を適宜変更することができる。例えば、車両の走行速度が速い場合には、運転者の焦点は比較的遠方になりがちである。高速走行している時には遠方の比較的小さい領域を重視して画像認識を行うことが望ましく、一方、比較的低速で走行している時には自車両に近い位置の比較的大きい領域を用いて画像認識を行うことが望ましい。この点、上記(3)の車載器によれば、走行速度に従って切出領域の面積を適宜変更することにより、安全運転支援機能にて用いる切出領域の面積を適切に設定できる。
(4) 上記(1)〜(3)のいずれか1つの構成の車載器であって、
前記制御部は、前記車両の走行中の道路の種別に従って前記切出領域の面積を変更して、前記切出領域を前記撮影画像から抽出する、こと。
この車載器によれば、走行中の道路の種別に従って切出領域の面積を適宜変更することができる。例えば、車両が高速道路を走行する場合には、一般の道路と比べて走行速度が速いので、運転者の焦点は比較的遠方になりがちである。高速走行している時には遠方の比較的小さい領域を重視して画像認識を行うことが望ましく、一方、一般道路を走行中であり、比較的低速で走行している時には自車両に近い位置の比較的大きい領域を用いて画像認識を行うことが望ましい。この点、上記(4)の車載器によれば、走行中の道路の種別に従って切出領域の面積を適宜変更することにより、安全運転支援機能にて用いる切出領域の面積を適切に設定できる。
(5) 上記(1)〜(4)のいずれか1つの構成の車載器であって、
前記制御部は、通常時には、前記撮影画像を第1の圧縮率で圧縮して前記記録部に記録させ、トリガー発生時には、前記撮影画像を、前記第1の圧縮率よりも圧縮率が低い第2の圧縮率で圧縮して前記記録部に記録させる、こと。
この車載器によれば、通常時においては、トリガー発生時よりも圧縮された状態で撮影画像が記録されるので、長時間にわたって撮影画像を記録することができる。また、事故が発生した場合のようなトリガー発生時には、圧縮率が低い撮影画像が記録されるので、より鮮明な高品質の画像を記録することができる。なお、トリガー発生時には圧縮を実施せず、撮影画像をそのまま記録する構成としても構わない。すなわちトリガー発生時には、圧縮率を値0としても構わない。
本発明の車載器によれば、ドライブレコーダとしての機能及び安全運転支援機能の両方を安価に、且つ充分な性能で実現することができる車載器を提供できる。
以上、本発明について簡潔に説明した。さらに、以下に説明される発明を実施するための形態(以下、「実施形態」という。)を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。
図1は、撮影画像、切出領域及び処理後のデータの相互関係の具体例(1)を示す模式図である。 図2は、車載器の構成例を示すブロック図である。 図3は、図2に示した車載器の主要な制御の処理手順を示すフローチャートである。 図4は、撮影画像、切出領域及び処理後のデータの相互関係の具体例(2)を示す模式図である。 図5は、撮影画像、切出領域及び処理後のデータの相互関係の具体例(3)を示す模式図である。 図6は、撮影画像、切出領域及び処理後のデータの相互関係の具体例(4)を示す模式図である。
以下、実施形態に係る車載器について各図を用いて説明する。
<概要の説明>
本実施形態の車載器10は、ドライブレコーダ機能と、安全運転支援機能との両方を備えている。ドライブレコーダ機能については、基本的には車載カメラで撮影した画像のデータを、ほぼ連続的に取得してメモリーカードなどの不揮発性の記録媒体に自動的に記録し保存する。安全運転支援機能については、車載カメラで撮影した画像のデータに基づいて、例えば道路の各レーン、道路上の標識、信号機などの目標物を自動的に認識することにより、安全運転支援に役立つ情報を提供する。
本実施形態においては、高画質の単一の車載カメラが撮影した画像を、ドライブレコーダ機能と、安全運転支援機能とが共用している。このため、複数の車載カメラを搭載することなく、ドライブレコーダ機能と、安全運転支援機能とを実現できる。
<撮影画像の具体例>
撮影画像、切出領域及び処理後のデータの相互関係の具体例(1)を図1に示す。
ドライブレコーダ機能及び安全運転支援機能が使用する車載カメラ31(後述する図2参照。)は、例えば車両のフロントウインドシールド(窓ガラス)の内側に設置され、車両の進行方向前方を撮影できる向きで固定される。したがって、車載カメラ31の出力から例えば図1に示したような撮影画像40を得ることができる。なお、本実施形態では、車両前方を撮影する構成としたが、少なくとも車両外部を撮影する構成であればよく、例えば側方を撮影しても構わない。
ドライブレコーダ機能については、記録する必要がある領域は撮影画像40の全体である。即ち、道路40a、歩行者40b、信号機40c、標識40dなど自車両の走行と関連のある様々な目標物を含むデータを証拠画像として保存できることが求められる。
一方、安全運転支援機能については、特に安全運転の支援に役立つ情報を検出できることが望まれる。例えば、自車両の遠方に存在する信号機40cや標識40dなどの特定の目標物を装置が正しく認識することができれば、「信号が赤に変わりました」や、「制限速度が50km/hです」のような警告を運転者に与えて安全運転を支援することが可能である。
図1に示した撮影画像40においては、信号機40cや標識40dなどの認識すべき目標物は撮影画像40の中に含まれている。但し、信号機40cや標識40dの内容を正しく認識するためには、処理対象の画像が非常に鮮明である必要がある。また、信号機40cや標識40dを認識するために必要な情報は、撮影画像40の一部分の領域(符号41で示す領域。)だけである。したがって、本実施形態の車載器10は、撮影画像40の中の切出領域41を抽出し、これを安全運転支援用撮影データ42として利用する。
ドライブレコーダ機能が必要とする画像データの範囲は撮影画像40の全体である。但し、車両の通常走行時には画像の細部の情報は不要であるし、データ量が多いと記録容量の制約により長時間の記録ができなくなる。したがって、通常時にドライブレコーダ機能が記録するドライブレコーダ保存用撮影データ43については、撮影画像40を圧縮処理した結果を利用する。圧縮処理の代表例としては、フレームレートを低くしたり、画素の間引きを行うことが考えられる。これ以外にも、公知の様々な圧縮アルゴリズムを利用することができる。
<構成の説明>
車載器10の構成例を図2に示す。
図2に示す車載器10は、制御部(CPU:Central Processing Unit)11、ワークデータ用メモリ12、不揮発性メモリ13、データ処理部14、カードインタフェース(I/F)15、速度インタフェース16、シリアルインタフェース17、電源インタフェース18、GPS(Global Positioning System)インタフェース19、スピーカ20、加速度(G)センサ21、画像処理部22、及びバックアップデータ記憶部23を備えている。
制御部11は、例えばマイクロコンピュータであり、予め用意されて不揮発性メモリ13に格納されている動作プログラムを実行することにより、車載器10の全体の制御を実施し、必要とされる機能を実現する。即ち、ドライブレコーダ機能及び安全運転支援機能は制御部11の処理によって実現される。
ワークデータ用メモリ12は、制御部11のアクセスによりデータの読み出し及び書き込みが自在なメモリ(DDR SDRAM:Double-Data-Rate Synchronous Dynamic Random Access Memory)である。ワークデータ用メモリ12は、ワークデータ、即ち制御部11が処理中に生成したデータや入力されたデータなどを一時的に格納するために利用される。
不揮発性メモリ13は、読み出し専用メモリ(ROM:Read Only Memory)により構成されており、制御部11が実行すべきプログラムや、処理中に参照する定数などの固定データを予め保持している。
データ処理部14は、画像などの大量のデータに対して予め決められた様々なデータ処理を高速で実行することができる。例えば、データ処理部14は、データ量を減らすために圧縮処理を行うことができる。
カードインタフェース15は、所定のメモリーカード32を装着可能なカードスロットを有している。メモリーカード32は、比較的記憶容量の大きいフラッシュメモリにより構成されており、ドライブレコーダ機能により記録する画像等の比較的データ量の大きいデータを保存するために利用することができる。制御部11は、データ処理部14及びカードインタフェース15を介して、メモリーカード32にデータを書き込むことができる。
速度インタフェース16は、車両側から出力される速度パルスの信号を入力して整形し、整形後の速度パルスを制御部11に入力することができる。制御部11は、入力される速度パルスの周期及びパルス数に基づいて、車両の走行速度や移動量を計測することができる。
シリアルインタフェース17には、例えばETC(電子料金収受:Electronic Toll Collection)車載器を接続することができる。ETC車載器を接続することにより、制御部11は、シリアルインタフェース17及びETC車載器を介して、高速道路の料金所等に設置されている道路側の通信設備との間で無線通信を行うことできる。制御部11は、このETC車載器からの情報に基づき、車両が走行中の道路が一般道路であるか高速道路であるかを識別できる。
電源インタフェース18は、車載バッテリー(BATT)から供給される電源電力を入力して車載器10内の各部に電力を供給したり、イグニッション信号(IGN)を入力したり、制御部11の動作をリセットするためのリセット信号を生成することができる。
GPSインタフェース19は、所定のGPS受信機を車載器10に接続するために利用することができる。このようなGPS受信機は、複数のGPS衛星からそれぞれ受信した電波の信号に基づいて、車両の現在位置を算出したり、車両の走行速度を算出することができる。したがって、制御部11は接続したGPS受信機から現在位置や走行速度のデータを取得できる。
スピーカ20は、制御部11の制御により、例えば警告音や、合成された疑似音声信号による各種の警告や案内などのメッセージを音響として出力することができる。
加速度センサ21は、互いに直交する3つの軸のそれぞれの方向について、車両に加わる加速度の大きさを表す信号を出力することができる。加速度センサ21が出力する信号は、例えば交通事故などの異常な状態が発生したか否かを識別するために利用することができる。また、加速度センサ21が検出した加速度の数値は、ドライブレコーダ機能により画像と共にメモリーカード32に記録することもできる。
画像処理部22は、車載カメラ31が出力する映像信号を入力し、映像のフレーム毎に、フレームを構成する多数の画素の各々について明るさや色を表すデータを生成し、これらの画素の集合を画像データとして出力することができる。即ち、画像処理部22は、少なくとも車両外部を撮影した撮影画像を取得する画像取得部としての機能を有する。画像処理部22が出力した画像データに基づいて、制御部11は、以下のような処理を行う。
(1)車載カメラ31の撮影画像を解析してオプティカルフローを検出すると共に、オプティカルフローの延長線が交わる交点を消失点FOEとして検出する。
(2)画像全体の中から指定された領域のデータだけを切り出す。
(3)画像認識処理を行う。即ち、指定された領域の画像データを解析して各部に存在する様々なパターンの特徴量をそれぞれ検出し、予め登録されている基準データと比較することにより、特定のパターンと一致するか否かを識別する。例えば、道路上に存在する信号機、標識、車両などの特定のパターンを認識する。
バックアップデータ記憶部23は、フラッシュメモリにより構成されており、様々なバックアップデータを保持するために利用される。
<制御の内容の説明>
図2に示した車載器10の主要な制御の処理手順を図3に示す。即ち、制御部11が図3に示す処理手順を順次に実行することにより、ドライブレコーダ機能及び安全運転支援機能に関する主要な制御が実現される。
ステップS11では、制御部11は、電源インタフェース18を介して入力される車両のイグニッション信号IGNを参照し、イグニッションオン(IGNON)になったか否かを識別する。イグニッションオンになると次のS12に進む。
ステップS12では、制御部11は画像処理部22を制御して画像キャプチャー処理を開始する。これにより、画像処理部22は車載カメラ31から出力される映像信号をフレーム毎に取り込んで制御部11が処理可能な撮影画像のデータを生成する。制御部11は、画像処理部22が生成した撮影画像の1フレーム又は複数フレームのデータを、非圧縮状態のままワークデータ用メモリ12上に一時的に記憶する。また、車載カメラ31は連続的に撮影を行って映像信号を連続的に出力するので、画像処理部22は入力される最新の映像信号を常時又は周期的に処理して撮影画像のデータを更新する。したがって、ワークデータ用メモリ12上のデータは最新の撮影画像のデータに逐次更新される。
ステップS13では、制御部11は、画像処理部22から出力される撮影画像又はワークデータ用メモリ12上に記憶した最新の撮影画像のデータを入力し、画像フレーム全体のデータについてデータ圧縮処理を施す。例えば、画像を構成する多数の画素について間引きを行うことによりデータ量を減らすことができる。このデータ圧縮処理については、データ処理部14の機能を利用して実行することもできる。また、画像の1フレーム毎に圧縮処理を行うこともできるが、複数フレームの画像の時系列の連続性を利用して圧縮率を更に高めることもできる。
ステップS14では、制御部11は、S13で圧縮処理された撮影画像のデータを、撮影時刻の順番に従い、メモリーカード32上に順次に記録する。この画像の撮影時刻と対応付けて、時刻、車両の速度、加速度の数値等の情報を同時に記録する場合もある。なお、本実施形態では、撮影画像のデータをメモリーカード32に記録する構成としているが、データの記録先は不揮発性の記録領域であればよく、可搬型のメモリーカードではなく、車載器10が備えるメモリに記録しても構わない。
ステップS15では、制御部11は、速度インタフェース16から入力される速度パルスを計測することにより、車両の現在の移動速度を把握する。さらに、検出した現在の移動速度を所定の閾値と比較することにより、低速走行/高速走行の2種類又はそれ以上の種類の速度を識別する。制御部11はステップS15の識別結果が低速走行か高速走行かに応じて、撮影画像全体の中から切り出す切出領域41の大きさ(面積又は画素数)を決定する。即ち、識別結果が低速走行である場合には切出領域41の大きさを比較的大きく設定し、一方、高速走行である場合には切出領域41の大きさを比較的小さく設定する。
また、ステップS15では、制御部11は、速度が低速の場合には一般の道路を走行中であると認識し、速度が高速の場合には高速道路を走行中であると認識する。シリアルインタフェース17にETC車載器が接続されている場合には、制御部11は、ETC車載器から得られる情報に基づいて、現在走行している道路が一般道路か高速道路かを識別することもできる。制御部11はステップS15の識別結果が一般道路か高速道路かに応じて、撮影画像全体の中から切り出す切出領域41の大きさ(面積又は画素数)を決定する。即ち、一般道路である場合には切出領域41の大きさを比較的大きく設定し、一方、高速道路である場合には切出領域41の大きさを比較的小さく設定する。
ステップS16では、制御部11は、最新の撮影画像フレームの内容における消失点FOEの画面内の位置を検出する。即ち、複数フレームにわたる画像の変化からオプティカルフローを検出する。そして、オプティカルフローの延長線が交差する点を消失点FOEとし、この消失点FOEの画面上の座標を検出する。車載カメラ31が撮影する画像のように、直線的な道路を走行する車両から視た画像においては、消失点FOEは走行中の道路の先にある無限遠点に相当する。
ステップS17では、制御部11は、撮影画像全体の中から切り出す一部分の領域の基準位置を、S16で検出した最新の消失点FOEの座標に基づいて決定する。この基準位置は、例えば切出領域41の中央の座標とする。したがって、車両が走行している道路の状況に応じて切出領域41の位置が動的に移動する。例えば、検出される消失点FOEの座標が画面上で左右方向に変化すると、基準位置がこれに従って左右方向に移動する。
ステップS18では、制御部11は、S17で決定した基準位置と、S15で決定した領域の大きさとで定まる切出領域41について、この範囲内の画像データを圧縮前の撮影画像全体の中から抽出する。圧縮前の最新の撮影画像のデータはワークデータ用メモリ12上に保持されているので、制御部11はワークデータ用メモリ12がデータを読み込んで、その一部分である切出領域41の範囲内のデータのみを抽出する。
ステップS19では、制御部11は、S18で抽出した切出領域41の範囲内の画像データについて、所定の画像認識処理を実行する。例えば、図1に示した切出領域41中に存在する信号機40cや標識40dの各パターンを自動的に認識する。
ステップS20では、制御部11は、事前に定めた条件と、S19の認識結果を含む現在の状況とを比較することにより、所定の安全運転支援処理を実行すべきか否かを識別する。具体例は次の通りである。安全運転支援処理としては、これらの全てを実施してもよいし、これらの中から選択したいずれかを実施してもよい。
(1)画像認識の結果に基づき、自車両が走行している道路上の各レーンの境界位置と、自車両の左右方向の位置とを検出し、これらの位置の比較によりレーンから自車両がはみ出して走行しているか否かを識別し、はみ出している場合に安全運転支援処理を実行すべきと識別する。
(2)道路上で速度制限を表す標識を認識した場合に、標識に表示されている制限速度と、自車両の現在の走行速度とを比較して、制限速度を所定以上超過している場合に、安全運転支援処理を実行すべきと識別する。
(3)道路上で信号機を認識し、且つ信号機の状態が赤又は黄色である場合に、自車両の減速状態を事前に定めた条件と比較し、減速状態が不適切である場合に、安全運転支援処理を実行すべきと識別する。
(4)画像認識の結果に基づき、自車両と同じレーンを走行する前方の他の車両(先行車両)と自車両の位置との車間距離を検出し、検出した車間距離を事前に定めた条件と比較し、例えば車間距離の絶対値が非常に小さい場合や、車間距離が小さくなる方向に異常速度で変化している場合に、安全運転支援処理を実行すべきと識別する。
ステップS21では、制御部11は、S20の結果に従って、安全運転支援処理を実行する。例えば、自車両がレーンの境界を跨いで、はみ出した状態で走行している場合には、はみ出しの警告に関する音声メッセージなどをスピーカ20に出力させる。また、自車両の走行速度が制限速度を所定以上超過している場合には、制限速度超過の警告に関する音声メッセージなどをスピーカ20に出力させる。また、信号機の点灯状態が赤色もしくは黄色であって、減速状態が不適切であると認識した場合には、信号機の警告に関する音声メッセージをスピーカ20に出力させる。また、自車両と先行車両との車間距離に問題があると認識した場合には、車間距離の警告に関する音声メッセージをスピーカ20に出力させる。なお、これらの処理において、音声メッセージを出力する代わりに、必要に応じて強制的に車両のブレーキをかけるための制御信号を車両側に出力しても構わない。
ステップS22では、制御部11は、加速度等の異常に伴って発生するトリガー信号の有無を識別する。例えば、交通事故のような異常な状況が発生すると、加速度センサ21が大きな加速度を検出し、それに伴ってトリガー信号が発生する。このトリガー信号が発生した場合には次のS23の処理に進む。
ステップS23では、制御部11は、非圧縮状態で記録されている撮影画像のデータをワークデータ用メモリ12から読み込んで、そのままメモリーカード32上に順次に記録する。即ち、圧縮されていない高画質の鮮明な画像のデータをメモリーカード32に保存する。
ステップS24では、制御部11は、イグニッション信号を参照し、イグニッションオフになったか否かを識別する。イグニッションオンである間は、上述の処理を繰り返し実行するので、メモリーカード32に対する画像データの記録が継続される。イグニッションオフになるとこの処理を終了するので、メモリーカード32に対する画像データの記録も終了する。
<動作の具体例>
車載器10の動作の具体例について、図4〜図6を参照しながら以下に説明する。図4〜図6は、撮影画像、切出領域、及び処理後のデータの相互関係の具体例をそれぞれ示している。
<図4に示す動作の説明>
図4に示す例では、撮影画像40Aの中に、自車両が走行している道路51、先行車両52、対向車両53などが映っている。
図4のような自車両の走行に伴って変化する画像を処理する場合には、自車両が道路51の左端のライン51aとセンターライン51bとの間を走行しているので、例えば左端のライン51aに沿った方向、及びセンターライン51bに沿った方向の動きベクトル(オプティカルフロー)がそれぞれ検出される。したがって、例えば左端のライン51aの延長線と、センターライン51bの延長線との交点が、消失点FOEとして図3のステップS16で検出される。
そして、消失点FOEの座標を基準として、切出領域41Aの位置が図3のステップS17で決定される。図4に示すように、動きの消失点FOEは道路51上の無限遠点に相当する。したがって、消失点FOEを基準として切出領域41Aの位置を決定することにより、道路51上の遠方の領域を選択することができる。
撮影画像40Aから切出領域41Aの範囲内の画像データを図3のステップS18で抽出することにより、安全運転支援用撮影データ42Aが得られる。図3のステップS19では、抽出された安全運転支援用撮影データ42Aについてのみ、画像認識処理を実行する。このため、画像認識を行う処理対象のデータ量が少ないので、画像認識に要する所要時間を短縮できる。また、切出領域41Aの位置が適切に決定されるので、注目すべき対象物を安全運転支援用撮影データ42Aに基づいて確実に認識することができる。
<図5に示す動作の説明>
図5に示す撮影画像40Bにおいては、道路61が遠方で左にカーブしている。図4に示した道路51のように進行方向にまっすぐ延びている場合には、消失点FOEが位置P1に存在するが、カーブに近づくにつれて左側の位置P2に消失点FOEが移動する。
図5に示すように、消失点FOEが位置P1にある場合には、位置P1を基準にして切出領域41B1が決定され、消失点FOEが位置P2にある場合には、位置P2を基準にして切出領域41B2が決定される(S17)。
つまり、実際の道路61の形状に合わせて切出領域41が左右方向に移動する。したがって、道路がカーブしている場合でも、認識対象物を含む安全運転支援用撮影データ42Bを撮影画像40Bから確実に抽出することができる。
<図6に示す動作の説明>
図6に示す例では、撮影画像40C中に割り当てられる2つの切出領域41C1、41C2の大きさ(面積)が互いに異なっている。
即ち、切出領域41の面積の大きさは、図3に示したステップS15において、自車両の移動速度の高/低に応じて、又は走行している道路の種別が高速道路か一般道路かに応じて変更される。より具体的には、移動速度が「高」の場合、又は走行している道路の種別が高速道路の場合には面積の小さい切出領域41C1が選択され、移動速度が「低」の場合、又は走行している道路の種別が一般道路の場合には面積の大きい切出領域41C2が選択される。
したがって、移動速度が「高」の場合、又は走行している道路の種別が高速道路の場合には面積の小さい切出領域41C1の範囲内の画像データが安全運転支援用撮影データ42C1として抽出される。また、移動速度が「低」の場合、又は走行している道路の種別が一般道路の場合には面積の大きい切出領域41C2の範囲内の画像データが安全運転支援用撮影データ42C2として抽出される。
運転者が車両を高速度で運転する際には、低速度の場合と比べて運転者の視線や焦点がより遠方の領域に向けて調整される傾向がある。また、高速度で運転する場合は、運転者が運転に必要な情報を取得する際に、より遠方の領域で視認できる情報が重要になる傾向がある。同様に、高速道路を走行する場合には、一般の道路を走行する場合と比べて、より遠方の領域で視認できる情報が重要になる傾向がある。
つまり、図3に示したステップS15を実行することにより、移動速度、又は道路の種別に応じて適切な大きさの領域を選択し、安全運転支援用撮影データ42C1、又は42C2を抽出することができる。
以上説明したように、車載器10によれば、ドライブレコーダとしての機能及び安全運転支援機能の両方を実現することができる。しかも、安全運転支援機能は、撮影画像から抽出した一部分である切出領域41の撮影内容を識別した結果を利用するので、1つの車載カメラ31をドライブレコーダ機能及び安全運転支援機能が共用することになり、コストダウンが可能になる。また、安全運転支援機能が利用する切出領域41は、ドライブレコーダ機能が利用する撮影画像全体の一部分であるため、車載カメラ31の撮影範囲をさほど広角にする必要がない。このため、解像度が比較的高い車載カメラ31を利用すれば、切出領域41の内容から、遠方の信号機や標識のような特定の被写体の鮮明な映像を得ることも可能であり、充分な性能を確保できる。
また、車載器10によれば、切出領域41として切り出す位置を消失点FOEの位置に基づいて特定するので、安全運転支援機能を実行するために必要な情報が含まれる一部分を適切に抽出することができる。消失点FOEは、撮影画像中のオプティカルフローを延長した直線が交わる点であり、車載カメラ31から視た道路の先の無限遠点に相当する。したがって、この消失点FOEの位置を基準とすることにより、自車両が車線変更した場合や進行方向を変更した場合であっても、道路上のレーンの位置などを撮影画像から特定することが可能であり、安全運転支援機能にて用いる切出領域41として抽出すべき位置を適切に特定できる。
また、車載器10によれば、走行速度又は走行中の道路の種別に従って切出領域41の面積を適宜変更することができる。例えば、車両の走行速度が速い場合や高速道路を走行する場合には、運転者の焦点は比較的遠方になりがちである。高速走行している時には遠方の比較的小さい領域を重視して画像認識を行うことが望ましく、一方、一般道路を走行中であり、比較的低速で走行している時には自車両に近い位置の比較的大きい領域を用いて画像認識を行うことが望ましい。この点、車載器10によれば、走行速度又は走行中の道路の種別に従って切出領域41の面積を適宜変更することにより、安全運転支援機能にて用いる切出領域41の面積を適切に設定できる。
また、車載器10では、制御部11は、通常時には、撮影画像を所定の圧縮率(第1の圧縮率)で圧縮してメモリーカード32に記録させ、トリガー発生時には、圧縮されていない撮影画像をメモリーカード32に記録させる。すなわち、制御部11は、撮影画像を、トリガー発生時には、第1の圧縮率よりも圧縮率が低い第2の圧縮率で圧縮してメモリーカード32に記録させる。このため、通常時においては、トリガー発生時よりも圧縮された状態で撮影画像が記録されるので、長時間にわたって撮影画像を記録することができる。また、トリガー発生時には、圧縮率が低い撮影画像が記録されるので、より鮮明な高品質の画像を記録することができる。なお、本実施形態では、トリガー発生時には、圧縮されていない(すなわち、圧縮率が値0。)撮影画像をメモリーカード32に記録する構成としたが、通常時よりも低い圧縮率で圧縮した撮影画像を記録する構成としても構わない。
以下では、本実施形態に係る車載器10について纏める。
(1) 本実施形態に係る車載器10は、少なくとも車両外部を撮影した撮影画像を取得する画像取得部としての画像処理部22と、前記画像処理部22に接続された制御部11と、を備え、車両に搭載されて用いられる。前記制御部11は、前記撮影画像から一部分の領域を切出領域41として抽出し、抽出した前記切出領域41の撮影内容を識別した結果に基づいて、所定の安全運転支援機能を実行し、且つ、前記撮影画像を不揮発性の記録部としてのメモリーカード32に記録させる。
(2) 本実施形態に係る車載器10では、前記制御部11は、前記車両の走行中に、前記撮影画像における消失点FOEを逐次識別し、前記消失点FOEの位置に対応した位置の一部分を前記切出領域41として抽出する。
(3) 本実施形態に係る車載器10では、前記制御部11は、前記車両の現在の走行速度に従って前記切出領域41の面積を変更して、前記切出領域41を前記撮影画像から抽出する。
(4) 本実施形態に係る車載器10では、前記制御部11は、前記車両の走行中の道路の種別に従って前記切出領域41の面積を変更して、前記切出領域41を前記撮影画像から抽出する。
(5) 本実施形態に係る車載器10では、前記制御部11は、通常時には、前記撮影画像を第1の圧縮率で圧縮してメモリーカード32に記録させ、トリガー発生時には、前記撮影画像を、前記第1の圧縮率よりも圧縮率が低い第2の圧縮率で圧縮してメモリーカード32に記録させる。
なお、本発明の技術的範囲は、上述した実施形態に限定されるものではない。上述した実施形態は、本発明の技術的範囲内で種々の変形や改良等を伴うことができる。
例えば、図2に示した車載器10は、ドライブレコーダ機能と、安全運転支援機能との両方を備える車載器である。したがって、例えばドライブレコーダとして構成した車載器に、安全運転支援機能も含めて車載器10と同様の装置を構成することができる。或いは、安全運転支援装置として構成した車載器に、ドライブレコーダ機能も内蔵することにより、車載器10と同等の装置を構成することができる。また、ドライブレコーダとして構成した車載器と安全運転支援装置として構成した車載器とを組み合わせ、これらの間を通信ケーブルなどを介して互いに接続した場合にも、車載器10と同等の装置を構成することができる。また、ドライブレコーダと似た機能を有する車載器としてデジタルタコグラフやタクシーメータがある。したがって、デジタルタコグラフやタクシーメータとして構成した車載器に、車載器10と同等の機能を組み込むことも考えられる。
10 車載器
11 制御部
12 ワークデータ用メモリ
13 不揮発性メモリ
14 データ処理部
15 カードインタフェース
16 速度インタフェース
17 シリアルインタフェース
18 電源インタフェース
19 GPSインタフェース
20 スピーカ
21 加速度センサ
22 画像処理部(画像取得部)
23 バックアップデータ記憶部
31 車載カメラ
32 メモリーカード(記録部)
40,40A,40B,40C 撮影画像
41 切出領域
42 安全運転支援用撮影データ
43 ドライブレコーダ保存用撮影データ
FOE 消失点

Claims (5)

  1. 少なくとも車両外部を撮影した撮影画像を取得する画像取得部と、
    前記画像取得部に接続された制御部と、
    を備え、車両に搭載されて用いられる車載器であって、
    前記制御部は、前記撮影画像から一部分の領域を切出領域として抽出し、抽出した前記切出領域の撮影内容を識別した結果に基づいて、所定の安全運転支援機能を実行し、且つ、前記撮影画像を不揮発性の記録部に記録させる、
    ことを特徴とする車載器。
  2. 前記制御部は、前記車両の走行中に、前記撮影画像における消失点を逐次識別し、前記消失点の位置に対応した位置の一部分を前記切出領域として抽出する、
    ことを特徴とする請求項1に記載の車載器。
  3. 前記制御部は、前記車両の現在の走行速度に従って前記切出領域の面積を変更して、前記切出領域を前記撮影画像から抽出する、
    ことを特徴とする請求項1及び請求項2のいずれか1項に記載の車載器。
  4. 前記制御部は、前記車両の走行中の道路の種別に従って前記切出領域の面積を変更して、前記切出領域を前記撮影画像から抽出する、
    ことを特徴とする請求項1〜請求項3のいずれか1項に記載の車載器。
  5. 前記制御部は、通常時には、前記撮影画像を第1の圧縮率で圧縮して前記記録部に記録させ、トリガー発生時には、前記撮影画像を、前記第1の圧縮率よりも圧縮率が低い第2の圧縮率で圧縮して前記記録部に記録させる、
    ことを特徴とする請求項1〜請求項4のいずれか1項に記載の車載器。
JP2013146921A 2013-07-12 2013-07-12 車載器 Active JP6367531B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013146921A JP6367531B2 (ja) 2013-07-12 2013-07-12 車載器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013146921A JP6367531B2 (ja) 2013-07-12 2013-07-12 車載器

Publications (2)

Publication Number Publication Date
JP2015018515A true JP2015018515A (ja) 2015-01-29
JP6367531B2 JP6367531B2 (ja) 2018-08-01

Family

ID=52439425

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013146921A Active JP6367531B2 (ja) 2013-07-12 2013-07-12 車載器

Country Status (1)

Country Link
JP (1) JP6367531B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019167342A1 (ja) * 2018-03-02 2019-09-06 株式会社Jvcケンウッド 車両用記録装置、車両用記録方法及びプログラム
JP2021052257A (ja) * 2019-09-24 2021-04-01 トヨタ自動車株式会社 画像処理装置
JP2022002045A (ja) * 2020-06-22 2022-01-06 トヨタ自動車株式会社 部分画像生成装置及び部分画像生成用コンピュータプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1132253A (ja) * 1997-07-08 1999-02-02 Hitachi Ltd 画像処理装置
JP2006004173A (ja) * 2004-06-17 2006-01-05 Toyota Motor Corp 車両周辺監視装置
JP2006178652A (ja) * 2004-12-21 2006-07-06 Sumitomo Electric Ind Ltd 車両周辺認識システム及び画像処理装置
JP2006322797A (ja) * 2005-05-18 2006-11-30 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2008269073A (ja) * 2007-04-17 2008-11-06 Denso Corp 車両用物体検出装置
JP2013080518A (ja) * 2013-01-10 2013-05-02 Panasonic Corp 車載用動画像データ記録装置
JP2013109638A (ja) * 2011-11-22 2013-06-06 Pioneer Electronic Corp 画像処理装置、サーバ、携帯端末装置、及び画像処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1132253A (ja) * 1997-07-08 1999-02-02 Hitachi Ltd 画像処理装置
JP2006004173A (ja) * 2004-06-17 2006-01-05 Toyota Motor Corp 車両周辺監視装置
JP2006178652A (ja) * 2004-12-21 2006-07-06 Sumitomo Electric Ind Ltd 車両周辺認識システム及び画像処理装置
JP2006322797A (ja) * 2005-05-18 2006-11-30 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2008269073A (ja) * 2007-04-17 2008-11-06 Denso Corp 車両用物体検出装置
JP2013109638A (ja) * 2011-11-22 2013-06-06 Pioneer Electronic Corp 画像処理装置、サーバ、携帯端末装置、及び画像処理方法
JP2013080518A (ja) * 2013-01-10 2013-05-02 Panasonic Corp 車載用動画像データ記録装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019167342A1 (ja) * 2018-03-02 2019-09-06 株式会社Jvcケンウッド 車両用記録装置、車両用記録方法及びプログラム
JP2019153035A (ja) * 2018-03-02 2019-09-12 株式会社Jvcケンウッド 車両用記録装置、車両用記録方法及びプログラム
JP2021052257A (ja) * 2019-09-24 2021-04-01 トヨタ自動車株式会社 画像処理装置
JP7167891B2 (ja) 2019-09-24 2022-11-09 トヨタ自動車株式会社 画像処理装置
JP2022002045A (ja) * 2020-06-22 2022-01-06 トヨタ自動車株式会社 部分画像生成装置及び部分画像生成用コンピュータプログラム
CN113903103A (zh) * 2020-06-22 2022-01-07 丰田自动车株式会社 局部图像生成装置、局部图像生成方法以及存储介质
US11477371B2 (en) 2020-06-22 2022-10-18 Toyota Jidosha Kabushiki Kaisha Partial image generating device, storage medium storing computer program for partial image generation and partial image generating method
CN113903103B (zh) * 2020-06-22 2023-04-11 丰田自动车株式会社 局部图像生成装置、局部图像生成方法以及存储介质

Also Published As

Publication number Publication date
JP6367531B2 (ja) 2018-08-01

Similar Documents

Publication Publication Date Title
CN106611512B (zh) 前车起步的处理方法、装置和系统
CN105313779A (zh) 车辆用全景环视装置及具有该装置的车辆
JP2012195793A (ja) 車両周辺監視装置
CN114402371B (zh) 记录控制装置、记录控制方法以及计算机可读取的存储介质
JP5896263B2 (ja) 画像記録制御方法および車載画像記録装置
CN111243332A (zh) 信息提供系统和方法、服务器、车载装置以及存储介质
JP2006295676A (ja) 移動体用撮像装置
KR101499502B1 (ko) 인접차량과의 상대속도의 변화에 따라 리코딩 영상의 프레임 레이트 조정 방법 및 이를 이용한 블랙박스 장치
JP2015118669A (ja) 運行情報管理システム
US11189162B2 (en) Information processing system, program, and information processing method
CN113808418A (zh) 路况信息显示系统、方法、车辆、计算机设备和存储介质
JP6962712B2 (ja) 車載画像記録装置
JP6367531B2 (ja) 車載器
JP4848644B2 (ja) 障害物認識システム
CN105374086A (zh) 一种行车记录方法
JP6244129B2 (ja) 車載器
JP7434882B2 (ja) 危険運転判定装置、危険運転判定方法、および危険運転判定プログラム
CN115447600B (zh) 基于深度学习的车辆防拥堵方法、控制器和存储介质
JP6302205B2 (ja) 車載器
JP2020088604A (ja) 走行制御装置、制御方法およびプログラム
JP6769797B2 (ja) 車両運転支援装置
JP6611315B2 (ja) 映像基準点決定システム、映像基準点決定方法および映像基準点決定プログラム
US20200342761A1 (en) Notification apparatus and in-vehicle device
CN115131749A (zh) 图像处理装置、图像处理方法以及计算机可读取存储介质
JP7115872B2 (ja) ドライブレコーダ、及び画像記録方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150123

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170718

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180705

R150 Certificate of patent or registration of utility model

Ref document number: 6367531

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250