JP2020005148A - 画像処理装置、画像処理方法、ドライブレコーダー - Google Patents

Abstract

【課題】画像中の重要部分を容易に視認できると共に、稼働時の負荷を低減できる画像処理装置を提供することにある。【解決手段】画像処理装置１０は、車両の車室内に設置されて少なくとも前方車両を含む前記車両の周囲を録画する撮影手段２０と、前記撮影手段２０の撮影画像中の重要部分を切り出すと共に、前記撮影画像の画質を落とす画質変更手段３０と、切り出した前記重要部分及び画質を落とした前記撮影画像を保存する記憶手段４０と、を有することを特徴とする。【選択図】 図１

Description

本発明は車両の運転状況又は駐車状況を録画する画像処理装置、画像処理方法、ドライブレコーダーに関する。

車両の運転状況又は駐車状況を録画するドライブレコーダーは、事故解析、安全運転の技術確認、防犯などの目的に利用されている。
このようなドライブレコーダーには、車室内に全天球カメラを配置して車両を中心とする全天球画像を取得するものがある。
しかしながら、従来の全天球型ドライブレコーダーは、画像全体を低解像度で録画することによりデータ量を低減している。このため画質が悪くなり、自車両から約十メートル先の前方車両のナンバープレートが見えない等の不都合が生じる。

一方、高解像度で撮影可能な全天球カメラの高解像度画像は、データ量が過大となり、稼働時に発熱量が多くなりレコーダー本体に負荷が掛かってしまう。また高解像度の画像データを保存するために高価な大容量のメモリが必要となる。
また例えば、レコーダー本体に全天球カメラと高解像度カメラを設置して、全天球画像と高解像度画像を別々に保存して後処理で高解像度画像を全天球画像に合成するレコーダーを製造した場合には、全天球カメラと高解像度カメラの異なる２種類のカメラを組み合せているためレコーダー本体が高価となってしまう。

さらに複数の光学レンズで全天球画像を取得する特許文献１の撮像システムがある。この撮像システムは、全天球画像における歪みにくい中央部分に注目点を中心とした画像が配置されるよう座標変換処理が施され、中央部分に対応する画像が切り出されて表示画像として出力される。しかしながら切出画像は、閲覧者にとって自然に見える画像であり、単に画像の一部を切り出す機能、解像度を低下させる機能などであるため、約十メートル先の前方車両のナンバープレートが見えない課題があった。

特開２０１６−１７１５７７号公報

本発明が解決しようとする課題は、画像中の重要部分を容易に視認できると共に、稼働時の負荷を低減できる画像処理装置、画像処理方法、ドライブレコーダーを提供することにある。

本発明は、上記の課題を解決するための第１の手段として、車両の車室内に設置されて少なくとも前方車両を含む前記車両の周囲を撮影する撮影手段と、前記撮影手段の撮影画像中の重要部分を切り出すと共に、前記撮影画像の画質を落とす画質変更手段と、切り出した前記重要部分及び画質を落とした前記撮影画像を保存する記憶手段と、を有することを特徴とする画像処理装置を提供するものである。
上記第１の手段によれば、再生画像中の重要部分を容易に視認できると共に、稼働時の発熱などの負荷を低減できる。

本発明は上記課題を解決するための第２の手段として、車両の車室内に設置されて少なくとも前方車両を含む前記車両の周囲を高解像度で撮影する撮影手段と、
前記撮影手段の撮影画像中の重要部分を高解像度で切り出すと共に、前記撮影画像を低解像度に落とす画質変更手段と、
切り出した前記高解像度の重要部分及び前記低解像度の撮影画像を保存する記憶手段と、
を有することを特徴とする画像処理装置を提供することにある。
上記第２の手段によれば、再生画像中の重要部分を容易に視認できると共に、稼働時の発熱などの負荷を低減できる。

本発明は、上記課題を解決するための第３の手段として、上記第１又は第２の手段において、前記撮影手段は、前記車両を中心とした全天球を撮影する複数の広角レンズを備えることを特徴とする画像処理装置を提供することにある。
上記第３の手段によれば、１台のカメラで自車両を中心とする全天球画像を撮影することができ、従来のような複数の異なるカメラを用いることがなく装置全体コストの低廉化が図れる。

上記課題を解決するための第４の手段として、本発明は、上記第１ないし第３のいずれか１の手段において、前記重要部分は、少なくとも前記前方車両のナンバープレートを含む範囲であることを特徴とする画像処理装置を提供することにある。
上記第４の手段によれば、再生時において、例えば自車両から約十メートル離れた前方車両のナンバープレートを視認できる。

上記課題を解決するための第５の手段として、本発明は、上記第４の手段において、前記重要部分は、前記車両の前方及び側方及び後方の連続した箇所であることを特徴とする画像処理装置を提供することにある。
上記第５の手段によれば、再生時において、自車両の周囲（パノラマ）画像から前方車両のナンバープレートを含む車両を中心とする全周囲を容易に視認できる。

上記課題を解決するための第６の手段として、本発明は、上記第１ないし第５のいずれか１の手段において、前記画質変更手段は、画像の位置座標に基づいて前記重要部分の大きさ又は位置を任意に変更可能なことを特徴とする画像処理装置を提供することにある。
上記第６の手段によれば、撮影対象によって変化する画像中の重要部分の箇所を容易に変更することができる。

上記課題を解決するための第７の手段として、本発明は、上記第１ないし第６のいずれか１の手段において、前記画質変更手段は、保存する前記撮影画像を前記重要部分よりも画質を落とす範囲内で任意に設定変更可能なことを特徴とする画像処理装置を提供することにある。
上記第７の手段によれば、装置のスペック（メモリ容量など）に応じて容易に画質を落とす範囲から選択できる。

上記課題を解決するための第８の手段として、本発明は、上記第１ないし第７のいずれか１の手段において、前記画質変更手段で画像処理した画像を再生する際に前記重要箇所を枠内で表示し、前記重要箇所を選択した場合に画面を前記重要箇所に切り替えて再生する再生手段を備えたことを特徴とする画像処理装置を提供することにある。
上記第８の手段によれば、再生画像中から画質の良い重要部分を拡大表示して、例えば、自車両から約十メートル先の前方車両のナンバープレートを容易に視認できる。

上記課題を解決するための第９の手段として、本発明は、上記第１ないし第８のいずれか１に記載された画像処理装置を備えることを特徴とするドライブレコーダーを提供することにある。
上記第９の手段によれば、再生画像中の重要部分を容易に視認できると共に、保存時の負荷を低減できるドライブレコーダーが得られる。

上記課題を解決するための第１０の手段として、本発明は、車両の車室内に設置される撮影手段で少なくとも前方車両を含む前記車両の周囲を録画する工程と、
前記撮影手段の撮影画像中の重要部分を切り出すと共に、前記撮影画像の画質を落として画質変更する工程と、切り出した前記重要部分及び画質を落とした前記撮影画像を保存する工程と、を有することを特徴とする画像処理方法を提供することにある。
上記第１０の手段によれば、再生画像中の重要部分を容易に視認できると共に、稼働時の負荷を低減できる。

上記構成による本発明によれば、処理するデータ量が少なくなると共に、レコーダー本体の発熱も抑えることができるため、稼働時の負荷を低減できる。また装置本体を小型化することができる。

本発明の画像処理装置のブロック図である。 録画データの重要部分の実施例１の説明図１である。 録画データの重要部分の実施例１の説明図２である。 実施例１の重要部分の説明図である。 変形例の録画データの重要部分の実施例２の説明図１である。 変形例の録画データの重要部分の実施例２の説明図２である。 変形例の録画データの重要部分の実施例３の説明図１である。 変形例の録画データの重要部分の実施例３の説明図２である。 変形例の録画データの重要部分の実施例３の説明図３である。 本発明の画像処理装置となるドライブレコーダーの説明図である。 本発明の画像処理装置となるアクションカメラの説明図である。 本発明の画像処理装置による録画処理フロー図である。 本発明の再生手段による再生処理のフロー図である。

本発明の画像処理装置、画像処理方法、ドライブレコーダーの実施形態について、添付の図面を参照しながら、以下詳細に説明する。
図１は、本発明の画像処理装置のブロック図である。図２は録画データの重要部分の実施例１の説明図１である。図３は録画データの重要部分の実施例２の説明図２である。図４は実施例１の重要部分の説明図である。図５は変形例の録画データの重要部分の実施例２の説明図１である。図６は変形例の録画データの重要部分の実施例２の説明図２である。図７は変形例の録画データの重要部分の実施例３の説明図１である。図８は変形例の録画データの重要部分の実施例３の説明図２である。図９は変形例の録画データの重要部分の実施例３の説明図３である。図１０は本発明の画像処理装置となるドライブレコーダーの説明図である。図１１は本発明の画像処理装置となるアクションカメラの説明図である。図１２は本発明の画像処理装置による録画処理フロー図である。図１３は本発明の再生手段による再生処理のフロー図である。

［撮影手段２０］
撮影手段２０は、車両の内部に着脱可能とし、前方車両を含む車両の周囲を撮影している。撮影手段は複数の広角（魚眼レンズを含む）レンズを有し、本実施形態では一例として、装置本体の正面（前方）及び背面（後方）に２つの広角（魚眼）レンズ（前方及び後方レンズ）を配置して全方位の画像を取得できる撮像素子（前方及び後方撮像素子）である。このような撮影手段は例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを適用することができる。

［画質変更手段３０］
例えば、前記撮影手段２０で撮影する画素数を横７，８０８×縦３，９０４の約３，０００万画素の高解像度とする場合、そのまま動画として記録するとデータ量が膨大となってしまう。
一方、画素数を横２，８８０×縦１，４４０の約４００万画素の低解像度とする場合、記録するデータ量は抑えられるものの解像度の低下によって前方車両のナンバープレート等など録画した画像中の重要部分が見えなくなるという問題が生じる。

そこで画質変更手段３０は、録画した画像中での重要部分となる前方車両のナンバープレートなどが映る中央部分を切り出して、この画素数を横１，９２０×縦１，０８０の約２００万画素の高解像度とし、前方車両の周囲などの重要部分（切り出した部分）を含む箇所の画素数を横２，８８０×縦１，４４０の約４００万画素の低解像度とし、重要部分の画質よりも落している（図２，３，４参照）。
この結果合計画素数は約６００万画素となり、前述の画像全体を高画質とした場合（約３，０００万画素）と比べて１／５の画素数に押えることができる。そして重要部分の高画質の画像中の前方車両のナンバープレートは見易くなりはっきりと確認できる。また処理するデータ量も低減できるために装置全体の発熱量も抑えることができる。

なお本実施形態の画質とは、映像の質であり、約十メートル離れた前方車両のナンバープレートが見えるなど鮮明な画像を高画質といい、ナンバープレートが見えない画像を低画質という。また、画質は、画素数、フレームレートで数値的に規定しても良い。
画素数の場合、重要部分は車両から約十メートル離れた前方車両のナンバープレートが視認できる高解像度であり、重要部分以外は、画像全体の様子が分かれば良く、重要部分ほどの解像度は必要ないため、前記高解像度よりも画素数を落とした低解像度である。
従って、本発明の前記撮影手段２０は、高画質の録画データを取得可能なカメラを用いている。

図１に示すように具体的な本実施形態の画質変更手段３０の構成は、前方撮像素子からの撮影画像を一時保存する前方一時保存部と、後方撮像素子からの撮影画像を一時保存する後方一時保存部と、前方一時保存部で一時保存した録画画像中の重要部分の切り出し部と、前方の録画画像の画質を変更する前方全体画質変更部と、後方の録画画像の画質を変更する後方全体画質変更部を有している。
このような画質変更手段３０は、画像の位置座標に基づいて重要部分の大きさ又は位置を任意に変更可能に構成している。この切り出しの範囲となる重要部分は、この他、図５、６に示すように、車両の前方及び側方及び後方の連続した箇所、換言するとパノラマに設定しても良い。このような範囲では、前方車両のナンバープレートに加えて、自車両の周囲の様子（側方及び後方車両、歩道の歩行者、信号機など）も確認できる。
なお画質変更手段３０による重要部分の切り出しは、外部に接続した人工知能を介したナンバープレート認識、顔認識、標識又は信号認識などにより自動設定するように構成しても良い
また録画画像中の重要部分は、複数設定することもできる（図７−９参照）。図示のように正面側で前方車両のナンバープレートと、背面側でドライバーを重要部分としても良い。
また画質変更手段３０は、保存する前記撮影画像を前記重要部分よりも画質を落とす範囲内で装置のスペック（メモリ容量など）に応じて任意に設定変更することができる。

［記憶手段４０］
記憶手段４０は、画質変更手段３０によって画像処理された画像データを保存している。この記憶手段４０は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を適用することができる。なお記憶手段４０は、外部端末（携帯端末など）で録画画像を再生する際に容易に持ち出せるＳＤメモリ等の外部ストレージを付帯させた構成を採用してもよい。
図１に示すように具体的な記憶手段４０の構成は、重要部分切り出し部からの高解像度の重要部分を記憶する重要部分記憶部と、前方全体画質変更部からの画質を落とした（低解像度の）前方撮影画像及び後方全体画質変更部からの画質を落とした（低解像度の）後方撮影画像を記録する前後全体記憶部を有している。

［再生手段５０］
再生手段５０は、記憶手段４０に保存された録画画像を再生可能なアプリケーションソフトである。再生手段５０は、録画画像中の重要部分を囲む枠を設定して再生中に表示させている（図３，６参照）。再生中、この枠を選択すると、重要部分のファイル（画像データ）に切り替えて、この部分を拡大表示するように構成している（図４参照）。ここで再生手段５０は、撮影手段２０による全体の録画画像と、重要部分の録画データを同期させて再生している。このため、再生中の任意の時間で重要部分を選択すると、その時間における重要部分に切り替えて再生することができる。
なお再生手段５０は装置本体と有線又は無線を介して接続する外部端末又は装置本体にインストールしている。また、録画画像を再生する際には、ケーブル接続（有線）の他にも、通信回線（３Ｇ／ＬＴＥ／５Ｇ）を使用して装置本体からデータ転送を行うと良い。
またあらかじめ重要部分を複数設定した場合には、再生時において、ユーザが任意に選択し、選択した重要部分を拡大表示で再生しても良い。

［ドライブレコーダー７０］
図１０に示すように画像処理装置の一例となるドライブレコーダー７０は、レコーダー本体の表裏面に魚眼（広角）レンズを備えた全天球カメラとなる撮影手段２０を搭載している。レコーダー本体は、車両内のフロントガラス面に着脱可能とし、前方レンズ（不図示）で車両前方及び側方を撮影し、後方レンズで車両後及び側方を撮影できる。そして表裏面の魚眼レンズの映像を合成することで、３６０度の全方位を撮影できる。

［アクションカメラ８０］
図１１は画像処理装置となるアクションカメラの説明図であり、（Ａ）は一方の主面（背面）、（Ｂ）は他方の主面（正面）を示している。図示のように画像処理装置の一例となるアクションカメラ８０は、カメラ本体の表裏面に魚眼（広角）レンズを備えた全天球カメラとなる撮影手段２０を搭載している。カメラ本体は、背面の広角（後方）レンズで撮影者本人を撮影し、正面の広角（前方）レンズで撮影者の周囲を撮影できる。そして表裏面の魚眼レンズの映像を合成することで、３６０度の全方位を撮影できる。

なお、本発明の画像処理装置は、装置本体に撮影手段２０、画質変更手段３０、記憶手段４０を配置し、外部端末に再生手段５０、表示部６０を配置した構成を採用することにより、装置全体の小型化を図ることができる。この他、前記装置本体に再生手段５０、表示部６０を追加した構成を採用することもできる。

上記構成による画像処理装置を用いた画像処理方法について以下説明する。
撮影画像の保存は以下のように行う（図１２参照）。
［重要部分の切り出し］
画質変更手段３０によってあらかじめ撮影手段２０で撮影した撮影画像の内で重要部分（前方車両のナンバープレートが映る中央部分など）を切り出す処理を行う。切り出す範囲は、画像データの位置座標に基づいて、大きさ、位置を任意に設定変更することができ、この他、少なくとも前方車両のナンバープレートを含む車両の前方及び側方及び後方の連続したパノラマ画像に設定することもできる。また重要部分は複数、例えば、前方及び後方車両のナンバープレートが見える箇所などに設定することもできる。
また、重要部分を含む撮影画像は、重要部分よりも画質を落とす設定（例えば、解像度を落とす、フレームレート数を落とすなど）を行う。

［撮影］
撮影手段２０で撮影する。撮影画像は前方及び後方一時保存部で一時保存される。
［保存（切り出し部分は高解像度／撮影画像は低解像度）］
画質変更手段３０によって画像処理された画像データを記憶手段４０に保存する。例えば、画質変更手段３０で切り出した重要部分は高解像度で保存する。
これにより、重要部分の高画質の画像中の前方車両のナンバープレートは見易くなりはっきりと確認できる。また全体を低解像度で保存することで処理するデータ量も低減できるために装置全体の発熱量も抑えることができる。

録画画像の再生は以下のように行う（図１３参照）。
［再生］
例えば、再生手段５０を導入した外部端末に画像処理装置を接続して、表示部６０に全天球の録画画像を表示（再生）する。このとき、重要部分よりも画質を落とした全天球の録画画像が再生され、また再生画面中には、枠（点線など）で囲われた重要部分が表示されている。

［重要部分を選択］
全天球の録画画像を再生中に任意の箇所で重要部分を示す枠を選択する。
［切替えファイルの再生］
再生している全天球の録画画像と同期した重要部分の録画画像に切替えたファイルが再生される。この切替えファイルは全天球の録画画像よりも画質が良く自車両から約十メートル離れた前方車両のナンバープレートを容易に視認できる。
このような本発明の画像処理方法によれば、再生画像中の重要部分を容易に視認できると共に、稼働時の負荷を低減できる。

以上、本発明の好ましい実施形態について説明した。しかしながら、本発明は、上記実施形態に何ら制限されることなく、本発明の主旨を逸脱しない範囲において、種々の変更が可能である。
また、本発明は、実施形態において示された組み合わせに限定されることなく、種々の組み合わせによって実施可能である。

本発明は、例えば、車載型ドライブレコーダーとして、広く適用することができる。

１０ 画像処理装置
２０ 撮影手段
３０ 画質変更手段
４０ 記憶手段
５０ 再生手段
６０ 表示部
７０ ドライブレコーダー
８０ アクションカメラ

Claims (10)

1. 車両の車室内に設置されて少なくとも前方車両を含む前記車両の周囲を撮影する撮影手段と、
   前記撮影手段の撮影画像中の重要部分を切り出すと共に、前記撮影画像の画質を落とす画質変更手段と、
   切り出した前記重要部分及び画質を落とした前記撮影画像を保存する記憶手段と、
   を有することを特徴とする画像処理装置。
2. 車両の車室内に設置されて少なくとも前方車両を含む前記車両の周囲を高解像度で撮影する撮影手段と、
   前記撮影手段の撮影画像中の重要部分を高解像度で切り出すと共に、前記撮影画像を低解像度に落とす画質変更手段と、
   切り出した前記高解像度の重要部分及び前記低解像度の撮影画像を保存する記憶手段と、
   を有することを特徴とする画像処理装置。
3. 請求項１又は２に記載された画像処理装置において、前記撮影手段は、前記車両を中心とした全天球を撮影する複数の広角レンズを備えることを特徴とする画像処理装置。
4. 請求項１ないし３のいずれか１に記載された画像処理装置において、前記重要部分は、少なくとも前記前方車両のナンバープレートを含む範囲であることを特徴とする画像処理装置。
5. 請求項４に記載された画像処理装置において、前記重要部分は、前記車両の前方及び側方及び後方の連続した箇所であることを特徴とする画像処理装置。
6. 請求項１ないし５のいずれか１に記載された画像処理装置において、前記画質変更手段は、画像の位置座標に基づいて前記重要部分の大きさ又は位置を任意に変更可能なことを特徴とする画像処理装置。
7. 請求項１ないし６のいずれか１に記載された画像処理装置において、前記画質変更手段は、保存する前記撮影画像を前記重要部分よりも画質を落とす範囲内で任意に設定変更可能なことを特徴とする画像処理装置。
8. 請求項１ないし７のいずれか１に記載された画像処理装置において、前記画質変更手段で画像処理した画像を再生する際に前記重要箇所を枠内で表示し、前記重要箇所を選択した場合に画面を前記重要箇所に切り替えて再生する再生手段を備えたことを特徴とする画像処理装置。
9. 請求項１ないし８のいずれか１に記載された画像処理装置を備えることを特徴とするドライブレコーダー。
10. 車両の車室内に設置される撮影手段で少なくとも前方車両を含む前記車両の周囲を録画する工程と、
    前記撮影手段の撮影画像中の重要部分を切り出すと共に、前記撮影画像の画質を落として画質変更する工程と、
    切り出した前記重要部分及び画質を落とした前記撮影画像を保存する工程と、
    を有することを特徴とする画像処理方法。

Images